軟科學基礎 金新政 華中科技大學出版《系統論、資訊理論、控制論淺說》,內容比較淺顯,行文流暢,適合做了解概要用
控制論也好、資訊理論也好、博弈論也好,炒股也好、烹飪也好,什麼都好,最重要的是人,最大的變數也是人,人才是這世界萬物一切的關鍵
用資訊理論玩猜數字資訊理論中衡量一個事件的資訊是否豐富是從機率出發,在資訊理論中,1bit的資訊量對應著,意味著,這個事情發生的機率是,且發生之後將能夠幫助我們篩選掉一半的搜尋空間
在看《暗時間》時,裡面討論了一些資訊理論相關的內容,於是就嘗試搜尋資訊理論和不確定性的關係,結果發現夏農說了這麼一句話:“資訊是用來消除不確定性的東西”
很多同學在找量化職位的時候會遭遇智力題,很多人覺得是腦筋急轉彎無從下手,但實際上很多這些題都有著背後的學科背景,比如來源於隨機過程、資訊學(包括動態規劃之類的)、簡單的機率(比如貝葉斯公式)、資訊理論(資訊熵之類)、數學奧賽等
核心肯定是數學啊,特別是線性代數,機率論,複變函式
同時夏農的資訊理論也收到圖靈機的啟發,雖然圖靈沒有建立一個龐大的學術邏輯,但圖靈機的出現,明確給夏農指明瞭研究的方向,解決了一些懸而未決的困惑,奠定了資訊理論的基礎
總而言之,相信在資訊理論領域,多使用者問題是目前最亟待解決的問題之一,我們每一次在Achievable Rate Region上的突破,都必須提出一種新的編碼方式來說明數學證明是真實有效的,這種理論進步顯然是資訊科技領域發展的重要源泉,比如
三論之間的關係:系統論、控制論、資訊理論三門學科密切相關,它們的關係可以這樣表述:系統論提出系統概念並揭示其一般規律,控制論研究系統演變過程中的規律性,資訊理論則研究控制的實現過程
建立了資訊的諸多概念後,資訊理論就可以順利得過渡到編碼問題了