當今最需要科學家解決的熱點問題是什麼？我們該如何找到答案？

謝很多人邀。。。。

@知乎科學

@李翛然

@芝士喵

。我個人覺得目前資訊科學中亟待解決的問題之一是

多使用者資訊理論問題

，當然這無可置疑也是資訊理論的熱點

。

小範圍講，通訊的基礎是資訊理論，而大範圍來說，資訊理論也被認為是20世紀資訊科學最重要的理論工作之一，也是目前各種資訊科技廣泛發展的基石，特別是新一代移動通訊系統（5G），各式各樣的語音、多媒體編碼，也包括目前大火的卷積神經網路等理論。

近些年每一代移動通訊系統提出之初，就有很多人提出質疑：

我們目前的通道編碼已經逼近/達到Shannon通道容量，那麼我們還有必要去一代一代更新通訊系統嗎？

這個問題很好回答，也很不好回答，我嘗試透過描述近些年資訊理論的進展來回答這個問題，希望能夠同時給本題「當今最需要科學家解決的熱點問題」帶來一些資訊領域的啟發。

1948年，Shannon在他的著作《通訊的數學原理》一文中奠定了資訊科學的基石，很多人知道這個概念，但是可能不知道細節。Shannon資訊理論主要研究的是資料壓縮（我們通常叫

信源編碼

）和資料可靠傳輸（

通道編碼

）的

效能邊界

（通道容量）和

實現方案

。

解釋一下，資料傳輸需要由資料來源（信源）經過管道（通道）才能到達使用者（信宿）；資訊處理比如神經網路，廣義上說是一種特徵資訊的抽取和編碼方式。Shannon研究的內容可以看下圖，當然這也是經典的通訊模型：

單使用者通訊模型

對應上邊我們談到的信源、通道，Shannon提出並證明了經典資訊理論中三條基本定理：

信源無失真壓縮編碼定理

：離散無記憶信源

［1］

的熵是該信源資料無失真壓縮的下界（最小速率），從此我們有了壓縮資料的方向。

通道編碼定理

：離散無記憶通道的通道容量

［2］

是該通道資料可靠傳輸的上界（最大速率），從此我們有了資料傳輸的方向。

信源通道分離編碼定理

：在有噪聲通道中，資料壓縮和通道編碼這兩個步驟是彼此獨立的，從此我們知道了資料壓縮和資料可靠傳輸可以獨立設計，資料壓縮和通訊是可以分開考慮的，這也正是目前通訊理論的基礎。

但是正如之前所說，我們的問題在於前提條件：

Shannon所描述的基礎理論是

單使用者的、點對點的通訊，且是針對離散無記憶通道的

。注：感謝

@Robert Zhou

的指正，Shannon也完成了連續時間和幅度的高斯通道、與限長編碼有關的部分工作，多址通道也接近完成。

近些年隨著電子科學和計算機技術發展，特別是積體電路的大規模發展，各種低價、高效能計算機和訊號處理成為可能，各種糾錯、調製和各種媒體壓縮技術的發展，比如Turbo碼、LDPC碼和噴泉碼，比如各種分集合並、自適應均衡和多使用者檢測，使目前的信源壓縮編碼技術和通道傳輸技術都接近/達到Shannon極限。同時，因為MIMO技術的發展，逼近衰落通道的通道容量方案也得到顯著提升。

我們可以說，單使用者點對點的無線通訊技術正在逼近Shannon給我們留下的邊界

。

但是，與此同時，20世紀60年代出現的Internet、移動蜂窩網路和類似Wi-Fi中的ALOHA系統出現了大規模應用和現象級的成功。隨之而來的問題是，

這些系統並不是純粹的單使用者場景

。正如前文提到的問題一樣

，我們不能把一個移動通訊系統（比如5G）的容量上限套入Shannon公式，簡單直接說目前的移動通訊系統已經逼近Shannon極限；前提就不對。

在多使用者場景下，因為各個使用者節點之間的中繼、反饋、干擾、損壞、訊號疊加、邊資訊傳遞等等會給分析帶來很多困難，就是無線工程師一直在研究的多使用者

合作、競爭和認知

的問題，嗯這有個名字叫

無線3C技術

。

比如近20年發展起來的Ad-Hoc自組網路以及延伸出來的Mesh網路，大規模無線感測器中繼等等這些都是極為複雜的多跳網路，在這些網路中，每個使用者可能是單向傳輸，也可能是雙向傳輸，可能採用多播，也可能採用廣播，信源和通道不僅僅可能因為安全性要考慮冗餘，也可能要考慮時空相關；每個節點不僅僅可能單純的轉發，也可能需要判斷或計算（邊緣節點），甚至有時候還需要執行訊號處理（3G中的SIC）。我們的目標也不僅僅是單純的無線容量，可能會涉及頻譜資源、系統能量資源、計算資源、能源有效性和環保性等等。

這就是目前多使用者資訊理論希望解決的資訊科技領域的基石問題。總的來說，套用夏農理論，多使用者資訊理論試圖說明這三個方面：

通道部分

：如何為現存的各種多使用者參與的無線網路、有線網路（可能不侷限於網路）建立合適的數學模型，得到理論極限（可達容量域，Achievable Rate Region），進而分析目前的各種網路傳輸情況，比如5G。

信源部分

：分散式信源編碼比如多點編碼、疊加編碼、合作灌水、逐次抵消、隨機裝箱、嵌入編碼等等究竟能不能達到多使用者無失真壓縮的極限（比如Slepian‐Wolf問題），在有失真壓縮的率失真（比如Wyner‐Ziv、Berger‐Tung問題）上，極限在哪裡？進而指導目前AR/VR/分散式系統中多攝像頭、360度、強實時的影片、影象採集工作，我們在這些技術上究竟走到了什麼樣的程度？

信源通道聯合

：多使用者參與的資訊傳遞和壓縮工作中，信源通道究竟應不應該聯合編碼？

目前來說，資訊理論的發展是遠遠滯後於應用現實的，而上述問題有部分在限定場景下已經被解決了，有部分沒有，甚至沒有什麼思路。

總而言之，相信在資訊理論領域，多使用者問題是目前最亟待解決的問題之一，我們每一次在Achievable Rate Region上的突破，都必須提出一種新的編碼方式來說明數學證明是真實有效的，這種理論進步顯然是資訊科技領域發展的重要源泉

，比如Polar碼和Interference Alignment，而不只是像現在悶頭在單使用者場景下不斷逼近Shannon極限，然後被詬病無線技術近些年沒有什麼進展。

高斯白噪聲多播通道的可達容量域

當然這相當難，這個Topic已經研究了十數年了，有相當多的文章在細分領域發表，每次進步都是一步一步在黑暗中的摸索，不像Shannon那樣直接給點對點通訊建立了一個燈塔；這個問題很難（純數學），而且這也很大。

完。