EEGMEG-fMRI融合初識:在空間和時間上解析人腦反應

任何認知功能都是由許多皮質部位網路介導的，這些部位的活動是透過

複雜的時間動力學

來協調的。為了理解認知，我們需要

在空間和時間上同時識別大腦的反應

。在此，我們提出了一種技術，透過

將功能性磁共振成像(fMRI)和腦電或腦磁(M/EEG)記錄的人腦多變數反應模式聯絡起來

來實現這一點。我們介紹了這種稱為

M/EEG-fMRI融合的無創分析技術的原理和當前應用

，並討論了其優缺點。我們強調了它在認知神經科學中的廣泛適用性，以及它對進一步發展和延伸的開放性如何賦予它在未來更深入理解認知的強大潛力。

1.簡介：識別人類大腦在空間和時間上的反應

我們認為我們的認知是理所當然的：閱讀這些單詞，識別一個聲音，或者記住你把手機放在哪裡，這些都是我們有規律地、毫不費力地參與的認知功能。然而，這種明顯的簡單性掩蓋了神經活動地下編舞的複雜性。

每個認知功能都涉及一個具有特定時間動力學的皮質部位網路。

一些站點表現出瞬態訊號，透過網路快速傳輸資訊；其他站點表現出持續數百毫秒的反應。因此，

表徵神經活動如何啟用認知功能的關鍵是以高解析度在空間和時間上同時識別神經活動

。

這是當代認知神經科學麵臨的一個重大挑戰，因為目前的非侵入性大腦測量技術在空間或時間解析度方面表現出色，但無法在兩方面都出色。

腦電/磁圖(M/EEG)在毫秒級具有良好的時間解析度，但缺乏空間解析度。相比之下，功能性磁共振成像(fMRI)即使在毫米水平以下也能分辨與大腦活動相關的血液性質變化，但速度太慢，無法在快速時間尺度下分辨大腦活動。

因此，當孤立考慮時，每種技術都沒有充分說明大腦區域和時間點之間的多對多對映（圖1A）。然而，這些技術優點的互補性激發了這樣的想法，即透過

組合測量資料

，人們可以組合它們的優點，同時克服它們的缺點。在這裡，我們討論了基於代表性相似性的這一想法的一個有希望的最新表現，我們稱之為M/EEG-fMRI融合。

我們從介紹該技術的基本形式開始，並將其與相關方法進行比較。然後，我們重點介紹了最近使用M/EEG-fMRI融合技術對感覺加工和高階認知功能的神經動力學進行新闡釋的研究。因此，我們證明了M/EEG-fMRI融合框架在適應和開發方面的靈活性。最後，我們討論了M/EEG-fMRI融合的未來潛力及其侷限性。我們認為，M/EEG- fMRI融合將有助於提取當前成像方法發展的精華，將人類大腦理論描述的極限推向新的水平。

2.M/EEG-fMRI融合的基本公式

如何解析M/EEG和fMRI在不同位置啟用時在不同時間點觀察到的神經反應對映？在功能磁共振成像中的空間位置和M/EEG中的時間點之間建立聯絡的一個想法是有意引入額外的實驗限制

。例如，研究人員為此目的在同時EEG-fMRI中使用了逐個試驗的可變性（圖1B）。這種想法是，透過不同成像方式對神經活動的測量，在逐個試驗的基礎上相互關聯時，反映了相同的發生器。這樣，用功能磁共振成像（fMRI）識別的啟用腦區與用M/EEG測量的特定時間點的神經反應聯絡起來。 M/EEG-fMRI融合的相似之處在於，它還使用實驗誘發的約束來連線M/EEG和fMRI資料（圖1C-1F）。然而，它在兩個基本方面有所不同。首先，它收集逐個條件而不是逐個試驗的可變性，以連線不同模態的大腦活動測量。這種方法結合了不能同時進行的腦測量，如fMRI和腦磁圖（MEG）。第二，它以多變數的方式將測量值相互關聯，而不是透過關聯單變數的平均值。這是有動機的。此外，透過跨測量通道彙集訊號，它可以提供比單變數方法更高的靈敏度。透過將M/EEG-fMRI融合作為代表性相似性分析（RSA）的一個特殊案例來考慮，很容易看出這些想法是如何實際實現的。

RSA的目標是透過將訊號抽象到一個共同的相似性空間中，將不可公度的多元測量空間(如MEG感測器空間、fMRI體素空間或模型單元空間)聯絡起來。

我們一步一步地描述這個過程，並透過一個研究視覺物件處理的實驗來舉例說明。首先，選擇一組條件，據信這些條件足以捕捉認知功能下的神經處理的多樣性（這裡是一組不同的物件）（圖1C）。然後對這些情況進行M/EEG和fMRI測量（圖1D）。在每個單獨的測量空間中，對於條件的所有成對組合，我們計算它們的多元測量之間的相似性（或等價地，不相似性）（圖1E）。訊號空間中（即，fMRI中的體素啟用模式和M/EEG中的感測器啟用模式）。許多不同的相似性和不相似性度量是可用的。出於演示目的，在實踐中，可以使用簡單相關（或1減去相異相關）。在任何情況下，結果值都儲存在按比較條件按行和列索引的矩陣中，稱為

代表性相異矩陣(RDMs)

。

RDM總結了哪些條件會導致fMRI區域和M/EEG時間點的相似或不相似模式

。至關重要的是，儘管RDM來源於不可通約的源訊號，但它們具有相同的結構和維度。這使得它們具有直接可比性。因此，透過確定跨fMRI和M/EEG測量空間的RDM的相似性，我們可以檢驗在特定時間點的特定位置測量相同神經發生器的假設（圖1F）。

總之，M/EEG和fMRI資料可以在共同的表徵結構基礎上相互關聯（融合），儘管訊號源空間不適應。

下面，我們將詳細介紹如何使用M/EEG-fMRI融合來揭示認知功能的時空動態性。我們首先關注視覺處理。

圖1 識別空間和時間上的大腦反應

3.視覺加工的時空動力學

M/EEG-fMRI融合的首次應用使用感興趣區域（ROI）方法研究了視覺物件處理期間的時空處理級聯。在受試者觀看一組92幅日常物品影象時，用MEG和fMRI記錄大腦反應（圖2A）。

以腹側視覺流為重點，作者將MEG資料與來自早期視皮層（EVC）和顳下（IT）區域的fMRI ROI資料融合，作為皮質視覺處理層級的起點和終點。他們發現，EVC地區的神經反應比資訊科技地區更早出現並達到峰值（圖2B）。該結果與腹側視覺流作為分層處理級聯，並證明了M/EEG-fMRI融合方法評估人腦在空間和時間上的反應模式的適用性。使用一組新的日常物體影象（圖2C）的獨立研究在腹側流中複製了最初的發現，並在背側流中證明了加工級聯，為頂葉皮層中的腦反應提供了新的時間戳（圖2D）。

隨後的研究將M/EEG-fMRI融合應用於除物件以外的視覺內容的研究處理。例如，一項研究調查了面部感知的時空動態性的融合。EEG結合fMRI資料顯示了一個從EVC開始的加工級聯反應，並進展到專門用於面部加工的皮質區域（即面部選擇性區域枕面部區域［OFA］和梭形面部區域［FFA］）以及頂葉區域。另一項研究將M/EEG-fMRI融合應用於場景感知的研究。作者向參與者展示了不同佈局和紋理的場景的影象。他們發現，一個已知對視覺場景處理具有選擇性的區域，即枕葉區（OPA），在影象呈現後100 ms內參與了空間佈局處理。這為OPA參與空間佈局的快速編碼提供了證據。

第一個重要步驟是透過M/EEG-fMRI融合與什麼相結合來定位持續性與非持續性動力學

。現在通常稱為時間泛化分析。時間泛化的思想是透過評估多變數M/EEG訊號隨時間的相似程度，加深對神經動力學的理解。以這種方式進行，對在物件感知期間記錄的MEG資料的時間概括分析顯示了快速瞬時（例如，沿對角線早期的高解碼精度）和持續表示的複雜模式（（圖2E）用白色虛線表示）。幾種永續性成分的存在立即提出了它們在大腦中起源的問題。M/EEG-fMRI融合透過將這些持續性表徵定位到EVC和IT區域來提供答案（圖2F，2G）。這一結果提供了關於瞬時和持續腦反應之間的理論區別的在視覺期間的時空神經動力學的描述。

圖2 用於理解視覺處理的基於ROI的M/EEG-fMRI融合方法

第二個基本步驟是使用探照燈方法擴充套件到空間無偏分析

（圖3A）。對於物件處理，基於空間無偏倚探照燈的fMRI和MEG資料融合複製並擴充套件了基於ROI的結果，以更精細地瞭解神經元響應在人腦感知過程中是如何進化的（圖3B，3C）。原則上，M/EEG-fMRI融合可與MEG、EEG或其組合一起使用（圖3D）。

圖3 用於理解視覺處理的基於探照燈的M/EEG-fMRI融合的方法、結果和變體這些視覺加工研究共同證明了M/EEG-fMRI融合的可行性、通用性和潛力，為認知加工的時空加工提供了新的視角。在視覺系統中對不同內容和獨立研究中觀察到了相似的時空處理串聯，這一事實從定性上說明了該技術產生可再現和可靠結果的能力。這也可以透過比較跨資料和刺激集的M/EEG-fMRI融合結果來定量確定，表明良好的泛化能力和可靠性。

4.高階認知的時空動力學

雖然M/EEG fMRI融合最早建立在感知領域，但它絕不侷限於認知的這一方面。在此，我們強調了兩項將M/EEG-fMRI融合應用於更高階認知的研究，並展示了該技術如何在每種情況下得到進一步發展，以達到預期的理論見解。第一個例子是研究人類如何處理物件出現的任務環境（圖4A）。任務和行為目標強烈影響我們對世界的看法。它們對感知的巨大影響反映在發現任務在大腦的許多不同區域被處理並且影響視覺處理。這就提出了一個問題，即這些大腦區域的活動是如何受到跨時間任務的調節的。他們在模型關係資料庫管理系統中闡述了任務和物件類別的影響，然後分別確定了兩個模型關係資料庫管理系統中每一個的MEG和fMRI之間的方差比例（圖4B）。結果（圖4C-4F）顯示，整個大腦皮層中與任務相關的訊號平行上升，任務對物件的支配地位日益增強。

圖4 M/EEG融合在處理任務上下文中的應用與擴充套件第二個例子是研究與注意加工有關的時空神經動力學的研究。在第一步中，作者將EEG與fMRI資料融合，揭示了從感覺區到頂葉區再到額葉區的加工級聯（圖5A）。第二步，作者將M/EEG-fMRI分析提升了一個層次，將其結果作為進一步分析的起點。基於皮質分割槽進行M/EEG-fMRI融合後（圖5B），他們比較了分割槽特異性M/EEG-fMRI時間過程的相似性（圖5C）。目視檢查分割槽特異性EEG-fMRI時間過程之間的相似性關係表明存在8個聚類（圖5D），它們被用來進行歧視分析。四個判別函式解釋了95%的地區差異。它們的係數繪製在跨越時間（圖5E）和空間（圖5F）。這些功能揭示了跨網路時空動力學的大規模模式，作者將其解釋為注意力的四個不同時空成分。這些結果為注意加工的大規模時空動力學提供了新的視角，是開發人腦注意加工定量時空模型的墊腳石。

圖5 M/EEG融合在注意力處理中的應用與擴充套件總之，這些研究例證了M/EEG-fMRI如何用於研究複雜的認知現象，如任務處理和注意力控制。他們進一步證明了如何透過使M/EEG- fMRI融合具有內容特異性或使其結果成為進一步分析的主題，從而在方法上擴充套件該融合以獲得更深入的理論見解。

5.M/EEG-fMRI融合的未來潛力

如上所述，M/EEG-fMRI融合不是一種特定的固定單一目的演算法，而是一種通用且易於擴充套件的分析框架。這使得M/EEG-fMRI融合在未來廣泛領域的認知功能研究中具有強大的潛力。我們在下面強調了三個不同的一般方向，併為每個方向提供了具體的例子。首先，M/EEG fMRI融合可以立即應用於目前使用M/EEG和fMRI的任何研究領域。因此，它的潛在應用範圍從理解不足的基本感覺編碼，如觸控或聲音，涉及複雜的認知過程（例如，工作記憶、語言或計劃），以及神經動力學如何在臨床環境（例如，中風或精神疾病）中或在發育期間改變的研究（例如，透過縱向或年齡比較研究）（圖6A）。為了更具體地說明這一點，讓我們考慮三個例子。首先，M/EEG-fMRI有助於更好地理解資訊交換在認知功能中是如何協調的，認知功能在潛在的不同腦區有幾個階段的對映，如工作記憶中的編碼、維持和檢索。另一個例子是對運動系統的研究；特別是導致運動的神經活動。為此，M/EEG融合將不是在時間上向前（例如，在呈現刺激之後）進行，而是在時間上向後進行，鎖定到運動的開始。一個令人興奮的前景是，如果將M/EEG-fMRI對刺激開始的時間鎖定和對反應的時間鎖定的結果結合起來，那麼這就揭示了在呈現刺激和行為反應之間的完整的神經處理級聯。最後，M/EEG- fMRI融合可用於臨床神經科學，以識別腦損傷或精神疾病如何影響資訊流，揭示時空功能生物標誌物，以幫助診斷疾病或明確損傷，將其作為治療性干預的先兆。其次，M/EEG-fMRI融合可以與其他在M/EEG和fMRI研究中已經有單獨應用的技術相結合。這包括有創和無創腦刺激，以及眼球運動評估和生理測量。例如，刺激的作用，如經顱磁刺激，可以根據其對時空網路動力學的影響來評估特定大腦區域（圖6B）。這可能有助於在時空識別的神經反應和認知功能之間建立因果關係。第三，M/EEG-MRI融合可立即受益於相關技術的創新，為解決大腦反應提供新的解決方案。作為一個例子，讓我們考慮將資訊流分解為兩個基本流的挑戰：前饋和反饋。這對於當前的人類神經成像來說是一個具有挑戰性的問題，因為輸入和輸出訊號在我們可以無創測量的水平上重疊。因此，目前M/EEG-fMRI融合在解決這一問題上的應用使用了經過充分驗證的實驗性干預措施，例如掩蔽，以將前饋與反饋資訊流分離開來。另一個正在出現的可能性是利用方法創新（圖6C）。在空間上，超高場fMRI可以分辨不同皮質深度的訊號，不同深度處的皮質層透過向外饋送和反饋解剖連線。因此，區分層特異性活性可以幫助分離前饋和反饋相關的訊號。在時間上，前饋和反饋，資訊流與不同頻率相關聯。較低的頻率與反饋的關係更密切，而較高的頻率與前饋活動的關係更密切。

圖6 M/EEG-fMRI融合的未來潛力總之，M/EEG-fMRI可能被證明是一種有價值的工具，以其當前的形式，在廣泛的研究領域中理解神經動力學，與其他技術進行新穎的結合以操縱大腦資料，並集中體現創新的無先例的分析能力。

6.總結

為了理解人腦中複雜的神經加工過程，我們需要在空間和時間上從其發生的層面解析其組成過程。在缺乏擅長空間和時間解析度的單一非侵入性技術的情況下，結合多種技術資訊的分析方法是關鍵。M/EEG-fMRI融合就是這樣一種方法。其可行性已在視覺感知研究中得到論證，並已成功轉移到高階認知功能的研究中。它的擴充套件特別靈活，非常適合立即從它所結合的成像技術的未來發展中受益。因此，我們認為它有潛力在廣泛的領域中得到富有成效的應用，以揭示人類認知功能的時空動態。