關於資料分析：你想知道的都在這裡

關於資料分析：你想知道的都在這裡

資料分析的概念

資料分析是指用適當的統計分析方法對收集來的大量資料進行分析，將他們加以彙總和理解消化，以求最大化地開發資料的功能，發揮資料的作用。

做資料分析的原因

1、有效避免拍腦袋、主觀臆想；

2、為決策提供支撐，更能說服人；

3、透過資料分析，可以看到決策的效果、問題以及未來應該如何做。

知乎使用者@綃頁的答案很簡單，但卻一語中的：

1、“知錯能改，善莫大焉”——可是錯在哪裡，資料分析告訴你。

2、“運籌帷幄之中，決勝千里之外”——怎麼做好“運籌”，資料分析告訴你。

3、“以往鑑來，未卜先知”——怎麼發現歷史的規律以預測未來，資料分析告訴你。

資料分析的作用

資料分析是把隱藏在一大批看似雜亂無章的資料背後的資訊集中和提煉出來，總結出所研究物件的內在規律。在企業的日常經營分析中有三大作用：

➤ 現狀分析：

告訴你過去發生了什麼具體體現在：

第一，告訴你現階段的整體運營情況，透過各個經營指標的完成情況來衡量企業的運營狀態，以說明企業整體運營是好了還是壞了好的程度如何，壞的程度又到哪裡。

第二，告訴你企業各項業務的構成，讓你瞭解 企業各項業務的發展及變動情況，對企業運營狀況有更深入的瞭解。

現狀分析一般透過日常通報來完成，如日報、週報、月報等形式。

比如：電商型別網站的日報中的現狀分析會包括訂單數、新增使用者數、活躍率、留存率等指標同比或環比上漲還是降低了多少。

➤ 原因分析：

告訴你某一現狀為什麼發生。

經過第一階段的現狀分析，我們對企業的運營情況有基本瞭解，但不知道運營情況具體好在哪裡。差在哪裡，是什麼原因引起的。這就需要原因分析。

原因分析一般是透過專題分析來完成的，根據企業運營情況選擇針對某一現狀進行原因分析。

比如：某電商網站某一天的日報中某件商品突然銷量突然增加，那麼就需要針對這件商品銷量突然增加做專題分析，看是什麼因素影響了該商品銷量大增。

也可以用於分析活躍率、留存率等下降或升高的原因。

➤ 預測分析：

告訴你將來會發生什麼。

在瞭解企業運營狀況以後，有時還需要對企業未來發展趨勢做出預測，為制定企業運營目標及策略提供有效的參考與決策依據，以保證企業的可持續健康發展。

預測分析一般透過專題分析來完成，通常在制定企業季度、年度計劃時進行。

比如：透過上述的原因分析，我們就可以針對性做出一些政策，比如透過原因分析，我們可以得出麵包的銷量在臺風來臨之際銷量會突增，那麼我們在下次颱風來臨之前就應該多準備麵包貨源，同時為了獲得更多的銷量做一系列準備。

資料分析的邏輯

一般而言，資料分析的邏輯是：先明確資料分析的目的、然後理清使用者消費流程和邏輯（實際上也就是梳理清楚業務邏輯），找出關鍵使用者行為和資料，分析使用者在消費行為中關鍵行為和資料找到問題，思考解決方案。

比如某電商做了一個專題活動，但效果卻並不理想，現在需要尋找原因，那麼它的邏輯就大致是：首先理清使用者消費流程：專題活動頁面——商品頁面——下單購買，或者是透過搜尋/導航——商品頁面——下單購買；然後找出關鍵的使用者行為：開啟專題頁或透過搜尋導航、進入商品頁面、點選購買、下單等；再然後確認是使用者的哪個行為資料是否有異常的地方，也就是找到問題所在；最後就是思考怎樣去解決這個問題。

資料分析方法

在資料來源正確的前提下，資料分析的方法可以分為定性分析和定量分析。

定性分析，就是對事物的性質作出判斷，究竟它“是什麼”。比如最近某一個產品的使用者活躍度大幅度提升，而結合該款產品最近的更新情況可知，使用者活躍度之所以大幅提升是該款產品上線了一個新功能導致的。

定量分析，是指對事情的數量做出統計，衡量它“有多少”。比如產品優化了登入註冊流程，這一最佳化的效果是怎樣的，帶來了多少新註冊使用者，增長率是多少。

在《增長駭客》中有一段對資料分析的精彩論述，其中也有提到定性分析和定量分析的關係：

資料分析就是定性分析和定量分析的相互結合，不斷驗證的過程。提出假設、設計方案、分析資料、驗證或推翻假設，最終抽絲剝繭，逐漸接近真相。資料是相互印證的，彼此之間有如透過無形的網路縱橫連線，只需輕輕按動其中一個就會驅使另外一個或一組產生變化。

透過資料分析得出的結論，應當能反推出其他資料，或是與其他資料分析得出的結果相一致。例如，假設某日線上訂餐網站的資料量猛升，猜測與天氣陰雨、使用者窩在辦公室或家中不願出門有關，那麼就應當去翻查近期之內網站在陰雨天期間的訪問資料，看是否出現了類似的攀升。

資料分析流程

明確目的——獲取資料——處理資料——尋找異常值——分析原因——得出結論——驗證結論

明確目的：清楚並理解此次分析的目的是什麼，比如尋找某地城市的流量銳減的原因，這個很多時候是建立在你對業務邏輯/流程的理解，如果不瞭解的話，你所做的不是資料分析，頂多就是個資料整理的工作。而這就要求先確認分析維度，包括拉取什麼資料、核心變數是什麼、核心變數是否受到其他外界因素的影響（是否有其他需求上線？能否取到準確來源的資料？時間範圍的資料是否出現數據問題？）

獲取資料：很多時候我們需要自己動手從資料庫里拉取相關資料，在拉取資料時，需要注意以下幾點：

1、能在資料庫裡處理的，就不要拉到excel中處理；（比如走勢圖對比，有的系統比較高階，不同日期、不同指標之間直接就可以進行對比，而好多新人會在剛開始做資料分析的時候把資料匯出來，自己製作走勢圖。）

2、語句是否完整：引號、分號、group by；

3、條件限制是否準確：時間、平臺、頁面、類別、是否去重、是否清洗；

4、語句邏輯是否正確；所取時間段資料是否不受外界因素影響等等。

處理資料：儲存拉取出來的資料作為原始資料，保留相應的語句；掌握常用函式（Vlookup、sum、sumifs、Average、if、If error）；當你認為所需要做的事情特別繁瑣時，找人問；或者將你的問題清楚表述，然後百度，你要相信，你所遇到的問題別人很有可能早就遇到過。

尋找異常值：則是需要結合具體的業務才能進行，因為不同平臺不同指標的異常值不同，我們需要熟悉自己平臺的哪些指標為哪些值時為異常值。

分析原因：找到異常值以後，我們需要分析異常值出現的原因，在分析原因時會用到幾種常見資料分析方法論和資料分析方法。

➤ 資料分析方法論主要是從宏觀角度指導如何進行資料分析，他就像是一個數據分析的前期規劃，指導後期資料分析工作的開展。

常見的資料分析方法論有：

➀ PEST分析法（P—Political政治環境、E—Economic經濟環境、S—Social社會環境、T—Technological技術環境）

➁ 5W2H分析法（Why、What、Who、When、Where、How、How much）

➂ 邏輯樹分析法：是將問題的所有子問題分層羅列，從最高層開始，逐步向下擴充套件。

➃ 4P營銷理論：Product（產品）、Price（價格）、Place（渠道）、Promotion（促銷）

➄ 使用者行為理論：用於使用者行為研究分析，使用者行為是指使用者對一個產品從認知、熟悉、試用、使用、忠誠的過程（常見指標有：IP、PV、頁面停留時間、跳出率、回訪者、流失率、關鍵字搜尋、轉化率、登入率）。

➤ 資料分析方法是指具體的分析方法，例如我們常見的對比分析、交叉分析、迴歸分析、等資料分析法。

常見的資料分析方法

➀ 對比分析法

a 定義：將兩個或兩個以上的資料進行比較，分析他們的差異，從而揭示這些資料所代表的事物發展變化情況和規律性。

b 分類：對比分析法可以分為靜態比較和動態比較

● 靜態比較：同一時間條件下對不同總體指標的比較，如不同部門、不同地區、不同國家的比較，也叫橫向比較。

● 動態比較：同一總體條件下對不同時期指標數值的比較，也叫縱向比較。

c 實踐應用：常用於一下幾個維度。

與目標對比：實際完成值與目標進行對比，屬於橫比。

● 不同時期對比：選擇不同時期的指標數值作為對比標準，屬於縱比。

● 同級部門、單位、地區對比，屬於橫比。

● 行業內對比：與行業中的標杆企業、競爭對手或行業的平均水平進行對比，屬於橫比。

● 活動效果對比：對某項營銷活動開展前後進行對比，屬於縱比。

➁ 分組分析法

先經過資料加工，對資料進行資料分組，然後對分組的資料進行分析。分組的目的是為了便於對比，把總體中具有不同性質的物件區分開，把性質相同的物件合併在一起，保持各組內物件屬性的一致性、組與組之間屬性的差異性，以便進一步運用各種資料分析方法來解釋內在的數量關係。

➂ 結構分析法

指被分析總體內的各部分與總體之間進行對比的分析方法，即總體內各部分佔總體的比例。（市場佔有率是典型的應用）

➃ 平均分析法

運用計算平均數的方法來反映總體在一定的時間、地點條件下某一數量特徵的一般水平。

平均指標可用於同一現象在不同地區、不同部門或單位間的對比，還可用於同一現象在不同時間的對比。

➄ 交叉分析法

通常用於分析兩個變數之間的關係，即同時將兩個有一定聯絡的變數及其值交叉排列在一張表格內，使各變數值成為不同變數的交叉節點，形成交叉表。

➅ 漏斗圖分析法

漏斗圖可以很好的反映網站各步奏轉化率，利用對比法對同一環節最佳化前後的效果進行對比分析來反映某個步奏轉化率的好壞。

（網站轉化率—漏斗圖）

➆ 矩陣關係分析法

相當於直角座標系，橫縱座標代表不同指標值（滿意度、重要性等）。

得出結論：根據原因分析得出結論。

驗證結論：則是需要從其他維度去驗證一下結論的可靠性，

資料分析幾大誤區

因為資料的客觀性，讓資料變成了發掘問題本質，尋找事物規律所需要用到的最有利的手段之一。但是，資料雖然客觀，有時也是會騙人的。在與資料打交道的過程中，我們可能經常會犯一些錯誤，導致分析的結論出現較大的偏頗。因此，在做資料分析時，我們需要警惕這5個常見誤區：

1。 選取的樣本容量有誤

08年奧運會上，姚明的三分投籃命中率為100%，科比的三分投籃命中率為32%，那麼是不是說姚明的三分投籃命中率要比科比高？

顯然不能這麼說，因為那屆奧運會，姚明只投了一個三分球，科比投了53個。

因此，在做資料對比分析時，對於樣本的選取，需要制定相同的抽樣規則，減少分析結論的偏差性。

2。 錯判因果關係

某電商網站資料顯示，商品評論的數量與商品銷售額成正比。即一個商品評論數量越多，那麼該商品的銷售額也會越高。

假如我們認為評論多是銷量高的原因的話，資料分析的結論就會指導我們，需要創造更多的商品評論來帶動商品銷量。

但如果真的這樣操作的話，就會發現很多商品的銷量對於評論的敏感度並不一樣，甚至很多商品銷量很高，但與其評論的多少毫無關係。

這裡，我們就需要思考，評論真的是影響銷量的必然因素嗎？

除了評論之外，影響銷量的因素，還有其質量、價格、活動等，如果能完整的認識到這些因素，那我們要拉昇商品銷量，首先會需要先從其他角度來考慮，而非評論入手。

因此，在分析資料的時候，正確判斷資料指標的邏輯關係應該找幾者之間的相關關係而不是因果關係。（該知識點來源於大資料時代）

3。 被資料的表達技巧所矇蔽

上圖從表面上來看，第二個圖表顯然更吸引人，轉化率增長更加可喜。

但實際上，兩個圖表使用的是同一組資料。第二個圖表，僅僅是更改了縱軸範圍，就在視覺上覺得第二個的轉化率增長幅度更大。

因此，在做資料分析時，我們需要警惕一些資料處理的小計倆，不要被資料的視覺效果所矇蔽。

4。 過度依賴資料

過度依賴資料，一方面，會讓我們做很多沒有價值的資料分析；另一方面，也會限制產品經理本來應有的靈感和創意。

比如，分析馬車的資料，很可能我們得出的結論，是使用者需要一匹更快的馬車。如果過度依賴資料，侷限了我們的思維，就很有可能不會有汽車的誕生。

很多優秀甚至偉大的產品決策，並非透過資料發現的，而是一個產品經理綜合智慧的體現。

最後：

資料是客觀的，但是，解讀資料的人是主觀的。只有正確的認識資料，才能正確的利用資料。

在做資料分析時，對待資料我們必須要有一個求證的心態，並需要時刻警惕那些被人處理過的二手資料。

專業資料分析師需要具備的能力

從資料分析的四個步驟來看清資料分析師需具備的能力和知識：

資料分析的四個步驟（這有別於資料探勘流程：商業理解、資料理解、資料準備、模型搭建、模型評估、模型部署），是從更宏觀地展示資料分析的過程：獲取資料、處理資料、分析資料、呈現資料。

（一） 獲取資料

獲取資料的前提是對商業問題的理解，把商業問題轉化成資料問題，要透過現象發現本質，確定從哪些緯度來分析問題，界定問題後，進行資料的採集。此環節，需要資料分析師具備結構化的思維和對商業問題的理解能力。

推薦書籍：《金字塔原理》、麥肯錫三部曲：《麥肯錫意識》、《麥肯錫工具》、《麥肯錫方法》

工具：思維導圖、mindmanager軟體

（二） 處理資料

一個數據分析專案，通常資料處理時間佔70%以上，使用先進的工具有利於提升效率，所以儘量學習最新最有效的處理工具，以下介紹的是最傳統的，但卻很有效率的工具：

Excel：日常在做通報、報告和抽樣分析中經常用到，其圖表功能很強大，處理10萬級別的資料很輕鬆。

UltraEdit：文字工具，比TXT工具好用，開啟和執行速度都比較快。

ACCESS：桌面資料庫，主要是用於日常的抽樣分析（做全量統計分析，消耗資源和時間較多，通常分析師會隨機抽取部分資料進行分析），使用SQL語言，處理100萬級別的資料還是很快捷。

Orcle、SQL sever：處理千萬級別的資料需要用到這兩類資料庫。

當然，在自己能力和時間允許的情況下，學習新流行的分散式資料庫及提升自身的程式設計能力，對未來的職業發展也有很大幫助。

分析軟體主要推薦：

SPSS系列：老牌的統計分析軟體，SPSS Statistics（偏統計功能、市場研究）、SPSS Modeler（偏資料探勘），不用程式設計，易學。

SAS：老牌經典挖掘軟體，需要程式設計。

R：開源軟體，新流行，對非結構化資料處理效率上更高，需程式設計。

隨著文字挖掘技術進一步發展，對非結構化資料的分析需求也越來越大，需要進一步關注文字挖掘工具的使用。

（三） 分析資料

分析資料，需要用到各類的模型，包括關聯規則、聚類、分類、預測模型等，其中一個最重要的思想是對比，任何的資料需要在參照系下進行對比，結論才有意義。

推薦的書籍：

1、《資料探勘與資料化運營實戰，思路、方法、技巧與應用》，盧輝著，機械出版社。這本書是近年國內寫得最好的，務必把它當作聖經一樣來讀。

2、《誰說菜鳥不會資料分析（入門篇）》和《誰說菜鳥不會資料分析（工具篇）》，張文霖等編著。屬於入門級的書，適合初學者。

3、《統計學》第五版，賈俊平等編著，中國人民大學出版社。比較好的一本統計學的書。

4、《資料探勘導論》完整版，［美］Pang-Ning Tan等著，範明等翻譯，人民郵電出版社。

5、《資料探勘概念與技術》，Jiawei Han等著，範明等翻譯，機械工業出版社。這本書相對難一些。

6、《市場研究定量分析方法與應用》，簡明等編著，中國人民大學出版社。

7、《問卷統計分析實務——-SPSS操作與應用》，吳明隆著，重慶大學出版社。在市場調查領域比較出名的一本書，對問卷調查資料分析講解比較詳細。

（四） 呈現資料

該部分需要把資料結果進行有效的呈現和演講彙報，需要用到金字塔原理、圖表及PPT、word的呈現，培養良好的演講能力。

推薦書籍：

1、《說服力讓你的PPT會說話》，張志等編著，人民郵電出版社。

2、《別告訴我你懂ppt》加強版，李治著，北京大學出版社。

3、《用圖表說話》，基恩。澤拉茲尼著，馬曉路等翻譯，清華大學出版社。

（五） 其他的知識結構

資料分析師除了具備數學知識外，還要具備市場研究、營銷管理、心理學、行為學、產品運營、網際網路、大資料等方面的知識，需要構建完整廣泛的知識體系，才能支撐解決日常遇到的不同型別的商業問題。

推薦書籍：

1、《消費者行為學》第10版，希夫曼等人著，江林等翻譯，中國人民大學出版社，現在應該更新到更高的版本。

2、《怪誕行為學》升級版，艾瑞里著，趙德亮等翻譯，中信出版社

3、《營銷管理》，科特勒等著，梅清豪翻譯，格致出版社和上海人民出版社聯合出版

4、《網際網路思維——-獨孤九劍》，趙大偉主編，機械出版社

5、《大資料時代——-生活、工作與思維的大變革》，舍恩伯格等著，周濤等翻譯，浙江人民出版社

PS：這裡提到的能力要求為專業資料分析師需要掌握的技能，一般用資料來輔助產品、輔助運營的資料分析不需要這麼高難度的。

資料分析是職業發展

1、資料分析師通常分兩類，分工不同，但各有優勢。

一類是在專門的挖掘團隊裡面從事資料探勘和分析工作的。如果你能在這類專業團隊學習成長，那是幸運的，但進入這類團隊的門檻較高，需要紮實的資料探勘知識、挖掘工具應用經驗和程式設計能力。該類分析師更偏向技術線條，未來的職業通道可能走專家的技術路線。

另一類是下沉到各業務團隊或者運營部門的資料分析師，成為業務團隊的一員。他們工作是支撐業務運營，包括日常業務的異常監控、客戶和市場研究、參與產品開發、建立資料模型提升運營效率等。該型別分析師偏向產品和運營，可以轉向做運營和產品。

2、資料分析師的理想行業在網際網路，但條條大道通羅馬，走合適你的路線。

從行業的角度來看：

1）網際網路行業是資料分析應用最廣的行業，其中的電商企業，更是目前最火的，而且企業也更重視資料分析的價值，是資料分析師理想的成長平臺。

2）其次是諮詢公司（比如專門的資料探勘公司Teradata、尼爾森等市場研究公司），他們需要資料分析人才，而且相對來說，資料分析師在諮詢公司成長的速度更快，專業也會更全面。

3）再次是金融行業，比如銀行和證券等行業，該行業對資料分析的依賴需求，越來越大。

4）最後是電信行業（中國移動、聯通和電信），它們擁有海量的資料，在嚴峻的競爭下，也越來越重視資料分析，但進入這些公司的門檻比較高。資料分析培訓