為什麼LR可以用來做CTR預估？

作者：由 sun xin 發表于詩詞時間：2014-05-05

知乎使用者2015-03-06 14:20:49

1。點選率預估很多模型可以做，但是LR實現簡單，方便快速迭代和並行，適合工業界使用。

2。 LR本質是線性模型，線性可分的sample自然最好，但是非線性資料透過離散等處理也可以使用LR。

3。對feature進行離散化，一般而言lr都和特徵工程緊密聯絡。

logp2016-03-19 11:41:09

問題一：把被點選的樣本當成正例，把未點選的樣本當成負例，那麼樣本的ctr實際上就是樣本為正例的機率，LR可以輸出樣本為正例的機率，所以可以用來解決這類問題，另外LR相比於其他模型有求解簡單、可解釋強的優點，這也是工業界所看重的。

問題二：這裡給個充分不必要的條件：

將特徵向量

$\bm x$

劃分成

$\bm x_1,\bm x_2,...,\bm x_m$

後，滿足

1。

$\bm x_i$

在類確定的條件下都是獨立的，即

$P(\bm x|C_k)=\Pi_{i=1}^m P(\bm x_i|C_k)$

；

2。

$\bm x_i$

由某個離散特徵oneHotEncode所得或

$\bm x_i$

由某些連續特徵組成，在

的條件下服從正態分佈

$N(\bm \mu_k, \bm \Sigma)$

，注意

$\bm \Sigma$

跟

無關。

這個條件簡單優美，但過於苛刻，附錄2講下如何處理不太符合這個條件的資料。

————————————————-白話結束，下面講點比較數學的東西————————————————-

附錄1：證明問題二給出的條件

先講講LR為什麼可以輸出樣本為正例的機率，記

為正類，

為負類，則

的後驗機率可以寫成

$P(C_1|\bm x)=\frac{P(\bm x|C_1)P(C_1)}{P(\bm x|C_1)P(C_1)+P(\bm x|C_2)P(C_2)} = \frac{1}{1+\exp(-\ln\frac{P(\bm x|C_1)P(C_1)}{P(\bm x|C_2)P(C_2)})}$

當

$\ln\frac{P(\bm x|C_1)P(C_1)}{P(\bm x|C_2)P(C_2)}$

是

$\bm x$

的線性函式時，就是我們熟知的LR了。

現在考慮這樣的問題，當

$\bm x$

在

條件下服從什麼分佈時，有

$\ln\frac{P(\bm x|C_1)P(C_1)}{P(\bm x|C_2)P(C_2)}=\bm w^{T} \bm x+\bm b$

1。若

$\bm x_i$

由某個離散特徵oneHotEncode所得，記

$\bm x_i=(x_i^{(1)},x_i^{(2)},...,x_i^{(t)})$

，設

$p(x_i^{(j)}=1|C_k)=p_{kj}$

，則

$p(\bm x_i|C_k)=\Pi_{j=1}^{t} p_{kj}^{x_i^{(j)}}$

，這樣

$\ln\frac{P(\bm x_i|C_1)P(C_1)}{P(\bm x_i|C_2)P(C_2)}=\ln\frac{P(C_1)\Pi p_{1j}^{x_i^{(j)}}}{P(C_2)\Pi p_{2j}^{x_i^{(j)}}}=\Sigma \ln\frac{p_{1j}}{p_{2j}}x_i^{(j)}+constant$

有

$\bm x_i$

的線性形式。

2。若

$\bm x_i$

由某些連續特徵組成，在

的條件下服從正態分佈

$N(\bm \mu_k, \bm \Sigma_k)$

，則

$\ln\frac{P(\bm x_i|C_1)P(C_1)}{P(\bm x_i|C_2)P(C_2)}=\ln\frac{\exp\{-\frac{1}{2}(\bm x_i-\bm \mu_1 )^T\bm \Sigma_1^{-1}(\bm x_i-\bm \mu_1 )\}P(C_1) }{\exp\{-\frac{1}{2}(\bm x_i-\bm \mu_2 )^T\bm \Sigma_2^{-1}(\bm x_i-\bm \mu_2 )\}P(C_2)}=-\frac{1}{2}\bm x_i^T(\bm\Sigma_1^{-1}-\bm\Sigma_2^{-1})\bm x_i+(\bm\Sigma_1^{-1}\bm\mu _1-\bm\Sigma_2^{-1}\bm\mu_2)\bm x_i+constant$

當

$\bm\Sigma_1=\bm\Sigma_2=\bm\Sigma$

時，二次項消掉，有

$\bm x_i$

的線性形式。

由1、2，結合

$\bm x_i$

在類確定的條件下獨立，

$\ln\frac{P(\bm x|C_1)P(C_1)}{P(\bm x|C_2)P(C_2)}$

可以寫成

$\bm x$

的線性形式。

附錄2，如何處理不太符合上述條件的資料

1。

$\bm x_i=(x_i^{(1)},x_i^{(2)},...,x_i^{(t)})$

由某些連續特徵組成

a。

$\bm x_i$

在

條件下不服從正態分佈，處理辦法：將

$\bm x_i$

離散化，oneHotEncode；

b。

$\bm x_i$

在

的條件下服從正態分佈，其協方差矩陣跟C_k有關，處理辦法：加入

個二次項特徵，

$(x_i^{(1)}x_i^{(1)},x_i^{(1)}x_i^{(2)},...,x_i^{(t)}x_i^{(t)})$

，當然粗暴一點的話可以直接離散化。

2。

$\bm x_i=(x_i^{(1)},x_i^{(2)},...,x_i^{(t)}),\bm x_j=(x_j^{(1)},x_j^{(2)},...,x_j^{(s)})$

都是由離散特徵oneHotEncode所得，在類確定的條件下不是獨立的，處理辦法：將

$\bm x_i,\bm x_j$

組合成一個新特徵，oneHotEncode以後，共有t*s種情況，可以寫成

$(x_i^{(1)}x_j^{(1)},x_i^{(1)}x_j^{(2)},...,x_i^{(t)}x_j^{(s)})$

，用這個新特徵代替

$\bm x_i,\bm x_j$

。

知乎使用者2016-05-09 22:27:03

LR作為CTR預估的一個經典模型，他的理論和實際意義其它同學已經有了很好的回答，不累述了。

說一下我對CTR預估的一些淺見：無論是LR還是其它模型比如最近越來越受到青睞的FM， LR+GBDT， deep learning等方法，主要是解決的是rank order的問題，也就是模型給實際中點選機率高的樣本的打分應該高於實際中點選機率低的樣本。所以我們往往在評價這些模型的效能時，會使用AUC-ROC等指標。

然而在計算廣告裡，CTR預估往往不但要給出正確的rank order，還需要估計出實際的點選機率。但是不幸的事情是我們的觀察資料是｛0，1｝的二元資料，永遠無法知道他們背後的真實點選機率是多少。因此如何用二元的觀察資料估計出實際的點選機率是個非常有挑戰的事情。這種挑戰在觀察資料是有偏的情況下會變得更加棘手。比如RTB廣告我們的觀察資料往往受到bid landscape的影響，存在survival bias。

從這個意義上說，點選預估在過去一段時間大家主要的精力放在了rank order的精進上，卻似乎有一些忽略了calibration的重要性。回到題主的問題，“為什麼LR可以用來做CTR預估”，我想可能裡面有一定程度的原因是經常有人提起“LR能夠直接輸出0-1的結果作為機率輸出”，這裡的前提是LR的log-linear假設是一個好的假設，也就是輸入變數x=（x_1，。。。， x_N）和條件機率P（y=1|x）之間的關係是滿足log-linear假設的。然而如果實際中這個假設並不成立或者是個不怎麼好的假設，LR輸出的結果就不見得是一個好的點選機率估計。這個時候仍然需要非常精細的calibration。

七月線上七仔2021-08-25 16:37:29

CTR預估技術的演變

AI牛2022-02-18 07:18:55

CTR排序模型的100+條實戰經驗

本文收集和總結了有關CTR排序模型的100+篇文章，由於篇幅有限只能總結近期的內容，想了解更多內容可以訪問：

http：//www。

ai2news。com/

，其分享了有關AI的論文、文章、圖書。

一種CTR預估中連續特徵的Embedding學習框架 - AutoDis 地址：

http：//www。

ai2news。com/blog/36873/

2021-07-10

一口氣放出三篇SIGIR論文！詳解阿里媽媽搜尋廣告CTR模型演進地址：

http：//www。

ai2news。com/blog/36849/

2021-05-28

WSDM‘21「螞蟻」CTR預估：多互動注意力網路 Multi-Interactive Attention Network for Fine-grained Feature Learning in 地址：

http：//www。

ai2news。com/blog/31936/

2021-11-15

推薦系統與深度學習（13）：［華為 CIKM’21］ EDCN：基於資訊共享的並行深度CTR模型地址：

http：//www。

ai2news。com/blog/19725/

2021-11-10

阿里推出DeepInsight平臺：視覺化理解深度神經網路CTR預估模型地址：

http：//www。

ai2news。com/blog/8721/

2018-07-09

一圖勝千言：解讀阿里的 Deep Image CTR Model 地址：

http：//www。

ai2news。com/blog/4701/

2019-03-24

［CTR］可解釋的CTR預估： InterHAt， FiBiNET 地址：

http：//www。

ai2news。com/blog/19783/

2021-12-20

［廣告機制］-模型篇：CTR預估之DeepFM演算法地址：

http：//www。

ai2news。com/blog/19708/

2021-08-11

SIGIR2021|AutoPI：一種自動發掘CTR預測中強大特徵互動的通用方法地址：

http：//www。

ai2news。com/blog/33462/

2021-07-12

稠密特徵加入CTR預估模型的方法地址：

http：//www。

ai2news。com/blog/10426/

2020-01-06

CTR/推薦系統概述文章彙總地址：

http：//www。

ai2news。com/blog/19836/

2021-04-04

Normalization在CTR問題中的迷之效果地址：

http：//www。

ai2news。com/blog/21253/

2021-02-27

主流 CTR 預估模型的演化及對比地址：

http：//www。

ai2news。com/blog/5278/

2019-03-06

一文讀懂CTR預估模型的發展歷程地址：

http：//www。

ai2news。com/blog/52466/

2022-02-09

CTR/推薦系統中embedding應用概述文章彙總地址：

http：//www。

ai2news。com/blog/19707/

2021-05-01

推薦系統CTR預估學習路線：從LR到FM/FFM探索二階特徵的高效實現地址：

http：//www。

ai2news。com/blog/43155/

2021-02-17

SIGIR 2019 - 圖意向網路【阿里，CTR預估模型】- GIN【Graph Intention Network】地址：

http：//www。

ai2news。com/blog/36897/

2021-06-15

阿里媽媽搜尋廣告 CTR 模型的“瘦身”之路地址：

http：//www。

ai2news。com/blog/4827/

2021-06-04

阿里的CTR預測（一）：Deep Interest Network 地址：

http：//www。

ai2news。com/blog/9160/

2018-10-15

CTR模型越來越深，如何讓它變輕？地址：

http：//www。

ai2news。com/blog/19729/

2021-03-30

回顧·CTR 預估系統實踐地址：

http：//www。

ai2news。com/blog/5202/

2019-01-09

auc和ctr之間的那些事（4）地址：

http：//www。

ai2news。com/blog/28428/

2021-03-21

CTR/推薦系統演算法模型概述文章彙總地址：

http：//www。

ai2news。com/blog/19840/

2021-04-04

大廠技術實現 | 騰訊資訊流推薦排序中的並聯雙塔CTR結構@推薦與計算廣告系列地址：

http：//www。

ai2news。com/blog/6160/

2021-11-24

Deep CTR綜述：深度學習用於點選率預估地址：

http：//www。

ai2news。com/blog/33569/

2021-04-26

CTR 預估在動態樣式建模和特徵表達學習方面的進展地址：

http：//www。

ai2news。com/blog/5578/

2020-04-09

網易雲音樂廣告CTR預估模型演進過程地址：

http：//www。

ai2news。com/blog/27193/

2021-12-21

網際網路廣告 CTR 預估新演算法：基於神經網路的 DeepFM 原理解讀地址：

http：//www。

ai2news。com/blog/5093/

2018-09-04

讀透DeepFM： A Factorization-Machine based Neural Network for CTR Prediction 地址：

http：//www。

ai2news。com/blog/19918/

2021-03-27

推薦系統CTR預估學習路線：引入注意力機制地址：

http：//www。

ai2news。com/blog/46746/

2021-02-17

CIKM 2021 | 多場景下的星型CTR預估模型STAR 地址：

http：//www。

ai2news。com/blog/33574/

2021-11-24

推薦CTR預估 | KDD 2018：谷歌多工訓練模型MMOE 地址：

http：//www。

ai2news。com/blog/19821/

2021-08-29

CIKM‘21 DESTINE：基於解耦自注意網路的CTR模型地址：

http：//www。

ai2news。com/blog/52147/

2022-02-03

美團 | 新一代 CTR 預測服務的 GPU 最佳化實踐地址：

http：//www。

ai2news。com/blog/14985/

2021-09-17

美團演算法專家都在調的CTR模型-DeepFM模型地址：

http：//www。

ai2news。com/blog/19687/

2021-07-26

新一代CTR預測服務的GPU最佳化實踐地址：

http：//www。

ai2news。com/blog/23267/

2021-09-13

保序迴歸的工程問題-CTR的離散化方法地址：

http：//www。

ai2news。com/blog/49032/

2021-12-27

2020全行業Facebook大盤CPA/CTR/CVR/CPC資料地址：

http：//www。

ai2news。com/blog/34694/

2021-04-02

［廣告機制］-模型篇：CTR預估之AFM演算法地址：

http：//www。

ai2news。com/blog/19834/

2021-08-13

你真的懂點選率（CTR）建模嗎？地址：

http：//www。

ai2news。com/blog/33570/

2021-05-13

CTR改進策略地址：

http：//www。

ai2news。com/blog/33545/

2021-12-03

華為在Criteo和Avazu上進行了4，600項實驗，進行了超過12，000 GPU小時的評估，評估了24種現有CTR模型地址：

http：//www。

ai2news。com/blog/33568/

2021-07-12

推薦系統/CTR/IJCAI 地址：

http：//www。

ai2news。com/blog/16828/

2021-08-01

為什麼要用深度學習來做個性化推薦 CTR 預估地址：

http：//www。

ai2news。com/blog/7175/

2017-09-27

CTR/推薦系統中多工/多目標學習應用概述文章彙總地址：

http：//www。

ai2news。com/blog/19719/

2021-05-01

SIGIR2021|GemNN：基於特徵互動學習的門控增強多工神經網路用於CTR預測地址：

http：//www。

ai2news。com/blog/33534/

2021-09-10

讀透Field-aware factorization machines for CTR prediction 地址：

http：//www。

ai2news。com/blog/20206/

2021-03-24

推薦系統與深度學習（12）：［京東 CIKM’20 short］ CTR預估中的維度關聯建模地址：

http：//www。

ai2news。com/blog/19727/

2021-06-22

ctr 校準地址：

http：//www。

ai2news。com/blog/49034/

2021-12-21

推薦系統中CTR排序模型彙總（LR，GBDT，FM，FFM，MLR，Deep and wide，Deep and cross，deepFM，XDeepFM，PN 地址：

http：//www。

ai2news。com/blog/11221/

2020-10-24

【推薦系統】CTR預估模型（一）：LR+GBDT 地址：

http：//www。

ai2news。com/blog/11701/

2021-02-20

CTR/推薦系統排序概述文章彙總地址：

http：//www。

ai2news。com/blog/19848/

2021-04-05

CTR 預估演算法之 FM，實踐專案程式碼包 + 資料集奉上（附連結）地址：

http：//www。

ai2news。com/blog/5998/

2021-04-20

深度學習在CTR預估中的應用 | CTR深度模型大盤點地址：

http：//www。

ai2news。com/blog/8202/

2018-04-12

萬字長文梳理 CTR 預估模型發展過程與關係圖譜地址：

http：//www。

ai2news。com/blog/5509/

2020-02-29

推薦廣告之點選率CTR相關地址：

http：//www。

ai2news。com/blog/33566/

2021-12-23

推薦系統CTR預估學習路線：深度模型地址：

http：//www。

ai2news。com/blog/43157/

2021-02-17

阿里的CTR預測（二）：Deep Interest Evolution Network 地址：

http：//www。

ai2news。com/blog/9170/

2018-10-17

TensorFlow Estimator of Deep CTR：DeepFM/NFM/AFM/FNN/PNN（程式碼 + 實戰）地址：

http：//www。

ai2news。com/blog/7946/

2018-02-18

week21 CTR預估地址：

http：//www。

ai2news。com/blog/13152/

2021-07-30

深度時空網路、記憶網路與特徵表達學習在 CTR 預估中的應用地址：

http：//www。

ai2news。com/blog/52664/

2022-02-14

推薦搜尋煉丹筆記：MiNet阿里跨域點選率CTR預估地址：

http：//www。

ai2news。com/blog/36921/

2021-01-16

SIGIR 2021 | 廣告系統位置偏差的CTR模型最佳化方案地址：

http：//www。

ai2news。com/blog/20115/

2021-08-09

2021 幾個會議CTR論文一覽（IJCAI、SIGIR、KDD、WWW、AAAI、CIKM、WSDM等）地址：

http：//www。

ai2news。com/blog/33506/

2021-12-12

［2020-AAAI］ CTR預估中數值特徵自動離散化地址：

http：//www。

ai2news。com/blog/33571/

2021-02-05

主流CTR預估模型的演化及對比地址：

http：//www。

ai2news。com/blog/8278/

2018-04-26

多值類別特徵加入CTR預估模型的方法地址：

http：//www。

ai2news。com/blog/10427/

2020-01-06

回顧 Facebook 經典 CTR 預估模型地址：

http：//www。

ai2news。com/blog/5281/

2019-03-06

KDD‘21「華為」特徵互動和興趣挖掘（圖卷積）新方式DG-ENN Dual Graph enhanced Embedding Neural Network for CTR Prediction 地址：

http：//www。

ai2news。com/blog/19825/

2021-11-03

CTR預估與樣本空間地址：

http：//www。

ai2news。com/blog/28402/

2021-10-11

線下 auc 漲，線上 ctr/cpm 跌的原因和解決辦法地址：

http：//www。

ai2news。com/blog/4676/

2020-04-24

深度學習在CTR預估中的應用地址：

http：//www。

ai2news。com/blog/8239/

2018-04-20

推薦系統與深度學習（11）：用於CTR預測的門控增強深度網路地址：

http：//www。

ai2news。com/blog/19775/

2021-06-07

SIM：阿里定向廣告——基於搜尋的超長使用者行為序列 ctr 模型地址：

http：//www。

ai2news。com/blog/19722/

2021-09-05

前深度學習時代 CTR 預估模型的演化之路地址：

http：//www。

ai2news。com/blog/5308/

2019-04-03

推薦系統CTR預估：使用者興趣建模地址：

http：//www。

ai2news。com/blog/28411/

2021-10-02

推薦系統CTR預估學習路線：利用樹模型自動化特徵工程地址：

http：//www。

ai2news。com/blog/46744/

2021-02-17

網易雲音樂廣告 CTR 預估模型演進過程地址：

http：//www。

ai2news。com/blog/15122/

2021-12-22

遷移學習在CTR問題中的運用地址：

http：//www。

ai2news。com/blog/8917/

2018-08-19

多工多目標 CTR 預估技術地址：

http：//www。

ai2news。com/blog/29231/

2021-10-13

推薦系統/CTR論文整理之二階整理地址：

http：//www。

ai2news。com/blog/19837/

2021-04-04

廣告CTR預估 | KDD2018：詳解阿里DIN（Deep Interest Network）模型地址：

http：//www。

ai2news。com/blog/19898/

2021-09-09

從LR到FmFM/推薦/CTR 地址：

http：//www。

ai2news。com/blog/16960/

2021-07-12

［2021-WWW］優雅的淺層CTR模型FmFM（Field-matrixed FM， FwFM改進版）地址：

http：//www。

ai2news。com/blog/33573/

2021-03-15

騰訊 | 深度 CTR 預估模型在應用寶推薦系統中的探索地址：

http：//www。

ai2news。com/blog/5774/

2020-09-06

騰訊 CTR 建模過程中的實踐總結地址：

http：//www。

ai2news。com/blog/6012/

2021-10-20

【搜狐】新聞推薦系統的 CTR 預估模型地址：

http：//www。

ai2news。com/blog/5310/

2019-04-18

小米廣告演算法（CTR組）招聘地址：

http：//www。

ai2news。com/blog/15489/

2021-06-30

淘寶的PPC、ROI、CTR、CVR究竟是什麼，以及他們之間的關係？地址：

http：//www。

ai2news。com/blog/48156/

2021-03-18

auc和ctr之間的那些事（2）地址：

http：//www。

ai2news。com/blog/28488/

2021-03-21

谷歌、阿里、微軟等 10 大深度學習 CTR 模型最全演化圖譜【推薦、廣告、搜尋領域】地址：

http：//www。

ai2news。com/blog/5325/

2019-05-09

NVIDIA T4助力美團機器學習平臺CTR預測服務升級地址：

http：//www。

ai2news。com/blog/21145/

2021-12-27

降低CPM 提升CTR，拒絕被海量Facebook廣告資料指標淹沒地址：

http：//www。

ai2news。com/blog/34322/

2021-12-13

阿里媽媽搜尋廣告CTR模型的“瘦身”之路地址：

http：//www。

ai2news。com/blog/20179/

2021-06-02

［CTR］高階特徵的顯式交叉 —— DCN， DCN-v2， xDeepFM， AutoInt 地址：

http：//www。

ai2news。com/blog/49031/

2021-12-18

推薦CTR預估 | Recsys 2019：Youtube 多目標排序+解決position bias 地址：

http：//www。

ai2news。com/blog/19897/

2021-08-31

MaskNet 這個CTR模型，有點意思地址：

http：//www。

ai2news。com/blog/21103/

2021-04-11

不僅僅用 CTR：透過人工評估得到更好的推薦地址：

http：//www。

ai2news。com/blog/5467/

2020-01-06

transformers在ctr中的應用地址：

http：//www。

ai2news。com/blog/20000/

2021-02-05

CTR預估專欄 | 一文搞懂阿里Deep Interest Network 地址：

http：//www。

ai2news。com/blog/8801/

2018-07-23

阿里 B2B：融合 Matching 與 Ranking 的個性化 CTR 預估模型地址：

http：//www。

ai2news。com/blog/5488/

2020-02-06

［廣告機制］-模型篇：CTR預估之FNN演算法地址：

http：//www。

ai2news。com/blog/19880/

2021-08-20

阿里廣告 CTR 預估中使用者行為學習和記憶建模地址：

http：//www。

ai2news。com/blog/5622/

2020-04-14

CTR 預估之 FM 地址：

http：//www。

ai2news。com/blog/7779/

2018-01-18

CTR預測模型經典案例總結地址：

http：//www。

ai2news。com/blog/33565/

2021-07-13

深度 CTR 預估模型中的特徵自動組合機制演化簡史地址：

http：//www。

ai2news。com/blog/5294/

2019-03-19

推薦系統工程難題：如何做好深度學習 CTR 模型線上 Serving 地址：

http：//www。

ai2news。com/blog/5380/

2019-08-14

SIGIR’21短文「阿里」考慮使用者資訊互動的CTR預估 Deep User Match Network for Click-Through Rate Prediction 地址：

http：//www。

ai2news。com/blog/33543/

2021-11-02

CIKM‘21 FINT：基於特徵域交叉的CTR模型地址：

http：//www。

ai2news。com/blog/52086/

2022-01-31

KDD’21華為數值型特徵做embedding，An Embedding Learning Framework for Numerical Features in CTR Prediction 地址：

http：//www。

ai2news。com/blog/36924/

2021-10-11

標簽： http www ai2news com blog

上一篇:把故宮搬回家篇四：丹墀立雲鶴，瑞獸風雷掣

下一篇：“笑林始祖”開釋“繞床弄青梅”中“床”對今人的困惑

為什麼LR可以用來做CTR預估？

猜你喜歡

我們是做教育的，要用教學結果說話--從數以萬計的櫻花國際日語學員，引發的感慨

恭祝至尊空行母門措上師如意寶珠華誕

NGINX宏觀手記（建議收藏）

楊宜勇言論調查

小白新手該如何選擇雲伺服器？