展示型廣告點擊率預測模型 : 比較與應用

Abstract

廣告點擊率預測是線上廣告的重要研究方向之一，隨著即時競價機制興起與公開資料公布，廣告研究重心從贊助搜索廣告轉移到即時競價中的展示型廣告，大部分研究運用機器學習預測使用者在假設每筆廣告曝光為獨立的情況是否點擊，但使用者真實的網站點擊行為是會受到先前使用經驗影響。所以本篇研究除了將文獻提出的廣告點擊率預測模型應用於展示型廣告資料集上，更以使用者為中心參考使用者歷史廣告特徵的序列實驗方式來設計出不同的廣告點擊假設，探討新的實驗假設是否能提升模型對廣告點擊率預測的表現。 本篇研究使用的是 Avazu 公司在 Kaggle 平台舉辦的廣告點擊率預測競賽資料集，將此次實驗分別以三個實驗假設進行設計與實做探討，分別為 (1) 單一獨立廣告實驗假設 (2) 考慮使用者歷史廣告展示序列實驗假設 (針對時間相關特徵) (3) 考慮使用者歷史廣告展示序列實驗假設 (考慮所有相關特徵)。接著從預測模型與特徵工程方面提出模型改良與特徵工程來提升點擊率預測表現，我們提出名為 CNN&GRU 模型，主要運用 Wide&Deep 模型架構來結合卷積神經網路與 GRU (Gated Recurrent Unit) 模型，針對使用者歷史點擊經驗會影響下次點擊率的特性，將歷史點擊經驗量化為新特徵進行預測。最後探討序列實驗的長度變化與類神經網路模型架構對模型在各實驗假設預測表現的影響性。 實驗結果反映出模型結構不同會導致模型學習特徵方式與特徵資訊也會不同，並影響模型在不同實驗假設的表現差異。接著，在只運用時間特徵資訊的序列假設下無法有效進行點擊率預測，但在運用歷史廣告相關特徵的序列假設下能有效幫助模型提高預測表現。實驗結果也證實所提出的 CNN&GRU 模型與特徵工程能有效提升點廣告擊率預測表現，並且歷史特徵序列長度增加與類神經相關模型的內部構造參數調整也會提升模型對廣告點擊率預測表現。

Advertising click through rate prediction is one of the fundamental problems in online advertising. Researchers have already adopted machine learning approaches to predict advertising click for each ad view independently. However, as observed user’s behaviors on ads yield high dependency on how the user behaved along with the past time. Therefore, in addition to applying the models to the display advertising dataset, we also design ad click hypotheses based on user historical advertising features. In this study, we propose a model called CNN&GRU that uses the Wide&Deep model architecture to combine the convolutional neural network with the GRU (Gated Recurrent Unit) model, and then discusses the influence of feature engineering, sequence experiment length variation and neural network related model architecture. In addition, we used Avazu's advertising click-through rate forecasting contest dataset on the Kaggle platform to examine our proposed model. The experiment was implemented with independent and sequence hypotheses.

Our results show that different model structures will affect the performance in different hypotheses. Using only the time feature information can not effectively predict the click-through rate, but the sequence hypothesis can effectively improve the forecast performance. In addition, CNN&GRU model, feature engineering and the increase of the historical feature sequence can also improve the prediction performance.