A General Knowledge Distillation Framework for Counterfactual Recommendation via Uniform Data

Liu, Dugang; Cheng, Pengxiang; Dong, Zhenhua; He, Xiuqiang; Pan, Weike; Ming, Zhong

doi:10.1145/3397271.3401083

Cited by 151 publications

(72 citation statements)

References 23 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Counterfactual learning offers a way to tackle the missing-not-at-random problem [1,2,5,15,21,23,26,29]. Several recent studies [9,31] employ counterfactual learning, such as inverse propensity score (IPS) and doubly robust (DR) estimators, to debias CVR estimation.…”

Section: Counterfactual Learning Based Modelsmentioning

confidence: 99%

UKD: Debiasing Conversion Rate Estimation via Uncertainty-regularized Knowledge Distillation

Xu¹,

Wei²,

Zhang³

et al. 2022

Preprint

View full text Add to dashboard Cite

In online advertising, conventional post-click conversion rate (CVR) estimation models are trained using clicked samples. However, during online serving the models need to estimate for all impression ads, leading to the sample selection bias (SSB) issue. Intuitively, providing reliable supervision signals for unclicked ads is a feasible way to alleviate the SSB issue. This paper proposes an uncertaintyregularized knowledge distillation (UKD) framework to debias CVR estimation via distilling knowledge from unclicked ads. A teacher model learns click-adaptive representations and produces pseudoconversion labels on unclicked ads as supervision signals. Then a student model is trained on both clicked and unclicked ads with knowledge distillation, performing uncertainty modeling to alleviate the inherent noise in pseudo-labels. Experiments on billion-scale datasets show that UKD outperforms previous debiasing methods. Online results verify that UKD achieves significant improvements. CCS CONCEPTS• Information systems → Online advertising.

show abstract

Section: Counterfactual Learning Based Modelsmentioning

confidence: 99%

UKD: Debiasing Conversion Rate Estimation via Uncertainty-regularized Knowledge Distillation

Xu¹,

Wei²,

Zhang³

et al. 2022

Preprint

View full text Add to dashboard Cite

show abstract

“…In order to handle user implicit feedback, [27,37] extend this method by incorporating cross-entropy loss and designing tailored debiasing models. In addition, [20] proposes a general knowledge distillation framework to debias the training data. [5] provides a thorough discussion on the recent progress on debiased recommendation.…”

Section: Related Workmentioning

confidence: 99%

Top-N Recommendation with Counterfactual User Preference Simulation

Yang

Dai

Dong

et al. 2021

Proceedings of the 30th ACM International Conference on Information &Amp; Knowledge Management

Self Cite

View full text Add to dashboard Cite

Top-N recommendation, which aims to learn user ranking-based preference, has long been a fundamental problem in a wide range of applications. Traditional models usually motivate themselves by designing complex or tailored architectures based on different assumptions. However, the training data of recommender system can be extremely sparse and imbalanced, which poses great challenges for boosting the recommendation performance. To alleviate this problem, in this paper, we propose to reformulate the recommendation task within the causal inference framework, which enables us to counterfactually simulate user ranking-based preferences to handle the data scarce problem. The core of our model lies in the counterfactual question: "what would be the user's decision if the recommended items had been different?". To answer this question, we firstly formulate the recommendation process with a series of structural equation models (SEMs), whose parameters are optimized based on the observed data. Then, we actively indicate many recommendation lists (called intervention in the causal inference terminology) which are not recorded in the dataset, and simulate user feedback according to the learned SEMs for generating new training samples. Instead of randomly intervening on the recommendation list, we design a learning-based method to discover more informative training samples. Considering that the learned SEMs can be not perfect, we, at last, theoretically analyze the relation between the number of generated samples and the model prediction error, based on which a heuristic method is designed to control the negative effect brought by the prediction error. Extensive experiments are conducted based on both synthetic and real-world datasets to demonstrate the effectiveness of our framework. CCS CONCEPTS• Information systems → Recommender systems.

show abstract

“…Maruz Kalma Yanlılığı, kullanıcıların yalnızca belirli ürünlerin bir kısmına maruz kalması nedeniyle oluşur, dolayısıyla gözlemlenmeyen etkileşimler her zaman olumsuz bir tercih olduğu manasına gelmez. Bir kullanıcı ile bir ürün arasındaki gözlemlenmemiş bir etkileşim, iki olası nedene bağlanabilir: (i) ürün, kullanıcının ilgisiyle eşleşmemektedir ve (ii) kullanıcı, ürünün farkında değildir [29]. Bu nedenle, gözlemlenmemiş etkileşimlerin yorumlanmasında belirsizlik ortaya çıkar.…”

Section: B öNerilerde Yanlılıkunclassified

İşbirlikçi Filtreleme Algoritmalarının Çok-Beğenilen Ürünlere Yönelik Yanlılığı

Yalçin

2021

Bilecik Şeyh Edebali Üniversitesi Fen Bilimleri Dergisi

View full text Add to dashboard Cite

Öneri sistemleri, bireysel kullanıcılara herhangi bir kişisel çaba gerektirmeden geçmişteki tercihlerine ve özelliklerine göre uygun ürünleri/hizmetleri öneren otomatikleştirilmiş araçlardır. Bu sistemlerde, işbirlikçi filtreleme algoritmaları, ürünler için bireysel tahminler veya kullanıcılar için tercih edilir ürünlerin sıralı bir listesini üretmek için en çok kullanılan yaklaşımlardır. Bu tür algoritmaların verimliliği genellikle sağlanan önerilerin doğruluğu ile değerlendirilse de, ürün kataloğu kapsamı gibi doğruluk-üstü değerlendirmeler de nitelikli önerilerde kritik faktörler olarak kabul edilir. Ancak, son zamanlarda yapılan birçok çalışma, bu algoritmaların, belirli özellikleri (örn. popülerlik) nedeniyle bazı ürünleri üretilen sıralı listelerde diğerlerinden daha çok öne çıkarma eğiliminde olduğunu göstermiştir. Bu çalışmada, ürün profillerini farklı bir bakış açısıyla, beğenilme dereceleriyle irdeliyor ve işbirlikçi filtreleme algoritmalarının çok beğenilen ürünlere yönelik bir yanlılığının olup olmadığını araştırıyoruz. Bu amaçla, üç farklı kategoriden dokuz önemli işbirlikçi filtreleme algoritmasını kullanıyoruz ve iki gerçek-dünya veri kümesi üzerinde çeşitli deneyler gerçekleştiriyoruz. Deneysel sonuçlar, hemen hemen tüm algoritmaların çok beğenilen ürünlere yönelik güçlü bir yanlılığının olduğunu ve SVD ile SVD++ gibi matris çarpanlarına ayırma tabanlı algoritmaların yüksek kalitede öneriler üretmede diğerlerinden daha başarılı olduğunu göstermiştir.

show abstract

A General Knowledge Distillation Framework for Counterfactual Recommendation via Uniform Data

Cited by 151 publications

References 23 publications

UKD: Debiasing Conversion Rate Estimation via Uncertainty-regularized Knowledge Distillation

UKD: Debiasing Conversion Rate Estimation via Uncertainty-regularized Knowledge Distillation

Top-N Recommendation with Counterfactual User Preference Simulation

İşbirlikçi Filtreleme Algoritmalarının Çok-Beğenilen Ürünlere Yönelik Yanlılığı

Contact Info

Product

Resources

About