近幾年，騰(teng)訊優(you)(you)圖(tu)不斷(duan)迭(die)代數據和(he)模型缺(que)陷情況下神經網絡的有效(xiao)訓練方法，相關技(ji)(ji)術已經在眾多業(ye)務場景上（行人重(zhong)識別，內容審核等）落地。本文整理自騰(teng)訊優(you)(you)圖(tu)、騰(teng)訊云大(da)學、AICUG和(he)AI科(ke)技(ji)(ji)評論聯合主辦的「優(you)(you)Tech沙龍(long)」，分享(xiang)嘉(jia)賓為騰(teng)訊優(you)(you)圖(tu)實驗室高級研究員Louis。

01 定義帶噪學習目標

現實(shi)數據中存在的(de)(de)標(biao)簽噪音(yin)（label noise）根據Feature可(ke)以分成(cheng)(cheng)(cheng)兩種：Feature independent noise和 Feature dependent noise。Feature independent noise是(shi)與(yu)特征(zheng)無關(guan)的(de)(de)，比如將一只(zhi)狗的(de)(de)圖片(pian)誤標(biao)記(ji)成(cheng)(cheng)(cheng)汽車(che)，狗和汽車(che)沒有什(shen)么相似特征(zheng)，所以屬于(yu)這類。Feature independent noise是(shi)與(yu)特征(zheng)有關(guan)的(de)(de)，比如說狗和狼具有很多相似特征(zheng)屬性，標(biao)注人員可(ke)能(neng)把狗誤標(biao)記(ji)成(cheng)(cheng)(cheng)狼，那就屬于(yu)這類。其(qi)實(shi)現實(shi)場景更(geng)多存在都是(shi)feature dependent noise。

噪(zao)音普遍存在，所以我們需(xu)要(yao)訓練神經網絡進行帶噪(zao)學習，并且要(yao)能(neng)實現比(bi)較(jiao)好的(de)(de)性能(neng)。那么noise label learning的(de)(de)目標(biao)是設計(ji)一個loss function，使得在noisy labels下(xia)訓練得到的(de)(de)解(jie)(jie)，在性能(neng)上接近在clean labels下(xia)訓練得到的(de)(de)解(jie)(jie)。