域泛化(Domain generalization)是從一個或多個源域中學(xué)習(xí)?,其目標(biāo)是提取一個可以在未知目標(biāo)域中使用的域不變模型。在網(wǎng)絡(luò)訓(xùn)練過程中,模型可能會過度依賴于訓(xùn)練數(shù)據(jù)集的分布,最終導(dǎo)致無法準(zhǔn)確捕獲未見數(shù)據(jù)中存在的適當(dāng)模式。
該研究提出的域泛化框架
針對這一問題,中國科學(xué)院沈陽自動化研究所機器人學(xué)研究室機器智能課題組提出了一種加權(quán)標(biāo)簽平滑正則化(weighted label smoothing regularization)方法。相關(guān)研究以Label smoothing regularization-based no hyperparameter domain generalization為題在Knowledge-Based Systems發(fā)表。
該方法通過加權(quán)標(biāo)簽平滑正則化引入類間監(jiān)督,使得模型更加關(guān)注類別之間的相對關(guān)系而不是絕對差異,從而幫助模型學(xué)習(xí)到更通用的特征,緩解網(wǎng)絡(luò)的過擬合特性,提高模型對未知新數(shù)據(jù)的泛化能力。此外,權(quán)重自適應(yīng)技術(shù)尋求遷移性和判別性之間的平衡,使網(wǎng)絡(luò)更新更加穩(wěn)定。該研究成果為解決現(xiàn)實世界不同光線、不同天氣場景下的視覺感知問題提供了新思路。
本研究得到了國家自然科學(xué)基金項目、中國科學(xué)院青促會項目、遼寧省“揭榜掛帥”科技計劃項目以及沈陽自動化所基礎(chǔ)研究項目支持。(機器人學(xué)研究室)
論文鏈接:https://www.sciencedirect.com/science/article/pii/S0950705124015119
Doi: 10.1016/j.knosys.2024.112877
來源:中國科學(xué)院沈陽自動化研究所