概要と1 はじめに
関連研究
問題設定
方法論
4.1. 決定境界を考慮した蒸留
4.2. 知識の統合
実験結果と5.1. 実験セットアップ
5.2. 最先端手法との比較
5.3. アブレーション研究
結論と今後の研究および参考文献
\
補足資料
図2(a)に示すように、新しい観測におけるコンセプトドリフトの発生により、既存モデルが失敗する外部サンプルが出現します。新しいIILは、これらの外部サンプルに決定境界を拡大すると同時に、古い境界における破滅的忘却(CF)を回避する必要があります。従来の知識蒸留ベースの手法は、CFに抵抗するために保存された例示データ[22]または補助データ[33, 34]に依存しています。しかし、提案されたIIL設定では、新しい観測以外の古いデータにアクセスできません。モデルに新しいパラメータが追加されない場合、これらの新しい観測に基づく蒸留は新しい知識の学習と矛盾します。学習と忘却防止のバランスを取るために、古いデータを必要としない決定境界を考慮した蒸留方法を提案します。学習中、学生が学んだ新しい知識は断続的に教師モデルに統合され、より良い一般化をもたらし、この分野での先駆的な試みとなっています。
\ 
\
:::info 著者:
(1) Qiang Nie, 香港科技大学(広州);
(2) Weifu Fu, テンセントYoutuラボ;
(3) Yuhuan Lin, テンセントYoutuラボ;
(4) Jialin Li, テンセントYoutuラボ;
(5) Yifeng Zhou, テンセントYoutuラボ;
(6) Yong Liu, テンセントYoutuラボ;
(7) Qiang Nie, 香港科技大学(広州);
(8) Chengjie Wang, テンセントYoutuラボ.
:::
:::info この論文はarxivで入手可能であり、CC BY-NC-ND 4.0 Deed(帰属-非営利-改変禁止 4.0 国際)ライセンスの下で提供されています。
:::
\


