この記事では、古いデータへのアクセスを必要としないインスタンス増分学習のための新しい決定境界認識蒸留手法を紹介します。この記事では、古いデータへのアクセスを必要としないインスタンス増分学習のための新しい決定境界認識蒸留手法を紹介します。

医療画像合成:RUSSとセグメンテーションのためのS-CycleGAN

2025/11/05 23:30
4 分で読めます
本コンテンツに関するご意見・ご感想は、crypto.news@mexc.comまでご連絡ください。

概要と1 はじめに

  1. 関連研究

  2. 問題設定

  3. 方法論

    4.1. 決定境界を考慮した蒸留

    4.2. 知識の統合

  4. 実験結果と5.1. 実験セットアップ

    5.2. 最先端手法との比較

    5.3. アブレーション研究

  5. 結論と今後の研究および参考文献

    \

補足資料

  1. IILにおけるKCEMAメカニズムの理論的分析の詳細
  2. アルゴリズム概要
  3. データセットの詳細
  4. 実装の詳細
  5. ダスト処理された入力画像の可視化
  6. その他の実験結果

4. 方法論

図2(a)に示すように、新しい観測におけるコンセプトドリフトの発生により、既存モデルが失敗する外部サンプルが出現します。新しいIILは、これらの外部サンプルに決定境界を拡大すると同時に、古い境界における破滅的忘却(CF)を回避する必要があります。従来の知識蒸留ベースの手法は、CFに抵抗するために保存された例示データ[22]または補助データ[33, 34]に依存しています。しかし、提案されたIIL設定では、新しい観測以外の古いデータにアクセスできません。モデルに新しいパラメータが追加されない場合、これらの新しい観測に基づく蒸留は新しい知識の学習と矛盾します。学習と忘却防止のバランスを取るために、古いデータを必要としない決定境界を考慮した蒸留方法を提案します。学習中、学生が学んだ新しい知識は断続的に教師モデルに統合され、より良い一般化をもたらし、この分野での先駆的な試みとなっています。

\ 図3. (a)学生モデル(S)で推論を行う従来の蒸留ベースの手法と(b)知識統合(KC)を伴う提案された決定境界を考慮した蒸留(DBD)の比較。我々は推論に教師モデル(T)を使用します。

\

:::info 著者:

(1) Qiang Nie, 香港科技大学(広州);

(2) Weifu Fu, テンセントYoutuラボ;

(3) Yuhuan Lin, テンセントYoutuラボ;

(4) Jialin Li, テンセントYoutuラボ;

(5) Yifeng Zhou, テンセントYoutuラボ;

(6) Yong Liu, テンセントYoutuラボ;

(7) Qiang Nie, 香港科技大学(広州);

(8) Chengjie Wang, テンセントYoutuラボ.

:::


:::info この論文はarxivで入手可能であり、CC BY-NC-ND 4.0 Deed(帰属-非営利-改変禁止 4.0 国際)ライセンスの下で提供されています。

:::

\

免責事項:このサイトに転載されている記事は、公開プラットフォームから引用されており、情報提供のみを目的としています。MEXCの見解を必ずしも反映するものではありません。すべての権利は原著者に帰属します。コンテンツが第三者の権利を侵害していると思われる場合は、削除を依頼するために crypto.news@mexc.com までご連絡ください。MEXCは、コンテンツの正確性、完全性、適時性について一切保証せず、提供された情報に基づいて行われたいかなる行動についても責任を負いません。本コンテンツは、財務、法律、その他の専門的なアドバイスを構成するものではなく、MEXCによる推奨または支持と見なされるべきではありません。

USD1ジェネシス:手数料0 + 12%のAPR

USD1ジェネシス:手数料0 + 12%のAPRUSD1ジェネシス:手数料0 + 12%のAPR

新規ユーザー限定:最大600%のAPRでステーキング。期間限定!