予測AIを修正する方法：ビジネスメトリクス

予測AIは大きな可能性を秘めていますが、その実績は悪名高いほど乏しいものです。大手テック企業や一部の先進企業以外では、ほとんどの取り組みが展開に失敗し、価値を実現できていません。なぜでしょうか？データの専門家はビジネスへの展開を売り込む準備ができていないのです。彼らが通常報告するテクニカルパフォーマンス指標はビジネス目標と一致しておらず、意思決定者にとって何の意味も持ちません。

ステークホルダーとデータサイエンティストが共に予測AIの展開を計画し、売り込み、承認するためには、各機械学習モデルの価値を利益、節約、あるいは任意のKPIなどのビジネス成果の観点から確立し、最大化する必要があります。価値を測定することによってのみ、プロジェクトは実際に価値を追求することができます。そして、ビジネスとデータの専門家が同じ価値志向のページに乗ることによってのみ、イニシアチブは前進し、展開することができます。

なぜAIプロジェクトでビジネス指標がこれほど稀なのか

その重要性を考えると、なぜビジネス指標はこれほど稀なのでしょうか？研究によると、データサイエンティストはより良く知っているにもかかわらず、一般的には従っていません：彼らはビジネス指標を最も重要なものとしてランク付けしていますが、実際にはテクニカル指標に重点を置いています。なぜ彼らは通常、潜在的なビジネス価値を計算するという重要なステップをスキップし、自分たちのプロジェクトの崩壊を招くのでしょうか？

それは非常に良い質問です。

この業界が心理的・文化的理由だけでこの轍にはまっているわけではありません - それらは確かに要因ではありますが。結局のところ、お金の話をするのは不作法で「あからさま」すぎるのです。データの専門家は、自分たちの専門知識を発揮し証明する伝統的なテクニカル指標にこだわらざるを得ないと感じています。これは単に彼らをより賢く見せるだけではなく - 専門用語はどの分野でも自らの存在と給与を守るための一般的な方法です。また、非定量的な人々は予測パフォーマンスの定量的レポートを真に理解することができず、率直なビジネス言語で話すことを意図したレポートによって誤解されるだけだという、一般的だが誤った信念もあります。

しかし、もしそれらが唯一の理由であれば、MLモデルが成功裏に展開された際の巨大なビジネス上の勝利を考えると、「文化的慣性」は何年も前に屈していたでしょう。

信頼性の課題：ビジネスの前提条件

代わりに、最大の理由はこれです：ビジネス価値の予測は、特定の前提に基づかなければならないため、信頼性の問題に直面します。モデルが展開で捕捉する価値を推定するだけでは不十分です。計算はまだその信頼性を証明する必要があります。なぜなら、それは変化や不確実性の対象となるビジネス要因に依存しているからです。例えば：

• 各偽陽性の金銭的損失、例えばモデルが正当な取引を不正として警告する場合など。クレジットカード取引の場合、これは約100ドルのコストがかかる可能性があります。
• 各偽陰性の金銭的損失、例えばモデルが不正な取引を警告できない場合など。クレジットカード取引の場合、これは取引額のコストがかかる可能性があります。
• 上記2つのコストに影響を与える要因。例えば、クレジットカード不正検出では、銀行が不正保険を持っている場合や、銀行の執行活動が下流で一部の不正損失を回収する場合、検出されなかった不正取引のコストが軽減される可能性があります。その場合、各FNのコストは取引サイズの80％または90％にすぎないかもしれません。その割合は、モデルの展開価値を推定する際に余地があります。
• 決定境界、つまり、対象とするケースの割合。例えば、モデルが不正である可能性が最も高いと考える上位1.5％の取引をブロックすべきか、上位2.5％をブロックすべきか？その割合が決定境界（これが次に決定閾値を決定します）です。この設定はあまり注目されない傾向がありますが、モデルやデータの改善よりもプロジェクト価値に大きな影響を与えることがよくあります。その設定はビジネスステークホルダーによって推進されるビジネス決定であり、モデルが展開でどのように使用されるかを正確に定義する基本を表しています。このノブを回すことで、ビジネスはモデルの主要な収益/金銭的価値と偽陽性と偽陰性の数、および他のKPIとのトレードオフのバランスを取ることができます。

不確実性にもかかわらず予測の信頼性を確立する

次のステップは実存的な決断をすることです：ML価値のビジネス価値の予測を完全に避けますか？これは厄介な問題の開始を防ぐでしょう。あるいは、MLの展開の潜在的な上昇を計算する切実な必要性を考えると、ML評価を対処すべき課題として認識しますか？すでに明らかでなければ、私の投票は後者です。

この信頼性の問題に対処し信頼を確立するためには、不確実性の影響を考慮する必要があります。不確実性の範囲の極端な端で異なる値を試してみてください。そのようにデータとレポートとやり取りしてください。不確実性がどれだけ重要か、そして展開の明確なケースを確立するためにそれを何らかの形で狭める必要があるかどうかを見つけ出してください。これらの要因がどれだけの違いをもたらすかについての洞察と直感があってこそ、あなたのプロジェクトはその潜在的なビジネス価値の信頼できる予測を確立し、それによって確実に展開を達成することができます。