わずか数年の間に、AIは日常的なビジネスオペレーションに組み込まれるようになり、多くの企業がプロセスの自動化を急速に進め、AI 駆動システムに依存するようになっています。しかし、戦略家でありシステム専門家であるGeorg Meyer氏によると、スピードと利便性には代償が伴う可能性があり、特に企業が最も重要なシステムが実際にどのように機能しているかの可視性を失った場合に顕著だといいます。
Meyer氏は、最大のリスクの1つは理解しているという誤った感覚だと警告しています。「企業は、自分たちが与えたプロンプトのおかげで何が起こっているか分かっていると思うかもしれません」と彼は説明します。「しかし、ボックスの内部で何が起こっているかの真の可視性は持っていないのです。」
現代のAIシステム、特に大規模言語モデルは強力ですが、完全に検査することは困難です。その内部プロセスは必ずしも透明ではなく、組み込まれたランダム性により出力が変動する可能性があります。これは、特にAIがコアビジネス機能で使用される場合、一貫性と信頼性に関する課題を生み出します。「再現性と信頼性に隠れたリスクがあります」とMeyer氏は言います。「それらが会社の中核に影響を与える場合、壊滅的になる可能性があります。」
Meyer氏にとって、解決策はAIを避けることではなく、人間の理解が中心であり続けることを確保することです。たとえそれらのシステムがAIによってサポートされていても、企業にはシステムがどのように機能するかを知っている人々が依然として必要です。
短期的な利益、長期的なリスク
Meyer氏が強調するもう1つの懸念は、組織内の専門知識に対するAIの長期的な影響です。AIはワークフローを劇的に高速化し、知識を行動に変えるのに役立ちますが、それへの過度の依存は意図しない結果を伴う可能性があります。
「過度な依存も過少な依存もリスクがあります」とMeyer氏は言います。「AIは専門知識を適用するのにかかる時間を短縮できますが、重要な質問を提起します。基礎を決して身につけない場合、次世代の専門家をどのように訓練するのでしょうか?」
短期的には、AIはチームの生産性を高めることができます。しかし、従業員が核となる思考と問題解決のためにそれに依存し始めると、企業は複雑で予期しない、または人間的な対応が必要な状況を処理するために必要な専門知識を失うリスクがあります。Meyer氏は、企業も教育者も、特にAIに頼ることができないシナリオのために、基礎知識を維持することについて意図的である必要があると考えています。
説明責任は依然として人間に属する
おそらくMeyer氏が提起する最も重要な問題は説明責任です。AIシステムがより多くの責任を引き受けるにつれて、一部の組織は物事がうまくいかないときに責任を転嫁したくなるかもしれません。Meyer氏は、これが実行可能なアプローチではないことを明確にしています。
「説明責任とその法的対応物である責任は、基本的に人間に付随しています」と彼は言います。「『AIがやった』と言って悪い結果から手を洗うことはできません。」
彼は、多くの企業がすでにこのグレーゾーンをナビゲートしようとしていると指摘しています。AIプロバイダーは、システムが間違いを犯す可能性があるという免責事項を含めることが多く、自動車のような業界は「自動運転」機能を宣伝していますが、依然として人間のドライバーに責任を負わせています。しかし、Meyer氏は、システムが真に自律的である場合、責任はそれらを設計および展開する人々に移行しなければならないと主張しています。
これは、より小規模な日常的なユースケースにも適用されます。たとえば、機密データを処理するアプリケーションを構築するためにAIを使用する企業は、テクノロジーがアカウントセキュリティーを正しく管理すると想定することはできません。「AIはデータを委託されていません」とMeyer氏は言います。「企業が委託されているのです。」
