人工智能「奇蹟」揭示商業科技的未來

AI21 Labs 有點像是以色列對美國OpenAI的回應。它既是一個研究實驗室，在自然語言處理（NLP）領域從事前沿研究，同時也是一家商業企業，希望迅速將這些最先進的技術成果轉化為真實企業可以使用並付費購買的產品。
AI21 Labs由史丹佛大學人工智慧榮譽退休教授Yoav Shoham、自動駕駛軟體公司Mobileye（已被英特爾收購）的創辦人Amnon Shashua，以及眾籌平台CrowdX的創辦人Ori Goshen共同創立。該公司的崇高目標是「重新構想人們閱讀和寫作的方式，讓一切變得更美好」。
該實驗室建立了一個新系統，並頗為大膽地將其命名為「Miracle」，這是MRKL的更友善版本，MRKL是模組化推理、知識與語言系統（Modular Reasoning, Knowledge and Language）的縮寫。MRKL之所以重要，在於它揭示了企業未來使用人工智慧的四大關鍵趨勢。
首先，MRKL被設計為能夠處理各種自然語言任務，而不像大多數此類系統直到近期仍只能執行單一特定工作。例如，若你需要一個客服聊天機器人，同一個人工智慧無法同時幫助分析執行長財報電話會議的情緒。但現在，單一NLP引擎可以同時處理這兩項任務。這是NLP真正革命的又一例證，也展示了它開始對商業產生的影響。
第二個密切相關的趨勢是，這些通用NLP系統將越來越多地建立在「超大型語言模型」之上，即學習數十億個詞語統計關係的單一演算法。這些模型在從網路上抓取的大量文本上進行訓練，包括以英語和其他語言撰寫的書籍，以及維基百科和Reddit討論串等公開來源。大多數系統的訓練目標是預測句子中缺失的詞或下一個詞。但事實證明，當你建立一個如此龐大的人工智慧系統並訓練它做一件事時，它也能夠在幾乎不需要額外訓練的情況下完成許多其他任務：翻譯、回答問題以及撰寫原創文章。
更重要的是，只需在相對少量的範例上進行少量額外訓練，這些大型語言模型往往能夠超越那些在大型資料集上訓練的較小人工智慧系統——這些資料集通常需要耗費大量資源進行整理——而那些系統只能完成單一狹窄任務。正是這種以「少量資料」執行任務的能力，使超大型語言模型對企業極具潛在吸引力，因為使用它們可能更快速、更經濟。
目前可供商業使用的超大型語言模型中，最廣為人知的例子或許是OpenAI的GPT-3。OpenAI與微軟關係密切，微軟向其投資了逾10億美元，因此毫不意外地，微軟已將GPT-3整合到一款能自動撰寫電腦程式碼的產品中，並向其Azure雲端客戶提供這項技術。

AI21 Labs擁有自己的超大型語言模型，名為Jurassic-1，去年已正式商業化發布，該公司聲稱其性能優於GPT-3，部分原因在於它擁有更大的「詞元詞彙表」。這指的是它所知道的詞語及詞語片段的數量。Jurassic的詞元詞彙表超過25萬個，是GPT-3的五倍。
這些超大型語言模型存在一些有據可查的問題，包括可能被誘導輸出有毒語言。但另一個重大缺陷是，它們在回答事實性問題時往往會產生不準確的資訊。
例如，讓GPT-3計算二加二，它會自信地告訴你答案是四，但若讓它計算幾個四位數和五位數的加法，它很可能同樣自信地給出錯誤答案。詢問它紐約目前的天氣，它會作答，但給出的很可能是AccuWeather資料被抓取進其訓練集時的紐約氣溫，而非今日的天氣。同樣的問題也適用於時事或科學方面的問題。由於這些大型語言模型體量龐大，訓練成本極為高昂——高達數百萬美元——因此持續更新以確保資料即時並不實際。
這正是AI21 Labs著手以MRKL解決的問題（我在此前曾撰文介紹該實驗室的一項創新）。這也引出了MRKL所代表的第三大趨勢：MRKL是一個混合系統。它不僅使用深度學習——這種人工智慧方法在過去十年推動了技術的大多數重大突破——而是將不同模組結合起來，其中一些使用深度學習，另一些則使用較舊的人工智慧形式——符號推理，以提供準確、即時的事實性問題回應。
MRKL的巧妙之處在於一個稱為路由器的模組，它接收用戶的問題並判斷用戶所尋求的資訊類型。若問題涉及數學，它將該問題發送至普通的傳統科學計算機；若涉及匯率，則路由至貨幣換算工具；若是關於天氣，則發送至天氣預報網站。根據Shoham的說法，MRKL目前支援55個此類特定任務模組。若路由器不確定哪個模組最合適，則會調用Jurassic-1。Jurassic也協助組織MRKL回應周圍的上下文語言。
另一項巧妙的創新在於AI21 Labs如何從Jurassic中引導出正確類型的回應。它採用一種稱為「提示調整」的方法，透過向超大型語言模型輸入初始問題或文本片段的方式，來決定輸出的性質。這是一種在無需以額外訓練資料進行微調的情況下，針對特定任務調整人工智慧的方法。額外訓練的問題在於，隨著系統在某一狹窄任務上表現越來越好，它在其他任務上的表現實際上會越來越差。研究人員將這一問題稱為「災難性遺忘」。
部分人工智慧研究人員透過同時針對多種不同任務訓練模型來克服災難性遺忘，但這需要大量的運算能力、時間和資金。提示調整則可避免這一問題。AI21 Labs在MRKL上的創新在於建立小型深度學習模組，能夠即時自動對Jurassic進行提示調整，接收用戶查詢並組合最佳提示集，引導Jurassic以正確的風格和格式輸出答案。
以下是本週人工智慧領域的其他新聞。  

Jeremy Kahn
@jeremyakahn
jeremy.kahn@fortune.com

本文最初刊載於Fortune.com