揭秘長文本能力背后

Kimi究竟是如何做到這些的？大模型的底層邏輯是：預測下一個“token”（可以簡單理解為“字”或“詞”）。按此邏輯，大模型在預測時，考慮的前文（上下文窗口）范圍越長，就越可能得到更準的結果。例如，如果前文只有一個“時”字，那就有“時間”“時空”等很多答案，但如果前文是“1993年1月在北京創辦的環球時”，那模型預測出下一個字是“報”的概率就高了很多倍。

“月之暗面”公司的工作人員在接受《》記者采訪時表示，上下文窗口的長度很容易“虛構”，而“我們與眾不同的地方在于，我們走真實的‘長上下文窗口’路線，確保模型可以對整個上下文窗口內的信息做無損壓縮，不丟失細節?！边@意味著大模型可以獲得3項能力：一是記住之前和用戶聊過什么，可以在多輪對話中保持更長時間的連貫性；二是對長篇內容的理解會更到位；三是用戶可以對模型提出個性化要求，如讓模型按照某種風格翻譯內容。

該公司工作人員告訴記者，Kimi的優勢“是在20萬字的上下文上，做到長度、無損壓縮水平（質量）和推理成本這三者的平衡”，但隨著200萬字無損上下文內測的展開，也面臨一定挑戰。分析機構申萬宏源的報告顯示，他們認為Kimi的優勢在于“在長文本單點能力上實現了突破，精準定位辦公人群”。

巨頭涌入長文本賽道

在Kimi大模型3月18日官宣“200萬漢字”這一參數后，國內多家人工智能巨頭也紛紛秀起了“肌肉”，有媒體直言，“Kimi掀起了大模型長文本競賽”。22日，阿里云旗下的通義千問向所有人免費開放1000萬字的長文檔處理功能；23日，360智腦宣布正式內測500萬字長文本處理功能，且該功能即將入駐360AI瀏覽器；還有消息稱，百度文心一言或在下月將長文本輸入能力升級為200萬—500萬字。

那么，為何這么多大模型企業都瞄準了長文本這一賽道？

“長文本順應了人工智能的發展趨勢之一。”胡延平告訴《》記者，人工智能大模型有3個主要的發展趨勢，即廣度方面走向基于長文本、長記憶、多傳感的“系統認知”，深度方面走向“多重思考、復雜判斷、創新生成”，維度方面走向“多模態”交互，而長文本正是順應了第一個發展趨勢，同時長文本也是現實需求的重要體現。“月之暗面”創始人楊植麟也曾表示，通往通用人工智能（AGI），無損的長上下文將會是一個很關鍵的基礎技術。“歷史上所有的模型架構演進，本質上都是在提升有效的、無損的上下文長度?！睏钪谗朐寻l展人工智能比作“登月”，而長文本就是“登月”的第一步。

胡延平介紹說，長文本在原理上如同大模型的參數量，都是越高越好，這能夠讓大模型注意到、知道更多用戶希望其知道的信息，由此為用戶生成能夠對應到特定領域的高質量的、更系統的內容?！疤貏e適合企業、科研學術、創作型用戶，以及要求知識庫、知識管理等對應到自身場景情境需求的用戶。”

聚焦中國創新的英文科技媒體Pandaily援引一位分析師的話稱，由于Kimi的技術門檻不是很高，所以未來必將面臨激烈競爭。據了解，大模型的應用效果不僅取決于“計算”能力，還取決于“內存”能力，前者關乎技術硬件問題，后者則由長文本能力來決定。相比之下，發展長文本不僅投入少，且更貼合于產業應用?；蛟S正是這些可預見的商業落地前景，才讓諸多人工智能企業都押注長文本。天風證券研究所計算機首席分析師繆欣君告訴《》記者，中長期來看，大模型的競爭格局很有可能是幾家頭部廠商占據主導地位。

AI應用落地三步走

分析人士認為，商業可落地性是Kimi被看好的重要原因。實際上，“月之暗面”此前已經表示今年將制定初步的商業化方案。

該公司向《》記者回應稱，“我們看到用戶訴求逐漸變得強烈，包括在高峰時期用戶會詢問我們能不能付費解決排隊等待的問題，所以這一塊今年會有初步的方案出來，目前還在籌備中，后續有消息會及時跟大家通報?！?/p>

“長文本是AI應用落地的重要標志?！焙悠礁嬖V《》記者，長文本能大幅提高大模型問答、內容生成的個性化程度和準確率。相當于既能幫用戶解決問題，也能幫AI企業解決大模型本身的一些問題。在科研、學習、創作、娛樂、服務等領域，將得到廣泛應用。不過，他也表示，長文本更吃算力，單次問答的推理成本顯著高于短問答，“一旦用戶規模增加，企業算力基礎設施成本激增，所以從商業角度是否可持續還有待觀察?！焙悠竭M一步分析說，未來長文本必然是大模型的基礎能力，在不同收費標準前提下，為用戶提供不同長度文本輸入和輸出服務，包括相應的上下文和記憶，會成為普遍現實。

那么，大模型在商業落地時要注意哪些問題？胡延平認為，一方面要在前述“廣度-深度-維度”3個方面著力，另一方面需要從個性化、場景化、系統化角度深度切入，為每一個企業、個人用戶提供“長專精小快靈”的管家式服務。長即長期長度，專即專業專門，精即精細精準，小即小投入低成本高效率，快即快速響應實時能力，靈即靈動部署隨需應變的云與端模塊化流變能力。

盈利和成本也是長文本大模型走向落地必須解決的問題。有科技分析師表示，如果大家都宣布免費開放，那么企業的盈利問題將日益嚴峻。還有報道指出，目前Kimi每天投放廣告獲客就要“燒掉至少20萬元”?？娦谰脖硎荆萍s國內AI應用發展的關鍵之一是成本。

“讓大模型從能用（問答與生成質量堪用），走向易用（功能與部署方便好用），再走向真正可用（低成本高效率與用戶場景融合），這是AI大模型商業化要走的三步路。目前它處于第一步起步、第二步預熱的初始階段。未來還有較長的路要走。”胡延平說。

中國科學院自動化研究所研究員、聯合國人工智能高層顧問機構專家曾毅在接受《》記者采訪時表示，長文本處理信息的能力擴展到現在水平，無疑是一個重要進展。但他不認為長文本在未來是一個單獨發展的賽道。“它會是一個基礎性的變革，但真正要解決的問題還是產生多模態的理解能力，從看似智能的信息處理能力轉變為真正具有理解能力的人工智能，這可能才是整個社會所需要的?！?/p>