本文來自ICT茶館。
當(dāng)ICT出現(xiàn)新風(fēng)口的時(shí)候，就會(huì)有“網(wǎng)紅”公司。在AI領(lǐng)域，前有“四小龍”（商湯、曠視、云從、依圖），現(xiàn)在AI大模型成為輿論主流，于是，媒體話語里又出現(xiàn)了“大模型四小虎”（百川智能、Minimax、智譜AI、月之暗面）。
近期，風(fēng)頭最盛的當(dāng)屬北京月之暗面科技有限公司（簡(jiǎn)稱“月之暗面”）。根據(jù)公司官網(wǎng)，月之暗面(Moonshot AI)創(chuàng)立于2023年3月，致力于尋求將能源轉(zhuǎn)化為智能的最優(yōu)解，通過產(chǎn)品與用戶共創(chuàng)智能，2023年10月推出全球首個(gè)支持輸入20萬漢字的智能助手產(chǎn)品Kimi。
創(chuàng)始團(tuán)隊(duì)核心成員參與了Google Gemini、Google Bard、盤古NLP、悟道等多個(gè)大模型的研發(fā)，多項(xiàng)核心技術(shù)被Google PaLM、Meta LLaMa、Stable Diffusion等主流產(chǎn)品采用。
讓月之暗面曝光率大增的，就是Kimi，我們可以把它看成一位智能化水平更高的聊天機(jī)器人。去年10月發(fā)布時(shí)，Kimi可支持的無損上下文輸入長(zhǎng)度為20萬字，也就是說，可以一口氣讀完20萬字的小說。3月18日，月之暗面宣布Kimi支持200萬字的無損上下文輸入。
這種超大“吞吐量”讓Kimi日活躍用戶劇增。根據(jù)券商監(jiān)測(cè)數(shù)據(jù)，截止3月25日，Kimi的網(wǎng)頁端、APP端的用戶DAU（日活躍用戶數(shù)量）突破歷史新高，分別達(dá)到了79萬和54萬。疊加小程序用戶量，全端總DAU顯著大于225萬，或已超越百度旗下大模型文心一言的233萬。而半個(gè)月之前，3月10日，Kimi的全端DAU才剛剛突破120萬人。
與此同時(shí)，百度的文心一言和阿里旗下的通義千問兩大TOP2玩家，用戶訪問量則大幅下滑，降幅分別達(dá)到33.43%與45.05%。
盡管，文心一言、通義千問、360智腦都發(fā)力長(zhǎng)文本處理功能，但業(yè)界認(rèn)為Kimi在長(zhǎng)文本領(lǐng)域的領(lǐng)先身位，并沒有那么容易被超越。
因?yàn)?，Kimi有一位定海神針——月之暗面創(chuàng)始人楊植麟，90后汕頭學(xué)霸。他擁有清華和卡內(nèi)基梅隆背景，是長(zhǎng)文本領(lǐng)域?qū)＜摇Ｔ谶^去五年內(nèi)的自研語言處理（NLP）領(lǐng)域，楊植麟有相當(dāng)?shù)挠绊懥ΑＴ谌A人學(xué)者引用排名中，楊植麟的學(xué)術(shù)論文位居前10，在40歲以下排名第一。
在運(yùn)行速度方面，楊植麟帶領(lǐng)他的團(tuán)隊(duì)創(chuàng)造了無損壓縮技術(shù)，從而可減少參數(shù)對(duì)存儲(chǔ)的需求、推理的算力，以及數(shù)據(jù)傳輸?shù)膸捳加?，進(jìn)而高效率無損處理百萬級(jí)的長(zhǎng)Token。
同時(shí)，在準(zhǔn)確率或者精度方面，Kimi的無損長(zhǎng)上下文窗口的方案，是在逐字閱讀全文后給出答案，精度更高。其他大廠推出的“檢索增強(qiáng)生成技術(shù)”是對(duì)全文關(guān)鍵信息進(jìn)行檢索生成答案，但可能會(huì)丟失掉部分關(guān)鍵的信息。
此外，AI大模型賽道也存在“強(qiáng)者恒強(qiáng)”。2023年12月、今年1月和2月，Kimi用戶留存分別為18.48%、22.25%和23.36%。這種高留存的粘性，同時(shí)形成了正反饋。用戶們?cè)谑褂眠^程中自發(fā)“喂”給Kimi很多專業(yè)語料。通過不斷學(xué)習(xí)和處理各種類型的語料，Kimi更能理解和適應(yīng)不同的語境、問題和需求，從而提高其性能和準(zhǔn)確性。
目前，大廠在長(zhǎng)文本領(lǐng)域想追上甚至超越月之暗面還挺難的，因?yàn)槠洳]有公布無損壓縮技術(shù)細(xì)節(jié)。除了論文，該技術(shù)在學(xué)界也沒有太多開源內(nèi)容可參照。大廠想要“學(xué)習(xí)”、并工程化是非常困難的。
不過，月之暗面和大廠并不是完全對(duì)立的。今年2月，月之暗面完成了新一輪的融資，金額超過10億美元，一舉刷新國(guó)內(nèi)AI領(lǐng)域最大單筆融資記錄。投資方包括紅杉中國(guó)、小紅書、阿里，老股東跟投等。本輪融資后，月之暗面估值達(dá)25億美元（約合人民幣180億）。據(jù)媒體報(bào)道，阿里作為領(lǐng)投方，其投資額度的70%，將被置換成算力服務(wù)器予以支持月之暗面的業(yè)務(wù)發(fā)展。
新聞多一點(diǎn)：
為什么說大模型的“長(zhǎng)文本”能力很重要？
因?yàn)閺募夹g(shù)視角看，參數(shù)量決定了大模型支持多復(fù)雜的“計(jì)算”，而能夠接收多少文本輸入（即長(zhǎng)文本技術(shù)）則決定了大模型有多大的“內(nèi)存”，兩者共同決定模型的應(yīng)用效果。支持更長(zhǎng)的上下文意味著大模型擁有更大的“內(nèi)存”，從而使得大模型的應(yīng)用更加深入和廣泛：比如通過多篇財(cái)報(bào)進(jìn)行市場(chǎng)分析、處理超長(zhǎng)的法務(wù)合同、快速梳理多篇文章或多個(gè)網(wǎng)頁的關(guān)鍵信息、基于長(zhǎng)篇小說設(shè)定進(jìn)行角色扮演等等，都可以在超長(zhǎng)文本技術(shù)的加持下，成為我們工作和生活的一部分。
當(dāng)前大模型輸入長(zhǎng)度普遍較低的現(xiàn)狀對(duì)其技術(shù)落地產(chǎn)生了極大制約。例如：
1目前大火的虛擬角色場(chǎng)景中，由于長(zhǎng)文本能力不足，虛擬角色會(huì)輕易忘記重要信息。
2對(duì)于大模型開發(fā)者來說，輸入prompt長(zhǎng)度的限制約束了大模型應(yīng)用的場(chǎng)景和能力的發(fā)揮，比如基于大模型開發(fā)劇本殺類游戲時(shí)，往往需要將數(shù)萬字甚至超過十萬字的劇情設(shè)定以及游戲規(guī)則作為prompt加入應(yīng)用，如果模型輸入長(zhǎng)度不夠，則只能削減規(guī)則和設(shè)定，從而無法達(dá)到預(yù)期游戲效果。
3在另一個(gè)大模型應(yīng)用的主要方向——Agent中，由于Agent運(yùn)行需要自動(dòng)進(jìn)行多輪規(guī)劃和決策，且每次行動(dòng)都需要參考?xì)v史記憶信息才能完成，這會(huì)帶來了模型輸入的快速增加，同時(shí)也意味著不能處理更長(zhǎng)上下文的模型將因?yàn)闊o法全面準(zhǔn)確的基于歷史信息進(jìn)行新的規(guī)劃和決策從而降低Agent運(yùn)行成功的概率。
4在使用大模型作為工作助理完成任務(wù)的過程中，幾乎每個(gè)深度用戶都遇到過輸入長(zhǎng)度超出限制的情況。尤其是律師、分析師、咨詢師等職業(yè)的用戶，由于常常需要分析處理較長(zhǎng)的文本內(nèi)容，使用大模型時(shí)受挫的情況發(fā)生頻率極高。
而上述所有的問題在大模型擁有足夠長(zhǎng)的上下文輸入后都將會(huì)迎刃而解。
