本文來(lái)自微信公眾號(hào)“紅薯OSC開(kāi)源社區(qū)”，作者/紅薯。
近年來(lái)，隨著人工智能技術(shù)的飛速發(fā)展，大語(yǔ)言模型（以下簡(jiǎn)稱“大模型”）逐漸成為各大科技公司的研發(fā)重點(diǎn)。這些大模型具備強(qiáng)大的自然語(yǔ)言處理和生成能力，能夠在多個(gè)領(lǐng)域發(fā)揮重要作用。隨著OpenAI的ChatGPT等產(chǎn)品的推出，開(kāi)源大模型逐漸走入公眾視野。然而，在我們探討開(kāi)源大模型的過(guò)程中，常常會(huì)遇到一個(gè)問(wèn)題：這些所謂的“開(kāi)源”大模型，真的像我們想象的那樣完全開(kāi)放嗎？本文將從多個(gè)角度探討開(kāi)源大模型的實(shí)際開(kāi)放性，揭示其“真假開(kāi)源”的本質(zhì)。
一 開(kāi)源大模型的定義與現(xiàn)狀
開(kāi)源大模型通常指由科技公司或研究機(jī)構(gòu)發(fā)布，并以開(kāi)源許可證形式向公眾開(kāi)放的大型深度學(xué)習(xí)模型。這些模型基于大規(guī)模的數(shù)據(jù)集進(jìn)行訓(xùn)練，具備強(qiáng)大的自然語(yǔ)言理解和生成能力，能夠在各種復(fù)雜任務(wù)中表現(xiàn)出色。例如，Meta的Llama系列、阿里的通義千問(wèn)系列等，都是近年來(lái)備受關(guān)注的開(kāi)源大模型。
目前，市場(chǎng)上存在多種開(kāi)源大模型，涵蓋了從基礎(chǔ)模型到經(jīng)過(guò)特定任務(wù)微調(diào)的衍生模型。以Meta的Llama為例，該系列模型自2023年發(fā)布以來(lái)，已經(jīng)推出了多個(gè)版本，包括Llama、Llama 2和Llama 3，每個(gè)版本都聲稱在性能和開(kāi)放性上有所改進(jìn)。例如，Llama 2在訓(xùn)練數(shù)據(jù)的多樣性和模型架構(gòu)上進(jìn)行了優(yōu)化，Llama 3則在參數(shù)量和推理速度上有所提升。然而，盡管這些模型在一定程度上對(duì)外開(kāi)放，但其實(shí)際開(kāi)放程度卻存在很大爭(zhēng)議。
具體而言，雖然這些大模型提供了部分代碼和訓(xùn)練好的權(quán)重，但在訓(xùn)練數(shù)據(jù)和具體訓(xùn)練過(guò)程的透明度方面卻有所欠缺。比如，Llama系列模型雖然開(kāi)放了權(quán)重，但并未公開(kāi)其訓(xùn)練所用的數(shù)據(jù)集和訓(xùn)練過(guò)程的詳細(xì)信息，這使得開(kāi)發(fā)者在復(fù)現(xiàn)和改進(jìn)這些模型時(shí)面臨諸多限制。此外，阿里的通義千問(wèn)系列也存在類似問(wèn)題，盡管提供了模型權(quán)重和部分代碼，但關(guān)鍵的訓(xùn)練數(shù)據(jù)和步驟依然閉源。
這種不完全開(kāi)放的現(xiàn)狀導(dǎo)致了業(yè)內(nèi)關(guān)于開(kāi)源大模型實(shí)際開(kāi)放性的廣泛討論。有觀點(diǎn)認(rèn)為，真正的開(kāi)源不僅應(yīng)包括代碼和權(quán)重，還應(yīng)涵蓋訓(xùn)練數(shù)據(jù)和訓(xùn)練過(guò)程的詳細(xì)信息，以便開(kāi)發(fā)者能夠全面了解和改進(jìn)模型。然而，目前的大部分開(kāi)源大模型在這方面依然存在不足，這使得它們與真正意義上的開(kāi)源軟件存在顯著差距。
總的來(lái)說(shuō)，開(kāi)源大模型的定義與現(xiàn)狀揭示了其開(kāi)放性上的局限，盡管名義上是開(kāi)源，但在實(shí)際應(yīng)用和改進(jìn)中仍然面臨諸多挑戰(zhàn)。這種“假開(kāi)源”現(xiàn)象不僅影響了開(kāi)發(fā)者的創(chuàng)新能力，也限制了開(kāi)源大模型在更廣泛應(yīng)用場(chǎng)景中的潛力。
二 開(kāi)源內(nèi)容的局限性
1）通常開(kāi)放的內(nèi)容
在實(shí)際操作中，開(kāi)源大模型通常只開(kāi)放以下幾部分內(nèi)容：
代碼：實(shí)現(xiàn)大模型訓(xùn)練和推理所需的代碼，包括模型架構(gòu)、訓(xùn)練算法、模型推理等核心代碼。這些代碼讓開(kāi)發(fā)者能夠理解模型的基本結(jié)構(gòu)和推理過(guò)程，但并不足以完全復(fù)現(xiàn)或改進(jìn)模型。
權(quán)重：訓(xùn)練完成后得到的模型參數(shù)，這些參數(shù)是模型在推理過(guò)程中所需的核心要素。權(quán)重?cái)?shù)據(jù)使得開(kāi)發(fā)者能夠在現(xiàn)有模型基礎(chǔ)上進(jìn)行推理，但對(duì)模型的核心訓(xùn)練細(xì)節(jié)一無(wú)所知。
例如，Meta的Llama系列模型和阿里的通義千問(wèn)系列模型都只開(kāi)放了模型的權(quán)重和部分代碼，而對(duì)訓(xùn)練數(shù)據(jù)和具體訓(xùn)練過(guò)程的詳細(xì)信息卻守口如瓶。這種有限的開(kāi)放使得開(kāi)發(fā)者只能使用現(xiàn)有模型進(jìn)行推理，而無(wú)法深入理解或改進(jìn)模型。
2）實(shí)際未開(kāi)放的關(guān)鍵內(nèi)容
然而，對(duì)于大模型來(lái)說(shuō)，真正決定其性能和應(yīng)用價(jià)值的關(guān)鍵在于訓(xùn)練數(shù)據(jù)和訓(xùn)練過(guò)程。這些內(nèi)容往往并未對(duì)外開(kāi)放：
-訓(xùn)練數(shù)據(jù)：原始訓(xùn)練用的數(shù)據(jù)集，以及在訓(xùn)練過(guò)程中進(jìn)行數(shù)據(jù)處理和預(yù)處理的細(xì)節(jié)。這些數(shù)據(jù)通常包含大量的高質(zhì)量、有代表性的文本數(shù)據(jù)，對(duì)模型的性能至關(guān)重要。然而，大部分開(kāi)源大模型并未公開(kāi)這些訓(xùn)練數(shù)據(jù)。例如，Llama系列模型雖然提供了訓(xùn)練好的權(quán)重，但并未公開(kāi)其訓(xùn)練所用的數(shù)據(jù)集及其詳細(xì)信息。缺乏這些數(shù)據(jù)，開(kāi)發(fā)者就無(wú)法對(duì)模型進(jìn)行重新訓(xùn)練或在相似任務(wù)上進(jìn)行微調(diào)。
-訓(xùn)練過(guò)程：具體的訓(xùn)練步驟、參數(shù)設(shè)置、優(yōu)化方法等。這些細(xì)節(jié)決定了模型的訓(xùn)練效果和最終性能，但在所謂的“開(kāi)源”大模型中，這些信息往往是閉源的。例如，盡管一些大模型提供了部分代碼和權(quán)重，但訓(xùn)練過(guò)程中使用的超參數(shù)、數(shù)據(jù)增強(qiáng)方法、訓(xùn)練策略等關(guān)鍵細(xì)節(jié)并未公開(kāi)。這使得開(kāi)發(fā)者無(wú)法了解模型是如何訓(xùn)練出來(lái)的，從而也無(wú)法復(fù)現(xiàn)同樣的訓(xùn)練效果或進(jìn)行改進(jìn)。
這種不完全開(kāi)放的做法使得開(kāi)發(fā)者在復(fù)現(xiàn)模型時(shí)面臨諸多困難，無(wú)法真正掌握模型的核心技術(shù)，限制了他們對(duì)模型進(jìn)行優(yōu)化和改進(jìn)的能力。實(shí)際上，這些所謂的開(kāi)源大模型更像是免費(fèi)軟件（freeware）而非真正的開(kāi)源軟件（open-source software）。它們提供的只是使用現(xiàn)有模型的便利，而不是完全的技術(shù)透明和開(kāi)發(fā)自由。
如表所示，大多數(shù)“開(kāi)源”大模型只公開(kāi)了預(yù)訓(xùn)練權(quán)重，而并未提供模型訓(xùn)練所需的代碼、數(shù)據(jù)集和訓(xùn)練過(guò)程。這意味著開(kāi)發(fā)者無(wú)法完全復(fù)現(xiàn)模型的訓(xùn)練過(guò)程，更無(wú)法根據(jù)需要進(jìn)行模型的改進(jìn)和優(yōu)化。與傳統(tǒng)開(kāi)源軟件相比，這些大模型更像是“免費(fèi)軟件”，而非真正的“開(kāi)源軟件”。
三 法律與商業(yè)模式的約束
1、開(kāi)源許可證的重要性
開(kāi)源許可證是一種具有法律效力的合同，規(guī)定了軟件的使用、修改和分發(fā)權(quán)限。在傳統(tǒng)開(kāi)源軟件中，開(kāi)源許可證（如GPL、MIT、Apache 2.0等）確保了軟件的自由使用和修改。這些許可證通過(guò)明確的法律條款，保障了用戶和開(kāi)發(fā)者的權(quán)益，使得軟件的使用和分發(fā)具有高度的透明度和可預(yù)測(cè)性。開(kāi)發(fā)者可以自由地查看、修改和分發(fā)源代碼，這為開(kāi)源社區(qū)的協(xié)作和創(chuàng)新提供了強(qiáng)有力的法律基礎(chǔ)。
在開(kāi)源大模型中，情況卻有所不同。盡管一些開(kāi)源大模型也采用了類似的許可證，但這些許可證往往附帶額外的限制和條款。例如，許多大模型的許可證對(duì)使用場(chǎng)景、用戶類型、商業(yè)用途等進(jìn)行了嚴(yán)格的限制，遠(yuǎn)遠(yuǎn)超過(guò)了傳統(tǒng)開(kāi)源軟件的規(guī)定。這些限制性條款可能包括禁止某些商業(yè)用途、要求特定的使用聲明、限制數(shù)據(jù)的再分發(fā)等。這種做法雖然在一定程度上保護(hù)了原始開(kāi)發(fā)者的利益，但也大大降低了模型的開(kāi)放性和使用靈活性。
此外，大模型的許可證在數(shù)據(jù)和模型權(quán)重的處理上也存在顯著差異。傳統(tǒng)開(kāi)源軟件的許可證通常只涵蓋源代碼，而大模型的許可證不僅涵蓋代碼，還涉及到訓(xùn)練數(shù)據(jù)和模型權(quán)重。這些核心資源往往被嚴(yán)格控制，只有部分公開(kāi)或完全不公開(kāi)，這使得用戶在使用這些模型時(shí)面臨更多的法律和技術(shù)障礙。
盡管開(kāi)源許可證在大模型領(lǐng)域依然扮演著重要角色，但其實(shí)際效果和應(yīng)用范圍與傳統(tǒng)開(kāi)源軟件存在顯著差異。這些差異不僅體現(xiàn)在法律條款上，也反映在開(kāi)源大模型的實(shí)際使用和開(kāi)發(fā)過(guò)程中。
2、大模型的定制許可證及其限制性條款
許多開(kāi)源大模型采用了定制的許可證，這些許可證往往包含了許多限制性條款。這些限制性條款可能包括但不限于以下幾個(gè)方面：
使用范圍：某些開(kāi)源大模型的許可證明確規(guī)定了模型的使用范圍，可能禁止在某些領(lǐng)域或行業(yè)中使用。例如，某些模型可能禁止在軍事、政治等敏感領(lǐng)域中使用，這樣的限制使得這些模型在特定應(yīng)用場(chǎng)景中無(wú)法使用。
用戶類型：一些開(kāi)源大模型的許可證可能限制特定類型的用戶使用。例如，可能禁止某些商業(yè)公司或個(gè)人開(kāi)發(fā)者使用，或者對(duì)使用者的資質(zhì)和背景有特定要求，這樣的條款極大地限制了模型的普及和應(yīng)用。
商業(yè)用途：許多開(kāi)源大模型的許可證對(duì)商業(yè)用途進(jìn)行了嚴(yán)格限制。例如，有些許可證禁止模型用于商業(yè)目的，或者要求在商業(yè)使用時(shí)支付高額費(fèi)用。這使得企業(yè)在使用這些模型時(shí)，需要承擔(dān)額外的經(jīng)濟(jì)成本，從而降低了使用的自由度和經(jīng)濟(jì)效益。
這些限制性條款使得開(kāi)源大模型的使用自由度大大降低，無(wú)法像傳統(tǒng)開(kāi)源軟件那樣自由使用和分發(fā)。傳統(tǒng)開(kāi)源軟件通常采用寬松的許可證，如MIT、Apache 2.0等，這些許可證允許用戶自由地使用、修改和分發(fā)軟件，而無(wú)需擔(dān)心法律和商業(yè)上的限制。然而，開(kāi)源大模型的定制許可證則往往帶有諸多限制，使得用戶在實(shí)際應(yīng)用中面臨諸多障礙。
具體案例中，Meta的Llama模型和阿里的通義千問(wèn)模型都采用了特定的許可證。這些許可證不僅在使用范圍和用戶類型上進(jìn)行了限制，還對(duì)商業(yè)用途進(jìn)行了嚴(yán)格規(guī)定。例如，Llama模型的許可證明確禁止將模型用于某些商業(yè)用途，并要求用戶在商業(yè)使用時(shí)遵守特定的條款和條件。這樣的限制使得企業(yè)在使用這些模型時(shí)，不僅需要考慮技術(shù)實(shí)現(xiàn)，還需要仔細(xì)閱讀和理解許可證條款，以避免法律風(fēng)險(xiǎn)。
定制許可證的存在還意味著這些大模型的開(kāi)源并非完全公益性，而是帶有一定的商業(yè)目的。許多科技公司通過(guò)開(kāi)源大模型吸引開(kāi)發(fā)者和用戶，但同時(shí)保留了對(duì)模型核心技術(shù)和數(shù)據(jù)的控制權(quán)，確保自身在市場(chǎng)競(jìng)爭(zhēng)中的優(yōu)勢(shì)。這種開(kāi)源策略雖然在一定程度上促進(jìn)了技術(shù)的傳播和應(yīng)用，但也限制了真正的開(kāi)放和自由。
總之，開(kāi)源大模型的定制許可證及其限制性條款，使得這些模型在使用自由度和應(yīng)用范圍上受到了很大的限制。用戶在選擇和使用這些模型時(shí)，需要充分了解和考慮這些限制，以便做出最合適的決策。開(kāi)源大模型雖然在一定程度上推動(dòng)了人工智能技術(shù)的發(fā)展，但其實(shí)際開(kāi)放性和自由度遠(yuǎn)不及傳統(tǒng)開(kāi)源軟件。
3、商業(yè)公司對(duì)開(kāi)源大模型的策略和目的
商業(yè)公司在發(fā)布開(kāi)源大模型時(shí)，通常有其特定的商業(yè)目的。開(kāi)源大模型往往是為了建立生態(tài)系統(tǒng)、吸引開(kāi)發(fā)者、提升品牌形象等。這些模型雖然在一定程度上對(duì)外開(kāi)放，但其核心技術(shù)和數(shù)據(jù)仍然掌握在公司手中，確保了公司的競(jìng)爭(zhēng)優(yōu)勢(shì)。以下是幾個(gè)主要的策略和目的：
1.建立生態(tài)系統(tǒng)
開(kāi)源大模型可以幫助公司建立一個(gè)龐大的開(kāi)發(fā)者生態(tài)系統(tǒng)。通過(guò)開(kāi)放部分代碼和模型權(quán)重，吸引開(kāi)發(fā)者使用并貢獻(xiàn)代碼，從而增強(qiáng)模型的功能和適應(yīng)性。一個(gè)強(qiáng)大的生態(tài)系統(tǒng)不僅能提升公司的技術(shù)影響力，還能帶來(lái)更多的合作機(jī)會(huì)。例如，Meta的Llama模型通過(guò)開(kāi)源，吸引了大量開(kāi)發(fā)者和研究者，迅速形成了一個(gè)活躍的社區(qū)。
2.吸引開(kāi)發(fā)者
對(duì)公司來(lái)說(shuō)，開(kāi)源大模型是吸引開(kāi)發(fā)者的一種重要手段。開(kāi)發(fā)者可以利用開(kāi)源模型進(jìn)行研究、開(kāi)發(fā)和商業(yè)應(yīng)用，從而推動(dòng)技術(shù)的普及和應(yīng)用。這不僅能提升公司的技術(shù)形象，還能為公司發(fā)現(xiàn)和培養(yǎng)人才。例如，Meta在開(kāi)源Llama模型時(shí)，不僅僅是為了社區(qū)貢獻(xiàn)，更是為了與微軟等公司合作，擴(kuò)大自身的市場(chǎng)影響力。通過(guò)與大公司合作，Meta能夠迅速在市場(chǎng)上占據(jù)一席之地，同時(shí)也能夠獲得更多的資源和技術(shù)支持。
3.提升品牌形象
開(kāi)源大模型有助于提升公司的品牌形象，尤其是在技術(shù)圈和開(kāi)發(fā)者社區(qū)中。通過(guò)開(kāi)源，公司可以展示其技術(shù)實(shí)力和開(kāi)放精神，從而獲得更多的認(rèn)可和支持。這對(duì)于建立品牌信任和拓展市場(chǎng)非常重要。例如，阿里的通義千問(wèn)模型通過(guò)開(kāi)源，展示了其在人工智能領(lǐng)域的技術(shù)實(shí)力，提升了品牌形象。
4.保持競(jìng)爭(zhēng)優(yōu)勢(shì)
盡管開(kāi)源大模型在一定程度上對(duì)外開(kāi)放，但其核心技術(shù)和數(shù)據(jù)仍然掌握在公司手中。這使得公司能夠保持競(jìng)爭(zhēng)優(yōu)勢(shì)。通過(guò)控制關(guān)鍵的訓(xùn)練數(shù)據(jù)和訓(xùn)練過(guò)程，公司可以確保其在技術(shù)和市場(chǎng)上的領(lǐng)先地位。例如，盡管Meta開(kāi)源了Llama模型的部分內(nèi)容，但核心訓(xùn)練數(shù)據(jù)和具體訓(xùn)練細(xì)節(jié)仍然是閉源的，確保了其競(jìng)爭(zhēng)優(yōu)勢(shì)。
5.商業(yè)合作和市場(chǎng)拓展
開(kāi)源大模型可以促進(jìn)商業(yè)合作和市場(chǎng)拓展。通過(guò)與其他公司和平臺(tái)合作，開(kāi)源大模型可以迅速進(jìn)入更多的市場(chǎng)和應(yīng)用場(chǎng)景，從而擴(kuò)大其影響力和市場(chǎng)份額。例如，Meta在開(kāi)源Llama模型時(shí)，與微軟、亞馬遜等公司合作，使得Llama模型可以在多種平臺(tái)上運(yùn)行，迅速拓展了市場(chǎng)。
6.技術(shù)創(chuàng)新和改進(jìn)
開(kāi)源大模型還能促進(jìn)技術(shù)創(chuàng)新和改進(jìn)。通過(guò)開(kāi)放部分內(nèi)容，吸引更多的開(kāi)發(fā)者參與，公司的技術(shù)能夠得到持續(xù)改進(jìn)和創(chuàng)新。這不僅能提升模型的性能和功能，還能加速技術(shù)的迭代和更新。例如，通過(guò)開(kāi)源，Meta能夠從開(kāi)發(fā)者社區(qū)獲得大量的反饋和改進(jìn)建議，從而不斷優(yōu)化和提升Llama模型。
綜上所述，商業(yè)公司通過(guò)開(kāi)源大模型，可以實(shí)現(xiàn)多方面的商業(yè)目的和戰(zhàn)略目標(biāo)。雖然這些模型在一定程度上對(duì)外開(kāi)放，但其核心技術(shù)和數(shù)據(jù)仍然掌握在公司手中，從而確保了公司的競(jìng)爭(zhēng)優(yōu)勢(shì)和市場(chǎng)地位。因此，開(kāi)源大模型在本質(zhì)上并不是真正的“開(kāi)源”，而是一種策略性的開(kāi)放。
四 技術(shù)與協(xié)助開(kāi)發(fā)的挑戰(zhàn)
1．訓(xùn)練和推理過(guò)程的資源需求差異
大模型的訓(xùn)練過(guò)程需要大量的計(jì)算資源和數(shù)據(jù)支持，這往往是普通開(kāi)發(fā)者難以承受的。在大模型的訓(xùn)練過(guò)程中，需要進(jìn)行大量的迭代計(jì)算，這通常需要數(shù)百甚至數(shù)千個(gè)高性能GPU的支持。對(duì)于普通開(kāi)發(fā)者來(lái)說(shuō)，獲取如此大規(guī)模的計(jì)算資源幾乎是不可能的。此外，訓(xùn)練過(guò)程還需要海量的高質(zhì)量數(shù)據(jù)，數(shù)據(jù)的獲取和處理同樣需要大量的時(shí)間和資源投入。例如，訓(xùn)練一個(gè)高質(zhì)量的大模型可能需要數(shù)千萬(wàn)到數(shù)億條數(shù)據(jù)，這些數(shù)據(jù)的收集、清洗、標(biāo)注都需要大量的人力和物力投入。
相比之下，推理過(guò)程所需的資源相對(duì)較少，通常在消費(fèi)級(jí)GPU甚至普通的CPU上就能完成。推理過(guò)程主要是利用已經(jīng)訓(xùn)練好的模型進(jìn)行預(yù)測(cè)或生成，不需要進(jìn)行復(fù)雜的計(jì)算和大規(guī)模的數(shù)據(jù)處理。因此，普通開(kāi)發(fā)者可以較為輕松地在本地機(jī)器上運(yùn)行推理任務(wù)。
由于大多數(shù)開(kāi)源大模型并未開(kāi)放其訓(xùn)練數(shù)據(jù)和具體的訓(xùn)練過(guò)程，開(kāi)發(fā)者無(wú)法重新訓(xùn)練或優(yōu)化模型。雖然可以使用現(xiàn)有的模型進(jìn)行推理，但在需要對(duì)模型進(jìn)行微調(diào)或適應(yīng)特定任務(wù)時(shí)，開(kāi)發(fā)者依然面臨巨大挑戰(zhàn)。由于無(wú)法獲取原始訓(xùn)練數(shù)據(jù)和詳細(xì)的訓(xùn)練步驟，開(kāi)發(fā)者無(wú)法對(duì)模型進(jìn)行有效的修改和優(yōu)化，限制了其在特定應(yīng)用場(chǎng)景中的靈活性和性能。
缺乏訓(xùn)練數(shù)據(jù)和訓(xùn)練過(guò)程的透明度也使得開(kāi)發(fā)者難以理解模型的內(nèi)在工作機(jī)制和潛在的偏差。這不僅影響了模型的可解釋性和可信度，也限制了開(kāi)發(fā)者對(duì)模型進(jìn)行改進(jìn)和創(chuàng)新的能力。例如，一個(gè)企業(yè)可能希望針對(duì)特定領(lǐng)域的數(shù)據(jù)進(jìn)行模型微調(diào)，但由于無(wú)法獲取原始訓(xùn)練數(shù)據(jù)和過(guò)程，微調(diào)的效果可能遠(yuǎn)不及預(yù)期，甚至可能引入新的偏差和錯(cuò)誤。
總之，訓(xùn)練和推理過(guò)程的資源需求差異，以及訓(xùn)練數(shù)據(jù)和過(guò)程的閉源，嚴(yán)重限制了開(kāi)發(fā)者對(duì)開(kāi)源大模型的利用和改進(jìn)能力。盡管推理過(guò)程所需的資源較少，但對(duì)于真正需要進(jìn)行深層次優(yōu)化和定制的開(kāi)發(fā)者來(lái)說(shuō)，現(xiàn)有的開(kāi)源大模型并未提供足夠的支持和透明度。
2．微調(diào)和衍生模型的技術(shù)實(shí)現(xiàn)及其局限性
盡管開(kāi)發(fā)者可以通過(guò)微調(diào)（fine-tuning）現(xiàn)有的大模型來(lái)適應(yīng)特定任務(wù)，但這種方法的局限性很大。微調(diào)過(guò)程中仍然需要一定的數(shù)據(jù)和計(jì)算資源，而原始訓(xùn)練數(shù)據(jù)和具體訓(xùn)練步驟的缺失，使得微調(diào)效果大打折扣。此外，由于微調(diào)只能在現(xiàn)有模型基礎(chǔ)上進(jìn)行，開(kāi)發(fā)者無(wú)法對(duì)模型進(jìn)行深層次的改進(jìn)。
盡管這些數(shù)據(jù)集相對(duì)較小，但獲得高質(zhì)量、經(jīng)過(guò)標(biāo)注的領(lǐng)域數(shù)據(jù)仍然是一個(gè)挑戰(zhàn)。許多企業(yè)和開(kāi)發(fā)者缺乏足夠的資源和專業(yè)知識(shí)來(lái)收集和標(biāo)注這些數(shù)據(jù)。此外，微調(diào)過(guò)程中的數(shù)據(jù)處理和預(yù)處理步驟對(duì)最終模型的性能影響巨大，而這些細(xì)節(jié)通常在開(kāi)源大模型的發(fā)布中并未提供。
另外，微調(diào)所需的計(jì)算資源遠(yuǎn)少于從頭開(kāi)始訓(xùn)練一個(gè)大模型，但對(duì)于許多中小型企業(yè)和獨(dú)立開(kāi)發(fā)者來(lái)說(shuō)，這仍然是一個(gè)不小的負(fù)擔(dān)。大型科技公司通?？梢暂p松獲取高性能的GPU集群來(lái)進(jìn)行模型訓(xùn)練和微調(diào)，但中小型企業(yè)和個(gè)人開(kāi)發(fā)者可能無(wú)法承擔(dān)這些高昂的計(jì)算成本。
由于微調(diào)只能在現(xiàn)有模型基礎(chǔ)上進(jìn)行，開(kāi)發(fā)者無(wú)法對(duì)模型進(jìn)行深層次的改進(jìn)。例如，開(kāi)發(fā)者可能希望調(diào)整模型的架構(gòu)，修改訓(xùn)練算法，或探索新的優(yōu)化方法，但這些都需要對(duì)模型進(jìn)行從頭開(kāi)始的訓(xùn)練，而不僅僅是微調(diào)現(xiàn)有的模型權(quán)重。然而，由于開(kāi)源大模型的訓(xùn)練數(shù)據(jù)和具體訓(xùn)練步驟并未公開(kāi)，開(kāi)發(fā)者無(wú)法進(jìn)行這些深層次的改進(jìn)，微調(diào)模型的效果和穩(wěn)定性往往無(wú)法達(dá)到預(yù)期。由于缺乏對(duì)原始訓(xùn)練數(shù)據(jù)和訓(xùn)練過(guò)程的深入了解，開(kāi)發(fā)者在微調(diào)過(guò)程中可能會(huì)遇到各種問(wèn)題，例如模型過(guò)擬合、性能不穩(wěn)定等。此外，由于缺乏對(duì)模型內(nèi)部機(jī)制的了解，開(kāi)發(fā)者在遇到問(wèn)題時(shí)往往無(wú)法找到有效的解決方案，進(jìn)一步限制了微調(diào)的效果。
盡管微調(diào)為開(kāi)發(fā)者提供了一種在現(xiàn)有大模型基礎(chǔ)上進(jìn)行定制化的途徑，但其局限性顯著。微調(diào)過(guò)程中所需的數(shù)據(jù)和計(jì)算資源、缺乏對(duì)原始訓(xùn)練數(shù)據(jù)和訓(xùn)練過(guò)程的了解，以及無(wú)法進(jìn)行深層次的模型改進(jìn)，都是制約其效果的重要因素。開(kāi)源大模型的這種不完全開(kāi)放性，使得開(kāi)發(fā)者在實(shí)際應(yīng)用中面臨諸多挑戰(zhàn)，無(wú)法充分發(fā)揮其潛力。
3．開(kāi)源大模型在協(xié)作開(kāi)發(fā)中的局限
傳統(tǒng)開(kāi)源軟件的一個(gè)重要優(yōu)勢(shì)是協(xié)作開(kāi)發(fā)，多個(gè)開(kāi)發(fā)者可以共同改進(jìn)和優(yōu)化軟件。這種模式依賴于源代碼的完全開(kāi)放和透明，使得開(kāi)發(fā)者能夠了解軟件的每一個(gè)細(xì)節(jié)，從而進(jìn)行有效的協(xié)作。然而，開(kāi)源大模型在這一點(diǎn)上存在顯著的局限性。
開(kāi)源大模型往往只開(kāi)放部分代碼和訓(xùn)練權(quán)重，而不包括完整的訓(xùn)練數(shù)據(jù)和訓(xùn)練過(guò)程的詳細(xì)信息。這意味著開(kāi)發(fā)者無(wú)法從頭開(kāi)始訓(xùn)練或重現(xiàn)這些模型，只能在既有的基礎(chǔ)上進(jìn)行有限的調(diào)整和優(yōu)化。由于缺乏對(duì)訓(xùn)練數(shù)據(jù)的了解，開(kāi)發(fā)者無(wú)法判斷模型在特定任務(wù)上的表現(xiàn)是否是由于數(shù)據(jù)質(zhì)量或訓(xùn)練策略的問(wèn)題，也無(wú)法進(jìn)行針對(duì)性的改進(jìn)。
開(kāi)源大模型的復(fù)雜性和資源需求也增加了協(xié)作開(kāi)發(fā)的難度。訓(xùn)練一個(gè)大模型通常需要大量的計(jì)算資源和時(shí)間，這使得只有少數(shù)具備足夠資源的機(jī)構(gòu)能夠參與到模型的訓(xùn)練和優(yōu)化中。這種資源的不平等進(jìn)一步限制了開(kāi)源大模型的廣泛協(xié)作開(kāi)發(fā)。
開(kāi)源大模型的開(kāi)發(fā)過(guò)程缺乏透明度和社區(qū)參與度。傳統(tǒng)開(kāi)源軟件項(xiàng)目通常在公開(kāi)的平臺(tái)上進(jìn)行開(kāi)發(fā)，社區(qū)成員可以提交代碼、報(bào)告問(wèn)題、參與討論。然而，許多開(kāi)源大模型項(xiàng)目的開(kāi)發(fā)過(guò)程并不公開(kāi)，社區(qū)成員只能使用和微調(diào)已經(jīng)發(fā)布的模型，無(wú)法深入?yún)⑴c到模型的開(kāi)發(fā)和改進(jìn)中。這種封閉的開(kāi)發(fā)模式削弱了開(kāi)源項(xiàng)目的社區(qū)力量，使得模型的改進(jìn)速度和質(zhì)量受到影響。
法律和商業(yè)因素也對(duì)開(kāi)源大模型的協(xié)作開(kāi)發(fā)構(gòu)成了障礙。許多開(kāi)源大模型采用定制的許可證，這些許可證通常包含對(duì)商業(yè)用途、用戶類型等方面的限制。這不僅限制了模型的使用范圍，也阻礙了社區(qū)開(kāi)發(fā)者在商業(yè)項(xiàng)目中對(duì)模型進(jìn)行改進(jìn)和優(yōu)化的可能性。相比之下，傳統(tǒng)開(kāi)源軟件項(xiàng)目通常采用寬松的開(kāi)源許可證，鼓勵(lì)廣泛的使用和二次開(kāi)發(fā)。
綜上所述，盡管開(kāi)源大模型在名義上是開(kāi)放的，但其實(shí)際開(kāi)放程度和協(xié)作開(kāi)發(fā)的效果遠(yuǎn)不及傳統(tǒng)開(kāi)源軟件。缺乏訓(xùn)練數(shù)據(jù)和訓(xùn)練過(guò)程的透明度、資源需求的高門檻、開(kāi)發(fā)過(guò)程的封閉性以及法律和商業(yè)因素的限制，使得開(kāi)源大模型在改進(jìn)速度和質(zhì)量上存在顯著的局限性。要真正實(shí)現(xiàn)開(kāi)源大模型的潛力，需要在數(shù)據(jù)透明度、資源共享、社區(qū)參與和法律框架等方面進(jìn)行進(jìn)一步的改進(jìn)和探索。
五 總結(jié)
如今大部分所謂的“開(kāi)源大模型”實(shí)際上更像是披著開(kāi)源外衣的商業(yè)產(chǎn)品，其開(kāi)放性和自由度遠(yuǎn)不及真正的開(kāi)源軟件。在使用這些模型時(shí)，開(kāi)發(fā)者和企業(yè)需要充分了解其局限性，避免被“開(kāi)源”這一表象所誤導(dǎo)。
未來(lái)，隨著技術(shù)的發(fā)展和行業(yè)標(biāo)準(zhǔn)的逐漸形成，我們或許能看到更加透明和開(kāi)放的大模型。標(biāo)準(zhǔn)化的開(kāi)源許可證和更透明的訓(xùn)練數(shù)據(jù)開(kāi)放將有助于提高大模型的真正開(kāi)放性。然而，在現(xiàn)階段，開(kāi)發(fā)者和企業(yè)在使用開(kāi)源大模型時(shí)，需要保持理性，認(rèn)真審視其開(kāi)放性和實(shí)際應(yīng)用價(jià)值，根據(jù)實(shí)際需求做出最優(yōu)選擇。
開(kāi)源大模型的未來(lái)充滿希望，但也需要我們?cè)谄诖夹g(shù)進(jìn)步的同時(shí)，保持清醒的頭腦，認(rèn)識(shí)到當(dāng)前開(kāi)源大模型的局限性。只有在更加透明和標(biāo)準(zhǔn)化的環(huán)境下，開(kāi)源大模型才能真正實(shí)現(xiàn)其應(yīng)有的潛力，為開(kāi)發(fā)者和整個(gè)行業(yè)帶來(lái)更多的創(chuàng)新和發(fā)展。
