隨著新一代計(jì)算機(jī)設(shè)備的不斷提升，數(shù)據(jù)中心面臨了增加每機(jī)柜功率密度的需求。虛擬計(jì)算、內(nèi)存系統(tǒng)、多核CPU、CPU速度和GPGPU等技術(shù)的快速發(fā)展，極大地提高了計(jì)算能力，但同時(shí)也帶來了更高的能耗和散熱問題。
容器使用操作系統(tǒng)的CPU。虛擬機(jī)使用模擬的CPU。如果你需要運(yùn)行的軟件不是在你機(jī)器上的CPU上編譯的，那么你必須運(yùn)行虛擬CPU。
研究人員發(fā)現(xiàn)主流處理器都在努力實(shí)現(xiàn)功耗需求和高執(zhí)行速率的散熱限制的平衡。這會(huì)導(dǎo)致指向特定指令或操作的不同的行為模式。而這些行為模式可以通過軟件利用內(nèi)部傳感器度量來實(shí)現(xiàn)。
從AI大模型涉及的層面來看，主要可以分為應(yīng)用層、模型層、框架層和芯片層等四個(gè)層次，而目前市面上大部分公司都還在模型層，深一點(diǎn)的涉及到框架層和芯片層的研究，前端應(yīng)用目前業(yè)內(nèi)還沒有。作為業(yè)內(nèi)首個(gè)公測的大模型應(yīng)用產(chǎn)品，通義聽悟的示范作用極為明顯。
近年來，人工智能的興起主要依賴于大數(shù)據(jù)的發(fā)展、理論算法的完善和硬件計(jì)算能力的提升。其中硬件的發(fā)展則歸功于GPU的出現(xiàn)。
算力基礎(chǔ)設(shè)施成了目前行業(yè)亟需布局的資源，除了CPU/GPU等算力硬件需求強(qiáng)勁，網(wǎng)絡(luò)端也催生了更大帶寬需求，以匹配日益增長的流量。
