智東西（公眾號：zhidxcom）
作者 | 云鵬
編輯 | 漠影
日活超3000萬人的DeepSeek已成為全球AI產(chǎn)業(yè)當(dāng)紅炸子雞，也被視為中國AI的名片，普通人使用AI工具更容易的同時，企業(yè)用戶的需求也在加速涌現(xiàn)。
企業(yè)用戶對DeepSeek私有化部署的需求極為迫切。一方面，數(shù)據(jù)安全成為懸在企業(yè)頭頂?shù)摹斑_(dá)摩克利斯之劍”。在互聯(lián)網(wǎng)上，企業(yè)數(shù)據(jù)如同暴露在“玻璃屋”中，可能被竊取或篡改。
另一方面，企業(yè)對DeepSeek的個性化定制需求和長期成本考量日益凸顯。例如，醫(yī)療、電商等行業(yè)每天產(chǎn)生海量數(shù)據(jù)，按現(xiàn)有市場上主流的API調(diào)用使用量計費(fèi)模式顯然不劃算。
此外，國產(chǎn)AI芯片企業(yè)也急需更快更好地適配DeepSeek、充分釋放算力，借著DeepSeek熱潮，真正與海外芯片巨頭掰掰手腕。
面對這些需求，清華系A(chǔ)I Infra領(lǐng)域明星創(chuàng)企——清程極智，給出了自己的答案：DeepSeek私有化部署方案。
近日，清程極智基于十余家國產(chǎn)芯片，包括壁仞科技、寒武紀(jì)、海光信息、摩爾線程、沐曦、清微智能、昇騰、燧原科技、思朗科技、天數(shù)智芯、太初元碁等（按字母排序），推出了DeepSeek私有化部署方案。
清程極智認(rèn)為：對于企業(yè)用戶而言，私有化部署為企業(yè)提供了一個“數(shù)據(jù)保險箱”，從物理層面隔絕外部威脅，確保數(shù)據(jù)主權(quán)牢牢掌握在企業(yè)手中，同時私有化部署不僅能滿足企業(yè)的個性化需求，還能實現(xiàn)長期成本優(yōu)化。
能夠基于國產(chǎn)芯片半壁江山推出方案，也已證明行業(yè)達(dá)成了共識：企業(yè)利用DeepSeek私有化部署不再是可選項，而是贏得市場競爭、實現(xiàn)長遠(yuǎn)發(fā)展的必由之路。
新品發(fā)布之際，智東西獨家對話了清程極智CEO湯雄超，對其算力系統(tǒng)軟件背后的硬核黑科技、撬動十余家國產(chǎn)芯片的原因，以及清程極智對AI Infra領(lǐng)域的深入思考都進(jìn)行了探討。
一、為芯片和大模型架橋，私有化部署切中大模型企業(yè)應(yīng)用關(guān)鍵痛點
從2022年初露鋒芒到2023年爆發(fā)式涌現(xiàn)，再到2024年商業(yè)化落地，邁入2025年，AI大模型的發(fā)展更加聚焦成本和效率，這也是行業(yè)對大模型落地應(yīng)用關(guān)注的焦點。
在這一大背景下，不論是大模型廠商、算力芯片廠商還是算力平臺，都離不開優(yōu)秀的算力系統(tǒng)軟件支持——算力系統(tǒng)軟件的技術(shù)創(chuàng)新和突破，可以顯著降低大模型的部署成本、提升大模型運(yùn)行效率，幫企業(yè)降本增效。
用湯雄超的話來說，清程極智要做的是連接芯片跟大模型應(yīng)用的“橋梁”，打通應(yīng)用需求跟算力硬件，把底層硬件的算力更充分地發(fā)揮出來，讓上層應(yīng)用可以有更好的落地體驗。
在這樣的大背景下，清程極智自研了大模型推理引擎，并推出了MaaS服務(wù)以及推理一體機(jī)。
近日清程極智的MaaS平臺剛剛完成了滿血版DeepSeek-R1大模型的上線適配，其自研清程赤兔引擎通過一系列性能優(yōu)化可以讓DeepSeek-R1在速度上實現(xiàn)提升。
▲清程極智MaaS平臺上線滿血版DeepSeek-R1
而此次清程極智要推出的DeepSeek私有化部署方案，則為企業(yè)和開發(fā)者們提供了一種更靈活、更高效地接入DeepSeek的模式。
私有化部署不同于公有云服務(wù)，其方案中既包含完全本地化的部署方式，也包含通過云平臺分配專屬計算資源，進(jìn)而實現(xiàn)企業(yè)的私有化部署方式。
為何大模型私有化部署如此重要？這與當(dāng)下行業(yè)需求的高速增長、行業(yè)發(fā)展到新時期所面臨的需求痛點以及大模型私有化部署解決方案帶來的諸多優(yōu)勢密切相關(guān)。
從風(fēng)險規(guī)避和數(shù)據(jù)合規(guī)性的方面來看，如今國內(nèi)外都已陸續(xù)出臺數(shù)據(jù)安全相關(guān)法律法規(guī)，私有化部署可以讓企業(yè)完全掌控數(shù)據(jù)的生命周期，避免跨境傳輸風(fēng)險。
比如醫(yī)療、金融等行業(yè)對數(shù)據(jù)的本地化有強(qiáng)制要求，私有化部署是唯一的合規(guī)途徑。
與此同時，私有化部署可以實現(xiàn)更深度的模型定制化，企業(yè)可以通過私有數(shù)據(jù)持續(xù)訓(xùn)練模型，讓通用大模型轉(zhuǎn)化為垂直領(lǐng)域的“專家”，進(jìn)一步提升大模型服務(wù)企業(yè)、提高企業(yè)生產(chǎn)效率的表現(xiàn)。
從安全的角度來看，私有化部署可以實現(xiàn)硬件級加密、數(shù)據(jù)脫敏，防護(hù)標(biāo)準(zhǔn)更高。
從行業(yè)發(fā)展角度來看，如今大模型能力已經(jīng)廣泛進(jìn)入商業(yè)化落地應(yīng)用階段，企業(yè)需要將AI能力真正地嵌入到核心業(yè)務(wù)流程之中，這是很關(guān)鍵的，而私有化部署可以幫助企業(yè)更好的實現(xiàn)這一點。
最后從非常實際的提升性能角度出發(fā)，私有化部署也有著明顯優(yōu)勢。湯雄超談道，其實大部分企業(yè)都是希望在既有業(yè)務(wù)中融入AI的能力，并非“從0開始”，因此企業(yè)更多希望能夠回到自己的業(yè)務(wù)系統(tǒng)，構(gòu)建在自己的私有化環(huán)境中。
從性能上來說，如果業(yè)務(wù)一部分在云端一部分在本地，數(shù)據(jù)傳輸?shù)拈_銷很大，并且效率性能也會受到影響，采用私有化部署，可以讓企業(yè)所有業(yè)務(wù)模塊都在熟悉、可控的環(huán)境中，數(shù)據(jù)交互更高效。
當(dāng)然，私有化部署能夠帶來的高穩(wěn)定性對企業(yè)業(yè)務(wù)來說也至關(guān)重要，相比公有服務(wù)器容易受到巨大流量的沖擊，私有算力顯然更有保障，穩(wěn)定性更好。
如今各大智能手機(jī)巨頭紛紛官宣自家AI智能體支持DeepSeek，用戶通過各家私有云部署的DeepSeek體驗AI，就會更少遇到“服務(wù)器繁忙，請稍后再試”的尷尬。實際上這就是私有化部署帶來優(yōu)勢的一種直觀體現(xiàn)。
二、大模型算力系統(tǒng)軟件創(chuàng)新，讓國產(chǎn)AI芯片走的更快更遠(yuǎn)
可以看到，在DeepSeek加速深度融入行業(yè)之下，大模型私有化部署已經(jīng)成為行業(yè)發(fā)展的重要趨勢之一，而清程極智基于十余家國產(chǎn)AI芯片廠商推出的DeepSeek私有化部署解決方案，正是順應(yīng)這一趨勢而來。
實際上，大模型高效地私有化部署不僅可以給應(yīng)用大模型的企業(yè)客戶帶來上述諸多好處，對于國內(nèi)AI芯片企業(yè)也有著重要意義和價值。
目前國產(chǎn)AI芯片領(lǐng)域雖然不乏許多表現(xiàn)亮眼的企業(yè)，但總體來看行業(yè)仍然是學(xué)習(xí)、追趕的態(tài)勢，如何讓更多企業(yè)用上國產(chǎn)AI芯片，是非常關(guān)鍵的一步。
要不要用？最核心的一個標(biāo)準(zhǔn)仍然是性能，性能最直觀的反映就是用戶最終的使用體驗，模型應(yīng)用的效果是否是真正“可用”的。
而清程極智恰恰做的就是連接國產(chǎn)AI芯片和大模型，讓芯片可以更高效地運(yùn)行大模型應(yīng)用，進(jìn)而提升性能表現(xiàn)。
從商業(yè)角度來看，國內(nèi)的AI芯片勢必要面臨跟英偉達(dá)這樣的成熟海外巨頭的競爭，因此提升芯片性能就顯得十分關(guān)鍵。通過系統(tǒng)軟件的優(yōu)化，在同樣的硬件條件下實現(xiàn)更高的性能表現(xiàn)，就意味著成本的下降、性價比的提升，進(jìn)而產(chǎn)品綜合競爭力就變強(qiáng)了。
湯雄超提到，從長遠(yuǎn)視角來看，只要國產(chǎn)芯片平臺可以達(dá)到與海外產(chǎn)品一樣的體驗，大家必然會傾向于國產(chǎn)，進(jìn)而幫助芯片企業(yè)提升國內(nèi)市場的份額。如果更進(jìn)一步在性價比上也可以追平海外產(chǎn)品，那國產(chǎn)芯片企業(yè)將會擁有更多走向全球市場的機(jī)會，這里面的想象空間是巨大的。
目前清程極智提供的大模型端到端的訓(xùn)練和推理，及配套的性能優(yōu)化服務(wù)，已經(jīng)幫助數(shù)款大模型實現(xiàn)了在多款國產(chǎn)芯片上的快速預(yù)訓(xùn)練和高性能推理優(yōu)化，降低了大模型的部署成本，提升了大模型運(yùn)行效率。
三、大模型效率提升近100倍，硬核自研技術(shù)創(chuàng)新仍是最強(qiáng)王牌
在大模型應(yīng)用與芯片之間架起橋梁，實現(xiàn)大模型效率的提升，進(jìn)而提升國產(chǎn)AI芯片的性價比，這樣的邏輯聽起來并不復(fù)雜，但實際上，要真正實現(xiàn)算力系統(tǒng)軟件的技術(shù)創(chuàng)新，存在諸多挑戰(zhàn)，這也是清程極智的核心技術(shù)優(yōu)勢所在。
在湯雄超看來，他們的核心優(yōu)勢主要在兩方面：集群算力的高效利用和國產(chǎn)芯片的深度適配優(yōu)化。
他提到，過去十幾年，技術(shù)團(tuán)隊在清華實驗室時期就做了非常多的工作，在集群算力高效利用和國產(chǎn)芯片適配優(yōu)化方面積累了大量經(jīng)驗，而這兩個問題也是做好AI算力系統(tǒng)軟件的核心難點所在。
根據(jù)官方信息，清程極智由清華大學(xué)翟季冬教授發(fā)起并任首席科學(xué)家，團(tuán)隊孵化于清華大學(xué)計算機(jī)系，在算力系統(tǒng)優(yōu)化領(lǐng)域有著十余年經(jīng)驗積累，目前已經(jīng)與國內(nèi)多個智算超算中心、知名芯片廠商及大模型廠商達(dá)成商業(yè)合作。
在集群算力使用方面，過去的問題主要集中在訓(xùn)練方面，而DeepSeek的火爆也帶來了集群算力在推理方面的新挑戰(zhàn)，如何高效地支持671B參數(shù)的大模型運(yùn)行，有諸多問題需要解決。
湯雄超提到，真正掌握集群算力使用方式并且可以運(yùn)用的很好的團(tuán)隊并不多。
目前清程極智掌握了并行系統(tǒng)、計算框架、通信庫、算子庫、AI編譯器、編程語言、調(diào)度系統(tǒng)、存儲系統(tǒng)、內(nèi)存管理、容錯系統(tǒng)等10個關(guān)鍵基礎(chǔ)軟件的核心技術(shù)，并在其中過半數(shù)領(lǐng)域擁有自研產(chǎn)品，解決方案覆蓋大模型落地全棧技術(shù)要求。
除了集群算力高效利用，清程極智的另一個優(yōu)勢是對于國產(chǎn)芯片的深度適配優(yōu)化。
實際上，這是一個大量考驗Know-how的領(lǐng)域。目前行業(yè)長期習(xí)慣了英偉達(dá)芯片，其芯片的生態(tài)軟件系統(tǒng)都相對完善，使用更簡單，相比之下，國產(chǎn)芯片在軟件生態(tài)方面不夠完善，實現(xiàn)效率不夠高效，有些模塊是缺失的，這都是算力軟件系統(tǒng)廠商需要解決的問題。
為了解決這些難題，清程極智選擇了一條更具挑戰(zhàn)的技術(shù)路線：自研大模型推理系統(tǒng)。
由于英偉達(dá)生態(tài)長期占據(jù)主導(dǎo)地位，目前行業(yè)中的很多開源框架、軟件從設(shè)計思路上就更適合英偉達(dá)芯片，直接移植很容易遇到“水土不服”的問題，國產(chǎn)AI芯片在設(shè)計、性能方面都與英偉達(dá)芯片有所區(qū)別，一些原本起到促進(jìn)作用的優(yōu)化模塊對國產(chǎn)AI芯片來說可能會造成反向負(fù)面效果。
因此針對具體國產(chǎn)芯片進(jìn)行針對性適配和優(yōu)化就顯得尤為重要。在這一領(lǐng)域，清程極智的團(tuán)隊有豐富經(jīng)驗，其自研推理系統(tǒng)從軟件設(shè)計層面就是為多樣性芯片構(gòu)成去做的，因此在國產(chǎn)AI芯片適配大模型方面有更高的性能提升上限。
目前，清程極智已經(jīng)做了面向大模型算力系統(tǒng)的全棧建設(shè)及優(yōu)化。從實際綜合數(shù)據(jù)來看，其解決方案可以讓大模型應(yīng)用成本降低2個數(shù)量級，讓大模型運(yùn)行效率最高提升近100倍。
縱觀其模型系統(tǒng)級解決方案，具備多層次的算力優(yōu)化優(yōu)勢：自研推理系統(tǒng)可以更好地應(yīng)對低延遲、高并發(fā)的推理需求；自研編譯器則可以使新型算子更高效地適配，讓復(fù)雜模型在異構(gòu)算力上跑的起來、跑的更好；與此同時，其算力系統(tǒng)軟件兼容性強(qiáng)，可以同時支持多種國內(nèi)外算力平臺。
結(jié)語：堅持核心技術(shù)投入，抓住AI滲透千行百業(yè)新機(jī)遇
今天的中國智算產(chǎn)業(yè)，正在經(jīng)歷前所未有的新變革，迎來新的機(jī)遇和挑戰(zhàn)。正如湯雄超所說，AI行業(yè)發(fā)展很快，唯有堅持核心技術(shù)創(chuàng)新的投入才是硬道理。未來清程極智會繼續(xù)在集群計算、國產(chǎn)算力適配優(yōu)化方面堅持技術(shù)創(chuàng)新。
如果說早期的AI只是大公司的“嘗鮮”產(chǎn)品，那么如今越來越多的中小型企業(yè)都開始使用AI，AI已經(jīng)逐漸變成企業(yè)的必需品。另一方面，國產(chǎn)芯片發(fā)展勢不可擋，中國大模型、中國AI技術(shù)的發(fā)展，必然需要有可靠可控的堅實算力底座。
解決這些需求和挑戰(zhàn)，正是DeepSeek這類大模型私有化部署的意義和價值所在，也是清程極智的方向所在：基于國產(chǎn)芯片半壁江山之力，用系統(tǒng)軟件創(chuàng)新在大模型和芯片之間架起橋梁，讓企業(yè)客戶享受到AI紅利，讓國產(chǎn)芯片在新一輪AI技術(shù)爆發(fā)中擁有更高增長潛力和更廣闊的想象空間。
