智东西
作者 云鹏
编辑 漠影
日活超3000万人的DeepSeek已成为全球AI产业当红炸子鸡,也被视为中国AI的名片,普通人使用AI工具更容易的同时,企业用户的需求也在加速涌现。
企业用户对DeepSeek私有化部署的需求极为迫切。一方面,数据安全成为悬在企业头顶的“达摩克利斯之剑”。在互联网上,企业数据如同暴露在“玻璃屋”中,可能被窃取或篡改。
另一方面,企业对DeepSeek的个性化定制需求和长期成本考量日益凸显。例如,医疗、电商等行业每天产生海量数据,按现有市场上主流的API调用使用量计费模式显然不划算。
此外,国产AI芯片企业也急需更快更好地适配DeepSeek、充分释放算力,借着DeepSeek热潮,真正与海外芯片巨头掰掰手腕。
面对这些需求,清华系AI Infra领域明星创企——清程极智,给出了自己的答案:DeepSeek私有化部署方案。
近日,清程极智基于十余家国产芯片,包括壁仞科技、寒武纪、海光信息、摩尔线程、沐曦、清微智能、昇腾、燧原科技、思朗科技、天数智芯、太初元碁等(按字母排序),推出了DeepSeek私有化部署方案。
清程极智认为:对于企业用户而言,私有化部署为企业提供了一个“数据保险箱”,从物理层面隔绝外部威胁,确保数据主权牢牢掌握在企业手中,同时私有化部署不仅能满足企业的个性化需求,还能实现长期成本优化。
能够基于国产芯片半壁江山推出方案,也已证明行业达成了共识:企业利用DeepSeek私有化部署不再是可选项,而是赢得市场竞争、实现长远发展的必由之路。
新品发布之际,智东西独家对话了清程极智CEO汤雄超,对其算力系统软件背后的硬核黑科技、撬动十余家国产芯片的原因,以及清程极智对AI Infra领域的深入思考都进行了探讨。
一、为芯片和大模型架桥,私有化部署切中大模型企业应用关键痛点
从2022年初露锋芒到2023年爆发式涌现,再到2024年商业化落地,迈入2025年,AI大模型的发展更加聚焦成本和效率,这也是行业对大模型落地应用关注的焦点。
在这一大背景下,不论是大模型厂商、算力芯片厂商还是算力平台,都离不开优秀的算力系统软件支持——算力系统软件的技术创新和突破,可以显著降低大模型的部署成本、提升大模型运行效率,帮企业降本增效。
用汤雄超的话来说,清程极智要做的是连接芯片跟大模型应用的“桥梁”,打通应用需求跟算力硬件,把底层硬件的算力更充分地发挥出来,让上层应用可以有更好的落地体验。
在这样的大背景下,清程极智自研了大模型推理引擎,并推出了MaaS服务以及推理一体机。
近日清程极智的MaaS平台刚刚完成了满血版DeepSeek-R1大模型的上线适配,其自研清程赤兔引擎通过一系列性能优化可以让DeepSeek-R1在速度上实现提升。
▲清程极智MaaS平台上线满血版DeepSeek-R1
而此次清程极智要推出的DeepSeek私有化部署方案,则为企业和开发者们提供了一种更灵活、更高效地接入DeepSeek的模式。
私有化部署不同于公有云服务,其方案中既包含完全本地化的部署方式,也包含通过云平台分配专属计算资源,进而实现企业的私有化部署方式。
为何大模型私有化部署如此重要?这与当下行业需求的高速增长、行业发展到新时期所面临的需求痛点以及大模型私有化部署解决方案带来的诸多优势密切相关。
从风险规避和数据合规性的方面来看,如今国内外都已陆续出台数据安全相关法律法规,私有化部署可以让企业完全掌控数据的生命周期,避免跨境传输风险。
比如医疗、金融等行业对数据的本地化有强制要求,私有化部署是唯一的合规途径。
与此同时,私有化部署可以实现更深度的模型定制化,企业可以通过私有数据持续训练模型,让通用大模型转化为垂直领域的“专家”,进一步提升大模型服务企业、提高企业生产效率的表现。
从安全的角度来看,私有化部署可以实现硬件级加密、数据脱敏,防护标准更高。
从行业发展角度来看,如今大模型能力已经广泛进入商业化落地应用阶段,企业需要将AI能力真正地嵌入到核心业务流程之中,这是很关键的,而私有化部署可以帮助企业更好的实现这一点。
最后从非常实际的提升性能角度出发,私有化部署也有着明显优势。汤雄超谈道,其实大部分企业都是希望在既有业务中融入AI的能力,并非“从0开始”,因此企业更多希望能够回到自己的业务系统,构建在自己的私有化环境中。
从性能上来说,如果业务一部分在云端一部分在本地,数据传输的开销很大,并且效率性能也会受到影响,采用私有化部署,可以让企业所有业务模块都在熟悉、可控的环境中,数据交互更高效。
当然,私有化部署能够带来的高稳定性对企业业务来说也至关重要,相比公有服务器容易受到巨大流量的冲击,私有算力显然更有保障,稳定性更好。
如今各大智能手机巨头纷纷官宣自家AI智能体支持DeepSeek,用户通过各家私有云部署的DeepSeek体验AI,就会更少遇到“服务器繁忙,请稍后再试”的尴尬。实际上这就是私有化部署带来优势的一种直观体现。
二、大模型算力系统软件创新,让国产AI芯片走的更快更远
可以看到,在DeepSeek加速深度融入行业之下,大模型私有化部署已经成为行业发展的重要趋势之一,而清程极智基于十余家国产AI芯片厂商推出的DeepSeek私有化部署解决方案,正是顺应这一趋势而来。
实际上,大模型高效地私有化部署不仅可以给应用大模型的企业客户带来上述诸多好处,对于国内AI芯片企业也有着重要意义和价值。
目前国产AI芯片领域虽然不乏许多表现亮眼的企业,但总体来看行业仍然是学习、追赶的态势,如何让更多企业用上国产AI芯片,是非常关键的一步。
要不要用?最核心的一个标准仍然是性能,性能最直观的反映就是用户最终的使用体验,模型应用的效果是否是真正“可用”的。
而清程极智恰恰做的就是连接国产AI芯片和大模型,让芯片可以更高效地运行大模型应用,进而提升性能表现。
从商业角度来看,国内的AI芯片势必要面临跟英伟达这样的成熟海外巨头的竞争,因此提升芯片性能就显得十分关键。通过系统软件的优化,在同样的硬件条件下实现更高的性能表现,就意味着成本的下降、性价比的提升,进而产品综合竞争力就变强了。
汤雄超提到,从长远视角来看,只要国产芯片平台可以达到与海外产品一样的体验,大家必然会倾向于国产,进而帮助芯片企业提升国内市场的份额。如果更进一步在性价比上也可以追平海外产品,那国产芯片企业将会拥有更多走向全球市场的机会,这里面的想象空间是巨大的。
目前清程极智提供的大模型端到端的训练和推理,及配套的性能优化服务,已经帮助数款大模型实现了在多款国产芯片上的快速预训练和高性能推理优化,降低了大模型的部署成本,提升了大模型运行效率。
三、大模型效率提升近100倍,硬核自研技术创新仍是最强王牌
在大模型应用与芯片之间架起桥梁,实现大模型效率的提升,进而提升国产AI芯片的性价比,这样的逻辑听起来并不复杂,但实际上,要真正实现算力系统软件的技术创新,存在诸多挑战,这也是清程极智的核心技术优势所在。
在汤雄超看来,他们的核心优势主要在两方面:集群算力的高效利用和国产芯片的深度适配优化。
他提到,过去十几年,技术团队在清华实验室时期就做了非常多的工作,在集群算力高效利用和国产芯片适配优化方面积累了大量经验,而这两个问题也是做好AI算力系统软件的核心难点所在。
根据官方信息,清程极智由清华大学翟季冬教授发起并任首席科学家,团队孵化于清华大学计算机系,在算力系统优化领域有着十余年经验积累,目前已经与国内多个智算超算中心、知名芯片厂商及大模型厂商达成商业合作。
在集群算力使用方面,过去的问题主要集中在训练方面,而DeepSeek的火爆也带来了集群算力在推理方面的新挑战,如何高效地支持671B参数的大模型运行,有诸多问题需要解决。
汤雄超提到,真正掌握集群算力使用方式并且可以运用的很好的团队并不多。
目前清程极智掌握了并行系统、计算框架、通信库、算子库、AI编译器、编程语言、调度系统、存储系统、内存管理、容错系统等10个关键基础软件的核心技术,并在其中过半数领域拥有自研产品,解决方案覆盖大模型落地全栈技术要求。
除了集群算力高效利用,清程极智的另一个优势是对于国产芯片的深度适配优化。
实际上,这是一个大量考验Know-how的领域。目前行业长期习惯了英伟达芯片,其芯片的生态软件系统都相对完善,使用更简单,相比之下,国产芯片在软件生态方面不够完善,实现效率不够高效,有些模块是缺失的,这都是算力软件系统厂商需要解决的问题。
为了解决这些难题,清程极智选择了一条更具挑战的技术路线:自研大模型推理系统。
由于英伟达生态长期占据主导地位,目前行业中的很多开源框架、软件从设计思路上就更适合英伟达芯片,直接移植很容易遇到“水土不服”的问题,国产AI芯片在设计、性能方面都与英伟达芯片有所区别,一些原本起到促进作用的优化模块对国产AI芯片来说可能会造成反向负面效果。
因此针对具体国产芯片进行针对性适配和优化就显得尤为重要。在这一领域,清程极智的团队有丰富经验,其自研推理系统从软件设计层面就是为多样性芯片构成去做的,因此在国产AI芯片适配大模型方面有更高的性能提升上限。
目前,清程极智已经做了面向大模型算力系统的全栈建设及优化。从实际综合数据来看,其解决方案可以让大模型应用成本降低2个数量级,让大模型运行效率最高提升近100倍。
纵观其模型系统级解决方案,具备多层次的算力优化优势:自研推理系统可以更好地应对低延迟、高并发的推理需求;自研编译器则可以使新型算子更高效地适配,让复杂模型在异构算力上跑的起来、跑的更好;与此同时,其算力系统软件兼容性强,可以同时支持多种国内外算力平台。
结语:坚持核心技术投入,抓住AI渗透千行百业新机遇
今天的中国智算产业,正在经历前所未有的新变革,迎来新的机遇和挑战。正如汤雄超所说,AI行业发展很快,唯有坚持核心技术创新的投入才是硬道理。未来清程极智会继续在集群计算、国产算力适配优化方面坚持技术创新。
如果说早期的AI只是大公司的“尝鲜”产品,那么如今越来越多的中小型企业都开始使用AI,AI已经逐渐变成企业的必需品。另一方面,国产芯片发展势不可挡,中国大模型、中国AI技术的发展,必然需要有可靠可控的坚实算力底座。
解决这些需求和挑战,正是DeepSeek这类大模型私有化部署的意义和价值所在,也是清程极智的方向所在:基于国产芯片半壁江山之力,用系统软件创新在大模型和芯片之间架起桥梁,让企业客户享受到AI红利,让国产芯片在新一轮AI技术爆发中拥有更高增长潜力和更广阔的想象空间。