中昊芯英CEO杨龚轶凡:突破算力瓶颈,推动AI应用广泛普及

中昊芯英科技有限公司CEO杨龚轶凡深入讨论TPU在AI应用中的潜力与挑战

中昊芯英科技有限公司(以下简称“中昊芯英”)的创始人兼CEO杨龚轶凡透露,TPU(张量处理器)在特定AI任务中展现出的性能和成本效益远超通用方案。他强调了TPU在AI应用规模化普及中的关键作用,并宣布推出新一代自主研发的高性能TPU AI产品“须臾”,以及基于“须臾”构建的软硬件一体化智算平台——泰则2.0。

杨龚轶凡指出,尽管TPU架构在性能和成本上具有明显优势,但国产算力发展仍面临三大挑战:软件生态适配不完善、产业链配套不均衡、行业标准不统一。中昊芯英致力于开放协同,共同建立TPU软硬件标准,并与产业链合作完善技术体系,推动TPU架构的普及与标准化。

TPU的效能与成本优势

杨龚轶凡详细解释称,TPU专注于大规模矩阵计算,其综合效能在特定任务下可达到通用GPU方案的数倍。针对算力成本高企的问题,“须臾”的研发目标旨在降低单位算力成本,以实现AI应用的规模化普及。他预期,随着产品的迭代更新,TPU算力成本将继续降低。

在技术层面,“须臾”通过分工协作的硬件调度模式和Prefill-Decode(PD)分离推理架构,提升了综合性能,并优化了数据传输通道,减少了无效消耗。据杨龚轶凡透露,新一代“须臾”的处理能力是上一代的三倍,而在功耗方面,只有传统通用算力服务器的80%。

应对行业挑战

杨龚轶凡直面行业挑战,认为软件配套生态的不完善是国产算力发展的第一道难题。他提到,海外厂商投入巨额资金建立适配体系,而中昊芯英只用了一年半时间搭建基础运行环境,存在明显差距。此外,高端存储和先进集成工艺的产能集中,给产业链配套带来了挑战。国内智算中心电力能耗配额紧张,而绿色低碳算力配套体系尚未完善。

最后,杨龚轶凡强调了行业标准不统一带来的行业碎片化发展问题。他表示,中昊芯英将坚持全面拥抱开源,原生适配主流开源框架,并针对国内头部大模型开发专属算子,以实现客户迁移基础业务时几乎零代码改动,推理性能提升。

杨龚轶凡展望未来,中昊芯英将继续推动TPU软硬件标准建设,联合产业链完善技术体系,致力于成为TPU架构普及与标准化的核心推动者。