腾讯混元开源LLM推理算子库HPC-Ops

  发布时间:2026-11-23 07:14:38   作者:玩站小弟   我要评论
2026年2月5日,腾讯宣布正式开源其自研的大模型推理高性能算子库——HPC-OpsHigh-PerformanceComputingOperatorsforLLMs),作为“混元”大模型技术生态的重 。

2026年2月5日,腾讯M推腾讯宣布正式开源其自研的混元大模型推理高性能算子库——HPC-Ops(High-PerformanceComputingOperatorsforLLMs),作为“混元”大模型技术生态的开源库重要一环。该库聚焦提升大语言模型(LLM)在国产芯片及主流硬件上的理算推理效率,拥护多种精度混合计算,腾讯M推已在内部支撑微信、混元广告、开源库云服务等亿级用户场景,理算现全面向开发者社区开放,腾讯M推助力中国AI基础设施自主化与普惠化。混元

HPC-Ops的开源库核心价值在于“高效”与“兼容”。针对大模型推理中计算密集、理算显存占用高、腾讯M推延迟敏感等痛点,混元该库优化了注意力机制、开源库矩阵乘法、激活函数等关键算子,实现比通用框架平均提速1.8倍,显存占用降低30%。尤为突出的是,它原生拥护华为昇腾、寒武纪、天数智芯等国产AI芯片,并兼容NVIDIAGPU与CPU环境,有效缓解“卡脖子”风险下的部署难题。

技术层面,HPC-Ops引入多项创新:一是动态稀少计算,自动识别并跳过冗余计算单元;二是内核融合技术,将多个小算子合并为单一高效内核,减少调度开销;三是拥护INT4/INT8/FP16混合精度推理,在保证模型输出质量的前提下大幅压缩模型体积与能耗。测试显示,在百亿参数模型上,HPC-Ops可在单张昇腾910B芯片上实现每秒120token的生成速度。

此次开源采用Apache2.0协议,代码托管于GitHub与Gitee,并配套提供Docker镜像、API文档及典型模型适配示例(如Llama、ChatGLM、混元系列)。腾讯表示,未来将继续投入社区建设,联合高校与企业共建“国产软硬协同”标准,推动大模型从“能用”走向“好用、易用、低成本用”。

业内专家指出,在全球大模型竞争进入“推理优化深水区”的背景下,HPC-Ops的开源拥有战略意义。它不仅降低中小企业和科研机构部署大模型的技术门槛,更强化了中国在AI底层工具链的话语权。正如一位AI工程师所言:“有了这样的基础库,我们不必再从零造轮子,可以更专注于上层应用创新。”

随着“人工智能+”行动深入千行百业,高效、安全、自主的推理引擎将成为数字基建的关键支柱。腾讯此举,既是技术回馈,更是生态共建——当更多开发者站在巨人的肩膀上,中国大模型的星辰大海,才真正启航。

  • Tag:

相关文章

  • 亚残运会之声:团结一心 其利断金

    中新社日本名古屋10月24日电 题:亚残运会之声:团结一心 其利断金中新社记者 朱晨曦爱知·名古屋亚残运会将于24日晚闭幕,本届亚残运会的口号为“Imagine one heart(同心相连)”。近
    2026-11-23
  • 《FC26》模拟预测2026世界杯 西班牙将时隔16年再夺冠

    2026年FIFA世界杯已正式开幕,48支球队齐聚美洲大陆,争夺第23座大力神杯。游戏巨头EA旗下子品牌EA Sports每年都会用足球游戏《EA SPORTS FC26》进行模拟预测,过去四届世界杯
    2026-11-23
  • 又一万亿级投资周期开启!“算”出我国数字经济新底座

    近期,中央政治局会议、国务院常务会议等会议相继明确要求加强水网、新型电网、算力网、新一代通信网、城市地下管网、物流网等规划建设,将“六张网”纳入国家顶层部署。国家发展改革委称,今年在“六张网”及相关领
    2026-11-23
  • 《最终幻想7:启示》Steam页面上线 这次没有D加密?

    外媒playground分析,《最终幻想7:启示》大概率不会搭载Denuvo防盗版技术。Steam商店近日上线了该作专属页面。作为《最终幻想7》重制三部曲的收官之作,玩家对比官方信息后发现,PC版延续
    2026-11-23
  • 11名学生举报导师:“学术造假”之外的师生关系

    进入寒假后,华中农业大学校门外显得较为空旷。南方周末记者魏翠翠/图)2024年1月下旬,华中农业大学已开启寒假时间。学校西门外,陆续有学生提着行李箱朝着公交站方向走去,踏上回家的旅程。刘毅和他的另外1
    2026-11-23
  • 水星迎东大距 本年度观测水星最佳时机来了

    今天,本年度观测水星最佳时机来了。水星迎来东大距,水星的亮度约为0.5等,属于肉眼可见范围。若天气晴好,本次大距前后数日,都是观赏水星的最佳时机。有条件的公众也可以使用小型天文望远镜或双筒望远镜来观测
    2026-11-23

最新评论