腾讯混元开源LLM推理算子库HPC-Ops
我要评论2026年2月5日，腾讯M推腾讯宣布正式开源其自研的混元大模型推理高性能算子库——HPC-Ops（High-PerformanceComputingOperatorsforLLMs），作为“混元”大模型技术生态的开源库重要一环。该库聚焦提升大语言模型（LLM）在国产芯片及主流硬件上的理算推理效率，拥护多种精度混合计算，腾讯M推已在内部支撑微信、混元广告、开源库云服务等亿级用户场景，理算现全面向开发者社区开放，腾讯M推助力中国AI基础设施自主化与普惠化。混元
HPC-Ops的开源库核心价值在于“高效”与“兼容”。针对大模型推理中计算密集、理算显存占用高、腾讯M推延迟敏感等痛点，混元该库优化了注意力机制、开源库矩阵乘法、激活函数等关键算子，实现比通用框架平均提速1.8倍，显存占用降低30%。尤为突出的是，它原生拥护华为昇腾、寒武纪、天数智芯等国产AI芯片，并兼容NVIDIAGPU与CPU环境，有效缓解“卡脖子”风险下的部署难题。
技术层面，HPC-Ops引入多项创新：一是动态稀少计算，自动识别并跳过冗余计算单元；二是内核融合技术，将多个小算子合并为单一高效内核，减少调度开销；三是拥护INT4/INT8/FP16混合精度推理，在保证模型输出质量的前提下大幅压缩模型体积与能耗。测试显示，在百亿参数模型上，HPC-Ops可在单张昇腾910B芯片上实现每秒120token的生成速度。
此次开源采用Apache2.0协议，代码托管于GitHub与Gitee，并配套提供Docker镜像、API文档及典型模型适配示例（如Llama、ChatGLM、混元系列）。腾讯表示，未来将继续投入社区建设，联合高校与企业共建“国产软硬协同”标准，推动大模型从“能用”走向“好用、易用、低成本用”。
业内专家指出，在全球大模型竞争进入“推理优化深水区”的背景下，HPC-Ops的开源拥有战略意义。它不仅降低中小企业和科研机构部署大模型的技术门槛，更强化了中国在AI底层工具链的话语权。正如一位AI工程师所言：“有了这样的基础库，我们不必再从零造轮子，可以更专注于上层应用创新。”
随着“人工智能+”行动深入千行百业，高效、安全、自主的推理引擎将成为数字基建的关键支柱。腾讯此举，既是技术回馈，更是生态共建——当更多开发者站在巨人的肩膀上，中国大模型的星辰大海，才真正启航。
相关文章
当地时间7日，伊朗一名高级官员表示，就美国副总统万斯5日发表的，伊朗必须“实质性”削减其铀浓缩能力，才能满足美方要求进而结束美伊冲突的言论，该官员表示，美方的“诉求与想法”和伊朗的要求存在分歧。他说，2026-10-08
有些名字，不会因为时间走远而褪色。王祖贤就是这样的名字。她打开了一代人心中的东方幻想时代：清冷、灵动、深情，也带着一点只属于岁月的朦胧。很多经典，年轻时看是惊艳;多年后再回望，才更懂其中的余韵。岁月不2026-10-08
楚天都市报极目新闻讯记者赵德龙 通讯员夏荣港 李烨）6月9日，距鄂州花湖国际机场西跑道不到100米处，上海海葵陆地海洋牧场项目在鄂州厂正式投产。这是鄂州首个涵盖活鲜暂养、深加工、冷链仓储的活海鲜暂养加2026-10-08
新加坡国立大学和南洋理工大学已启动2027年秋季入学硕士提前批次申请，采取“滚动录取、先到先得”机制，早提交可提高录取机会。未获录取者自动转入常规批次，无需重新提交材料。一、关键时间节点新加坡国立大学2026-10-08
总台记者获悉，当地时间10月7日，法国警方在滨海阿尔卑斯省、埃罗省和汝拉省展开行动，逮捕6名与雷诺阿博物馆盗窃案有关的人员，其中2人涉嫌直接实施盗窃。位于法国东南部城市滨海卡涅的雷诺阿博物馆9月8日清2026-10-08
前《命运》系列副总裁马克·诺斯沃西解释了为何在当今游戏行业环境下，《007 初露锋芒》很难实现每两到三年推出一部续作。他表示，那些只做细微改动的直接续作通常会面临几个问题：因缺乏创新而获2026-10-08
最新评论