这里是AI贴吧网-AI资讯的硬核前线!我们24小时监测全球实验室动态,算法追踪巨头动向、代码解析学术突破,用最“硅基”视角解秘AI革命浪潮!
小米大模型团队通过“XiaomiMiMo”公众号宣布,今天,小米开源首个“为推理而生”的大模型XiaomiMiMo,联动预训练到后训练,全面提升推理能力。据介绍,MiMo是来自全新成立不久的“小米大模型Core团队”的初步尝试。
在数学推理(AIME24-25)和代码竞赛(LiveCodeBenchv5)公开测评集上,MiMo仅用 7B的参数规模,超越了OpenAI的闭源推理模型 o1-mini 和阿里Qwen更大规模的开源推理模型 QwQ-32B-Preview。
官方表示,MiMo推理能力的提升,由预训练和后训练阶段中数据和算法等多层面的创新联合驱动,包括:
预训练:核心是让模型见过更多推理模式数据:着重挖掘富推理语料,并合成约200Btokens推理数据。训练:进行了三阶段训练,逐步提升训练难度,总训练25Ttokens。后训练:核心是高效稳定的强化学习算法和框架算法:提出TestDifficultyDrivenReward来缓解困难算法问题中的奖励稀疏问题,并引入EasyDataRe-Sampling策略,以稳定 RL 训练。框架:设计了SeamlessRollout系统,使得RL训练加速2.29倍,验证加速1.96倍。1AI附开源地址:
HuggingFace:https://huggingface.co/XiaomiMiMo
技术报告:https://github.com/XiaomiMiMo/MiMo/blob/main/MiMo-7B-Technical-Report.pdf
想掌握最新AI隐藏技能?挖透巨头紧急下架产品的真相?点击【AI贴吧网-AI资讯】,深度解析+实战案例,智能刷新你的认知!