博客 报亭 音乐
我的阅读
    嘻哈小程序码

    长按识别进入嘻哈小程序

    罗福莉官宣小米 MiMo-V3 将采用全新架构 核心 HySparse 2 发布

    Readhub 2026-09-24 11:20(2小时前)
    ⏎ 返回 ⭢阅读原文
    小米 MiMo 大模型负责人罗福莉宣布 MiMo-V3 即将采用全新架构,其核心 HySparse 2 正式发布,可实现更少的预填充、更小的 KV 缓存、更出色的长上下文检索,在 1M Token 长度下预填充计算量降低 5.02 倍、KV 缓存缩小 4.5 倍,同时 MRCRv2 和 RULER-v2 评分更高,AgentPPL 和 LongPPL 更低。该架构针对智能体推理工作负载特性设计,包含 KV 桥接、KV 重用等核心机制,另有 Token 级别选择替代块级选择、用近期 Token 强制窗口替代独立 SWA 分支两项改进,可让本地和全局 Token 共享同一个 KV 缓存,预填充在自解码器完成时即可停止。此前小米刚发布并开源 MiMo-V2.6 系列原生全模态模型,这是其探索递归自我改进路径的关键一步。