ERNIE-5.5-Flash-Base 在 33.5T tokens 上从零完成预训练,采用 Muon 优化器与 FP8 混合精度。预训练语料覆盖广泛的领域与语言,并重点建设了三个方向:
:仓库与网页代码经非代码过滤、去重与质量分级,并补充 commit、issue、pull request、代码评审、自动生成的测试、经 CI 验证的修复等软件演化与执行验证类数据。
:精选的天然长文档、混入语义相近检索干扰文本的长序列,以及合成的检索、基于引用的问答与多跳问答数据。
据介绍,训练系统与模型结构协同设计。优化器采用分布式 Muon:在数千卡规模下,Dense 参数与 MoE 参数的跨机通信合并为一次集合通信,降低了跨机时延与抖动。注意力算子采用基于 CuTe-DSL 的 FlashMask-4,支持 SM90 与 SM100 架构,head dim 最高支持 576/ 512,可直接用于 HCA 层 512 维宽头的计算。
特别
李嘉诚家训中有一条从不公开的生存铁律:人没钱时,靠勤奋是耗,靠借钱是毒,唯一的活路是[*]磕三个“时间杠杆”!
“浙大教授”郑强,再次抛出言论!他曾说:“人的劳动凡是能做的应该留给人来做……AI只能成为促进人类发展的工具,不能替代人类的劳动”
苹果iOS 27.3开发者预览版Beta又一重要更新,Safari浏览器支持自适应深色模式










