微软升级Win11的AI框架,实验性支持GGUF与ONNX原生本地推理

发布时间:2026-10-09 13:51

  在 Windows 与 Surface 十月活动中,微软介绍了 Windows ML 的最新进展。Windows ML 是微软面向 Windows 11 的本地 AI 推理框架,开发者可在设备端运行 AI 模型,构建文本生成、语音识别等应用,并减少对特定硬件优化的依赖。

  微软表示通过社区合作,开发者现可通过 llama.cpp 的实验性集成,从 Hugging Face 导入 GGUF 模型并直接在本地运行。在性能方面,微软还携手英伟达公司,向 llama.cpp 及相关性能优化贡献代码。

  Windows ML 新增实验性 Windows 原生推理路径,可运行 ONNX 与 GGUF 两类模型。该路径正式名称为 Windows ML Runtime API,微软称其具备更高性能、更深的系统集成及更细粒度的控制能力。

  注:GGUF 是一种常用于本地运行大语言模型的模型文件格式。开发者可从 Hugging Face 等平台获取 GGUF 模型,并通过 llama.cpp 等工具在个人电脑上加载与推理。

  而 ONNX 是开放神经网络交换格式,用于在不同框架和硬件间迁移 AI 模型。ONNX Runtime 是其常用运行环境,可支持模型在 Windows 设备上的推理部署。

  微软表示,ONNX Runtime API 仍获完整支持;未来针对 Windows 的优化将优先投向 Windows ML Runtime API。两种运行时均已包含在当前版本中,开发者可按熟悉程度选择迁移时机。

排行

精选