OmniParser

OmniParser's 概述

OmniParser V2 是微软研究院开发的一款超酷的工具，能把任何大语言模型（LLM）变成电脑使用代理（Computer Use Agent），专门用来做GUI自动化。它把UI截图转换成结构化的界面元素，让LLM更能看懂并操作用户界面，从而精准预测和执行动作。相比上一代，V2版本对小型可交互元素的检测精度更高，推理速度更快，延迟降低了60%。该工具使用大量可交互元素检测数据和图标功能描述数据进行训练，在ScreenSpot Pro基准测试中达到了业界领先（state-of-the-art）的精度。OmniParser V2 还与容器化的Windows系统OmniTool集成，可兼容OpenAI、DeepSeek、Qwen、Anthropic等多种LLM。此外，该工具遵循微软的AI原则，并配备了负责任AI实践和风险缓解策略，适合开发者、AI研究者和UI/UX设计师使用。

OmniParser's 特点

• 将LLM转变为GUI智能体

• 对小元素的高精度检测

• 推理快速，延迟降低60%

• 支持集成多种LLM

• 遵循负责任AI实践

• 开源可用

• 支持GUI自动化

• 基于大量数据训练

OmniParser's 问答

OmniParser's 定价

免费。OmniParser V2 以开源代码的形式发布在GitHub上，可免费使用其全部功能和能力。