Files
X-Agents/account/admin/skills/system/desktop-find-element/SKILL.md
2026-03-11 16:26:22 +08:00

1.3 KiB
Raw Blame History

name, description, system, handler, tool-name, category
name description system handler tool-name category
desktop-find-element Find desktop UI elements using UIAutomation (fast, accurate) or vision recognition (fallback). When you need to locate buttons/menus/icons, get element positions before clicking, or verify UI state. For browser webpage elements, use browser_* tools instead. true desktop desktop_find_element Desktop

Desktop Find Element

查找桌面 UI 元素。优先使用 UIAutomation快速准确失败时用视觉识别通用

Parameters

参数 类型 必填 说明
target string 元素描述,如 '保存按钮'、'name:文件'、'id:btn_ok'
window_title string 限定在某个窗口内查找
method string 查找方法auto默认、uia、vision

Supported Target Formats

  • 自然语言:"保存按钮"、"红色图标"
  • 按名称:"name:保存"
  • 按 ID"id:btn_save"
  • 按类型:"type:Button"

Find Methods

  • auto: 自动选择(推荐)
  • uia: 只用 UIAutomation
  • vision: 只用视觉识别

Returns

  • 元素位置x, y
  • 元素大小
  • 元素属性

Warning

如果操作的是浏览器内的网页元素,请使用 browser_* 工具。

  • desktop-click: 点击找到的元素
  • desktop-inspect: 查看元素树结构