Peekaboo 通过以下步骤实现智能视觉问答(VQA):
1. 模型配置:
支持本地部署的 Ollama 模型(如 llava/qwen2-vl)或云端 API。以本地模型为例,需先运行 brew install ollama
安装服务,通过 ollama pull llava:latest
下载视觉模型,最后在 Peekaboo 配置文件指定模型路径。
2. 问答流程:
执行命令如 peekaboo capture screen --question 'What is on the screen?' --output result.json
,工具会:
① 实时捕捉屏幕图像 → ② 将图像和问题提交给配置的 AI 模型 → ③ 生成包含答案的 JSON 文件(含图像引用和分析结果)
3. 技术特性:
• 低延迟:本地模型处理无需网络请求
• 多模态理解:模型能解析文字、图表等复杂内容
• 扩展性强:通过更换模型适配不同场景需求,如代码分析可选用专业编程模型。
本答案来源于文章《Peekaboo:macOS屏幕捕捉与视觉问答工具》