Background
Proxy Lite 默认使用 Hugging Face Spaces 的演示端点,可能导致任务执行延迟。通过本地部署可显著提升响应速度。
Core Solutions
- 本地部署vLLM服务: Run command
vllm serve convergence-ai/proxy-lite-3b --trust-remote-code --enable-auto-tool-choice --tool-call-parser hermes --port 8008
创建本地推理端点 - 配置本地API基础路径::
- 临时方案:在命令中添加
--api-base http://localhost:8008/v1
parameters - 持久方案:设置环境变量
export PROXY_LITE_API_BASE=http://localhost:8008/v1
- 临时方案:在命令中添加
- Hardware Optimization::
- 确保至少8GB内存
- 推荐使用具有CUDA支持的GPU加速推理
caveat
首次运行需下载3B参数模型,建议在稳定网络环境中操作。本地部署后任务响应速度可提升3-5倍。
This answer comes from the articleProxy Lite: 3B Parametric Visual Model-Driven Web Automation ToolThe