本地部署Tabby需要遵循以下标准流程(基于最新v0.24.0版本):
- Vorbereitung der Umwelt::
- 安装Docker 20.10+版本
- 建议配备NVIDIA驱动和CUDA Toolkit(推荐11.8/12.x版本以启用GPU加速)
- 确保磁盘空间≥10GB
- 镜像获取: Umsetzung
docker pull tabbyml/tabby
Ziehen Sie die neuesten Spiegel - Service-Aktivierung:复制以下命令并根据硬件调整参数:
docker run -it --gpus all -p 8080:8080 -v $HOME/.tabby:/data tabbyml/tabby serve --model TabbyML/StarCoder-1B --device cuda --chat-model Qwen2-1.5B-Instruct
- beseitigt
--gpus all
可纯CPU运行 - 首次启动需5-10分钟下载模型
- beseitigt
- Verifizierungsläufe: Zugang
http://localhost:8080
查看欢迎页面
关键注意事项:数据会持久化存储在~/.tabby
目录;可通过--parallelism 4
提升并发性能;若部署在企业服务器需配置反向代理。
Diese Antwort stammt aus dem ArtikelTabby: ein nativer, selbstgehosteter KI-Programmierassistent, der sich in VSCode integriertDie