安装准备
- 安装Python 3.8或更高版本
- 安装Git工具用于克隆仓库
- 安装vLLM(建议0.5.5版本)以支持高效的模型推理
详细安装步骤
- 克隆GitHub仓库:
git clone https://github.com/tablegpt/tablegpt-agent.git
cd tablegpt-agent - 安装依赖包:
pip install -r requirements.txt
- 如需完整功能,安装额外依赖:
pip install ".[local]"
模型部署
需要从Hugging Face下载TableGPT2模型(如TableGPT2-7B),然后使用vLLM启动服务:python -m vllm.entrypoints.openai.api_server --served-model-name TableGPT2-7B --model path/to/weights
服务将默认监听http://localhost:8000。
配置代理
编辑代码或配置文件,将LLM的API地址指向vLLM服务:llm = ChatOpenAI(openai_api_base="http://localhost:8000/v1", openai_api_key="whatever", model_name="TableGPT2-7B")
本答案来源于文章《TableGPT Agent:专为分析复杂表格数据设计的智能工具》