インストールの準備
- 安装Python 3.8或更高版本
- 安装Git工具用于克隆仓库
- 安装vLLM(建议0.5.5版本)以支持高效的模型推理
詳細なインストール手順
- GitHubリポジトリのクローン:
git clone https://github.com/tablegpt/tablegpt-agent.git
cd tablegpt-agent - 依存パッケージをインストールします:
pip install -r requirements.txt
- 如需完整功能,安装额外依赖:
pip install ".[local]"
モデル展開
需要从Hugging Face下载TableGPT2模型(如TableGPT2-7B),然后使用vLLM启动服务:python -m vllm.entrypoints.openai.api_server --served-model-name TableGPT2-7B --model path/to/weights
服务将默认监听http://localhost:8000。
エージェントの設定
编辑代码或配置文件,将LLM的API地址指向vLLM服务:llm = ChatOpenAI(openai_api_base="http://localhost:8000/v1", openai_api_key="whatever", model_name="TableGPT2-7B")
この答えは記事から得たものである。TableGPTエージェント:複雑な表形式データを分析するために設計されたインテリジェントツールについて