AIRouter通过扩展API支持多模态输入和函数调用,具体操作如下:
- 多模态输入:
1. 图像需转换为Base64格式,例如:with open("image.jpg", "rb") as f: img_base64 = base64.b64encode(f.read()).decode()
2. 调用generate_mm
方法,指定支持多模态的模型(如GPT-4o):LLM_Wrapper.generate_mm(model_name="gpt4o_mini", prompt="描述图片", img_base64=img_base64)
- 函数调用:
1. 定义工具列表(如天气查询函数),包含名称、描述和参数。
2. 通过function_calling
方法触发,例如:LLM_Wrapper.function_calling(model_name="gpt4o_mini", prompt="北京天气", tools=tools)
注意:需确保所选模型支持对应功能(如GPT-4o支持多模态),否则会返回错误。
本答案来源于文章《AIRouter:统一API接口调用多模型的智能路由工具》