AIRouterは、APIを以下のように拡張することで、マルチモーダル入力と関数コールをサポートしている:
- マルチモーダル入力::
1.画像はBase64形式に変換する必要がある:with open("image.jpg", "rb") as f: img_base64 = base64.b64encode(f.read()).decode()
2.コールgenerate_mm
メソッドは、マルチモダリティをサポートするモデルを指定します(例:GPT-4o):LLM_Wrapper.generate_mm(model_name="gpt4o_mini", prompt="描述图片", img_base64=img_base64)
- 関数呼び出し::
1.ツールのリスト(例えば、気象クエリー関数)を名前、説明、パラメータとともに定義する。
2.採用function_calling
メソッドのトリガーなどである:LLM_Wrapper.function_calling(model_name="gpt4o_mini", prompt="北京天气", tools=tools)
銘記する選択した機種が対応する機能をサポートしていることを確認する必要があります(例:GPT-4oはマルチモーダル対応)。
この答えは記事から得たものである。AIRouter: 統一されたAPIインターフェースで複数のモデルを呼び出すためのスマート・ルーティング・ツールについて