Together：生成AIモデル学習プラットフォームを構築・実行するためのクラウドプラットフォーム

Together AIは、生成AIモデルに特化したプラットフォームであり、モデルの学習から微調整、推論に至るまで、あらゆるサービスを提供しています。ユーザーは、Together AIの非常に効率的な推論エンジンとGPUクラスターを活用して、さまざまなオープンソースモデルを迅速に展開し、実行することができます。このプラットフォームは、さまざまなAIアプリケーションの要件を満たすために、複数のモデル・アーキテクチャをサポートしています。

大型モデル・チャット・デモ・インターフェース

機能一覧

• 推論API100以上のオープンソースモデルの推論をサポートし、サーバーレスモデルと専用インスタンスモデルの両方を提供します。
• 微調整機能データの所有権を維持したまま、ユーザーが自分のデータを使って生成AIモデルを微調整できるようにする。
• GPUクラスタ16から1000以上のGPUからなる最先端のクラスタを提供し、大規模なモデルトレーニングをサポートします。
• カスタムモデルのトレーニング最先端のモデルをゼロからトレーニングし、複数のモデルアーキテクチャをサポートします。
• マルチモーダルモデル画像認識、画像推論、画像生成などをサポート。
• 効率的な推論エンジンFlashAttention-3やFlash-Decodingなどの最新の推論技術を統合し、高速で正確な推論サービスを提供します。

ヘルプの使用

インストールと使用

1. 登録とログイン：
   • Together AIのウェブサイト（https://www.together.ai/）にアクセスし、「Start Building」ボタンをクリックして登録する。
   • 登録が完了したら、アカウントにログインし、ユーザーコントロールパネルに移動します。
2. セレクト・サービス：
   • コントロールパネルで、推論API、微調整機能、GPUクラスタなど、使用するサービスモジュールを選択します。
   • 必要に応じてサーバーレスまたは専用インスタンスモードを選択する。
3. 推論APIの使用：
   • Llama-3、RedPajamaなど、実行するオープンソースモデルを選択します。
   • Together AI が提供する API インタフェースを通じて、モデルをアプリケーションに統合します。
   • Together AI の組み込みエンドポイントを使用して、独自の RAG アプリケーションを構築します。
4. 微調整機能：
   • データセットをアップロードし、微調整が必要なモデルを選択します。
   • 微調整パラメータを設定し、微調整プロセスを開始する。
   • 微調整が完了したら、微調整したモデルをダウンロードし、デプロイする。
5. GPUクラスタの使用状況：
   • 希望するGPUクラスタサイズを選択し、ハードウェアパラメータを設定します。
   • トレーニングデータとモデルコードをアップロードしてトレーニングを開始します。
   • 学習が完了すると、学習済みモデルは推論やさらなる微調整のためにダウンロードされる。
6. カスタムモデルのトレーニング：
   • カスタムモデルトレーニングモジュールを選択して、モデルアーキテクチャとトレーニングパラメータを設定します。
   • データセットをアップロードし、トレーニングプロセスを開始する。
   • トレーニングが完了すると、モデルは展開と推論のためにダウンロードされる。

ワークフロー

1. コントロールパネルへのアクセスログイン後、コントロールパネルで目的のサービスモジュールを選択します。
2. 設定パラメータ必要に応じて、推論、微調整、トレーニングパラメータを設定します。
3. データのアップロード必要なデータセットまたはモデルコードをアップロードします。
4. ミッション開始推論、微調整、トレーニングのタスクを開始し、タスクの進捗状況をリアルタイムで監視します。
5. ダウンロード結果タスク完了後、モデルや推論結果はアプリケーション統合のためにダウンロードされる。

一般的な問題

• 正しいモデルの選び方は？
  • テキスト生成、画像認識など、アプリケーションのシナリオに基づいて適切なオープンソースモデルを選択します。
• 微調整中にエラーが発生した場合は？
  • データセットのフォーマットとパラメーターの設定を確認し、公式ドキュメントを参照して調整してください。
• GPUクラスタ使用時のパフォーマンス低下？
  • ハードウェア構成が要件を満たしていることを確認し、トレーニングパラメータを調整して効率を向上させる。

使用可能モデル

使用例

モデル推論の例

import os
import requests

url = "https://api.together.xyz/v1/chat/completions"
payload = {
    "model": "mistralai/Mixtral-8x7B-Instruct-v0.1",
    "max_tokens": 512,
    "temperature": 0.7,
    "top_p": 0.7,
    "top_k": 50,
    "repetition_penalty": 1
}
headers = {
    "accept": "application/json",
    "content-type": "application/json",
    "Authorization": "Bearer TOGETHER_API_KEY"
}

response = requests.post(url, json=payload, headers=headers)
print(response.text)

モデルの微調整の例

import os
import requests

url = "https://api.together.xyz/v1/fine-tune"
payload = {
    "model": "togethercomputer/llama-2-70b-chat",
    "data": "path/to/your/data",
    "epochs": 3,
    "batch_size": 8
}
headers = {
    "accept": "application/json",
    "content-type": "application/json",
    "Authorization": "Bearer TOGETHER_API_KEY"
}

response = requests.post(url, json=payload, headers=headers)
print(response.text)