Groq総論
カリフォルニア州マウンテンビューに本社を置くGroq社は、GroqChip™とLanguage Processing Unit™（LPU）を開発した。低レイテンシーのAIアプリケーション向けに開発されたテンソル処理ユニットで知られる。
Groqは2016年に設立され、その名前は同年に正式に商標登録された。Groqの主要製品は言語処理ユニット（LPU）であり、AIモデルを訓練するためではなく、それらを迅速に実行するために設計された新しいクラスのチップである。GroqのLPUシステムは、新世代のAIアクセラレーションを先導し、シーケンシャルデータ（例えば、DNA、音楽、コード、）自然言語）を処理し、GPUを凌駕するように設計されています。
Groqは、PyTorch、TensorFlow、ONNXなどの標準的な機械学習フレームワークをサポートしている。Groqは、PyTorch、TensorFlow、ONNXなどの標準的な機械学習フレームワークをサポートしている。これに加えて、Groq Compilerなどのワークロードのカスタム開発や最適化のためのツールを含むGroqWare™スイートも提供している。
Groq 機能リスト
- リアルタイムAIアプリケーション処理
- 標準的な機械学習フレームワークをサポート
- SaaSおよびPaaSの軽量ハードウェアのサポート
- 高速で正確なAIパフォーマンスを提供
- カスタム最適化ワークロードのためのGroqWare™スイート
- 正確でエネルギー効率に優れ、再現可能な大規模推論性能を確保
Groq ヘルプ
- 開発者はGroqCloud上のPlaygroundを通じて開発者アクセスをセルフサービスできる
- 現在OpenAI APIを使用している場合、Groqに変換するために必要なのは、Groq APIキー、エンドポイント、モデルの3つだけです。
- データセンター・スケールで最速の推論が必要なら、私たちはこう話すべきです。
できる。ここをクリックAPIKEYを無料で申し込み、申し込み完了後に機種を選択する：
Chat Completion
| ID | Requests per Minute | Requests per Day | Tokens per Minute | Tokens per Day |
|---|---|---|---|---|
| gemma-7b-it | 30 | 14,400 | 15,000 | 500,000 |
| gemma2-9b-it | 30 | 14,400 | 15,000 | 500,000 |
| llama-3.1-70b-versatile | 30 | 14,400 | 20,000 | 500,000 |
| llama-3.1-8b-instant | 30 | 14,400 | 20,000 | 500,000 |
| llama-3.2-11b-text-preview | 30 | 7,000 | 7,000 | 500,000 |
| llama-3.2-1b-preview | 30 | 7,000 | 7,000 | 500,000 |
| llama-3.2-3b-preview | 30 | 7,000 | 7,000 | 500,000 |
| llama-3.2-90b-text-preview | 30 | 7,000 | 7,000 | 500,000 |
| llama-guard-3-8b | 30 | 14,400 | 15,000 | 500,000 |
| llama3-70b-8192 | 30 | 14,400 | 6,000 | 500,000 |
| llama3-8b-8192 | 30 | 14,400 | 30,000 | 500,000 |
| llama3-groq-70b-8192-tool-use-preview | 30 | 14,400 | 15,000 | 500,000 |
| llama3-groq-8b-8192-tool-use-preview | 30 | 14,400 | 15,000 | 500,000 |
| llava-v1.5-7b-4096-preview | 30 | 14,400 | 30,000 |
(No limit)
|
| mixtral-8x7b-32768 | 30 | 14,400 | 5,000 | 500,000 |
Speech To Text
| ID | Requests per Minute | Requests per Day | Audio Seconds per Hour | Audio Seconds per Day |
|---|---|---|---|---|
| distil-whisper-large-v3-en | 20 | 2,000 | 7,200 | 28,800 |
| whisper-large-v3 | 20 | 2,000 | 7,200 | 28,800 |
次にcurl形式を例にとると、このインターフェイスはOPENAIのインターフェイス形式と互換性があるので、Groqを利用するだけでなく、OPENAI APIをカスタマイズできるインターフェイスがあれば、想像力を働かせてください。
curl -X POST “https://api.groq.com/openai/v1/chat/completions” \
-H “Authorization: Bearer $GROQ_API_KEY” \
-H “Content-Type: application/json” \
-d ‘{“messages”: [{“role”: “user”, “content”: “Explain the importance of low latency LLMs”}], “model”: “mixtral-8x7b-32768”}’
