Together: uma plataforma em nuvem para criar e executar plataformas de treinamento de modelos de IA generativa

A Together AI é uma plataforma focada em modelos de IA generativos, fornecendo uma gama completa de serviços, desde o treinamento do modelo, o ajuste fino até a inferência. Os usuários podem aproveitar o mecanismo de inferência altamente eficiente do Together AI e os clusters de GPU para implementar e executar rapidamente uma variedade de modelos de código aberto. A plataforma oferece suporte a várias arquiteturas de modelos para atender a diferentes requisitos de aplicativos de IA.

Interface de demonstração de bate-papo de modelo grande

Lista de funções

• API de inferênciaSuporte ao raciocínio em mais de 100 modelos de código aberto e fornece modelos de instância dedicados e sem servidor.
• função de ajuste finoPermitir que os usuários façam o ajuste fino dos modelos de IA generativa usando seus próprios dados, mantendo a propriedade dos dados.
• Cluster de GPUFornece clusters de ponta de 16 a mais de 1.000 GPUs para dar suporte ao treinamento de modelos em grande escala.
• Treinamento de modelos personalizadosTreinamento de modelos de ponta a partir do zero e suporte a várias arquiteturas de modelos.
• modelo multimodalSuporte a reconhecimento de imagens, inferência de imagens, geração de imagens e muito mais.
• Mecanismo de inferência eficienteIntegração das mais recentes tecnologias de inferência, como FlashAttention-3 e Flash-Decoding, para fornecer serviços de inferência rápidos e precisos.

Usando a Ajuda

Instalação e uso

1. Registro e login：
   • Visite o site da Together AI (https://www.together.ai/) e clique no botão "Start Building" para se registrar.
   • Após a conclusão do registro, faça login na sua conta e acesse o Painel de controle do usuário.
2. Selecionar serviço：
   • No painel de controle, selecione o módulo de serviço que precisa usar, como a API de inferência, a função de ajuste fino ou o cluster de GPU.
   • Selecione o modo de instância dedicada ou sem servidor, conforme necessário.
3. Uso da API de inferência：
   • Selecione o modelo de código aberto que você precisa executar, como Llama-3, RedPajama, etc.
   • Integre o modelo em seu aplicativo por meio da interface API fornecida pela Together AI.
   • Crie seu próprio aplicativo RAG usando os pontos de extremidade incorporados do Together AI.
4. função de ajuste fino：
   • Carregue seu conjunto de dados e selecione os modelos que precisam ser ajustados.
   • Configure os parâmetros de ajuste fino para iniciar o processo de ajuste fino.
   • Quando o ajuste fino estiver concluído, faça o download do modelo ajustado e implemente-o.
5. Uso do cluster de GPU：
   • Selecione o tamanho do cluster de GPU desejado e configure os parâmetros de hardware.
   • Carregue os dados de treinamento e o código do modelo para iniciar o treinamento.
   • Após a conclusão do treinamento, o modelo treinado é baixado para inferência ou ajuste fino adicional.
6. Treinamento de modelos personalizados：
   • Selecione o módulo Custom Model Training para configurar a arquitetura do modelo e os parâmetros de treinamento.
   • Carregue o conjunto de dados e inicie o processo de treinamento.
   • Após a conclusão do treinamento, o modelo é baixado para implantação e inferência.

fluxo de trabalho

1. Acesso ao painel de controleApós fazer o login, acesse o painel de controle e selecione o módulo de serviço desejado.
2. Parâmetros de configuraçãoConfiguração de parâmetros de inferência, ajuste fino ou treinamento, conforme necessário.
3. Carregar dadosCarregar o conjunto de dados ou o código do modelo necessário.
4. Início da missãoIniciar tarefas de raciocínio, ajuste fino ou treinamento e monitorar o progresso da tarefa em tempo real.
5. Resultados do downloadApós a conclusão da tarefa, os resultados do modelo ou da inferência são baixados para integração com o aplicativo.

problemas comuns

• Como escolher o modelo certo?
  • Selecione o modelo de código aberto apropriado com base no cenário do aplicativo, como geração de texto, reconhecimento de imagem etc.
• E se eu encontrar um erro durante o ajuste fino?
  • Verifique o formato do conjunto de dados e as configurações dos parâmetros e consulte a documentação oficial para fazer ajustes.
• Desempenho insatisfatório durante o uso do cluster de GPU?
  • Confirme se a configuração do hardware atende aos requisitos e ajuste os parâmetros de treinamento para aumentar a eficiência.

modelo utilizável

exemplo de uso

Exemplos de raciocínio de modelo

import os
import requests

url = "https://api.together.xyz/v1/chat/completions"
payload = {
    "model": "mistralai/Mixtral-8x7B-Instruct-v0.1",
    "max_tokens": 512,
    "temperature": 0.7,
    "top_p": 0.7,
    "top_k": 50,
    "repetition_penalty": 1
}
headers = {
    "accept": "application/json",
    "content-type": "application/json",
    "Authorization": "Bearer TOGETHER_API_KEY"
}

response = requests.post(url, json=payload, headers=headers)
print(response.text)

Exemplo de ajuste fino do modelo

import os
import requests

url = "https://api.together.xyz/v1/fine-tune"
payload = {
    "model": "togethercomputer/llama-2-70b-chat",
    "data": "path/to/your/data",
    "epochs": 3,
    "batch_size": 8
}
headers = {
    "accept": "application/json",
    "content-type": "application/json",
    "Authorization": "Bearer TOGETHER_API_KEY"
}

response = requests.post(url, json=payload, headers=headers)
print(response.text)