AI Sheets: criação e processamento de conjuntos de dados usando modelos de IA em tabelas sem código

O AI Sheets é uma ferramenta de código aberto da Hugging Face. Os usuários podem criar, enriquecer e transformar conjuntos de dados com modelos de IA sem escrever código. Ele suporta a implantação local ou a execução no Hugging Face Hub. A ferramenta se conecta a milhares de modelos de código aberto no Hugging Face Hub e os acessa por meio de provedores de inferência. Os usuários também podem usar modelos locais, incluindo o gpt-oss da OpenAI. A interface é tão simples quanto uma planilha. Os usuários criam novas colunas escrevendo prompts e podem experimentar rapidamente com pequenos conjuntos de dados antes de expandir para grandes pipelines. A ferramenta enfatiza a iteração, com os usuários editando células ou validando resultados para ensinar o modelo. Em sua essência, ela usa IA para processar dados, desde a classificação até a geração de dados sintéticos. Ideal para testar modelos, aprimorar dicas e analisar conjuntos de dados. Exporta resultados para o Hub e também gera configurações para dimensionar a geração de dados.

Lista de funções

• Os conjuntos de dados são gerados do zero: insira descrições em linguagem natural e a IA cria automaticamente estruturas e linhas de amostra, por exemplo, gerando listas de cidades, incluindo países e imagens de pontos de referência.
• Importação e processamento de dados: faça upload de arquivos XLS, TSV, CSV ou Parquet, suporte para até 1.000 linhas, colunas ilimitadas, capacidade de editar e expandir dados.
• Adicionar colunas de IA: crie novas colunas com prompts como Extrair informações, Resumir texto, Traduzir conteúdo ou Ações personalizadas, fazendo referência a colunas existentes, como {{coluna}}.
• Seleção e troca de modelos: selecione um modelo e um provedor no Hugging Face Hub, por exemplo, meta-llama/Llama-3.3-70B-Instruct ou openai/gpt-oss-120b, para testar os diferentes desempenhos.
• Mecanismo de feedback: editar manualmente as células ou gostar de bons resultados, que são usados como exemplos de poucos disparos para melhorar o resultado quando regenerados.
• Interruptor de pesquisa na Web: quando ativado, o modelo obtém informações atualizadas da Web, por exemplo, para encontrar o código postal de um endereço; quando desativado, apenas o conhecimento do modelo é usado.
• Extensão de dados: arraste e solte colunas para gerar mais linhas sem regeneração; para corrigir erros ou adicionar dados.
• Export to Hub: salva o conjunto de dados e o arquivo YAML de configuração para reutilizar prompts ou gerar um conjunto de dados maior por meio de scripts.
• Comparação e avaliação de modelos: crie várias colunas para testar diferentes modelos e compare a qualidade dos resultados usando o LLM como coluna de avaliação.
• Geração de dados sintéticos: crie conjuntos de dados virtuais, como e-mails profissionais baseados em biografias.
• Conversão e limpeza de dados: remova a pontuação ou o texto padronizado com prompts.
• Classificação e análise de dados: categorização de conteúdo ou extração de ideias-chave.
• Enriquecimento de dados: complementa informações ausentes, como adicionar um código postal ou gerar uma descrição.
• Geração de imagens: crie colunas de imagens com modelos como black-forest-labs/FLUX.1-dev, com suporte a estilos específicos.

Usando a Ajuda

O uso do AI Sheets começa na inicialização. Os usuários têm duas maneiras de acessá-lo: avaliação on-line ou instalação local. A avaliação on-line não requer instalação. Acesse https://huggingface.co/spaces/aisheets/sheets. Faça login em sua conta do Hugging Face. Obtenha o HF_TOKEN em https://huggingface.co/settings/tokens. Quando a interface for exibida, escolha gerar um novo conjunto de dados ou importar dados existentes.

A geração de um conjunto de dados a partir do zero é adequada para a primeira familiarização com a ferramenta, brainstorming ou experimentos rápidos. Clique na opção Generate (Gerar). Insira uma descrição na área de prompt, como "Lista de cidades do mundo, incluindo o país e a imagem no estilo Ghibli de cada ponto de referência". O ai Sheets cria o esquema e 5 linhas de amostra. O resultado tem colunas como cidade, país e imagem. Arraste a parte inferior das colunas para gerar mais linhas, até 1000. Modifique o prompt para gerar novamente a estrutura. Insira células manualmente e arraste e solte para completar outras colunas.

A importação de um conjunto de dados é recomendada para a maioria das situações. O formato do arquivo de upload é XLS, TSV, CSV ou Parquet. O arquivo deve ter pelo menos um nome de coluna e uma linha de dados. Após o upload, os dados são exibidos em uma tabela. Adicione manualmente entradas a células vazias. A interface é como uma planilha e as células importadas podem ser editadas, mas não podem ser alteradas pelo AI.As células geradas pelo AI podem ser reproduzidas.

A adição de uma nova coluna é a operação principal. Clique no botão +. Selecione as ações recomendadas, como Extrair informações, Resumir texto, Traduzir ou prompts personalizados, como "Remover pontuação extra de {{texto}}". {{text}} faz referência a uma coluna existente. Configure o modelo, por exemplo, selecione meta-llama/Llama-3.3-70B-Instruct, com um provedor como o groq. Alterne Pesquisa: Habilite a extração de dados da Web, por exemplo, "Find postcode for {{address}}". Depois de gerar as colunas, visualize os resultados.

Refinar os conjuntos de dados por meio de feedback e configuração. Edite manualmente as células de IA para fornecer exemplos do resultado preferido. Toque em Bons resultados com um polegar para cima. Clique em regenerar para aplicar a todas as colunas. Ajuste os avisos, por exemplo, altere "Categoria {{texto}}" para uma versão mais específica. Troque os modelos para testar o desempenho, por exemplo, de groq Mudança de cerebras. Modelos diferentes são adequados para tarefas diferentes, como produção criativa ou estruturada. Os provedores afetam a velocidade e a duração do contexto.

Expanda os dados com o recurso de arrastar e soltar. Puxe para baixo a partir da última célula de uma coluna para gerar instantaneamente uma nova linha. Não é necessária regeneração. Esse método também é usado para corrigir células erradas.

Exportar para o Hub para salvar seu trabalho. Clique em Exportar. O conjunto de dados e o arquivo config.yml são gerados. O arquivo contém configurações de coluna, prompts e detalhes do modelo. O exemplo de configuração tem chaves de colunas que listam modelName, userPrompt, etc. para cada coluna. Depois de carregado, ele pode ser visualizado no Hub, por exemplo, em https://huggingface.co/datasets/dvilasuero/nemotron-personas-kimi-questions.

Gerar conjuntos de dados maiores com o HF Jobs. Comandos como: hf jobs uv run -s HF_TOKEN=$HF_TOKEN https://huggingface.co/datasets/aisheets/uv-scripts/raw/main/extend_dataset/script.py -config https://huggingface.co/datasets/dvilasuero/nemotron-personas-kimi-questions/raw/main/config.yml -num -rows 100 nvidia/Nemotron-Personas dvilasuero/nemotron-kimi-qa-distilled. especifique o número de linhas ou deixe-o em branco para gerar todas elas.

Instalação local do GitHub. clone https://github.com/huggingface/aisheets. configure o HF_TOKEN. com o Docker: export HF_TOKEN=your_token_here; docker run -p 3000:3000 -e HF_ TOKEN=$HF_TOKEN huggingface/sheets. visite http://localhost:3000. com pnpm: instalar pnpm, clonar repositório, exportar HF_TOKEN, pnpm install, pnpm dev. visite http:// localhost:5173. compilações de produção: pnpm build, pnpm serve.

Comece com um LLM personalizado, como o Ollama. Ollama server: export OLLAMA_NOHISTORY=1; ollama serve; ollama run llama3. set MODEL_ENDPOINT_URL=http://localhost:11434, MODEL_ENDPOINT_NAME=llama3 Execute o aplicativo. A personalização precisa estar em conformidade com a API da OpenAI. A geração de imagens é corrigida usando a API Hugging Face.

A configuração avançada usa variáveis de ambiente.OAUTH_CLIENT_ID para autenticação.DEFAULT_MODEL para alterar o modelo padrão.NUM_CONCURRENT_REQUESTS para controlar a simultaneidade, padrão 5.SERPER_API_KEY para ativar a pesquisa.DATA_DIR para definir o diretório de dados.

Exemplo de um procedimento operacional: testar o modelo. Importe o conjunto de dados com prompts. Adicione colunas como "Response: {{prompt}}" e selecione modelos diferentes. Adicione colunas de julgamento como "Evaluate {{prompt}} for response 1: {{model1}}, response 2: {{model2}}". Verifique manualmente ou use o LLM para otimização.

Conjunto de dados categorizado: carregue um conjunto de dados de texto. Adicione a coluna "Categorize os principais tópicos do {{texto}}". Editar resultados ruins, apontar bons resultados, gerar novamente.

Sintetizar dados: Gere a coluna de biografia da pessoa "Escreva uma breve descrição de um profissional em uma empresa farmacêutica". Adicione a coluna de e-mail "Escreva o e-mail profissional real de {{person_bio}}".

Análise: Adicionar a coluna "Extrair ideias-chave do {{texto}}".

Enriquecimento: adicione a coluna "Find postcode of {{address}}" para permitir a pesquisa.

Essas etapas facilitam o início das atividades dos usuários. A ferramenta enfatiza a experimentação e a iteração para garantir a qualidade dos dados.

cenário do aplicativo

1. Teste e comparação de modelos
   Os usuários querem experimentar o modelo mais recente em seus próprios dados. Importar conjunto de dados contendo perguntas. Criar várias colunas, cada uma respondida com um modelo diferente. Adicione colunas de julgamento para comparar a qualidade com o LLM. Ideal para os desenvolvedores selecionarem o melhor modelo.
2. Otimização de pistas
   Criar um aplicativo de resposta automática a solicitações de clientes. Carregar um conjunto de dados de solicitação de amostra. Iterar entre diferentes solicitações e modelos para gerar respostas. Edite as células para fornecer feedback e adicionar automaticamente exemplos de poucos disparos. Ideal para criar prompts eficientes.
3. Limpeza e conversão de dados
   As colunas do conjunto de dados têm texto disperso. Adicione novas colunas com avisos para remover a pontuação ou normalizar. Processamento rápido de grandes volumes de dados. Ideal para o pré-processamento de cientistas de dados.
4. Classificação de dados
   Categorize o conteúdo como no tópico da pergunta. Adicione colunas categorizadas com prompts. A validação e a regeneração manuais aumentam a precisão. Ideal para analisar conjuntos de dados do Hub.
5. Análise e extração de dados
   Extrair as ideias principais do texto. Adicione colunas para resumir ou extrair com avisos. Permitir a pesquisa para obter informações em tempo real. Ideal para projetos de pesquisa.
6. Riqueza de dados
   Adicionar itens ausentes, como endereço e código postal. Adicione colunas com dicas e ative a pesquisa na Web. Garante a precisão das adições. Adequado para conjuntos de dados completos.
7. Geração de dados sintéticos
   Preservação da privacidade de dados virtuais, como e-mails. Gerar colunas biográficas e gerar conteúdo com base nelas. Ideal para testes ou protótipos.

QA

1. Quais modelos são compatíveis com o AI Sheets?
   Os modelos de código aberto que suportam o Hugging Face Hub estão disponíveis por meio dos provedores de inferência, assim como os modelos locais, como gpt-oss ou um LLM personalizado que esteja em conformidade com a API do OpenAI.
2. Como gerar colunas de imagens?
   Use um prompt como "Generate an isometric icon for {{object_name}}", selecione um modelo de imagem como black-forest-labs/FLUX.1-dev. Corrigido com a API Hugging Face.
3. Como funciona o feedback?
   Editar células ou curtidas de IA. Eles se tornam exemplos de poucos disparos. Aplicar a colunas na regeneração.
4. Como faço para expandir depois de exportar?
   Execute HF Jobs com config.yml e um script. especifique o número de linhas para gerar um conjunto de dados maior.
5. É necessária uma assinatura?
   Teste gratuito on-line. Obtenha 20 vezes mais uso com a assinatura PRO para raciocínio local ou mais.
6. Qual é o limite de dados?
   Faça upload ou gere até 1.000 linhas. Colunas ilimitadas. Expanda ainda mais com o Jobs.
7. Como faço para ativar a pesquisa na Web?
   No botão de configuração da coluna, alterne a pesquisa. O modelo obtém as informações mais recentes.