O projeto GraphRAG tem como objetivo explorar as relações implícitas em textos não estruturados para ampliar a gama de perguntas que os sistemas de IA podem responder em conjuntos de dados privados.
Uma das principais vantagens do GraphRAG em relação ao RAG vetorial tradicional (ou "pesquisa semântica") é sua capacidade de responder a perguntas sobre todo o conjunto de dados. pesquisa globalPor exemplo, "Quais são os principais temas nos dados?" ou "Quais são os impactos mais importantes em X?" ou "Quais são as implicações mais importantes para X?" . Por outro lado, os vetores RAG mais especialista em pesquisa localIsso significa que a resposta é semelhante à consulta e pode ser encontrada em uma área de texto específica, geralmente para perguntas como "quem", "o quê", "quando" e "onde". Perguntas "onde".
Em artigos recentes, foram apresentados dois novos mecanismos de consulta que aproveitam o índice de dados rico e baseado em resumos criado pelo GraphRAG para melhorar o desempenho da pesquisa local e o custo da pesquisa global, respectivamente.
Neste artigo, apresentamos uma nova abordagem RAG aprimorada por gráficos, a LazyGraphRAG, que elimina a necessidade de resumir previamente os dados de origem e evita custos iniciais de indexação que podem ser inacessíveis para alguns usuários e casos de uso.
A principal vantagem do LazyGraphRAG é sua escalabilidade em termos de custo e qualidade. Entre uma série de abordagens concorrentes (incluindo o vetor padrão RAG, RAPTOR, busca local GraphRAG, busca global e mecanismos de busca DRIFT), o LazyGraphRAG se destaca na faixa de custo-qualidade:
- Os custos de indexação de dados do LazyGraphRAG são os mesmos dos RAGs vetoriais, com 0,1% do custo de um GraphRAG completo.
- Com um custo de consulta comparável ao dos RAGs vetoriais, o LazyGraphRAG supera todos os métodos concorrentes para consultas localizadas, inclusive os RAGs vetoriais de contexto longo e as pesquisas GraphRAG DRIFT (um método RAG introduzido recentemente que supera os RAGs vetoriais), bem como as pesquisas localizadas GraphRAG.
- A mesma configuração do LazyGraphRAG também mostra uma qualidade de resposta comparável à da pesquisa global do GraphRAG em termos de consultas globais, mas os custos das consultasReduzido em mais de 700 vezes。
- Custo de consulta para pesquisar 4% globalmente com GraphRAG, LazyGraphRAG em tipos de consulta locais e globaisSupera significativamente o desempenho de todos os métodos concorrentesA pesquisa global do GraphRAG inclui um nível C2 (o terceiro nível da hierarquia da comunidade recomendado para a maioria dos aplicativos).
Em breve, o LazyGraphRAG se juntará à biblioteca GraphRAG de código aberto para fornecer uma interface de consulta unificada para consultas locais e globais em índices de dados leves a um custo comparável ao dos RAGs vetoriais padrão.
LazyGraphRAG: combinando as vantagens do Vector RAG e do GraphRAG
O LazyGraphRAG tem como objetivo combinar as vantagens do Vector RAG e do GraphRAG e, ao mesmo tempo, superar suas respectivas limitações:
- O vetor RAG é um melhor pesquisa em primeiro lugarque usa a similaridade com a consulta para selecionar o bloco mais correspondente do texto de origem. No entanto, ele não considera a amplitude do conjunto de dados para a consulta global.
- A pesquisa global do GraphRAG é uma pesquisa de amplitude em primeiro lugarO sistema usa a estrutura da comunidade da entidade de texto de origem para garantir que a consulta seja respondida levando em conta a amplitude completa do conjunto de dados. Entretanto, ele não considera a comunidade ideal para consultas localizadas.
O LazyGraphRAG combina as dinâmicas de pesquisa best-first e breadth-first em uma maneira iterativa de aprofundamento (Tabela 1). Essa abordagem é "inerte" em comparação com o mecanismo de pesquisa global do GraphRAG completo, que atrasa o uso do LLM e melhora significativamente a eficiência da geração de respostas. O desempenho geral pode ser medido por um parâmetro principal - oOrçamento para testes de relevância- Para expandir, o parâmetro controla a compensação de custo-qualidade de maneira consistente.
| GraphRAG | LazyGraphRAG | |
|---|---|---|
| Criação de um índice | a) usar o LLM para extrair e descrever entidades e seus relacionamentos; b) usar o LLM para resumir todas as observações de cada entidade e relacionamento; e c) usar estatísticas de gráficos para otimizar os gráficos de entidades e extrair estruturas de comunidades hierárquicas. | a) usando a extração de frases nominais da PNL para extrair conceitos e suas coocorrências, b) usando estatísticas de gráficos para otimizar mapas de conceitos e extrair estruturas de comunidades hierárquicas |
| Índice de resumo | Use o LLM para resumir as entidades e os relacionamentos em cada comunidade | Nenhum - o método "inert" adia todo o uso do LLM até o momento da consulta |
| Refinamento da pesquisa | Nenhum - sempre use a consulta original | Use o LLM para a) identificar subconsultas relacionadas e recombiná-las em uma consulta estendida e b) refinar as subconsultas usando os conceitos correspondentes dos gráficos conceituais |
| Consultas de correspondência | Nenhum - todas as consultas são respondidas usando todos os resumos da comunidade (amplitude primeiro） | Para cada q Subconsultas [3-5]: - Usar a incorporação de blocos de texto e as relações de comunidade de blocos para classificar primeiro os blocos de texto por sua semelhança com a consulta e, em seguida, por sua maior parte.k A classificação dos blocos de texto classifica a comunidade (melhor prioridade) - Usar um avaliador de relevância em nível de frase baseado em LLM para avaliar a relevância das comunidades mais bem classificadas nas comunidades mais bem classificadas.k A relevância dos blocos de texto não testados foi pontuada (amplitude primeiro) - em z Uma comunidade contígua gera zero blocos de texto relevantes e, em seguida, recorre à subcomunidade relevante (Aprofundamento iterativoQuando não houver comunidades relevantes remanescentes ou em alcance Orçamento para testes de relevância/q expiram à meia-noite |
| Mapeamento de respostas | Uso do LLM para responder a consultas brutas processando lotes aleatórios de resumos de comunidades em paralelo | Para cada q Subconsultas [3-5]: - Construir subgráficos conceituais a partir de blocos de texto relacionados - Agrupar blocos relacionados usando a atribuição de conceitos à comunidade - Extrair declarações relevantes para a subconsulta do grupo de blocos relacionados usando o LLM como uma forma de se concentrar apenas no conteúdo relevante - Classificar e filtrar as declarações extraídas Classificação e filtragem das declarações extraídas para que se ajustem a um tamanho de janela de contexto predefinido |
| Respostas reduzidas | Uso do LLM para responder à consulta original usando respostas mapeadas | Uso do LLM para responder a consultas estendidas usando instruções de mapeamento extraídas |
LazyGraphRAG: Como funciona em detalhes
Em resumo, a ideia central do LazyGraphRAG é "construir sob demanda, verificar à medida que avança".
- Construção e abstração de índices (sob demanda)Em vez de índices completos pré-construídos, o LazyGraphRAG utiliza técnicas de processamento de linguagem natural (NLP) para extrair dinamicamente os principais conceitos e as relações entre eles à medida que as consultas são recebidas. Essas informações são então organizadas em uma estrutura de gráfico e esse gráfico é continuamente otimizado e refinado à medida que a consulta avança.
- Otimização de consultas e recuperação de conteúdoLazyGraphRAG usa técnicas como a incorporação de pedaços de texto para otimizar as consultas em tempo real e identificar as partes mais relevantes dos dados analisando as associações entre os conceitos.
- Geração e integração de respostasSubgráficos: O sistema constrói subgráficos menores a partir de fragmentos de texto relevantes e os integra em respostas que são coerentes, precisas e correspondem à consulta.
Desempenho do LazyGraphRAG: os números falam por si!
Depois de testar o LazyGraphRAG em diferentes níveis de orçamentos de teste de correlação e em comparação com uma série de métodos concorrentes, foram obtidos os seguintes resultados:
- conjunto de dados:: 5.590 artigos de notícias da Associated Press (usados com permissão)
- consultar (um documento etc.)100 consultas sintéticas (50 locais e 50 globais), geradas usando uma nova metodologia (a ser apresentada em um artigo futuro)
- norma: abrangência, diversidade, capacitação (por exemplo, aaqui (literário)(Conforme descrito, use o LLM para comparar cada par de respostas positivas em cada indicador)
- pré-requisitoInclui o LazyGraphRAG com três configurações de orçamento de teste de correlação e oito condições concorrentes do GraphRAG e da literatura (Tabela 2).
| pré-requisito | descrições |
|---|---|
| Z100_Lite | LazyGraphRAG, com um orçamento de teste de correlação de 100, e usando modelos LLM de baixo custo em todas as etapas |
| Z500 | LazyGraphRAG, orçamento de teste de relevância de 500, teste de relevância usando LLMs de baixo custo, refinamento de consultas e mapeamento/geração de respostas reduzidas usando LLMs mais avançados (custo mais alto) |
| Z1500 | LazyGraphRAG, orçamento de teste de relevância de 1.500, teste de relevância usando LLMs de baixo custo, refinamento de consultas e mapeamento/geração de respostas reduzidas usando LLMs mais avançados (custo mais alto) |
| C1 | Pesquisa global do GraphRAG em nível de comunidade 1 |
| C2 | Pesquisa global do GraphRAG em nível de comunidade 2 |
| C3_Dynamic | Pesquisa global do GraphRAG no nível 3 da comunidade, usando a seleção dinâmica da comunidade (noPublicações anteriores(Soluções de economia de custos descritas em) |
| LS | GraphRAG Pesquisa local |
| DRIFT | Pesquisa GraphRAG DRIFT |
| SS_8K | Pesquisa semântica, recuperação de vetor RAG de 8 mil tokens de entrada |
| SS_64K | Pesquisa semântica, o vetor RAG recupera 64 mil tokens de entrada (para verificar o efeito de janelas de contexto longas no vetor RAG) |
| RAPTOR | Um método RAG baseado em agrupamento hierárquico com alguns recursos semelhantes ao LazyGraphRAG |
A Figura 1 mostra a taxa de vitória do LazyGraphRAG em relação às oito condições concorrentes. No nível de orçamento mais baixo de 100 testes de correlação usando um modelo LLM de baixo custo (o mesmo custo do SS_8K), o LazyGraphRAG supera significativamente todas as condições para consultas locais e globais, exceto a condição de pesquisa global do GraphRAG para consultas globais. Ao aumentar o orçamento em 500 testes de correlação usando o modelo LLM mais avançado (4% para o custo de consulta C2), o LazyGraphRAG supera significativamente todas as condições para consultas locais e globais. A taxa de vitória do LazyGraphRAG continua a aumentar à medida que o orçamento para testes de correlação é aumentado para 1.500, demonstrando sua escalabilidade em termos de custo e qualidade.
Figura 1. Gráficos de barras agrupados mostrando a taxa de vitória do LazyGraphRAG em relação às condições competitivas para cada combinação de consultas (locais, globais) e métricas (abrangência, diversidade, capacitação) para um orçamento de teste de relevância de (100, 500, 1.500)
A Tabela 3 mostra um exemplo de comparação.
PERGUNTA: Descreva quais fatores as pessoas dos EUA devem considerar ao escolher um plano de saúde durante o período de inscrição aberta para planos de saúde em 2024.
| Vetor RAG (64 mil contextos) | LazyGraphRAG |
|---|---|
| # Factors to Consider When Selecting a Health Insurance Plan During Open Enrollment for 2024
Selecting a health insurance plan during the open enrollment period can be a complex process, but understanding the key factors to consider can help individuals make informed decisions. Here are some important aspects to keep in mind: ## Coverage and Networks One of the primary considerations is the coverage network of the plan. Insurers form coverage networks of hospitals and doctors, and it is crucial to ensure that your preferred healthcare providers are included in the network of the plan you are considering. Many marketplace plans, such as Health Maintenance Organizations (HMOs) and Exclusive Provider Organizations (EPOs), do not cover claims for most non-emergency care outside their networks [Data: Sources (47419, 47421, 47420, 47410, 47408)]. ## Costs: Premiums, Deductibles, and Out-of-Pocket Maximums Understanding the costs associated with a health insurance plan is essential. This includes the monthly premiums, deductibles, copays, and coinsurance. Plans are typically categorized into different levels such as platinum, gold, silver, and bronze, with bronze plans generally having lower premiums but higher out-of-pocket costs [Data: Sources (47411, 47412, 47416, 47414, 47418)]. Additionally, it is important to consider the out-of-pocket maximum, which is the most you will have to pay in a year for covered services before the insurance starts covering all costs [Data: Sources (47416, 47415)]. ## Tax Credits and Cost-Sharing Reductions Individuals with lower incomes may qualify for income-based tax credits to help reduce the cost of premiums. It is important to accurately estimate your income for the coming year when applying for these credits to avoid having to repay any excess credits received [Data: Sources (47412, 47413)]. Additionally, those with incomes below 250% of the federal poverty level may qualify for cost-sharing reductions if they select a silver plan, which can lower deductibles and out-of-pocket maximums [Data: Sources (47417, 47418)]. ## Special Considerations for Medicaid and Medicare For those transitioning from Medicaid, it is important to understand that marketplace plans may come with higher premiums and copays compared to Medicaid. Additionally, many people who have been removed from Medicaid may be eligible to enroll in marketplace plans through an extended enrollment period [Data: Sources (6284, 6285, 6286, 6287)]. For seniors, the Medicare open enrollment period allows for switching between traditional Medicare and Medicare Advantage plans, with considerations for prescription drug coverage and additional benefits like dental and vision [Data: Sources (72060, 72061, 72062, 72063, 72064)]. ## Assistance and Resources Navigating the complexities of health insurance can be challenging, and seeking assistance from insurance agents or government-funded navigators can be beneficial. These professionals can help individuals understand their options and make informed decisions without recommending specific plans [Data: Sources (47424, 47425, 47426)]. ## Conclusion Selecting the right health insurance plan requires careful consideration of various factors including coverage networks, costs, eligibility for tax credits and cost-sharing reductions, and available assistance. By thoroughly evaluating these aspects, individuals can choose a plan that best meets their healthcare needs and financial situation for the upcoming year. |
### Types of Health Insurance Plans
When selecting a health insurance plan during the open enrollment period for 2024, individuals in the United States have several options to consider: 1. **Marketplace Plans**: These are available under the Affordable Care Act (ACA) and are categorized into platinum, gold, silver, and bronze levels. Bronze plans generally have lower premiums but higher out-of-pocket costs, while platinum plans have higher premiums but lower out-of-pocket costs [Data: Sources (47411, 47420, 47421)]. 2. **Low-Cost Marketplace Plans**: These often come with high deductibles, requiring patients to pay thousands of dollars before most coverage kicks in. They also have annual out-of-pocket maximums that can exceed $9,000 for individuals and $18,000 for families [Data: Sources (47415, 47416, 47414)]. 3. **Exclusive Provider Organizations (EPOs) and Health Maintenance Organizations (HMOs)**: EPOs and HMOs generally restrict patients to a network of doctors and require a primary care doctor to direct care. They tend to be cheaper but lack out-of-network flexibility [Data: Sources (47420, 47421, 43218, 43217)]. 4. **Preferred Provider Organizations (PPOs)**: These plans allow for out-of-network services but at a higher cost. They offer more flexibility compared to HMOs and EPOs [Data: Sources (43217)]. 5. **High-Deductible Health Plans (HDHPs)**: Defined as plans with a deductible of at least $1,600 for individual coverage or $3,200 for family coverage, with out-of-pocket maximums of no more than $8,050 or $16,100, respectively. HDHPs usually have lower premiums, and sometimes companies contribute to a health savings account (HSA) to help cover the deductible [Data: Sources (43227, 43226)]. 6. **Medicare Advantage**: São versões privadas do programa Medicare do governo federal, principalmente para pessoas com 65 anos ou mais. Geralmente incluem cobertura de medicamentos prescritos e podem oferecer benefícios adicionais, como cobertura odontológica ou de visão, não fornecidos pelo Medicare tradicional. Medicare [Dados: Fontes (72063, 72061, 72060, 72062)]. 7. **Short-Term Health Insurance Plans**: These plans are limited to three months and can only be renewed for a maximum of four months under new rules. They are intended for temporary coverage but often lack comprehensive benefits [Data: Sources (97999, 97995, 97996, 97997)]. ### Cost Factors: Premiums, Deductibles, Co-pays, and Out-of-Pocket Maximums The overall cost of health insurance plans in 2024 is influenced by several factors: - Prêmios**: Esse é o custo mensal definido que você paga pelo seu plano de saúde. Os prêmios têm aumentado, com um aumento notável de 7% para planos familiares e individuais em 2023, em parte devido à inflação [Dados: Fontes (83383, 83382, 83384, 83385, 83381, +mais)]. - Franquia**: O valor que você paga do próprio bolso pelos serviços de saúde antes de o seguro começar a pagar. Para HDHPs, a franquia é de pelo menos $1.600 para cobertura individual ou $3.200 para cobertura familiar [Dados: Fontes (43226)]. A franquia é de pelo menos $1.600 para cobertura individual ou $3.200 para cobertura familiar [Dados: Fontes (43226, 43225)]. - Co-pagamentos e co-seguro**: São os custos que você paga toda vez que recebe um serviço médico. Os co-pagamentos são valores fixos, enquanto o co-seguro é uma porcentagem do custo do serviço. Os co-pagamentos são valores fixos, enquanto o co-seguro é uma porcentagem do custo do serviço. - Máximos de desembolso**: Esse é o valor máximo que você pagará pelos serviços cobertos em um ano. Por exemplo, os HDHPs têm máximos de desembolso de de desembolso não superior a $8.050 para cobertura individual ou $16.100 para cobertura familiar [Dados: Fontes (43227, 43226)]. ### Provider Networks: In-Network vs. Out-of-Network The network of healthcare providers is a crucial factor in selecting a health insurance plan: - Prestadores dentro da rede**: são médicos e hospitais que têm acordos com seu plano de seguro para prestar serviços a preços mais baixos. Garantir que seus médicos e especialistas preferidos estejam dentro da rede pode lhe poupar custos significativos [Dados: Fontes (43216, 47419)]. - Prestadores fora da rede**: Os serviços prestados por esses prestadores geralmente são mais caros e podem não ter cobertura alguma, exceto em casos de emergência. Os planos PPO oferecem alguma cobertura fora da rede, mas a um custo mais alto, enquanto os HMOs e EPOs geralmente não cobrem atendimento não emergencial fora da rede [Dados: Fontes (432121, 47421)]. Os planos PPO oferecem alguma cobertura fora da rede, mas a um custo mais alto, enquanto os HMOs e EPOs geralmente não cobrem atendimento não emergencial fora da rede [Dados: Fontes (43217, 47421)]. ### Specific Medical Needs and Services When selecting a health insurance plan, individuals should consider their specific medical needs: - Medicamentos prescritos**: Certifique-se de que seus medicamentos estejam cobertos pelo formulário do plano, pois a cobertura de medicamentos pode mudar anualmente Certifique-se de que seus medicamentos estejam cobertos pelo formulário do plano, pois a cobertura de medicamentos pode mudar anualmente [Dados: Fontes (43220, 43218, 43219)]. - Serviços de saúde mental**: A cobertura para tratamentos de saúde mental é essencial, especialmente com as novas regras que pressionam as seguradoras a aumentar a cobertura desses serviços [Dados: Fontes (97031, 97028, 97027, 97030, 97033, +mais]. A cobertura para tratamentos de saúde mental é essencial, especialmente com as novas regras que pressionam as seguradoras a aumentar a cobertura desses serviços [Dados: Fontes (97031, 97028, 97027, 97030, 97033, +mais)]. - Condições crônicas**: Os planos devem cobrir tratamentos e medicamentos contínuos para condições crônicas. O Seguro Suplementar do Medicare (Medigap) pode ajudar a cobrir lacunas no Medicare para o gerenciamento de doenças crônicas [Dados: Fontes (93367) 93368]. (Medigap) pode ajudar a cobrir lacunas no Medicare para o gerenciamento de doenças crônicas [Dados: Fontes (93367, 93368)]. - Cuidados preventivos**: a cobertura de serviços preventivos, como exames de câncer e prevenção de HIV, é obrigatória de acordo com a ACA, embora seu seu futuro seja incerto devido a batalhas legais em andamento [Dados: Fontes (71106, 71109, 71098, 71099, 71100, +mais)]. ### Key Dates and Steps for Open Enrollment The open enrollment period for 2024 health insurance plans involves several key dates and steps: - Planos de mercado**: A inscrição aberta começa em 1º de novembro de 2023 e vai até meados de dezembro na maioria dos estados, terminando em 16 de janeiro de 2024 [Dados: Fontes (47419, 47411, 47416, 47421, 47409, +mais)]. 2024 [Dados: Fontes (47419, 47411, 47416, 47421, 47409, +mais)]. - Medicare**: As inscrições abertas para o Medicare vão de 15 de outubro de 2023 a 7 de dezembro de 2023. Durante esse período, os indivíduos podem escolher entre o Medicare tradicional, os planos Medicare Advantage e os planos de medicamentos prescritos [Dados: Fontes (72061, 72063, 72060, 72062)]. Durante esse período, os indivíduos podem escolher entre o Medicare tradicional, os planos Medicare Advantage e os planos de medicamentos com prescrição médica [Dados: Fontes (72061, 72063, 72060, 72062)]. - Períodos especiais de inscrição**: Os indivíduos que perderem a cobertura devido a eventos da vida, como perda de emprego ou mudança, podem se qualificar para períodos especiais de inscrição. Por exemplo, as pessoas removidas do Medicaid podem se inscrever nos planos do mercado até julho de 2024 [Dados: Fontes (6288, 6289)]. By considering these factors, individuals can make informed decisions about their health insurance coverage for 2024, ensuring they select plans that best meet their medical needs and financial situations. |
O LazyGraphRAG demonstra que um mecanismo de consulta único e flexível tem o potencial de superar significativamente uma variedade de mecanismos de consulta dedicados no intervalo de consulta local-global, sem os custos iniciais da compactação de dados LLM. Sua indexação rápida e praticamente gratuita torna o LazyGraphRAG ideal para consultas pontuais, análises exploratórias e casos de uso de dados de streaming, enquanto sua capacidade de melhorar suavemente a qualidade da resposta à medida que o orçamento para testes de correlação aumenta o torna uma ferramenta inestimável para comparar métodos RAG (por exemplo, "o método RAG X supera o orçamento Y na tarefa Z"). LazyGraphRAG").
Isso significa que todos os RAGs de aprimoramento gráfico devem ser inertes? Na verdade, não, por três motivos:
- A indexação de dados do GraphRAG para resumos de entidades, relacionamentos e comunidades tem usos que vão além das perguntas e respostas (por exemplo, leitura e compartilhamento de relatórios).
- A indexação de dados do GraphRAG de resumos de entidades, relacionamentos e comunidades, combinada com um mecanismo de pesquisa do tipo LazyGraphRAG, pode produzir melhores resultados do que o LazyGraphRAG sozinho.
- Um novo tipo de indexação de dados GraphRAG projetado para dar suporte a um mecanismo de pesquisa semelhante ao LazyGraphRAG (por exemplo, por meio de declarações preemptivas e extração de tópicos) pode produzir os melhores resultados.
Estaremos explorando essas direções por algum tempo, e todo o progresso (incluindo o próprio LazyGraphRAG) será feito por meio do Repositório do GraphRAG no GitHub Postado.
