Fake News Detector: uma ferramenta automatizada de detecção de notícias falsas baseada em IA e busca de evidências

O Fake News Detector é um sistema automatizado de detecção de notícias falsas baseado na verificação de fatos. Ele usa técnicas de inteligência artificial, em especial modelos de linguagem grandes (LLMs) e modelos avançados de incorporação, para analisar a veracidade dos textos de notícias. Seu fluxo de trabalho principal é primeiro identificar e extrair automaticamente as principais ideias ou declarações que precisam ser verificadas a partir do conteúdo de notícias inserido pelo usuário. Em seguida, o sistema usa um mecanismo de pesquisa para acessar a Internet e encontrar informações relevantes sobre evidências. Comparando e analisando a declaração da notícia e as evidências pesquisadas, o sistema acabará por emitir um julgamento sobre a veracidade da notícia, como "correta", "errada" ou "parcialmente correta", e O sistema finalmente emitirá um parecer sobre a veracidade da notícia, como "correto", "errado" ou "parcialmente correto", e mostrará a base do processo de julgamento e raciocínio. Todo o sistema é operado por meio de uma interface visual da Web, permitindo que o usuário veja intuitivamente o progresso da verificação em cada etapa.

Lista de funções

• Extração automática de declarações básicasIdentificação: identifica e extrai automaticamente as declarações factuais centrais mais críticas que precisam ser verificadas em textos de notícias complexos.
• Pesquisa na Web em tempo real: O sistema está conectado ao mecanismo de busca DuckDuckGo, que é capaz de pesquisar na Internet em tempo real artigos, relatórios etc. relevantes como material de apoio com base nas declarações centrais extraídas.
• Análise de correspondência semânticaDescrição: o modelo de incorporação BGE-M3 foi usado para calcular correlações semânticas entre declarações de notícias e evidências da Web, garantindo que as evidências encontradas fossem altamente relevantes para o conteúdo do ponto de vista a ser verificado.
• Processamento de evidências de textos longosQuando o material comprobatório pesquisado é muito longo, o sistema o divide automaticamente em parágrafos menores e filtra as evidências que são mais relevantes para a declaração principal.
• Verificação confiável de fatosCom base nas evidências encontradas, o sistema faz um julgamento abrangente e fornece uma conclusão de verificação de "correto", "incorreto" ou "parcialmente correto", explicando o processo de raciocínio que levou à conclusão.
• Visualização da interface do operadorCriamos uma interface da Web de fácil utilização por meio do Streamlit, que permite que os usuários vejam cada etapa do processo em tempo real, desde a extração de declarações, passando pela pesquisa de evidências, até o julgamento final.

Usando a Ajuda

A ferramenta é um aplicativo que precisa ser implantado pelo usuário em seu próprio computador. Ela não tem um site que possa ser acessado diretamente, portanto, é necessário algum conhecimento básico de programação para concluir a instalação e o lançamento.

preparação preliminar

Antes de iniciar a instalação, é necessário certificar-se de que o computador atenda às seguintes condições:

1. Instalação do PythonSeu computador precisa ter a versão 3.12 do Python instalada. Você pode encontrar e baixar o instalador no site do Python.
2. Modelagem de linguagem grande (LLM)Você precisa de um modelo de linguagem grande que possa ser implantado localmente, por exemploQwen2.5ou qualquer outro modelo compatível com a interface da API da OpenAI. Esse é o núcleo da análise e do julgamento que orienta todo o sistema.
3. Modelos de incorporaçãoVocê precisará prepararBGE-M3O modelo de incorporação, baixado da Web e implantado localmente ou chamado remotamente por meio de uma API. Esse modelo é usado principalmente para analisar a similaridade entre textos.

Etapas de instalação

1. Repositório de código clone
   Primeiro, você precisa fazer o download do código-fonte do projeto do GitHub para o seu computador usando a ferramenta Git. Abra o Terminal do seu computador (Prompt de Comando ou PowerShell no Windows, Terminal no macOS ou Linux) e digite o seguinte comando:

   git clone https://github.com/CaptainYifei/fake-news-detector.git
   

   Após a execução do comando, o código será baixado em um arquivo chamadofake-news-detectorda pasta. Em seguida, vá para essa pasta:

   cd fake-news-detector
   

2. Instalação de bibliotecas dependentes
   A execução do projeto depende de várias bibliotecas Python de terceiros, que estão documentadas na seçãorequirements.txtno arquivo. Você pode usar opipA ferramenta instala todas as bibliotecas necessárias em um clique. Execute o seguinte comando no terminal:

   pip install -r requirements.txt
   

   Esse processo pode levar algum tempo, pois ele baixa e instala automaticamente todas as bibliotecas de software necessárias.

3. Configuração de caminhos de modelo
   Quando a instalação estiver concluída, você precisará informar ao programa o seuBGE-M3Onde o modelo incorporado é armazenado.
   • Localize a pasta do projeto no diretóriofact_checker.pye abra-o em um editor de código.
   • Localize a seguinte linha de código no arquivo:
     self.embedding_model = BGEM3FlagModel('/path/to/your/bge-m3/')
   • Colocar o caminho no código'/path/to/your/bge-m3/'Modifique-o para armazenar seus própriosBGE-M3O caminho real da pasta do modelo. Se você estiver usando uma API remota, precisará modificar essa parte do código de acordo com os requisitos do provedor de serviços de modelo que estiver usando.

iniciar um aplicativo

Depois que todas as configurações estiverem concluídas, você poderá iniciar essa ferramenta de detecção de notícias falsas. No diretório raiz do projeto (fake-news-detector), abra um terminal e execute o seguinte comando:

streamlit run app.py

Depois que o comando é executado, o programa abre automaticamente uma nova página em seu navegador no endereço que geralmente éhttp://localhost:8501. Essa é a interface da ferramenta.

Como funciona

Quando o aplicativo for iniciado, você verá uma interface da Web limpa.

1. Localize uma caixa de entrada de texto na interface.
2. Copie e cole o texto completo do item de notícias cuja autenticidade você deseja verificar nessa caixa de entrada.
3. Clique em "Start Verification" (Iniciar verificação) ou em um botão semelhante.
4. O sistema começará a funcionar imediatamente e você poderá ver o processo de verificação atualizado em tempo real na interface, inclusive:
   • A declaração principal da notícia está sendo extraída...
   • Busca de evidências relevantes...
   • As evidências estão sendo analisadas quanto à relevância para a declaração...
   • As conclusões da verificação de fatos estão sendo geradas...
5. Por fim, o sistema exibe a conclusão final da verificação (correta, incorreta ou parcialmente correta) com links relevantes para as evidências e o processo de análise, para que você tenha uma ideia de como ele chegou a essa conclusão.

cenário do aplicativo

1. Triagem rápida de informações por usuários individuais
   Quando as pessoas veem uma notícia incerta nas mídias sociais ou na Web, elas podem usar essa ferramenta para verificar rapidamente os fatos. Os usuários simplesmente copiam e colam o texto da notícia na ferramenta para obter um julgamento inicial com base em evidências on-line, ajudando-os a evitar serem enganados por rumores.
2. Auxílios para jornalistas
   Para jornalistas, editores e outros profissionais da área de notícias, essa ferramenta pode servir como um auxílio eficiente. Antes de relatar ou citar uma notícia, ela pode ser usada para realizar uma triagem preliminar de autenticidade, encontrar rapidamente materiais de apoio relevantes ou descobrir contradições, aumentando assim a precisão e o rigor da reportagem.
3. Revisão das informações da plataforma de conteúdo
   As plataformas de mídia social, os sites de agregação de conteúdo etc. podem integrar tecnologias semelhantes para automatizar a análise de grandes quantidades de informações na plataforma. Ao analisar o conteúdo publicado pelos usuários em tempo real, as possíveis informações falsas podem ser rapidamente identificadas e sinalizadas, reduzindo o escopo dos boatos e mantendo uma ecologia saudável do conteúdo da plataforma.

QA

1. Quais idiomas essa ferramenta suporta para a detecção de notícias?
   A ferramenta depende muito dos recursos do Large Language Model (LLM) e dos modelos incorporados por trás dele. Teoricamente, se os modelos configurados (por exemplo, Qwen2.5 e BGE-M3) suportarem o processamento multilíngue, a ferramenta também poderá processar textos de notícias no idioma correspondente. Atualmente, o foco principal é o chinês e o inglês.
2. Os resultados dos testes são totalmente confiáveis?
   Não é totalmente confiável. Os resultados da detecção da ferramenta baseiam-se na pesquisa e na análise do modelo de IA de informações publicamente disponíveis na Web, que podem ser usadas como uma referência muito valiosa, mas não se pode garantir que sejam 100% precisas. A precisão dos resultados é afetada pela qualidade das evidências que podem ser encontradas pelo mecanismo de busca, bem como pela capacidade de julgamento do próprio modelo de big language. Para a verificação de informações muito importantes, os usuários são aconselhados a usar os resultados dessa ferramenta como um auxílio e a combiná-la com outras fontes de várias evidências.
3. Não sou programador, posso usar essa ferramenta?
   Para usuários sem experiência em programação, será difícil usar o projeto diretamente, pois ele exige o download do código, a configuração do ambiente e a inicialização em um computador local. Atualmente, o projeto não oferece um site público on-line e destina-se principalmente a desenvolvedores ou pesquisadores com certa base técnica.