As principais etapas para a integração do léxico sensível entre os idiomas são as seguintes:
- formato de tesauro universalNão importa o uso de Java/PHP/Go, etc., todos leem diretamente a codificação UTF-8
sensitive-lexicon.txtArquivo de texto, analisado como uma matriz por linha. - Seleção de algoritmos de adaptação de idiomaRecomendações de Java
org.ahocorasick.trieImplementação de biblioteca do DFA; disponível para PHPphptrieExtensões; Biblioteca padrão da linguagem Gostrings.ContainsIsso pode ser feito rapidamente com a estrutura do Map. - Módulos de uso geral empacotadosEncapsulamento: encapsular a lógica de carregamento e correspondência do tesauro em serviços independentes (por exemplo, API REST), que são chamados por diferentes sistemas comerciais por meio de interfaces.
Essa solução pode ser integrada à base em menos de uma hora e tem uma perda de desempenho menor do que o 5%.
Essa resposta foi extraída do artigoSensitive-lexicon: um dicionário de sinônimos continuamente atualizado para palavras sensíveis em chinêsO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Um caminho técnico para a rápida integração de thesauri sensíveis em uma estrutura multilíngue
Português do Brasil 
简体中文 
English 
日本語 
Deutsch