Named Entity Recognition: Identificar e catalogar nomes próprios

Named Entity Recognition (NER), ou reconhecimento de entidade mencionada, é a subdisciplina da linguística computacional que tem como objetivo identificar entidades nomeadas (nomes próprios) em um texto e catalogá-las de acordo com parâmetros específicos. Em particular, no campo do machine learning, a técnica desempenha um papel muito importante.

O que é Named Entity Recognition?

Named Entity Recognition é uma disciplina da linguística computacional que identifica nomes próprios em textos e os atribui automaticamente a determinadas categorias. Essa tarefa também é conhecida como reconhecimento de nomes próprios. Nomes próprios ou entidades nomeadas são palavras isoladas ou sequências de palavras que descrevem uma entidade real existente. Isso pode incluir, por exemplo, uma pessoa, uma empresa, uma autoridade, um evento, um local, um produto específico ou até uma data.

A disciplina é aplicada no campo de machine learning e da inteligência artificial (IA) e tem origem no campo de natural language processing (NLP), onde a linguagem natural é categorizada e processada com o auxílio de algoritmos, computadores e regras fixas. Graças ao constante desenvolvimento, o Named Entity Recognition tem demonstrado taxas de sucesso impressionantes em várias línguas e é quase indistinguível da identificação feita por um ser humano.

Como funciona o Named Entity Recognition?

Existem diferentes métodos de Named Entity Recognition, que vamos explorar mais detalhadamente ao longo deste artigo. No entanto, há dois passos principais em qualquer método, que são fundamentais para o sucesso da ação.

Identificação de nomes próprios

Este passo envolve a identificação de uma ou mais entidades nomeadas. Isso não se restringe apenas aos nomes próprios típicos como “Pedro Santos”, mas também a termos como “Versailles”, “Segunda Guerra Mundial”, “Porsche”, “Westerwald”, “Jurassic Park” e “12 de outubro de 1986”. Todos são considerados entidades nomeadas e podem ser capturados pelo Named Entity Recognition. Depois que esses nomes próprios são identificados como tais, o início e o fim são marcados, permitindo que um sistema os reconheça dentro de um texto natural.

Categorização de entidades nomeadas

Após a identificação, os nomes próprios marcados são atribuídos a categorias definidas. Isso inclui, entre outros, denominações de pessoas, locais, eventos históricos, empresas, autoridades, produtos, datas ou títulos específicos de mídia e obras de arte. É importante que o Named Entity Recognition reconheça, por exemplo, variações de uma entidade e que os pontos de início e fim estabelecidos anteriormente sejam corretamente aplicados.

Quais métodos de NER existem?

Embora os dois passos de trabalho no Named Entity Recognition sejam sempre necessários, existem diferentes métodos e abordagens para alcançar os resultados desejados. Apresentamos os quatro métodos mais comuns e, consequentemente, mais eficazes.

Análise com dicionários

Na metodologia provavelmente mais simples, as entidades são comparadas com diferentes dicionários. Assim que ocorre uma correspondência entre uma palavra ou sequência de palavras e um nome próprio presente em um dicionário, a entidade é marcada e, em seguida, classificada na categoria correspondente.

NER baseado em regras

Regras definidas também podem ser usadas como base para o Named Entity Recognition. Para isso, são elaborados padrões que são comparados com os textos disponíveis. Quando há correspondência, as entidades são identificadas e categorizadas. O método baseado em regras é especialmente adequado para textos especializados e não para aplicações de grande escala.

Machine learning e IA

Os melhores resultados são obtidos por meio de métodos em que Machine Learning ou IA são usados como base. Para isso, são utilizados conjuntos de dados para treinar os sistemas. A identificação de relações estatísticas desempenha um papel fundamental nesse processo. Após o treinamento, a IA pode vasculhar textos desconhecidos, reconhecer nomes próprios e classificá-los em uma categoria. Vale ressaltar que quanto mais amplos e equilibrados forem os dados de treinamento, melhores serão os resultados posteriores.

Híbrido de NER baseado em regras e IA

Para resultados de alta qualidade, também pode ser utilizado um método híbrido entre Named Entity Recognition baseado em regras e com suporte de IA. Nesse caso, nomes próprios simples são identificados pelo catálogo de regras, enquanto entidades mais complexas podem ser encontradas e catalogadas pela Inteligência Artificial.

Quais são as áreas de aplicação do Named Entity Recognition?

Existem inúmeras áreas de aplicação práticas ou futuras para o Named Entity Recognition. Aqui estão algumas das mais importantes:

• Análise de sentimentos: O Named Entity Recognition já é utilizado para analisar feedback de clientes e tendências. A IA, por exemplo, identifica menções de marcas, opiniões sobre produtos ou outras reações.
• Business intelligence: O NER é utilizado para transformar textos não estruturados em dados estruturados. Isso pode ser aplicado na área de obtenção de informações e ajuda na análise de documentos financeiros.
• Anotação de dados: Através da anotação de dados, é possível desenvolver e treinar modelos aprimorados para traduções, classificações e análises de textos. O Named Entity Recognition desempenha um papel importante nesse processo.
• Assistência digital: O Named Entity Recognition é útil para serviços como chatbots ou outros assistentes digitais. Ela analisa as solicitações dos usuários e pode fornecer respostas específicas e relevantes com base nessas análises.
• Marcação de conteúdo: A técnica é usada para filtrar pessoas ou locais em diferentes artigos e, em seguida, armazená-los como metadados.
• Motores de busca: Através dessa técnica, algoritmos de busca são analisados e aprimorados, permitindo que os motores de busca forneçam resultados ainda mais relevantes.
• Redes neurais: O NER é utilizado também em áreas como long short-term memory (LSTM) e outras técnicas semelhantes.

Quais problemas o Named Entity Recognition enfrenta?

Embora o Named Entity Recognition tenha avançado rapidamente e já consiga alcançar resultados impressionantes, ainda existem alguns desafios em relação à técnica. Em particular, a adaptação de modelos treinados para textos especializados nem sempre alcança os resultados desejados. Isso é especialmente relevante quando os dados para o transfer learning não são suficientes ou não são específicos o bastante. Modelos frequentemente precisam lidar com dados limitados quando novas entidades surgem. Uma solução possível são abordagens zero-shot ou few-shot, que permitem trabalhar com volumes menores de dados.