Para desenvolver uma aplicação de Processamento de Linguagem Natural (PLN), é necessário realizar tarefas de pré-processamento no corpus de entrada, como a separação do texto em palavras. Observe a execução do seguinte fragmento de uma tarefa de PLN:

Entrada: “Bia é uma forte candidata do concurso da CVM.”

Saída: quantidade de unidades linguísticas = 14

A tarefa de PLN que faz a separação do texto em unidades linguísticas mínimas é a: