NLP

Motivation

IHM permettant à l'utilisateur de parler/écrire sa langue naturelle.

Analyse

Le NLP est une application du ML.

Conception

Bien que les premières techniques de NLP ne se basaient pas sur du ML, les plus récentes le font.

Les solutions de NLP apprennent à partir d'utterances, et peuvent impliquer :

• des tokenizers qui les décomposent en mots (tokens)
• des stemmers qui déterminent les racines de ces mots
• des embeddings qui représente le sens d'un mot dans un espace (les mots sémantiquement proches sont proches dans cet espace)

Des exemples de modèles de représentation de langage sont :

• BERT

Exemples

Voir

• Shubham Jain: "Ultimate guide to deal with Text Data (using Python) – for Data Scientists & Engineers", Analytics Vidhya, 2018-02-27