Quel est le paramètre de nombre maximum de mots de l'API TensorFlow Keras Tokenizer ?
Dimanche, 14 Avril 2024
by ankarbe
L'API TensorFlow Keras Tokenizer permet une tokenisation efficace des données texte, une étape cruciale dans les tâches de traitement du langage naturel (NLP). Lors de la configuration d'une instance Tokenizer dans TensorFlow Keras, l'un des paramètres pouvant être définis est le paramètre « num_words », qui spécifie le nombre maximum de mots à conserver en fonction de la fréquence.
- Publié dans Intelligence artificielle, Principes de base de TensorFlow EITC/AI/TFF, Traitement du langage naturel avec TensorFlow, tokenization
Tagged under:
Intelligence artificielle, PNL, TensorFlow, Traitement de texte, Générateur de jetons, Vocabulaire
Quel est l'intérêt de créer un lexique en deep learning avec TensorFlow ?
Mardi, 08 Août 2023
by Académie EITCA
Un lexique, également appelé vocabulaire ou liste de mots, joue un rôle crucial dans l'apprentissage profond avec TensorFlow. Il a pour objectif de fournir une collection complète de mots ou de jetons pertinents pour un domaine ou un problème spécifique. La création d'un lexique est une étape essentielle dans de nombreux traitements du langage naturel