Que sont les hyperparamètres de l'algorithme ?
Dans le domaine de l'apprentissage automatique, en particulier dans le contexte de l'intelligence artificielle (IA) et des plateformes basées sur le cloud telles que Google Cloud Machine Learning, les hyperparamètres jouent un rôle essentiel dans la performance et l'efficacité des algorithmes. Les hyperparamètres sont des configurations externes définies avant le début du processus de formation, qui régissent le comportement de l'algorithme d'apprentissage et influencent directement les performances du modèle.
Pour comprendre les hyperparamètres, il est essentiel de les distinguer des paramètres. Les paramètres sont internes au modèle et sont appris à partir des données d'entraînement au cours du processus d'apprentissage. Des exemples de paramètres incluent les poids dans les réseaux de neurones ou les coefficients dans les modèles de régression linéaire. Les hyperparamètres, en revanche, ne sont pas appris à partir des données d'entraînement mais sont prédéfinis par le praticien. Ils contrôlent le processus et la structure de formation du modèle.
Types d'hyperparamètres
1. Hyperparamètres du modèle: Ceux-ci déterminent la structure du modèle. Par exemple, dans les réseaux de neurones, les hyperparamètres incluent le nombre de couches et le nombre de neurones dans chaque couche. Dans les arbres de décision, les hyperparamètres peuvent inclure la profondeur maximale de l'arbre ou le nombre minimum d'échantillons requis pour diviser un nœud.
2. Hyperparamètres d'algorithme: Ceux-ci contrôlent le processus d’apprentissage lui-même. Les exemples incluent le taux d'apprentissage dans les algorithmes de descente de gradient, la taille du lot dans la descente de gradient en mini-lots et le nombre d'époques de formation.
Exemples d'hyperparamètres
1. Taux d'apprentissage: Il s'agit d'un hyperparamètre important dans les algorithmes d'optimisation comme la descente de gradient. Il détermine la taille du pas à chaque itération tout en évoluant vers un minimum de la fonction de perte. Un taux d'apprentissage élevé peut entraîner une convergence trop rapide du modèle vers une solution sous-optimale, tandis qu'un taux d'apprentissage faible peut entraîner un processus de formation prolongé qui pourrait rester bloqué dans les minimums locaux.
2. Taille du lot: Dans la descente de gradient stochastique (SGD) et ses variantes, la taille du lot est le nombre d'exemples d'entraînement utilisés dans une itération. Une taille de lot plus petite fournit une estimation plus précise du gradient, mais peut être coûteuse et bruyante en termes de calcul. À l’inverse, une taille de lot plus grande peut accélérer le calcul mais peut conduire à des estimations de gradient moins précises.
3. Nombre d'époques : Cet hyperparamètre définit le nombre de fois que l'algorithme d'apprentissage fonctionnera sur l'ensemble des données d'entraînement. Plus d'époques peuvent conduire à un meilleur apprentissage mais également augmenter le risque de surajustement si le modèle apprend le bruit dans les données d'entraînement.
4. Taux d'abandon: Dans les réseaux de neurones, le dropout est une technique de régularisation où les neurones sélectionnés au hasard sont ignorés pendant l'entraînement. Le taux d'abandon est la fraction de neurones abandonnés. Cela aide à prévenir le surapprentissage en garantissant que le réseau ne repose pas trop sur des neurones particuliers.
5. Paramètres de régularisation: Ceux-ci incluent les coefficients de régularisation L1 et L2 qui pénalisent les poids importants dans le modèle. La régularisation aide à prévenir le surajustement en ajoutant une pénalité pour les poids plus élevés, encourageant ainsi des modèles plus simples.
Réglage des hyperparamètres
Le réglage des hyperparamètres est le processus consistant à trouver l’ensemble optimal d’hyperparamètres pour un algorithme d’apprentissage. Ceci est important car le choix des hyperparamètres peut affecter considérablement les performances du modèle. Les méthodes courantes de réglage des hyperparamètres incluent :
1. Recherche de grille: Cette méthode consiste à définir un ensemble d'hyperparamètres et à essayer toutes les combinaisons possibles. Bien qu’exhaustif, il peut s’avérer coûteux en termes de calcul et prendre beaucoup de temps.
2. Recherche aléatoire: Au lieu d'essayer toutes les combinaisons, la recherche aléatoire échantillonne de manière aléatoire les combinaisons d'hyperparamètres de l'espace prédéfini. Cette méthode est souvent plus efficace que la recherche par grille et peut trouver de bons hyperparamètres avec moins d'itérations.
3. Optimisation bayésienne: Il s'agit d'une méthode plus sophistiquée qui construit un modèle probabiliste de la fonction objectif et l'utilise pour sélectionner les hyperparamètres les plus prometteurs à évaluer. Il équilibre l’exploration et l’exploitation pour trouver efficacement les hyperparamètres optimaux.
4. Hyperbande: Cette méthode combine une recherche aléatoire avec un arrêt anticipé. Cela commence avec de nombreuses configurations et réduit progressivement l’espace de recherche en arrêtant précocement les configurations peu performantes.
Exemples pratiques
Envisagez un modèle de réseau neuronal pour la classification d'images à l'aide du framework TensorFlow sur Google Cloud Machine Learning. Les hyperparamètres suivants peuvent être pris en compte :
1. Taux d'apprentissage: Une plage typique pourrait être [0.001, 0.01, 0.1]. La valeur optimale dépend de l'ensemble de données spécifique et de l'architecture du modèle.
2. Taille du lot: Les valeurs courantes incluent 32, 64 et 128. Le choix dépend des ressources informatiques disponibles et de la taille de l'ensemble de données.
3. Nombre d'époques: Cela peut aller de 10 à 100 ou plus, selon la rapidité avec laquelle le modèle converge.
4. Taux d'abandon: Des valeurs telles que 0.2, 0.5 et 0.7 peuvent être testées pour trouver le meilleur compromis entre sous-apprentissage et surapprentissage.
5. Coefficient de régularisation: Pour la régularisation L2, des valeurs telles que 0.0001, 0.001 et 0.01 peuvent être considérées.
Impact sur les performances du modèle
L'impact des hyperparamètres sur les performances du modèle peut être profond. Par exemple, un taux d’apprentissage inapproprié peut faire osciller le modèle autour du minimum ou converger trop lentement. De même, une taille de lot inadéquate pourrait conduire à des estimations de gradient bruyantes, affectant la stabilité du processus de formation. Les paramètres de régularisation sont importants pour contrôler le surajustement, en particulier dans les modèles complexes comportant de nombreux paramètres.
Outils et cadres
Plusieurs outils et frameworks facilitent le réglage des hyperparamètres. Google Cloud Machine Learning fournit des services tels que AI Platform Hyperparameter Tuning, qui automatise la recherche d'hyperparamètres optimaux à l'aide de l'infrastructure de Google. D'autres frameworks populaires incluent :
1. Accordeur Keras: Une extension pour Keras qui permet une optimisation facile des hyperparamètres.
2. Opter: Un cadre logiciel pour automatiser l'optimisation des hyperparamètres à l'aide de stratégies d'échantillonnage et d'élagage efficaces.
3. GridSearchCV et RandomizedSearchCV de Scikit-learn: Ce sont des outils simples mais puissants pour le réglage des hyperparamètres dans les modèles scikit-learn.
Pratiques d'excellence
1. Commencez par une recherche grossière: Commencez par une recherche approfondie sur un large éventail d'hyperparamètres pour comprendre leur impact sur les performances du modèle.
2. Affiner la recherche: Une fois qu'une région prometteuse est identifiée, effectuez une recherche plus fine dans cette région pour affiner les hyperparamètres optimaux.
3. Utiliser la validation croisée: Utilisez la validation croisée pour garantir que les hyperparamètres se généralisent bien aux données invisibles.
4. Surveiller le surapprentissage: Gardez un œil sur les performances du modèle sur les données de validation pour détecter rapidement le surajustement.
5. Tirer parti des outils automatisés: Utilisez des outils automatisés de réglage des hyperparamètres pour économiser du temps et des ressources de calcul.
Les hyperparamètres constituent un aspect fondamental de l’apprentissage automatique qui nécessite un examen et un réglage minutieux. Ils régissent le processus de formation et la structure des modèles, ayant un impact significatif sur leurs performances et leurs capacités de généralisation. Un réglage efficace des hyperparamètres peut conduire à des améliorations substantielles de la précision et de l’efficacité du modèle, ce qui en fait une étape critique du flux de travail d’apprentissage automatique.
D'autres questions et réponses récentes concernant Qu'est-ce que l'apprentissage automatique:
- Étant donné que je souhaite entraîner un modèle à reconnaître correctement les types de plastique : 1. Quel modèle convient le mieux ? 2. Comment les données doivent-elles être étiquetées ? 3. Comment puis-je m’assurer que les données collectées représentent un scénario réel d’échantillons sales ?
- Quel est le lien entre l'IA générale et l'apprentissage automatique ?
- Comment construit-on un réseau neuronal ?
- Comment l'apprentissage automatique peut-il être utilisé dans le secteur de la construction et pendant la période de garantie de la construction ?
- Comment sont créés les algorithmes que nous pouvons choisir ?
- Comment crée-t-on un modèle d'apprentissage automatique ?
- Quelles sont les applications les plus avancées de l'apprentissage automatique dans le secteur du commerce de détail ?
- Pourquoi l'apprentissage automatique reste-t-il peu performant avec les données en flux continu (par exemple, les transactions boursières) ? Est-ce dû à la nature des données (manque de diversité pour identifier les tendances) ou à un excès de bruit ?
- Comment les algorithmes d'apprentissage automatique apprennent-ils à s'optimiser pour être fiables et précis lorsqu'ils sont utilisés sur des données nouvelles ou inconnues ?
- Répondre en slovaque à la question « Comment savoir quel type d'apprentissage est le mieux adapté à ma situation ? »
Consultez d'autres questions et réponses dans Qu'est-ce que l'apprentissage automatique ?