Quels sont les hyperparamètres utilisés dans l’apprentissage automatique ?
Dans le domaine de l'apprentissage automatique, en particulier lors de l'utilisation de plateformes telles que Google Cloud Machine Learning, la compréhension des hyperparamètres est importante pour le développement et l'optimisation des modèles. Les hyperparamètres sont des paramètres ou des configurations externes au modèle qui dictent le processus d'apprentissage et influencent les performances des algorithmes d'apprentissage automatique. Contrairement aux paramètres du modèle, qui sont appris à partir des données pendant le processus de formation, les hyperparamètres sont définis avant le début de la formation et restent constants tout au long de celle-ci.
Les hyperparamètres peuvent être classés en plusieurs types en fonction de leur rôle et de leur fonction dans le pipeline d'apprentissage automatique. Ces catégories incluent les hyperparamètres de modèle, les hyperparamètres d'optimisation et les hyperparamètres de traitement des données. Chaque type joue un rôle distinct dans la façon dont un modèle apprend à partir des données et se généralise à de nouvelles données invisibles.
Hyperparamètres du modèle
1. Hyperparamètres d'architecture:Ces hyperparamètres définissent la structure du modèle. Dans les réseaux neuronaux, par exemple, les hyperparamètres d'architecture incluent le nombre de couches, le nombre de nœuds par couche et le type de fonctions d'activation utilisées. Par exemple, un réseau neuronal profond peut avoir des hyperparamètres spécifiant trois couches cachées avec respectivement 128, 64 et 32 nœuds, et ReLU (Rectified Linear Unit) comme fonction d'activation.
2. Hyperparamètres de régularisation:Les techniques de régularisation sont utilisées pour éviter le surajustement, qui se produit lorsqu'un modèle apprend le bruit dans les données d'apprentissage plutôt que le modèle sous-jacent. Les hyperparamètres de régularisation courants incluent les coefficients de régularisation L1 et L2. Ces coefficients contrôlent la pénalité appliquée aux poids importants dans le modèle. Par exemple, la définition d'un coefficient de régularisation L2 plus élevé pénalisera davantage les poids importants, encourageant ainsi le modèle à conserver des poids plus faibles et à améliorer potentiellement la généralisation.
3. Taux d'abandon:Dans les réseaux neuronaux, le dropout est une technique de régularisation dans laquelle les neurones sélectionnés au hasard sont ignorés pendant l'entraînement. Le taux de dropout est un hyperparamètre qui spécifie la fraction de neurones à abandonner à chaque itération d'entraînement. Un taux de dropout de 0.5 signifie que 50 % des neurones sont abandonnés de manière aléatoire à chaque itération, ce qui contribue à réduire le surapprentissage.
Hyperparamètres d'optimisation
1. Taux d'apprentissage:Il s'agit peut-être de l'un des hyperparamètres les plus critiques dans la formation des réseaux neuronaux. Le taux d'apprentissage détermine la taille des pas effectués vers le minimum de la fonction de perte. Un taux d'apprentissage élevé peut amener le modèle à converger trop rapidement vers une solution sous-optimale, tandis qu'un taux d'apprentissage faible peut ralentir excessivement le processus de formation ou le bloquer dans des minima locaux.
2. Taille du lot:Cet hyperparamètre définit le nombre d'échantillons d'apprentissage utilisés dans une itération du processus d'apprentissage. Des tailles de lot plus petites peuvent conduire à une estimation plus précise du gradient, mais peuvent augmenter le temps nécessaire pour terminer une époque. À l'inverse, des tailles de lot plus importantes peuvent accélérer l'apprentissage, mais peuvent conduire à des modèles moins précis.
3. Élan:Utilisé dans les algorithmes d'optimisation tels que la descente de gradient stochastique avec momentum, cet hyperparamètre permet d'accélérer les vecteurs de gradient dans la bonne direction, conduisant ainsi à une convergence plus rapide. Il permet de lisser les oscillations dans le chemin d'optimisation.
4. Nombre d'époques: Cet hyperparamètre définit le nombre de passages complets dans l'ensemble de données d'entraînement. Un nombre plus élevé d'époques permet généralement au modèle d'apprendre davantage à partir des données, mais il peut également augmenter le risque de surapprentissage.
Hyperparamètres de traitement des données
1. Mise à l'échelle des fonctionnalités:Avant d'entraîner un modèle, les fonctionnalités doivent souvent être mises à l'échelle. Les hyperparamètres liés à la mise à l'échelle des fonctionnalités incluent le choix de la méthode de mise à l'échelle, telle que la mise à l'échelle Min-Max ou la standardisation. Ce choix peut affecter considérablement les performances du modèle, en particulier pour les algorithmes sensibles à la mise à l'échelle des fonctionnalités comme les machines à vecteurs de support et le clustering K-Means.
2. Paramètres d'augmentation des données:Dans les tâches de traitement d'images, l'augmentation des données est utilisée pour agrandir artificiellement la taille d'un ensemble de données d'apprentissage en créant des versions modifiées des images de l'ensemble de données. Les hyperparamètres incluent ici les types de transformations appliquées, telles que la rotation, la translation, le retournement et le zoom, ainsi que la probabilité que chaque transformation soit appliquée.
3. Méthodes d'échantillonnage:Dans les cas où les données sont déséquilibrées, des techniques telles que le suréchantillonnage de la classe minoritaire ou le sous-échantillonnage de la classe majoritaire peuvent être utilisées. Les hyperparamètres ici incluent le rapport entre les échantillons de la classe minoritaire et ceux de la classe majoritaire.
Réglage des hyperparamètres
Le processus de sélection des hyperparamètres optimaux est connu sous le nom de réglage des hyperparamètres. Il s'agit d'une étape cruciale car le choix des hyperparamètres peut avoir un impact significatif sur les performances du modèle. Les méthodes courantes de réglage des hyperparamètres incluent :
1. Recherche de grille:Cette méthode consiste à définir une grille de valeurs d'hyperparamètres et à essayer de manière exhaustive chaque combinaison. Bien que simple, la recherche par grille peut être coûteuse en termes de calcul, en particulier avec un grand nombre d'hyperparamètres.
2. Recherche aléatoire:Au lieu d'essayer toutes les combinaisons possibles, la recherche aléatoire sélectionne des combinaisons aléatoires d'hyperparamètres. Cette approche est souvent plus efficace que la recherche par grille et peut conduire à de meilleurs résultats, en particulier lorsque seuls quelques hyperparamètres sont influents.
3. Optimisation bayésienne:Il s’agit d’une approche plus sophistiquée qui modélise les performances des hyperparamètres comme une fonction probabiliste et cherche à trouver le meilleur ensemble d’hyperparamètres en équilibrant l’exploration et l’exploitation.
4. Apprentissage automatique automatisé (AutoML):Les plateformes comme Google Cloud AutoML utilisent des algorithmes avancés pour rechercher automatiquement les meilleurs hyperparamètres. Cela permet d'économiser du temps et des ressources, en particulier pour les praticiens qui ne disposent pas d'une expertise approfondie en apprentissage automatique.
Exemples pratiques
Considérez un scénario dans lequel on forme un réseau neuronal convolutionnel (CNN) pour la classification d'images à l'aide de Google Cloud Machine Learning. Les hyperparamètres peuvent inclure :
– Nombre de couches convolutives et leurs tailles de filtre respectives, qui sont des hyperparamètres d’architecture.
– Taux d’apprentissage et taille du lot, qui sont des hyperparamètres d’optimisation.
– Techniques d’augmentation des données telles que la rotation et le retournement, qui sont des hyperparamètres de traitement des données.
En ajustant systématiquement ces hyperparamètres, on peut améliorer considérablement la précision du modèle et ses capacités de généralisation.
Dans un autre exemple, lors de l'utilisation d'un classificateur d'arbre de décision, les hyperparamètres peuvent inclure la profondeur maximale de l'arbre, le nombre minimal d'échantillons requis pour diviser un nœud et le critère utilisé pour la division. Chacun de ces hyperparamètres peut affecter la complexité du modèle et sa capacité à généraliser.
En substance, les hyperparamètres sont fondamentaux pour le processus d'apprentissage automatique, influençant à la fois l'efficacité et l'efficience de l'entraînement du modèle. Leur sélection et leur réglage minutieux peuvent conduire à des modèles qui non seulement fonctionnent bien sur les données d'entraînement, mais se généralisent également efficacement à de nouvelles données inédites.
D'autres questions et réponses récentes concernant EITC/AI/GCML Google Cloud Machine Learning:
- Can more than 1 model be applied?
- Can Machine Learning adapt depending on a scenario outcome which alforithm to use?
- Quelle est la voie la plus simple vers la formation et le déploiement du modèle d'IA didactique le plus basique sur Google AI Platform à l'aide d'un niveau/essai gratuit utilisant une console GUI étape par étape pour un débutant absolu sans expérience en programmation ?
- Comment former et déployer concrètement un modèle d'IA simple dans Google Cloud AI Platform via l'interface graphique de la console GCP dans un didacticiel étape par étape ?
- Quelle est la procédure la plus simple, étape par étape, pour pratiquer la formation de modèles d’IA distribués dans Google Cloud ?
- Quel est le premier modèle sur lequel on peut travailler avec quelques suggestions pratiques pour commencer ?
- Les algorithmes et les prédictions sont-ils basés sur les apports du côté humain ?
- Quelles sont les principales exigences et les méthodes les plus simples pour créer un modèle de traitement du langage naturel ? Comment créer un tel modèle à l'aide des outils disponibles ?
- L'utilisation de ces outils nécessite-t-elle un abonnement mensuel ou annuel, ou existe-t-il une certaine quantité d'utilisation gratuite ?
- Qu'est-ce qu'une époque dans le contexte des paramètres du modèle de formation ?
Afficher plus de questions et réponses dans EITC/AI/GCML Google Cloud Machine Learning