Fimographie de Wu Xiaoliang

Recherche automatique d'architecture neuronale

La recherche automatique d'architecture neuronale (Neural Architecture Search, NAS) est un ensemble de techniques visant à découvrir automatiquement de nouveaux modèles de réseaux de neurones artificiels. Les principales méthodes employées dans la littérature sont basées soit sur de l'apprentissage par renforcement, sur de la descente de gradient ou bien sur des algorithmes génétiques,. Plusieurs méthodes NAS parviennent à obtenir des architectures qui atteignent ou surpassent les performances des modèles créés à la main,,. La recherche automatique d'architecture neuronale se définit suivant trois axes : l'espace de recherche, qui représente l'ensemble des architectures candidates ainsi que les opérations qui les composent ; la stratégie de recherche, qui guide la manière dont la recherche s'effectue ; le critère (ou méthode) d'évaluation, qui estime les performances des architectures candidates. Généralement, une métrique importante à prendre en compte lors de l'évaluation d'une méthode NAS est le coût en ressources induit par la recherche d'architecture (search cost),. Les procédés NAS peuvent être employés pour rechercher une variété de types de réseaux de neurones (réseaux convolutifs, réseaux récurrents ou bien autoencodeurs),.