L'adaptation de domaine (domain adaptation en anglais) est un champ de recherche de l'apprentissage automatique, et plus précisément de l'apprentissage par transfert. L'objectif est d'effectuer une tâche d'adaptation d'un système d'apprentissage d'un domaine (une distribution de probabilité) source vers un domaine (une distribution de probabilité) cible. Lorsque plusieurs domaines sources sont disponibles, on parle alors d’adaptation de domaine multi-sources.

Distinction entre l’apprentissage automatique classique et l’apprentissage par transfert, et positionnement de l’adaptation de domaine

Un peu de formalisme

Soit l'espace d'entrée ou de description des données et l'espace de sortie ou l'ensemble d'étiquetage. L'objectif en apprentissage automatique est d'apprendre un modèle mathématique (une hypothèse) permettant d'affecter une étiquette à une donnée. Ce modèle est appris à partir d'un échantillon d'apprentissage .

En apprentissage supervisé classique (sans adaptation de domaine), on suppose que les exemples sont tirés i.i.d. selon une distribution sur (fixe et inconnue). Le but est alors d'apprendre (à partir de ) de telle sorte qu'il étiquette au mieux de nouvelles données issues de la distribution (autrement dit qu'il commette le moins d'erreurs possible sur ).

La principale différence entre l’apprentissage supervisé classique et l’adaptation de domaine réside dans l’étude de deux distributions et différentes sur . La tâche d’adaptation consiste à transférer des connaissances du domaine source vers le domaine cible . L'objectif est alors d'apprendre (à partir d'échantillons étiquetés ou non issus des deux domaines) tel qu'il étiquette au mieux de nouvelles données issues du domaine cible .

La question majeure soulevée par ce problème est la suivante : si un modèle a été appris à partir d'un domaine source, quelle sera sa capacité à étiqueter correctement des données provenant du domaine cible ?

Les différents types d'adaptation de domaine

On distingue différents contextes d'adaptation de domaine. Ils diffèrent par l'information dont on dispose pour la tâche cible.

  1. L'adaptation de domaine non supervisée : l'ensemble d'apprentissage contient un ensemble de données étiquetées sources, un ensemble de données non étiquetées sources et un ensemble de données non étiquetées cibles.
  2. L'adaptation de domaine semi-supervisée : dans cette situation, on dispose de plus d'un (petit) ensemble de données étiquetées cibles.
  3. L'adaptation de domaine supervisée : on parle d'adaptation de domaine supervisée lorsque toutes les données cibles disponibles sont étiquetées (Ce contexte est assez peu étudié dans la littérature).

Trois grands principes algorithmiques

Les algorithmes de repondération

Le but est de repondérer l'échantillon étiqueté source de tel sorte qu'il "ressemble" le plus possible à l'échantillon cible (au sens de la mesure d'erreur considérée).

Les algorithmes itératifs

Une méthode pour adapter consiste à itérativement "auto-étiqueter" les données cibles. Le principe est simple :

  1. un modèle est appris à l'aide des données étiquetées disponibles ;
  2. étiquette automatiquement des données cibles ;
  3. un nouveau modèle est appris à partir des nouvelles données étiquetée.

D'autres méthodes itératives sans auto-étiquetage existent dans la littérature, mais requièrent généralement des données étiquetées cibles.

Les algorithmes de recherche d'un espace commun

L'objectif est ici de rechercher ou construire un espace de représentation/projection commun aux deux domaines. Le but étant d'inférer un espace dans lequel les domaines seront similaires tout en gardant de bonnes performances sur la tâche d'étiquetage du domaine source.


Cet article utilise du matériel de l'article de Wikipédia Adaptation de domaine, qui est publié sous le Creative Commons Attribution-Share-Alike License 3.0.