Le préGDR IA (https://www.gdria.fr) organise une journée d’animation dédiée à l’apprentissage et à ses interactions avec d’autres thématiques de l’intelligence artificielle.
Le but du préGDR IA est de favoriser l’animation scientifique de ses différentes thématiques mais surtout de favoriser l’interaction entre ces thématiques, et l’interaction avec d’autres domaines.
L’apprentissage est au coeur du large élan existant actuellement en intelligence artificielle. Mais il est nécessaire, pour répondre aux problématiques actuelles en apprentissage (notamment en terme d’explicabilité, de certification, etc.), et pour permettre de nouvelles innovations, d’établir ou de renforcer le dialogue avec d’autres thématiques, telles que la vision, le traitement automatique des langues, les méthodes de raisonnement, d’optimisation et de résolution, etc. Cette journée s’inscrit dans cette optique.
Nous souhaitons donc que cette journée soit le moyen d’aborder différentes facettes de l’apprentissage et de ses interactions.
La journée sera principalement dédiée à des exposés scientifiques, et se terminera par une session de discussion, afin de voir quel type d’animation le préGDR pourrait offrir à la communauté.
Cette journée aura lieu le jeudi 28 septembre à Paris (UPMC salle 25-26/105).
Voici le programme prévisionnel:
| 9h00 | Introduction et Présentation du préGDR IA |
| 9h20 | Holger Schwenk – Learning Deep Representations in NLP |
| 10h10 | Pause |
| 10h40 | Henri Prade – Quelques exemples d’interactions entre raisonnement et apprentissage |
| 11h30 |
Ivan Laptev – Visual Recognition: Towards less supervision
|
| 12h20 | Repas |
| 13h50 | Ludovic Dénoyer – Apprentissage par renforcement sous contrainte de budget |
| 14h40 | Aurélien Bellet – Decentralized Collaborative Learning of Personalized Models over Networks |
| 15h30 | Pause |
| 16h00 | Amaury Habrard – Transfer Learning/Domain Adaptation: Principles and Recent Advances |
| 16h50 | Discussion |
| 17h30 | Fin |
Inscription
Il n’y a pas de frais d’inscriptions pour ces journées, toutefois, pour des raisons d’organisation, nous demandons aux personnes souhaitant participer à ces journées de s’inscrire ici:
Résumés des interventions:
- Holger Schwenk – Learning Deep Representations in NLP
The fundamental idea of deep learning is to consider feature extraction and classification as one globally optimized task. The system learns itself which are the best features and combines them to higher level hierarchical representations, through many layers. This approach led to significant improvements in comparison to other approaches in many many areas, in particular computer vision and speech transcription.
In this talk, I’ll discuss how deep learning has also embraced natural language processing. I’ll explain how research evolved from the introduction of word embeddings, to neural network language models and various sentence embeddings, and finally to multilingual neural machine translation. I’ll also show several applications of multilingual joint sentence embeddings.
- Henri Prade – Quelques exemples d’interactions entre raisonnement et apprentissage
Les thématiques de l’apprentissage et de la formalisation du raisonnement (et de la représentation des connaissances)
se sont développés de manière largement indépendantes depuis des décennies.
Sans chercher à dresser une carte des interactions possibles entre les deux domaines – ce qui serait sans doute prématuré –
l’exposé propose trois exemples de nature différente. Le premier exemple s’intéressera à l’identification, dans une base de données booléennes,
de règles par défaut qui soient en accord avec les postulats du raisonnement par défaut. Le deuxième portera sur l’élicitation à partir de données numériques
d’intégrales de Sugeno (des familles d’opérateurs d’agrégation) en accord avec un espace des versions généralisé,
et indiquera aussi comment ces intégrales ont une représentation équivalente en termes de règles si-alors, permettant l’explication.
Le dernier exemple présentera les proportions analogiques et leur place singulière en apprentissage.
- Ivan Laptev – Visual Recognition: Towards less supervision
A venir
- Ludovic Dénoyer – Apprentissage par renforcement sous contrainte de budget
Dans cette présentation, je vais me concentrer sur des problèmes d’apprentissage où l’objectif est de trouver un modèle prédictif qui correspond à un bon compromis entre la qualité et le coût de la prédiction. En effet, dans un grand nombre d’applications comme le diagnostic médical ou bien l’interaction homme-machine, il est nécessaire de concevoir des modèles capables de prédire à faible coût, ce coût pouvant être de différente nature (temps de la prédiction, côut des données, consommation mémoire, etc…)
Dans un premier temps, je vais me focaliser sur les problèmes de prédiction dans lesquels les données ont un prix (de type diagnostic médical), et présenter le modèle RADIN basé sur l’apprentissage par renforcement à l’aide de réseaux de neurones profonds. Cet modèle vise à acquérir séquentiellement les caractéristiques à acquérir afin de produire une prédiction robuste, tout en minimisant le coût de l’information acquise.
Dans un second temps, je me focaliserai sur les problèmes de prise de décisions séquentielle, et je montrerai comment la prise en compte du coût de l’information permet de faire émerger des comportement hiérarchiques (ou options) dans le comportement d’agents artificiels, ouvrant de nouvelles pistes dans le domaine de l’apprentissage par renforcement.
- Aurélien Bellet – Decentralized Collaborative Learning of Personalized Models over Networks
With the advent of connected devices with computation and storage capabilities, it becomes possible to run machine learning on-device to provide personalized services. However, the currently dominant approach is to centralize data from all users on an external server for batch processing, sometimes without explicit consent from users and with little oversight.
In this talk, I will discuss an alternative setting where many agents with local datasets collaborate to learn models by engaging in a fully decentralized peer-to-peer network. We introduce and analyze two asynchronous gossip algorithms that allow agents to improve upon their locally trained model by communicating with other agents that have similar objectives. Our first approach aims to smooth pre-trained local models over the network while accounting for the confidence that each agent has in its initial model. In our second approach, agents jointly learn and propagate their model by making iterative updates based on both their local dataset and the behavior of their neighbors. Our decentralized algorithm is based on ADMM.
- Amaury Habrard – Transfer Learning/Domain Adaptation: Principles and Recent Advances
A venir