Une équipe dirigée par Alexander Mathis, neuroscientifique à l’EPFL, a transformé une cuisine en un environnement de recherche entièrement instrumenté pour étudier la mécanique du mouvement humain. Ce projet, qui implique une collaboration avec l’EPFL, l’ETH Zurich et le Microsoft Joint Swiss Research Center, introduit l’ensemble de données EPFL-Smart-Kitchen-30, qui capture les gestes de préparation des repas sous plusieurs angles. L’objectif est de mieux comprendre les composantes motrices et cognitives des actions quotidiennes, avec des applications potentielles en neurosciences, en apprentissage automatique et dans le domaine médical. La cuisine a été choisie pour son caractère privé et la variété des mouvements qu’elle implique, tels que la marche, la manipulation d’ustensiles et la coordination de tâches, qui sollicitent à la fois le corps et le cerveau.
La recherche a impliqué 16 participants préparant quatre recettes différentes, avec des actions enregistrées à l’aide de neuf caméras RGB-D fixes, d’un casque HoloLens 2 et d’unités de mesure inertielle. L’ensemble de données comprend près de 30 heures d’enregistrements, avec des annotations précises de 768 actions distinctes. Ces données servent de référence pour les modèles d’IA en matière de compréhension du langage visuel, de reconnaissance multimodale des actions, de segmentation basée sur la pose et de génération de texte à partir de mouvements. Les modèles d’IA actuels atteignent une précision d’environ 40 % dans la reconnaissance des actions, ce qui laisse entrevoir des possibilités d’amélioration. Le projet vise à faciliter la récupération des mouvements perdus, en particulier chez les patients victimes d’un accident vasculaire cérébral, en associant le comportement spontané à des scores cliniques et en mettant au point de nouveaux indicateurs des progrès de la réadaptation.
L’objectif à long terme est d’améliorer la compréhension du contrôle moteur chez les patients comme chez les experts, tels que les chefs cuisiniers ou les musiciens. Une deuxième étude est prévue pour impliquer davantage de participants et se concentrer sur l’expertise. La recherche pourrait permettre de mieux surveiller les effets de la neuroréadaptation et d’élaborer des stratégies de traitement plus efficaces pour la rééducation et l’assistance des fonctions motrices.
