Open Rescue, l’outil IA pour faciliter la recherche de personnes disparues, avec des drones 

A l’invitation d’Arnaud Stephan et du lieutenant Stéphane Darné, du Service Départemental d’Incendie et de Secours (SDIS) 74, je suis venu assister à une soirée de formation du maintien des acquis (FMA).

Avec l’équipe, je suis allé du côté de Talloires, entre le lac d’Annecy et les dents de Lanfon pour suivre des vols destinés à retrouver des personnes perdues en montagne, de nuit.

Le résultat de la mission ?

Malgré des conditions rendues difficiles par le froid, une forêt assez dense et la présence de nombreux animaux qui sont autant de faux positifs à l’image de la caméra IR, les deux (faux) randonneurs ont été retrouvés sains et saufs. Le debriefing a permis de revoir les méthodes de quadrillage de la zone, d’optimisation du placement des pilotes pour éviter les coupures de liaison radio.

L’IA de Open Rescue à la rescousse !

Pendant cet entrainement, j’ai pu découvrir Open Rescue, un système destiné à automatiser la recherche de personnes basé sur l’intelligence artificielle.

Stéphane Darné et Arnaud Stephan sont à l’origine de cet outil en cours de commercialisation par Odas Solutions, destiné aux missions de secours. Arnaud a accepté de me parler d’Open Rescue, voici ce que nous avons échangé…

Helicomicro : Tu es sapeur-pompier ?
Arnaud Stephan : C’est un peu spécial. Je n’ai pas suivi la formation pompier, je ne suis pas apte à aller au feu. Mais j’ai un statut d’officier expert pour la cellule drone du SDIS 74. J’ai participé à la création de l’équipe, dont le chef est Stéphane Darné. Cela fait 3 ans maintenant qu’elle est opérationnelle. Il nous a fallu former les pilotes, d’abord chez Escadrone, puis nous avons créé notre formation interne. Nous avons désormais 25 télépilotes talentueux dans l’équipe. Il a aussi fallu nous équiper en drones, nous en avons 4 dont deux DJI M30T.

HM : Peux-tu me décrire le produit que tu développes ?
AS : Jusqu’à présent, il s’appelait Watson, mais c’était un nom de code. Le nom définitif est Open Rescue. La version la plus aboutie sera commerciale, il y a aura peut-être une version open source pour que les utilisateurs intéressés puissent la tester.

HM : Quelle a été l’impulsion pour démarrer le projet ?
AS : Une rencontre fortuite entre un pompier et un thésard en intelligence artificielle lors d’un vol de parapente !

HM : Un partenariat a été noué avec l’Université Savoie Mont Blanc ?
AS : L’université Savoie Mont Blanc a été notre caution scientifique. Ils ont validé nos travaux au démarrage et la pertinence de notre approche terrain et approche de programmation.

HM : Comment fonctionne ce logiciel IA ?
AS : Il s’appuie sur une base de données, le dataset, ce sont des photos. Ces photos sont exploitées par des algorithmes complexes, de l’IA.

HM : Comment se fait l’entrainement de l’IA ?
AS : On étudie chaque photo avec un logiciel, et on dessine des carrés pour indiquer ce que nous reconnaissons à l’image comme étant des humains, des animaux, des objets.

HM : L’entrainement est donc réalisé par un humain ?
AS : Oui, cette étape est appelée la labélisation du dataset. Elle permet de disposer de photos associées à des coordonnées qui décrivent des éléments dans les images. A partir de là, on va lancer l’entrainement de l’IA, c’est-à-dire créer le modèle.

HM : Ca fonctionne même si l’entrainement repose sur de la vidéo ?
AS : Oui, dans le cas d’une vidéo, on extrait des photos.

HM : J’imagine qu’il y a différents traitements des images ?
AS : Il y a tout un tas de processus pour équilibrer le dataset et pour le renforcer. Par exemple, on ajoute du faux brouillard, on change les couleurs. C’est ce qui lui permet de fonctionner dans le plus de situations différentes. Lorsque c’est terminé, on obtient ce qu’on appelle un fichier de poids. Il fait 2 mégaoctets, ce n’est pas énorme. Dedans, il y a tous les paramètres de calcul.

HM : Comment est-il utilisé ?
AS : Le fichier de poids permet de faire l’inférence. C’est le fait de trouver ce qu’on cherche à partir d’une donnée qu’on soumet et du fichier de poids. La recherche va travailler sur la forme, sur la couleur, sur un grand nombre de paramètres. Plus le dataset est riche en données, plus il y a de chances que la recherche soit efficace.

HM : Quel est l’ordre d’idée du nombre de données dans le dataset ?
AS : Pour les datasets universitaires ou libres d’accès, il y a en général 1500 images en 640 x 480 pixels. Nous, on en a intégré 1,4 million, et ce sont des données haute définition puisqu’elles sont essentiellement issues de Mavic !

HM : La capture peut se faire en vidéo ?
AS : Oui, on peut faire tourner l’IA sur du flux vidéo enregistré ou en direct.

HM : La variété des images améliore la qualité d’un dataset ?
AS : Oui, nos images ont été shootées sur 4 saisons, on en a fait beaucoup en Haute-Savoie, mais aussi dans d’autres régions de France. Quand je suis en mission topographie pour Latitude Drone, j’en profite généralement pour prendre des clichés qui vont enrichir la base. En 20 minutes environ, je peux enrichir le dataset d’une centaine de photos. Parce que la clé de l’IA, c’est de s’appuyer sur une base d’une grande richesse.

HM : La cible de la reconnaissance, ce sont les personnes ?
AS : Oui, ce sont principalement les personnes, mais aussi leurs effets personnels. On a labellisé des sacs à dos, des bouts de vêtements, des chapeaux, des vestes, des vélos et autres engins abandonnés. Parce que tout ça présente un intérêt quand on cherche quelqu’un, c’est peut-être un signe que la personne n’est pas très loin.

HM : Comment est pensée la commercialisation du produit ?
AS : Nous le proposons à des intégrateurs qui vendent déjà eux-mêmes des produits de gestion de drones, à l’instar de Flighthub, Midgard, etc… Le but est qu’ils les intègrent dans leur process sur leurs serveurs. On le propose aussi en tant que logiciel indépendant installé sur un ordinateur pour utiliser l’IA sur le terrain en mode hors-ligne. Enfin, nous allons prochainement sortir une version pour le nouveau Matrice 4 de DJI.

HM : Avant de partir à l’entrainement, j’ai vu le système fonctionner sur une mallette portable !
AS : Oui, on a développé cette mallette qui fonctionne bien, et on désirait la commercialiser. Mais cela passait par des étapes de certification trop complexes pour notre petite équipe, avec du développement hardware un peu lourd. Dedans, il y a un Jetson, une batterie. Nous n’avons pas persévéré.

HM : L’IA fonctionne en ligne ?
AS : Non, pas besoin d’Internet, c’est en local. Mais pour des besoins d’intégration, l’IA peut évidemment tourner en ligne sur serveur. Pour récupérer la vidéo du drone qui effectue des recherches, on branche simplement un câble HDMI à la radiocommande. C’est prévu pour être facile à faire sur le terrain, en mission. Mais on essaie de faire comprendre à nos utilisateurs que la photo est plus pertinente que la vidéo, parce que la définition bien meilleure. On reconnait plus facilement un T-shirt sur une image haute haute-définition de 48 mégapixels que sur une vidéo de 8 mégapixels.

HM : Les utilisateurs préfèrent quand même la vidéo ?
AS : Oui, le message est difficile à passer, les utilisateurs aiment le direct plutôt qu’un process basé sur des clichés. Pourtant on leur explique qu’il est simple de créer un vol automatique comme pour de la photogrammétrie, de récupérer la carte microSD après le vol, la mettre dans l’ordi et laisser l’IA travailler. Pendant ce temps, on peut se lancer dans un autre vol de reconnaissance. D’ailleurs, cela permet d’éviter de voler en manuel pour quadriller un terrain.

HM : La méthode manuelle est inefficace ?
AS : Très ! En manuel, on passe à certains endroits plusieurs fois, et on oublie de passer à d’autres endroits. C’est le meilleur moyen pour louper des choses ! Puisque l’IA fait une étude systématique de tout, il est important de passer partout sur une zone, sans rien oublier.

HM : Voler en automatique sur des reliefs en montagne, ce n’est pas si facile !
AS : En fait si, dans la mesure où la programmation du vol tient compte de l’élévation du terrain. Pour la Haute-Savoie, nous disposons de toutes les tuiles du modèle numérique du département en MNT, cela permet de programmer un vol sécurisé en tenant compte de reliefs marqués.

HM : A quelle hauteur se déroulent les vols ?
AS : Notre recommandation, c’est de voler à 60 mètres de hauteur. L’IA a été calibrée pour ça et on a constaté qu’à cette hauteur, on évite quasiment tous les obstacles naturels.

HM : Pas de zoom ?
AS : Non, nous n’utilisons pas de zoom. Cela dit, l’IA peut fonctionner à n’importe quel niveau de zoom de la caméra. Il faut simplement que ce qu’on cherche fasse au minimum 25 x 25 pixels. Si c’est moins, l’IA ne sera pas efficace.

HM : L’IA fonctionne vraiment mieux que l’oeil humain ?
AS : Il faut se dire que ce que l’humain ne voit pas dans une photo, l’IA ne le verra probablement pas non plus, elle ne fera pas de miracle. Mais l’IA va passer en revue des dizaines de photos à la seconde sans fatiguer ni être déconcentrée et en zoomant partout, alors que l’humain va péniblement en étudier une par minute.

HM : Ca fonctionne vraiment ?
AS : Oui, et pour en être certains, nous avons fait des mises en situation complexes, avec des personnes sous des arbres. L’IA les a détectées !

HM : Le taux de reconnaissance d’une personne a-t-il été chiffré ?
AS : A l’heure actuelle, nous avons un taux de réussite de 80 %. Nous ratons donc 20 % des personnes. Nous espérons encore faire progresser ce taux.

HM : Un ordre d’idée de la durée de vol puis de traitement par l’IA sur une zone de recherche typique ?
AS : Pour une zone de 1 km², il faut compter 25 minutes de vol, soit une batterie de Mavic 3. Puis 15 minutes de traitement.

HM : La reconnaissance de nuit en thermique est-elle possible ? Opérationnelle ?
AS : Pour le moment non, mais la demande est très forte dans ce domaine. Dans notre dataset nous avons déjà des milliers de photos thermiques acquises mais elles n’ont pas encore été valorisées. Nous voulons faire les choses bien en combinant données visibles et thermiques pour assurer une détection plus avancée.

HM : Le produit a-t-il été présenté à DJI ?
AS : Oui, on leur a fait une démonstration et expliqué notre vision. Ils ont bien compris et apprécié le principe, surtout qu’il correspond aux caractéristiques du Matrice 4. C’est un drone capable de disposer de l’IA à bord, sans besoin d’un ordi ou d’un service en ligne. Nous serons référencés en tant que partenaire DJI d’ici fin mars.

HM : Qui s’occupe du développement ?
AS : C’est Paul Vandame, un ingénieur freelance qui a terminé sa thèse 4 mois en avance à Grenoble, une pointure !

HM : Quel était le sujet de sa thèse ?
AS : Il est très intéressant et particulièrement pertinent pour les drones, puisqu’il cherche à réduire les IA pour qu’elles consomment moins, sans pour autant les dégrader.

HM : Moins de temps processeur ?
AS : Moins de tout ! Moins de processeur, moins d’énergie, moins de mémoire. C’est un enjeu pour la planète, bien sûr. Mais dans notre cas, cela signifie moins de serveurs à utiliser, plus de facilité à embarquer l’IA à bord d’un drone.

HM : Ses travaux sont déjà utilisés dans ce sens ?
AS : Je pense qu’on va utiliser ce qu’il a fait pour réduire la taille de l’IA dans le Matrice 4.

HM : Quand Open Rescue sera-t-il disponible ?
AS : On est en discussion avec un intégrateur, une solution de drone française, qui devrait se concrétiser dans les mois qui viennent. On travaille aussi à l’intégration sur le Matrice 4. Il y a un process très pertinent chez DJI pour utiliser leur écosystème, qui permet de l’intégrer sur leur plateforme. Eux vont l’optimiser pour le Matrice 4. En pratique, un client de DJI qui veut utiliser Open Rescue pourra l’acheter, puis fournir le numéro de série de son drone pour qu’il soit opérationnel, accessible depuis sa radiocommande.

HM : Peux-tu donner une indication du prix d’Open Rescue ?
AS : Pour le Matrice 4, nous devrions proposer une licence annuelle aux alentours de 500 euros H.T. pour 1 an. Pour les intégrateurs, c’est du sur mesure mais on parle de quelques dizaines de milliers d’euros de budget. Enfin, pour la version locale sur ordinateur, les tarifs débutent à 4 000 € H.T., ordinateur inclus.