Un œil rouge clignotant fixe l'utilisateur. Le système parle d'une voix froide et peu émouvante. "Je suis désolé, Dave", dit-il. "J'ai bien peur de ne pas pouvoir faire ça." Dans cette scène emblématique de 2001: A Space Odyssey, le protagoniste affronte l'assistant le moins utile au monde, HAL 9000. Au nom de l'auto-conservation, le système d'IA ignore ses ordres, ce qui entraîne la mort de l'équipage. Ce n'est pas l'avenir que tout le monde aimerait voir. Les gens veulent des ordinateurs qui aident l'humanité, sans la remplacer ni l'entraver. Ils espèrent créer un monde utopique et non dystopique dans lequel la technologie aide à trouver des solutions et non plus de problèmes. La technologie n'a jamais été aussi performante. C'est pourquoi notre manière de la créer et de l'utiliser doit autant dépendre de son fonctionnement. En plaçant l'humanité au premier plan, nous pouvons créer des technologies qui améliorent notre avenir.

Non pas que nous devions attendre jusqu'à cette date, bien sûr. De nombreuses technologies d'assistance optimisées par les avancées du machine learning facilitent déjà et enrichissent notre vie quotidienne. Les voitures autonomes susceptibles de réduire les embouteillages, la pollution et les accidents de la route commencent à apparaître à l'horizon. D'autres technologies, telles que les outils de traduction assistée par ML, les logiciels de diagnostic médical et les appareils contextuels, font partie du quotidien de nombreuses personnes. Fonctionnalités telles que la Rédaction intelligente dans Gmail, qui propose des suggestions à mesure que les utilisateurs saisissent des messages, Transcription instantanée sur Android, qui permet aux sourds et malentendants de bénéficier de sous-titres instantanés dans plus de 70 langues et dialectes, ou l'Assistant Google, toujours très utile, qui aide des millions de personnes à gérer leur emploi du temps au quotidien, et met en avant la vision de Google pour un avenir meilleur.

Cette idée d'innovation utile n'est pas plus importante que sur les appareils mobiles. Depuis son lancement en 2008, Android est devenu la plate-forme mobile la plus populaire au monde. Grâce aux progrès de la reconnaissance d'image et au machine learning, les utilisateurs peuvent désormais pointer l'appareil photo de leur smartphone vers du texte et le traduire en direct dans 88 langues via Google Traduction. De plus, les téléphones mobiles deviennent les appareils de prédilection dans le monde entier, en particulier dans les marchés en croissance rapide dans les pays en développement. Il est donc essentiel que les nouveaux outils soient conçus en tenant compte des applications centrées sur l'humain. L'innovation utile peut changer la façon dont nous accédons aux informations, les utilisons et les interprétons, afin de les rendre disponibles lorsque nous en avons besoin et là où nous en avons le plus besoin.

Cela implique de prévoir les inondations et d'envoyer des avertissements directement aux personnes concernées. Vous pouvez même prendre une photo d'un objet (une tasse à café, par exemple) ou obtenir un itinéraire vers un point de recyclage à proximité. Le développement de nouvelles technologies n'est pas simple. Elle repose sur les progrès matériels, les nouvelles découvertes dans le domaine des logiciels et les développeurs qui créent ces nouvelles expériences. En mettant l'accent sur l'innovation utile, l'Android Developer Challenge met en pratique des exemples concrets de machine learning auprès des utilisateurs et incite la prochaine génération de développeurs à exploiter tout le potentiel de cette nouvelle technologie.

Si vous venez de terminer votre diplôme universitaire, une souris est une créature agaçante qui se glisse parfois dans votre chambre dortoir la nuit. Vous n'avez utilisé une souris d'ordinateur que quelques fois et elle a été connectée à un système obsolète au sous-sol de la bibliothèque de votre établissement. Pourtant, vous pouvez le croire, la souris d'ordinateur a représenté une étape radicale vers la personnalisation de l'informatique, en facilitant l'interaction avec les ordinateurs.

À une époque où le fondateur de Digital Equipment Corporation, un grand producteur d'ordinateurs américain des années 1960 aux années 1990, a déclaré qu'il n'y avait aucune raison de vouloir avoir un ordinateur chez soi, Steve Jobs a été le pionnier de l'interface utilisateur graphique, centrée sur la souris, inaugurant l'informatique personnelle et une nouvelle ère dans le domaine de la conception. Depuis, la conception informatique a connu deux autres révolutions majeures, chacune ayant un pas vers une relation plus étroite, plus personnelle et plus humaine avec les appareils.

Android et iOS ont marqué le début du premier changement important, avec l'essor du mobile. Au départ, le mobile était moins onéreux: des écrans plus petits, moins d'énergie, moins de fonctionnalités. Les développeurs ont vite compris que c'était plus. Balayez l'écran, appuyez, touchez, tapotez (le jargon du mobile) l'a rendue plus sophistiquée en pensant au-delà de l'écran. Notre canevas n'est plus la bordure d'un écran. Aujourd'hui, il y a plusieurs couches d'informations, prêtes à vous servir. Compte tenu du contexte de lieu et d'identité, la conception informatique a ensuite connu deux autres révolutions majeures, chacune évoluant vers une relation plus étroite, plus personnelle et plus humaine avec les appareils.

Android et iOS ont marqué le début du premier changement important, avec l'essor du mobile. Au départ, le mobile était moins onéreux: des écrans plus petits, moins d'énergie, moins de fonctionnalités. Les développeurs ont vite compris que c'était plus. Balayez l'écran, appuyez, touchez, tapotez (le jargon du mobile) l'a rendue plus sophistiquée en pensant au-delà de l'écran. Notre canevas n'est plus la bordure d'un écran. Aujourd'hui, il y a plusieurs couches d'informations, prêtes à vous servir. Compte tenu du contexte de localisation, d'identité et de mouvement, les expériences humaines accessibles via les appareils mobiles ont échappé à ce que les ordinateurs de bureau pourraient offrir. Le machine learning, le prochain changement important, a mis au premier plan l'évolution vers la conception centrée sur l'humain.

S'il était audacieux de laisser entendre que des ordinateurs pourraient s'installer chez vous, il est sûrement plus audacieux d'avoir une conversation avec eux. Vous pouvez même diriger votre appareil photo vers une belle fleur, utiliser Google Lens pour identifier le type de fleur correspondant, puis définir un rappel pour commander un bouquet pour votre maman : "Google Lens peut utiliser des modèles de vision par ordinateur pour étendre et accélérer la recherche", explique Jess Holbrook, chercheur en utilisation chez Google et co-responsable de l'équipe People + AI Research. "Vous n'avez pas toujours besoin de l'appareil photo pour effectuer une recherche, mais cette fonctionnalité est utile si vous oubliez le nom d'un élément ou si vous devez vous arrêter pour saisir une longue description. L'appareil photo est tellement plus rapide."

Q. Qu'est-ce qui motive votre travail et votre intérêt pour l'IA ?

R. J'aimerais développer des technologies et les utiliser pour résoudre des problèmes difficiles d'une manière qui ait un impact. Les projets sur lesquels je travaille incluent des solutions d'IA conversationnelle comme Google Duplex, un système automatisé qui utilise des voix aux sonorités naturelles pour effectuer des tâches par téléphone comme effectuer des réservations au restaurant, la fonctionnalité Read It, qui permet à l'Assistant Google de lire des articles Web à voix haute depuis votre téléphone, et des technologies intégrées aux appareils telles que le filtrage d'appels et les sous-titres instantanés. L'utilisation générale de l'IA pour le bien commun m'intéresse aussi. Par exemple, il est possible d'améliorer la prévision des inondations grâce au machine learning, au cloud computing, aux simulations hydrauliques et à d'autres technologies.

Q. Comment l'initiative "AI for Social Good" a-t-elle été créée ?

R. Un bel attribut que je constate dans la culture Google, c'est que de nombreuses personnes s'intéressent à la technologie pour résoudre des problèmes importants. L'IA pour le bien commun peut s'appliquer à de nombreux domaines: la santé, la biodiversité, l'accessibilité, la réponse aux situations d'urgence, le développement durable, etc. Quelques-uns d'entre nous se sont réunis pour identifier des problèmes qui, si nous sommes en mesure de les résoudre, pourraient vraiment être bénéfiques pour la vie et la société des gens. Nous avons donc créé l'IA pour le bien commun afin d'aider tous ceux qui, internes ou externes à Google, travaillent sur des initiatives liées au bien commun. Les technologies de machine learning actuelles, qui sont disponibles via le cloud, permettent à de nombreuses personnes du monde entier d'obtenir les outils nécessaires pour identifier, et potentiellement résoudre, des problèmes sociétaux réels. C'est sans précédent.

Q. Quel rôle peuvent jouer les technologies sur l'appareil ?

Les appareils mobiles d'aujourd'hui sont de plus en plus puissants. Cela nous permet d'exploiter des techniques de machine learning pouvant s'exécuter sur l'appareil. Ce point est important pour plusieurs raisons, telles que la possibilité d'accéder instantanément à certaines applications sans dépendre de la connectivité. Cette étape est également importante dans les situations où vous avez affaire à des données à caractère personnel et que vous souhaitez que rien ne sorte de votre appareil. Le filtrage d'appels, les sous-titres instantanés et le relais en direct montrent comment l'utilisation de l'IA conversationnelle intégrée à l'appareil peut aider les utilisateurs à mieux contrôler leurs appels entrants, à permettre aux personnes malentendantes de voir les sous-titres instantanés des conversations et même de tenir des conversations téléphoniques.

Q. Pourquoi l'intelligence ambiante change-t-elle la donne ?

R. La puissance d'une technologie utile émerge lorsqu'elle est tellement intégrée à notre environnement qu'elle fonctionne sans que nous n'y ayons à nous soucier. De nombreuses technologies nous surprennent au départ, mais nous les considérons rapidement comme acquises. L'IA conversationnelle élimine les obstacles liés aux modalités et aux langages, et permet une meilleure interaction. En amenant les machines à mieux nous comprendre et à nous parler de manière naturelle (qui devient presque ambiante), les utilisateurs peuvent éliminer la charge cognitive d'avoir à demander explicitement quelque chose et interagir plus naturellement.

Q. Pourquoi est-il si important de rendre les outils de machine learning accessibles ?

R. L'Android Developer Challenge montre l'importance d'ouvrir le cloud et la technologie sur les appareils. Nous sommes ravis de voir les innovations venant du monde entier et de tout le monde. Nous voulons être en mesure d'encourager, de soutenir, d'inspirer et de conseiller chaque fois que cela est possible. Ce que j'ai constaté de la part des participants à ce programme me passionne. Si nous pouvons les aider à faire connaître leur passion à l'échelle mondiale et à exploiter des technologies de pointe, nous obtiendrons des résultats étonnants et innovants, qui peuvent être absolument utiles.

Comment tirer parti des fonctionnalités et outils de machine learning révolutionnaires sur mobile ? La réponse est TensorFlow Lite. Ce puissant framework de machine learning peut vous aider à exécuter des modèles de machine learning sur des appareils Android et iOS qui ne seraient normalement jamais compatibles avec ces modèles. À l'heure actuelle, TensorFlow Lite est actif sur des milliards d'appareils dans le monde. Cet ensemble d'outils peut être utilisé pour toutes sortes d'applications puissantes liées aux réseaux de neurones, de la détection d'images à la reconnaissance vocale, permettant ainsi aux appareils que nous emmenons partout avec nous d'utiliser les dernières technologies de pointe.

TensorFlow Lite permet d'effectuer une grande partie du traitement du machine learning sur les appareils eux-mêmes, à l'aide de modèles moins gourmands en ressources de calcul, qui ne dépendent pas d'un serveur ni d'un centre de données. Ces modèles s'exécutent plus rapidement, peuvent améliorer la confidentialité, consomment moins d'énergie (la connectivité peut être très gourmande en batterie) et, dans certains cas, ne nécessitent pas de connexion Internet. Sur Android, TensorFlow Lite accède à des accélérateurs mobiles spécialisés via l'API Neural Network afin d'améliorer les performances tout en réduisant la consommation d'énergie.

"TensorFlow Lite offre des cas d'utilisation qui n'étaient pas possibles auparavant, car les latences aller-retour vers le serveur rendaient ces applications non démarrées", explique Sarah Sirajuddin, directrice de l'ingénierie pour TensorFlow Lite. "C'est par exemple le cas de la reconnaissance vocale sur l'appareil, des fonctionnalités vidéo interactives en temps réel et des améliorations en temps réel au moment de la prise de photos." "Dans ce domaine, les innovations sont phénoménales, et ce n'est pas fini", poursuit-elle. "L'autre aspect intéressant de cette solution est qu'elle facilite le machine learning, en favorisant la créativité et les talents."

Texte rédigé par Luke Dormehl

Illustration de Sarah Maxwell

ML Kit fournit les technologies de machine learning de Google aux développeurs d'applications mobiles afin qu'ils puissent créer des expériences personnalisées et interactives dans leurs applications. Cela inclut des outils tels que la traduction, la reconnaissance de texte, la détection d'objets, etc. ML Kit permet d'identifier, d'analyser et, dans une certaine mesure, de comprendre les données visuelles et textuelles en temps réel et d'une manière respectueuse de la confidentialité des utilisateurs, puisque les données restent sur l'appareil. "Cela rend le machine learning beaucoup plus accessible", déclare Brahim Elbouchikhi, directeur de la gestion des produits.

"Nous mettons les modèles de ML de pointe de Google à disposition sous la forme d'un ensemble simple d'outils. Les développeurs n'ont donc plus besoin d'être des experts en ML pour créer des applications basées sur le ML. Toute la complexité étant masquée, les développeurs peuvent se concentrer sur leur produit principal." Par exemple, des outils tels que Language ID vous aident à identifier la langue d'une chaîne de texte, tandis que la détection et le suivi d'objets permettent de localiser et de suivre en temps réel un ou plusieurs objets dans une image ou un flux de caméra en direct.

C'est ce qui permet aux applications gagnantes du concours Android Developer Challenge, comme Trashly, de différencier les matériaux recyclables des matériaux non recyclables, tandis que les UnoDogs aident à différencier les chiens sains de ceux qui ne sont pas sains. Et l'avenir ? L'objectif est de faire disparaître la technologie en arrière-plan et que les appareils comprennent mieux nos besoins, explique Elbouchikhi. "ML Kit nous aide à tenir cette promesse en permettant aux développeurs de créer des expériences intuitives et adaptatives, tout en favorisant la confidentialité et la confiance des utilisateurs."

Texte de Joanna Goodman

Illustration de Tor Brandt

Aujourd'hui, plus de 400 millions de personnes utilisent quotidiennement un service appelé "Mobile Money", qui vous permet d'envoyer de l'argent, de payer des factures d'eau, de gaz ou d'électricité ou de retirer de l'argent de kiosques mobiles à l'aide d'USSD, ces codes rapides que vous envoyez sur votre téléphone. Bien que le mobile Money soit utilisé par des utilisateurs du monde entier, il est particulièrement utile dans un pays comme la République démocratique du Congo (RDC), où 46% de la population vit dans des zones rurales sans banque traditionnelle ni accès Internet stable. Malheureusement, le processus est long et difficile à utiliser, en particulier pour les personnes qui ont des difficultés à lire et à utiliser des chiffres. Une erreur s'est produite et ils doivent recommencer.

Si un code erroné est utilisé, l'argent peut être envoyé à la mauvaise personne. Esske simplifie l'expérience en la rendant plus intuitive et accessible. Dans l'application, les utilisateurs peuvent même consulter et suivre leurs transactions en direct.Ils peuvent également transférer de l'argent, payer des factures, souscrire des abonnements, ainsi que du temps de communication essentiel pour envoyer des SMS, utiliser des données et passer des appels. Alors que la plupart des services bancaires mobiles exigent des utilisateurs qu'ils saisissent manuellement le code USSD de leur téléphone mobile, la fonction Quick Withdraw d'Eskke traite ces informations automatiquement.

Des outils tels que la reconnaissance de texte hors connexion et la lecture de codes-barres de ML Kit permettent aux utilisateurs de scanner simplement le code QR à une borne mobile de retrait de fonds et de retirer rapidement de l'argent. L'appli est disponible pour les utilisateurs en RDC et sera étendue aux opérateurs mobiles de paiement dans d'autres pays africains.

Texte d'Arielle Bier

Illustration de Frances Haszard

Alors que le changement climatique se fait sentir dans le monde entier, les gens cherchent à réduire leur empreinte carbone et à envoyer moins de déchets à la décharge.

Si la plupart des villes proposent des services de recyclage, de nombreux endroits appliquent des règles, des restrictions et des réglementations différentes. En raison de problèmes d'étiquetage et de règles incohérentes, les objets non recyclables remplissent plus de 25% des déchets de recyclage.

Avec la corbeille, les consommateurs peuvent recycler leurs produits plus facilement. Il vous suffit de pointer l'appareil photo vers un objet, puis, grâce à la détection d'objets, l'application identifie et classe les gobelets en plastique et en papier, sacs, bouteilles, etc. Après avoir analysé ces informations à l'aide d'un modèle TensorFlow Lite personnalisé, elle indique si l'objet est recyclable et comment le recycler (en fonction des règles locales) et fournit des informations sur les poubelles de recyclage à proximité.

Actuellement actif dans l'Illinois, la Pennsylvanie et la Californie, Trashly permet de trouver 1 000 centres de recyclage grâce à la fonctionnalité "À proximité". Le service prévoit de l'étendre à d'autres États et pays à l'avenir, afin de favoriser des habitudes responsables qui font toute la différence.

Texte d'Arielle Bier

Illustration d'Aless Mc

Les chiens dépendent de leurs propriétaires pour leurs activités quotidiennes, leur alimentation et leurs soins. Pourtant, malgré leurs meilleures intentions, de nombreux chiens adorés finissent par être en surpoids, ce qui réduit jusqu'à 25 % la durée de vie de l'animal. UnoDogs aide les propriétaires à mieux prendre soin de leur animal en leur fournissant des informations personnalisées et des programmes de remise en forme. En suivant et en mesurant la santé des chiens, et en leur donnant des conseils précis, UnoDogs s'attaque aux problèmes de santé avant même qu'ils ne surviennent.

En s'appuyant sur la fonctionnalité AutoML Vision de Google Cloud Platform pour entraîner un modèle de détection d'objets à analyser en direct, UnoDogs peut calculer le score de condition corporelle des chiens, et proposer des recommandations sur le poids et la taille idéaux. Dans les prochaines versions,d'autres fonctionnalités basées sur le ML seront disponibles, telles que les recommandations d'aliments, les tests d'agilité et les programmes de remise en forme.

Les informations sur le poids et les activités physiques sont ensuite combinées à une analyse en temps réel, offrant ainsi des programmes d'exercices et de repas faciles à suivre, conçus pour que le propriétaire reste concentré et inspiré pour que son chien puisse mener sa vie au mieux.

Texte d'Arielle Bier

Illustration de Choi Haeryung

La maladie des cultures représente une menace constante pour les agriculteurs du monde entier. De plus, les impacts de l'insécurité alimentaire sur la santé, la société et l'économie peuvent être dévastateurs. AgriFarm aide les agriculteurs à détecter les maladies des plantes et à éviter d'importants dégâts. Pour rendre cela possible, le classificateur de réseaux de neurones profonds, utilisé pour identifier le type de maladie, est hébergé sur Google Cloud AI Platform.

Parmi les autres fonctionnalités figurent des bulletins météo, des recommandations de vidéos et des prédictions de prix. Conçu pour une utilisation dans les zones rurales isolées et disposant d'un accès limité à Internet, AgriFarm couvre les fruits et légumes tels que les tomates, le maïs et les pommes de terre, et étend l'ensemble de données pour qu'il fonctionne dans le monde entier.

Texte d'Arielle Bier

Illustration de Buba Viedma

En s'appuyant sur un modèle de crowdsourcing, AgroDoc aide les agriculteurs à collecter des données auprès d'agriculteurs ayant des emplacements géographiques et des climats similaires pour diagnostiquer les maladies des plantes et établir des plans de traitement. Avec l'application, une feuille infectée est analysée par une caméra intégrée à l'appareil, et la bibliothèque TensorFlow Lite permet de détecter le type de maladie.

Les données sont analysées en même temps que les principaux symptômes, et des mesures simples permettent d'améliorer la santé de la plante.

Texte d'Arielle Bier

Illustration de Buba Viedma

Le stress existe sous de nombreuses formes, à la fois positives et négatives. Heureusement, nos corps sont conçus pour s'autoréguler et s'adapter à l'évolution des circonstances. Toutefois, lorsque des conditions ou des événements extrêmes sont à l'origine de niveaux de stress élevés, des effets négatifs peuvent s'accumuler, entraînant de l'anxiété, une dépression et des dommages à long terme sur la santé. Stila (suivi du stress dans les activités d'apprentissage), surveille et suit les niveaux de stress du corps afin que les utilisateurs puissent mieux comprendre et gérer le stress de leur vie. Pour rendre cela possible, l'application pour smartphone fonctionne avec un accessoire connecté, comme le bracelet Fitbit ou un appareil fonctionnant sur Wear OS by Google, afin d'enregistrer leurs biocommentaires.

Un modèle personnalisé Firebase détecte et classe les contraintes, tandis que l'interpréteur TensorFlow Lite permet de traiter les informations hors connexion. L'application suit les niveaux de stress du corps et est associée à de brefs rapports sur les événements de la vie et l'environnement de l'utilisateur. Ensuite, un score de niveau de stress est calculé, ce qui permet d'estimer le niveau de stress lors de certaines activités. Comme chaque personne réagit différemment aux facteurs de stress et aux stimuli, Stila apprend grâce à ces rapports et s'adapte à son fonctionnement. Elle fournit ensuite des commentaires en fonction du rythme et des besoins de chaque utilisateur.

Les caractéristiques individuelles peuvent être utilisées pour personnaliser davantage l'expérience utilisateur grâce à l'apprentissage par transfert. En détectant et en surveillant leur niveau de stress au fil du temps, les utilisateurs ont la possibilité de mieux gérer le stress de leur vie.

Texte d'Arielle Bier

Illustration de Linn Fritz

MixPose est une plate-forme de diffusion en direct qui permet aux enseignants de yoga et aux professionnels du fitness d'enseigner, de suivre l'alignement et de donner leur avis en temps réel. Les vidéos de fitness statiques ne partagent des informations que dans une seule direction. Mais avec cette application, les enseignants peuvent personnaliser leurs cours et répondre directement aux besoins de leurs élèves. Le suivi des postures détecte que les mouvements de chaque utilisateur et les positions sont classées à l'aide de ML Kit et de PoseNet.

Les capteurs en direct et les systèmes de rétroaction les informent ensuite de leur alignement. Ajout d'une sortie aux fonctionnalités vidéo, comme Chromecast, pour se connecter facilement à des écrans plus grands pour un visionnage plus immersif. Conçue pour les 37 millions d'Américains qui pratiquent le yoga, MixPose a réuni plus de 100 professeurs de yoga pour son lancement. En innovant avec l'IA en périphérie, la 5G et les smart TV, cette plate-forme propose des cours interactifs directement aux utilisateurs, dans le confort de leur maison.

Texte d'Arielle Bier

Illustration par Rachel Levit Ruiz

Plus de 7 millions de personnes en Inde ont des troubles de l'audition et de la parole, mais peu ont accès à l'enseignement de la langue des signes. En raison de la diversité des langues et des dialectes, il est presque impossible de créer une forme de communication standard.

Avec Leepi, les élèves peuvent apprendre les gestes de la main et les symboles de la langue des signes américaine. Elle utilise la reconnaissance des lettres, des symboles, des visages et de l'intention, et propose des exercices interactifs et des commentaires en temps réel. La bibliothèque TensorFlow Lite et le framework MediaPipe ont été utilisés pour rendre le traitement sur l'appareil plus précis et simplifié. Surtout, il est conçu pour une utilisation hors connexion afin que davantage d'élèves puissent apprendre sans difficulté.

Texte d'Arielle Bier

Illustration de Xuetong Wang

Un bon sommeil est essentiel au repos et à la réparation du corps humain. Pourtant, 25% des adultes ronflent de façon régulière, ce qui peut perturber le sommeil et entraîner des problèmes de santé chroniques.

Grâce à la capture, l'analyse et la classification de contenu audio avec TensorFlow Lite, l'application Ronflement et toux identifie les ronflements et la toux, afin d'aider les utilisateurs qui recherchent l'aide d'un professionnel de santé.

Texte d'Arielle Bier

Illustration de Xuetong Wang

Dans les lieux publics, comme un centre commercial ou une rue bondée, les obstacles en mouvement changent constamment de manière inattendue. Les expériences sensorielles telles que la vue, le son et le toucher peuvent aider à éviter les collisions et les accidents. Mais pour les déficients visuels, naviguer dans les environnements publics implique d'être confronté à une série d'inconnues. Path Finder pourrait aider les personnes ayant une déficience visuelle à traverser des situations aussi complexes en identifiant et en calculant la trajectoire des objets se déplaçant sur leur trajet.

Les alertes personnalisées indiquent ensuite à l'utilisateur comment éviter ces obstacles et lui suggèrent des mesures qu'il peut prendre en toute sécurité. Cette application utilise la détection d'objets de TensorFlow Lite pour calculer les distances des objets environnants. Elles sont conçues pour améliorer l'expérience utilisateur, partager des informations et aider les utilisateurs, sans les submerger dans des situations difficiles. C'est pourquoi le processus de configuration de Path Finder est conçu pour s'engager dans la conversation et est personnalisé pour les utilisateurs ayant une vision limitée ainsi que pour ceux qui les aident.

Les retours audio et haptiques font partie du système d'alerte d'obstacles, tandis qu'une plage de hauteurs et de fréquences communique la distance et la direction de chaque objet. Les motifs audio, comme le code Morse, sont ensuite superposés et combinés pour partager des informations supplémentaires. Path Finder peut aider les utilisateurs déficients visuels à tirer parti de la clairvoyance, ce qui facilite la navigation dans les environnements publics.

Texte d'Arielle Bier

Illustration de Sonya Korshenboym