À l'ère des avancées technologiques, le Suivi des mains est une technologie fascinante avec une large gamme d'applications en réalité virtuelle et augmentée.
Le Suivi des mains est un processus par lequel un ordinateur peut analyser et interpréter le mouvement des mains d'une personne. Cela peut être fait à l'aide de divers dispositifs comme les gants intelligents, souvent appelés gants de données.
Dans cet article, nous discuterons de la technologie de Suivi des mains, de ses diverses applications et comment la créer à l'aide de Python, OpenCV et Media Pipe.
Dans cet article
Partie 1. Qu'est-ce que le Suivi des mains ? Où est-il utilisé ?
Le suivi des mains fait référence au processus de suivi de la position et du mouvement des mains d'un utilisateur dans la réalité virtuelle. Ce processus se fait généralement à l'aide d'une combinaison de capteurs, y compris des caméras, des capteurs infrarouges ou des capteurs à ultrasons.
En suivant la position et le mouvement des mains de l'utilisateur, les systèmes VR peuvent offrir des expériences plus immersives et interactives. Par exemple, on utilise le suivi des mains pour permettre aux utilisateurs d'interagir avec des objets virtuels, ainsi que pour fournir des informations sur les gestes et le langage corporel.
L'Oculus Quest 2 est un casque de réalité virtuelle qui vous plonge dans des mondes virtuels. L'une des fonctionnalités les plus intéressantes de Quest 2 est le suivi des mains, permettant à son utilisateur d'interagir avec le monde virtuel qui l'entoure en utilisant ses mains.
Avec le suivi des mains, vous pouvez interagir avec le monde virtuel de manière plus naturelle et intuitive. Vous pouvez utiliser vos mains pour ramasser des objets, dessiner et même taper sur un clavier virtuel. En outre, cette technologie ouvre de nouvelles possibilités de gameplay, vous permettant de jouer à des jeux de manière nouvelle et innovante.
Partie 2. Les types de suivi des mains
Il existe deux principaux types de suivi des mains : suivi avec interface et suivi sans interface :
Suivi avec interface
Avec le type de suivi des mains avec interface, il faut utiliser un appareil tel qu'un gant ou une manette pour pouvoir interagir avec le monde virtuel. Il peut être utilisé dans les applications VR ou AR. Ce type est également divisé en deux systèmes :
1. Gants de capture de mouvement inertiel
Les gants de capture de mouvement inertiel utilisent des capteurs Unités de mesure inertielle ou IMU avec capteurs intégrés pour le suivi des mouvements des mains. Ces capteurs comprennent des gyroscopes, des accéléromètres et parfois des magnétomètres pour mesurer la vitesse angulaire, détecter la force et l'accélération gravitationnelles et mesurer le champ magnétique terrestre, respectivement.
Ces gants peuvent être utilisés à diverses fins, telles que les jeux, la réalité virtuelle et la capture de mouvement pour les films et les jeux vidéo. Les gants de capture de mouvement inertiel deviennent de plus en plus populaires puisqu'ils offrent une expérience plus immersive que les contrôleurs traditionnels.
2. Systèmes optiques de capture de mouvement
La capture de mouvement optique est un processus fait appel à des caméras et des capteurs réfléchissants pour suivre le mouvement dans un espace tridimensionnel. Ce type de système est souvent utilisé dans les films et les jeux vidéo pour créer des animations réalistes.
Les systèmes de capture de mouvement optique émettent une lumière infrarouge à partir de la caméra. Les caméras captent la lumière réfléchie par les marqueurs. Le mouvement des marqueurs est ensuite utilisé pour créer un modèle tridimensionnel de l'objet.
La précision des résultats dépendra du nombre de caméras utilisées. Malgré la haute précision de cette technologie, elle peut être limitée par des facteurs tels que la position du corps et les mouvements.
Suivi sans interface
Également connu sous le nom de suivi des mains sans marqueur, le suivi des mains sans interface permet aux utilisateurs de suivre les mouvements de leurs mains sans avoir besoin de marqueurs externes ou de gants de données, ce qui signifie une interaction plus spontanée et une liberté de mouvement. Cela pourrait avoir un impact considérable sur tous les aspects, du jeu à la réalité virtuelle en passant par l'interaction homme-ordinateur.
À l'heure actuelle, le suivi des mains sans marqueur en est encore à ses débuts, avec quelques limitations. Cependant, à mesure que cette technologie continue de se développer, nous en verrons probablement de plus en plus d'applications à l'avenir.
Partie 3. Utilisation de Python, OpenCV et MediaPipe pour créer un suivi des mains
Avec les paragraphes précédents, nous avons appris ce qu'est le suivi des mains et ses deux types. Voyons maintenant comment créer un suivi des mains avec deux bibliothèques Python - OpenCV et MediaPipe.
Avant d'aller plus loin, d'abord, allons découvrir rapidement Python. Python est un langage informatique polyvalent utilisé pour une multitude de tâches, notamment le traitement d'images et la vision par ordinateur. Nous allons utiliser Python et deux de ses bibliothèques : OpenCV et MediaPipe, pour créer un module de suivi des mains.
C'est quoi OpenCV
Pour mieux comprendre ce qu'est OpenCV, veuillez lire notre article : Suivi Opencv, le test complet.
Qu'est-ce que Media Pipe
Media Pipe est un framework open-source de Google qui fournit un ensemble d'outils pour travailler avec des données multimédias ou le traitement des médias. Cela inclut des modules de gestion d'audio, de vidéo et d'images. Media Pipe prend également en charge divers codecs et formats de fichiers.
Il existe deux étapes pour la création d'un programme de suivi des mains avec MediaPipe :
- Détection de la paume : lors de cette première étape, MediaPipe doit travailler avec l'intégralité de l'image d'entrée, en fournissant une image recadrée de la main.
- Identification des repères de la main : dans la deuxième étape, le cadre fonctionne avec l'image recadrée de la main pour trouver les 21 repères de la main.
Guide avec de étapes
Avant de commencer la création de la suivi des mains, vous devez installer l'application Pycharm IDE sur votre ordinateur. Dès lors, exécutez-le et suivez les instructions suivantes étape par étape :
Installez OpenCV et MediaPipe
Cliquez sur l'option " Nouveau projet " et appuyez sur " Créer " dans la fenêtre suivante. Ouvrez le Terminal pour installer les deux bibliothèques.
Copiez et collez la commande suivante dans le Terminal pour installer OpenCV :
Maintenant, pour installer MediaPipe, copiez et collez la commande suivante :
Codage
Une fois que vous aurez créé un nouveau projet, un fichier main.py pour l'écriture du code sera automatiquement créé dans l'application Pycharm.
Étape 1 Importation des bibliothèques
Tout d'abord, vous devez importer OpenCV et MediaPipe pour utiliser leurs dépendances. Une fois importées, créez un objet cap pour la capture vidéo et trois autres objets ; mpHands, mains, et mpDraw pour manipuler votre entrée à l'aide de MediaPipe.
Étape 2Capture et traitement d'une entrée d'image
Copiez et collez la ligne de code suivante pour prendre l'entrée d'image de la webcam de votre PC.
L'image est convertie en RVB à partir de BVR car MediaPipe fonctionne avec ce type d'image. L'image RVB est ensuite traitée pour suivre la main.
Étape 3Travail avec les deux mains
Créez maintenant une classe pour le suivi et pour que la fonction des mains fonctionne, saisissez les paramètres de base. Ensuite, il faut fournir toute l'initialisation requise. Cela inclut les paramètres de base et les initialisations de MediaPipe. Placez " self " avant chaque objet pour donner accès à ses attributs et méthodes.
Étape 4 Création d'une méthode de suivi des mains dans l'image d'entrée
Par la suite, utilisez le code ci-dessus pour créer une méthode à utiliser spécifiquement pour identifier les mains dans l'image d'entrée. Le code dessinera également les repères et les connexions de main.
Étape 5Localisation des coordonnées « X » et « Y » de chaque point de la main
Écrivez le code ci-dessous pour créer une méthode permettant de trouver les coordonnées x et y des 21 points de la main et une liste que vous utiliserez pour conserver les valeurs de ceux-ci :
Dans cette méthode, utilisez le code que vous avez utilisé pour trouver l'identifiant et le point de repère de chaque main. De plus, mettez le code que vous utiliserez pour encercler le point de la main.
Étape 6Méthode principale
Dans cette étape, écrivez le code factice ci-dessous pour montrer ce que le module peut faire, c'est-à-dire identifier et suivre les mains. Le code apparaît dans la méthode principale et utilise l'objet lmlist et image.
Étape 7Exécution de la méthode principale
Pour exécuter la méthode principale, copiez et collez les lignes de code suivantes :
Étape 8Résultats
Le module et la sortie du programme seront les mêmes, et lorsqu'ils seront terminés sans aucune erreur, vous obtiendrez votre sortie, c'est-à-dire que le module suivra et identifiera les mouvements de votre main sans problème.
Partie 4. Utilisez Filmora pour démontrer votre compétence en suivi des mains
Après ce qui a été expliqué ci-dessus et ce que vous avez appris à ce jour, nous espérons que vous avez disposé des connaissances du module de suivi des mains et que vous êtes prêt à passer à l'action. En outre, nous vous recommanderons sincèrement un éditeur vidéo convivial et professionnel pour montrer votre scène de mouvement de la main – Filmora !
Filmora est disponible pour tous les types d'utilisateurs. Vous pouvez facilement l'utiliser pour éditer votre vidéo, y ajouter des effets et insérer naturellement votre scène de mouvement de la main.
En savoir plus sur Filmora :
Conclusion
Dans cet article, nous avons exploré le suivi des mains et ses deux types, à savoir le suivi avec interface et le suivi sans interface. Nous avons également fourni des guides étape par étape pour l'utilisation de Python, OpenCV et MediaPipe afin de créer un module de suivi des mains.
Nous espérons que ce guide vous a aidé à répondre à vos questions et vous pouvez désormais créer un module de suivi des mains en un rien de temps. Et s'il vous plaît, essayez Filmora pour créer une vidéo magique avec vos scènes de suivi des mains !
