Le suivi d'objets multiples (MOT) dans une vidéo est un processus difficile qui a de nombreuses applications dans les secteurs public et privé. Les caméras de surveillance dans les lieux publics peuvent suivre les criminels potentiels, tandis que les magasins de détail peuvent utiliser le suivi des objets pour surveiller le comportement des clients.
Développée en 1988 par Zenon Pylyshyn, la MOT est une technique initialement conçue pour étudier la capacité du système visuel humain à suivre des objets multiples en mouvement. Cependant, depuis lors, diverses méthodes ont été introduites pour le suivi des objets par la vision par ordinateur.
Dans cet article, nous allons explorer le suivi multi-objets et fournir un guide détaillé sur le suivi des objets et la nécessité de suivre plusieurs objets.
Dans cet article
Partie 1. Qu'est-ce que le suivi d'objets ?
Le suivi des objets est une application de la vision par ordinateur qui consiste à suivre le mouvement des objets en temps réel. Il s'agit d'un outil utile pour de nombreux objectifs différents, tels que la vidéosurveillance, l'interaction homme-machine et la sécurité automobile.
L'algorithme de suivi des objets est un programme basé sur l'apprentissage profond qui fonctionne en développant un modèle pour chaque objet individuel et en créant un ensemble de trajectoires pour représenter leur mouvement. Cela se fait par le biais d'une indication, comme un carré qui suit l'objet et informe les utilisateurs de son emplacement sur l'écran en temps réel.
Ses algorithmes sont conçus pour fonctionner avec différents types de données, qu'il s'agisse d'images, de vidéos ou de séquences en temps réel. Les données que vous prévoyez d'utiliser auront une incidence sur la catégorie, les cas d'utilisation et les applications de suivi des objets.
Partie 2. Types de suivi d'objets
Il existe deux principaux types ou niveaux de suivi des objets : SOT et MOT
SOT
Le suivi d'un objet unique ou suivi d'un objet visuel est un processus dans lequel la boîte de délimitation de l'objet cible est assignée au tracker dans la première image. Le tracker détecte ensuite le même objet dans toutes les autres images.
SOT ne détecte et ne suit qu'un seul objet et entre dans la catégorie du suivi sans détection, ce qui implique qu'il est initialisé manuellement avec un nombre fixe d'objets, même si d'autres objets sont présents dans les images.
Comprenons-le à l'aide d'un exemple : Un service de police résout une affaire de meurtre impliquant une voiture sur l'autoroute. Ils ont reçu les images des caméras de surveillance et ont voulu suivre le véhicule pour résoudre le mystère. Cependant, cela peut prendre du temps de le faire manuellement. Par conséquent, ils utiliseront le processus de suivi d'un objet unique et attribueront au tracker une boîte englobante pour la voiture cible afin de vérifier ce qui lui arrive.
MOT
Le suivi d'objets multiples implique le suivi de plusieurs objets dans une image. Depuis son développement en 1988 par Zenon Pylyshyn, plusieurs expériences ont été menées pour voir comment les systèmes de vision humaine et informatique peuvent détecter et suivre plusieurs objets dans une image.
En sortie, le suivi multiple crée plusieurs boîtes de délimitation qui sont identifiées à l'aide de certains paramètres tels que les coordonnées, la largeur, la hauteur, etc. Le programme MOT n'est pas pré-entraîné en ce qui concerne l'apparence ou la quantité d'objets à suivre.
En outre, l'algorithme attribue un identifiant de détection à chaque boîte, ce qui aide le modèle à identifier les objets d'une même classe. Par exemple, si plusieurs voitures se trouvent dans un cadre, l'algorithme MOT identifiera chaque voiture comme un objet distinct et leur attribuera un identifiant unique.
Partie 3. Quels sont les besoins en matière de suivi d'objets multiples ?
Ci-dessus, l'explication de la MOT. Dans cette partie, nous allons nous concentrer sur son mécanisme. Voici quelques-unes des exigences les plus importantes du suivi multi-objets :
1. Détection
La meilleure approche pour détecter les objets qui vous intéressent dépend de ce que vous essayez de suivre et si la caméra est fixe ou en mouvement.
MOT utilisant une caméra stationnaire
L'objet système vision.ForegroundDetector peut être utilisé pour détecter des objets en mouvement sur un arrière-plan fixe en effectuant une soustraction d'arrière-plan. Cette approche est efficace mais nécessite que la caméra soit immobile.
MOT utilisant une caméra mobile
Une approche de détection par fenêtre coulissante est souvent utilisée avec une caméra mobile pour détecter les objets en mouvement. Cependant, cette approche est plus lente que la méthode de soustraction de l'arrière-plan.
Utilisez les méthodes suivantes pour tracer les catégories d'objets données.
| Type d'objet de suivi | Position de la caméra | Approche |
| Catégorie d'objet personnalisée | Stationnaire/Mouvement | détecteur personnalisé à fenêtre coulissante utilisant selectStrongestBbox et extractHOGFeatures ou la fonction trainCascadeObjectDetector |
| Piétons | Stationnaire/Mouvement | vision.PeopleDetector Objet du système |
| Objet en mouvement | Stationnaire | vision.ForegroundDetector Objet du système™ |
| Visages, haut du corps, bouche, nez, yeux, etc. | Stationnaire/Mouvement | vision.CascadeObjectDetector Objet du système |
2. Prédiction
La deuxième exigence pour le suivi multi-objets est la " prédiction ". Dans ce cas, vous devez prédire la position de l'objet à suivre dans l'image suivante. Pour ce faire, vous pouvez concevoir le modèle pour utiliser le filtre de Kalman (vision.KalmanFilter).
Cela permettra de prédire le prochain emplacement de l'objet dans les cadres. Pour cela, il tiendra compte de la vitesse constante de l'objet, du bruit de mesure à accélération constante et du bruit de processus. Le bruit de mesure est la détection d'une erreur, tandis que le bruit de processus est la variation du mouvement réel de l'objet par rapport à celui du modèle de mouvement.
3. Association de données
L'association de données est une étape essentielle du suivi d'objets multiples et consiste à relier entre eux les points de données qui représentent la même chose dans différentes images.
Une " piste " est l'historique temporel d'un objet constitué de plusieurs détections et peut inclure l'historique complet des emplacements passés de l'objet ou simplement le dernier emplacement connu de l'objet et sa vitesse actuelle.
Partie 4. Approches du suivi des objets
Après avoir compris les besoins du MOT, découvrons la théorie du fonctionnement du suivi des objets.
Les approches suivantes sont les plus populaires pour le suivi des objets :
1. Suivi d'objets basé sur OpenCV
Il existe de nombreuses façons d'aborder le suivi des objets, mais l'une des plus populaires est l'utilisation d'algorithmes intégrés dans la bibliothèque OpenCV.
La bibliothèque possède une API de suivi contenant des algorithmes de suivi d'objets et huit trackers : BOOSTING, MEDIANFLOW, MIL, KCF, CSRT, TLD, GOTURN et MOSSE. Chaque tracker a ses propres avantages et inconvénients et poursuit des objectifs différents. Par exemple, le tracker MOSSE est le meilleur pour le suivi le plus rapide des objets.
Pour avoir une revue plus approfondie du suivi d'objets OpenCV et de ce qu'est OpenCV, veuillez lire notre article sur : Le suivi d'objets OpenCV : Un Guide complet en 2022.（同期交付，可以插这个文章主题的内链）
2. MDNet
MDNet représente une avancée dans le domaine du suivi car il s'agit du premier réseau à utiliser des modèles basés sur la classification au lieu de l'approche plus traditionnelle. Cela rend MDNet beaucoup plus rapide et plus précis que les autres méthodes de suivi.
Inspiré du réseau de détection d'objets R-CNN, l'algorithme MDNet peut détecter des objets en temps réel plus efficacement et plus rapidement, ce qui en fait un tracker visuel de pointe.
3. DeepSort
DeepSort est le choix d'algorithme de suivi d'objet le plus populaire. L'intégration d'informations sur l'apparence ou de métriques de distance d'apparence profonde améliore considérablement les performances de DeepSORT.
L'ajout de la métrique de distance " Deep Appearance " permet à DeepSort d'éviter d'identifier les commutateurs de 45 % et de gérer des scénarios complexes. Sur le jeu de données MOT17, DeepSORT a obtenu 77,2 IDF1 et 75,4 MOTA avec 239 commutateurs d'identification mais un FPS inférieur de 13.
4. ROLO
ROLO - une combinaison de YOLO et de LSTM est un réseau neuronal convolutif spatio-temporel qui utilise le module YOLO et le réseau LTSM pour collecter les caractéristiques visuelles, les prieurs d'inférence de localisation et la localisation de la trajectoire de l'objet cible.
Le réseau LSTM utilise un vecteur de caractéristiques d'entrée d'une longueur de 4096 pour chaque image afin de prédire l'emplacement de l'objet cible. Ce vecteur est obtenu en combinant les caractéristiques visuelles de haut niveau avec la détection YOLO. En travaillant ensemble, le LSTM et le YOLO peuvent prédire l'emplacement de l'objet cible avec plus de précision.
ALT TEXT : rolo pour le suivi des objets
Conclusion
Dans ce guide ultime, nous avons abordé le suivi multi-objets et ses exigences. Nous avons également exploré différentes approches du suivi des objets pour vous aider à déterminer celle qui répond le mieux à vos besoins.
Nous espérons que ce guide vous a été utile et que vos questions relatives au suivi des objets et à ses types ont été résolues.
