Afin de s'adapter à l'environnement urbain ouvert, les corps intelligents doivent capturer les mouvements corporels des personnes environnantes et la structure de la scène en temps réel. La perception traditionnelle signifie que les capteurs et les caméras inertiels, qui ont les problèmes de dérive de données de longue date et de sensibilité aux changements dynamiques de lumière et d'environnement, sont difficiles à répondre à la demande de mouvement du corps humain et de capture de scène dans des environnements complexes dans l'application domaines de la conduite intelligente, de la robotique de service et de la formation sportive.
Depuis 2022, l'équipe du professeur Cheng Wang et du professeur Chenglu Wen a été la première à proposer la technologie de capture de mouvement humain Lidar dans l'arène internationale (Lidarcap, CVPR 2022; HSC4D, CVPR 2022; SLOPER4D, CVPR 2023). Dans cette publication, HISC4D, l'équipe percène une méthode pour capturer divers mouvements d'interaction à deux personnes et des scènes 3D en vue à la première personne dans des scènes ouvertes intérieures et extérieures à grande échelle. La méthode construit un cadre d'optimisation articulaire en plusieurs étapes en fusionnant la guidage inertielle et les données LiDAR, qui résout efficacement le problème de dérive provoqué par la guidage inertielle et améliore considérablement la précision de la reconstruction de la scène et étend la plage de capture spatiale, humaine et d'interaction. Dans le même temps, le premier ensemble de données d'interaction multimodal à deux personnes est publié, couvrant différents types de scène et mouvements humains diversifiés, fournissant des ressources de données de formation pour les domaines de recherche connexes. En même temps, qui ouvre une nouvelle façon de penser à l'intelligence incarnée pour aller au vaste plein air et s'intégrer dans la foule.
