Human path prediction through machine learning trained with 2D video data and estimated 3D pose data

Abstract

The interaction between robots and humans has been advancing at an ever-rising pace. Being aware of not only where humans are but also predict where humans will go and do next is an important feature to have in an assistant robot. The main goal of this project is to explore ways of improving this feature. Future trajectories of humans walking were predicted using deep learning fed with RGB data in a controlled environment in order to better assist humans when needed. Kinect was used to achieve that goal along with its RGB camera, infrared laser projector and infrared sensor. Data of people walking in a controlled environment was collected and a dataset was created. Data from Human3.6m dataset was used as well. The data was used to train RNN-LSTM models created to pre- dict future paths. Openpose was used to identify humans and their body joints and create poses. 3D pose data was estimated from 2D pose data using a 3D Pose Estimator in order to recreate the path in the 3D space. An LSTM model with a 3D feature was created and trained with 3D estimated data. A path prediction model with a 3D element was assessed in comparison with a 2D path prediction model. While models were able to learn from the data and present good predictions in some cases, they were not able to learn in other cases outputting bad predictions. The metrics used to get quantitative results presented limitations to measure the predictions. Limitations of using a 3D Pose estimator for 3D path reconstruction were described. As a result of our project, models that predict future path of people with different designs and performances were developed. As contribution, a dataset of 113 GB containing people walking in a controlled environment was created and a methodology to estimate 3D path information from 2D Pose was proposed.

A interação entre robôs e humanos vem avançando a um ritmo cada vez maior. Estar ciente não só de onde os humanos estão, mas também prever aonde os humanos irão e o que farão é um recurso valioso de se ter em um robô assistente. O principal objetivo deste projeto é explorar formas de melhorar essa habilidade. Trajetórias futuras de hu- manos caminhando são previstas usando deep learning alimentado com dados RGB em um ambiente controlado com a intenção de melhor assistir humanos quando necessário. Kinect foi usado para atingir esse objetivo junto com suas câmeras RGB e infraverme- lha. Dados de pessoas caminhando em um ambiente controlado foram coletados e um dataset foi criado, bem como foram utilizados dados do dataset Human3.6m. Os dados foram usados para treinar modelos RNN-LSTM criados para prever caminhos futuros. Openpose foi empregado para identificar humanos e suas articulações do corpo, além de criar poses. Os dados de pose 3D foram estimados a partir de dados de pose 2D usando um estimador de pose 3D, reconstruindo um caminho no espaço 3D. Um modelo LSTM foi desenvolvido e treinado com dados adquiridos dos poses 3D estimados. O modelo de predição de trajetória 3D foi avaliado em comparação com um modelo de predição de caminho 2D. Embora os modelos pudessem aprender com os dados e apresentar boas previsões em alguns casos, eles não foram capazes de aprender em outras situações. As métricas utilizadas para obter resultados quantitativos apresentaram limitações para medir as previsões. As limitações do uso do estimador de Pose 3D para reconstrução de cami- nho em 3D foram descritas. Como resultado do nosso trabalho, modelos que prevêem o caminho futuro de pessoas com diferentes designs e performances foram desenvolvidos. Como contribuição, um dataset de 113 GB contendo pessoas andando em um ambiente controlado foi coletado e uma metodologia para estimativa do caminho 3D baseado no pose 2D foi proposta.