Human action recognition based on spatiotemporal features from videos
| dc.contributor.advisor | Marana, Aparecido Nilceu | |
| dc.contributor.author | Silva, Murilo Varges da | |
| dc.contributor.referee | Cerri, Ricardo | |
| dc.contributor.referee | Papa, João Paulo | |
| dc.contributor.referee | Marques, Fátima de Lourdes dos Santos Nunes | |
| dc.contributor.referee | Pereira, Clayton Reginaldo | |
| dc.date.accessioned | 2024-09-17T20:05:55Z | |
| dc.date.available | 2024-09-17T20:05:55Z | |
| dc.date.issued | 2020-12-22 | |
| dc.description.abstract | Atualmente, existe uma alta demanda para o desenvolvimento de novas técnicas de reconhecimento automático de padrões em vídeos, como por exemplo para o reconhecimento automático de ações humanas, demanda essa motivada pelos avanços nas tecnologias de produção, armazenamento, transmissão e compartilhamento de vídeos, tais avanços desencadearam a produção de um grande volume de vídeos que para serem úteis necessitam de tratamento automatizado. Dentre as principais aplicações do reconhecimento de ações humanas em vídeos, destacam-se: vigilância em locais públicos, detecção de quedas de idosos em suas residências, automação em lojas com sistema de checkout sem atendentes, detecção de ações de pedestres por parte de veículos autônomos, detecção de conteúdo inadequado postado na internet, como violência ou pornografia, etc. O reconhecimento automático de ações em vídeos é uma tarefa desafiadora, pois para se obter boas taxas de acurácia é necessário trabalhar com informações espaciais (por exemplo, formas encontradas em um único quadro do vídeo) e informações temporais (por exemplo, padrões de movimentos encontrados entre os quadros do vídeo). Nesta tese são propostos novos métodos para reconhecimento automático de ações humanas a partir de informações espaço-temporais extraídas de vídeos. Inicialmente, foram avaliadas diferentes arquiteturas de Redes Neurais de Convolução 3D (3D CNN - Convolutional Neural Networks) no contexto de detecção de pornografia em vídeos. Após, foram propostos novos métodos para o reconhecimento de ações humanas baseados em informações espaço-temporais extraídas de poses 2D. O uso de poses 2D se mostrou uma estratégia promissora, pois exige um custo computacional menor se comparado com técnicas que utilizam aprendizado de máquina em profundidade, além disso ao se utilizar poses 2D ao invés das imagens brutas pode-se preservar a privacidade das pessoas e dos ambientes onde as câmeras de vídeos estão instaladas. O método proposto, apresentou taxas de acurácia compatíveis com o estado-da-arte nas bases de dados públicas em que os experimentos foram realizados. | |
| dc.description.abstract2 | Currently, there is a high demand for the development of new techniques for automatic pattern recognition in videos, for example for the automatic recognition of human actions, this demand is motivated by the advances in the technologies of production, storage, transmission and sharing of videos, such advances triggered the production of a huge volume of videos that need to be automatically processed to be useful. Among the main applications, we can highlight: surveillance in public places, detection of falls of the elderly in their homes, automation in no-checkout-required stores, detection of pedestrian actions by self-driving car, detection of inappropriate content posted on the Internet like violence or pornography, etc. The automatic recognition of actions in videos is a challenging task because, in order to obtain good classification rates, it is necessary to work with spatial information (for example, shapes found in a single frame of the video) and temporal information (for example, movement patterns found throughout the frames in the video). In this thesis new methods are proposed for automatic recognition of human actions based on spatiotemporal features extracted from videos. Initially, different architectures of 3D Convolution Neural Networks (CNNs) were evaluated in the context of detecting pornography in videos. Afterwards, new methods were proposed for the recognition of human actions based on spatiotemporal information extracted from 2D poses. The use of 2D poses proved to be a promising strategy, as it requires a lower computational cost when compared to techniques that use deep learning. Besides, by using 2D poses, instead of raw images, one can preserve the privacy of people and places where the video cameras are installed. The proposed method has presented accuracy rates compatible with the state-of-the-art rates on the public databases in which the experiments were carried out. | |
| dc.format.mimetype | application/pdf | |
| dc.identifier.bibliographicCitation | SILVA, Murilo Varges da. Human action recognition based on spatiotemporal features from videos. 2020. 88 f. Tese (Doutorado em Ciência da Computação) - Pós-Graduação em Ciência da Computação, Universidade Federal de São Carlos, São Carlos, 2020. | |
| dc.identifier.uri | https://repositorio.ufscar.br/handle/ufscar/13976 | |
| dc.identifier2.lattes | 5501575917932892 | |
| dc.publisher | Universidade Federal de São Carlos (UFSCAR) | |
| dc.publisher.campi | BIRIGUI | |
| dc.publisher.program | Ciência da Computação | |
| dc.rights | Attribution-NonCommercial-NoDerivs 3.0 Brazil | en |
| dc.rights.uri | http://creativecommons.org/licenses/by-nc-nd/3.0/br/ | |
| dc.subject.keywords | Reconhecimento de ações humanas | |
| dc.subject.keywords | Poses em 2D | |
| dc.subject.keywords | Classificação de vídeo | |
| dc.title | Human action recognition based on spatiotemporal features from videos | |
| dc.type | Teses e Dissertações |