【文章小结】Efficient Action Spotting Based on a Spacetime Oriented Structure Representation

短命女 2022-08-07 02:50 8阅读 0赞

一.概述：

本文提出了一种新的局部描述子，这种个描述子是基于时空方向能量的，本文用它来进行行为定位；

本文采用的数据库是MIT-有氧运动的数据库【视频较长】，以及户外行为数据库【包含三种行为：向左走，向右走，挥手】；

本方法可以适应，多变外观的相同动作（例：人的衣着不同，但都在进行单脚跳）的定位、快速变换的动作定位、一个视场中多个行为的动作定位。

二.实践步骤：

1．定义三维高斯差分滤波器对输入视频帧的感兴趣区域进行滤波，即逐点卷积，得到的结果为每一个像素点时空能量信息，定义该值即为该点的时空能量的大小;

2．由于高斯差分滤波对相位敏感，根据瑞利定理（时域、频域的模的平方和正相关），得到信号的频域表示，此时的高斯差分是相位成分独立的高斯差分；

3．行为定位与目标跟踪是有略微不同的，行为定位希望得到的时空特征是，对细致的空间轮廓信息可以感知不到，但是，对运动行为的性质与模式是的需要很敏感的。

（例：针对穿着不同的、身形不一的，但动作一致的人，定位出其行为的一致性。这种待实现的要求，使得空间方向因为边缘化而大打折扣。）

简言之就是要得到像素时空能量中，像素点的运动方向。

另：

高斯滤波方向滤波有这样一种性质，变量为N的方向滤波可以实现N+1方向的空间划分，可以用下列公式将像素点的能量方向提取出来：

4．得到所定义运动方向上能量点数值的集合，并将之归一化得到；

5．用它构建时空能量方向梯度的模板块，进行训练学习；

【物理含义】

1）将感兴趣区域的像素点，提取出来，用高斯差分函数计算其三维时空方向的能量；

2）再将它投射到傅里叶空间，得到该点的能量谱；

3）根据该点频域上的能量谱的相位信息，根据不同的相位对像素进行归类；

4）频域的相位信息对应的是原像素点的运动角度，也就是像素点的运动方向，同一运动方向的像素点，表示的是同类运动；

5）对同类运动进行规范化表述；

5．本文用Bhattacharyya相似性度量方式，计算模板与视频块的相似性，其中S、T表示模板与视频的时空表示；

公式（7）

6．由于模板中不同区域对识别准确性的贡献度不相同，因此添加不同的权值对识别的效果有进一步提升，w表示加权：

公式（9）

结果M（x）为0到1分布的量，该数值量越小表示相似度越小，0表示模板与视频块完全失配，两者不存在相似性。

三.实践结果：

识别跳步、旋转、下蹲 与 向左走、向右走、挥手：

【本文待思】

如果将一类相同的点作为团块，将其放到时空立方体中，作为模板块进行模板匹配，识别行为，那么改变构造模块的方式，就能实现，识别特征的创新；

快速运动仅存在于有氧运动之中，但有氧运动近似认为是静止背景。而复杂背景的行为，为走路，走路行为目标运动速度较慢，因此，在高速运动且背景复杂的环境下的识别能力，本文不能给出较有力阐明。

发表评论取消回复

表情：

评论列表（有 0 条评论，8人围观）

还没有评论，来说两句吧...

相关阅读

相关 Representation Flow for Action Recognition —— 翻译

Representation Flow for Action Recognition —— 翻译 Abstract 摘要 1 Introduction 简介

谁践踏了优雅/ 2023年02月27日 12:20/ 0 赞/ 28 阅读

相关论文阅读笔记：A Network-based End-to-End Trainable Task-oriented Dialogue System

提示：阅读论文时进行相关思想、结构、优缺点，内容进行提炼和记录，论文和相关引用会标明出处。文章目录前言 Abstract Introduction

小咪咪/ 2022年12月11日 15:15/ 0 赞/ 197 阅读

相关《S2R-DepthNet：Learning a Generalizable Depth-specific Structural Representation》论文笔记

参考代码： 1. 官方：[S2R-DepthNet][]，但是2021-0607通过该入口无法进入了，后续再观察。 2021-0613恢复访问 2. 未知版本：[S2R-

痛定思痛。/ 2022年10月05日 07:48/ 0 赞/ 99 阅读

相关 An Efficient Representation for Irradiance Environment Maps

[为什么80%的码农都做不了架构师？>>> ][80_] ![hot3.png][] An Efficient Representation for Irradiance E

刺骨的言语ヽ痛彻心扉/ 2022年10月01日 13:48/ 0 赞/ 12 阅读

相关 How to Spot a Good IT Developer

How to Spot a Good IT Developer James Graham, PMP Ta’ l-Ibrag, Malta SoFTWARE PRojEC

浅浅的花香味﹌/ 2022年08月09日 03:15/ 0 赞/ 181 阅读

相关【文章小结】Efficient Action Spotting Based on a Spacetime Oriented Structure Representation

一.概述：本文提出了一种新的局部描述子，这种个描述子是基于时空方向能量的，本文用它来进行行为定位；本文采用的数据库是MIT-有氧运动的数据库【视频较长】，以及户外行为数

短命女/ 2022年08月07日 02:50/ 0 赞/ 9 阅读

相关 one-hot representation与distributed representation学习笔记

本文转载自http://blog.csdn.net/elmo66/article/details/53735591，仅用作个人学习；如需转载请联系原创作者；如需删除，请见谅并联

爱被打了一巴掌/ 2022年06月06日 04:44/ 0 赞/ 125 阅读

相关 [骨架动作识别]A New Representation of Skeleton Sequences for 3D Action Recognition

A New Representation of Skeleton Sequences for 3D Action Recognition CVPR 2017 本文的主要

小灰灰/ 2022年06月04日 07:18/ 0 赞/ 215 阅读

相关《FOTS：Fast Oriented Text Spotting with a Unified Network》论文笔记

代码地址：[FOTS.PyTorch][] 1. 概述 > 导读：考虑到现有的文本检测与识别是单独分开的方法，文章提出了将两者结合实现端到端训练的网络FOTS（Fast

柔光的暖阳◎/ 2021年12月14日 03:17/ 0 赞/ 334 阅读

相关【CVPR2018】FOTS: Fast Oriented Text Spotting with a Unified Network论文阅读笔记

一、作者 ![20190809143311500.png][] 二、摘要提出一种端到端可训练Fast Oriented Text Spotting网络，同时检测识别。R

╰半橙微兮°/ 2021年11月06日 00:10/ 0 赞/ 330 阅读