视频结构化与非线性编辑部分
镜头检测
镜头是视频流数据的最小物理数据单元,所谓镜头检测就是给定有n个镜头的视频V,找到每个镜头的开始和结尾部分。也被称作边界检测(boundary detection)或转换检测(transition detection)。
镜头边缘检测算法的实质及核心问题
实质:找到一种或几种良好的视频图像特征,通过判断相邻图像帧之间的特征是否发生剧烈变化,来完成视频镜头边缘检测任务。
核心问题:如何选择特征,如何定义相似度函数
//或者是关键问题:(1) 自适应阈值 (2)渐变镜头数学模型
镜头、关键帧、场景、组
镜头(Shot):摄像机拍下的不间断帧序列,是视频数据流进一步结构化的基础结构层。
关键帧(Key Frame):可以用来代表镜头内容的图像。
场景(Scene):语义上相关和时间上相邻的若干组镜头组成了一个场景。场景是视频所蕴含的高层抽象概念和语义的表达。
组(Group):介于物理镜头和语义场景之间的结构。
视频结构化分析包含哪些基本步骤、内容(又:视频目录生成构造的主要步骤)
镜头边缘检测
关键帧提取
时空特征提取
时间可适性成组
场景结构构造
镜头空间特征和时间特征的区别
镜头时间特征:包含运动信息,即镜头中前后两帧的差异累积

镜头空间特征:

如何匹配视频镜头之间的相似度
视觉相似性(颜色直方图等空间特征)
时间局部性(如运动相似度)
镜头可用关键帧代表,也用聚类质心。
视频时序结构图构造的主要步骤
视频解码
视频切分
关键帧提取
视频聚类分析
构造时序图
按照时序图浏览
镜头边缘检测算法
绝对帧间差法

相邻图像所有像素和的差,大于某一阈值,发生较大变化。
图像像素差法
先统计图像对应像素变化超过阈值像素点个数,再统计这个个数是否超过某一特定阈值,如果是,那么发生较大变化。
图像数值差法
将图像分成若干个子块区域,在这些区域中比较对应像素数值的差别。
颜色直方图法
直方图差;带权重的直方图差;直方图的交(两者取小的)
双阈值法
高阈值检测突变镜头,低阈值确定渐变镜头起始。
关键帧提取算法
镜头边界法
镜头中第一帧和最后一帧作为关键帧
颜色特征法
较多颜色特征(直方图)转变,作为关键帧。
运动分析法
相机焦距变化:选择首尾两帧作为关键帧; 相机角度变化:与上一帧重叠小于30%,作为关键帧
聚类的关键帧提取
常用K-means。求帧与质心距离,距离大形成新的聚类,否则加入原有聚类;每次计算后都更新质心;非监督过程。
渐变镜头的数学模型
Dissolve的数学模型:
(f(x,y)场景A g(x,y) 场景B L1:场景A持续时间,L2:场景B持续时间,F:场景A,B Dissolve持续时间)

均值:
(
)
(
)
(
)
(
)
(
)
(
)
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/132733.html