数字视音频处理知识点小结

数字视音频处理知识点小结视频结构化与非线性编辑部分 镜头检测 镜头是视频流数据的最小物理数据单元 所谓镜头检测就是给定有 n 个镜头的视频 V 找到每个镜头的开始和结尾部分 也被称作边界检测 boundary detection 或转换检测 transition detection

大家好,我是讯享网,很高兴认识大家。

视频结构化与非线性编辑部分

镜头检测


            镜头是视频流数据的最小物理数据单元,所谓镜头检测就是给定有n个镜头的视频V,找到每个镜头的开始和结尾部分。也被称作边界检测(boundary detection)或转换检测(transition detection)。

镜头边缘检测算法的实质及核心问题


          实质:找到一种或几种良好的视频图像特征,通过判断相邻图像帧之间的特征是否发生剧烈变化,来完成视频镜头边缘检测任务。

          核心问题:如何选择特征,如何定义相似度函数

          //或者是关键问题:(1) 自适应阈值 (2)渐变镜头数学模型


镜头、关键帧、场景、组

        镜头(Shot):摄像机拍下的不间断帧序列,是视频数据流进一步结构化的基础结构层。

        关键帧(Key Frame):可以用来代表镜头内容的图像。

        场景(Scene):语义上相关和时间上相邻的若干组镜头组成了一个场景。场景是视频所蕴含的高层抽象概念和语义的表达。

        组(Group):介于物理镜头和语义场景之间的结构。

        
讯享网

视频结构化分析包含哪些基本步骤、内容(又:视频目录生成构造的主要步骤)

        镜头边缘检测

        关键帧提取

        时空特征提取

        时间可适性成组

        场景结构构造

镜头空间特征和时间特征的区别

        镜头时间特征:包含运动信息,即镜头中前后两帧的差异累积

        

        镜头空间特征:

        

如何匹配视频镜头之间的相似度

        视觉相似性(颜色直方图等空间特征)

        时间局部性(如运动相似度)

        镜头可用关键帧代表,也用聚类质心。

视频时序结构图构造的主要步骤

        视频解码

        视频切分

        关键帧提取

        视频聚类分析

        构造时序图

        按照时序图浏览

镜头边缘检测算法


        绝对帧间差法


        相邻图像所有像素和的差,大于某一阈值,发生较大变化。


        图像像素差法


        先统计图像对应像素变化超过阈值像素点个数,再统计这个个数是否超过某一特定阈值,如果是,那么发生较大变化。

        图像数值差法

        将图像分成若干个子块区域,在这些区域中比较对应像素数值的差别。


        颜色直方图法


        直方图差;带权重的直方图差;直方图的交(两者取小的)


        双阈值法


        高阈值检测突变镜头,低阈值确定渐变镜头起始。

        


关键帧提取算法


        镜头边界法

        

        镜头中第一帧和最后一帧作为关键帧


         颜色特征法


         较多颜色特征(直方图)转变,作为关键帧。


         运动分析法


        相机焦距变化:选择首尾两帧作为关键帧; 相机角度变化:与上一帧重叠小于30%,作为关键帧


         聚类的关键帧提取


         常用K-means。求帧与质心距离,距离大形成新的聚类,否则加入原有聚类;每次计算后都更新质心;非监督过程。

渐变镜头的数学模型

        Dissolve的数学模型:

        (f(x,y)场景A   g(x,y)  场景B  L1:场景A持续时间,L2:场景B持续时间,F:场景A,B Dissolve持续时间)

        

        

        均值:

         ()

        ()

          ()


        ()

        ()

        ()

视频数据压缩部分


小讯
上一篇 2025-02-06 20:55
下一篇 2025-02-27 10:26

相关推荐

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/132733.html