多媒体资源中心服务系统

应用场景：

多媒体资源中心服务系统可用于广播局，电视台，各大视频内容提供网站等需要管理海量视频的部门。

多媒体资源中心服务系统针，可取代目前媒资管理系统需要通过人工编目、打点的方式进行索引，然后通过关键字的方式进行检索的工作方式。基于视频内容智能识别的系统，通过技术手段实现视频内容的自动分析、自动标注、自动分类和检索。对视频中的重复内容进行自动识别和标注，避免大量重复界面。对视频在转码中出现的质量问题进行自动识别，包括黑屏、花屏、绿屏、马赛克、模糊等。

功能介绍

一、媒体资源处理

图片、视频数据转码: 所有的媒体文件，无论在原始状态下是什么样，在系统中归档以后，都被转换成为了统一的格式。但是，在实际的使用过程中，系统的应用者需要使用的文件格式和归档的格式很可能不一样。比如，对于图片文件，系统归档使用的“TGA”格式，如果实际需要“BMP”格式，在这种情况下，就需要启用系统内置的“转码”功能，即将归档媒体文件格式，转换为实际所需要的另外一种格式。

分布式转码技术: 对于视频数据的转码，对计算资源的开销非常巨大，如果使用单一的进行服务器转码，转码时间较长，效率非常低。本系统采用分布式转码技术，通过搭建转码服务器集群实现转码的分布式并行处理，其工作原理如下图所示：

• 1）把输入的视频文件分解为多个视频片段；
• 2）把每个视频片段通过消息组件发送到一个转码服务器进行转码；
• 3）每个转码服务器把转码后的视频片段发送到合并服务器；
• 4）由合并服务器进行视频组装，完成整个视频的转码

高性能编码: 2013年3月，国际标准化组织（ISO/IEC)和国际电信联盟（ITU-T)共同批准了由合作专家组专家参与制定的国际视频标准H.265/HEVC。比较目前市场上通用的H.264/AVC，H.265/HEVC 能够在节省50%带宽的基础上提供相同的视频质量。HEVC如此出色的性能为高清视频的网络普及应用奠定了基础。新濠lottery司自主研发实现了H.265标准编解码技术，可在保证视频质量的同时节省50%的带宽。

视频摘要:系统支持对视频文件提取关键帧，将提取出来的关键帧作为视频摘要，便于用户在极短时间内了解整个视频内容。
视频摘要由以下两种内容组成：

1. 关键帧(Key Frame)．是指从原视频中抽取或生成一幅或几幅静态图像，能够部分地表达视频的语义信息。基于关键帧的摘要比标题形式的摘要更能从视觉的角度为用户提供更加直观的可视信息。
2. 场景转移图(STG)。场景转移图反映了视频内容的场景转移，它用一种简洁可视的方式来表现视频数据，可以对视频进行层次化的非线性的浏览。

文本摘要:
文本摘要采用向量空间模型VSM技术，提取文本中能代表全文主题的句子序列组成。由于主题句由词语组成，而主题句的重要性也由它在文本中的位置所确定。主题句由以下特点：

• 1)句子中所含词语对文本的影响较大（即词语权重较大）。
• 2)句子所在段落在文本中的位置权重较大。
• 3)句子在本段落中的位置权重较大。
• 4)标题词的影响。

本系统采用以下几步进行文本摘要提取：

• 1．对文本进行分词，并将文本用VSM形式表示。
• 2．计算特征词的权值。
• 3．通过特征词和句子的物理位置计算句子的权值。
• 4．判断标题对文本主题是否有影响。
• 5．将备选摘要句列表中的句子进行相似性计算，出去相似性较高的句子，并输出结果。

文字句法分析: 文字处理技术室网络舆情信息监控系统中核心的技术，在网络舆情中人名、机构名、地名等信息构成了舆情的主题，对于人名、机构名、地名等信息的识别提取对于舆情分析非常重要，是一系列关联分析的基础。本系统采用基于层叠隐马尔可夫模型的中文实体名识别技术实现对实体名的识别与提取。

电子书、文字类图片处理:当前存在大量电子书、印刷品类影印资料，对于这类媒体资源，需要通过一定的技术提取图像中的文字内容，然后进行关键词索引。本系统采用的图片OCR技术，具备以下特点：

1. 快速验证图片中是否包含文字内容
2. 识别宋体、楷体、仿宋等主流的字体
3. 自动去噪技术，系统自动扫描正在图片，提取包含文字的区域。可以有效处理长微博中经常出现的文字和图片混排的情况。（本技术已经申请专利）
4. 数据处理性能高，单幅图片的处理时延<20ms

数据审核:视频在采集、转码、编辑、拷贝等过程中因为各种原因导致视频内容出现问题，在视频归档前，需要对视频的质量进行自动分析。系统支持对导入的视频文件进行质量检测。当出现黑屏、分辨率错误、画面模糊、视频变形、马赛克等质量缺陷时可以报警并在元数据中记录质量信息。同时可使用系统的不良信息扫描功能，对视频进行自动检测，看媒体资源中是否含有不良信息，包括反动、暴力、群体事件等。

二、媒体资源管理

数据编目: 系统采用基于视频摘要的编目方式，用户不需要对原始视频进行逐帧浏览，而只需要浏览视频摘要文件，然后完成编目工作。严格而准确地对数据进行归档和编目，是保证日后精确检索的关键。当大量的媒体数据被存放到系统中以后，能否精确地定位到期望的数据，就完全取决于归档编目的方式和精度了。

这个过程可以通过系统以“人工智能”的方式自动来完成，但是人工的介入是必须的，因为在归档的精准度和可靠性等方面，在目前所能达到的技术水准，机器还代替不了人工。

其工作流程如下图所示：

• 1) 关键信息提取：包括关键帧提取、场景变化识别、镜头变化识别；
• 2) 视频摘要：基于关键信息提取，系统生成视频摘要；
• 3) 视频分段：基于系统生成的视频摘要，系统提供自动视频分段功能；
• 4) 视频编目：用户基于视频分段结果，完成视频的快速浏览，并为每段视频录入基本描述信息，完成视频编目工作；

数据归档: 系统根据存档的内容采用不同的存储策略，实现分层存储的管理系统。

1. 在线储存：系统支持硬盘、磁盘阵列等在线储存方式。系统将索引、元数据等重要数据放入在线数据库。对于经常需要重复使用的素材系统生成低码率副本或视频摘要，供在线查询及调用。
2. 近线储存：系统支持流媒体磁带库作为近线存储系统。高分辨率、高质量的媒体素材将被迁移到近线储存设备中。
3. 资料迁移管理：根据预先制定的迁移策略和优先级别，集中处理分发迁移任务。系统具备自动迁移与手动迁移功能。每一类进入到系统中的资料，可根据预先定义的迁移策略，在规定时间自动迁移到规定位置。同时，可根据用户端检索的结果向选定的素材发出迁入/迁出命令，完成手动迁移工作。

文本分类: 在互联网中，存在大量重复或者相似内容的数据，对于此类数据，需要采用内容聚合技术进行聚合，以便提高数据的利用效率。相似的文本内容除了通过文章正文进行分析，还可以通过标题进行分析。本算法使用Levenshtein距离计算文章的相似性，编辑距离指的是两个字符串之间，由一个转换成另一个所需的编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除等。

图片、视频数据分类: 系统提供了媒体数据的自动分类功能，在进行媒体数据编目时，用户可以通过手工的方式对视频进行分类。系统在保留手工分类的基础上，加入了基于视频内容的自动分类功能。其流程如下图所示：

视频自动分类流程

• 1)通过视频特征提取和标注，训练基本的视频分类；
• 2)事件定义：如飞机起飞、导弹发射。事件都包含特定的事件
• 3)基于分类对所有的视频进行特征提取和索引；
• 4)利用机器学习技术，对新录入的视频自动进行分类；

三、媒体资源服务

全文检索: 系统使用全文检索技术，对科技文献、电子书、论文、视频、图片描述信息进行抽取、分词、索引等操作。

系统支持以下的关键词检索功能：

1. 支持按照关键词的与或非等操作组合查询
2. 支持按照文章的时间段范围条件进行查询
3. 支持按照文章的来源分类进行查询

全文检索流程如下图所示：

全文索引技术原理图

内容智能检索: 视频搜索功能具有如下特点：

1. 提取图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。
2. 独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。
3. 多量性，即使少数的几个物体也可以产生大量的特征向量。
4. 高速性，算法可以达到实时搜索的要求。
5. 可扩展性，可以很方便的与其他形式的特征向量进行联合。

1）视频往往会对原始视频进行各种剪辑和变化，衍生出各种相关的版本。本系统可完美解决变化后视频与原始视频的匹配问题。

内容智能搜索效果

视频指纹技术，能够快速有效的识别视频内容。可满足版权保护取证需求。

其特点如下：

• 1.识别准确率高: >99%@5000小时视频库
• 2.识别速度快: <60s@5000小时视频库
• 3.抗干扰能力强: 能够解决其他系统不能解决的拉伸、裁剪、旋转等干扰

视频指纹对比流程

2）可以使用画面的局部特征作为条件进行视频搜索，可以搜索视频中是否包含某些特定内容等。如下图所示，用一张图片可以搜索到经过各种后期处理后的相关视频。

内容智能搜索

权限控制: 系统基于用户、用户组、角色、权限四个维度进行用户及权限管理。

1. 支持按照角色定义权限操作集合。
2. 支持对于不同的用户分配不同的角色，即操作权限。
3. 每个用户可以属于多个不同用户组，每个用户组包含多个用户。
4. 支持按照不同的业务数据对象对用户进行权限分配。
5. 支持用户强口令验证功能。

内容发布:系统支持媒体数据的在线发布功能，其功能包括信息编辑、静态页面生成、相关文章天机、多栏目发布。

1. 信息编辑功能 ：信息记录的增加、修改和删除，是信息管理基本的功能。增删改的操作直接更新数据库记录。 用修改功能可实现校对人员从数据库中将信息调出，与原文件进行校对并修改错误信息。可根据需要在中文信息编辑后各安排多次信息校对与纠错。
2. 静态页面的生成 ：数据在存入数据库的同时，按编辑录入的格式生成XML静态页面，并提供在网站上实际发布效果的预览功能。格式效果由XML模版文件提供，无需编辑人员对格式进行编辑。
3. 相关文章的添加 ：提供站内相关信息的链接，按照编辑人员提供的关键字，从数据库中查询出符合条件的记录，再由编辑根据需要添加链接到主文章。
4. 频道栏目管理：系统提供栏目的增加、删除、修改功能，用户可以动态管理栏目信息。
5. 多栏目发布：对于一篇文章在多个栏目下发布，可以同时选中多个栏目，无需在每个栏目下多次编辑。