登陆注册
49625400000038

第38章 内容管理系统的基础结构(5)

7.4.8查询和检索

内容管理系统所提供的标准查询界面应该是基于Web的。Web检索服务提供的这种界面是由一个或多个服务器系统来控制的。这种方式能够分散负载,使系统更容易升级。

Web检索服务可以运行在具有高带宽网络接口平台的应用服务器上,尤其是在需要将大量的关键帧提供给用户时。在安装中,嵌入的视频或音频播放器被用于播放运行在SAN上的视频或音频文件。

内容管理系统使用内部数据库来长久存储处理信息,以及描述性与素材相关的元数据等。为了确保最大化的容错性能和执行,这些关键数据库所在的服务器应被设计成服务器集群。用于数据管理和素材管理的2种数据库服务器集群。

查询是通过数据管理的各种组件来处理的。在现实的应用程序中,这些数据管理组件会在不同的服务器上运行以分散负载。典型的情况是,这些服务器与具体存储所有元数据的子系统数据库接口,或与它们固有的或具体的搜索引擎接口。数据管理通过多种数据库进行联合搜索,综合的结果单由数据代理提供。由于这些服务对访问素材没有要求,在大多数情况下,它们的主机就是应用服务器。

应用分布式的概念到数据管理的单个功能组件上也是可以的。一个例子就是应用多种全文本搜索引擎(每个引擎都运行在一个专门的服务器上)来分散查询负载。这些全文本搜索引擎要么直接从数据库表中索引属性,要么索引运行在共享存储媒体上的文档。对后一种情况,这些全文本搜索引擎就应该运行在SAN服务器上。

除了传统的搜索性能,内容管理系统还可以提供先进的检索功能(如图像相似性检索)。这些搜索引擎通常有大量的执行要求,因此应该通过分布式服务器系统给予支持。下面简单的例子强调了这个问题:

考虑每小时1 000个关键帧的视频,10万小时的视频会产生1亿个关键帧。为使用户能够接受图像的相似性查询,将一个图像和所有存储的关键帧比较,应该在10秒以内响应。

这种要求对搜索引擎的执行是个很大的挑战。由于这类高级检索系统的有效性还要在真实世界中建立(尤其是对于大的广播组织),评估利益和费用是很重要的。

素材管理过程要求有与素材相关的元数据(如格式、时码、期限、文件大小、位置等)。素材管理过程访问素材管理数据库,但是同数据管理一样,只处理数据不处理素材。因此,素材管理过程能运行在一个或多个类型的应用服务器上。

7.4.9制作和播出的界面

基于检索和粗编过程做出的决定,制作素材从高码率的归档中传输到一个制作系统中。制作系统可以是单独的编辑系统或是支持多个编辑共享同样内容的基于服务器的编辑方案。

素材从归档到编辑设备的传输可由3种不同的方式来完成:

·基带视频经由标准演播室SDI连接的实时流。根据内容管理系统和广播控制自动操作间的共享方式,可选择下面的方式执行传输:

内容管理系统传送文件到接口服务器(播放服务器),然后根据人工请求,在编辑设备的控制下完成到编辑设备的传送。

内容管理系统传送文件到接口服务器(播放服务器),然后由广播控制的自动操作完成到编辑设备的传送。

广播控制的自动操作传送文件到接口服务器,并控制编辑设备的播放。

·本地压缩的视频以实时或快于实时的流经过SDTI连接。这种传输可以用SDI传输同样的方式管理,主要的区别是信号质量。典型的SDI传输包含解码到基带和重新编码到目标系统的压缩域,这会导致信号质量的衰减。SDTI传输允许在压缩域使用SDI连接交换数据,其信号质量不会损坏。

·从IT网络(首选光纤通道或1 000baseT)拷贝。这种传输直接由内容管理系统管理,可能会需要通过文件格式转换器对文件封装格式进行转变以适应私有的文件格式。当制作系统与不兼容的编码格式协调时,往往需要这种转换。

从基础结构的观点看,内容管理系统处理经由传输服务器的,在归档和接口服务器或制作系统之间的文件物理传输。由于这些服务器要与SAN连接,它们必须成为SAN类服务器。过程的控制涉及到要与接口服务器、广播自动控制系统(设备管理的组件)和传输过程管理(输出服务)的连接。作为控制的组件,这些系统组件能够运行在应用服务器类的主机上。如果需要格式转换,转换服务器也要参与。理想的情况是,转换服务器被安装在SAN服务器上。

在制作系统,资料被编辑和组合成一个新的完整的节目。当节目在编辑工作站得到最后确认后,内容可以被传输到播放系统。这种传输可以用文档到生产环境同样的传输方式来处理,或者可以使用由制作系统自己提供的传输功能。播放本身是完全由广播控制系统来管理的。

制作完成的资料的浏览副本可以通过将资料移动到接口服务器上、使用实时浏览编码器产生,或者通过使用转换服务器的软件转码来产生。

已完成的稿件可以使用相同的传送功能从制作系统传送到归档系统进行永久保存。

7.4.10编目和归档

用于永久存储和归档的资料应由专业的归档员进行深度的编目和索引。编目人员从他们的台式计算机上访问和操作浏览副本、关键帧和元数据。在编目中的主要任务是提炼元数据的质量,其结果必须是整个组织按基于IT的访问协议来访问。关于硬件基础结构,所有包含支持这些任务的系统都已做过了描述。

7.4.11管理

系统管理员用他们的桌面计算机监控和管理内容管理系统。为了维护和监督系统的顺利执行,管理员必须能从自己的桌面访问所有系统。

7.5操作方面的考虑

在引入内容管理系统以后,必须能够对基础结构和软件进行操作、管理和维护。对基于IT的组件,在这种环境中所执行的是标准的维护程序。大多数计算机设备在3~5年后才会折旧,在到达使用期限后就要被替换或更新。软件的维护是一个不断持续的过程,软件的更新通常是维护协议的一部分。因此,一般的IT规则和协议也可用于内容管理系统。

在一定的范围内,操作、维护和替换是非常重要的,即对大规模存储系统和它的数据载体的维护很重要。有规律的检查数据的完整性和在数据有丢失危险时采取行动是很关键的,设计具体的迁移战略必须确保没有数据的丢失。理想的情况下,这类维护应该是后端的自动处理过程而不需要人的介入,甚至不被用户所察觉。

另一个要考虑的方面就是数据管理和迁移过程的成本。考虑到在内容丰富的组织中所要管理的数据量是相当可观的,因此,数据维护和迁移策略不仅仅取决于技术参数,也和成本因素有关。接下来将会介绍有关载体维护和迁移的技术问题及成本问题。

7.5.1迁移

对于数字的、基于文件的归档的一个关键问题就是创建能够维护长期数据完整性、独立于存储技术和媒介变化的外部数据集。这种保证显然不能轻易实现。IT硬件技术仍在快速的发展着,例如存储密度和计算能力,还有相关媒体软件技术的性能如压缩等也在快速发展,而且新的编码格式也在不断地出现。在传统的媒体生产中,这些格式要受到物理载体(如磁带)的局限,新的数字格式是独立于物理媒体的。

然而,编码的发展和进步要求迁移成为内容管理系统的内在设计范例,以保持数字归档技术能够与时俱进。这种环境中的迁移有时甚至要求改变初始的数据集。由于技术的进步和发展是不断的,迁移也不会是一次偶然的事件,而要成为数字归档系统完整操作的一部分。这和8.2.2所要讨论的从录像带生产的迁移是可比照的。因此,连续自动的迁移必须成为内容管理系统的一个内在功能。

7.5.1.1使用自动磁带库

数字数据文档必须能够保证数据的永久完整性。这意味着存储媒体的物理衰退不会影响所存储的数据的完整性。磁带格式(不管是录像带或数据磁带)是很容易产生物理衰退。因此,数据磁带文档必须能自动检测存储媒体存在的危险,并可执行自动恢复程序,自动磁带库是达到这样目的的很好的方式。自动磁带库是这样的系统,它能够控制磁带和磁带驱动在槽和驱动间的自动迁移,控制驱动中磁带的装载和卸载。

这样的磁带库在被用于大规模媒体系统高码率媒体的永久存储时,可由软件控制和自动的执行来维护数据的完整性而无需人的介入。因此自动磁带库不仅适合于作为近线大规模存储媒体,也可以通过自动迁移过程方便内容的保存。

7.5.1.2监控载体的完整性

监控载体的完整性是检查数据序列是否被正确地传送到存储媒体或载体的关键要素。而且,检查载体的“健康状况”是否已经衰减到预先确定的范围以外也是很重要的。如果这种情况发生,预防性的措施就是通过自动数据传输来重建新的载体。

当从数据磁带中读数据时,磁带中数据完整性的一个判断指标是位错误率(或由磁带驱动供应商提供的一个等价指标)。

了解数据序列中发生错误的地方和什么会使数据块上产生错误是很必要的。一个典型的数据块包括:

·地址。

·同步字或同步块。

·数据包。

·校验字或校验以及用于传送块的差错保护。

既然同步块中的错误会导致整个块的丢失,就要引入附加的错误保护机制,使用多个数据块信息来产生所谓的产品代码。使用产品代码,同步块中的错误就能被调和。一些供应商也使用正移技术将错误保护分布在多个数据块以及他们各自的产品代码中。

为了真正了解某个数据磁带上到底发生了什么,内容管理系统必须完全了解单个数据磁带驱动解决方案所支持的错误保护的执行方式。这很具有挑战性,尤其在考虑到快速的产品发布周期和供应商想要保护他们的竞争优势时。

然而,内容管理系统确实需要关于某个磁带或磁带驱动是否已经衰退和是否可靠的较早的指示。这意味着必须能够有效地获得大量的信息来建立错误的分类、错误的频率和错误随时间增加的情况。例如,当突发错误发生在某个磁带上时,可能是该磁带本身的问题所致;而单一的错误出现在多个磁带上时,就可能意味着一个具体驱动的写探头的衰退。

为了保护商家的竞争优势和最小化内容管理系统所需要具备的关于错误保护算法具体执行的知识,可以应用交通灯系统。不同灯的解释可以是这样的,第一个灯指示在给定时间范围内的最大错误率,第二个灯指示在给定时间范围内的所有错误率的整体情况。

时间范围是系统具体的常量值。例如在螺旋状的扫描记录情况下,合理的时间范围应该是写一个磁道所需的时间。应该将交通灯定义成:

·绿灯——设计参数内正常。

·黄灯——接近设计参数,仍然可恢复。

·红灯——不可恢复的错误发生了。

为了以这种不同颜色的交通灯的方式传递结果,需要由商家将内部的错误统计与具体商家的正常值相联系。而且,应由一个独立的组织测试和证明所传送的结果是否合格,以保证其兼容性。

然后内容管理系统要负责记录信息、存储信息、执行必要的统计评估和采取合适的行动以保护整个数据序列的完整性。

错误率或错误指标的统计指示了目前载体和磁带驱动的健康状态以及其状态随时间发展的情况。根据经验模式或从商家提供的应用信息中提取一个载体可能的生命周期,这样的附加信息是很有帮助的,如某个载体的最大承载数量和写的次数。而且,商家也可以根据经验提供某些参数,例如载体在可控环境中理论上工作的最大生命周期。在这种环境中,载体在可控环境之外的工作时间也要加以考虑。载体的剩余工作时间可从最大理论生命周期中得出,但是载体在不可控环境中工作的生命周期往往会更短。而且,根据公司或组织政策得到的任何生命周期的日期应该是具体的和可执行的。

如果把数据磁带归档作为机器人大规模存储解决方案中的首选,那么负责管理的系统必须给每个磁带保留下列可追踪的信息:

·最大容错率。

·最大承载数。

·最大读出量。

·最大写入量。

·服务程序间最大可容忍的间隔时间。

·磁带的最大有效生命周期。

·用户选择的结束日期和时间。

·为了获得磁带的寿命,第一次记录的日期和时间。

·为了跟踪由于某个记录设备的技术问题而导致的系统失败,记录设备的ID。

·最后读出访问的交通灯统计。

·当前载入数。

·当前读出数。

·当前写入数。

·下次服务计划的日期。

·状态。

基于这些信息,可以获得载体的完整情况,如果有必要的话,存储在载体上的数据可以迁移到新的载体。为了保证数据磁带载体的完整性,有许多任务需要自动完成。例如,这些任务包括1秒内磁带驱动写入的磁带,为减少由于探头的未对准或写入过程中的其他技术错误可能造成的写入错误,不同的磁带驱动和重读数据。而且,对一定时间未访问过的磁带需要定期地进行倒带和重装,以避免磁带的粘连。为了检查比特错误率(或磁带健康状态的等价指标),在一定的周期间隔内读磁带也是必须的。如果查出问题(即超过任何具体的参数)要立即采取行动,这包括拷贝比特错误率超过给定安全比特错误率的磁带到新的磁带上,及拷贝超过生命周期的磁带到新磁带上。当磁带在可控环境中使用的时间超过给定的安全时间时,它就达到生命周期了。

在内容管理系统基础结构设计时必须要考虑这些过程。尽管对存储媒体和迁移过程的检查是在后台进行的,但要确保检查能够定期进行。

同类推荐
  • 最新学校实用百科全书-校园心理诊断

    最新学校实用百科全书-校园心理诊断

    《最新学校实用百科全书》非常注重实用,包括:教改典型案例、校园暴力防范、校园管理制度、校园心理诊断、学校管理表格大全、学校管理制度大全等图书。
  • 落脚之城:我们的明天在哪里

    落脚之城:我们的明天在哪里

    广州、深圳、香港、东莞、佛山、中山、珠海、惠州……身处珠三角城市圈,我们的未来在哪里?城市这艘大船要驶往何处?本书从城市之间的PK入手,将各个城市之间的文化、经济、环境、人才、传媒等等因素纷纷摆上台面,作一番有趣的比较,生动呈现了各大城市的真实面貌和潜在空间,揭示了城市发展的去路,让我们得以看清我们生活在什么环境中,我们的未来又往何处去。
  • 教学相长文丛-享受着,如此美丽的教育

    教学相长文丛-享受着,如此美丽的教育

    教和学两方面互相影响和促进,都得到提高。教学是教与学的交往互动,师生双方相互交流、相互沟通、相互启发、相互补充,在这个过程中教师与学生彼此间进行情感交流,从而达到共识、共享、共进,实现教学相长与共同发展。《礼记·学记》:“是故学然后知不足,教然后知困。知不足然后能自反也,知困然后能自强也。故曰教学相长也。”
  • 云影萍迹

    云影萍迹

    颜瑾师姐不善言谈,属于纳言君子一类。北京师范大学毕业后进入贵州电视台,在做了几年记者、拿了几个奖之后,转入总编室工作,任时光荏苒。相对宁静的空间,给予师姐更多思考的时间。上世纪九十年代以后,电视成为真正的主流媒体,走在媒体改革的前沿。师姐在青云山下《贵州电视》杂志那个角落清净的办公室里,静静地观察着,静静地写了一篇又一篇文章。她始终是文静的,但是在一些文章里(主要是第一辑《论文、电视杂文》部分),言语却犀利得毫不留情,指出浮躁的时代、浮躁的“电视”出现的低俗现象,呼吁影视工作者沉下心来,多些内涵之作。作者的影视评论同样是期望影视工作者抵制低俗,制作出有创意、有深度的精品力作。
  • 未成年人思想道德建设中学生读本

    未成年人思想道德建设中学生读本

    加强和改进未成年人思想道德建设,是全党全社会必须共同承担的重大任务。各级党委和政府都要把思想统一到中央精神上来,切实担负起政治责任,进一步加强和改善对未成年人思想道德建设的领导。要把加强和改进未成年人思想道德建设摆在更加突出的位置,作为精神文明建设的重中之重,纳入经济社会发展总体规划,列入重要议事日程。——胡锦涛
热门推荐
  • 云生深处

    云生深处

    生活给予我们许多值得回忆的东西。这些平淡的故事,常常进入我们的记忆当中。无论时光怎么样逝去,永难忘记!
  • 大明好伴读

    大明好伴读

    新书已发,《大明从揍了武宗开始》谢至穿越了,成了内阁大学士谢迁之子。什么?要让我进宫做朱厚照那厮的伴读?没问题,我爱学习,学习使我快乐!什么,还是太子主动提出的,目的是为了让我背锅?对不起,我可不是背锅侠,我真是来学习的。这是一个不学无术的纨绔从太子伴读成长为大明优秀青年的故事。
  • 鬼面王爷后院起火

    鬼面王爷后院起火

    七年前,她是被构陷仓皇逃亡的贫穷学子。七年后,她是经过血与火炼烤的铮铮铁将。当她率千军重踏故土,红妆裹铁衣,面临无情旧人,她能否突破重重迷障,拨开萦绕已久的谜团?重重欺骗下的真相逐渐撕开,十年爱意换来的是武功被废、一杯毒酒和他一再的另娶他人,她是该笑还是该哭?“当我从来没有认识过你!”倾盆大雨她挥刀割袍。从此海阔凭鱼跃,一代女将英风不逝,心锻成钢,手起刀落杀伐决断。当年害她的、一个个都归于股掌之间,各路猖獗势力一一被她除残去暴!然在这京城血雨腥风之中,却不想有一人一直在全力罩着她,让她免受凄苦、免受惊惶、免受劳累,而那双紧跟着她的关切眼神换来的又究竟是后院起火还是难得的铁血柔情?
  • 狂焰恋歌

    狂焰恋歌

    亭亭玉立的高中生楚暮菲,一个活泼可爱,偶尔傻头傻脑,偶尔正经八百的女孩,平凡却过着很充实的生活,直到偶然中发现自己的男友竟和最好的姐妹乱了关系。黑道总裁,井拓然。一个霸道俊毅的男子,一个浪子般的冷俊总裁,一个独独被她迷倒的普通男子。18岁正值似水年华,失恋的她醉倒在他怀里于是所有的生活都被那个霸道的总裁打乱了!
  • 我没想攻略大神啊

    我没想攻略大神啊

    田丽一觉睡醒发现自己变成了狐狸,难道自己是遇到传说中的穿越梗吗?不过惊喜之余,田丽低头一看她就悲剧了,自己是只灰狐狸也就算了,怎么还是秃毛的呢???不过几天之后田丽就不纠结自己的外表了,就算是秃毛狐狸怎么了,能被这位大神抱在怀里,那就是好狐狸!!!!所以自这之后,田丽立志要做一个合格的狐狸精………………
  • 久等了陆先生

    久等了陆先生

    顾欣橘因为家庭变故转了学,从而错过了陆谨言的告白。缘分就是这么奇妙7年后她和他又见面了。一向高冷的陆谨言开始了霸气追妻的日常。在一次饭局上有人问:“顾欣橘陆谨言以前是什么样子的?”顾欣橘:“我跟他很少讲话,就是很受女生欢迎。”“陆谨言这狗男人那时竟然不理你?”陆谨言突然开口:“我还委屈呢,我长的也不丑,她当时都不看我,也不关注我。我又不好厚着脸皮去找她说话。”顾欣橘:“原来他以前就关注我了。”陆谨言:“还好我们又见面了。”陆谨言从此开启了宠妻无度的生活。儿子:爸爸我要跟妈妈睡。“不行,她是我的。”“那我怎么办?”“随便你,或者找你奶奶去。”“你不爱我了。”“我只爱你妈妈。”
  • 牧师的救赎之旅

    牧师的救赎之旅

    我叫杨之鱼,我好像在不间意中,犯下了无法原谅的错误。想要挽回吗?在这个世界里,负罪之人追随着属于自己的救赎,当旅途开始的时候,就无法停下。理好衣袖,让刀刃出鞘,保持你的决心,让故事开始吧。纵使自己的敌人并肩神明,也要用凡人之躯与其对抗。故事总要有个结尾,不是吗?
  • 天行

    天行

    号称“北辰骑神”的天才玩家以自创的“牧马冲锋流”战术击败了国服第一弓手北冥雪,被誉为天纵战榜第一骑士的他,却受到小人排挤,最终离开了效力已久的银狐俱乐部。是沉沦,还是再次崛起?恰逢其时,月恒集团第四款游戏“天行”正式上线,虚拟世界再起风云!
  • 你的毒不想戒

    你的毒不想戒

    苏蓝颜,一个从小自力更生,容易心软的女孩,自从被那个坏蛋夺去了第一次之后就霉运不断,死不死的还对他有了一丢丢的爱慕,可惜,老天就和她杠上了,就是不让她好过,终于摸爬滚打了好久之后,还是垂头丧气的带着他的孩子远走高飞。凌宇,外冷内热,行动派,微微大男子行为的他,偏偏喜欢上了哥哥的女人,一次次错过机会,就在他再也忍不住开始露出狼性的时候,她却因为他备受折磨,最后失去了她的音讯。到底他们怎么在一起了呢,哼,天知道!!
  • 学神她美又怂

    学神她美又怂

    【短篇*甜宠】【整本免费】秦惑从小到大智商超群肤白貌美,父母是大佬级别人物,照理说来,这样的家世怎么说也应该是顺风顺水,然,现实很残酷——除夕那天,秦惑被殃及,偏生对罪魁凶手还感恩戴德!莫也表示猝!转校前一天,秦惑来到宁城一中瞥见救命恩人被堵,素来有霉神体质的她上前逞英雄,光荣的弄丢了行李箱!莫也表示完美!*封彧瞧着只到自己肩膀处的女孩儿,揶揄的开口,“小傻子,你就不怕我吗?”封彧京城人士,高二流放至宁城一中。引得无数小姑娘又怕又馋。恍然有一天,改头换面励志要好好学习天天向上了!莫也表示很心塞!