现在运用科技手法辅佐城市办理的建造形式已经由曾经的以视频监控为主的安全城市建造转向以多传感技能为主的才智城市建造，在这一过程中，尽管当时首要的数据量依然来自视频监控摄像头产生的图画数据，但由各类传感器产生的数据量和数据品种正在加快增加，例如各城市路途的交通流量信息、特种车辆的运转轨道和车况状况信息、移动终端的身份收集信息等，对这些海量信息的存储、剖析和运用，除了供给传统的安全防备、过后查验功用外，更为城市建造科学规划、科学办理供给了充沛的数据根底，一起，在这样一个海量大数据的年代，关于数据的安全存储和运用也需求与之相适应的新的技能手法，而以散布式和并行处理为根底的云核算和云存储技能，在此过程中也得到了极大地开展。
相对传统存储而言，云存储改变了数据笔直存储在某一台物理设备的寄存形式，经过宽带网络（比方万兆以太网或Infiniband技能）调集许多的存储设备，经过存储虚拟化、散布式文件体系、底层目标化等技能将坐落各单一存储设备上的物理存储资源进行整合，构成逻辑上一致的存储资源池对外供给服务，然后在存储容量上得以从单设备PB级横向扩展至数十、数百PB，因为云存储体系中的各节点能够并行供给读写拜访服务，体系全体功用跟着事务节点的增加而取得同步进步。一起，经过冗余编码技能、长途仿制技能，进一步为体系供给节点级乃至数据中心级的毛病维护才能。容量和功用的按需扩展、极高的体系可用性，是云存储体系最中心的技能特征。
一般，从云存储的技能完成层次上看，从底层向上，能够分为存储层、办理调度层、拜访接口层、运用服务层等四个层次，如下图所示：
存储设备（IP SAN/FC SAN/NAS）
图1 云存储技能完成层次
其间存储层是云存储的根底，一台云存储节点设备一般能装置24个以上的硬盘，一般经过IP接口将许多的存储设备互连在一起构成存储设备资源池，在一个云存储体系中，底层物理存储设备数量巨大，而且设备形状理论上也答应异构（这样也能够接入传统的IP SAN或FC SAN），在物理存储设备之上是一个一致的存储设备办理层，完成对物理存储设备的逻辑虚拟化办理、状况监控和维护等功用。
办理调度层是云存储最中心的部分，这一层的首要功用是在存储层供给的存储资源上布置散布式文件体系或许树立和安排存储资源目标，并将用户数据进行分片处理，依照设定的维护战略将分片后的数据以多副本或许冗余纠删码的方法涣散存储到详细的存储资源上去。一起，在本层还会在节点间进行读写负载均衡调度以及节点或存储资源失效后的事务调度与数据重建康复等使命，以便一直供给高功用、高可用的拜访服务。不过，在详细完成时，该层的功用也或许上移，坐落拜访接口层和运用服务层之间，乃至直接嵌入到运用服务层中，和事务运用紧密结合，构成事务专用云存储。
拜访接口层是事务运用和云存储渠道之间的一个桥梁，供给运用服务所需求调用的函数接口，一般云存储体系会供给一套专用的API或客户端软件，事务运用软件直接调用API或许运用云存储体系客户端软件对云存储体系进行读写拜访，往往会取得更优的拜访功率，但因为一个云存储体系往往需求支撑多种不同的事务体系，而许多事务体系只能选用特定的拜访接口，例如块接口或许POSIX接口，因而一个优异的云存储体系，应该一起供给多种拜访接口，例如ISCSI、NFS、CIFS、FTP、REST等，以便在事务适配方面具有更好灵活性。
事务运用层经过云存储体系供给的各种拜访接口，对用户供给丰厚的事务类型，例如高清视频监控、视频图片智能剖析、大数据查找等。部分云存储体系也会在这一层的运用事务渠道上完成办理调度层的功用，将事务数据的冗余编码、涣散存储、负载均衡、毛病维护等功用和各种事务的完成紧密结合，构成具有丰厚事务特征的运用云存储体系，而在存储节点的挑选方面，则能够选用规范的IPSAN、FC SAN或许NAS设备，例如宇视科技的视频监控云存储CDS(Cloud Direct Storage)处理方案便是这种运用云存储的典型代表。
图2 宇视CDS视频监控云存储架构
CDS处理方案承继了宇视科技视频ISCSI块直存高功用的长处，选用宇视最先进的裸数据存储技能，可极大程度发挥存储设备读写功用，完成云存储中的秒级检索和回放，经过选用规范的IPSAN设备，经过CDV存储虚拟化组件，并经过CDM云存储办理服务器会集一致办理底层的存储资源，构成大局一致的虚拟存储空间，当时端运用设备要进行读写时，首要向CDM恳求能够拜访的存储空间，并将数据离散存储到各底层规范的存储节点上去，当某一存储节点产生毛病时，CDM会主动重新分配一个新的空间给前端设备进行拜访，然后完成事务不停顿的读写。CDS体系支撑海量的云存储节点办理才能，可办理高达2048个存储节点，支撑动态扩容和缩容，供给不间断的视频和图片存储服务。一起也能供给视频实况、视频点播回放、报警办理、设防撤防、地图运用等多种视频事务。
运用云存储和事务深度结合，针对事务特色挑选合适的存储形式，往往能供给十分优异的事务拜访功用，但一般各厂家完成方法各有不同，难以互通或许供第三方开发新的数据处理事务，因而，运用云存储体系比较合适事务品种较少，事务模型相对固定的运用场合。而在才智城市的建造中，一个云存不只会存储海量的数据，而且需求对这些数据进行剖析和运用，这往往需求调集多个专业厂商来进行各自拿手范畴的事务开发，因而，体系的开放性、接口的规范化，则成为云存储体系建造的重要需求，云存储的中心功用应直接在存储之上完成，再经过拜访接口层为事务渠道供给多种通用的拜访接口，如ISCSI块存储拜访接口、POSIX文件拜访接口、REST目标拜访接口等，而事务运用开发则无需再考虑数据冗余、涣散存储、负载均衡等存储专属特性，而会集在事务运用自身的功用特性方面，例如视频监控体系中的车型辨认、卡口计数、图画浓缩等，这种云存储体系与详细的运用耦合程度较低，具有更好的通用性，能够认为是一种通用云存储。
在现在比较盛行的云存储架构中，依据对元数据的办理模型，能够将通用云存储体系分为三品种型，即会集式元数据、散布式元数据和无元数据三品种型的体系。
会集式元数据云存储体系是一种典型的非对称式体系，在体系中，一般具有一个中心元数据办理服务器，担任元数据的存储和处理查询与修正恳求，例如，在HDFS体系中，该元数据办理服务器即为姓名节点Namenode，一起，存在许多的数据存储节点供给客户I/O数据的并行存储与拜访。这种架构中，客户端每次对数据流的I/O操作，都需求先向元数据办理服务器进行元数据查询，客户端在取得需求读写的数据块物理方位等信息后，关于数据的I/O操作则直接在客户端和数据存储节点之间进行。相对传统存储体系，会集元数据云存储体系将操控流和数据流进行了别离，体系在扩展性和处理功用方面取得了较大的进步，一起，因为元数据会集在一台服务器进步行办理，整个体系架构比较简略，降低了体系规划的复杂性，现在业界选用这种架构的体系首要有GFS、HDFS、Lustre等。
图3 具有会集元数据办理的HDFS体系架构
不难看出，尽管会集元数据云存储体系架构简略，但会存在两个首要的问题：
功用瓶颈问题。元数据的根本特性要求任何时候对用户数据的拜访，都需求同步地修正元数据，因为每次I/O拜访都需求首要拜访元数据服务器，跟着体系规划不断扩展，需求办理的存储节点、文件数量、I/O操作数量等都会急剧增加，而对元数据进行办理的物理服务器功用有限，然后构成功用瓶颈，这种功用瓶颈在许多小文件拜访时会更为杰出。为处理这一问题，人们一般会选用更高功用的CPU，更大的内存，而且选用SSD来加快对元数据的拜访，尽管能够在必定程度上进步元数据拜访功用，但本钱极端昂扬，且进步作用有限。
元数据服务器单点毛病问题。在会集元数据云存储体系中，整个体系的功用和可靠性完全依赖于元数据服务器，一旦元数据服务器毛病，体系将无法供给任何服务，因而，元数据服务器便是整个体系中的潜在单点毛病点。为处理这一问题，一般对元数据服务器选用备机构成HA处理方案来供给更高的体系可用性，主用服务器和备用服务器之间的元数据有必要随时同步，不然一旦主用服务器毛病，则或许导致数据不一致问题，但元数据同步操作会进一步加剧了元数据服务器的功用担负，导致整个体系的拜访功用遭到连累，而且也无法完全处理脑裂问题。
为了处理会集元数据体系中的功用瓶颈和单点毛病问题，一种改善后的散布式元数据云存储体系得以呈现，这种体系选用多台元数据服务器构成集群作业的方法供给元数据拜访服务，集群中的每一台设备都能够供给元数据拜访，然后进步全体拜访功用，而且处理了元数据服务器单点毛病问题。散布式云存储体系需求在所有元数据存储节点之间进行元数据同步操作，这大大增加了体系规划的复杂性，在同步期间往往需求进行各种加锁，而加锁机制的存在导致部分使命难以并行运转，然后拖慢了整个体系的功用，此外，假如元数据没有及时得到同步，或许遭到意外损坏，则会呈现同一文件或许目标的元数据不一致，进一步导致上层运用在经过不同物理服务器拜访文件或目标数据时呈现数据不一致或许读写过错的问题，这种危险跟着云存储体系规划的扩展而大幅增加，相同，为了确保元数据同步的速度，需求选用高功用、大内存而且装备SSD的服务器，硬件本钱十分贵重。
第三种云存储体系则完全扔掉元数据，而是选用算法来对文件或目标进行定位，并将该算法集成在每一个存储节点上，客户端从任何一个存储节点进行数据拜访都会取得相同的成果，云存储体系中的每一个存储节点都能够独立、并行地对外供给服务，然后真实完成功用随节点数增加而线性扩展，因为无需在节点间进行元数据的同步操作，极大地进步了体系的稳定性和可靠性，在硬件本钱方面，也相对低价，能够用较低的建造本钱取得较高的读写功用。
宇视科技的UCS（Unified Cloud Storage）一致云存储体系是在视频运用云存储CDS处理方案之外供给的更为通用的云存储处理方案，它是一种选用无元数据规划的全对称散布式存储体系，其存储节点能够供给16到60个3.5英寸硬盘槽位，无需额定增加服务器，底层选用目标存储机制，主动完成数据分片、冗余校验核算存储、节点失效事务接收、存储资源失效数据高速重建等功用，而且经过布置UniFS散布式文件体系对供规范的POSIX读写拜访，对外供给各种规范软件接口，例如ISCSI、NAS、REST等，现有事务体系能够不经改造即可运用宇视科技UCS云存储体系。而假如全套事务体系均选用宇视设备，则能够在前端摄像机、办理服务器、智能剖析服务器和UCS存储体系之间直接选用更为优化的CBI（Cloud Block Interface）接口，该接口承继了宇视科技上一代ISCSI视频监控直存处理方案的有点，依据云存储资源池的装备，直接在前端摄像机和拜访服务器主动完成数据切片和离散存储，将许多的核算作业散布到数量很多的前端设备上，完成散布式核算，然后大大降低了存储体系自身的作业负载，明显进步了整个体系的能够承载的视频监控摄像机数量。一起，针对才智城市建造需求的事务处理剖析体系，也能够集成宇视供给的API或许客户端软件，完成对数据的并行读写，或许极高的功用体会。UCS一致云存储处理方案可广泛用于高清视频监控体系、公安案子视图库、警用法律仪在线存储、交通办理剖析体系等，为才智城市、安全城市建造供给大数据、云存储处理方案。
图4 宇视全对称散布式UCS通用云存储处理方案
