当前位置: 首页 > 新闻中心 > 「腾讯云」王淼:对象存储内容分发应用—数据处理实践

「腾讯云」王淼:对象存储内容分发应用—数据处理实践


  1. 对象存储有什么优势?
  2. 什么数据存储软件的兼容性比较高?

一、对象存储有什么优势?

先介绍一下对象存储是什么?

对象存储是什么?

• 对象存储,也称为基于对象的存储,是一种扁平结构,其中的文件被拆分成多个部分并散布在多个硬件间。在对象存储中,数据会被分解为称为“对象”的离散单元,并保存在单个存储库中,而不是作为文件夹中的文件或服务器上的块来保存。

• 对象存储卷会作为模块化单元来工作:每个卷都是一个自包含式存储库,均含有数据、允许在分布式系统上找到对象的唯一标识符以及描述数据的元数据。元数据很重要,对象存储元数据可以非常详细,并且能够存储与视频拍摄地点、所用相机和各个帧中特写的演员有关的信息。为了检索数据,存储操作系统会使用元数据和标识符,这样可以更好地分配负载,并允许管理员应用策略来 执行更强大的搜索。

• 对象存储需要一个http应用编程接口 (api),以供大多数客户端(各种语言)使用。对象存储经济高效,可以轻松扩展,因而是公共云存储的理想之选。它是一个非常适用于静态数据的存储系统,其灵活性和扁平性意味着它可以通过扩展来存储极大量的数据。对象具有足够的信息供应用快速查找数 据,并且擅长存储非结构化数据。

• 当然,它也存在缺点。无法修改对象 — 您必须一次性完整地写入对象。对象存储也不能很好地与传统数据库搭配使用,因为编写对象是一个缓慢的过程,编写应用以使用对象存储api并不像使用文件存储那么简单。

二、什么数据存储软件的兼容性比较高?

1. ceph

ceph是一个强大的存储系统,它在同一个系统中同时提供了对象,块(通过rbd)和文件存储。无论您是希望在虚拟机中使用块设备,还是将非结构化数据存储在对象存储中,ceph都可以在一个平台上提供所有功能,并且还能获得出色的灵活性。 ceph中的所有内容都以对象的形式存储,不管原始的数据类型是什么,rados(reliable autonomic distributed object store)都会把它们当做对象来进行存储。

rados层确保数据始终保持一致状态并且可靠。ceph会通过数据复制,故障检测和恢复,以及跨群集节点进行数据迁移和重新平衡来实现数据一致性。 ceph提供了一个符合posix的网络文件系统(cephfs),旨在实现高性能,大数据存储以及与传统应用程序的最大兼容。ceph可以通过各种编程语言或者radosgw(rgw)实现无缝的访问对象存储,(rgw)这是一种rest接口,它与为s3和swift编写的应用程序兼容。另一方面,ceph的rados块设备(rbd)可以访问在整个存储集群中条带化和复制的块设备映像。

ceph的特性

独立、开放和统一的平台:将块,对象和文件存储组合到一个平台中,包括最新添加的cephfs

兼容性:您可以使用ceph 存储对外提供最兼容amazon web services(aws)s3的对象存储。

精简配置模式:分配存储空间时,只是虚拟分配容量,在跟进使用情况占用实际磁盘空间。这种模式提供了更多的灵活性和磁盘空间利用率。

副本:在ceph storage中,所有存储的数据都会自动从一个节点复制到多个其他节点。默认任何时间群集中的都有三份数据。

自我修复:ceph monitors会不断监控你的数据集。一旦出现一个副本丢失,ceph会自动生成一个新副本,以确保始终有三份副本。

高可用:在ceph storage中,所有存储的数据会自动从一个节点复制到多个其他的节点。这意味着,任意节点中的数据集被破坏或被意外删除,在其他节点上都有超过两个以上副本可用,保证您的数据具有很高的可用性。

ceph很强大:您的集群可以用于任何场景。无论您希望存储非结构化数据或为数据提供块存储或提供文件系统,或者希望您的应用程序直接通过librados使用您的存储,而这些都已经集成在一个ceph平台上了。

可伸缩性:c