存档

文章标签 ‘云计算’

今天参加了一个EMC技术的讲座,主要内容是介绍EMC的一些新产品,实质内容不多,大部分是忽悠的。只有两个信息点值得关注:
1.固态硬盘(SSD):数据上看性能非常好,IOPS和响应时间将不再是问题,EMC的测试表明替换SSD后,存储的整体性能提升至少在十倍以上(IO的类型和cache的命中率都对这个数据有影响)。关于可靠性的问题,虽然每个厂家的技术有些差异,但是基本上都宣称解决了这个问题。EMC的供货商是STEC(一家以色列公司,专门研发高可靠性的固态硬盘),EMC对外宣称每个位至少可以提供10万次以上的读写访问。而且还采用了两种额外的技术保证可靠性,第一,冗余容量,73G和146G的硬盘实际容量为128G和256G,这样可以保证硬盘不会被写满,并且可以提供容量替换的功能。第二,IO分散技术,同一个数据,每次读写后的位置是不同的,这样就避免出现经常写某个位置而造成的损坏。流云同学妄图通过自己写的小程序对SSD的同一个位置进行频繁的写操作,以此来验证SSD的可靠性的方法,恐怕不太靠谱,因为在底层SSD会自动做IO分散。
这个技术绝对属于激进型的变革,一定会导致存储技术的巨大革新,可能某些企业会死掉,比如传统的磁介质的厂商,也可能有很多企业会因为这个技术而崛起。个人认为这个技术的门槛甚至比传统的磁介质存储要低,对于国内的厂商来说是个巨大的机会。稍早些时候,我们已经拿到了华为的SSD硬盘,并进行了测试,虽然性能比intel逊色,但是还是要支持国产厂商,只有他们有产品,EMC也许才能把价格降下来。(这里要BS那些动不动就对国产设备说三道四的人,如果没有华为这些厂家,现在的很多设备估计都要卖到天价。有些扯远了)。
EMC现在的DMX上可以支持SSD和FC混插,CX4也可以支持SSD(但是最多只能插16块,因为如果超过16块,SSD的价格可能比整个CX4还贵)。但是我认为这种混插的方式一定是个临时性的解决方案,随着SSD的技术不断成熟,价格不断降低,存储的架构一定会发生巨大的变化。如果未来SSD的容量不再是问题,也许几块SSD就可以满足我们性能的需要,完全不需要DMX这么复杂的一个存储架构来支持,所以我觉得DMX上混插SSD,仅仅是EMC对于现在已经有DMX,又对性能有高要求的用户提供了一个临时的解决方案。
2.云存储:EMC的云存储产品Atmos,它是一个包含了硬件设备,软件产品的一个云存储的解决方案,对于这个产品本身我们不用太多去关注。但是我们有必要了解下什么是云计算,云存储。
云计算顾名思义是云里雾里的计算,大概的意思就是在云里雾里,你什么也看不清,云会给你想要的一切,包括计算能力和存储空间,你不再需要知道云里雾里到底是怎么实现的。就象应用的架构经历从mainframe,C/S到现在的B/S模式。云计算也是分布式处理,并行处理,网格计算发展的产物。它透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,再交由多台服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。通过云计算技术,网络服务提供者可以在数秒之内,处理数以千万计甚至亿计的信息,达到和”超级计算机”同样强大的网络服务。
云存储是在云计算概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过 应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。 当云计算系统运算和处理的核心是大量数据的存储和管理时,云计算系统中就需要配置大量的存储设备,那么云计算系统就转变成为一个云存储系统,所以云存储是 一个以数据存储和管理为核心的云计算系统。说白了,云存储就是偏向于提供存储服务的云计算系统,或者是配置了大容量存储空间的云计算系统。
既然云计算是由google提出来的,google是如何实现的呢?请看google的三件宝:
1.GFS(Google File System)。一个分布式文件系统,隐藏下层负载均衡,冗余复制等细节,对上层程序提供一个统一的文件系统API接口。Google根据自己的需求对它 进行了特别优化,包括:超大文件的访问,读操作比例远超过写操作,PC机极易发生故障造成节点失效等。GFS把文件分成64MB的块,分布在集群的机器 上,使用Linux的文件系统存放。同时每块文件至少有3份以上的冗余。中心是一个Master节点,根据文件索引,找寻文件块。
2.MapReduce。Google发现大多数分布式运算可以抽象为MapReduce操作。Map是把输入Input分 解成中间的Key/Value对,Reduce把Key/Value合成最终输出Output。这两个函数由程序员提供给系统,下层设施把Map和 Reduce操作分布在集群上运行,并把结果存储在GFS上。
3.BigTable。一个大型的分布式数据库,这个数据库不是关系式的数据库。像它的名字一样,就是一个巨大的表格,用来存储结构化的数据。
今天上课时,有人提到了hadoop,它到底是什么?hadoop用JAVA实现了MapReduce和一个分布式的文件系统(HDFS),我们也可以把它看成是一个云计算或者云存储系统,目前Yahoo在支持Hadoop.
说了半天,估计大家还是在云里雾里,其实我也不怎么明白。这篇文章属于山寨货,是从网上四处抄来的。
–EOF–

1 25th, 2008 | Filed under 大话技术