存档

2008年1月 的存档

今天参加了一个EMC技术的讲座,主要内容是介绍EMC的一些新产品,实质内容不多,大部分是忽悠的。只有两个信息点值得关注:
1.固态硬盘(SSD):数据上看性能非常好,IOPS和响应时间将不再是问题,EMC的测试表明替换SSD后,存储的整体性能提升至少在十倍以上(IO的类型和cache的命中率都对这个数据有影响)。关于可靠性的问题,虽然每个厂家的技术有些差异,但是基本上都宣称解决了这个问题。EMC的供货商是STEC(一家以色列公司,专门研发高可靠性的固态硬盘),EMC对外宣称每个位至少可以提供10万次以上的读写访问。而且还采用了两种额外的技术保证可靠性,第一,冗余容量,73G和146G的硬盘实际容量为128G和256G,这样可以保证硬盘不会被写满,并且可以提供容量替换的功能。第二,IO分散技术,同一个数据,每次读写后的位置是不同的,这样就避免出现经常写某个位置而造成的损坏。流云同学妄图通过自己写的小程序对SSD的同一个位置进行频繁的写操作,以此来验证SSD的可靠性的方法,恐怕不太靠谱,因为在底层SSD会自动做IO分散。
这个技术绝对属于激进型的变革,一定会导致存储技术的巨大革新,可能某些企业会死掉,比如传统的磁介质的厂商,也可能有很多企业会因为这个技术而崛起。个人认为这个技术的门槛甚至比传统的磁介质存储要低,对于国内的厂商来说是个巨大的机会。稍早些时候,我们已经拿到了华为的SSD硬盘,并进行了测试,虽然性能比intel逊色,但是还是要支持国产厂商,只有他们有产品,EMC也许才能把价格降下来。(这里要BS那些动不动就对国产设备说三道四的人,如果没有华为这些厂家,现在的很多设备估计都要卖到天价。有些扯远了)。
EMC现在的DMX上可以支持SSD和FC混插,CX4也可以支持SSD(但是最多只能插16块,因为如果超过16块,SSD的价格可能比整个CX4还贵)。但是我认为这种混插的方式一定是个临时性的解决方案,随着SSD的技术不断成熟,价格不断降低,存储的架构一定会发生巨大的变化。如果未来SSD的容量不再是问题,也许几块SSD就可以满足我们性能的需要,完全不需要DMX这么复杂的一个存储架构来支持,所以我觉得DMX上混插SSD,仅仅是EMC对于现在已经有DMX,又对性能有高要求的用户提供了一个临时的解决方案。
2.云存储:EMC的云存储产品Atmos,它是一个包含了硬件设备,软件产品的一个云存储的解决方案,对于这个产品本身我们不用太多去关注。但是我们有必要了解下什么是云计算,云存储。
云计算顾名思义是云里雾里的计算,大概的意思就是在云里雾里,你什么也看不清,云会给你想要的一切,包括计算能力和存储空间,你不再需要知道云里雾里到底是怎么实现的。就象应用的架构经历从mainframe,C/S到现在的B/S模式。云计算也是分布式处理,并行处理,网格计算发展的产物。它透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,再交由多台服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。通过云计算技术,网络服务提供者可以在数秒之内,处理数以千万计甚至亿计的信息,达到和”超级计算机”同样强大的网络服务。
云存储是在云计算概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过 应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。 当云计算系统运算和处理的核心是大量数据的存储和管理时,云计算系统中就需要配置大量的存储设备,那么云计算系统就转变成为一个云存储系统,所以云存储是 一个以数据存储和管理为核心的云计算系统。说白了,云存储就是偏向于提供存储服务的云计算系统,或者是配置了大容量存储空间的云计算系统。
既然云计算是由google提出来的,google是如何实现的呢?请看google的三件宝:
1.GFS(Google File System)。一个分布式文件系统,隐藏下层负载均衡,冗余复制等细节,对上层程序提供一个统一的文件系统API接口。Google根据自己的需求对它 进行了特别优化,包括:超大文件的访问,读操作比例远超过写操作,PC机极易发生故障造成节点失效等。GFS把文件分成64MB的块,分布在集群的机器 上,使用Linux的文件系统存放。同时每块文件至少有3份以上的冗余。中心是一个Master节点,根据文件索引,找寻文件块。
2.MapReduce。Google发现大多数分布式运算可以抽象为MapReduce操作。Map是把输入Input分 解成中间的Key/Value对,Reduce把Key/Value合成最终输出Output。这两个函数由程序员提供给系统,下层设施把Map和 Reduce操作分布在集群上运行,并把结果存储在GFS上。
3.BigTable。一个大型的分布式数据库,这个数据库不是关系式的数据库。像它的名字一样,就是一个巨大的表格,用来存储结构化的数据。
今天上课时,有人提到了hadoop,它到底是什么?hadoop用JAVA实现了MapReduce和一个分布式的文件系统(HDFS),我们也可以把它看成是一个云计算或者云存储系统,目前Yahoo在支持Hadoop.
说了半天,估计大家还是在云里雾里,其实我也不怎么明白。这篇文章属于山寨货,是从网上四处抄来的。
–EOF–

1 25th, 2008 | Filed under 大话技术

1.山寨
数据库的服务器将不再采购大型的主机和高端的SAN存储。主机尽可能选用PC server,这几年INTEL的CPU能力越来越强,PC server的处理能力与小型机的差距正在缩短。存储我们也尽可能的选用SAS硬盘的廉价存储,而不是FC硬盘的高端存储,甚至还计划搭建我们自己的“山寨”存储。对于MySQL数据库,则直接采用PC server+本地SAS硬盘的方案。
2.MySQL,分布式
mysql数据库+分布式应用架构将是我们未来发展的方向,这几年随着数据量和访问量的增长,数据库的压力也越来越大,ORACLE+小型机+高端存储这种集中式架构越来越不能满足业务发展的需要。明年已经确定将有几个大型项目使用MySQL数据库和分布式的架构,逐步降低我们对ORACLE和高端设备的依赖性。而且我们已经有非常厉害的MySQL DBA-SKY,未来我们将不仅仅局限在ORACLE方面。
3.数据同步
如果我们要做镜像站点或者分布式应用,数据同步是必须解决的问题。我们目前正在进行ORACLE redo log的解析的研究,并且已经取得了相当的进展(当然不是我做的,是部门的一个大牛去做的)。一定有人问我们为什么不用SharePlex,DSG,或者ORACLE的stream来解决,而是一定要自己来做呢。而且ORACLE的redo对我们是一个黑盒,我们有能力解决这个问题吗?首先,我们不是要做一个商业化产品,我们的仅仅是根据我们实际的环境和需要,能够对日志做有限的解析,达到我们的目的即可。第二,商业化的产品价格昂贵,而且对于我们的某些特别的需求,商业产品都无法解决。这就是我们要自己解析日志的原因。
4.镜像
对于镜像站点的搭建,我觉得技术因素并不是最重要的,从项目管理的角度出发,需要的是沟通和计划的能力,细节决定成败,风险往往在我们最看不到的地方。
5.RAC
我们的数据库架构从pc server上的单数据库到RAC,再到现在的小型机。未来由于PC server的大量引入,我们可能又要重新回到RAC的道路上来,由RAC来提供高可用性和有限的性能扩展能力。
6.Greenplum,Hadoop
这两个东西,其实我都不懂。但是他们都很火,都使用了MapReduce技术。MapReduce是google的一个计算模型,用来进行大规模的并行计算。
Greenplum可以理解为SQL+MapReduce,DBA也可以体会到并行计算的快感了。而且很可能明年会在数据仓库部门使用,从测试的结果上来看,用普通PC server搭建的集群比ORACLE的性能要高出很多。
Hadoop是MapReduce的一个JAVA实现,Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)和MapReduce分布式计算模型。它能够把应用程序分割成许多很小的工作单元,每个单元可以在任何集群节点上执行或重复执行。它有以下的特点:

扩容能力(Scalable):能可靠地(reliably)存储和处理千兆字节(PB)数据。

成本低(Economical):可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。

高效率(Efficient):通过分发数据,hadoop可以在数据所在的节点上并行地(parallel)处理它们,这使得处理非常的快速。

可靠性(Reliable):hadoop能自动地维护数据的多份复制,并且在任务失败后能自动地重新部署(redeploy)计算任务。

7.me
最后一个关键词就是“我”。2009年,我要如何发展?继续在某个技术领域深耕细作,还是主动求变向新的方向扩展;继续走技术道路,还是逐步向管理转移,或者有机会走向其他领域(比如演艺界或者专业摄影师);怎么样炒作自己,出书,写博,还是裸奔?
每一年都是这样,来临前给我们很多想象,过去后往往又觉得平淡乏味,我们一起期待吧。
–EOF–

1 13th, 2008 | Filed under 大话技术
标签: ,

今天把wordpress升级到2.6,并且把模板换成了K2,发现自己还是喜欢这种简单的风格。
我知道没人看我的blog,也没关系啦,就当是自娱自乐吧。
–EOF–

1 12th, 2008 | Filed under 一地鸡毛
标签:
1 10th, 2008 | Filed under 大话技术
标签: ,

为了准备秋季期末考试,上周破天荒的每天晚上都在复习功课,那是相当的痛苦。昨天总算考完了,不管考的怎么样,起码不用再去上自习复习哲学了,整本书就没几个通顺的句子,我一看就困。
LP突然对网购产生了强烈的兴趣,第一次用支付宝在SASA买了化妆品,并且开始幻想着在淘宝开店卖化妆品了。LD大人的事,我当然是举双手赞成了。晚上趁着她心情好,我偷偷问了一下关于啥时候给我添一部新手机的事,当场被拒,相当郁闷。
明年两个大型的项目准备使用mysql数据库,有个架构师对我说:你明年转mysql DBA吧。问为什么,我的mysql水平很烂的。此君答曰:反正你的ORACLE也没希望了,趁早转了也许还有戏。寒啊!
自行车只骑了一次,发现踩单车是比踩油门累很多,LP给我制定的目标是一年骑八次,我想是从2009年才开始算的吧,本年度我只要再完成一次就完成指标了,fighting!
儿子现在越来越好玩了,虽然他现在还不会爬,但是他学了一种另类的方式,我们称之为“虫虫爬行法”,就是用头,手和脚把身体撑起来,然后往前拱,一边拱一边还发出咿咿呀呀的声音,太好笑了,可惜我没DV.
大老板给偶们讲话了,中心思想有以下几条:虽然经济不好,但是公司有钱发工资至2010年,大家不要担心。最近别买房子,静观其变。公司股票现在已经跌到底了,可以考虑抄底了。
以前一直没搞清楚啥是web 2.0,今天搜了一下才知道原来自己一直在歪脖 2.0的,这下出门不丢人了。
–EOF–

1 10th, 2008 | Filed under 一地鸡毛
标签: