Hello Database

第二届AskHelloDBA数据库技术论坛又要和大家见面了，本次论坛的演讲嘉宾全部来自淘宝网DBA团队，内容都是日常工作中的实践和总结，非常有技术含量，现场还可以直接向他们提问，绝对不容错过。

主题一：《淘宝数据库软硬件优化》

演讲人：维西（吴学章）

内容：分享淘宝在大规模SSD集群下，DB如何有效发挥单机性能的方案和经验。涉及SSD选型，Flashcache，参数优化和资源隔离等。

主题二：《Troubleshooting MySQL》

演讲人：苏普（周振兴）

内容：介绍MySQL诊断工具tcprstat/orzdba/top/iostat，系统工具tcpdump/oprofile/perf top，以及MySQL Explain解决SQL性能问题。

主题三：《淘宝MySQL经典案例》

演讲人：应元（杨德华）

内容：淘宝MySQL经典案例第二季，每个案例背后都有一段故事，每个案例都是DBA经验的总结。

主题四：《双十一数据库的故事》

演讲人：胜通（陈招尚）

内容：淘宝双十一数据库的准备工作，资源评估，应急预案，还有不眠不休的24个小时的有趣故事。

报名方法：

发邮件到askhellodba@gmail.com报名，内容包括：姓名，单位，电话，email，支付60元至支付宝账号：askhellodba@gmail.com，付费采用自愿的原则。

时间地点：

2012年12月22日（周六），下午13：00-17：30，地点：福云咖啡（杭州市西湖区西溪路628号福地创业园5楼）。

交通路线：

天目山路紫荆花路与紫荆港路之间的雷克萨斯4S店旁边的小路向南约200米，自驾车或出租车可以直接开进去。

收费说明：

本论坛为非盈利性公益组织，为了尊重知识和演讲人，采用象征性收费的原则，用来支付场地费，购买图书和礼品等。

–EOF–

众所周知，我在微博上开辟了一个AskHelloDBA专栏回答各种数据库问题，分享数据库最佳实践和研究成果。但是我一个人的能力有限，而我周围有很多技术牛人，所以我想打造一个数据库技术问答社区，集合社区的力量解答大家碰到的各种问题，大家可以互相交流技术，讨论人生和理想。

AskHelloDBA有别于传统的技术论坛，我们将其定义为技术问答社区，所以我们的定位更高端和小众一些，希望通过问答的形式，形成一个互助的平台，在这个平台上，大家互相交流技术，共同进步提高。

欢迎大家访问AskHelloDBA(askhellodba.com)！交流数据库技术，讨论DBA生涯！希望大家多多支持！

–EOF–

这是我在第一届AskHelloDBA数据库技术论坛上的主题演讲：Exadata那点事，讲述你所不知道的Exadata细节。

我认为不管是否是Exadata的用户，不管是DBA还是架构师，都可以从Exadada的架构中学到很多东西，这也是为什么我一直研究它的原因。

即将于2012年4月21日举办第一届AskHelloDBA数据库技术论坛，现公布活动安排和报名细则如下：

活动议程：

9：30-9：40 活动介绍

9：40-10：20 《Exadata的那点事》

内容提纲：讲述你所不知道的Exadata架构，包括以下内容：
1.Exadata硬件体系架构
2.Exadata的杀手锏-offloading
3.Exadata Flashcache机制详解
4.HCC和StorageIndex的适用场景
5.Exadata实际测试数据分析

演讲人：张瑞，网名HelloDBA，阿里巴巴数据库架构师，Exadata技术爱好者。致力于推动Flash存储技术在数据库领域的应用，研究软硬件结合的数据库解决方案，乐于分享数据库领域的最佳实践和研究成果。

10：20-10：40 茶歇&交流

10：40-11：20 《Oracle RAC Dynamic Remastering机制详解》

内容提纲：
1.Cache fusion的几种场景
2.Block Mastering初始化过程
3.Dynamic Remastering机制
4.手工模拟Dynamic Remastering测试
5.避免Cache fusion的意义

演讲人：王英杰，阿里集团数据库专家，Oracle RAC技术爱好者。

11：20-12：00 《Exadata实战案例》

内容提纲：Exadata实战案例分析

演讲人：Oracle公司提供

12：00-13：00 午餐&交流

13：00-13：40 《我对后端优化的一点想法》

内容提纲：数据库基本的性能优化思路与常见的优化模式，涉及性能建模、数据分库分表、缓存设计、索引设计等。该主题曾经在2011年数据库技术大会上演讲过，受到广泛关注和好评。

演讲人：童家旺，支付宝数据库架构师，Oracle技术专家，关注研究数据库性能优化和应用架构改进，曾翻译《Oracle性能诊断艺术》一书。

13:40-14:40 自由交流时间

报名方法：

发邮件到freezr@gmail.com，标题注明AskHelloDBA数据库技术论坛，内容包括：姓名，单位，电话，email，职位。报名成功后，我们会发邮件确认报名成功。因为场地限制，只允许报名30人，所以我们不保证每个人都能报名成功。

收费规则：

该活动为非盈利性质，收费只是支付场地和午餐费用，以及购买书籍和奖品。为了让活动能够持续举办下去，我们将为每位演讲者提供一份小礼品，感谢他们的辛苦付出。活动采用支付宝支付，暂定每人收费50元，收到确认邮件后，内有付款的支付宝账号。我们欢迎公司赞助本活动，第一届活动由Oracle公司提供赞助，感谢Jack Han的大力支持！

会议时间地点：

2012年4月21日上午9：30，杭州福云咖啡，杭州市西湖区西溪路628号福地创业园5楼。

补充说明：

由于目前本活动只有我一个人组织，包括确定主题，联系场地，报名等等，所以肯定有很多不尽如人意的地方，希望得到大家的谅解和支持。如果有人愿意帮助我共同组织这个活动，我会非常感激。我已经为本活动申请了AskHelloDBA.com域名，以后会通过这个域名发布活动信息，即将上线，敬请期待。

–EOF–

最近博客很少更新，一是沉迷于新浪微博AskHelloDBA，回答大家的数据库问题；二是与Kaya、Kamus共同翻译《Expert Oracle Exadata》这本书，最近书籍的翻译工作已经进入尾声，即将定稿并出版，以下是我的译者序。

译者序-Jacky

2008年，Oracle在OOW上发布了与HP合作开发的Exadata V1。当时，我就对Exadata充满了好奇，很快我就在自己的博客上写了第一篇介绍Exadata的文章《Oracle Database Machine》。现在看来，文章中很多观点都是错误和可笑的，但当时介绍Exadata的技术资料非常少，很多观点只能来自于猜测。从那时开始，我一直保持着对Exadata的关注，并在一次Oracle介绍Exadata新技术的会议上，认识了Kaya（本书的另外一位译者），这也为我们共同翻译本书埋下了伏笔。

2009年，Oracle发布了Exadata V2，它不仅采用了SUN的硬件，更是革命性地引入了Flash存储，并采用智能闪存（Exadata Smart FlashCache）技术，让Exadata同时支持DW和OLTP应用，成为真正全能型的数据库软硬件一体机。2010年2月1日，我在博客上发表了第二篇关于Exadata的技术文章《Oracle Exadata技术浅析》，引起了大家的热烈讨论，并被广泛转载。文章中介绍了Exadata的新特性，并且在没有资料提及的情况下，提出SmartScan应该只能在特殊访问路径下（直接路径扫描）才能启用的观点。从此以后，我对Exadata着了迷，无奈除了一些官方文档以外，几乎没有其他任何资料，而我又没机会亲身操作Exadata，只能通过各种途径了解Exadata的最新信息。

2010年，我参加了在北京举办的OOW大会，第一次近距离看到了Exadata的真面目，也更加深刻体会到“Hardware and Software Engineered to Work Together”这句话的真正含义。从此，我开始致力于推动Flash存储技术在数据库领域的应用，研究软硬件结合的数据库解决方案。2011年10月举办的OTN China Tour活动上，受ACOUG的邀请，我作了《软硬件结合的数据库解决方案》主题演讲，介绍了我们在软硬件结合方面的一些尝试，并且解读了Exadata和Oracle刚推出的ODA（Oracle Database Appliance）的架构，引起了非常大的反响。

2011年底，我终于等到了亲身体验Exadata的机会，Oracle提供一个Exadata V2 Quarter Rack供我们测试。我们根据在线交易网站的特点，专门设计了一个测试模型，并且先在高端的小型机和存储上进行测试，然后在Exadata上运行相同的测试，以此来评估Exadata和传统主机存储之间的性能差异。Exadata的表现让我们非常惊讶，性能完全超过了小型机和存储。Exadata使用FlashCache技术，在读多写少的应用场景下，表现超乎想象，不仅预热速度快，而且性能与将数据全部放在Flash上相差无几，提供了非常好的性能价格比。不仅如此，我们还特别模拟了存储节点宕机的情况，当某个存储节点宕机时，Exadata表示毫无影响，而且性能下降非常小。通过一周的测试，我们对Exadata高性能、高可用和高度灵活的特性有了更深的认识。

作为一名Exadata技术爱好者，一直苦于找不到一本深入介绍Exadata的书籍，直到偶然一次机会我发现了《Expert Oracle Exadata》这本书，本书的几位作者都是Oracle技术领域内的大师，之前我一直订阅他们的博客了解最新的Oracle前沿技术，几位大师合著，再看看内容简介，我知道它就是我期盼已久的那本书。当时这本书还没有完成，我找到出版社希望能在本书出版后第一时间拿到，没想到侠少不仅帮我拿到了书，同时也拿到了本书的版权，并且希望我能翻译这本书，我毫不犹豫地答应了，因为我已经期待了太长时间。但是当我读了一点又开始犹豫了，因为对于Exadata来说我只是个初学者，而且本书的技术含量非常高，凭我一己之力很难完成这项工作，我马上想到了两个人，一个是Kaya（黄凯耀），另一个是Kamus（张乐奕），Kaya来自于Oracle RealWorld Database Performance Group，专门研究Oracle和Exadata的性能优化，我相信国内没有人比他更熟悉Exadata。Kamus是国内知名的Oracle技术专家，Oracle ACE Director，他也是Exadata技术爱好者。事实证明，他们就是最合适的人。

虽然我以前也经常写文章，但是翻译书籍还是第一次，深深体会到翻译工作的艰辛。因为Exadata是业界最新的技术，翻译的过程也是学习的过程，很多技术都是第一次碰到，需要理解并准确表达出来，这对翻译者是个严峻的考验。我们三个人一起翻译和讨论，不知不觉过去了半年时间，来来回回发了几百封邮件，往往一个句子甚至一个词，都要讨论很多遍才能确定下来，正是在这样讨论的过程中，很多技术问题都被我们搞清楚了。我们坚信翻译不是简单的文字转换，一定要自己先搞清楚，才能翻译出来给大家。正因为如此，我们在翻译的过程中，也发现了原书中的很多错误，并且Kaya把我们发现的错误都整理出来发给了原书的作者，所以大家读到的应该是最新版本。

如果要说本书最难翻译的部分是什么，当属“Kevin说”，因为Kevin说的要不是“技术哲学”，要不就是“技术原理”，有时候我们读过几遍之后，还不知道他在说什么，我们已经尽可能翻译得通俗易懂，但是仍然有很多不完美的地方，请大家谅解。另外，因为Exadata的技术非常新，我们对难于理解的地方都加上了译者注，希望可以帮助大家。本书中出现的术语，我们都采用中英文对照的方式，也有一些常用的Oracle术语我们选择不翻译，因为英文比中文更容易理解。

最后，我要感谢家人对我的支持，尤其是我的爱人Emily和Michael小朋友，每天工作到深夜，回到家后看到你们熟睡的脸庞，觉得一切付出都是值得的。还要感谢和我一起战斗过的Kaya和Kamus，你们给了我太多太多的帮助。感谢原书的作者，正因为你们写了这样一本伟大的书籍，才有了现在的中文版本。最后感谢读者的支持和理解，希望你们喜欢这本书。

我翻译了本书第三、五、十、十四、十五以及附录部分。

张瑞

2012年4月1日于杭州

个人简介：

张瑞，网名HelloDBA，2005年加入阿里巴巴，现任数据库架构师，负责数据库性能优化与架构改进，主导推动了阿里巴巴数据库技术的变革。现致力于推动Flash存储技术在数据库领域的应用，研究软硬件结合的数据库解决方案。个人有技术博客HelloDB.net，乐于分享数据库领域的最佳实践和研究成果。

最近参加了OTN China Tour技术嘉年华的活动，并准备了一个关于软硬件结合的主题演讲，介绍了我们在软硬件结合方面提升Oracle数据库性能和可用性的案例，后续我会详细介绍这些案例的架构与设计。

Hardware and Software Engineered to Work Together

自从Oracle收购了SUN，不仅仅得到了MySQL，Java，Solaris等，还得到了SUN的硬件产品，真正成为了一家软硬通杀的服务提供商。这几年，接连推出了基于SUN的硬件产品打造的数据库一体机Exadata X2，中间件一体机Exalogic等等，更是将软硬件结合的思路发挥到了极致。其中最郁闷的非HP莫属，从原来的合作伙伴到竞争对手，Exadata采用SUN的硬件，Oracle抛弃安腾处理器，甚至CEO都跳槽去了Oracle。

最近，Oracle推出了廉价的数据库一体机ODA（Oracle Database Appliance），这个产品同样是软硬件结合战略下的产物，目标是为中低端用户提供廉价，简单，高可用的数据库一体机，并与Exadata形成高低搭配，Exadata与小型机和高端存储竞争，ODA则占领使用PC服务器的中低端市场。

我们来看看这个机器的硬件特点：

Oracle在4U的空间内，搭建了一个两节点的RAC系统。其中内置了两个配置双路X5675CPU+96G内存的服务器，共享20块600G SAS磁盘，4块73G的SSD，内置万兆交换机用于RAC节点互联（Exadata的节点互联是采用Infiniband）。其中SSD用于存放redo log，提升性能。

Oracle的最大特点是软硬件结合，这套系统使用Oracle Linux，Oracle database 11gR2 RAC，以及专门用来配置和管理的Appliance Manager，用来提升管理性和易用性。

使用ODA与用户自己使用PC搭建数据库相比，用户无需购买SAN存储和万兆交换机，就可以实现一套高可用的RAC系统。软硬件一体机的另外一个最大的特点就是配置简单，即插即用，Oracle帮你搞定一切。不过，这个优点在有些用户看来也许是缺点，因为不够灵活，黑盒子不够透明等等。

但是，对于大部分用户而言，简单，易管理，高可用就是最基本的要求，看来ODA还是挺符合这些需求的。当然，价格也是一个重要因素，ODA的目标用户应该都是中小型用户，不差钱的用户通常都会买小型机，高端存储或者Exadata，如果定价合理，相信还是有很大的市场的。

有一点值得注意，ODA将整套系统全部封装在一个盒子里，无形中增加了风险，在异常情况下可能会导致整个系统不可用，比如断电或存储损坏等等。所以，考虑到可用性的问题，一套肯定是不够的，至少要再买一套做DataGuard。不过，这样做代价就有点高了，考虑到ODA肯定比自己买PC服务器贵，可以考虑自己购买PC来做DataGuard，降低使用成本，提升可用性。

–EOF–

最近博客一直没更新，因为忙着翻译一本书，《Expert Oracle Exadata》。

本书的作者是Kerry Osborne, Randy Johnson和 Tanel Põder，看看三位重量级的作者就知道本书的技术含量非常高，尤其是在Exadata的资料如此匮乏的情况下，本书全面介绍了Exadata的各种技术内幕，绝对是一本非常有价值的好书。

目前，我和Kumas，Kaya一起正在全力翻译这本书，预计几个月后，大家就可以读到这本书的中文译本，敬请期待！

–EOF–

附上本书的目录

周末在eygle家做客，拍了这张照片，能和两位大师一起，我觉得挺有意义。三巨头的称呼，只是个玩笑，大家笑笑就好了。

Biti是我在阿里的导师，很多东西都是跟着他学的，包括思考问题的方式，甚至现在做的很多事情，都是从他那里交接过来的。Eygle是我的偶像，我刚开始学数据库的时候，他已经成大师了，现在依然奋斗在技术路上，值得敬佩，而且我和他还是同龄人。

那天，我们聊了很多，关于数据库技术的发展，关于传统行业与互联网行业的差异。回来之后，我在想一个问题，中国有大量的中小型用户，他们使用数据库还停留在比较低的水平，对应用优化没有很多经验，我们能否把互联网一些成熟的经验传递给他们，帮助他们提升管理优化数据库的能力，这是很有意义的事情。甚至，我想搭建一个廉价的数据库盒子，可以提供很好的性能和可靠性，而且价格相对低廉，这是我新的梦想。

晚餐时，大家不禁感概，人生很短暂，不要留遗憾。所以，想做就去做吧。

–EOF–

最近一段时间，我们整理了一些关于Percona，Linux，Flashcache，硬件设备的优化经验，分享给大家：

硬件

1.开启BBWC

RAID卡都有写cache(Battery Backed Write Cache)，写cache对IO性能的提升非常明显，因为掉电会丢失数据，所以必须由电池提供支持。电池会定期充放电，一般为90天左右，当发现电量低于某个阀值时，会将写cache策略从writeback置为writethrough，相当于写cache会失效，这时如果系统有大量的IO操作，可能会明显感觉到IO响应速度变慢。目前，新的RAID卡内置了flash存储，掉电后会将写cache的数据写入flash中，这样就可以保证数据永不丢失，但依然需要电池的支持。

解决方案有两种：1.人工触发充放电，可以选择在业务低谷时做，降低对应用的影响；2.设置写cache策略为force write back，即使电池失效，也保持写cache策略为writeback，这样存在掉电后丢失数据的风险。

目前，有一些硬件厂家提供了电容供电的RAID卡，没有电池充放电的问题，可以联系自己的硬件厂商。

2.RAID卡配置

关闭读cache：RAID卡上的cache容量有限，我们选择direct方式读取数据，从而忽略读cache。

关闭预读：RAID卡的预读功能对于随机IO几乎没有任何提升，所以将预读功能关闭。

关闭磁盘cache：一般情况下，如果使用RAID，系统会默认关闭磁盘的cache，也可以用命令强制关闭。

以上设置都可以通过RAID卡的命令行来完成，比如LSI芯片的RAID卡使用megacli命令。

3.开启Fastpath功能

Fastpath是LSI的新特性，在RAID控制器为SSD做了了优化，使用fastpath特性可以最大程度发挥出SSD的能力。如果使用SSD做RAID的方式，可以开启fastpath功能。关于fastpath特性，可以从LSI官网下载资料，并咨询自己的硬件提供商。

4.Fusionio参数调整

基本上，Fusionio无需做任何调整，下列三个参数可能会提升性能：

options iomemory-vsl use_workqueue=0

对于fusionio设备，忽略Linux IO调度，相当于使用NOOP。

options iomemory-vsl disable-msi=0

开启MSI中断，如果设备支持，则打开。

options iomemory-vsl use_large_pcie_rx_buffer=1

打开Large PCIE buffer，可能会提升性能。

操作系统

1.IO调度算法

Linux有四种IO调度算法：CFQ，Deadline，Anticipatory和NOOP，CFQ是默认的IO调度算法。完全随机的访问环境下，CFQ与Deadline，NOOP性能差异很小，但是一旦有大的连续IO，CFQ可能会造成小IO的响应延时增加，所以数据库环境建议修改为deadline算法，表现更稳定。我们的环境统一使用deadline算法。

IO调度算法都是基于磁盘设计，所以减少磁头移动是最重要的考虑因素之一，但是使用Flash存储设备之后，不再需要考虑磁头移动的问题，可以使用NOOP算法。NOOP的含义就是NonOperation，意味着不会做任何的IO优化，完全按照请求来FIFO的方式来处理IO。

减少预读：/sys/block/sdb/queue/read_ahead_kb，默认128，调整为16

增大队列：/sys/block/sdb/queue/nr_requests，默认128，调整为512

2.NUMA设置

单机单实例，建议关闭NUMA，关闭的方法有三种：1.硬件层，在BIOS中设置关闭；2.OS内核，启动时设置numa=off；3.可以用numactl命令将内存分配策略修改为interleave（交叉），有些硬件可以在BIOS中设置。

单机多实例，请参考：http://www.hellodb.net/2011/06/mysql_multi_instance.html

3.文件系统设置

我们使用XFS文件系统，XFS有两个设置：su(stripe size)和sw(stirpe width)，要根据硬件层RAID来设置这两个参数，比如10块盘做RAID10，条带大小为64K，XFS设置为su=64K，sw=10。

xfs mount参数：defaults,rw,noatime,nodiratime,noikeep,nobarrier,allocsize=8M,attr2,largeio,inode64,swalloc

数据库

1.Flashcache参数

创建flashcache：flashcache_create -b 4k cachedev /dev/sdc /dev/sdb

指定flashcache的block大小与Percona的page大小相同。

Flashcache参数设置：

flashcache.fast_remove = 1：打开fast remove特性，关闭机器时，无需将cache中的脏块写入磁盘。

flashcache.reclaim_policy = 1：脏块刷出策略，0：FIFO，1：LRU。

flashcache.dirty_thresh_pct = 90：flashcache上每个hash set上的脏块阀值。

flashcache.cache_all = 1：cache所有内容，可以用黑名单过滤。

flashecache.write_merge = 1：打开写入合并，提升写磁盘的性能。

2.Percona参数

innodb_page_size：如果使用fusionio，4K的性能最好；使用SAS磁盘，设置为8K。如果全表扫描很多，可以设置为16K。比较小的page size，可以提升cache的命中率。

innodb_adaptive_checkpoint：如果使用fusionio，设置为3，提高刷新频率到0.1秒；使用SAS磁盘，设置为2，采用estimate方式刷新脏页。

innodb_io_capacity：根据IOPS能力设置，使用fuionio可以设置10000以上。

innodb_flush_neighbor_pages = 0：针对fusionio或者SSD，因为随机IO足够好，所以关闭此功能。

innodb_flush_method=ALL_O_DIRECT：公版的MySQL只能将数据库文件读写设置为DirectIO，对于Percona可以将log和数据文件设置为direct方式读写。但是我不确定这个参数对于innodb_flush_log_at_trx_commit的影响，

innodb_read_io_threads = 1：设置预读线程设置为1，因为线性预读的效果并不明显，所以无需设置更大。

innodb_write_io_threads = 16：设置写线程数量为16，提升写的能力。

innodb_fast_checksum = 1：开启Fast checksum特性。

监控

1.fusionio监控：fio-status命令

Media status: Healthy; Reserves: 100.00%, warn at 10.00%

Thresholds: write-reduced: 96.00%, read-only: 94.00%

Lifetime data volumes:

Logical bytes written : 2,664,888,862,208

Logical bytes read    : 171,877,629,608,448

Physical bytes written: 27,665,550,363,560

Physical bytes read   : 223,382,659,085,448

2.flashcache监控：dmsetup status

read hit percent(99)

write hit percent(51)

dirty write hit percent(44)

–EOF–