iDataForum2011将于7.10在杭州之江饭店开启数据技术分享之旅，期待与各位报名参加的技术人一起畅赏技术交流的快感。
View Larger Map
| iDataForum — 主论坛 |
| 时间 |
主题 |
拟邀嘉宾 |
| 【9:30 – 9:45】 |
开场致辞 |
阳振坤/正祥(淘宝网) |
| 【9:45 – 10:45】 |
开放环境下的数据管理 |
周晓方(澳大利亚昆士兰大学) |
| 【11:00 – 12:00】 |
MySQL+SSD数据库优化实践 |
陈长城/天羽(淘宝网) |
| iDataForum — 分论坛一 |
| 时间 |
主题 |
拟邀嘉宾 |
| 【13:30 – 14:30】 |
网易分布式数据库平台介绍 |
王磊 (网易) |
| 【14:45 – 15:45】 |
高性能模糊查询内存数据库介绍 |
罗立刚(百度) |
| 【15:45 – 16:45】 |
MySQL新技术探索与实践 |
彭立勋(阿里巴巴) |
| 【17:00 – 18:00】 |
MySQL高可用圆桌讨论 |
主持人+嘉宾
现场互动 |
| iDataForum — 分论坛二 |
| 时间 |
主题 |
拟邀嘉宾 |
| 【13:30 – 14:30】 |
OceanBase内部探秘 |
黄贵/曲山(淘宝网) |
| 【14:45 – 15:45】 |
HBase简介与实践分享 |
林昊/毕玄(淘宝网) |
| 【15:45 – 16:45】 |
高性能KV数据库THUIRDB |
梁斌(清华大学) |
| 【17:00 – 18:00】 |
Tair——高性能KV系统 |
朱国云/宗岱(淘宝网) |
| iDataForum — 分论坛三 |
| 时间 |
主题 |
拟邀嘉宾 |
| 【13:30- 14:30】 |
淘宝海量数据产品的技术架构 |
张轩丞/朋春(淘宝网) |
| 【14:45 – 15:45】 |
可视化与可视分析－从数据拥有者到数据用户的桥梁 |
袁晓如(北京大学信息科学技术学院 ) |
| 【15:45 – 16:45】 |
下一代推荐引擎的核心理念和关键技术 |
周涛(北京百分点信息科技有限公司),
张韶峰(北京百分点信息科技有限公司) |
| 【17:00 – 18:00】 |
可视化技术成就淘宝数据之美 |
贾超/玄澄(淘宝网) |
更多信息，请参考淘宝技术嘉年华官方
假设我们有一套数据量庞大的前台系统需要从MySQL上转到Hbase上，比较粗糙的数据同步方法有：
1、将整个前台系统变为只读
2、全量dump MySQL数据
3、将MySQL数据导入到Hbase上
4、将前台系统切换到Hbase上，并打开更新
该方案比较简单，易于维持数据一致性，但是缺点是影响了所有用户的写入，并且时间过长。
用户体验看起来比较友好的数据同步方法有：
1、全量dump某个时间点之前的数据，并记录期间的增量日志A
2、apply日志A内的数据，并记录期间的增量日志B
3、apply日志B内的数据，并记录期间的增量日志C
4、不断重复第3步，直到日志C足够小
5、将整个前台系统变为只读，apply日志C内的数据
6、将前台系统切换到Hbase上，并打开更新
该方案实现比较复杂，迭代日志的做法看起来没完没了，而且容易引起少部分用户数据不一致。但是只读的时间非常短，大部分用户都能在数据同步期间自由使用应用。
Read more…
在MongoDB 1.6.4的使用过程中，我们发现当文件系统cache用尽的时候MongoDB的写入性能会有非常大的波动。更为致命的是，偶尔还会发生持续20-30秒的写入阻塞。虽然MongoDB的设计非常先进，但是稳定性一直是我们头痛的一个问题。带着疑问我们参加了Mongo北京开发者聚会，会上10gen的工程师Alvin Richards建议测试一下MongoDB 1.8，据说在写锁上有所改进。
回到杭州后，我们在Redhat 6.0上重做了MongoDB 1.6.4和1.8.0-rc0的对比测试。测试的结果如下图所示：
这两张图的横坐标是时间轴（每个点代表10秒钟），纵坐标是插入速度（代表10秒内的平均速度）。
测试逻辑如下：
1、在zyy库下建立一个名为test的collection
2、在test的k字段上建立索引
3、开启测试程序并打点。该测试程序将开启10个线程对test进行并发写入。k由uuid调用生成，长度为37字节；v长度为1k。
从测试结果上看，MongoDB 1.8.0相对于1.6.4在写入性能上有所改进。首先，1.6.4除了预分配文件造成性能下降外，写入性能偶尔还会长时间降到0。而1.8.0基本没有出现写入性能降到0的情况，性能的最低点在于预分配文件。其次，从性能的稳定性上看，1.8.0的波动显然没有1.6.4那么夸张。在InnoDB做的类似测试也会出现类似波动，但是性能最低点不会降到MongoDB那么低。
总体而言，MongoDB 1.8.0-rc从功能和性能上都有所改进。期待release版本和新的存储引擎中。
具体测试代码见此：
http://pastie.org/1645946
作为DBA，经常会碰到导入导出数据的需求，本篇就介绍了mysqldump和load data这两种方法。使用mysqldump时可以加上一些参数，dump需要的数据。重点介绍了使用load data导入时遇到的2个问题及解决方法。
1、 整个库的导出导入
用mysqldump命令，可以只导出表结构，也可以连数据一起导出，看需求。可以用mysqldump 导出整个库，也可以导出单个表。
例如：将整个test库导出，包括表结构、数据：
[mysql@my101 data]$ mysqldump -uroot test > test.txt
将test库中导出的所有表、数据，导入到pyt库：
[mysql@my101 data]$ mysql -uroot pyt < test.txt
只导出表结构： Read more…
Recent Comments