淘宝数据库技术团队

昨天晚上，数据仓库一个4节点的RAC+ASM系统，在进行新加节点操作的时候，发现新节点的ASM实例无法mount diskgroup，报ORA-15042错误。后来尝试将整个库重启，结果所有节点的ASM实例都出现同样的问题了。这个教训告诉我们，在遇到问题没有搞清楚具体原因之前，千万不要轻易重启数据库。

但是问题既然已经发生，自然要想办法修复。这是一个将近7T的生产系统，虽然目前只供内部使用，也不可能接受长时间的停机，所以重建diskgroup然后从备份恢复的方案只能是最坏情况下的打算。那么，当务之急，是要尽快查出问题所在，对症下药。

工欲善其事，必先利其器。这次问题的解决，得益于oracle的kfed工具。从dump出来的结果看到，报错的两个disk的头信息确实已经损坏，另外一点比较奇怪的就是，正常disk header中记录的disk number和path信息，和从v$asm_disk查出来的已经不一致了。这个现象可能由于两个disk的头信息损坏，导致AMS Instance读取相关信息的整个机制出现了混乱。

Read more…

2008年是一个很有纪念意义的年份，这里有举国期盼的奥运会，也是12生肖的一个轮回，在这个新年的第一天，我们的团队blog也开博了，一起迎接崭新的2008。

2008年也是具有挑战性的一年，在这一年中，我们将面临巨大的挑战，我们要创造新的辉煌。这里要感谢我的团队，他们是一个强大的团队，负责亚洲最大的交易网站后台OLTP与OLAP数据库的正常运行，并致力于99.99%的高可用性状态。他们活泼，激情，并富有创造力，目标是打造中国最强大的DBA团队。

在这个团队blog中，将记录我们的成长与快乐，记录我们的经验与错误，记录我们的收获与汗水，希望大家能一起参与讨论，更希望有志之士能加入我们的团队，一起创造美好的未来。

Taobao DBA团队照片：