xtrabackup拷贝文件的原理

innodb在很多方面都是模仿oracle的,xtrabackup的机制也跟rman很像,可以先看看rman是怎么copy block的:

http://docs.oracle.com/cd/E11882_01/backup.112/e10642/rcmcncpt.htm

Unlike user-managed tools, RMAN does not require extra logging or backup mode because it knows the format of data blocks. RMAN is guaranteed not to back up fractured blocks. During an RMAN backup, a database server session reads each data block and checks whether it is fractured by comparing the block header and footer. If a block is fractured, then the session rereads the block. If the same fracture is found, then the block is considered permanently corrupt. Also, RMAN does not need to freeze the data file header checkpoint because it knows the order in which the blocks are read, which enables it to capture a known good checkpoint for the file.

http://docs.oracle.com/cd/B19306_01/backup.102/b14191/rcmconc1.htm

RMAN does not require that you put datafiles into backup mode. During an RMAN backup, a database server session reads each block of the datafile and checks whether each block is fractured by comparing the block header and footer. If a block is fractured, the session re-reads the block. If the same fracture is found, then the block is considered permanently corrupt. If MAXCORRUPT is exceeded, the backup stops.

Xtrabackup备份恢复原理可以如下概括:
备份innodb表时,Xtrabackup若干个线程拷贝独立表空间的.ibd文件,并不停监视此过程中redo log的变化,添加到自己的事务日志文件(xtrabackup_logfile)中。在此过程中,发生的物理写操作越多,xtrabackup_logfile越大。在拷贝完成后的第一个prepare阶段,Xtrabackup采用类似于innodb崩溃恢复的方法,把数据文件恢复到与日志文件一致的状态,并把未提交的事务回滚。如果同时需要备份myisam表以及innodb表结构等文件,那么就需要用flush tables with lock来获得全局锁,开始拷贝这些不再变化的文件,同时获得binlog位置,拷贝结束后释放锁,也停止对redo log的监视。

很多同学对上面的理解有混淆,以为拷贝.ibd文件就跟操作系统拷贝文件一样。其实这里涉及到fractured page的问题,他应该会重新读取(应该也有重试次数,超过后备份不成功)。

其实这个原理很简单,了解下doublewrite就可以理解了“本段摘录自《MySQL技术内幕:InnoDB存储引擎》”:
如果说插入缓冲带给InnoDB存储引擎的是性能,那么两次写带给InnoDB存储引擎的
是数据的可靠性。当数据库宕机时,可能发生数据库正在写一个页面,而这个页只写了一部分(比如16K的页,只写前4K的页)的情况,我们称之为部分写失效(partial page write)。在InnoDB存储引擎未使用double write技术前,曾出现过因为部分写失效而导致数据丢失的情况。
有人也许会想,如果发生写失效,可以通过重做日志进行恢复。这是一个办法。但是
必须清楚的是,重做日志中记录的是对页的物理操作,如偏移量800,写’aaaa’记录。如果这个页本身已经损坏,再对其进行重做是没有意义的。这就是说,在应用(apply)重做日志前,我们需要一个页的副本,当写入失效发生时,先通过页的副本来还原该页,再进行重做,这就是doublewrite。

其实也就是我们在oracle恢复时如果数据块损坏,要求有备份,然后滚日志才行,没有无缘无故的恨,一切都是有原因的。。。。