35_04MySQL系列之十六－使用xtrabackup进行数据库备份

二进制日志相关的几个选项:
    Innodb support xa={TRUE|FLASE}
    存储引擎事务在存储引擎内部被赋予了ACID属性，分布式(XA)事务是一种高层次的事务，它利用“准备”然后“提交”(prepare-then-commit)
    两段式的方式将ACID属性扩展到存储引擎外部，甚至是数据库外部。然后，“准备”阶段会导致额外的磁盘刷写操作，XA需要事务协调员，它会通知所有的参与者准备提交事务(阶段一)，当协调员从所有参与者那里收到“就绪”信息时，它会提示所有参与者进行真正的”提交“操作。
    此变量正是用于定义InnoDB是否支持两段式提交的分布式事务，默认为启用。事实上，所有启用了二进制日志的并支持多个线程同时向二进制日志写入数据的MySQL服务器都需要启用分布式事务，否则，多个线程对二进制日志的写入操作可能会以与原始次序不同的方式完成，这将会在基于二进制日志的恢复操作中或者是从服务器上创建出不同原始数据的结果。因此，除了仅有一个线程可以改变数据以外的其他应用场景都不应该禁用此功能。而在仅有一个线程可以修改数据的应用中，禁用此功能是安全的并可以提升InnoDB表的性能。作用范围为全局和会话级别，可用于选项文件，属动态变量；

percona:
    ibbackup
        InnoDB online physical backup
            full
            incremental
        MyISAM: warm backup,full
    指ibackup可以实现对InnoDB实现在线物理备份，可以实现完全备份和增量备份，但是对MyISAM只能实现温备份和完全备份,但是授权费相当高；

由于mysqldump只能实现小型数据库的备份(大型数据库备份耗费时间太长)，由于时逻辑备份，还会有损失精度的情况，所以，只适合小企业；

虽然LVM几乎可以实现热备，也是物理备份，但是由于它要进行锁表，当然LVM也有现成的开源工具进行备份:
    mylvmbackup,使用perl 写的scripts;

xtrabackup:
    可以实现对xtradb/innodb存储引擎进行备份(xtradb可以看做是Innodb的增强版，如果源码编译mysql,建议使用xtradb)

使用Xtrabackup进行MySQL备份:

安装

  1. 简介
    xtrabackup是由percona提供的mysql数据库备份工具，据官方介绍，这特使世界上唯一一款开源的能够对InnoDB和xtradb数据库进行备份的工具，特点:

    备份过程快速、可靠；
    备份过程不会打断正在执行的事务；
    能够基于压缩等功能节约磁盘空间和流量；
    自动实现备份检验；
    还原速度快；

  2. 安装

    安装.deb或者.rpm包即可；

备份的实现

  • 完全备份
1
＃innobackupex  --user=DBUSER -password=DBPASSWD /path/to/BACKUP-DIR

 such as:
     # innobackupex –user=root –password=test /tmp/xtra
     会在这个目录下生成这两个目录，2015-07-05_10-19-26  2015-07-05_10-19-40，其中２６那个备份的是配置文件，４０那个是数据库.
         也有可能只有一个文件夹，其中存放所有东西。当然只出现一个是操作成功了！！

如果要使用一个最小权限的用户进行备份，则可基于如下命令创建此类用户: 

1
2
3
4
mysql>CREATE USER 'bkpuser'@'localhost' IDENTIFIED BY 'test'; 
mysql>REVOKE ALL PRIVILEGES,GRANT OPTION FORM 'bkpuser'; 
mysql>GRANT RELOAD,LOCK TABLES,REPLICATION CLIENT ON *.* TO 'bkpuser'@'localhost'; 
mysql>FLUSH PRIVILEGES;

使用innobackupex备份时，其会调用xtrabackup备份所有的innoDB表，复制所有关于表结构定义的相关文件(.frm)、以及myISAM、MERGE、CSV和ARCHIVE表的相关文件，同时还会备份触发器和数据库配置信息相关的文件。这些文件会保存至一个以时间命令的目录中；

在备份的同时，innobackupex还会在备份目录中创建如下文件;

  1. xtrabackup_checkpoints —–备份类型(如完全或增量)、备份状态(如是否已经为prepared状态)和LSN(日志序列号)范围信息；
    每个InnoDB页，通常为16K,都会包含一个日志序列号(即LSN)。LSN是整个数据库系统的系统版本号。每个也变相关的LSN能够表明此页面最近是如何发生改变的；
  2. xtrabackup_binlog_info ——-mysql服务器当前正在使用的二进制日志文件及其备份这一刻为止二进制日志事件的位置。
  3. xtrabackup_binlog_pos_innodb  —-二进制日志文件及用于InnoDB或XtraDB表的二进制日志文件的当前 position;
  4. xtrabackup_binary ——备份中用到的xtrabackup的哪个版本的可执行文件；
  5. backup-my.cnf ———备份命令用到的配置选项信息；

在使用innobackupex进行备份时，还可以使用–no-timestamp选项来阻止命令在动创建一个以时间命令的目录；如此一来，innobackupex命令将会创建一个BACKUP-DIR目录来存储备份数据。

  • 准备(prepare)一个完全备份

一般情况下，在备份完成后，数据尚且不能用于恢复操作，因此备份的数据中可能会包含尚未提交的事务或已经提交但尚未同步至数据文件中的事务。因此，此时数据文件仍处于不一致状态。
!!!!!!!!”准备“的主要作用正是回滚未提交的事务及同步已经提交的事务至数据文件使得数据文件处于一致性的状态。!!!!!!!!!!

innobackupex命令的–apply-log选项可用于实现上述功能。如下面的命令: 

1
#innobackupex --apply-log  /path/to/BACKUP-DIR/

    such as:
        #innodbackupex –apply-log /tmp/xtra/2015-07-05_10-19-40

如果执行正确，其最后输出的几行信息通常如下:
    [notice (again)]
  If you use binary log and don’t use any hack of group commit,
  the binary log position seems to be:
InnoDB: Last MySQL binlog file position 0 83739108, file name ./mysql-bin.000001

xtrabackup: starting shutdown with innodb_fast_shutdown = 1
150705 10:40:12  InnoDB: Starting shutdown…
150705 10:40:16  InnoDB: Shutdown completed; log sequence number 207833100
150705 10:40:16  innobackupex: completed OK!
    这步还是相当重要的！！

  • 二进制日志备份(增量备份) 

    1
    2
        >flush logs 
        #cp mysql-bin.* /root

  • 还原
        innobackupex命令的–copy-back选项用于执行恢复操作，其通过复制所有数据相关的文件至mysql服务器DATADIR目录中来执行恢复过程，innobackupex通过backup-my.cnf来获取DATADIR目录的相关信息。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
    #innobackupex --copy-back /path/to/BACKUP-DIR 
        #innobackupex --copy-back /tmp/xtra/2015-07-05_10_19_40 
    innobackupex: Starting to copy InnoDB log files 
    innobackupex: in '/tmp/xtra/2015-07-05_10-19-40' 
    innobackupex: back to original InnoDB log directory '/var/lib/mysql' 
    innobackupex: Copying '/tmp/xtra/2015-07-05_10-19-40/ib_logfile0' to '/var/lib/mysql/ib_logfile0' 
    innobackupex: Copying '/tmp/xtra/2015-07-05_10-19-40/ib_logfile1' to '/var/lib/mysql/ib_logfile1' 
    innobackupex: Finished copying back files. 
 
    150705 10:55:42  innobackupex: completed OK! 
 
    但是此时的属主和属组是不正确的，应该 chown -R mysql.mysql  /var/lib/mysql 
 
    mysqlbinlog /root/mysql-bin.*      >/tmp/abc.sql 
    >set sql_log_bin=0; 
    >source /tmp/abc.sql 
    >set sql_log_bn=1;

至此完成！！！！！！！！！！！！！！！！xtrabackup + 二进制日志；

  • 增量备份
        每个InnoDB的页面都会包含一个LSN信息，每当相关的数据发生改变，相关的页面的LSN就会自动增长。这正是InnoDB表可以进行增量备份的基础，即innobackupex通过备份上次完全备份之后发生改变的页面来实现；

要实现第一次增量备份，可以使用下面的命令进行：
    ＃innobackupex –incremental /backup –incremental -basedir=BASEDIR
        #innobackupex –incremental  /tmp/incremental /    –incremental-basedir=/tmp/xtra/2015-07-05_10_19_40

其中，BASEDIR指的是完全备份所在的目录，此命令执行结束后，innobackupex命令会在/backup目录中创建一个以时间命令的目录以存放所有的增量备份数据。另外，在执行过增量备份之后再一次进行增量备份时，其–incremental-basedir应该指向上一次的增量备份所在的目录。

需要注意的是，增量备份仅能应用于InnoDB或XtraDB表，对于MyISAM表而言，执行增量备份时其实进行的是完全备份。

”准备“(prepare)增量备份与整理完全备份有着一些不同，尤其要注意的是:
    （１）需要在每个备份(包括完全和各个增量备份)上，将已经提交的事务进行”重放“，”重放“之后，所有的备份数据将合并到完全备份上；
    （２）基于所有的备份将未提交的事务进行”回滚“。

于是，操作变成了:
    #innobackupex –apply-log –redo-only BASE-DIR

接着执行:
    #innobackupex –apply-log –redo-only BASE-DIR –incremental-dir=

而后是第二个增量:
    #innobaclkupex –apply-log –redo-only BASE-DIR –incremental-dir=
其中BASE-DIR指的是完全备份所在的目录，而INCREMENTAL-DIR-1指的是第一次增量备份的目录，INCREMENTAL-DIR-2指的是第二次增量备份的目录。其他以此类推，即如果有多次增量备份，每一次都要执行如上操作；

此时进行还原的时候，只要还原BASE-DIR即可；

然后chown -R mysql.mysql /var/lib/mysql

然后再重新进行完全备份!!

  • xtrabackup的”流“及”备份压缩“功能

xtrabackup对备份的数据文件支持”流“功能，即可以将备份的数据通过STDOUT传输给ｔａｒ程序进行归档，而不是默认的直接保存至某备份目录中。要使用此功能，仅需要使用－－stream选项即可。如:
    #innobackupex –stream=tar /backup | gzip > /backup/date+%F-%H-%M-%S.tar.gz

甚至也可以使用类似如下命令将数据备份至其他服务器:
    #innobackupex –stream=tar /backup | ssh user@www.test.com “cat - > /backups/date+%F-%H-%M-%S.tar”

此外，在执行贝蒂备份时，还可以使用–parallel选项对多个文件进行并行复制。此选项用于执行在复制时启动的线程数目。当然，在实际进行备份时要利用此功能的便利性，也需要启用innodb_file_per_table选项或共享的表空间通过innodb_data_file_path选项存储在多个ibdata文件中。对某一个数据库的多个文件的复制无法利用到此功能，其简单使用方法如下:
    #innobackupex –parallel /path/to/backup

同时，innobackupex备份的数据文件也可以存储至远程主机，这可以使用–remote-host选项来实现:
    #innobackupex --remote-host=root@www.test.com /PATH/IN/REMOTE/HOST/TO/BACKUP

  • 导入或导出单张表

默认情况下，InnoDB表不能通过直接复制表文件的方式在mysql服务器之间进行移植，即便用了innodb_file_per_table选项，而使用xtrabackup工具可以实现此种功能，不过，此时需要”导出”表的mysql服务器启用了innodb_file_per_table选项(严格来说，是要”导出“的表在其创建之前，mysql服务器就启用了innodb_file_per_table选项)，并且”导入“表的服务器同时启用了innodb_file_per_table和innodb_expand_import选项。

  1. ”导出“表
        导出表是在备份的prepare阶段进行的，因此，一旦完全备份完成，就可以在prepare过程中通过–export选项将某表导出了;
        #innobackupex –apply-log –export /path/to/backup
        此命令会为每个innodb表的表空间创建一个以.exp结尾的文件，这些以.exp结尾的文件则可以用于导入至其他服务器。

  2. ”导入“表
        要在mysql服务器上导入来自于其他服务器的某innodb表，需要现在当前服务器上创建一个跟原表表结构一致的表，而后才能实现将表导入；
        mysql>CREATE TABLE mytable (…) ENGINE=InnoDB:

    然后将此表的表空间删除：
    mysql>ALTER TALBE mydatabase.mytable DISCARD TABLESPACE;

    接下来，将来自于”导出“表的服务器的mytable表的mytable.ibd和mytable.exp文件复制到当前服务器的数据目录，然后使用如下命令将其”导入“；
    mysql>ALTER TABLE mydatabase.mytable IMPORT TABLESPACE;

  • 使用xtrabackup对数据库进行部分备份
    xtrabackup也可以实现部分备份，即只备份某个或某些指定的数据库或某数据库中的某个或某些表。但要使用此功能，必须启用innodb_file_per_table选项，即每张表保存为一个独立的文件，同时，其也不支持–stream选项，即不支持将数据通过管道传输给其他程序进行处理。

此外，还原部分备份跟还原全部数据的备份也有所不同，即你不能通过简单的将prepared的部分备份使用–copy-back选项直接复制回数据目录，而是要通过导入表的方式来实现还原。当然，有些情况下，部分备份也可以直接通过–copy-back进行还原。但是这种方式还原而来的数据多数会产生数据不一致的问题，因此，无论如何不推荐使用这种方式。

这个非常详细:(建议可以增加看这篇文章)
http://jingyan.baidu.com/article/75ab0bcbef0a44d6864db23d.html

这个算是简化版的，挺好。
http://blog.chinaunix.net/uid-20639775-id-154614.html

来个完整实验步骤

  1. 进行完全备份
1
2
    ＃innobackupex --user=root --password=easyheart /tmp/test 
        生成　2015-07-05_01-09-18
  1. 进行增量备份
1
2
3
4
5
     #nnobackupex --incremental /tmp  --incremental-basedir=/tmp/2015-07-05_01-09-18/ 
         生成　 2015-07-05_01-11-06 
 
    #innobackupex --incremental /tmp --incremental-basedir=/tmp/2015-07-05_01-11-06/ 
        生成　2015-07-05_01-13-26
  1. 准备
1
2
3
    #innobackupex --apply-log --redo-only 2015-07-05_01-09-18/ 
    #innobackupex --apply-log --redo-only /tmp/2015-07-05_01-09-18/ --incremental-dir=/tmp/2015-07-05_01-11-06/ 
     ＃innobackupex --apply-log --redo-only /tmp/2015-07-05_01-09-18/ --incremental-dir=/tmp/2015-07-05_01-13-26/
  1. 数据库崩溃
1
2
        #rm -rf /var/lib/mysql/.* -rf 
        #service mysqld stop
  1. 进行恢复
1
2
3
        #innobackupex --copy-back /tmp/2015-07-05_01-09-18/ 
        #chown 　－R　mysql.mysql /var/lib/mysql 
        #service mysqld start
  1. 再进行重新完全备份
赏

谢谢你请我吃糖果

支付宝

扫一扫，分享到微信

微信分享二维码

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

探索世界美好的存在。