<kbd id='woaibaidu'></kbd><address id='woaibaidu'><style id='woaibaidu'></style></address><button id='woaibaidu'></button>

          当前位置:主页 > 脚本专栏 > 其它 >
            Redis数据库高级实用特性:持久化机制
            2018-04-16 15:05 发布 次浏览

            drwxrwxr-x 2 root root 4096 2011-07-22 utils

            redis 127.0.0.1:6379> incr age

            appendfsync everysec //每秒钟写入磁盘一次,在性能和持久化方面做了很好的折中

            [6563] 09 Aug 18:59:12 # Redis is now ready to exit, bye bye...

            -rw-rw-r 1 root root 84050 2011-07-22 Changelog

            [[email protected] redis-2.2.12]# ll

            HongWan

            (3)、父进程继续处理client请求,除了把写命令写入到原来的aof文件中。同时把收到的写命令缓存起来。这样就能保证如果子进程重写失败的话并不会出问题。

            drwxrwxr-x 2 root root 4096 2011-07-22 client-libraries


            -rw-rw-r 1 root root 337 2011-07-22 Makefile

            [6563] 09 Aug 18:59:12 * DB saved on disk

            -rw-rw-r 1 root root 84050 2011-07-22 Changelog

            drwxrwxr-x 2 root root 4096 2011-07-22 design-documents

            save 60 10000

            总计 188

            redis是一个支持持久化的内存数据库,也就是说redis需要经常将内存中的数据同步到磁盘来保证持久化。redis支持两种持久化方式,一种是Snapshotting(快照)也是默认方式,另一种是Append-only file(缩写aof)的方式。下面分别介绍:

            drwxrwxr-x 7 root root 4096 2011-07-22 tests

            HongWan


            -rw-rw-r 1 root root 55 2011-07-22 BUGS

            (integer) 23

            -rw-rw-r 1 root root 671 2011-07-22 CONTRIBUTING

            -rw-rw-r 1 root root 9602 2011-07-22 00-RELEASENOTES

            redis 127.0.0.1:6379>

            【IT168 技术】在上篇文章中,我们介绍了Redis的高级实用特性中的安全性和主从复制,以及事务控制,在这篇文章中将继续为大家介绍Redis高级实用特性中的持久化机制。

            -rw-rw-r 1 root root 1487 2011-07-22 COPYING

            [[email protected] redis-2.2.12]#

            redis 127.0.0.1:6379>

            redis 127.0.0.1:6379> bgrewriteaof

            (integer) 21

            redis 127.0.0.1:6379> quit

            [[email protected] redis-2.2.12]#

            OK

            appendonly yes //启用aof持久化方式

            redis 127.0.0.1:6379> keys *

            

            OK

            redis 127.0.0.1:6379> get name

            从日志可以看出,数据库做了一个存盘的操作,将内存的数据写入磁盘了。正常的话,磁盘上会产生一个dump文件,用于保存数据库快照,我们来验证一下:


            下面介绍详细的快照保存过程:

            redis 127.0.0.1:6379> incr age


            drwxrwxr-x 2 root root 4096 08-05 19:12 src

            1) age

            (integer) 25

            

            drwxrwxr-x 2 root root 12288 2011-07-22 doc

            redis 127.0.0.1:6379> incr age


            redis 127.0.0.1:6379>

            [[email protected] redis-2.2.12]# src/redis-cli

            大小为259个字节,接下来我们调用一下bgrewriteaof命令将内存中的数据重新刷到磁盘的日志文件中

            下面将演示各种场景的数据库持久化情况

            -rw-rw-r 1 root root 19067 08-09 18:48 redis.conf

            数据被完全持久化到硬盘了。

            

            -rw-rw-r 1 root root 337 2011-07-22 Makefile

            -rw-rr 1 root root 0 08-09 19:37 appendonly.aof

            redis 127.0.0.1:6379> keys *

            drwxrwxr-x 4 root root 4096 2011-07-22 deps

            日志文件大小变为127个字节了,说明原来日志中的重复记录已被刷新掉了。

            redis 127.0.0.1:6379> set name HongWan

            2) name

            [6563] 09 Aug 18:58:58 * The server is now ready to accept connections on port 6379

            redis 127.0.0.1:6379> shutdown

            总计 184

            redis 127.0.0.1:6379> shutdown


            -rw-rw-r 1 root root 84050 2011-07-22 Changelog

            结果证明产生了,接着我们将redis再次启动后来看一下数据是否还在

            -rw-rw-r 1 root root 55 2011-07-22 BUGS

            -rw-rw-r 1 root root 671 2011-07-22 CONTRIBUTING

            redis 127.0.0.1:6379> incr age

            接下来我们看一下日志文件的大小

            

            再看一下磁盘上的日志文件大小

            (2)、子进程根据内存中的数据库快照,往临时文件中写入重建数据库状态的命令

            -rw-rw-r 1 root root 158 2011-07-22 TODO

            

            (integer) 22

            (5)、现在父进程可以使用临时文件替换老的aof文件,并重命名,后面收到的写命令也开始往新的aof文件中追加。

            1) name

            快照是默认的持久化方式。这种方式是就是将内存中数据以快照的方式写入到二进制文件中,默认的文件名为dump.rdb。可以通过配置设置自动做快照持久化的方式。我们可以配置redis在n秒内如果超过m个key被修改就自动做快照,下面是默认的快照保存配置

            硬盘上已经产生了一个数据库快照了。这时侯我们再将redis启动,看键值还是否真的持久化到硬盘了。

            # appendfsync no //完全依赖os,性能最好,持久化没保证

            1) age

            -rw-rr 1 root root 259 08-09 19:43 appendonly.aof

            # appendfsync always //收到写命令就立即写入磁盘,最慢,但是保证完全的持久化

            

            redis 127.0.0.1:6379> set age 20

            save 900 1 #900秒内如果超过1个key被修改,则发起快照保存

            1.redis调用fork,现在有了子进程和父进程。

            client 也可以使用save或者bgsave命令通知redis做一次快照持久化。save操作是在主线程中保存快照的,由于redis是用一个主线程来处理所有client的请求,这种方式会阻塞所有client请求。所以不推荐使用。另一点需要注意的是,每次快照持久化都是将内存数据完整写入到磁盘一次,并不是增量的只同步变更数据。如果数据量大的话,而且写操作比较多,必然会引起大量的磁盘io操作,可能会严重影响性能。

            drwxrwxr-x 7 root root 4096 2011-07-22 tests

            [6563] 09 Aug 18:58:58 - 0 clients connected (0 slaves), 539540 bytes in use

            总计 188

            -rw-rw-r 1 root root 1487 2011-07-22 COPYING

            我们先设置2个键值对,然后我们看一下系统中有没有产生appendonly.aof文件

            redis 127.0.0.1:6379> keys *

            -rw-rr 1 root root 26 08-09 18:59 dump.rdb

            需要注意到是重写aof文件的操作,并没有读取旧的aof文件,而是将整个内存中的数据库内容用命令的方式重写了一个新的aof文件,这点和快照有点类似。接来我们看一下实际的例子:

            [[email protected] redis-2.2.12]# ll

            我们先设置了一个name的键值对,然后正常关闭了数据库实例,数据是否被保存到磁盘了呢?我们来看一下服务器端是否有消息被记录下来了:

            Background append only file rewriting started

            -rw-rw-r 1 root root 652 2011-07-22 INSTALL

            Snapshotting:


            save 300 10 #300秒内容如超过10个key被修改,则发起快照保存

            

            drwxrwxr-x 4 root root 4096 2011-07-22 deps

            -rw-rw-r 1 root root 55 2011-07-22 BUGS

            [6563] 09 Aug 18:59:08 - 1 clients connected (0 slaves), 547424 bytes in use

            -rw-rw-r 1 root root 84050 2011-07-22 Changelog

            另外由于快照方式是在一定间隔时间做一次的,所以如果redis意外down掉的话,就会丢失最后一次快照后的所有修改。如果应用要求不能丢失任何修改的话,可以采用aof持久化方式。下面介绍Append-only file:

            -rw-rw-r 1 root root 9602 2011-07-22 00-RELEASENOTES

            (1)、redis调用fork ,现在有父子两个进程

            -rw-rw-r 1 root root 9602 2011-07-22 00-RELEASENOTES

            3.当子进程将快照写入临时文件完毕后,用临时文件替换原来的快照文件,然后子进程退出。

            [[email protected] redis-2.2.12]# ll

            [6563] 09 Aug 18:59:12 # User requested shutdown...

            -rw-rw-r 1 root root 652 2011-07-22 INSTALL

            drwxrwxr-x 2 root root 4096 2011-07-22 design-documents

            [[email protected] redis-2.2.12]# ll

            -rw-rw-r 1 root root 158 2011-07-22 TODO

            drwxrwxr-x 2 root root 4096 2011-07-22 client-libraries

            redis 127.0.0.1:6379> set name HongWan

            -rw-rw-r 1 root root 1954 2011-07-22 README

            接下来我们以实例说明用法:

            (integer) 24

            数据还存在系统中,说明系统是在启动时执行了一下从磁盘到内存的load数据的过程。

            [6563] 09 Aug 18:59:02 - Accepted 127.0.0.1:58005

            

            -rw-rr 1 root root 127 08-09 19:45 appendonly.aof

            redis 127.0.0.1:6379>

            drwxrwxr-x 2 root root 12288 2011-07-22 doc

            -rw-rw-r 1 root root 9602 2011-07-22 00-RELEASENOTES

            2) name


            drwxrwxr-x 2 root root 4096 2011-07-22 utils

            aof 比快照方式有更好的持久化性,是由于在使用aof持久化方式时,redis会将每一个收到的写命令都通过write函数追加到文件中(默认是appendonly.aof)。当redis重启时会通过重新执行文件中保存的写命令来在内存中重建整个数据库的内容。当然由于os会在内核中缓存 write做的修改,所以可能不是立即写到磁盘上。这样aof方式的持久化也还是有可能会丢失部分修改。不过我们可以通过配置文件告诉redis我们想要通过fsync函数强制os写入到磁盘的时机。有三种方式如下(默认是:每秒fsync一次)


            

            

            -rw-rw-r 1 root root 55 2011-07-22 BUGS

            [6563] 09 Aug 18:59:12 * Saving the final RDB snapshot before exiting.