Redis持久化机制详解

1/19/24About 13 min

1. 简介

Redis是一个基于内存的高性能键值数据库，内存中的数据在服务器重启后会丢失。为了解决这个问题，Redis提供了持久化机制，将内存中的数据保存到磁盘上，以便在服务器重启后能够恢复数据。

Redis支持两种主要的持久化方式：

RDB（Redis DataBase）：将内存中的数据以快照的形式保存到磁盘上。
AOF（Append Only File）：将所有的写命令追加到日志文件中，重启时通过重新执行这些命令来恢复数据。

本文将详细介绍这两种持久化方式的原理、配置、优缺点以及适用场景，并介绍Redis 4.0引入的混合持久化机制。

2. RDB持久化

2.1 RDB基本原理

RDB持久化是将Redis在某个时间点的内存数据快照（Snapshot）保存到磁盘上的过程。RDB文件是一个二进制文件，包含了当时内存中的所有数据。

2.2 RDB触发方式

RDB持久化可以通过以下几种方式触发：

2.2.1 手动触发

SAVE命令：
- 阻塞Redis服务器，直到RDB文件创建完成
- 不推荐在生产环境使用，会影响Redis的响应性能
BGSAVE命令：
- 异步创建RDB文件，不会阻塞Redis服务器
- Redis会fork一个子进程来创建RDB文件
- 生产环境推荐使用

2.2.2 自动触发

可以通过配置文件中的save参数来自动触发RDB持久化：

save 900 1    # 900秒内至少有1个键被修改
save 300 10   # 300秒内至少有10个键被修改
save 60 10000 # 60秒内至少有10000个键被修改

当满足上述条件之一时，Redis会自动执行BGSAVE命令。

2.2.3 其他触发方式

主从复制：从服务器全量复制时，主服务器会执行BGSAVE命令
执行SHUTDOWN命令：Redis关闭时会执行SAVE命令
执行FLUSHALL命令：清空所有数据时，如果开启了RDB持久化，会执行SAVE命令

2.3 RDB文件结构

RDB文件是一个二进制文件，主要包含以下几个部分：

REDIS魔法数：标识这是一个RDB文件
RDB版本号：RDB文件的版本信息
数据库部分：包含多个数据库的数据
键值对数据：实际的键值对数据，使用特定的编码格式存储
结束标志：标识RDB文件的结束
校验和：用于验证RDB文件的完整性

2.4 RDB配置参数

RDB持久化的主要配置参数如下：

参数	描述	默认值
save	自动触发RDB持久化的条件	save 900 1 save 300 10 save 60 10000
dbfilename	RDB文件名	dump.rdb
dir	RDB文件保存目录	./
stop-writes-on-bgsave-error	BGSAVE失败时是否停止写入	yes
rdbcompression	是否压缩RDB文件	yes
rdbchecksum	是否对RDB文件进行校验和检查	yes

2.5 RDB的优缺点

2.5.1 优点

文件体积小：RDB文件是二进制文件，体积较小，便于存储和传输
恢复速度快：加载RDB文件的速度比AOF快
适合备份：适合用于定期备份和灾难恢复
对性能影响小：BGSAVE命令是异步执行的，对Redis的正常运行影响较小

2.5.2 缺点

数据安全性低：如果在两次RDB持久化之间发生故障，会丢失这段时间内的数据
fork子进程开销：BGSAVE命令会fork子进程，当数据量较大时，fork操作会占用大量内存和CPU资源
不适合实时持久化：无法保证数据的实时持久化

3. AOF持久化

3.1 AOF基本原理

AOF持久化是将Redis执行的所有写命令追加到AOF文件末尾，重启时通过重新执行这些命令来恢复数据。

3.2 AOF写入策略

AOF持久化的写入策略由appendfsync参数控制：

选项	描述	安全性	性能
always	每次写命令都立即同步到磁盘	最高	最低
everysec	每秒同步一次到磁盘	较高	较高
no	由操作系统决定何时同步	最低	最高

3.3 AOF重写机制

随着时间的推移，AOF文件会变得越来越大，影响Redis的性能和恢复速度。为了解决这个问题，Redis提供了AOF重写机制，通过创建一个新的AOF文件来替代旧的AOF文件，新文件中只包含恢复当前数据所需的最小命令集。

3.4 AOF重写触发方式

AOF重写可以通过以下几种方式触发：

3.4.1 手动触发

使用BGREWRITEAOF命令手动触发AOF重写：

BGREWRITEAOF

3.4.2 自动触发

可以通过配置文件中的参数来自动触发AOF重写：

auto-aof-rewrite-percentage 100  # AOF文件大小增长超过100%
auto-aof-rewrite-min-size 64mb    # AOF文件最小大小为64MB

当AOF文件大小超过auto-aof-rewrite-min-size，并且比上一次重写后的大小增长了auto-aof-rewrite-percentage时，自动触发AOF重写。

3.5 AOF文件结构

AOF文件是一个文本文件，包含了Redis执行的所有写命令，格式如下：

*2
$6
SELECT
$1
0
*3
$3
SET
$5
mykey
$7
myvalue
*2
$4
INCR
$4
counter

这是Redis的协议格式（RESP），每条命令由多个部分组成：

*n：表示命令有n个参数
$m：表示下一个参数的长度为m
实际的参数值

3.6 AOF配置参数

AOF持久化的主要配置参数如下：

参数	描述	默认值
appendonly	是否开启AOF持久化	no
appendfilename	AOF文件名	appendonly.aof
dir	AOF文件保存目录	./
appendfsync	AOF写入策略	everysec
no-appendfsync-on-rewrite	AOF重写时是否停止同步	no
auto-aof-rewrite-percentage	AOF重写触发百分比	100
auto-aof-rewrite-min-size	AOF重写触发最小大小	64mb
aof-load-truncated	是否加载被截断的AOF文件	yes
aof-use-rdb-preamble	是否使用混合持久化	yes（Redis 4.0+）

3.7 AOF的优缺点

3.7.1 优点

数据安全性高：可以通过配置appendfsync always实现实时持久化
文件可读性好：AOF文件是文本文件，可以直接查看和修改
适合增量备份：可以通过追加新的命令来实现增量备份
数据恢复准确：可以精确恢复到故障发生前的状态

3.7.2 缺点

文件体积大：AOF文件通常比RDB文件大
恢复速度慢：加载AOF文件的速度比RDB慢
对性能影响大：写入策略越安全，对Redis性能的影响越大
重写开销大：AOF重写需要消耗大量的内存和CPU资源

4. RDB与AOF的对比

4.1 功能对比

特性	RDB	AOF
持久化方式	内存快照	命令追加
文件格式	二进制	文本（RESP协议）
文件体积	小	大
恢复速度	快	慢
数据安全性	低（可能丢失数据）	高（可配置）
对性能影响	小（异步执行）	大（取决于写入策略）
适合场景	备份、灾难恢复	数据安全性要求高的场景

4.2 适用场景

4.2.1 选择RDB的场景

对数据安全性要求不高：可以接受一定时间内的数据丢失
需要快速恢复数据：RDB文件加载速度快
需要定期备份：RDB文件适合用于定期备份
资源有限：RDB对Redis性能的影响较小

4.2.2 选择AOF的场景

对数据安全性要求高：需要确保数据不丢失或丢失最少
需要精确恢复数据：AOF可以精确恢复到故障发生前的状态
需要可读性好的持久化文件：AOF文件是文本文件，便于查看和修改

5. 混合持久化

5.1 混合持久化基本原理

Redis 4.0引入了混合持久化机制，结合了RDB和AOF的优点。混合持久化生成的AOF文件由两部分组成：

RDB部分：文件开头包含一个RDB格式的快照
AOF部分：文件结尾包含RDB快照之后的所有写命令

5.2 混合持久化的优势

恢复速度快：开头的RDB部分可以快速加载大部分数据
数据安全性高：结尾的AOF部分可以精确恢复最新的数据
文件体积小：比纯AOF文件小

5.3 混合持久化配置

混合持久化通过aof-use-rdb-preamble参数控制：

aof-use-rdb-preamble yes  # 开启混合持久化

5.4 混合持久化的工作流程

6. 持久化配置最佳实践

6.1 生产环境配置建议

6.1.1 仅使用RDB

save 900 1
save 300 10
save 60 10000
dbfilename dump.rdb
dir /var/lib/redis
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes

6.1.2 仅使用AOF

appendonly yes
appendfilename appendonly.aof
dir /var/lib/redis
appendfsync everysec
no-appendfsync-on-rewrite yes
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-load-truncated yes

6.1.3 使用混合持久化

appendonly yes
appendfilename appendonly.aof
dir /var/lib/redis
appendfsync everysec
no-appendfsync-on-rewrite yes
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-load-truncated yes
aof-use-rdb-preamble yes