postgresql 数据同步

前端之家收集整理的这篇文章主要介绍了postgresql 数据同步前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

postgresql 数据同步
1. 总体需求
1.1. 当前情况
随着软件系统复杂度的提高,分布式部署成为软件部署流行的方式。对于系统的结构,
程序和数据是支撑系统的两大要素。程序的分布式部署已经有很多很好的方案,在这里
我说一下数据的分布式部署。数据的分布式部署其实就是数据库的分布式部署。

1.2. 系统环境
在这里,我以下面的环境详细讲 部署的过程。
数据库服务器 (master)
OS : SuSe linux 9.0 for X86
ip : 10.73.132.201
mask : 255.255.254.0


数据库服务器 (slave)
OS : SuSe linux 9.0 for X86
ip : 10.73.133.222
mask : 255.255.254.0
需要保证两台机器互连互通.

请到指定目的地下载指定的软件包:
db : postgresql 8.1.2.tar.gz(http://www.postgresql.org/download/)
slony1 : slony1-1.1.5.tar(http://www.postgresql.org/download/)
以上的网址是一个入口地址,请选择合适的正确的源程序包。

使用 root 用户在两台主备机器上分别建立工作目录:
/home/hzh/share
并拷贝 postgresql 8.1.2.tar.gz 和 slony1-1.1.5.tar 到工组目录下。
以下如果没有明确的指定用户,一般都是 root 用户

1.3. 系统安装
1.3.1 主数据库服务器
1.3.1.1 安装数据库
解压,命令 : tar -xvzf postgresql 8.1.2.tar.gz
进入对应的 postgresql-8.1.2 目录,命令 :cd postgresql-8.1.2
检查,命令 : ./configure
检查可能失败,一般是缺少相应的包,请自己安装。
gmake,命令: gmake
注意,是 gmake
安装,命令 : gmake install

以下对于没有 postgres 用户的操作系统适用
建立 postgres 组,命令: groupadd -g 26 postgres
建立 postgres 用户,命令 : useradd -c "postgressql admin user" -d /usr/loca/pgsql -g 26 -G root -u 26 -s /bn/bash

配置环境变量,修改 /etc/profile 文件
vi /etc/profile,修改 INFODIR=/usr/local/info:/usr/share/info:/usr/info:。。。
为类似如下设置 INFODIR=/usr/local/info:/usr/share/info:/usr/info:。。。/usr/local/pgsql/man
使用 postgres/root 用户修改,/usr/local/pgsql/.bashrc 文件,为 postgres 用户增加环境参数如下:
PGLIB=/usr/local/pgsql/lib
PGDATA=/test/spescso/data
PATH=$PATH:/usr/local/pgsql/bin
MANPATH=$MANPATH:/usr/local/pgsql/man
export PGLIB PGDATA PATH MANPATH

使用 root 用户,建立数据库集群目录,命令如下(如由不明,请参考 linux online help 和 postgresql online help):
mkdir /test
mkdir /test/spescso/
mkdir /test/spescso/data
chown postgres /test/spescso/data/
chmod 700 /test/spescso/data/

使用 postgres 创建 数据库集群
/usr/local/pgsql/bin/initdb -E UTF-8 /test/spescso/data/


使用 root 用户,配置 数据库集群参数
su -c "/usr/local/pgsql/bin/createuser -a -d ssuser" -l postgres
su -c "/usr/local/pgsql/bin/createlang plpgsql template1" -l postgresql

使用 postgres 创建 log 目录
mkdir /test/spescso/data/log

修改 /test/spescso/data/postgresql.conf 文件
主要配置日志文件
log_destination = 'stderr'
redirect_stderr = true
log_directory = '/test/spescso/data/log/'
log_filename = 'postgresql-%Y-%m-%d_%H%M%S.log'

修改 /test/spescso/data/pg_hba.conf,主要搞定双机相互认证问题,否则不能相互访问
# TYPE DATABASE USER CIDR-ADDRESS METHOD

# "local" is for Unix domain socket connections only
local all all trust
# IPv4 local connections:
host all all 127.0.0.1/32 trust
host all all 10.73.132.0/24 trust
host all all 10.73.133.0/24 trust
# IPv6 local connections:
host all all ::1/128 trust
如果不能理解上面的意思,请仔细阅读 postgresql 数据库安全认证文档。


使用 postgres 用户后台启动 postmaser 数据库主进程
/usr/local/pgsql/bin/postmaster -i -D /test/spescso/data/ -p 5432 &


1.3.1.2 安装 slony1 数据同步工具(主从都需要安装)
解压,命令 : tar -xvjf slony1-1.1.5.tar
注意,使用 -j 参数,该网站压缩包有点不一致。
进入对应的 slony1-1.1.5 目录,命令 :cd slony1-1.1.5
检查,命令 : ./configure
检查可能失败,一般是缺少相应的包,请自己安装。可能还要带 --with 参数指定
postgresql 8.1.2 的安装目录,默认是 /usr/local/pgsql/postgresql-8.1.2
gmake,命令: gmake
注意,是 gmake
安装,命令 : gmake install


1.3.2 从数据库服务器
和主数据库服务器的安装方式一致。

1.3.3 建立数据库和数据表
以下以在 主数据库服务器上建立主数据库和数据表 test 为例见解,其他数据库和数据表请参考建立.
su -c "/usr/local/pgsql/bin/createdb -U ssuser -E UTF-8 test -p 5432" -l postgres

su -c "/usr/local/pgsql/bin/psql -f /home/hzh/share/sql.txt -p 5432 -dtest -Ussuser" -l postgres
(注意,sql.txt 是创建数据表的命令,请自行编写。sql.txt 文件最好是 UTF-8 格式,特别是存在中文字符时)


在主数据库机器上依次建立 testslave1,testslave2.
在从数据库机器上 5431 端口建立 testslave3

1.4 配置同步
1.4.1. 主机配置
编写 configmaster sheul 脚本文件,设置其可执行属性,命令 : chmod a+x+w+r configmaster,文件内容如下:
#!/bin/bash
basebin=/usr/local/pgsql/bin

#集群名称
CLUSTER=slony_test1

# 参与同步的数据库名称,master db 是test,其他三个是slave
DBSERVER=test
DBSLAVE1=testslave1
DBSLAVE2=testslave2
DBSLAVE3=testslave3

# 参与同步的机器地址
HOSTSERVER=10.73.132.201
HOSTSLAVE1=10.73.132.201
HOSTSLAVE2=10.73.132.201
HOSTSLAVE3=10.73.133.222

# 参与同步的数据库用户名
DBSERVER_USER=ssuser
DBSLAVE1_USER=ssuser
DBSLAVE2_USER=ssuser
DBSLAVE3_USER=ssuser

# 同步发布配置,以下是命令 slonik 的参数
$basebin/slonik<<_EOF_

cluster name=$CLUSTER;

# 定义复制节点
node 1 admin conninfo='dbname=$DBSERVER host=$HOSTSERVER user=$DBSERVER_USER port=5432';
node 2 admin conninfo='dbname=$DBSLAVE1 host=$HOSTSLAVE1 user=$DBSLAVE1_USER port=5432';
node 3 admin conninfo='dbname=$DBSLAVE2 host=$HOSTSLAVE2 user=$DBSLAVE2_USER port=5432';
node 4 admin conninfo='dbname=$DBSLAVE3 host=$HOSTSLAVE3 user=$DBSLAVE3_USER port=5431';

# 初始化集群,id从1开始
init cluster ( id=1,comment='Node 1' );

# 设置参与同步的数据表
#先创建一个复制集,id也是从1开始
#向自己的复制集种添加表,每个需要复制的表一条set命令
#id从1开始,逐次递加,步进为1;
#fully qualified name是表的全称:模式名.表名
#这里的复制集id需要和前面创建的复制集id一致
create set ( id=1,origin=1,comment='All test tables' );
set add table ( set id=1,id=1,fully qualified name='public.tb_depart',comment='Table tb_depart' );
set add table ( set id=1,id=2,fully qualified name='public.tb_user',comment='Table tb_user' );
set add table ( set id=1,id=3,fully qualified name='public.tb_manager',comment='Table tb_manager' );

#假如某个表没有主键,但是有唯一键字,那么可以用key关键字
#指定其为复制键字,如下面的key参数
#set add table ( set id = 1,origin = 1,id = 4,fully qualified name = 'public.history',key = "column",comment = 'Table history' );
#对于没有唯一列的表,需要这样处理,这一句放在 create set 的前面
#table add key (node id = 1,fully qualified name = 'public.history');
# 这样设置结果集
#set add table (set id=1,id=4,comment='history table',key = serial);

# 设置存储节点
store node ( id=2,comment='Node 2' );
store node ( id=3,comment='Node 3' );
store node ( id=4,comment='Node 4' );

# 设置存储路径
store path ( server=1,client=2,conninfo='dbname=$DBSERVER host=$HOSTSERVER user=$DBSERVER_USER port=5432');
store path ( server=2,client=1,conninfo='dbname=$DBSLAVE1 host=$HOSTSLAVE1 user=$DBSLAVE1_USER port=5432');
store path ( server=1,client=3,conninfo='dbname=$DBSERVER host=$HOSTSERVER user=$DBSERVER_USER port=5432');
store path ( server=3,conninfo='dbname=$DBSLAVE2 host=$HOSTSLAVE2 user=$DBSLAVE2_USER port=5432');
store path ( server=1,client=4,conninfo='dbname=$DBSERVER host=$HOSTSERVER user=$DBSERVER_USER port=5432');
store path ( server=4,conninfo='dbname=$DBSLAVE3 host=$HOSTSLAVE3 user=$DBSLAVE3_USER port=5431');

#设置侦听事件和订阅方向,复制中角色,主节点是原始提供者,从节点是接受者
store listen ( origin=1,provider=1,receiver=2 );
store listen ( origin=2,provider=2,receiver=1 );
store listen ( origin=1,receiver=3 );
store listen ( origin=3,provider=3,receiveR=4 );
store listen ( origin=4,provider=4,receiver=1 );

_EOF_

1.4.2. 提交数据集合
编写 commitdata shell 脚本文件,赋予可执行权限,内容如下:

#!/bin/bash
basebin=/usr/local/pgsql/bin

CLUSTER=slony_test1

DBSERVER=test
DBSLAVE1=testslave1
DBSLAVE2=testslave2
DBSLAVE3=testslave3

HOSTSERVER=10.73.132.201
HOSTSLAVE1=10.73.132.201
HOSTSLAVE2=10.73.132.201
HOSTSLAVE3=10.73.133.222

DBSERVER_USER=ssuser
DBSLAVE1_USER=ssuser
DBSLAVE2_USER=ssuser
DBSLAVE3_USER=ssuser

$basebin/slonik<<_EOF_

cluster name=$CLUSTER;

#提供连接参数
node 1 admin conninfo='dbname=$DBSERVER host=$HOSTSERVER user=$DBSERVER_USER port=5432';
node 2 admin conninfo='dbname=$DBSLAVE1 host=$HOSTSLAVE1 user=$DBSLAVE1_USER port=5432';
node 3 admin conninfo='dbname=$DBSLAVE2 host=$HOSTSLAVE2 user=$DBSLAVE2_USER port=5432';
node 4 admin conninfo='dbname=$DBSLAVE3 host=$HOSTSLAVE3 user=$DBSLAVE3_USER port=5431';

# 提交订阅复制集
subscribe set ( id=1,receiver=2,forward=no);
subscribe set ( id=1,receiver=3,receiver=4,forward=no);
_EOF_

1.4.3. 配置同步过程
在主机上执行配置命令 : ./configmaster
在主机上开启slon 后台进程,启动主数据库复制,命令 :
/usr/local/pgsql/bin/slon slony_test1 "dbname=test host=10.73.132.201 user=ssuser port=5432" &

在主机上开启slon 后台进程,启动第一个从数据库复制,命令 :
/usr/local/pgsql/bin/slon slony_test1 "dbname=testslave1 host=10.73.132.201 user=ssuser port=5432" &

在主机上开启slon 后台进程,启动第二个从数据库复制,命令 :
/usr/local/pgsql/bin/slon slony_test1 "dbname=testslave2 host=10.73.132.201 user=ssuser port=5432" &

在从机上开启slon 后台进程,启动第三个从数据库复制,命令 :
/usr/local/pgsql/bin/slon slony_test1 "dbname=testslave3 host=10.73.133.222 user=ssuser port=5431" &

在主机上执行提交命令 : ./commitdata

至此,配置全部技术。你可以修改数据库对应表的数据,看数据是否同步到其他的三个从数据库上。感谢你阅读,预祝你好运!

原文链接:https://www.f2er.com/postgresql/197505.html

猜你在找的Postgre SQL相关文章