keepalived + ホットスタンバイで障害時でもPostgreSQLを自動継続してみる 両方のサーバを停止して復旧編

プライマリーに障害が起きた場合の復旧をまとめます。
プライマリーに障害が起きてホットスタンバイでサービスを
提供しています。そこにプライマリーのマシンが用意されました。
というシチュエーションでプライマリーの作り直しをしてみます。


※前回なるべく止めないという方法で書いたので今回は止めて
 データを守る事を優先する方法を書きます。


上記の状態でサービスを継続していてプライマリーはOSだけ入っている
イメージです。


【復旧手順】
1.復旧させるプライマリサーバでPostgreSQLのインストールをします。
参照:http://d.hatena.ne.jp/bose999/20100922/1285087812


2.RSA鍵ファイルの設定をします。
参照:http://d.hatena.ne.jp/bose999/20100924/1285287421


3.プライマリーでkeepalivedのインストールと設定をします。

# cd $HOME
# yum -y install make kernel kernel-devel rpm-build openssl-devel
# wget http://www.keepalived.org/software/keepalived-1.1.20.tar.gz
# tar zxvf keepalived-1.1.20.tar.gz
# cd ./keepalived-1.1.20
# chown -R root:root /root/keepalived-1.1.20
# ./configure
# cp $HOME/keepalived-1.1.20.tar.gz /usr/src/redhat/SOURCES/
# rpmbuild -ba ./keepalived.spec
# cd /usr/src/redhat/RPMS/x86_64
# rpm -ivh ./keepalived-1.1.20-5.x86_64.rpm
# vi /etc/keepalived/keepalived.conf
# vi /home/postgres/kick_alive_chk.sh
# vi /home/postgres/aliv_chk.sh
# chown postgres:postgres /home/postgres/kick_alive_chk.sh
# chown postgres:postgres /home/postgres/alive_chk.sh
# chmod 755 /home/postgres/kick_alive_chk.sh
# chmod 755 /home/postgres/alive_chk.sh
# vi /etc/sysconfig/iptables
# /etc/init.d/iptables restart


/etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {
   notification_email {
   }
}

vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 105
    priority 100
    advert_int 1
    virtual_ipaddress {
        192.168.14.100/24
    }
    notify_master "/home/postgres/kick_alive_chk.sh"
}


プライマリーサーバ用サービス継続チェックシェル起動シェル
kick_alive_chk.sh

#!/bin/sh

CHECK_SHELL=/home/postgres/alive_chk.sh

#チェック用シェルが起動されていたらkillする
CHEK_SHELL_PS=`ps -ef | grep $CHECK_SHELL | grep -v grep`
if [ -n "$CHEK_SHELL_PS" ] ; then
    for PID in `echo $CHEK_SHELL_PS | awk '{print $2}'` ; do
        echo "kill -9 $PID"
        /bin/kill -9 $PID
    done
fi

$CHECK_SHELL &
exit


プライマリーサーバ用サービス継続チェック用シェル
alive_chk.sh
keepalived起動時に起動させてPostgreSQLの異常停止時にkeepalivedを停止させる

#!/bin/sh

#監視開始直後のチェック無視時間
sleep 5

#PostgreSQL接続ユーザ
POSTGRESQL_USER=postgres

#PostgreSQL接続ユーザパスワード
POSTGRESQL_PASS=postgres

#PostgreSQL接続先(サービスを提供している仮想IP)
POSTGRESQL_IP=192.168.14.100

#STOPフラグ
STOP_FLAG=0

#STOPフラグしきい値
STOP_FLAG_LIMIT=5

while true ; do

    #監視インターバル
    sleep 5

    ALIVE_STRING=""
    ALIVE_STRING=`PGPASSWORD=$POSTGRESQL_PASS /usr/bin/psql -h $POSTGRESQL_IP -U $POSTGRESQL_USER -c "select 1;" | grep 1 | sed -e '$d'`

    if [ -z $ALIVE_STRING ]  ; then
         STOP_FLAG=`expr $STOP_FLAG + 1`
    else
         STOP_FLAG=0
    fi

    if [ "$STOP_FLAG" = "$STOP_FLAG_LIMIT" ] ; then
        echo "stop keepalived"
        /etc/rc.d/init.d/keepalived stop
        exit
    fi
done


/etc/sysconfig/iptables
PostgreSQLvrrpを通過させないと行けない。

# Firewall configuration written by system-config-securitylevel
# Manual customization of this file is not recommended.
*filter
:INPUT ACCEPT [0:0]
:FORWARD ACCEPT [0:0]
:OUTPUT ACCEPT [0:0]
:RH-Firewall-1-INPUT - [0:0]
-A INPUT -j RH-Firewall-1-INPUT
-A FORWARD -j RH-Firewall-1-INPUT
-A RH-Firewall-1-INPUT -i lo -j ACCEPT
-A RH-Firewall-1-INPUT -p icmp --icmp-type any -j ACCEPT
-A RH-Firewall-1-INPUT -p 50 -j ACCEPT
-A RH-Firewall-1-INPUT -p 51 -j ACCEPT
-A RH-Firewall-1-INPUT -p udp --dport 5353 -d 224.0.0.251 -j ACCEPT
-A RH-Firewall-1-INPUT -p udp -m udp --dport 631 -j ACCEPT
-A RH-Firewall-1-INPUT -p tcp -m tcp --dport 631 -j ACCEPT
-A RH-Firewall-1-INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT
-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 5432 -j ACCEPT
-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT
-A RH-Firewall-1-INPUT -p vrrp -m state --state NEW -j ACCEPT
-A RH-Firewall-1-INPUT -j REJECT --reject-with icmp-host-prohibited
COMMIT


4.プライマリーでデータフォルダとarchiveフォルダを削除します。

# rm -rf /var/lib/pgsql/9.0/data
# rm -rf /var/lib/pgsql/9.0/archive


5.ホットスタンバイを停止してプライマリーにファイルをコピーします。

# /etc/init.d/keepalived stop
# /etc/init.d/postgresql-9.0 stop
# scp -r /var/lib/pgsql/9.0/data 192.168.14.101:/var/lib/pgsql/9.0/
# scp -r /var/lib/pgsql/9.0/archive 192.168.14.101:/var/lib/pgsql/9.0/


6.プライマリーを設定します。

# rm /var/lib/pgsql/9.0/data/recovery.done
# vi /var/lib/pgsql/9.0/data/pg_hba.conf
# vi /var/lib/pgsql/9.0/data/postgresql.conf
# chown -R postgres:postgres /var/lib/pgsql/9.0/data
# chown -R postgres:postgres /var/lib/pgsql/9.0/archive


pg_hba.conf

# TYPE  DATABASE        USER            CIDR-ADDRESS            METHOD
local   all             all                                     md5
host    replication     postgres        192.168.14.102/32       md5
host    all             all             192.168.14.101/32       md5
host    all             all             192.168.11.0/24         md5


postgresql.conf

hot_standby = onの行を消します。


7.ホットスタンバイを設定します。

# mv recovery.done recovery.conf


8.プライマリーを起動します。

# /etc/init.d/postgresql-9.0 start
# /etc/init.d/keepalived start


9.ホットスタンバイを起動します。

# /etc/init.d/postgresql-9.0 start
# /etc/init.d/keepalived start


以上で復旧です。