41_03Linux集群系列之二十一--ISCSI、clvm和GFS2 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
target: 


#yum install scsi-targets-utils luci　(这里安装luci,是作为集群配置终端存在的) 
#vim /etc/tgt/targets.conf 
 
<target iqn.2013-05.com.test:tsan.disk1> 
    <backing-store /dev/sdb> 
        vendor_id test 
        lun 1 
    </backing-store> 
    initiator-address 172.16.0.0/16 
    incominguser sanuser sanpass 
</target> 
 
#service tgtd start 
#tgtadm --lld iscsi --mode  target --op show 
#chkconfig tgtd on 
 
initiator: 
 
#for I in {1..3};do ssh node$I 'echo "InitiatorName=`iscsi-iname -p iqn.2013-05.com.test`"' > /etc/iscsi/initiatorname.iscsi' ;done 
 
#vim /root/iscsi.sed 
s@#node.session.auth.authmethod = CHAP@node.session.auth.authmethod = CHAP@ 
s@node.session.auth.username= username@node.session.auth.username = sanuser@ 
s@node.session.auth.password = password@node.session.auth.password = sanpass@ 
 
sed -i -f /root/iscsi.sed /etc/iscsi/iscsid.conf 
 
service iscsi start && chkconfig iscsi on 
 
iscsiadm -m discovery -t st -p 172.16.100.100 
 
iscsiadm -m node -T iqn.2013-05.com.test:tsan.disk1 -p 172.16.100.100 -l 
 
#################这个地方也可以直接参考前面41_01(2);;; 
#################如果已经搭建了ISCSI服务，搭建GFS2可以参考下面；；； 
 


实现cLVM: 
initiator: 
#yum install -y cman rgmanager gfs2-utils lvm2-cluster ricci(如果只是作为共享存储，可以不启动这个) 
 
ccs_tool create tcluster　　　　(这个名字一定要注意，和下面的GFS2下面必须一样) 
ccs_tool addfence meatware fence_manual 
ccs_tool lsfence 
ccs_tool addnode -n 1 -f meatware node1.test.com 
ccs_tool addnode -n 2 -f meatware node2.test.com 
ccs_tool addnode -n 3 -f meatware node3.test.com　　(有多少节点，就添加多少个) 
ccs_tool lsnode 
 
service NetworkManager stop && chkconfig NetworkManager off 
service cman start 
如果起不来，也有可能是组播地址重复； 
如果出现： 
cman not started:Can't determine address family of nodename /usr/sbin/cman_tool:aisexec daemon did't start 
可以尝试把/etc/cluster/cluster.conf 拷贝到其他节点上； 
出现这种状况的原因是多个集群相互干扰所导致的； 
 
启动逻辑卷功能: 
#ha ssh node$I 'lvmconf --enable-cluster';done 启动cLVM, 这个命令类似下面: 
sed -i 's/Lockingtype=1/Lockingtype=3/g' /etc/lvm/lvm.conf 
 
#ha ssh node$I 'service clvmd start';done 
#ha ssh node$I 'chkconfig clvmd on;chkconfig cman on ;chkconfig rgmanager on';done 
 
创建逻辑卷: 
#pvcreate /dev/sdb 
#pvs 
#vgcreate clustervg /dev/sdb 
#lvcreate -L 10G -n clusterlv clustervg 
#lvs 
#mkfs.gfs2 -j 2 -p lock_dlm -t tcluster:lktb1 /dev/clustervg/clusterlv 
#mkdir /mydata 
#mount -t gfs2 /dev/clustervg/clusterlv /mydata 
#gfs2_tool df /mydata   查看当前的状态信息 
 
至此，就可以成功搭建GFS2环境，在进行挂载时，可以使用： 
/dev/clustervg/clusterlv /var/www/html   gfs2 defaults,noatime,nodiratime 0  0 
如果只是作为共享存储的话，也就可以了，而如果想搭建集群的话，可以启动luci和ricci即可；；；； 
 
 
 
查看当前设备的所有可调参数： 
＃gfs2_tool gettune /mydata    注释:/mydata后面不能加/,否则会报错 
new_files_directio = 0  直接写到磁盘上 
new_files_jdata = 0 
quota_scale = 1.0000 
logd_secs =1 
recoverd_secs = 60 
statfs_quantum = 30 
stall_secs = 600 
quota_cache_secs = 300 
quota_simul_sync = 64 
statfs_slow = 0 
complain_secs = 10 
max_readahead = 262144 
quota_quantum = 60 
quota_warn_period = 10 
jindex_refresh_secs = 60 
log_flush_secs = 60   日志每多长时间自动刷新一次 
incore_log_blocks = 1024 
 
调整当前设备的参数: 
gfs2_tool settune <mountpoint> <parameter> <value> 
 
#gfs2_tool settune /mydata  new_files_directio 1 
#gfs2_tool gettune /mydata 
 
冻结一个文件系统: 
gfs2_tool freeze /mydata 
意味着这个文件系统只是可读的了．．． 
 
解冻: 
gfs2_tool unfreeze /mydata 
 
挂载时的挂载参数: 
gfs2_tool getargs /mydata 
设置挂载参数 
gfs2_tool setgetargs ..... 
 
添加一个日志文件: 
gfs2_jadd -j 1 /dev/clustervg/clusterlv 
gfs2_tool journals /mydata 
 
扩展一个逻辑卷大小: 
gfs_glow -h      
    -q   Quiet,reduce verbosity 
    -T   Test,do everyting except udate FS 
    -V   Version information 
    -v   Verbose,increase verbosity 
 
#lvextend -L 15G /dev/clustervg/clusterlv 
#gfs2_grow /dev/clustervg/clusterlv 
 
fsck.gfs2 检测文件系统

展开全文 >>

41_02Linux集群系列之二十--ISCSI及GFS2

注意：
如果想实现用户认证，必须先打开IP认证。

取消此前的操作: 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# iscsiadm -m node -T  iqn.2013-05.com:teststore.disk1 -p 172.16.100.100 -u　　登出 
# iscsiadm -m node -T  iqn.2013-05.com:teststore.disk1 -p 172.16.100.100 -o delete 删除此前保存的数据库信息 
# rm -rf /var/lib/iscsi/send_targets/172.16.100.100,3260 
 
target:(解除基于IP的认证，只使用用户认证) 
# tgtadm --lld iscsi -m target --op unbind --tid 1 --initiator-address 172.16.0.0/16 
 
基于用户的单向认证: 
# tgtadm --lld iscsi --mode account --op new --user iscsiuser --password iscsiuser 
# tgtadm --lld iscsi --mode account --op bind --tid 1 --user iscsiuser 
# tgtadm --lld iscsi --mode target --op show 
# tgtadm --lld iscsi --mode target --op bind --tid 1 --initiator-addess 172.16.0.0/16 
 
initiator:(这个时候如果不提供账号密码，进行测试) 
# iscsiadm -m discovery -t st -p 172.16.100.100 
发现无法显示共享存储设备； 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
# vim /etc/iscsi/iscsid.conf 
 
node.session.auth.authmethod = CHAP 
node.session.auth.username = iscsiuser 
node.session.auth.password = iscsiuser 
 
# iscsiadm -m discovery -t st -p 172.16.100.100 
# iscsiadm -m node -T iqn.2013-05.com.test:teststore.disk1 -p 172.16.100.100 -l 
 
客户端重启服务的时候可以自动登录； 
 
服务器端通过配置文件定义target: 
# vim /etc/tgt/targets.conf 
<target iqn.2013-05.com.test:teststore.disk1> 
    backing-store /dev/sda5 
    incominguser iscsiuser iscsiuser 
    initiator-address 172.16.0.0/16 
</target> 
------------------------------------------------------------------------ 
<target iqn.2013-05.com.test:teststore.disk1> 
    <backing-store /dev/sda5> 
        vendor_id test 
        lun 1 
    </backing-store> 
    <backing-store /dev/sda6> 
        vendor_id test 
        lun 2 
    </backing-store> 
    incominguser iscsiuser iscsiuser 
    initiator-address 172.16.0.0/16 
</target> 
------------------------------------------------------------------------- 
<target iqn.2015-09.com.example:server.target1> 
    backing-store /dev/vg_drbd/lv_drbd 
</target>

initiator机装: 

1
# ha ssh node $I 'yum -y install cman rgmanager gfs2-utils'

  • mkfs.gfs2:
        -b 块文件大小
        -j :指定日志区域的个数，有几个就能被几个节点挂载;
        -J #MB: 指定日志文件大小，默认为128M;
        -p ：锁协议的名称
            lock_dlm　:分布式日志文件锁
            lock_nolock}:不使用锁
        -t :锁表的名称，格式为clustername:locktablename,clustername为当前节点所在的集群的名称，locktablename要在集群唯一；

  • gfs2_jadd :
        gfs2_jadd -j 3 /dev/sdc2   
            可以用来调整日志区域的个数
            3表示的是在原来的基础上再增加3个．．．

  • gfs2_tool:
        gfs2_tool journals  /dev/sdc2

　

mkfs.gfs2 -j 2 -p lock_dlm -t tcluster:mysqlstore /dev/sdc2

如果失败:

fs is for a different cluster error mounting lockproto lock_dlm
则表示：
１、cman没有启动，可以使用clustat进行查看；如果正常，则只可能错误出现在一个地方，格式化那步出错:
successfully use “lock_dlm”, the kernel’s DLM subsystem must be up and running, which requires that you must have set up a basic cluster configuration: a cluster with no services defined yet, but with heartbeat and fencing configured and running.
Normally the gfs_controld daemon starts along with other cluster daemons when you run “service cman start”. Looks like your cman start-up has not been successful. You should fix that first.
    可以看总结…………

在另外一个节点上挂载: 

1
# mount -t gfs2 /dev/sdc2 /mnt

展开全文 >>

41_01Linux集群系列之十九--ISCSI协议、架构及其安装配置

实现ISCSI共享存储的所需的软件包：

ISCSI Target   :  scsi-target-utils　　　　//在此设置共享存储设备
ISCSI Initiator : 　iscsi-initiator-utils

客户端认证方式:

  1. 基于IP认证　　　            　//允许哪个网段访问，单个主机，所有主机
  2. 基于用户，CHAP(双向认证)　　　　//下面会演示单向认证
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
Target默认工作在3260端口； 
 
tgtadm 模式化的命令: 
    --mode 
    常用模式:target、logicalunit、account 
        target --op 
            new,delete,show,update,bind,unbind 
        logicalunit --op 
            new,delete 
        account --op 
            new,delete,bind,unbind 
 
    --lld,-L 
    --tid,-t 
    --lun,-l 
    --backing-store <path>,-b 
    --initiator-addess, -i 
    --targetname <targetname> , -T 
 
targetname: 
    iqn.yyyy-mm.<reversed domain name>[:identifier] 
    iqn.2013-05.com.test:teststore.disk1<例如命名，要详细>

target准备:

  1. 分区，不要格式化，partprobe
  2. yum install scsi-target-utils
  3. service tgtd start
  4. chkconfig tgtd on
  5. tgtadm –lld iscsi –mode target –op new –targetname iqn.2013-05.com:teststore.disk1 –tid 1
  6. tgtadm –lld iscsi –mode target –op show  可以进行查看
  7. tgtadm –lld iscsi –mode logicalunit –op new –tid 1 –lun 1 –backing-store /dev/sda5    把/dev/sda5做成ISCSI设备；
  8. tgtadm –lld iscsi –mode target –op bind –tid 1 –initiator-addess 172.16.0.0/16    　 把172那个网段做成共享;

在这一步建议用配置文件的方式进行定义，因为不会生成配置文件，所以更多可以参考41_02;

Initiator:

  1. iscsiadm模式化的命令:

        -m {discovery|node|session|iface}
            discovery:发现某服务器是否有target输出，以及输出了哪些target;
            node:管理跟某target的关联关系;
            session:会话管理；
            iface:接口管理

  2. iscsiadm -m discovery [ -hV ] [ -d debug_level ] [ -P printlevel ] [ -I iface -t type -p ip:port [ -l ] ] | [ [ -p ip:port ] [ -l | -D ] ]

        -d: 0~8            级别的越高看到的信息就越多，可以自己尝试；；
        -I:指定接口
        -t type:
            SendTargets(ST)
            SLP
            iSNS
        -p:IP:port

  3. iscsiadm -m node [ -hV ] [ -d debug_level ] [  -P  printlevel  ]  [  -L all,manual,automatic  ]  [ -U all,manual,automatic ] [ -S ] [ [ -T targetname -p ip:port -I iface ] [ -l | -u | -R | -s] ] [ [ -o operation ] [ -n name ] [ -v value ] [ -p ip:port ] ]

        -L:登陆
            all:登陆所有
            manual:手动指定
            automatic:自动登陆
        -U:登出

1
2
3
4
5
6
7
8
9
10
11
 
# yum install iscsi-initiator-utils 
 
iscsi-iname -p iqn.2013-05.com.teststore 
    会自动在最后面生成一串随机数，然后编辑这个文件;例如： 
    echo "InitiatorName=`iscsi-iname -p iqn.2013-05.com.teststore`"> /etc/iscsi/initiatorname.iscsi 
InitiatorAlias=node1.test.com可以自己指定别名 
 
例如最终如下所示：(我在实验时，也可不改动这个文件，如果需要别名，建议两个都进行重新修改，以示区别) 
InitiatorName=iqn.2013-05.com.teststore:5e78d722a925 
InitiatorAlias=node1.test.com 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
# iscsiadm -m discovery -t sendtargets -p 172.16.100.100 
# ls /var/lib/iscsi/send_targets 
 
# iscsiadm -m node -T  iqn.2013-05.com:teststore.disk1 -p 172.16.100.100 -l 
 
# fdisk -l 进行查看，就会多一个硬盘 
 
node1: 
# cfdisk /dev/sdb 
# mkfs.ext4 /dev/sdb1 
# partprobe /dev/sdb 
# mount /dev/sdb1 /mnt 
 
node2: 
# partprobe /dev/sdb 
# mount /dev/sdb1 /mnt

再开一台主机，同样操作，当挂载了后，往里面写文件，会发现一个现象:
    node1上的文件有可能会在node2上看不到
    node2上的文件有可能会在node1上看不到
为什么?
    此时的操作还在内存中完成，没有同步到硬盘中，以至于多台主机共享这个共享存储的时候会面临一个问题:
        当多台主机对共享存储中的一个文件进行写操作的时候，肯定会发生数据紊乱，
        所以就要结合集群文件系统。。

CHAP简介:
http://baike.baidu.com/link?url=wG2j_YASipDjenXE3_BEdfW945FeO4GEqEETGz8As4wRX7daD4EJ89UckZSBHoC4X1qso3HKMH8itaO5Om8IF_

ISCSI基于CHAP认证:这个讲的很详细，建议参考着看。。
http://blog.csdn.net/sinchb/article/details/8433994

展开全文 >>

cacti使用实验_2_对远程MySQL进行监控

被监控主机:192.168.122.103
监控主机:192.168.122.117

被监控主机

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
yum -y install net-snmp 
 
 vim /etc/snmp/snmpd.conf 
com2sec notConfigUser  192.168.122.117    public  #允许被监控的IP地址 
group   notConfigGroup v1           notConfigUser 
group   notConfigGroup v2c           notConfigUser 
view    systemview    included   .1.3.6.1.2.1.1 
view    systemview    included   .1.3.6.1.2.1.25.1.1 
access  notConfigGroup ""      any       noauth    exact   all  none none  #all 
view all    included  .1                               80   #这个地方 
syslocation Unknown (edit /etc/snmp/snmpd.conf) 
syscontact Root <root@localhost> (configure /etc/snmp/snmp.local.conf) 
dontLogTCPWrappersConnects yes 
 
service snmpd start && chkconfig snmpd on

监控主机

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
 yum -y install httpd php php-mysql php-snmp php-xml php-gd mysql mysql-server epel-release  rrdtool   
yum -y install net-snmp-utils 
 
wget -c http://www.cacti.net/downloads/cacti-0.8.8f.tar.gz 
tar xf cacti-0.8.8f.tar.gz -C /var/www/html 
 mv /var/www/html/cacti-0.8.8f/ /var/www/html/cacti 
  
 service mysqld start 
  
>CREATE DATABASE cactidb; 
>USE cactidb; 
>SOURCE /var/www/html/cacti/cacti.sql; 
>GRANT ALL ON cactidb.* TO cactiuser@localhost IDENTIFIED  BY 'cactiuser'; 
  
 vim /var/www/html/cacti/include/config.php 
$database_type = "mysql"; 
$database_default = "cactidb"; 
$database_hostname = "localhost"; 
$database_username = "cactiuser"; 
$database_password = "cactiuser"; 
$database_port = "3306"; 
$database_ssl = false; 
 
vim /var/www/html/cacti/include/global.php 
$database_type = "mysql"; 
$database_default = "cactidb"; 
$database_hostname = "localhost"; 
$database_username = "cactiuser"; 
$database_password = "cactiuser"; 
$database_port = "3306"; 
$database_ssl = false; 
 
  
 useradd cactiuser && echo "cactiuser " | passwd --stdin cactiuser 
 chown -R cactiuser.cactiuser /var/www/html/cacti/{rra,log} 
 yum -y install crontabs      #这个看需要；； 
echo "*/1 * * * * cactiuser /usr/bin/php  /var/www/html/cacti/poller.php &>/dev/null">>/etc/crontab 
service crond restart 
vim /etc/php.ini 
date.timezone = Asia/Shanghai 
service httpd restart

http://IP/cacti  admin/admin
 
(1)添加设备，这个就是103远程主机

 (2)添加103这个设备的相关信息  

  一定要保存，然后为其创建图形模板
(3)选中所有的模板(图为已经选中过的)

 (4)在图形树这add所有的模板，然后save

 (5)然后查看，等待数据

 

对远端数据库进行监控

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
 １、安装percona-mysql-monitor插件 
wget -c https://www.percona.com/downloads/percona-monitoring-plugins/1.1.5/percona-monitoring-plugins-1.1.5.tar.gz 
tar xf percona-monitoring-plugins-1.1.5.tar.gz 
cd percona-monitoring-plugins-1.1.5/cacti/scripts/ 
cp ss_get_mysql_stats.php /var/www/html/cacti/scripts/ 
 
vim /var/www/html/cacti/scripts/ss_get_mysql_stats.php 
$mysql_user = 'cactiuser'; 
$mysql_pass = 'cactiuser'; 
  
  
 被监控主机进行授权： 
 mysql> grant all on *.* to 'cactiuser'@'192.168.122.117' identified by 'cactiuser'; 
  
(1)添加模板 
 
 (2)在设备那添加想要监控的信息，添加相应的模板 
 
  
 (3)注意，一定要save,然后create Graphs for this host 
 
  
 (4)在Graph Trees添加相应的模板，注意：所有的操作，一定要save! 
 
  
 (5)最后的条目: 
 
  (6)出数据了：

 
 
总结：
 对于被监控主机，安装net-snmp服务即可，剩下的操作在监控主机上做，对于被监控端的数据库，要进行授权，否则监控主机这是没有办法连接远程数据库的，这个地方要注意；

另外：我在这个地方所有的用户名和密码都是cactiuser,cactiuser,这个地方自己要注意修改，cacti安装需要本地有数据库，所以那个地方是一个授权，另外远程数据库的授权，是一个完全独立的授权，自己修改监控主机的/var/www/html/cacti/scripts/ss_get_mysql_stats.php即可；；；；  

 如果出错：
 smpwalk -v 2c -c public 192.168.122.103

 如果不出数据:(不一定在那个时间点出，等会即可)
 rrdtool fetch /var/www/html/cacti/rra/**** AVERAGE  

注意：
如果在安装cacti，向本地数据库导入cacti.sql时，如果出现错误，一定不会成功，注意查看相关信息；

展开全文 >>

40_04Linux集群系列之十八--RHCS集群配置 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
方式①：通过system-config-cluster进行资源配置 
HA: 
    前提 
    node1 node1.test.com 172.16.100.6 
    node2 node2.test.com 172.16.100.7 
    node3 node3.test.com 172.16.100.8 
    steppingstone.test.com 172.16.100.100 
 
 
alias ha='for I in {1..3};do' 
ha ssh node$I 'yum -y install cman rgmanager system-config-cluster';done 
 
RHCS: 
１、每个集群都有唯一的集群名称； 
２、至少有一个fence设备； 
３、至少应该有三个节点；两个节点的场景中要使用qdisk(仲裁磁盘); 
 
system-config-cluster & 将会启动一个GUI;当然可以使用lucci 
１、添加节点，制定fence设备； 
２、ha ssh node$I 'service cman start ';done会将配置文件传到另外其他节点上； 
３、ha ssh node$I 'service rgmanager start';done 
 
添加两个资源: 
    VIP 
    httpd 
 
#ha ssh node$I 'yum install -y httpd  'done; 
vim /var/www/html/index.html 
    添加测试页面，三个都要不一样 
##ha ssh node$I 'service httpd start'done;    分别进行测试，然后关闭服务 
#ha ssh node$I '  chkconfig httpd off 'done; 
 
接下来使用GUI的方式进行配置资源；；；；；； 
 
#crm_tool status 可以查看当前的详细信息; 
#clustat  可以查看集群状态; 
 
RHCS没有配置资源的命令，只能依赖于修改配置文件，由于配置文件的格式是xml格式的，所以提供了GUI配置工具； 
 
#clusvcadm -l 锁定一个节点 
#clusvcadm -u  解锁一个节点 
#clusvcadm -r webservice -m node2.test.com 把资源迁移到node2上； 
    如果不指定-m，会自动选择一个; 
    -d 禁用一个资源 
    -e 启用一个资源 
    -M 实时迁移虚拟机(大了就是Iaas) 
    -R重启资源 
    -s 停止资源 
 
通过命令行的方式配置: 
 
#ccs_tool create tcluster   将会创建集群 
#ccs_tool addfence meatware  fence_manual  添加一个肉键 
 
添加节点: 
 
#ccs_tool addnode -v 1 -n 1 -f meatware node1.test.com 
#ccs_tool addnode -v 1 -n 2 -f meatware node2.test.com 
#ccs_tool addnode -v 1 -n 3 -f meatware node3.test.com 
#ccs_tool lsnode   进行查看 
 
这样就可以启动服务了，但是不能配置资源，当然可以自己使用luci/ricci进行配置； 
 
luci装在跳板机上，ricci装在节点上； 
 
 
②使用luci/ricci方式来实现整个RHCS的搭建 
 
前提： 
    时间同步 
    hostname 和 uname -n 保持一致 
 
规划: 
luci机:192.168.1.109 
node1:192.168.1.110 
node2:192.168.1.111 
 
vim /etc/hosts 
ntpdate 同步 
 
luci:     
yum install -y luci 
service luci start && chkconfig luci on 
 
node1 & node2: 
yum -y install ricci cman rgmanager 
service NetworkManager stop && chkconfig NetworkManager off　　　//附录一 
service ricci start && chkconfig ricci on 
service cman start && chkconfig cman on 
service rgmanager start && chkconfig rgmanager on 
echo "123456" | passwd --stdin ricci                           //这个是集群登陆密码 
 
输入https:luci.test.com:8084   (注意，是https协议) 
输入luci主机root账号，即可登陆； 
 
１、添加集群名称 
２、添加failback domain 
３、添加资源 
４、添加组资源，把资源添加到同一个组中 
５、启动资源即可 
 
整个步骤挺简单，不用设置资源约束。 
 
不过需要说明的是，当我将正在运行的节点强制关机后，页面也显示了node2不在线了，但是就是不自动切换到node1上，另外当我手动切换的时候，也不切换； 
 
这个写的不错，可以参考这个： 
http://www.limingit.com/sitecn/itjq/1645_1694.html 
 
如果在启动cman时出现: 
   Starting cman... xmlconfig cannot find /etc/cluster/cluster.conf 
没事，直接走下去就行；

附录一：
在centos6.7进行重启时，由于关闭了NetworkManager服务，会发现eth0没有启动，解决方法：
service NetworkManager start    即可，会发现cman服务并不会受影响；；；

展开全文 >>

40_03Linux集群系列之十七--RHCS架构解析

RHCS(Red Hat Cluster Suite):

    LVS
    HA
    GFS2　(Global File System,早期RH4/5有GFS)
    cLVM   (Cluster Logical Volume Manager)
RHCS提供了完整的集群资源套件，例如上面的负载均衡，高可用，集群文件系统，集群逻辑卷管理器；

在RH4,5两个版本中，信息层和管理层和资源代理的实现组件如下:
RHCS:

    ML:cman (cluster manager)
    CRM: rgmanager (resource group manager)
    RA:
        １、internal
        ２、script: LSB

在RH4上Messaging Layer是cman,但是由于cman在整个信息层的功能没有openais的强大，所以在RH5上cman作为openais的一个插件工作，而这个插件的主要作用在于提供了quorum(因为当时并没有很好的关于投票系统的解决方案)但是配置文件并不依赖于openais,而是由cman自己提供，在/etc/cluster/cluster.conf,所以说在RH5上openais提供了信息层的监控，但是仍由cman进行管理。

在RH6上提供了完整的corosync信息层管理工具，可以不再使用cman这个插件，如果使用cman，它的配置文件仍是/etc/cluster/cluster.conf；
然而在资源管理层虽然使用了pacemaker,但是仍由rgmanager管理，这个和信息层一样，即虽然使用了corosync和pacemaker,但是仍由cman和rgmanager控制；

在corosync2.3.0版本后，提供了一个更加优秀的投票系统，这个叫做votequorum，所以在这个版本中的cman将会退出这个江湖；

gfs2:Global File System(集群文件系统):最好16个节点
ocfs2:Oracle Cluster File System(没有gfs2好)
DLM:Distributed Lock Manager(分布式锁管理器)
gfs:Google file system(分布式文件系统)
所以在搜索gfs的时候要注意；
为了能够扩展容量，所以提供了类似LVM的集群逻辑卷；
cLVM:借助于HA的功能，将某个节点对LVM操作通知给其他节点；
CCS(Cluster Configuration System):各个节点配置资源的通知，更新；
Failover domain:服务故障转移域:表示节点出问题了应该往哪节点转移以及是否应该重启服务；
    如果一个服务停止了，是转移到另外一个节点上，还是应该重启服务，所以可以定义优先级；

LVM–>cLVM:
#vim /etc/lvm/lvm.conf
locking_type =1 基于文件的锁
把其改为3就可改为集群的了；
然后启动cLVM服务即可；

    
LVS:piranha(GUI工具)

软件、系统安装:
cobbler(类似于PXE的自动安装)
puppet(配置文件管理、软件分发)
luci/ricci(集群管理)
fabric(命令分发工具，比for ;do ssh ; done这个方式高的多)

RHCS配置:
system-config-cluster

详细部分可以查看:
http://blog.chinaunix.net/uid-26931379-id-3558604.html

展开全文 >>

40_02_2_MySQL+DRBD

  • 两个节点都要做．．．．
1
2
＃fdisk /dev/sdb     分了500M大小，同步速度一取决于DRBD配置文件中的rate定义，在drbd84版本中就不存在这个选项了． 
＃partprobe /dev/sdb
  • epel
1
2
3
4
＃rpm -Uvh http://www.elrepo.org/elrepo-release-6-6.el6.elrepo.noarch.rpm 
＃yum install -y drbd83 kmod-drbd83 
＃yum install -y epel-release    corosync pacemaker  　这个是因为后面安装crm时需要pash,需要这个源； 
＃elinks http://download.opensuse.org/repositories/network:/ha-clustering:/Stable/CentOS_CentOS-6/x86_64/　　下载crmsh,如果用pcs,就没必要了。
  • global-common
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
配置/etc/drbd.d/global-common.conf 
global { 
    usage-count no; 
    #minor-count dialog-refresh disable-ip-verification 
} 
 
common{ 
    protocol C;　　 
 
    handlers{ 
        pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f"; 
        pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh ; echo b > /proc/sysrq-trigger ;reboot -f"; 
        local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-io-emergency-shutdown.sh; echo 0 > /proc/sysrq-trigger ; halt -f"; 
        #fence-peer "/usr/lib/drbd/crm-fence-peer.sh"; 
        #split-brain "/usr/lib/drbd/notify-split-brain.sh reboot"; 
        #out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root"; 
        #before-resync-target "/usr/lib/drbd/snapshot-resync-target-lvm.sh -p 15 -- -c 16K"; 
        #after-resync-target /usr/lib/drbd/unsnapshot-resync-target-lvm.sh; 
        } 
    startup{ 
        #wfc-timeout 120; 
        #degr-wfc-timeout 120; 
    } 
    disk{ 
        on-io-error detach;　　 
            #fencing resource-only; 
    } 
    net{ 
        cram-hmac-alg "sha1"; 
        shared-secret "mydrbdlab";   
    } 
    syncer{ 
        rate 1000M; 
    } 
} 
 
#vim /etc/drbd.d/web.res 
resource web{ 
    on node1.test.com{ 
        device /dev/drbd0; 
        disk /dev/sdb1; 
        address 192.168.1.110:7789; 
        meta-disk internal; 
    } 
    on node2.test.com{ 
        device /dev/drbd0; 
        disk /dev/sdb1; 
        address 192.168.1.111:7789; 
        meta-disk internal; 
    } 
} 
#scp -r  /etc/drbd.d/* node2:/etc/drbd.d/ 
#drbdadm create-md web    两个节点都要做 
#modprobe drbd　　　　　如果有需要，反正我没用到这步 
#service drbd start　　&&  ssh node2 'service drbd start' 
 
查看启动状态: 
#cat /proc/drbd　&& drbd-overview       一定要看到Secondary/Secondary  有可能出现的错误是split-brain; 
[root@node1 ~]# drbdadm -- --overwrite-data-of-peer primary web 
说明:一旦变主节点后，cat /proc/drbd会发现进行数据更新，一定要更新完，否则会出错!! 
[root@node1 ~]# mkfs.ext4 /dev/drbd0 
[root@node1 ~]# mount /dev/drbd0 /mysqldata/ 
[root@node1 ~]# tar xf mysql-5.6.24-linux-glibc2.5-x86_64.tar.gz  -C /usr/local/ 
[root@node1 ~]# ln -sv /usr/local && ln -sv mysql-5.6.24-linux-glibc2.5-x86_64/ mysql 
[root@node1 mysql]# groupadd -g 3306 mysql 
[root@node1 mysql]# useradd -u 3306 -g mysql mysql 
[root@node1 ~]# scripts/mysql_install_db --user=mysql --datadir=/mysqldata/ 
[root@node1 mysql]# cp support-files/my-default.cnf /etc/my.cnf 
[root@node1 mysql]#修改datadir=/mysqldata 
 
[root@node1 mysql]#cp support-files/mysql.server /etc/init.d/mysqld 
[root@node1 mysql]# chown -R root.mysql /usr/local/mysql/* 
[root@node1 mysql]# chown -R mysql.mysql /mysqldata/ 
[root@node1 mysql]# service mysqld start                              插入数据，进行后续验证。 
[root@node1 mysql]# service mysqld stop 
[root@node1 mysql]#chkconfig --add mysqld 
[root@node1 mysql]# chkconfig mysqld off 
[root@node1 mysql]# umount /mysqldata/ 
[root@node1 mysql]# drbdadm secondary web 
[root@node1 mysql]# scp /etc/init.d/mysqld root@node2:/etc/init.d/mysqld 
[root@node1 mysql]# scp /etc/my.cnf node2:/etc/ 
 
 
 
[root@node2 local]# ln -sv mysql-5.6.24-linux-glibc2.5-x86_64/ mysql 
[root@node2 mysql]# drbdadm primary web 
[root@node2 mysql]# drbd-overview 
[root@node2 mysql]#mkdir /mysqldata &&  mount /dev/drbd0 /mysqldata/ 
[root@node2 mysqldata]# groupadd -g 3306 mysql 
[root@node2 mysqldata]# useradd -u 3306 -g mysql mysql 
[root@node2 mysqldata]# service mysqld start 
[root@node2 mysqldata]# /usr/local/mysql/bin/mysql 　　　　进行数据验证，插入数据。 
[root@node2 mysqldata]# chown root.mysql /usr/local/mysql/* 
[root@node2 mysqldata]# service mysqld stop 
[root@node2 mysqldata]# chkconfig　--add mysqld 
[root@node2 mysqldata]# chkconfig mysqld off 
[root@node2 / ]# umount /mysqldata/ 
[root@node2 /]# drbd-overview 
[root@node2 /]# drbdadm secondary web 
[root@node2 /]# drbd-overview 
说明，这个时候可以再次进行主从切换，查看node2上插入的数据是否可以在node1上看到，如果成功，表明DRBD配置成功。 
#sevice drbd stop  && ssh node2 "sevice drbd stop" 
#chkconfig drbd off && ssh node2 "chkconfig drbd off"
  • 配置corosync
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
[root@node1 mysql]# cd /etc/crosync 
[root@node1 mysql]# cp corosync.conf.example corosync.conf 
 
编辑corosync.conf,添加如下内容: 
service{ 
    ver: 0 
    name:pacemaker 
} 
aisexec{ 
    user:root 
    group:root 
} 
 
最后的配置文件: 
# Please read the corosync.conf.5 manual page 
compatibility: whitetank 
totem { 
    version: 2   配置文件的版本号，不要动 
    secauth: on　安全的认证机制，默认关闭 
    threads: 2    使用多少个线程进行加密和组播通信的； 
    interface { 
        ringnumber: 0　　环数 
        bindnetaddr: 172.16.0.0　在哪个网络内进行组播 
        mcastaddr: 226.99.6.17　　组播地址,只要不是224网段即可 
        mcastport: 5405    　　组播端口,heartbeat是694 
        ttl: 1 
    } 
} 
logging {     
    fileline: off    表示各行日志文件是否需要打印分割线 
    to_stderr: no    是否发送标准错误信息到前端，不要打开，否则跑前端 
    to_logfile: yes　发往哪，下面定义，关闭的话发往syslog; 
    logfile: /var/log/cluster/corosync.log  这个目录默认不存在，所以应该创建 
    to_syslog: no    既然上面定义了发往logfile，这个关闭即可，默认打开的；　 
    debug: off    如果系统出现错误，可以打开进行排除 
    timestamp: on　是否记录时间戳，既然要进行获取时间，就要通过系统调用，然后获取时间给每行日志加时间戳， 
            意味着更多的系统调用和IO操作，默认打开，看需要； 
    logger_subsys { 
        subsys: AMF　如果没装openAIS,可以不用打开 
        debug: off 
    } 
} 
service{ 
    ver: 0 
    name:pacemaker 
    #use_mgmtd: yes 
} 
如果没装openAIS,这项可以不用添加，当然加上也可以； 
aisexec{ 
    user:root 
    group:root 
} 
 
生成节点间通信时用到的认证秘钥文件: 
[root@node1 mysql]##corosync-keygen 
 
将corosync.conf和authkey复制到node2: 
[root@node1 corosync.d]#scp -p corosync.conf authkey node2:/etc/corosync 
[root@node1 corosync.d]#service corosync start && ssh node2 "service corosync start" 
 
[root@node1 corosync.d]#crm configure    当然，这个这里给出了配置步骤，当然也可直接剪切下面的，需要说明的是，不论如何，都要有资源约束关系。 
1)property stonith-enabled=false 
2)property no-quorum-policy=ignore 
3)resource-stickiness=100 
crm(live)configure# primitive mystore ocf:linbit:drbd params drbd_resource="web" op monitor role="Master" interval=10s timeout=20s op monitor role="Slave" interval=20s timeout=20s op start timeout=240s op stop timeout=100s 
crm(live)configure#verify 
crm(live)configure# ms ms_mystor mystore meta clone-max="2" clone-node-max="1" master-max="1" master-node-max="1"  notify="true" 
crm(live)configure#verify 
crm(live)configure#commit 
crm(live)configure# primitive webfs ocf:heartbeat:Filesystem params device=/dev/drbd0 directory=/mysqldata fstype=ext4 op start timeout=60 op stop timeout=60 
crm(live)configure# colocation webfs_with_ms_mystor inf: webfs ms_mystor:Master 
crm(live)configure# order webfs_after_ms_mystor inf: ms_mystor:promote webfs:start 
 
crm(live)configure# primitive mysqld lsb:mysqld 
crm(live)configure# colocation mysqld_with_webfs inf: mysqld webfs 
crm(live)configure# order mysqld_after_webfs mandatory: webfs mysqld 
crm(live)configure#verify 
crm(live)configure#commit 
 
crm(live)configure#primitive myip ocf:heartbeat:IPaddr params ip=192.168.1.120 (nic=eth0 cidr_netmask=255.255.255.0)我在这一步时，老是出错，把括号内的去掉，然后verify和commit下，看是否正常，如果正常，那就继续，当然可以先加上括号内的．． 
crm(live)configure#colocation myip_with_ms_mystor inf:  myip ms_mystor:Master 
crm(live)configure#verify 
crm(live)configure#commit 
 
 
在测试时，可用这个命令将主节点变为备节点: 
#crm node standby 
然后,资源会跑到另外一个节点上，然后让节点再上线: 
#crm node online 
在另外一个节点上登录数据库，发现在上一个节点上创建的资源是否有，如果有，则表明同步成功，如果没有： 
#drbd-overview 
如果显示 -bash:/sbin/drbd-overview:No such file or directory 
在另外一个节点上，发现正常: 
#cat /proc/drbd 
那么不要着急，敲　/cat/proc/drbd,因为slave节点不会对drbd-overview显示!! 
 
 
 
需要说明的是:我在这里配置时使用的是LCMC直观查看，但是有一点，当我把配置文件提交时，node2的状态是standby,也就是没有上线， 
我不知道是因为什么原因导致的，但是必要做的两步: 
[root@node2 mysqldata]# cat /proc/drbd    查看状态是Primary/Secondary,如果不是， 
[root@node2 mysqldata]# crm  node online   如果状态变成Primary/Secondary了，那么则成功。。。 
 
配置文件: 
node node1.test.com \ 
        attributes standby=off 
node node2.test.com \ 
        attributes standby=on 
primitive myip IPaddr \ 
        params ip=192.168.1.120 
primitive mysqld lsb:mysqld 
primitive mystore ocf:linbit:drbd \ 
        params drbd_resource=web \ 
        op monitor role=Master interval=10s timeout=20s \ 
        op monitor role=Slave interval=20s timeout=20s \ 
        op start timeout=240s interval=0 \ 
        op stop timeout=100s interval=0 
primitive webfs Filesystem \ 
        params device="/dev/drbd0" directory="/mysqldata" fstype=ext4 \ 
        op start timeout=60 interval=0 \ 
        op stop timeout=60 interval=0 
ms ms_mystor mystore \ 
        meta clone-max=2 clone-node-max=1 master-max=1 master-node-max=1 notify=true 
colocation myip_with_ms_mystor inf: myip ms_mystor:Master 
colocation mysqld_with_webfs inf: mysqld webfs 
colocation webfs_with_ms_mystor inf: webfs ms_mystor:Master 
order mysqld_after_webfs Mandatory: webfs mysqld 
order webfs_after_ms_mystor inf: ms_mystor:promote webfs:start 
property cib-bootstrap-options: \ 
        expected-quorum-votes=2 \ 
        stonith-enabled=false \ 
        dc-version=1.1.11-97629de \ 
        no-quorum-policy=ignore \ 
        cluster-infrastructure="classic openais (with plugin)" \ 
        last-lrm-refresh=1437553803 
rsc_defaults rsc-options: 
#vim:set syntax=pcmk 
~

展开全文 >>

39_02Linux集群系列之十二--高可用集群之基于heartbeat和nfs的高可用MySQL

１、共享存储
２、如何让MySQL到NFS上读取配置文件

１、NFS
    /mydata 192.168.1.0/24(rw,no_root_squash)
2、mysql用户(组) 

1
2
#scripts/mysql_install_db --user=mysql ---datadir=/mydata/data/ 
在执行这一步的时候，是以管理员身份进行操作的，但是NFS默认会将所有用户映射为来宾帐号，以为着没有权限对其操作，所以应该在NFS那改为no_root_squash.

实验

HA1:192.168.1.110
HA2:192.168.1.111
NFS:192.168.1.120

NFS

1
2
3
4
5
6
7
8
9

# yum install nfs-utils rpcbind -y 
# mkdir /mysqldata         如果可以的话，尽量使用单个分区，做成LVM,这里省事；； 
# cat >>/etc/exports<<EOF 
>  /mysqldata 192.168.1.110(rw,no_root_squash) 
> /mysqldata 192.168.1.111(rw,no_root_squash) 
EOF 
# service rpcbind start 
# service nfs start

HA1

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

# groupadd -g 3306 mysql 
# useradd -u 3306 -g mysql -s /sbin/nologin mysql 
# tar xf mysql-version    -C /usr/lcoal 
# cd /usr/local 
# ln -sv mysql-version mysql 
# mkdir  -pv /mydata/data 
# mount -t nfs 192.168.1.120:/mysqldata /mydata/data 
# chown -R mysql.mysql /mydata/data 
# chmod 750  /mydata/data 
# scripts/mysql_install_db --user=mysql --datadir=/mydata/data 
# cp -a support-files/mysql.server /etc/init.d/mysqld 
# chkconfig --add mysqld 
# chkconfig mysqld off 
# cp -a support-files/my-default.cnf /etc/my.cnf 
# cat>> /etc/my.cnf<<EOF 
# datadir=/mydata/data 
# EOF 
# chown  -R root.mysql /usr/local/mysql/* 
# service myqld start 
# mysql>GRANT ALL PRIVILEGES ON *.* TO "root"@"%" IDENTIFIED BY "test"; 
# mysql>FLUSH PRIVILEGES; 
# 测试完成后 
# service mysqld stop 
# umount /mydata/data 
# scp /etc/my.cnf node2:/etc/ 
# scp /etc/init.d/mysqld node2:/etc/init.d/ 
 
# vim /etc/ha.d/haresources 
# node1.test.com IPaddr::192.168.1.109/24/eth0 Filesystem::192.168.1.120:/mysqldata::/mydata/data::nfs mysqld 
# scp /etc/ha.d/haresources node2:/etc/ha.d

HA2

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# groupadd -g 3306 mysql 
# useradd -u 3306 -g mysql -s /sbin/nologin mysql 
# tar xf mysql-version    -C /usr/local 
# cd /usr/local 
# ln -sv mysql-version mysql 
# mount -t nfs 192.168.1.120:/mysqldata /mydata/data 
# chkconfig --add mysqld 
# chkconfig mysqld off 
# serverice mysqld start 
# 测试完成后， 
# service mysqld stop 
# umount /mydata/data 
 
# for f in {1..2},do ssh node$f 'service heartbeat start';done

需要说明的是:

  1. 建议MySQL存储做成更高的存储安全类型
  2. 没有自启动
  3. /etc/ha.d/haresources我在添加两条资源的时候没有成功；

NFS挂了怎么办?
仍要对NFS做高可用。

这篇文章写的不错，建议参考。
http://www.tuicool.com/m/articles/NBjuam

展开全文 >>

24_04_3_实验L-A-M-P编译

基础

1
2
3
service iptables off 
setenforce 0 
yum -y install epel-release

httpd服务器：192.168.122.111

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
tar xvjf apr-1.5.1.tar.bz2                                     
./configure --prefix=/usr/local/apr 
make && make install                                 
tar xvjf apr-util-1.5.4.tar.bz2     
./configure --prefix=/usr/local/apr-util --with-apr=/usr/local/apr         
make && make install                                                     
                                                                                                 
yum install pcre-devel openssl-devel zlib-devel 
tar xvjf httpd-2.4.10.tar.bz2     
./configure --prefix=/usr/local/apache \ 
     --sysconfdir=/etc/httpd \ 
     --enable-so \ 
     --enable-rewrite \ 
     --enable-ssl \ 
     --enable-cgi  \ 
     --enable-cgid \ 
    --enable-modules=most \ 
    --enable-deflate \ 
    --enable-mods-shared=most \ 
    --enable-mpms-shared=all \ 
    --with-mpm=event \ 
    --with-apr=/usr/local/apr \ 
    --with-apr-util=/usr/local/apr-util 
 make && make install 
 

php服务器：192.168.122.104

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
wget -c  http://cn2.php.net/distributions/php-5.6.12.tar.bz2 
 
./configure --prefix=/usr/local/php --with-config-file-path=/etc --with-openssl --enable-mbstring --with-freetype-dir --with-jpeg-dir --with-png-dir --with-zlib  --with-libxml-dir  --enable-xml --enable-sockets --enable-fpm --with-mcrypt  --with-config-file-scan-dir=/etc/php.d --with-bz2  --enable-zip --with-mysql=mysqlnd --with-pdo-mysql=mysqlnd --with-mysqli=mysqlnd 
 
 make && make install 
 
cp php.ini-production /etc/php.ini 
 cp sapi/fpm/init.d.php-fpm /etc/rc.d/init.d/php-fpm 
chmod +x /etc/rc.d/init.d/php-fpm 
chkconfig --add php-fpm 
 
cp /usr/local/php/etc/php-fpm.conf.default /usr/local/php/etc/php-fpm.conf 
编辑php-fpm的配置文件： 
vi /usr/local/php/etc/php-fpm.conf 
配置fpm的相关选项为你所需要的值，并启用pid文件： 
listen = 192.168.122.104:9000 
pm.max_children = 50 
pm.start_servers = 5 
pm.min_space_servers = 2 
pm.max_space_servers = 8 
pid = /usr/local/php/var/run/php-fpm.pid 
 
接下来就可以启动php-fpm了： 
service php-fpm start 
 
tar xf xcache-3.2.0.tar.gz 
 cd xcache-3.2.0 
 yum -y install autoconf 
/usr/local/php/bin/phpize 
./configure --enable-xcache --with-php-config=/usr/local/php/bin/php-config 
make && make install 
 
cp xcache.ini /etc/php.d 
 
 
3、启用httpd的相关模块 
 
 
vim /etc/httpd/httpd.conf 
LoadModule proxy_module modules/mod_proxy.so 
LoadModule proxy_fcgi_module modules/mod_proxy_fcgi.so 
在<Directory "/usr/local/apache/htdocs">外面写如下两行： 
ProxyRequests Off 
ProxyPassMatch ^/(.*\.php)$ fcgi://192.168.122.104:9000/php/$1 
 
php服务器： 
mkdir /php 
vim /php/phpinfo.php 
vim /php/mysql.php 
进行测试；； 
 
安装phpadmin 
cp config.sample.inc.php config.inc.php 
编辑这个配置文件，修改这一项： 
$cfg['Servers'][$i]['host'] = '192.168.236.104';

如果出现:
PEAR package PHP_Archive not installed: generated phar will require PHP’s phar extension be enabled.

wget http://pear.php.net/go-pear.phar
/usr/local/php/bin/php go-pear.phar

展开全文 >>

39_01Linux集群系列之十一--高可用集群之heartbeat_v2_基于crm进行资源管理

CIB: Cluster Information Base
    xml格式，为了能够简单使用CIB，提供了haresources2clib.py脚本

当在ha.cf中添加了crm  respawn选项的时候，默认的haresources配置信息就不会再被使用，但是可以执行
/usr/lib64/heartbeat/haresources2cib.py脚本使其保留在/var/lib/heartbeat/crm/目录下；

但是haresources2cli.py的执行需要依赖同目录下的ha_propagate脚本，执行这个脚本会自动进行同步到其他节点上；

当VIP挂了，备用节点抢过来VIP上线，但是在路由器中保存的是原来VIP的mac地址，那么备用节点需要进行arp欺骗：
/usr/lib64/heartbeat/send_arp实现mac地址伪装，进行arp欺骗；

换另一种方式: 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
yum install pacemaker corosync 
#vim /etc/ha.d/ha.cf 
mcast eth0 225.0.100.19 694 1 0 
crm respawn    此时没有任何资源 
ln -s /usr/libexec/pacemaker/cib /usr/lib64/heartbeat/cib 
ln -s /usr/libexec/pacemaker/stonith /usr/lib64/heartbeat/stonithd 
ln -s /usr/libexec/pacemaker/attrd /usr/lib64/heartbeat/attrd 
ln -s /usr/libexec/pacemaker/crmd /usr/lib64/heartbeat/crmd 
 
#/usr/lib64/heartbeat/ha_propagate   会自动进行同步 
＃service heartbeat start 
#ssh node2 "service heartbeat start" 
#tail /var/log/message 
    可以看到详细信息 
     
#netstat -ntlp | grep mgmtd 
    监听在5560端口

cibadmin
cibclient
crmmon:可用于监测这些节点状态，每15秒刷新一次
crmadmin
crm_resource:用来做资源配置
crm_verify:校验/usr/lib64/heartbeat/cib.xml文件是否有语法错误的；
crm_standby:指定让哪个节点转为备节点
crm_sh:crm的命令行工具
使用方法:     

1
2
3
4
5
6
7
> #crm_sh 
> crm# help 
> Usage:crm (nodes|config|resources) 
> crm#nodes 
> crm nodes# help 
>  Usage: nodes(status|list) 
>  crm nodes#list

如何使用GUI方式进行管理
１、tail /etc/passwd
默认生成hacluster用户，没有密码
#passwd hacluster ,密码随便

#tail /var/log/message  查看谁是DC:假设是node2:192.168.1.103
    当然连接到hb_gui上也可以进行查看
#hb_gui &
会出现:
Server(:port)  192.168.1.103
User Name: hacluster
Password: hacluster

添加资源
Resources–> + –> native –>Resource ID:webip–>Type–>IPaddr(2)–> Parameters–>ip 192.168.1.101–>Add Parameters –>nic eth0–>cidr_netmask 24
最后Patameters类似:
Name        Value
ip         192.168.1.103
nic        eth0
cidr_netmask     16

点击webip–>右键–>start
如果出现错误，webip–>右键–>Migrate Resource–>To node:node1.test.com
–>Force:True
如果仍然错误，webip–>右键–>Clear Migrate Constraints即可；

添加资源–>httpd–>这里使用LSB的httpd脚本–>add即可；

如果用到组:应该先添加组:
 Resources– >+–>group–>Resoure ID: webip–>Type–>IPaddr(2)–> Parameters–>ip 192.168.1.101–>Add Parameters –>nic eth0–>cidr_netmask 24
 添加资源–>group–>httpd–>这里使用LSB的httpd脚本–>add即可；

将node2.test.com running(dc)右键转为standby将会转移到node1.test.com,刷新网页，将会发生改变

添加nfs文件系统
先停下上面哪个组

#mount -t nfs 192.168.1.105:/web/htdocs /var/www/html  
然后
add –>native–>Filesystem–>Resource ID:webstore        device 192.168.1.105:/web/htdocs
                                      directory /var/www/html
                                      fstype nfs

应该注意，最后的Resources的排列顺序应该是webip–>webstore–>httpd，这个顺序和resources那种方式定义的顺序是一样的；

如果出现错误，更多是状态信息导致的，可以重新添加；；

通过资源约束使三个独立运行的节点联系到一起
１、定义资源约束
Colocations–>OK–>ID httpd_with_filesystem–>from httpd –>to webstore–>Score  INFINITY(正无穷，永远在一起)–>OK

Colocations–>OK–>ID webstore_with_webip–>from webstore –>to webip–>Score  INFINITY(正无穷，永远在一起)–>OK
２、定义启动顺序
Orders–>ID webstore_before_httpd–>from httpd –> To webstore
    配置好后可看Description
Orders–>ID webip_before–>from httpd –> To webip

设置粘性Default Resource Stickiness，可使默认DC转移到设置的主机上，只要大于0即可；

如果想让某个资源运行到另外一个节点上，那么可以设定位置约束
Locations->add new items  item type :localtion –>ID webip_on_node1 Resource:webip–>OK
点击webip_on_node1–>右面–Score : INFIINTY(设定为永远)
Add Expression –>uname eq node1.test.com –Apply
会发现所有资源运行在node1.test.com上；

练习说明: 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
yum install pacemaker heartbeat 
#vim /etc/ha.d/ha.cf 
mcast eth0 225.0.100.19 694 1 0 
crm respawn    || pacemaker respawn 
#service heartbeat start 
会报错，tail /var/log/messages出现/usr/lib64/heart目录下的一些文件没有执行: 
这个是bug,做下面即可； 
＃ln -s /usr/libexec/pacemaker/cib /usr/lib64/heartbeat/cib 
＃ln -s /usr/libexec/pacemaker/stonith /usr/lib64/heartbeat/stonithd 
＃ln -s /usr/libexec/pacemaker/attrd /usr/lib64/heartbeat/attrd 
＃ln -s /usr/libexec/pacemaker/crmd /usr/lib64/heartbeat/crmd 
启动起来了，但是执行crm_mon又失败，没搜出来解决办法。。 
[root@node2 ha.d]# crm_mon -1 
Could not establish cib_ro connection: Connection refused (111) 
 
Connection to cluster failed: Transport endpoint is not connected

貌似在centos6.5+这个有BUG的…,所以以后做的时候，建议使用heartbeat自带的haresources进行管理；
我在看pacemaker的文档时，都不再涉及heartbeat+pacemaker这种方式，而是使用了corosync+pacemaker这种，所以，建议使用后者；；

更详细可直接参考这篇文章:
http://www.linuxidc.com/Linux/2013-08/89167p3.htm
http://www.cnblogs.com/chinacloud/archive/2010/11/18/1881056.html
http://wolfword.blog.51cto.com/4892126/1210647
http://wenku.baidu.com/link?url=71Xs0ZrJ6HehYNlPRfDziVImX4JvP0hM30ZTM9LxBzU0fJw7nnWrqbNE8gaFInnL50byi7-oOX3tR5qNpqJQlYO3nP-5EffJn87tAuPVUSa
http://blog.csdn.net/flcandclf/article/details/14520501
http://www.tuicool.com/articles/jM7jiu
http://www.21ops.com/linux/15178.html

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

探索世界美好的存在。