聚合国内IT技术精华文章,分享IT技术精华,帮助IT从业人士成长

12c 的RAC节点增加节点

2015-09-26 03:05 浏览: 2207617 次 我要评论(0 条) 字号:

我们以vitrualbox为例,给12c的RAC添加一个节点。主要步骤是:

1.检查新加节点物理需求
2.用$GRID_HOME/addnode/addnode.sh添加grid软件和配置grid
3.用$ORACLE_HOME/addnode/addnode.sh添加database软件
4.添加database到grid中。

我们先关闭虚拟机中的2节点RAC,对其中一个节点反击右键,复制一份。

复制完成后,清除一下原有的grid和database的信息,包括软件目录,inventory,/var下面的一下目录,oratab,/etc/init.d下的一些关于gi随机启动的服务等等(关键字,crs,ohas,tfa)。

检查共享存储:

Z:Oralce_Virtual_Boxol6-12102-rac>ls -l
total 41959424
-rwxrwxrwa   1 Administrators  None            5370806272 Aug 10 18:06 12102_rac1-disk2.vdi
-rwxrwxrwa   1 Administrators  None            5370806272 Aug 10 18:06 12102_rac1-disk3.vdi
-rwxrwxrwa   1 Administrators  None            5370806272 Aug 10 18:06 12102_rac1-disk4.vdi
-rwxrwxrwa   1 Administrators  None            5370806272 Aug 10 18:06 12102_rac1-disk5.vdi

attach共享存储到rac3节点:

Z:Oralce_Virtual_Boxol6-12102-rac>VBoxManage storageattach 12102-rac3 --storagectl "SATA" --port 1 --device 0 --type hdd --medium 12102_rac1-disk2.vdi --mtype shareable
Z:Oralce_Virtual_Boxol6-12102-rac>VBoxManage storageattach 12102-rac3 --storagectl "SATA" --port 2 --device 0 --type hdd --medium 12102_rac1-disk3.vdi --mtype shareable
Z:Oralce_Virtual_Boxol6-12102-rac>VBoxManage storageattach 12102-rac3 --storagectl "SATA" --port 3 --device 0 --type hdd --medium 12102_rac1-disk4.vdi --mtype shareable
Z:Oralce_Virtual_Boxol6-12102-rac>VBoxManage storageattach 12102-rac3 --storagectl "SATA" --port 4 --device 0 --type hdd --medium 12102_rac1-disk5.vdi --mtype shareable
Z:Oralce_Virtual_Boxol6-12102-rac>

打开主机,将这些共享盘以udev的方式加入到随机启动中:

[root@12102-rac3 ~]# /sbin/scsi_id -g -u -d /dev/sdb                                                                                                                                     
1ATA_VBOX_HARDDISK_VBe3484a98-a77aaec1                                                                                                                                                   
[root@12102-rac3 ~]# /sbin/scsi_id -g -u -d /dev/sdc                                                                                                                                     
1ATA_VBOX_HARDDISK_VB9d897555-1b30e790                                                                                                                                                   
[root@12102-rac3 ~]# /sbin/scsi_id -g -u -d /dev/sdd                                                                                                                                     
1ATA_VBOX_HARDDISK_VB2a6662eb-b04f8b6b                                                                                                                                                   
[root@12102-rac3 ~]# /sbin/scsi_id -g -u -d /dev/sde                                                                                                                                     
1ATA_VBOX_HARDDISK_VBcbeec833-3107d8f3                                                                                                                                                   
[root@12102-rac3 ~]#                                                                                                                                                                     
[root@12102-rac3 ~]#                                                                                                                                                                     
[root@12102-rac3 ~]#                                                                                                                                                                     
[root@12102-rac3 ~]# cd /etc/udev                                                                                                                                                       
[root@12102-rac3 udev]# cd ru*                                                                                                                                                           
[root@12102-rac3 rules.d]# ls                                                                                                                                                           
55-usm.rules                 60-vboxadd.rules             90-alsa.rules              99-fuse.rules                                                                                       
60-fprint-autosuspend.rules  70-persistent-cd.rules       90-hal.rules               99-oracle-asmdevices.rules                                                                         
60-pcmcia.rules              70-persistent-net.rules      97-bluetooth-serial.rules                                                                                                     
60-raw.rules                 70-persistent-net.rules.bak  98-kexec.rules                                                                                                                 
[root@12102-rac3 rules.d]#                                                                                                                                                               
[root@12102-rac3 rules.d]#                                                                                                                                                               
[root@12102-rac3 rules.d]# cat 99-oracle-asmdevices.rules                                                                                                                               
KERNEL=="sd?1", BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u -d /dev/$parent", RESULT=="1ATA_VBOX_HARDDISK_VBe3484a98-a77aaec1", NAME="asm-disk1", OWNER="oracle", GROUP="dba", MODE="0660"
KERNEL=="sd?1", BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u -d /dev/$parent", RESULT=="1ATA_VBOX_HARDDISK_VB9d897555-1b30e790", NAME="asm-disk2", OWNER="oracle", GROUP="dba", MODE="0660"
KERNEL=="sd?1", BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u -d /dev/$parent", RESULT=="1ATA_VBOX_HARDDISK_VB2a6662eb-b04f8b6b", NAME="asm-disk3", OWNER="oracle", GROUP="dba", MODE="0660"
KERNEL=="sd?1", BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u -d /dev/$parent", RESULT=="1ATA_VBOX_HARDDISK_VBcbeec833-3107d8f3", NAME="asm-disk4", OWNER="oracle", GROUP="dba", MODE="0660"
[root@12102-rac3 rules.d]# /sbin/udevadm control --reload-rules
[root@12102-rac3 rules.d]# /sbin/start_udev
Starting udev: [  OK  ]
[root@12102-rac3 rules.d]#
[root@12102-rac3 rules.d]# ls -al /dev/asm*
brw-rw----. 1 oracle dba 8, 17 Aug 10 17:19 /dev/asm-disk1
brw-rw----. 1 oracle dba 8, 33 Aug 10 17:19 /dev/asm-disk2
brw-rw----. 1 oracle dba 8, 49 Aug 10 17:19 /dev/asm-disk3
brw-rw----. 1 oracle dba 8, 65 Aug 10 17:19 /dev/asm-disk4
[root@12102-rac3 rules.d]#

检查hosts文件,添加第三个节点:

[root@12102-rac3 rules.d]# cat /etc/hosts
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
 
127.0.0.1       localhost.localdomain   localhost
# Public
192.168.56.124   12102-rac1.localdomain       12102-rac1
192.168.56.125   12102-rac2.localdomain       12102-rac2
192.168.56.127   12102-rac3.localdomain       12102-rac3
# Private
192.168.57.34   12102-rac1-priv.localdomain   12102-rac1-priv
192.168.57.35   12102-rac2-priv.localdomain   12102-rac2-priv
192.168.57.37   12102-rac3-priv.localdomain   12102-rac3-priv
#Because use GNS, so vip and scanvip is provide by GNS
# Virtual
#192.168.56.103   12102-rac1-vip.localdomain    12102-rac1-vip
#192.168.56.104   12102-rac2-vip.localdomain    12102-rac2-vip
#192.168.56.109   12102-rac3-vip.localdomain    12102-rac3-vip
# SCAN
#192.168.56.105   12102-scan.localdomain 12102-scan
#192.168.56.106   12102-scan.localdomain 12102-scan
#192.168.56.107   12102-scan.localdomain 12102-scan
[root@12102-rac3 rules.d]#

并且检查主机的互信机制:

ssh 12102-rac1 date
ssh 12102-rac2 date
ssh 12102-rac3 date
 
ssh 12102-rac1-priv date
ssh 12102-rac2-priv date
ssh 12102-rac3-priv date
 
ssh 12102-rac1-vip date
ssh 12102-rac2-vip date
ssh 12102-rac3-vip date

给DNS server和dncp server也加上相关信息:

DNS我是用dnsmasq实现,参考这个文档

我的hosts文件内容为:

[root@dnsserver ~]# cat /etc/hosts
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
 
127.0.0.1       localhost.localdomain   localhost
# Public
192.168.56.124   12102-rac1.localdomain       12102-rac1
192.168.56.125   12102-rac2.localdomain       12102-rac2
# Private
192.168.57.34   12102-rac1-priv.localdomain   12102-rac1-priv
192.168.57.35   12102-rac2-priv.localdomain   12102-rac2-priv
#Because use GNS, so vip and scanvip is provide by GNS
# Virtual
192.168.56.103   12102-rac1-vip.localdomain    12102-rac1-vip
192.168.56.104   12102-rac2-vip.localdomain    12102-rac2-vip
# SCAN
192.168.56.105   12102-scan.localdomain 12102-scan
192.168.56.106   12102-scan.localdomain 12102-scan
192.168.56.107   12102-scan.localdomain 12102-scan
#GNS
192.168.56.108  gns.localdomain
[root@dnsserver ~]#

GNS的DHCP我是参考这个文章实现。

我的DHCP配置文件为:

[root@dnsserver ~]# cat /etc/dhcpd.conf
ddns-update-style interim;
 
ignore client-updates;
 
## DHCP for public:
subnet 192.168.56.0 netmask 255.255.255.0
{
default-lease-time 43200;
max-lease-time 86400;
option subnet-mask 255.255.255.0;
option broadcast-address 192.168.56.255;
option routers 192.168.56.1;
option domain-name-servers
192.168.56.3;
option domain-name "grid.localdomain";
pool
{
range 192.168.56.10 192.168.56.29;
}
}
 
 
 
## DHCP for private
subnet 192.168.57.0 netmask 255.255.255.0
{
default-lease-time 43200;
max-lease-time 86400;
option subnet-mask 255.255.0.0;
option broadcast-address 192.168.57.255;
pool
{
range 192.168.57.30 192.168.57.49;
}
}
[root@dnsserver ~]#

运行cluster verify脚本,检查节点硬件和OS的情况:

cluvfy stage -post hwos -n 12102-rac1,12102-rac2,12102-rac3 -verbose
 
[oracle@12102-rac1 bin]$ ./cluvfy stage -post hwos -n 12102-rac1,12102-rac2,12102-rac3 -verbose
 
Performing post-checks for hardware and operating system setup
 
Checking node reachability...
 
Check: Node reachability from node "12102-rac1"
  Destination Node                      Reachable?             
  ------------------------------------  ------------------------
  12102-rac1                            yes                     
  12102-rac2                            yes                     
  12102-rac3                            yes                     
Result: Node reachability check passed from node "12102-rac1"
 
 
Checking user equivalence...
 
Check: User equivalence for user "oracle"
  Node Name                             Status                 
  ------------------------------------  ------------------------
  12102-rac3                            passed                 
  12102-rac2                            passed                 
  12102-rac1                            passed                 
Result: User equivalence check passed for user "oracle"
 
Checking node connectivity...
 
Checking hosts config file...
  Node Name                             Status                 
  ------------------------------------  ------------------------
  12102-rac1                            passed                 
  12102-rac3                            passed                 
  12102-rac2                            passed                 
 
Verification of the hosts config file successful
 
 
Interface information for node "12102-rac1"
 Name   IP Address      Subnet          Gateway         Def. Gateway    HW Address        MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.56.124  192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:AD:B5:33 1500 
 eth0   192.168.56.26   192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:AD:B5:33 1500 
 eth0   192.168.56.22   192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:AD:B5:33 1500 
 eth1   192.168.57.34   192.168.57.0    0.0.0.0         192.168.56.1    08:00:27:35:04:BB 1500 
 eth1   169.254.161.44  169.254.0.0     0.0.0.0         192.168.56.1    08:00:27:35:04:BB 1500 
 
 
Interface information for node "12102-rac3"
 Name   IP Address      Subnet          Gateway         Def. Gateway    HW Address        MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.56.127  192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:A6:B7:99 1500 
 eth1   192.168.57.37   192.168.57.0    0.0.0.0         192.168.56.1    08:00:27:2C:DC:8C 1500 
 
 
Interface information for node "12102-rac2"
 Name   IP Address      Subnet          Gateway         Def. Gateway    HW Address        MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.56.125  192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:60:27:F9 1500 
 eth0   192.168.56.108  192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:60:27:F9 1500 
 eth0   192.168.56.25   192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:60:27:F9 1500 
 eth0   192.168.56.27   192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:60:27:F9 1500 
 eth0   192.168.56.28   192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:60:27:F9 1500 
 eth1   192.168.57.35   192.168.57.0    0.0.0.0         192.168.56.1    08:00:27:47:D4:A9 1500 
 eth1   169.254.7.3     169.254.0.0     0.0.0.0         192.168.56.1    08:00:27:47:D4:A9 1500 
 
 
Check: Node connectivity using interfaces on subnet "192.168.57.0"
 
Check: Node connectivity of subnet "192.168.57.0"
  Source                          Destination                     Connected?     
  ------------------------------  ------------------------------  ----------------
  12102-rac1[192.168.57.34]       12102-rac3[192.168.57.37]       yes             
  12102-rac1[192.168.57.34]       12102-rac2[192.168.57.35]       yes             
  12102-rac3[192.168.57.37]       12102-rac2[192.168.57.35]       yes             
Result: Node connectivity passed for subnet "192.168.57.0" with node(s) 12102-rac1,12102-rac3,12102-rac2
 
 
Check: TCP connectivity of subnet "192.168.57.0"
  Source                          Destination                     Connected?     
  ------------------------------  ------------------------------  ----------------
  12102-rac1 : 192.168.57.34      12102-rac1 : 192.168.57.34      passed         
  12102-rac3 : 192.168.57.37      12102-rac1 : 192.168.57.34      passed         
  12102-rac2 : 192.168.57.35      12102-rac1 : 192.168.57.34      passed         
  12102-rac1 : 192.168.57.34      12102-rac3 : 192.168.57.37      passed         
  12102-rac3 : 192.168.57.37      12102-rac3 : 192.168.57.37      passed         
  12102-rac2 : 192.168.57.35      12102-rac3 : 192.168.57.37      passed         
  12102-rac1 : 192.168.57.34      12102-rac2 : 192.168.57.35      passed         
  12102-rac3 : 192.168.57.37      12102-rac2 : 192.168.57.35      passed         
  12102-rac2 : 192.168.57.35      12102-rac2 : 192.168.57.35      passed         
Result: TCP connectivity check passed for subnet "192.168.57.0"
 
 
Check: Node connectivity using interfaces on subnet "192.168.56.0"
 
Check: Node connectivity of subnet "192.168.56.0"
  Source                          Destination                     Connected?     
  ------------------------------  ------------------------------  ----------------
  12102-rac1[192.168.56.22]       12102-rac1[192.168.56.26]       yes             
  12102-rac1[192.168.56.22]       12102-rac2[192.168.56.108]      yes             
  12102-rac1[192.168.56.22]       12102-rac2[192.168.56.125]      yes             
  12102-rac1[192.168.56.22]       12102-rac2[192.168.56.28]       yes             
  12102-rac1[192.168.56.22]       12102-rac1[192.168.56.124]      yes             
  12102-rac1[192.168.56.22]       12102-rac3[192.168.56.127]      yes             
  12102-rac1[192.168.56.22]       12102-rac2[192.168.56.25]       yes             
  12102-rac1[192.168.56.22]       12102-rac2[192.168.56.27]       yes             
  12102-rac1[192.168.56.26]       12102-rac2[192.168.56.108]      yes             
  12102-rac1[192.168.56.26]       12102-rac2[192.168.56.125]      yes             
  12102-rac1[192.168.56.26]       12102-rac2[192.168.56.28]       yes             
  12102-rac1[192.168.56.26]       12102-rac1[192.168.56.124]      yes             
  12102-rac1[192.168.56.26]       12102-rac3[192.168.56.127]      yes             
  12102-rac1[192.168.56.26]       12102-rac2[192.168.56.25]       yes             
  12102-rac1[192.168.56.26]       12102-rac2[192.168.56.27]       yes             
  12102-rac2[192.168.56.108]      12102-rac2[192.168.56.125]      yes             
  12102-rac2[192.168.56.108]      12102-rac2[192.168.56.28]       yes             
  12102-rac2[192.168.56.108]      12102-rac1[192.168.56.124]      yes             
  12102-rac2[192.168.56.108]      12102-rac3[192.168.56.127]      yes             
  12102-rac2[192.168.56.108]      12102-rac2[192.168.56.25]       yes             
  12102-rac2[192.168.56.108]      12102-rac2[192.168.56.27]       yes             
  12102-rac2[192.168.56.125]      12102-rac2[192.168.56.28]       yes             
  12102-rac2[192.168.56.125]      12102-rac1[192.168.56.124]      yes             
  12102-rac2[192.168.56.125]      12102-rac3[192.168.56.127]      yes             
  12102-rac2[192.168.56.125]      12102-rac2[192.168.56.25]       yes             
  12102-rac2[192.168.56.125]      12102-rac2[192.168.56.27]       yes             
  12102-rac2[192.168.56.28]       12102-rac1[192.168.56.124]      yes             
  12102-rac2[192.168.56.28]       12102-rac3[192.168.56.127]      yes             
  12102-rac2[192.168.56.28]       12102-rac2[192.168.56.25]       yes             
  12102-rac2[192.168.56.28]       12102-rac2[192.168.56.27]       yes             
  12102-rac1[192.168.56.124]      12102-rac3[192.168.56.127]      yes             
  12102-rac1[192.168.56.124]      12102-rac2[192.168.56.25]       yes             
  12102-rac1[192.168.56.124]      12102-rac2[192.168.56.27]       yes             
  12102-rac3[192.168.56.127]      12102-rac2[192.168.56.25]       yes             
  12102-rac3[192.168.56.127]      12102-rac2[192.168.56.27]       yes             
  12102-rac2[192.168.56.25]       12102-rac2[192.168.56.27]       yes             
Result: Node connectivity passed for subnet "192.168.56.0" with node(s) 12102-rac1,12102-rac2,12102-rac3
 
 
Check: TCP connectivity of subnet "192.168.56.0"
  Source                          Destination                     Connected?     
  ------------------------------  ------------------------------  ----------------
  12102-rac1 : 192.168.56.22      12102-rac1 : 192.168.56.22      passed         
  12102-rac1 : 192.168.56.26      12102-rac1 : 192.168.56.22      passed         
  12102-rac2 : 192.168.56.108     12102-rac1 : 192.168.56.22      passed         
  12102-rac2 : 192.168.56.125     12102-rac1 : 192.168.56.22      passed         
  12102-rac2 : 192.168.56.28      12102-rac1 : 192.168.56.22      passed         
  12102-rac1 : 192.168.56.124     12102-rac1 : 192.168.56.22      passed         
  12102-rac3 : 192.168.56.127     12102-rac1 : 192.168.56.22      passed         
  12102-rac2 : 192.168.56.25      12102-rac1 : 192.168.56.22      passed         
  12102-rac2 : 192.168.56.27      12102-rac1 : 192.168.56.22      passed         
  12102-rac1 : 192.168.56.22      12102-rac1 : 192.168.56.26      passed         
  12102-rac1 : 192.168.56.26      12102-rac1 : 192.168.56.26      passed         
  12102-rac2 : 192.168.56.108     12102-rac1 : 192.168.56.26      passed         
  12102-rac2 : 192.168.56.125     12102-rac1 : 192.168.56.26      passed         
  12102-rac2 : 192.168.56.28      12102-rac1 : 192.168.56.26      passed         
  12102-rac1 : 192.168.56.124     12102-rac1 : 192.168.56.26      passed         
  12102-rac3 : 192.168.56.127     12102-rac1 : 192.168.56.26      passed         
  12102-rac2 : 192.168.56.25      12102-rac1 : 192.168.56.26      passed         
  12102-rac2 : 192.168.56.27      12102-rac1 : 192.168.56.26      passed         
  12102-rac1 : 192.168.56.22      12102-rac2 : 192.168.56.108     passed         
  12102-rac1 : 192.168.56.26      12102-rac2 : 192.168.56.108     passed         
  12102-rac2 : 192.168.56.108     12102-rac2 : 192.168.56.108     passed         
  12102-rac2 : 192.168.56.125     12102-rac2 : 192.168.56.108     passed         
  12102-rac2 : 192.168.56.28      12102-rac2 : 192.168.56.108     passed         
  12102-rac1 : 192.168.56.124     12102-rac2 : 192.168.56.108     passed         
  12102-rac3 : 192.168.56.127     12102-rac2 : 192.168.56.108     passed         
  12102-rac2 : 192.168.56.25      12102-rac2 : 192.168.56.108     passed         
  12102-rac2 : 192.168.56.27      12102-rac2 : 192.168.56.108     passed         
  12102-rac1 : 192.168.56.22      12102-rac2 : 192.168.56.125     passed         
  12102-rac1 : 192.168.56.26      12102-rac2 : 192.168.56.125     passed         
  12102-rac2 : 192.168.56.108     12102-rac2 : 192.168.56.125     passed         
  12102-rac2 : 192.168.56.125     12102-rac2 : 192.168.56.125     passed         
  12102-rac2 : 192.168.56.28      12102-rac2 : 192.168.56.125     passed         
  12102-rac1 : 192.168.56.124     12102-rac2 : 192.168.56.125     passed         
  12102-rac3 : 192.168.56.127     12102-rac2 : 192.168.56.125     passed         
  12102-rac2 : 192.168.56.25      12102-rac2 : 192.168.56.125     passed         
  12102-rac2 : 192.168.56.27      12102-rac2 : 192.168.56.125     passed         
  12102-rac1 : 192.168.56.22      12102-rac2 : 192.168.56.28      passed         
  12102-rac1 : 192.168.56.26      12102-rac2 : 192.168.56.28      passed         
  12102-rac2 : 192.168.56.108     12102-rac2 : 192.168.56.28      passed         
  12102-rac2 : 192.168.56.125     12102-rac2 : 192.168.56.28      passed         
  12102-rac2 : 192.168.56.28      12102-rac2 : 192.168.56.28      passed         
  12102-rac1 : 192.168.56.124     12102-rac2 : 192.168.56.28      passed         
  12102-rac3 : 192.168.56.127     12102-rac2 : 192.168.56.28      passed         
  12102-rac2 : 192.168.56.25      12102-rac2 : 192.168.56.28      passed         
  12102-rac2 : 192.168.56.27      12102-rac2 : 192.168.56.28      passed         
  12102-rac1 : 192.168.56.22      12102-rac1 : 192.168.56.124     passed         
  12102-rac1 : 192.168.56.26      12102-rac1 : 192.168.56.124     passed         
  12102-rac2 : 192.168.56.108     12102-rac1 : 192.168.56.124     passed         
  12102-rac2 : 192.168.56.125     12102-rac1 : 192.168.56.124     passed         
  12102-rac2 : 192.168.56.28      12102-rac1 : 192.168.56.124     passed         
  12102-rac1 : 192.168.56.124     12102-rac1 : 192.168.56.124     passed         
  12102-rac3 : 192.168.56.127     12102-rac1 : 192.168.56.124     passed         
  12102-rac2 : 192.168.56.25      12102-rac1 : 192.168.56.124     passed         
  12102-rac2 : 192.168.56.27      12102-rac1 : 192.168.56.124     passed         
  12102-rac1 : 192.168.56.22      12102-rac3 : 192.168.56.127     passed         
  12102-rac1 : 192.168.56.26      12102-rac3 : 192.168.56.127     passed         
  12102-rac2 : 192.168.56.108     12102-rac3 : 192.168.56.127     passed         
  12102-rac2 : 192.168.56.125     12102-rac3 : 192.168.56.127     passed         
  12102-rac2 : 192.168.56.28      12102-rac3 : 192.168.56.127     passed         
  12102-rac1 : 192.168.56.124     12102-rac3 : 192.168.56.127     passed         
  12102-rac3 : 192.168.56.127     12102-rac3 : 192.168.56.127     passed         
  12102-rac2 : 192.168.56.25      12102-rac3 : 192.168.56.127     passed         
  12102-rac2 : 192.168.56.27      12102-rac3 : 192.168.56.127     passed         
  12102-rac1 : 192.168.56.22      12102-rac2 : 192.168.56.25      passed         
  12102-rac1 : 192.168.56.26      12102-rac2 : 192.168.56.25      passed         
  12102-rac2 : 192.168.56.108     12102-rac2 : 192.168.56.25      passed         
  12102-rac2 : 192.168.56.125     12102-rac2 : 192.168.56.25      passed         
  12102-rac2 : 192.168.56.28      12102-rac2 : 192.168.56.25      passed         
  12102-rac1 : 192.168.56.124     12102-rac2 : 192.168.56.25      passed         
  12102-rac3 : 192.168.56.127     12102-rac2 : 192.168.56.25      passed         
  12102-rac2 : 192.168.56.25      12102-rac2 : 192.168.56.25      passed         
  12102-rac2 : 192.168.56.27      12102-rac2 : 192.168.56.25      passed         
  12102-rac1 : 192.168.56.22      12102-rac2 : 192.168.56.27      passed         
  12102-rac1 : 192.168.56.26      12102-rac2 : 192.168.56.27      passed         
  12102-rac2 : 192.168.56.108     12102-rac2 : 192.168.56.27      passed         
  12102-rac2 : 192.168.56.125     12102-rac2 : 192.168.56.27      passed         
  12102-rac2 : 192.168.56.28      12102-rac2 : 192.168.56.27      passed         
  12102-rac1 : 192.168.56.124     12102-rac2 : 192.168.56.27      passed         
  12102-rac3 : 192.168.56.127     12102-rac2 : 192.168.56.27      passed         
  12102-rac2 : 192.168.56.25      12102-rac2 : 192.168.56.27      passed         
  12102-rac2 : 192.168.56.27      12102-rac2 : 192.168.56.27      passed         
Result: TCP connectivity check passed for subnet "192.168.56.0"
 
Checking subnet mask consistency...
Subnet mask consistency check passed for subnet "192.168.56.0".
Subnet mask consistency check passed for subnet "192.168.57.0".
Subnet mask consistency check passed.
 
Result: Node connectivity check passed
 
Checking multicast communication...
 
Checking subnet "192.168.57.0" for multicast communication with multicast group "224.0.0.251"...
Check of subnet "192.168.57.0" for multicast communication with multicast group "224.0.0.251" passed.
 
Check of multicast communication passed.
Task ASM Integrity check started...
 
Checking if connectivity exists across cluster nodes on the ASM network
 
Checking node connectivity...
 
Checking hosts config file...
  Node Name                             Status                 
  ------------------------------------  ------------------------
  12102-rac2                            passed                 
  12102-rac1                            passed                 
 
Verification of the hosts config file successful
 
 
Interface information for node "12102-rac2"
 Name   IP Address      Subnet          Gateway         Def. Gateway    HW Address        MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth1   192.168.57.35   192.168.57.0    0.0.0.0         192.168.56.1    08:00:27:47:D4:A9 1500 
 eth1   169.254.7.3     169.254.0.0     0.0.0.0         192.168.56.1    08:00:27:47:D4:A9 1500 
 
 
Interface information for node "12102-rac1"
 Name   IP Address      Subnet          Gateway         Def. Gateway    HW Address        MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth1   192.168.57.34   192.168.57.0    0.0.0.0         192.168.56.1    08:00:27:35:04:BB 1500 
 eth1   169.254.161.44  169.254.0.0     0.0.0.0         192.168.56.1    08:00:27:35:04:BB 1500 
 
 
Check: Node connectivity using interfaces on subnet "192.168.57.0"
 
Check: Node connectivity of subnet "192.168.57.0"
  Source                          Destination                     Connected?     
  ------------------------------  ------------------------------  ----------------
  12102-rac2[192.168.57.35]       12102-rac1[192.168.57.34]       yes             
Result: Node connectivity passed for subnet "192.168.57.0" with node(s) 12102-rac2,12102-rac1
 
 
Check: TCP connectivity of subnet "192.168.57.0"
  Source                          Destination                     Connected?     
  ------------------------------  ------------------------------  ----------------
  12102-rac2 : 192.168.57.35      12102-rac2 : 192.168.57.35      passed         
  12102-rac1 : 192.168.57.34      12102-rac2 : 192.168.57.35      passed         
  12102-rac2 : 192.168.57.35      12102-rac1 : 192.168.57.34      passed         
  12102-rac1 : 192.168.57.34      12102-rac1 : 192.168.57.34      passed         
Result: TCP connectivity check passed for subnet "192.168.57.0"
 
Checking subnet mask consistency...
Subnet mask consistency check passed for subnet "192.168.57.0".
Subnet mask consistency check passed.
 
Result: Node connectivity check passed
 
Network connectivity check across cluster nodes on the ASM network passed
 
Task ASM Integrity check passed...
Task ASM Integrity check started...
 
Checking if connectivity exists across cluster nodes on the ASM network
 
Checking node connectivity...
 
Checking hosts config file...
  Node Name                             Status                 
  ------------------------------------  ------------------------
  12102-rac2                            passed                 
  12102-rac1                            passed                 
 
Verification of the hosts config file successful
 
 
Interface information for node "12102-rac2"
 Name   IP Address      Subnet          Gateway         Def. Gateway    HW Address        MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth1   192.168.57.35   192.168.57.0    0.0.0.0         192.168.56.1    08:00:27:47:D4:A9 1500 
 eth1   169.254.7.3     169.254.0.0     0.0.0.0         192.168.56.1    08:00:27:47:D4:A9 1500 
 
 
Interface information for node "12102-rac1"
 Name   IP Address      Subnet          Gateway         Def. Gateway    HW Address        MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth1   192.168.57.34   192.168.57.0    0.0.0.0         192.168.56.1    08:00:27:35:04:BB 1500 
 eth1   169.254.161.44  169.254.0.0     0.0.0.0         192.168.56.1    08:00:27:35:04:BB 1500 
 
 
Check: Node connectivity using interfaces on subnet "192.168.57.0"
 
Check: Node connectivity of subnet "192.168.57.0"
  Source                          Destination                     Connected?     
  ------------------------------  ------------------------------  ----------------
  12102-rac1[192.168.57.34]       12102-rac2[192.168.57.35]       yes             
Result: Node connectivity passed for subnet "192.168.57.0" with node(s) 12102-rac1,12102-rac2
 
 
Check: TCP connectivity of subnet "192.168.57.0"
  Source                          Destination                     Connected?     
  ------------------------------  ------------------------------  ----------------
  12102-rac1 : 192.168.57.34      12102-rac1 : 192.168.57.34      passed         
  12102-rac2 : 192.168.57.35      12102-rac1 : 192.168.57.34      passed         
  12102-rac1 : 192.168.57.34      12102-rac2 : 192.168.57.35      passed         
  12102-rac2 : 192.168.57.35      12102-rac2 : 192.168.57.35      passed         
Result: TCP connectivity check passed for subnet "192.168.57.0"
 
Checking subnet mask consistency...
Subnet mask consistency check passed for subnet "192.168.57.0".
Subnet mask consistency check passed.
 
Result: Node connectivity check passed
 
Network connectivity check across cluster nodes on the ASM network passed
 
Task ASM Integrity check passed...
 
Checking for multiple users with UID value 0
Result: Check for multiple users with UID value 0 passed
Check: Time zone consistency
Result: Time zone consistency check passed
 
Checking shared storage accessibility...
 
No shared storage found
 
 
Shared storage check failed on nodes "12102-rac1,12102-rac3,12102-rac2"
 
Checking integrity of name service switch configuration file "/etc/nsswitch.conf" ...
Checking if "hosts" entry in file "/etc/nsswitch.conf" is consistent across nodes...
Checking file "/etc/nsswitch.conf" to make sure that only one "hosts" entry is defined
More than one "hosts" entry does not exist in any "/etc/nsswitch.conf" file
All nodes have same "hosts" entry defined in file "/etc/nsswitch.conf"
Check for integrity of name service switch configuration file "/etc/nsswitch.conf" passed
 
 
Post-check for hardware and operating system setup was unsuccessful on all the nodes.
[oracle@12102-rac1 bin]$

将需要加进来的12102-rac3节点和节点1对比一下,看看是否有不match的情况:

[oracle@12102-rac1 bin]$ ./cluvfy comp peer -refnode 12102-rac1 -n 12102-rac3 -verbose
 
Verifying peer compatibility
 
Checking peer compatibility...
 
Compatibility check: Physical memory [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    3.6476GB (3824748.0KB)    3.6476GB (3824748.0KB)    matched   
Physical memory
<null>
 
Compatibility check: Available memory [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    3.4812GB (3650308.0KB)    2.1513GB (2255776.0KB)    matched   
Available memory
<null>
 
Compatibility check: Swap space [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    1.9687GB (2064376.0KB)    1.9687GB (2064376.0KB)    matched   
Swap space
<null>
 
Compatibility check: Free disk space for "/usr" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    17.4385GB (1.8285568E7KB)  3.7285GB (3909632.0KB)    matched   
Free disk space
<null>
 
Compatibility check: Free disk space for "/var" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    17.4385GB (1.8285568E7KB)  3.7285GB (3909632.0KB)    matched   
Free disk space
<null>
 
Compatibility check: Free disk space for "/etc" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    17.4385GB (1.8285568E7KB)  3.7285GB (3909632.0KB)    matched   
Free disk space
<null>
 
Compatibility check: Free disk space for "/u01/app/12.1.0.2/grid" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    17.4385GB (1.8285568E7KB)  3.7285GB (3909632.0KB)    matched   
Free disk space
<null>
 
Compatibility check: Free disk space for "/sbin" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    17.4385GB (1.8285568E7KB)  3.7285GB (3909632.0KB)    matched   
Free disk space
<null>
 
Compatibility check: Free disk space for "/tmp" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    17.4385GB (1.8285568E7KB)  3.7285GB (3909632.0KB)    matched   
Free disk space
<null>
 
Compatibility check: User existence for "oracle" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    oracle(54321)             oracle(54321)             matched   
User existence for "oracle" check passed
 
Compatibility check: Group existence for "oinstall" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    oinstall(54321)           oinstall(54321)           matched   
Group existence for "oinstall" check passed
 
Compatibility check: Group existence for "dba" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    dba(54322)                dba(54322)                matched   
Group existence for "dba" check passed
 
Compatibility check: Group membership for "oracle" in "oinstall (Primary)" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    yes                       yes                       matched   
Group membership for "oracle" in "oinstall (Primary)" check passed
 
Compatibility check: Group membership for "oracle" in "dba" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    yes                       yes                       matched   
Group membership for "oracle" in "dba" check passed
 
Compatibility check: Run level [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    5                         5                         matched   
Run level check passed
 
Compatibility check: System architecture [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    x86_64                    x86_64                    matched   
System architecture check passed
 
Compatibility check: Kernel version [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    2.6.32-358.el6.x86_64     2.6.32-358.el6.x86_64     matched   
Kernel version check passed
 
Compatibility check: Kernel param "semmsl" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    250                       250                       matched   
Kernel param "semmsl" check passed
 
Compatibility check: Kernel param "semmns" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    32000                     32000                     matched   
Kernel param "semmns" check passed
 
Compatibility check: Kernel param "semopm" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    100                       100                       matched   
Kernel param "semopm" check passed
 
Compatibility check: Kernel param "semmni" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    128                       128                       matched   
Kernel param "semmni" check passed
 
Compatibility check: Kernel param "shmmax" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    4398046511104             4398046511104             matched   
Kernel param "shmmax" check passed
 
Compatibility check: Kernel param "shmmni" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    4096                      4096                      matched   
Kernel param "shmmni" check passed
 
Compatibility check: Kernel param "shmall" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    0                         0                         matched   
Kernel param "shmall" check passed
 
Compatibility check: Kernel param "file-max" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    6815744                   6815744                   matched   
Kernel param "file-max" check passed
 
Compatibility check: Kernel param "ip_local_port_range" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    9000 65500                9000 65500                matched   
Kernel param "ip_local_port_range" check passed
 
Compatibility check: Kernel param "rmem_default" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    262144                    262144                    matched   
Kernel param "rmem_default" check passed
 
Compatibility check: Kernel param "rmem_max" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    4194304                   4194304                   matched   
Kernel param "rmem_max" check passed
 
Compatibility check: Kernel param "wmem_default" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    262144                    262144                    matched   
Kernel param "wmem_default" check passed
 
Compatibility check: Kernel param "wmem_max" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    1048576                   1048576                   matched   
Kernel param "wmem_max" check passed
 
Compatibility check: Kernel param "aio-max-nr" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    1048576                   1048576                   matched   
Kernel param "aio-max-nr" check passed
 
Compatibility check: Kernel param "panic_on_oops" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    1                         1                         matched   
Kernel param "panic_on_oops" check passed
 
Compatibility check: Package existence for "binutils" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    binutils-2.20.51.0.2-5.36.el6  binutils-2.20.51.0.2-5.36.el6  matched   
Package existence for "binutils" check passed
 
Compatibility check: Package existence for "compat-libcap1" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    compat-libcap1-1.10-1     compat-libcap1-1.10-1     matched   
Package existence for "compat-libcap1" check passed
 
Compatibility check: Package existence for "compat-libstdc++-33 (x86_64)" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    compat-libstdc++-33-3.2.3-69.el6 (x86_64),compat-libstdc++-33-3.2.3-69.el6 (i686)  compat-libstdc++-33-3.2.3-69.el6 (x86_64),compat-libstdc++-33-3.2.3-69.el6 (i686)  matched   
Package existence for "compat-libstdc++-33 (x86_64)" check passed
 
Compatibility check: Package existence for "libgcc (x86_64)" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    libgcc-4.4.7-3.el6 (x86_64),libgcc-4.4.7-3.el6 (i686)  libgcc-4.4.7-3.el6 (x86_64),libgcc-4.4.7-3.el6 (i686)  matched   
Package existence for "libgcc (x86_64)" check passed
 
Compatibility check: Package existence for "libstdc++ (x86_64)" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    libstdc++-4.4.7-3.el6 (x86_64),libstdc++-4.4.7-3.el6 (i686)  libstdc++-4.4.7-3.el6 (x86_64),libstdc++-4.4.7-3.el6 (i686)  matched   
Package existence for "libstdc++ (x86_64)" check passed
 
Compatibility check: Package existence for "libstdc++-devel (x86_64)" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    libstdc++-devel-4.4.7-3.el6 (x86_64),libstdc++-devel-4.4.7-3.el6 (i686)  libstdc++-devel-4.4.7-3.el6 (x86_64),libstdc++-devel-4.4.7-3.el6 (i686)  matched   
Package existence for "libstdc++-devel (x86_64)" check passed
 
Compatibility check: Package existence for "sysstat" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    sysstat-9.0.4-20.el6      sysstat-9.0.4-20.el6      matched   
Package existence for "sysstat" check passed
 
Compatibility check: Package existence for "gcc" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    gcc-4.4.7-3.el6           gcc-4.4.7-3.el6           matched   
Package existence for "gcc" check passed
 
Compatibility check: Package existence for "gcc-c++" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    gcc-c++-4.4.7-3.el6       gcc-c++-4.4.7-3.el6       matched   
Package existence for "gcc-c++" check passed
 
Compatibility check: Package existence for "ksh" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    ksh-20100621-19.el6       ksh-20100621-19.el6       matched   
Package existence for "ksh" check passed
 
Compatibility check: Package existence for "make" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    make-3.81-20.el6          make-3.81-20.el6          matched   
Package existence for "make" check passed
 
Compatibility check: Package existence for "glibc (x86_64)" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    glibc-2.12-1.107.el6 (x86_64),glibc-2.12-1.107.el6 (i686)  glibc-2.12-1.107.el6 (x86_64),glibc-2.12-1.107.el6 (i686)  matched   
Package existence for "glibc (x86_64)" check passed
 
Compatibility check: Package existence for "glibc-devel (x86_64)" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    glibc-devel-2.12-1.107.el6 (x86_64),glibc-devel-2.12-1.107.el6 (i686)  glibc-devel-2.12-1.107.el6 (x86_64),glibc-devel-2.12-1.107.el6 (i686)  matched   
Package existence for "glibc-devel (x86_64)" check passed
 
Compatibility check: Package existence for "libaio (x86_64)" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    libaio-0.3.107-10.el6 (x86_64),libaio-0.3.107-10.el6 (i686)  libaio-0.3.107-10.el6 (x86_64),libaio-0.3.107-10.el6 (i686)  matched   
Package existence for "libaio (x86_64)" check passed
 
Compatibility check: Package existence for "libaio-devel (x86_64)" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    libaio-devel-0.3.107-10.el6 (i686),libaio-devel-0.3.107-10.el6 (x86_64)  libaio-devel-0.3.107-10.el6 (i686),libaio-devel-0.3.107-10.el6 (x86_64)  matched   
Package existence for "libaio-devel (x86_64)" check passed
 
Compatibility check: Package existence for "nfs-utils" [reference node: 12102-rac1]
  Node Name     Status                    Ref. node status          Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    nfs-utils-1.2.3-36.el6    nfs-utils-1.2.3-36.el6    matched   
Package existence for "nfs-utils" check passed
 
Verification of peer compatibility was successful.
[oracle@12102-rac1 bin]$

要求Grid Infrastructure Management Repository 的大小至少500M。(下面显示单位是Seconds是不对的,应该是M)

[oracle@12102-rac1 ~]$
[oracle@12102-rac1 ~]$ oclumon manage -get repsize
 
CHM Repository Size = 136320 seconds
[oracle@12102-rac1 ~]$

检查一下,准备add node:

[oracle@12102-rac1 bin]$ ./cluvfy stage -pre nodeadd -n 12102-rac3 -verbose
 
Performing pre-checks for node addition
 
Checking node reachability...
 
Check: Node reachability from node "12102-rac1"
  Destination Node                      Reachable?             
  ------------------------------------  ------------------------
  12102-rac3                            yes                     
Result: Node reachability check passed from node "12102-rac1"
 
 
Checking user equivalence...
 
Check: User equivalence for user "oracle"
  Node Name                             Status                 
  ------------------------------------  ------------------------
  12102-rac3                            passed                 
Result: User equivalence check passed for user "oracle"
 
Checking CRS integrity...
The Oracle Clusterware is healthy on node "12102-rac1"
 
CRS integrity check passed
 
Clusterware version consistency passed.
 
Checking shared resources...
 
Checking CRS home location...
Location check passed for: "/u01/app/12.1.0.2/grid"
Result: Shared resources check for node addition passed
 
 
Checking node connectivity...
 
Checking hosts config file...
  Node Name                             Status                 
  ------------------------------------  ------------------------
  12102-rac1                            passed                 
  12102-rac2                            passed                 
  12102-rac3                            passed                 
 
Verification of the hosts config file successful
 
 
Interface information for node "12102-rac1"
 Name   IP Address      Subnet          Gateway         Def. Gateway    HW Address        MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.56.124  192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:AD:B5:33 1500 
 eth0   192.168.56.26   192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:AD:B5:33 1500 
 eth0   192.168.56.22   192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:AD:B5:33 1500 
 eth1   192.168.57.34   192.168.57.0    0.0.0.0         192.168.56.1    08:00:27:35:04:BB 1500 
 eth1   169.254.161.44  169.254.0.0     0.0.0.0         192.168.56.1    08:00:27:35:04:BB 1500 
 
 
Interface information for node "12102-rac2"
 Name   IP Address      Subnet          Gateway         Def. Gateway    HW Address        MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.56.125  192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:60:27:F9 1500 
 eth0   192.168.56.108  192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:60:27:F9 1500 
 eth0   192.168.56.25   192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:60:27:F9 1500 
 eth0   192.168.56.27   192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:60:27:F9 1500 
 eth0   192.168.56.28   192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:60:27:F9 1500 
 eth1   192.168.57.35   192.168.57.0    0.0.0.0         192.168.56.1    08:00:27:47:D4:A9 1500 
 eth1   169.254.7.3     169.254.0.0     0.0.0.0         192.168.56.1    08:00:27:47:D4:A9 1500 
 
 
Interface information for node "12102-rac3"
 Name   IP Address      Subnet          Gateway         Def. Gateway    HW Address        MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.56.127  192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:A6:B7:99 1500 
 eth1   192.168.57.37   192.168.57.0    0.0.0.0         192.168.56.1    08:00:27:2C:DC:8C 1500 
 
 
Check: Node connectivity using interfaces on subnet "192.168.57.0"
 
Check: Node connectivity of subnet "192.168.57.0"
  Source                          Destination                     Connected?     
  ------------------------------  ------------------------------  ----------------
  12102-rac2[192.168.57.35]       12102-rac3[192.168.57.37]       yes             
  12102-rac2[192.168.57.35]       12102-rac1[192.168.57.34]       yes             
  12102-rac3[192.168.57.37]       12102-rac1[192.168.57.34]       yes             
Result: Node connectivity passed for subnet "192.168.57.0" with node(s) 12102-rac2,12102-rac3,12102-rac1
 
 
Check: TCP connectivity of subnet "192.168.57.0"
  Source                          Destination                     Connected?     
  ------------------------------  ------------------------------  ----------------
  12102-rac2 : 192.168.57.35      12102-rac2 : 192.168.57.35      passed         
  12102-rac3 : 192.168.57.37      12102-rac2 : 192.168.57.35      passed         
  12102-rac1 : 192.168.57.34      12102-rac2 : 192.168.57.35      passed         
  12102-rac2 : 192.168.57.35      12102-rac3 : 192.168.57.37      passed         
  12102-rac3 : 192.168.57.37      12102-rac3 : 192.168.57.37      passed         
  12102-rac1 : 192.168.57.34      12102-rac3 : 192.168.57.37      passed         
  12102-rac2 : 192.168.57.35      12102-rac1 : 192.168.57.34      passed         
  12102-rac3 : 192.168.57.37      12102-rac1 : 192.168.57.34      passed         
  12102-rac1 : 192.168.57.34      12102-rac1 : 192.168.57.34      passed         
Result: TCP connectivity check passed for subnet "192.168.57.0"
 
 
Check: Node connectivity using interfaces on subnet "192.168.56.0"
 
Check: Node connectivity of subnet "192.168.56.0"
  Source                          Destination                     Connected?     
  ------------------------------  ------------------------------  ----------------
  12102-rac2[192.168.56.28]       12102-rac3[192.168.56.127]      yes             
  12102-rac2[192.168.56.28]       12102-rac1[192.168.56.124]      yes             
  12102-rac2[192.168.56.28]       12102-rac2[192.168.56.25]       yes             
  12102-rac2[192.168.56.28]       12102-rac2[192.168.56.27]       yes             
  12102-rac2[192.168.56.28]       12102-rac2[192.168.56.108]      yes             
  12102-rac2[192.168.56.28]       12102-rac2[192.168.56.125]      yes             
  12102-rac2[192.168.56.28]       12102-rac1[192.168.56.22]       yes             
  12102-rac2[192.168.56.28]       12102-rac1[192.168.56.26]       yes             
  12102-rac3[192.168.56.127]      12102-rac1[192.168.56.124]      yes             
  12102-rac3[192.168.56.127]      12102-rac2[192.168.56.25]       yes             
  12102-rac3[192.168.56.127]      12102-rac2[192.168.56.27]       yes             
  12102-rac3[192.168.56.127]      12102-rac2[192.168.56.108]      yes             
  12102-rac3[192.168.56.127]      12102-rac2[192.168.56.125]      yes             
  12102-rac3[192.168.56.127]      12102-rac1[192.168.56.22]       yes             
  12102-rac3[192.168.56.127]      12102-rac1[192.168.56.26]       yes             
  12102-rac1[192.168.56.124]      12102-rac2[192.168.56.25]       yes             
  12102-rac1[192.168.56.124]      12102-rac2[192.168.56.27]       yes             
  12102-rac1[192.168.56.124]      12102-rac2[192.168.56.108]      yes             
  12102-rac1[192.168.56.124]      12102-rac2[192.168.56.125]      yes             
  12102-rac1[192.168.56.124]      12102-rac1[192.168.56.22]       yes             
  12102-rac1[192.168.56.124]      12102-rac1[192.168.56.26]       yes             
  12102-rac2[192.168.56.25]       12102-rac2[192.168.56.27]       yes             
  12102-rac2[192.168.56.25]       12102-rac2[192.168.56.108]      yes             
  12102-rac2[192.168.56.25]       12102-rac2[192.168.56.125]      yes             
  12102-rac2[192.168.56.25]       12102-rac1[192.168.56.22]       yes             
  12102-rac2[192.168.56.25]       12102-rac1[192.168.56.26]       yes             
  12102-rac2[192.168.56.27]       12102-rac2[192.168.56.108]      yes             
  12102-rac2[192.168.56.27]       12102-rac2[192.168.56.125]      yes             
  12102-rac2[192.168.56.27]       12102-rac1[192.168.56.22]       yes             
  12102-rac2[192.168.56.27]       12102-rac1[192.168.56.26]       yes             
  12102-rac2[192.168.56.108]      12102-rac2[192.168.56.125]      yes             
  12102-rac2[192.168.56.108]      12102-rac1[192.168.56.22]       yes             
  12102-rac2[192.168.56.108]      12102-rac1[192.168.56.26]       yes             
  12102-rac2[192.168.56.125]      12102-rac1[192.168.56.22]       yes             
  12102-rac2[192.168.56.125]      12102-rac1[192.168.56.26]       yes             
  12102-rac1[192.168.56.22]       12102-rac1[192.168.56.26]       yes             
Result: Node connectivity passed for subnet "192.168.56.0" with node(s) 12102-rac2,12102-rac3,12102-rac1
 
 
Check: TCP connectivity of subnet "192.168.56.0"
  Source                          Destination                     Connected?     
  ------------------------------  ------------------------------  ----------------
  12102-rac2 : 192.168.56.28      12102-rac2 : 192.168.56.28      passed         
  12102-rac3 : 192.168.56.127     12102-rac2 : 192.168.56.28      passed         
  12102-rac1 : 192.168.56.124     12102-rac2 : 192.168.56.28      passed         
  12102-rac2 : 192.168.56.25      12102-rac2 : 192.168.56.28      passed         
  12102-rac2 : 192.168.56.27      12102-rac2 : 192.168.56.28      passed         
  12102-rac2 : 192.168.56.108     12102-rac2 : 192.168.56.28      passed         
  12102-rac2 : 192.168.56.125     12102-rac2 : 192.168.56.28      passed         
  12102-rac1 : 192.168.56.22      12102-rac2 : 192.168.56.28      passed         
  12102-rac1 : 192.168.56.26      12102-rac2 : 192.168.56.28      passed         
  12102-rac2 : 192.168.56.28      12102-rac3 : 192.168.56.127     passed         
  12102-rac3 : 192.168.56.127     12102-rac3 : 192.168.56.127     passed         
  12102-rac1 : 192.168.56.124     12102-rac3 : 192.168.56.127     passed         
  12102-rac2 : 192.168.56.25      12102-rac3 : 192.168.56.127     passed         
  12102-rac2 : 192.168.56.27      12102-rac3 : 192.168.56.127     passed         
  12102-rac2 : 192.168.56.108     12102-rac3 : 192.168.56.127     passed         
  12102-rac2 : 192.168.56.125     12102-rac3 : 192.168.56.127     passed         
  12102-rac1 : 192.168.56.22      12102-rac3 : 192.168.56.127     passed         
  12102-rac1 : 192.168.56.26      12102-rac3 : 192.168.56.127     passed         
  12102-rac2 : 192.168.56.28      12102-rac1 : 192.168.56.124     passed         
  12102-rac3 : 192.168.56.127     12102-rac1 : 192.168.56.124     passed         
  12102-rac1 : 192.168.56.124     12102-rac1 : 192.168.56.124     passed         
  12102-rac2 : 192.168.56.25      12102-rac1 : 192.168.56.124     passed         
  12102-rac2 : 192.168.56.27      12102-rac1 : 192.168.56.124     passed         
  12102-rac2 : 192.168.56.108     12102-rac1 : 192.168.56.124     passed         
  12102-rac2 : 192.168.56.125     12102-rac1 : 192.168.56.124     passed         
  12102-rac1 : 192.168.56.22      12102-rac1 : 192.168.56.124     passed         
  12102-rac1 : 192.168.56.26      12102-rac1 : 192.168.56.124     passed         
  12102-rac2 : 192.168.56.28      12102-rac2 : 192.168.56.25      passed         
  12102-rac3 : 192.168.56.127     12102-rac2 : 192.168.56.25      passed         
  12102-rac1 : 192.168.56.124     12102-rac2 : 192.168.56.25      passed         
  12102-rac2 : 192.168.56.25      12102-rac2 : 192.168.56.25      passed         
  12102-rac2 : 192.168.56.27      12102-rac2 : 192.168.56.25      passed         
  12102-rac2 : 192.168.56.108     12102-rac2 : 192.168.56.25      passed         
  12102-rac2 : 192.168.56.125     12102-rac2 : 192.168.56.25      passed         
  12102-rac1 : 192.168.56.22      12102-rac2 : 192.168.56.25      passed         
  12102-rac1 : 192.168.56.26      12102-rac2 : 192.168.56.25      passed         
  12102-rac2 : 192.168.56.28      12102-rac2 : 192.168.56.27      passed         
  12102-rac3 : 192.168.56.127     12102-rac2 : 192.168.56.27      passed         
  12102-rac1 : 192.168.56.124     12102-rac2 : 192.168.56.27      passed         
  12102-rac2 : 192.168.56.25      12102-rac2 : 192.168.56.27      passed         
  12102-rac2 : 192.168.56.27      12102-rac2 : 192.168.56.27      passed         
  12102-rac2 : 192.168.56.108     12102-rac2 : 192.168.56.27      passed         
  12102-rac2 : 192.168.56.125     12102-rac2 : 192.168.56.27      passed         
  12102-rac1 : 192.168.56.22      12102-rac2 : 192.168.56.27      passed         
  12102-rac1 : 192.168.56.26      12102-rac2 : 192.168.56.27      passed         
  12102-rac2 : 192.168.56.28      12102-rac2 : 192.168.56.108     passed         
  12102-rac3 : 192.168.56.127     12102-rac2 : 192.168.56.108     passed         
  12102-rac1 : 192.168.56.124     12102-rac2 : 192.168.56.108     passed         
  12102-rac2 : 192.168.56.25      12102-rac2 : 192.168.56.108     passed         
  12102-rac2 : 192.168.56.27      12102-rac2 : 192.168.56.108     passed         
  12102-rac2 : 192.168.56.108     12102-rac2 : 192.168.56.108     passed         
  12102-rac2 : 192.168.56.125     12102-rac2 : 192.168.56.108     passed         
  12102-rac1 : 192.168.56.22      12102-rac2 : 192.168.56.108     passed         
  12102-rac1 : 192.168.56.26      12102-rac2 : 192.168.56.108     passed         
  12102-rac2 : 192.168.56.28      12102-rac2 : 192.168.56.125     passed         
  12102-rac3 : 192.168.56.127     12102-rac2 : 192.168.56.125     passed         
  12102-rac1 : 192.168.56.124     12102-rac2 : 192.168.56.125     passed         
  12102-rac2 : 192.168.56.25      12102-rac2 : 192.168.56.125     passed         
  12102-rac2 : 192.168.56.27      12102-rac2 : 192.168.56.125     passed         
  12102-rac2 : 192.168.56.108     12102-rac2 : 192.168.56.125     passed         
  12102-rac2 : 192.168.56.125     12102-rac2 : 192.168.56.125     passed         
  12102-rac1 : 192.168.56.22      12102-rac2 : 192.168.56.125     passed         
  12102-rac1 : 192.168.56.26      12102-rac2 : 192.168.56.125     passed         
  12102-rac2 : 192.168.56.28      12102-rac1 : 192.168.56.22      passed         
  12102-rac3 : 192.168.56.127     12102-rac1 : 192.168.56.22      passed         
  12102-rac1 : 192.168.56.124     12102-rac1 : 192.168.56.22      passed         
  12102-rac2 : 192.168.56.25      12102-rac1 : 192.168.56.22      passed         
  12102-rac2 : 192.168.56.27      12102-rac1 : 192.168.56.22      passed         
  12102-rac2 : 192.168.56.108     12102-rac1 : 192.168.56.22      passed         
  12102-rac2 : 192.168.56.125     12102-rac1 : 192.168.56.22      passed         
  12102-rac1 : 192.168.56.22      12102-rac1 : 192.168.56.22      passed         
  12102-rac1 : 192.168.56.26      12102-rac1 : 192.168.56.22      passed         
  12102-rac2 : 192.168.56.28      12102-rac1 : 192.168.56.26      passed         
  12102-rac3 : 192.168.56.127     12102-rac1 : 192.168.56.26      passed         
  12102-rac1 : 192.168.56.124     12102-rac1 : 192.168.56.26      passed         
  12102-rac2 : 192.168.56.25      12102-rac1 : 192.168.56.26      passed         
  12102-rac2 : 192.168.56.27      12102-rac1 : 192.168.56.26      passed         
  12102-rac2 : 192.168.56.108     12102-rac1 : 192.168.56.26      passed         
  12102-rac2 : 192.168.56.125     12102-rac1 : 192.168.56.26      passed         
  12102-rac1 : 192.168.56.22      12102-rac1 : 192.168.56.26      passed         
  12102-rac1 : 192.168.56.26      12102-rac1 : 192.168.56.26      passed         
Result: TCP connectivity check passed for subnet "192.168.56.0"
 
Checking subnet mask consistency...
Subnet mask consistency check passed for subnet "192.168.56.0".
Subnet mask consistency check passed for subnet "192.168.57.0".
Subnet mask consistency check passed.
 
Result: Node connectivity check passed
 
Checking multicast communication...
 
Checking subnet "192.168.57.0" for multicast communication with multicast group "224.0.0.251"...
Check of subnet "192.168.57.0" for multicast communication with multicast group "224.0.0.251" passed.
 
Check of multicast communication passed.
Task ASM Integrity check started...
 
Checking if connectivity exists across cluster nodes on the ASM network
 
Checking node connectivity...
 
Checking hosts config file...
  Node Name                             Status                 
  ------------------------------------  ------------------------
  12102-rac3                            passed                 
 
Verification of the hosts config file successful
 
 
Interface information for node "12102-rac3"
 Name   IP Address      Subnet          Gateway         Def. Gateway    HW Address        MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth1   192.168.57.37   192.168.57.0    0.0.0.0         192.168.56.1    08:00:27:2C:DC:8C 1500 
 
 
Check: Node connectivity using interfaces on subnet "192.168.57.0"
 
Check: Node connectivity of subnet "192.168.57.0"
Result: Node connectivity passed for subnet "192.168.57.0" with node(s) 12102-rac3
 
 
Check: TCP connectivity of subnet "192.168.57.0"
  Source                          Destination                     Connected?     
  ------------------------------  ------------------------------  ----------------
  12102-rac3 : 192.168.57.37      12102-rac3 : 192.168.57.37      passed         
Result: TCP connectivity check passed for subnet "192.168.57.0"
 
 
Result: Node connectivity check passed
 
Network connectivity check across cluster nodes on the ASM network passed
 
Task ASM Integrity check passed...
Checking the policy managed database home availability
PRVG-11751 : File "/u01/app/oracle/product/12.1.0.2/db_1/bin/oracle" does not exist on all the nodes.
PRVG-11885 : Oracle Home "/u01/app/oracle/product/12.1.0.2/db_1" for policy managed database "cdbrac" does not exist on nodes "12102-rac3"
Policy managed database home availability check failed
 
Check: Total memory
  Node Name     Available                 Required                  Status   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    3.6476GB (3824748.0KB)    4GB (4194304.0KB)         failed   
  12102-rac1    3.6476GB (3824748.0KB)    4GB (4194304.0KB)         failed   
Result: Total memory check failed
 
Check: Available memory
  Node Name     Available                 Required                  Status   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    3.4806GB (3649632.0KB)    50MB (51200.0KB)          passed   
  12102-rac1    2.1512GB (2255680.0KB)    50MB (51200.0KB)          passed   
Result: Available memory check passed
 
Check: Swap space
  Node Name     Available                 Required                  Status   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    1.9687GB (2064376.0KB)    3.6476GB (3824748.0KB)    failed   
  12102-rac1    1.9687GB (2064376.0KB)    3.6476GB (3824748.0KB)    failed   
Result: Swap space check failed
 
Check: Free disk space for "12102-rac3:/usr,12102-rac3:/var,12102-rac3:/etc,12102-rac3:/u01/app/12.1.0.2/grid,12102-rac3:/sbin,12102-rac3:/tmp"
  Path              Node Name     Mount point   Available     Required      Status     
  ----------------  ------------  ------------  ------------  ------------  ------------
  /usr              12102-rac3    /             17.4375GB     7.9635GB      passed     
  /var              12102-rac3    /             17.4375GB     7.9635GB      passed     
  /etc              12102-rac3    /             17.4375GB     7.9635GB      passed     
  /u01/app/12.1.0.2/grid  12102-rac3    /             17.4375GB     7.9635GB      passed     
  /sbin             12102-rac3    /             17.4375GB     7.9635GB      passed     
  /tmp              12102-rac3    /             17.4375GB     7.9635GB      passed     
Result: Free disk space check passed for "12102-rac3:/usr,12102-rac3:/var,12102-rac3:/etc,12102-rac3:/u01/app/12.1.0.2/grid,12102-rac3:/sbin,12102-rac3:/tmp"
 
Check: Free disk space for "12102-rac1:/usr,12102-rac1:/var,12102-rac1:/etc,12102-rac1:/u01/app/12.1.0.2/grid,12102-rac1:/sbin,12102-rac1:/tmp"
  Path              Node Name     Mount point   Available     Required      Status     
  ----------------  ------------  ------------  ------------  ------------  ------------
  /usr              12102-rac1    /             3.7168GB      7.9635GB      failed     
  /var              12102-rac1    /             3.7168GB      7.9635GB      failed     
  /etc              12102-rac1    /             3.7168GB      7.9635GB      failed     
  /u01/app/12.1.0.2/grid  12102-rac1    /             3.7168GB      7.9635GB      failed     
  /sbin             12102-rac1    /             3.7168GB      7.9635GB      failed     
  /tmp              12102-rac1    /             3.7168GB      7.9635GB      failed     
Result: Free disk space check failed for "12102-rac1:/usr,12102-rac1:/var,12102-rac1:/etc,12102-rac1:/u01/app/12.1.0.2/grid,12102-rac1:/sbin,12102-rac1:/tmp"
 
Check: User existence for "oracle"
  Node Name     Status                    Comment                 
  ------------  ------------------------  ------------------------
  12102-rac3    passed                    exists(54321)           
  12102-rac1    passed                    exists(54321)           
 
Checking for multiple users with UID value 54321
Result: Check for multiple users with UID value 54321 passed
Result: User existence check passed for "oracle"
 
Check: Run level
  Node Name     run level                 Required                  Status   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    5                         3,5                       passed   
  12102-rac1    5                         3,5                       passed   
Result: Run level check passed
 
Check: Hard limits for "maximum open file descriptors"
  Node Name         Type          Available     Required      Status         
  ----------------  ------------  ------------  ------------  ----------------
  12102-rac3        hard          65536         65536         passed         
  12102-rac1        hard          65536         65536         passed         
Result: Hard limits check passed for "maximum open file descriptors"
 
Check: Soft limits for "maximum open file descriptors"
  Node Name         Type          Available     Required      Status         
  ----------------  ------------  ------------  ------------  ----------------
  12102-rac3        soft          1024          1024          passed         
  12102-rac1        soft          1024          1024          passed         
Result: Soft limits check passed for "maximum open file descriptors"
 
Check: Hard limits for "maximum user processes"
  Node Name         Type          Available     Required      Status         
  ----------------  ------------  ------------  ------------  ----------------
  12102-rac3        hard          16384         16384         passed         
  12102-rac1        hard          16384         16384         passed         
Result: Hard limits check passed for "maximum user processes"
 
Check: Soft limits for "maximum user processes"
  Node Name         Type          Available     Required      Status         
  ----------------  ------------  ------------  ------------  ----------------
  12102-rac3        soft          2047          2047          passed         
  12102-rac1        soft          2047          2047          passed         
Result: Soft limits check passed for "maximum user processes"
 
Check: System architecture
  Node Name     Available                 Required                  Status   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    x86_64                    x86_64                    passed   
  12102-rac1    x86_64                    x86_64                    passed   
Result: System architecture check passed
 
Check: Kernel version
  Node Name     Available                 Required                  Status   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    2.6.32-358.el6.x86_64     2.6.39                    failed   
  12102-rac1    2.6.32-358.el6.x86_64     2.6.39                    failed   
Result: Kernel version check failed
 
Check: Kernel parameter for "semmsl"
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  12102-rac1        250           250           250           passed         
  12102-rac3        250           250           250           passed         
Result: Kernel parameter check passed for "semmsl"
 
Check: Kernel parameter for "semmns"
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  12102-rac1        32000         32000         32000         passed         
  12102-rac3        32000         32000         32000         passed         
Result: Kernel parameter check passed for "semmns"
 
Check: Kernel parameter for "semopm"
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  12102-rac1        100           100           100           passed         
  12102-rac3        100           100           100           passed         
Result: Kernel parameter check passed for "semopm"
 
Check: Kernel parameter for "semmni"
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  12102-rac1        128           128           128           passed         
  12102-rac3        128           128           128           passed         
Result: Kernel parameter check passed for "semmni"
 
Check: Kernel parameter for "shmmax"
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  12102-rac1        4398046511104  4398046511104  1958270976    passed         
  12102-rac3        4398046511104  4398046511104  1958270976    passed         
Result: Kernel parameter check passed for "shmmax"
 
Check: Kernel parameter for "shmmni"
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  12102-rac1        4096          4096          4096          passed         
  12102-rac3        4096          4096          4096          passed         
Result: Kernel parameter check passed for "shmmni"
 
Check: Kernel parameter for "shmall"
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  12102-rac1        1073741824    1073741824    382474        passed         
  12102-rac3        1073741824    1073741824    382474        passed         
Result: Kernel parameter check passed for "shmall"
 
Check: Kernel parameter for "file-max"
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  12102-rac1        6815744       6815744       6815744       passed         
  12102-rac3        6815744       6815744       6815744       passed         
Result: Kernel parameter check passed for "file-max"
 
Check: Kernel parameter for "ip_local_port_range"
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  12102-rac1        between 9000 & 65500  between 9000 & 65500  between 9000 & 65535  passed         
  12102-rac3        between 9000 & 65500  between 9000 & 65500  between 9000 & 65535  passed         
Result: Kernel parameter check passed for "ip_local_port_range"
 
Check: Kernel parameter for "rmem_default"
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  12102-rac1        262144        262144        262144        passed         
  12102-rac3        262144        262144        262144        passed         
Result: Kernel parameter check passed for "rmem_default"
 
Check: Kernel parameter for "rmem_max"
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  12102-rac1        4194304       4194304       4194304       passed         
  12102-rac3        4194304       4194304       4194304       passed         
Result: Kernel parameter check passed for "rmem_max"
 
Check: Kernel parameter for "wmem_default"
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  12102-rac1        262144        262144        262144        passed         
  12102-rac3        262144        262144        262144        passed         
Result: Kernel parameter check passed for "wmem_default"
 
Check: Kernel parameter for "wmem_max"
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  12102-rac1        1048576       1048576       1048576       passed         
  12102-rac3        1048576       1048576       1048576       passed         
Result: Kernel parameter check passed for "wmem_max"
 
Check: Kernel parameter for "aio-max-nr"
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  12102-rac1        1048576       1048576       1048576       passed         
  12102-rac3        1048576       1048576       1048576       passed         
Result: Kernel parameter check passed for "aio-max-nr"
 
Check: Kernel parameter for "panic_on_oops"
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  12102-rac1        1             1             1             passed         
  12102-rac3        1             1             1             passed         
Result: Kernel parameter check passed for "panic_on_oops"
 
Check: Package existence for "binutils"
  Node Name     Available                 Required                  Status   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    binutils-2.20.51.0.2-5.36.el6  binutils-2.20.51.0.2      passed   
  12102-rac1    binutils-2.20.51.0.2-5.36.el6  binutils-2.20.51.0.2      passed   
Result: Package existence check passed for "binutils"
 
Check: Package existence for "compat-libcap1"
  Node Name     Available                 Required                  Status   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    compat-libcap1-1.10-1     compat-libcap1-1.10       passed   
  12102-rac1    compat-libcap1-1.10-1     compat-libcap1-1.10       passed   
Result: Package existence check passed for "compat-libcap1"
 
Check: Package existence for "compat-libstdc++-33(x86_64)"
  Node Name     Available                 Required                  Status   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    compat-libstdc++-33(x86_64)-3.2.3-69.el6  compat-libstdc++-33(x86_64)-3.2.3  passed   
  12102-rac1    compat-libstdc++-33(x86_64)-3.2.3-69.el6  compat-libstdc++-33(x86_64)-3.2.3  passed   
Result: Package existence check passed for "compat-libstdc++-33(x86_64)"
 
Check: Package existence for "libgcc(x86_64)"
  Node Name     Available                 Required                  Status   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    libgcc(x86_64)-4.4.7-3.el6  libgcc(x86_64)-4.4.4      passed   
  12102-rac1    libgcc(x86_64)-4.4.7-3.el6  libgcc(x86_64)-4.4.4      passed   
Result: Package existence check passed for "libgcc(x86_64)"
 
Check: Package existence for "libstdc++(x86_64)"
  Node Name     Available                 Required                  Status   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    libstdc++(x86_64)-4.4.7-3.el6  libstdc++(x86_64)-4.4.4   passed   
  12102-rac1    libstdc++(x86_64)-4.4.7-3.el6  libstdc++(x86_64)-4.4.4   passed   
Result: Package existence check passed for "libstdc++(x86_64)"
 
Check: Package existence for "libstdc++-devel(x86_64)"
  Node Name     Available                 Required                  Status   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    libstdc++-devel(x86_64)-4.4.7-3.el6  libstdc++-devel(x86_64)-4.4.4  passed   
  12102-rac1    libstdc++-devel(x86_64)-4.4.7-3.el6  libstdc++-devel(x86_64)-4.4.4  passed   
Result: Package existence check passed for "libstdc++-devel(x86_64)"
 
Check: Package existence for "sysstat"
  Node Name     Available                 Required                  Status   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    sysstat-9.0.4-20.el6      sysstat-9.0.4             passed   
  12102-rac1    sysstat-9.0.4-20.el6      sysstat-9.0.4             passed   
Result: Package existence check passed for "sysstat"
 
Check: Package existence for "gcc"
  Node Name     Available                 Required                  Status   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    gcc-4.4.7-3.el6           gcc-4.4.4                 passed   
  12102-rac1    gcc-4.4.7-3.el6           gcc-4.4.4                 passed   
Result: Package existence check passed for "gcc"
 
Check: Package existence for "gcc-c++"
  Node Name     Available                 Required                  Status   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    gcc-c++-4.4.7-3.el6       gcc-c++-4.4.4             passed   
  12102-rac1    gcc-c++-4.4.7-3.el6       gcc-c++-4.4.4             passed   
Result: Package existence check passed for "gcc-c++"
 
Check: Package existence for "ksh"
  Node Name     Available                 Required                  Status   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    ksh                       ksh                       passed   
  12102-rac1    ksh                       ksh                       passed   
Result: Package existence check passed for "ksh"
 
Check: Package existence for "make"
  Node Name     Available                 Required                  Status   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    make-3.81-20.el6          make-3.81                 passed   
  12102-rac1    make-3.81-20.el6          make-3.81                 passed   
Result: Package existence check passed for "make"
 
Check: Package existence for "glibc(x86_64)"
  Node Name     Available                 Required                  Status   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    glibc(x86_64)-2.12-1.107.el6  glibc(x86_64)-2.12        passed   
  12102-rac1    glibc(x86_64)-2.12-1.107.el6  glibc(x86_64)-2.12        passed   
Result: Package existence check passed for "glibc(x86_64)"
 
Check: Package existence for "glibc-devel(x86_64)"
  Node Name     Available                 Required                  Status   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    glibc-devel(x86_64)-2.12-1.107.el6  glibc-devel(x86_64)-2.12  passed   
  12102-rac1    glibc-devel(x86_64)-2.12-1.107.el6  glibc-devel(x86_64)-2.12  passed   
Result: Package existence check passed for "glibc-devel(x86_64)"
 
Check: Package existence for "libaio(x86_64)"
  Node Name     Available                 Required                  Status   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    libaio(x86_64)-0.3.107-10.el6  libaio(x86_64)-0.3.107    passed   
  12102-rac1    libaio(x86_64)-0.3.107-10.el6  libaio(x86_64)-0.3.107    passed   
Result: Package existence check passed for "libaio(x86_64)"
 
Check: Package existence for "libaio-devel(x86_64)"
  Node Name     Available                 Required                  Status   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    libaio-devel(x86_64)-0.3.107-10.el6  libaio-devel(x86_64)-0.3.107  passed   
  12102-rac1    libaio-devel(x86_64)-0.3.107-10.el6  libaio-devel(x86_64)-0.3.107  passed   
Result: Package existence check passed for "libaio-devel(x86_64)"
 
Check: Package existence for "nfs-utils"
  Node Name     Available                 Required                  Status   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    nfs-utils-1.2.3-36.el6    nfs-utils-1.2.3-15        passed   
  12102-rac1    nfs-utils-1.2.3-36.el6    nfs-utils-1.2.3-15        passed   
Result: Package existence check passed for "nfs-utils"
 
Checking for multiple users with UID value 0
Result: Check for multiple users with UID value 0 passed
 
Check: Current group ID
Result: Current group ID check passed
 
Starting check for consistency of primary group of root user
  Node Name                             Status                 
  ------------------------------------  ------------------------
  12102-rac3                            passed                 
  12102-rac1                            passed                 
 
Check for consistency of root user's primary group passed
 
Check: Group existence for "dba"
  Node Name     Status                    Comment                 
  ------------  ------------------------  ------------------------
  12102-rac3    passed                    exists                 
  12102-rac1    passed                    exists                 
Result: Group existence check passed for "dba"
 
Check: Membership of user "oracle" in group "dba"
  Node Name         User Exists   Group Exists  User in Group  Status         
  ----------------  ------------  ------------  ------------  ----------------
  12102-rac3        yes           yes           yes           passed         
Result: Membership check for user "oracle" in group "dba" passed
 
Check: Group existence for "asmoper"
  Node Name     Status                    Comment                 
  ------------  ------------------------  ------------------------
  12102-rac3    passed                    exists                 
  12102-rac1    passed                    exists                 
Result: Group existence check passed for "asmoper"
 
Check: Membership of user "oracle" in group "asmoper"
  Node Name         User Exists   Group Exists  User in Group  Status         
  ----------------  ------------  ------------  ------------  ----------------
  12102-rac3        yes           yes           no            failed         
Result: Membership check for user "oracle" in group "asmoper" failed
 
Check: Group existence for "oinstall"
  Node Name     Status                    Comment                 
  ------------  ------------------------  ------------------------
  12102-rac3    passed                    exists                 
  12102-rac1    passed                    exists                 
Result: Group existence check passed for "oinstall"
 
Check: Membership of user "oracle" in group "oinstall"
  Node Name         User Exists   Group Exists  User in Group  Status         
  ----------------  ------------  ------------  ------------  ----------------
  12102-rac3        yes           yes           yes           passed         
Result: Membership check for user "oracle" in group "oinstall" passed
 
Check: Group existence for "oinstall"
  Node Name     Status                    Comment                 
  ------------  ------------------------  ------------------------
  12102-rac3    passed                    exists                 
Result: Group existence check passed for "oinstall"
 
Check: Membership of user "oracle" in group "oinstall"
  Node Name         User Exists   Group Exists  User in Group  Status         
  ----------------  ------------  ------------  ------------  ----------------
  12102-rac3        yes           yes           yes           passed         
Result: Membership check for user "oracle" in group "oinstall" passed
 
Check: User existence for "root"
  Node Name     Status                    Comment                 
  ------------  ------------------------  ------------------------
  12102-rac3    passed                    exists(0)               
 
Checking for multiple users with UID value 0
Result: Check for multiple users with UID value 0 passed
Result: User existence check passed for "root"
 
Check: User existence for "oracle"
  Node Name     Status                    Comment                 
  ------------  ------------------------  ------------------------
  12102-rac3    passed                    exists(54321)           
 
Checking for multiple users with UID value 54321
Result: Check for multiple users with UID value 54321 passed
Result: User existence check passed for "oracle"
Check: Time zone consistency
Result: Time zone consistency check passed
 
Starting Clock synchronization checks using Network Time Protocol(NTP)...
 
Checking existence of NTP configuration file "/etc/ntp.conf" across nodes
  Node Name                             File exists?           
  ------------------------------------  ------------------------
  12102-rac3                            no                     
  12102-rac1                            no                     
Network Time Protocol(NTP) configuration file not found on any of the nodes. Oracle Cluster Time Synchronization Service(CTSS) can be used instead of NTP for time synchronization on the cluster nodes
No NTP Daemons or Services were found to be running
 
Result: Clock synchronization check using Network Time Protocol(NTP) passed
 
 
Checking to make sure user "oracle" is not in "root" group
  Node Name     Status                    Comment                 
  ------------  ------------------------  ------------------------
  12102-rac3    passed                    does not exist         
  12102-rac1    passed                    does not exist         
Result: User "oracle" is not part of "root" group. Check passed
Checking integrity of file "/etc/resolv.conf" across nodes
 
Checking the file "/etc/resolv.conf" to make sure only one of 'domain' and 'search' entries is defined
"domain" and "search" entries do not coexist in any "/etc/resolv.conf" file
Checking if 'domain' entry in file "/etc/resolv.conf" is consistent across the nodes...
"domain" entry does not exist in any "/etc/resolv.conf" file
Checking if 'search' entry in file "/etc/resolv.conf" is consistent across the nodes...
"search" entry does not exist in any "/etc/resolv.conf" file
Checking DNS response time for an unreachable node
  Node Name                             Status                 
  ------------------------------------  ------------------------
  12102-rac1                            passed                 
  12102-rac3                            passed                 
The DNS response time for an unreachable node is within acceptable limit on all nodes
checking DNS response from all servers in "/etc/resolv.conf"
checking response for name "12102-rac3" from each of the name servers specified in "/etc/resolv.conf"
  Node Name     Source                    Comment                   Status   
  ------------  ------------------------  ------------------------  ----------
checking response for name "12102-rac1" from each of the name servers specified in "/etc/resolv.conf"
  Node Name     Source                    Comment                   Status   
  ------------  ------------------------  ------------------------  ----------
  12102-rac1    192.168.56.126            IPv4                      passed   
 
Check for integrity of file "/etc/resolv.conf" failed
 
 
Checking integrity of name service switch configuration file "/etc/nsswitch.conf" ...
Checking if "hosts" entry in file "/etc/nsswitch.conf" is consistent across nodes...
Checking file "/etc/nsswitch.conf" to make sure that only one "hosts" entry is defined
More than one "hosts" entry does not exist in any "/etc/nsswitch.conf" file
Check for integrity of name service switch configuration file "/etc/nsswitch.conf" passed
 
 
Checking GNS integrity...
Checking if the GNS subdomain name is valid...
The GNS subdomain name "gns.localdomain" is a valid domain name
Checking if the GNS VIP belongs to same subnet as the public network...
Public network subnets "192.168.56.0" match the GNS VIP "192.168.56.108"
Checking if the GNS VIP is a valid address...
GNS VIP "192.168.56.108" resolves to a valid IP address
Checking the status of GNS VIP...
Checking if FDQN names for domain "gns.localdomain" are reachable
 
GNS resolved IP addresses are reachable
 
GNS resolved IP addresses are reachable
 
GNS resolved IP addresses are reachable
Checking status of GNS resource...
  Node          Running?                  Enabled?               
  ------------  ------------------------  ------------------------
  12102-rac1    no                        yes                     
  12102-rac2    yes                       yes                     
 
GNS resource configuration check passed
Checking status of GNS VIP resource...
  Node          Running?                  Enabled?               
  ------------  ------------------------  ------------------------
  12102-rac1    no                        yes                     
  12102-rac2    yes                       yes                     
 
GNS VIP resource configuration check passed.
 
GNS integrity check passed
 
Checking Flex Cluster node role configuration...
Flex Cluster node role configuration check passed
 
Pre-check for node addition was unsuccessful on all the nodes.
[oracle@12102-rac1 bin]$   
[oracle@12102-rac1 bin]$
[oracle@12102-rac1 bin]$
[oracle@12102-rac1 bin]$
[oracle@12102-rac1 bin]$
[oracle@12102-rac1 bin]$
[oracle@12102-rac1 bin]$

开始add node,先加grid的,所以我们先到grid home下的add node脚本:

[oracle@12102-rac1 addnode]$ pwd
/u01/app/12.1.0.2/grid/addnode
[oracle@12102-rac1 addnode]$ ls
addnode_oraparam.ini  addnode_oraparam.ini.sbs  addnode.sh
[oracle@12102-rac1 addnode]$

注1:运行addnode.sh时,log在central inventory的logs目录下。有addNodeActionsxxxx-xx-xx_xx-xx-xxxx.log日志

注2:grid用户需要在asmoper组

[oracle@12102-rac1 addnode]$ ./addnode.sh -silent "CLUSTER_NEW_NODES={12102-rac3}" "CLUSTER_NEW_VIRTUAL_HOSTNAMES={12102-rac3-vip}" "CLUSTER_NEW_NODE_ROLES={hub}"
Starting Oracle Universal Installer...
 
Checking Temp space: must be greater than 120 MB.   Actual 3472 MB    Passed
Checking swap space: must be greater than 150 MB.   Actual 2001 MB    Passed
 [WARNING] [INS-13014] Target environment does not meet some optional requirements.
   CAUSE: Some of the optional prerequisites are not met. See logs for details. /u01/app/oraInventory/logs/addNodeActions2015-08-11_03-00-46PM.log
   ACTION: Identify the list of failed prerequisite checks from the log: /u01/app/oraInventory/logs/addNodeActions2015-08-11_03-00-46PM.log. Then either from the log file or from installation manual find the appropriate configuration to meet the prerequisites and fix it manually.
 
Prepare Configuration in progress.
 
Prepare Configuration successful.
..................................................   8% Done.
You can find the log of this install session at:
 /u01/app/oraInventory/logs/addNodeActions2015-08-11_03-00-46PM.log
 
Instantiate files in progress.
 
Instantiate files successful.
..................................................   14% Done.
 
Copying files to node in progress.
        
Copying files to node successful.
..................................................   73% Done.
 
Saving cluster inventory in progress.
 ..................................................   80% Done.
 
Saving cluster inventory successful.
The Cluster Node Addition of /u01/app/12.1.0.2/grid was successful.
Please check '/tmp/silentInstall.log' for more details.
 
Setup Oracle Base in progress.
 
Setup Oracle Base successful.
..................................................   88% Done.
 
As a root user, execute the following script(s):
        1. /u01/app/oraInventory/orainstRoot.sh
        2. /u01/app/12.1.0.2/grid/root.sh
 
Execute /u01/app/oraInventory/orainstRoot.sh on the following nodes:
[12102-rac3]
Execute /u01/app/12.1.0.2/grid/root.sh on the following nodes:
[12102-rac3]
 
The scripts can be executed in parallel on all the nodes.
 
..........
Update Inventory in progress.
 ..................................................   100% Done.
 
Update Inventory successful.
Successfully Setup Software.
[oracle@12102-rac1 addnode]$             
[oracle@12102-rac1 addnode]$
[oracle@12102-rac1 addnode]$

按照提示的要求,运行root脚本:

[root@12102-rac3 ~]#
[root@12102-rac3 ~]# id
uid=0(root) gid=0(root) groups=0(root) context=unconfined_u:unconfined_r:unconfined_t:s0-s0:c0.c1023
[root@12102-rac3 ~]#
[root@12102-rac3 ~]# sh /u01/app/oraInventory/orainstRoot.sh
Changing permissions of /u01/app/oraInventory.
Adding read,write permissions for group.
Removing read,write,execute permissions for world.
 
Changing groupname of /u01/app/oraInventory to oinstall.
The execution of the script is complete.
[root@12102-rac3 ~]#
[root@12102-rac3 ~]# sh /u01/app/12.1.0.2/grid/root.sh
Check /u01/app/12.1.0.2/grid/install/root_12102-rac3_2015-08-11_15-29-35.log for the output of root script
[root@12102-rac3 ~]#       
[root@12102-rac3 ~]#
[oracle@12102-rac3 ContentsXML]$ tail -30 /u01/app/12.1.0.2/grid/install/root_12102-rac3_2015-08-11_15-29-35.log
CRS-2676: Start of 'ora.ons' on '12102-rac3' succeeded
CRS-2677: Stop of 'ora.scan2.vip' on '12102-rac3' succeeded
CRS-2672: Attempting to start 'ora.scan2.vip' on '12102-rac2'
CRS-2676: Start of 'ora.scan2.vip' on '12102-rac2' succeeded
CRS-2672: Attempting to start 'ora.LISTENER_SCAN2.lsnr' on '12102-rac2'
CRS-2676: Start of 'ora.LISTENER_SCAN2.lsnr' on '12102-rac2' succeeded
CRS-2673: Attempting to stop 'ora.LISTENER_SCAN2.lsnr' on '12102-rac2'
CRS-2677: Stop of 'ora.LISTENER_SCAN2.lsnr' on '12102-rac2' succeeded
CRS-2673: Attempting to stop 'ora.scan2.vip' on '12102-rac2'
CRS-2677: Stop of 'ora.scan2.vip' on '12102-rac2' succeeded
CRS-2672: Attempting to start 'ora.scan2.vip' on '12102-rac3'
CRS-2676: Start of 'ora.scan2.vip' on '12102-rac3' succeeded
CRS-2672: Attempting to start 'ora.LISTENER_SCAN2.lsnr' on '12102-rac3'
CRS-2676: Start of 'ora.LISTENER_SCAN2.lsnr' on '12102-rac3' succeeded
CRS-2676: Start of 'ora.asm' on '12102-rac3' succeeded
CRS-2672: Attempting to start 'ora.DG_DATA.dg' on '12102-rac3'
CRS-2676: Start of 'ora.DG_DATA.dg' on '12102-rac3' succeeded
CRS-6016: Resource auto-start has completed for server 12102-rac3
CRS-6024: Completed start of Oracle Cluster Ready Services-managed resources
CRS-4123: Oracle High Availability Services has been started.
2015/08/11 15:37:09 CLSRSC-343: Successfully started Oracle Clusterware stack
 
clscfg: EXISTING configuration version 5 detected.
clscfg: version 5 is 12c Release 1.
Successfully accumulated necessary OCR keys.
Creating OCR keys for user 'root', privgrp 'root'..
Operation successful.
2015/08/11 15:37:34 CLSRSC-325: Configure Oracle Grid Infrastructure for a Cluster ... succeeded
 
[oracle@12102-rac3 ContentsXML]$

执行完root之后,可以看到除db资源外的其他资源已经加好:

[oracle@12102-rac3 ~]$ crsctl stat res -t
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.ASMNET1LSNR_ASM.lsnr
               ONLINE  ONLINE       12102-rac1               STABLE
               ONLINE  ONLINE       12102-rac2               STABLE
               ONLINE  ONLINE       12102-rac3               STABLE
ora.DG_DATA.dg
               ONLINE  ONLINE       12102-rac1               STABLE
               ONLINE  ONLINE       12102-rac2               STABLE
               ONLINE  ONLINE       12102-rac3               STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       12102-rac1               STABLE
               ONLINE  ONLINE       12102-rac2               STABLE
               ONLINE  ONLINE       12102-rac3               STABLE
ora.net1.network
               ONLINE  ONLINE       12102-rac1               STABLE
               ONLINE  ONLINE       12102-rac2               STABLE
               ONLINE  ONLINE       12102-rac3               STABLE
ora.ons
               ONLINE  ONLINE       12102-rac1               STABLE
               ONLINE  ONLINE       12102-rac2               STABLE
               ONLINE  ONLINE       12102-rac3               STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.12102-rac1.vip
      1        ONLINE  ONLINE       12102-rac1               STABLE
ora.12102-rac2.vip
      1        ONLINE  ONLINE       12102-rac2               STABLE
ora.12102-rac3.vip
      1        ONLINE  ONLINE       12102-rac3               STABLE
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       12102-rac2               STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       12102-rac3               STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       12102-rac1               STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       12102-rac1               169.254.161.44 192.1
                                                             68.57.34,STABLE
ora.asm
      1        ONLINE  ONLINE       12102-rac1               Started,STABLE
      2        ONLINE  ONLINE       12102-rac2               Started,STABLE
      3        ONLINE  ONLINE       12102-rac3               Started,STABLE
ora.cdbrac.db
      1        ONLINE  ONLINE       12102-rac1               Open,STABLE
      2        ONLINE  ONLINE       12102-rac2               Open,STABLE
ora.cvu
      1        ONLINE  ONLINE       12102-rac1               STABLE
ora.gns
      1        ONLINE  ONLINE       12102-rac1               STABLE
ora.gns.vip
      1        ONLINE  ONLINE       12102-rac1               STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       12102-rac1               Open,STABLE
ora.oc4j
      1        ONLINE  ONLINE       12102-rac1               STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       12102-rac2               STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       12102-rac3               STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       12102-rac1               STABLE
--------------------------------------------------------------------------------
[oracle@12102-rac3 ~]$

到这里为止,grid的添加,已经完毕,下面我们来进行DB的软件添加,和DB的实例添加。

===================================================================================================
###################################################################################################
===================================================================================================

转到DB的 oracle home,运行addnode脚本,我们用-silent的模式添加,这样就不要图形界面:

[oracle@12102-rac1 addnode]$ db_env
[oracle@12102-rac1 addnode]$ cd $ORACLE_HOME/addnode
[oracle@12102-rac1 addnode]$ pwd
/u01/app/oracle/product/12.1.0.2/db_1/addnode
[oracle@12102-rac1 addnode]$
[oracle@12102-rac1 addnode]$ ls
addnode_oraparam.ini  addnode_oraparam.ini.sbs  addnode.sh
[oracle@12102-rac1 addnode]$

注:oracle用户需要在oper组

[oracle@12102-rac1 addnode]$ ./addnode.sh -silent "CLUSTER_NEW_NODES={12102-rac3}"
Starting Oracle Universal Installer...
 
Checking Temp space: must be greater than 120 MB.   Actual 3163 MB    Passed
Checking swap space: must be greater than 150 MB.   Actual 1952 MB    Passed
 [WARNING] [INS-13014] Target environment does not meet some optional requirements.
   CAUSE: Some of the optional prerequisites are not met. See logs for details. /u01/app/oraInventory/logs/addNodeActions2015-08-11_04-02-37PM.log
   ACTION: Identify the list of failed prerequisite checks from the log: /u01/app/oraInventory/logs/addNodeActions2015-08-11_04-02-37PM.log. Then either from the log file or from installation manual find the appropriate configuration to meet the prerequisites and fix it manually.
 
Prepare Configuration in progress.
 
Prepare Configuration successful.
..................................................   8% Done.
You can find the log of this install session at:
 /u01/app/oraInventory/logs/addNodeActions2015-08-11_04-02-37PM.log
 
Instantiate files in progress.
 
Instantiate files successful.
..................................................   14% Done.
 
Copying files to node in progress.
          
Copying files to node successful.
..................................................   73% Done.
 
Saving cluster inventory in progress.
 ..................................................   80% Done.
 
Saving cluster inventory successful.
The Cluster Node Addition of /u01/app/oracle/product/12.1.0.2/db_1 was successful.
Please check '/tmp/silentInstall.log' for more details.
 
Setup Oracle Base in progress.
 
Setup Oracle Base successful.
..................................................   88% Done.
 
As a root user, execute the following script(s):
        1. /u01/app/oracle/product/12.1.0.2/db_1/root.sh
 
Execute /u01/app/oracle/product/12.1.0.2/db_1/root.sh on the following nodes:
[12102-rac3]
 
 
..........
Update Inventory in progress.
 ..................................................   100% Done.
 
Update Inventory successful.
Successfully Setup Software.
[oracle@12102-rac1 addnode]$

再运行root脚本:

[root@12102-rac3 ~]# sh /u01/app/oracle/product/12.1.0.2/db_1/root.sh
Check /u01/app/oracle/product/12.1.0.2/db_1/install/root_12102-rac3_2015-08-11_16-35-49.log for the output of root script
[root@12102-rac3 ~]#

到此为止,DB的软件添加完成,接下来我们在把db的资源加到cluster中:

===================================================================================================
###################################################################################################
===================================================================================================

由于我是policy managed的管理模式,当我modify srvpool -serverpool mysrvpool -max 3之后,实例就自动添加上去了。
不是如果policy managed管理模式,则需要: dbca -silent -addInstance -nodeList 12102-rac3 -gdbName CDBRAC -instanceName cdbrac_3 -sysDBAUsername sys -sysDBAPassword oracle

我的policy managed管理模式,在一个窗口modify server pool:

[oracle@12102-rac1 addnode]$ srvctl config database -db cdbrac
Database unique name: cdbrac
Database name: cdbrac
Oracle home: /u01/app/oracle/product/12.1.0.2/db_1
Oracle user: oracle
Spfile: +DG_DATA/CDBRAC/PARAMETERFILE/spfile.296.883665849
Password file: +DG_DATA/CDBRAC/PASSWORD/pwdcdbrac.276.883650747
Domain:
Start options: open
Stop options: immediate
Database role: PRIMARY
Management policy: AUTOMATIC
Server pools: mysrvpool
Disk Groups: DG_DATA
Mount point paths:
Services:
Type: RAC
Start concurrency:
Stop concurrency:
OSDBA group: dba
OSOPER group: oper
Database instances:
Configured nodes:
Database is policy managed
[oracle@12102-rac1 addnode]$   
[oracle@12102-rac1 addnode]$
[oracle@12102-rac1 addnode]$
[oracle@12102-rac1 addnode]$ grid_env
[oracle@12102-rac1 addnode]$ srvctl status srvpool -detail
Server pool name: Free
Active servers count: 1
Active server names: 12102-rac3
NAME=12102-rac3 STATE=ONLINE
Server pool name: Generic
Active servers count: 0
Active server names:
Server pool name: mysrvpool
Active servers count: 2
Active server names: 12102-rac1,12102-rac2
NAME=12102-rac1 STATE=ONLINE
NAME=12102-rac2 STATE=ONLINE
[oracle@12102-rac1 addnode]$
[oracle@12102-rac1 addnode]$
[oracle@12102-rac1 addnode]$ srvctl modify srvpool -serverpool mysrvpool -max 3
[oracle@12102-rac1 addnode]$ 
[oracle@12102-rac1 addnode]$
[oracle@12102-rac1 addnode]$ srvctl status srvpool -detail
Server pool name: Free
Active servers count: 0
Active server names:
Server pool name: Generic
Active servers count: 0
Active server names:
Server pool name: mysrvpool
Active servers count: 3
Active server names: 12102-rac1,12102-rac2,12102-rac3
NAME=12102-rac1 STATE=ONLINE
NAME=12102-rac2 STATE=ONLINE
NAME=12102-rac3 STATE=ONLINE
[oracle@12102-rac1 addnode]$
[oracle@12102-rac1 addnode]$
[oracle@12102-rac1 addnode]$
[oracle@12102-rac1 addnode]$ srvctl config database -db cdbrac
Database unique name: cdbrac
Database name: cdbrac
Oracle home: /u01/app/oracle/product/12.1.0.2/db_1
Oracle user: oracle
Spfile: +DG_DATA/CDBRAC/PARAMETERFILE/spfile.296.883665849
Password file: +DG_DATA/CDBRAC/PASSWORD/pwdcdbrac.276.883650747
Domain:
Start options: open
Stop options: immediate
Database role: PRIMARY
Management policy: AUTOMATIC
Server pools: mysrvpool
Disk Groups: DG_DATA
Mount point paths:
Services:
Type: RAC
Start concurrency:
Stop concurrency:
OSDBA group: dba
OSOPER group: oper
Database instances:
Configured nodes:
Database is policy managed
[oracle@12102-rac1 addnode]$

在另一个窗口,反复运行crsctl stat res -t,就可以看到在modify之后,资源自动被加上去了。注意下面的ora.cdbrac.db的变换:

--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.ASMNET1LSNR_ASM.lsnr
               ONLINE  ONLINE       12102-rac1               STABLE
               ONLINE  ONLINE       12102-rac2               STABLE
               ONLINE  ONLINE       12102-rac3               STABLE
ora.DG_DATA.dg
               ONLINE  ONLINE       12102-rac1               STABLE
               ONLINE  ONLINE       12102-rac2               STABLE
               ONLINE  ONLINE       12102-rac3               STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       12102-rac1               STABLE
               ONLINE  ONLINE       12102-rac2               STABLE
               ONLINE  ONLINE       12102-rac3               STABLE
ora.net1.network
               ONLINE  ONLINE       12102-rac1               STABLE
               ONLINE  ONLINE       12102-rac2               STABLE
               ONLINE  ONLINE       12102-rac3               STABLE
ora.ons
               ONLINE  ONLINE       12102-rac1               STABLE
               ONLINE  ONLINE       12102-rac2               STABLE
               ONLINE  ONLINE       12102-rac3               STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.12102-rac1.vip
      1        ONLINE  ONLINE       12102-rac1               STABLE
ora.12102-rac2.vip
      1        ONLINE  ONLINE       12102-rac2               STABLE
ora.12102-rac3.vip
      1        ONLINE  ONLINE       12102-rac3               STABLE
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       12102-rac2               STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       12102-rac3               STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       12102-rac1               STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       12102-rac1               169.254.161.44 192.1
                                                             68.57.34,STABLE
ora.asm
      1        ONLINE  ONLINE       12102-rac1               Started,STABLE
      2        ONLINE  ONLINE       12102-rac2               Started,STABLE
      3        ONLINE  ONLINE       12102-rac3               Started,STABLE
ora.cdbrac.db
      1        ONLINE  ONLINE       12102-rac1               Open,STABLE
      2        ONLINE  ONLINE       12102-rac2               Open,STABLE
ora.cvu
      1        ONLINE  ONLINE       12102-rac1               STABLE
ora.gns
      1        ONLINE  ONLINE       12102-rac1               STABLE
ora.gns.vip
      1        ONLINE  ONLINE       12102-rac1               STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       12102-rac1               Open,STABLE
ora.oc4j
      1        ONLINE  ONLINE       12102-rac1               STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       12102-rac2               STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       12102-rac3               STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       12102-rac1               STABLE
--------------------------------------------------------------------------------
 
 
 
 
 
 
 
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.ASMNET1LSNR_ASM.lsnr
               ONLINE  ONLINE       12102-rac1               STABLE
               ONLINE  ONLINE       12102-rac2               STABLE
               ONLINE  ONLINE       12102-rac3               STABLE
ora.DG_DATA.dg
               ONLINE  ONLINE       12102-rac1               STABLE
               ONLINE  ONLINE       12102-rac2               STABLE
               ONLINE  ONLINE       12102-rac3               STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       12102-rac1               STABLE
               ONLINE  ONLINE       12102-rac2               STABLE
               ONLINE  ONLINE       12102-rac3               STABLE
ora.net1.network
               ONLINE  ONLINE       12102-rac1               STABLE
               ONLINE  ONLINE       12102-rac2               STABLE
               ONLINE  ONLINE       12102-rac3               STABLE
ora.ons
               ONLINE  ONLINE       12102-rac1               STABLE
               ONLINE  ONLINE       12102-rac2               STABLE
               ONLINE  ONLINE       12102-rac3               STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.12102-rac1.vip
      1        ONLINE  ONLINE       12102-rac1               STABLE
ora.12102-rac2.vip
      1        ONLINE  ONLINE       12102-rac2               STABLE
ora.12102-rac3.vip
      1        ONLINE  ONLINE       12102-rac3               STABLE
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       12102-rac2               STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       12102-rac3               STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       12102-rac1               STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       12102-rac1               169.254.161.44 192.1
                                                             68.57.34,STABLE
ora.asm
      1        ONLINE  ONLINE       12102-rac1               Started,STABLE
      2        ONLINE  ONLINE       12102-rac2               Started,STABLE
      3        ONLINE  ONLINE       12102-rac3               Started,STABLE
ora.cdbrac.db
      1        ONLINE  ONLINE       12102-rac1               Open,STABLE
      2        ONLINE  ONLINE       12102-rac2               Open,STABLE
      3        ONLINE  OFFLINE      12102-rac3               STARTING
ora.cvu
      1        ONLINE  ONLINE       12102-rac1               STABLE
ora.gns
      1        ONLINE  ONLINE       12102-rac1               STABLE
ora.gns.vip
      1        ONLINE  ONLINE       12102-rac1               STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       12102-rac1               Open,STABLE
ora.oc4j
      1        ONLINE  ONLINE       12102-rac1               STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       12102-rac2               STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       12102-rac3               STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       12102-rac1               STABLE
--------------------------------------------------------------------------------
 
 
 
 
 
--------------------------------------------------------------------------------
Name           Target  State        Server                   State details       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.ASMNET1LSNR_ASM.lsnr
               ONLINE  ONLINE       12102-rac1               STABLE
               ONLINE  ONLINE       12102-rac2               STABLE
               ONLINE  ONLINE       12102-rac3               STABLE
ora.DG_DATA.dg
               ONLINE  ONLINE       12102-rac1               STABLE
               ONLINE  ONLINE       12102-rac2               STABLE
               ONLINE  ONLINE       12102-rac3               STABLE
ora.LISTENER.lsnr
               ONLINE  ONLINE       12102-rac1               STABLE
               ONLINE  ONLINE       12102-rac2               STABLE
               ONLINE  ONLINE       12102-rac3               STABLE
ora.net1.network
               ONLINE  ONLINE       12102-rac1               STABLE
               ONLINE  ONLINE       12102-rac2               STABLE
               ONLINE  ONLINE       12102-rac3               STABLE
ora.ons
               ONLINE  ONLINE       12102-rac1               STABLE
               ONLINE  ONLINE       12102-rac2               STABLE
               ONLINE  ONLINE       12102-rac3               STABLE
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.12102-rac1.vip
      1        ONLINE  ONLINE       12102-rac1               STABLE
ora.12102-rac2.vip
      1        ONLINE  ONLINE       12102-rac2               STABLE
ora.12102-rac3.vip
      1        ONLINE  ONLINE       12102-rac3               STABLE
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       12102-rac2               STABLE
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       12102-rac3               STABLE
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       12102-rac1               STABLE
ora.MGMTLSNR
      1        ONLINE  ONLINE       12102-rac1               169.254.161.44 192.1
                                                             68.57.34,STABLE
ora.asm
      1        ONLINE  ONLINE       12102-rac1               Started,STABLE
      2        ONLINE  ONLINE       12102-rac2               Started,STABLE
      3        ONLINE  ONLINE       12102-rac3               Started,STABLE
ora.cdbrac.db
      1        ONLINE  ONLINE       12102-rac1               Open,STABLE
      2        ONLINE  ONLINE       12102-rac2               Open,STABLE
      3        ONLINE  ONLINE       12102-rac3               Open,STABLE
ora.cvu
      1        ONLINE  ONLINE       12102-rac1               STABLE
ora.gns
      1        ONLINE  ONLINE       12102-rac1               STABLE
ora.gns.vip
      1        ONLINE  ONLINE       12102-rac1               STABLE
ora.mgmtdb
      1        ONLINE  ONLINE       12102-rac1               Open,STABLE
ora.oc4j
      1        ONLINE  ONLINE       12102-rac1               STABLE
ora.scan1.vip
      1        ONLINE  ONLINE       12102-rac2               STABLE
ora.scan2.vip
      1        ONLINE  ONLINE       12102-rac3               STABLE
ora.scan3.vip
      1        ONLINE  ONLINE       12102-rac1               STABLE
--------------------------------------------------------------------------------

最后用cluster verify检查一下,没问题就ok了:

[oracle@12102-rac1 addnode]$ cluvfy stage -post nodeadd -n 12102-rac3 -verbose
 
Performing post-checks for node addition
 
Checking node reachability...
 
Check: Node reachability from node "12102-rac1"
  Destination Node                      Reachable?             
  ------------------------------------  ------------------------
  12102-rac3                            yes                     
Result: Node reachability check passed from node "12102-rac1"
 
 
Checking user equivalence...
 
Check: User equivalence for user "oracle"
  Node Name                             Status                 
  ------------------------------------  ------------------------
  12102-rac3                            passed                 
Result: User equivalence check passed for user "oracle"
 
Checking node connectivity...
 
Checking hosts config file...
  Node Name                             Status                 
  ------------------------------------  ------------------------
  12102-rac1                            passed                 
  12102-rac3                            passed                 
  12102-rac2                            passed                 
 
Verification of the hosts config file successful
 
 
Interface information for node "12102-rac1"
 Name   IP Address      Subnet          Gateway         Def. Gateway    HW Address        MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.56.124  192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:AD:B5:33 1500 
 eth0   192.168.56.108  192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:AD:B5:33 1500 
 eth0   192.168.56.26   192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:AD:B5:33 1500 
 eth0   192.168.56.28   192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:AD:B5:33 1500 
 
 
Interface information for node "12102-rac3"
 Name   IP Address      Subnet          Gateway         Def. Gateway    HW Address        MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.56.127  192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:A6:B7:99 1500 
 eth0   192.168.56.27   192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:A6:B7:99 1500 
 eth0   192.168.56.29   192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:A6:B7:99 1500 
 
 
Interface information for node "12102-rac2"
 Name   IP Address      Subnet          Gateway         Def. Gateway    HW Address        MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.56.125  192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:60:27:F9 1500 
 eth0   192.168.56.25   192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:60:27:F9 1500 
 eth0   192.168.56.22   192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:60:27:F9 1500 
 
 
Check: Node connectivity using interfaces on subnet "192.168.56.0"
 
Check: Node connectivity of subnet "192.168.56.0"
  Source                          Destination                     Connected?     
  ------------------------------  ------------------------------  ----------------
  12102-rac3[192.168.56.127]      12102-rac2[192.168.56.22]       yes             
  12102-rac3[192.168.56.127]      12102-rac1[192.168.56.124]      yes             
  12102-rac3[192.168.56.127]      12102-rac1[192.168.56.26]       yes             
  12102-rac3[192.168.56.127]      12102-rac2[192.168.56.125]      yes             
  12102-rac3[192.168.56.127]      12102-rac3[192.168.56.29]       yes             
  12102-rac3[192.168.56.127]      12102-rac2[192.168.56.25]       yes             
  12102-rac3[192.168.56.127]      12102-rac1[192.168.56.28]       yes             
  12102-rac3[192.168.56.127]      12102-rac1[192.168.56.108]      yes             
  12102-rac3[192.168.56.127]      12102-rac3[192.168.56.27]       yes             
  12102-rac2[192.168.56.22]       12102-rac1[192.168.56.124]      yes             
  12102-rac2[192.168.56.22]       12102-rac1[192.168.56.26]       yes             
  12102-rac2[192.168.56.22]       12102-rac2[192.168.56.125]      yes             
  12102-rac2[192.168.56.22]       12102-rac3[192.168.56.29]       yes             
  12102-rac2[192.168.56.22]       12102-rac2[192.168.56.25]       yes             
  12102-rac2[192.168.56.22]       12102-rac1[192.168.56.28]       yes             
  12102-rac2[192.168.56.22]       12102-rac1[192.168.56.108]      yes             
  12102-rac2[192.168.56.22]       12102-rac3[192.168.56.27]       yes             
  12102-rac1[192.168.56.124]      12102-rac1[192.168.56.26]       yes             
  12102-rac1[192.168.56.124]      12102-rac2[192.168.56.125]      yes             
  12102-rac1[192.168.56.124]      12102-rac3[192.168.56.29]       yes             
  12102-rac1[192.168.56.124]      12102-rac2[192.168.56.25]       yes             
  12102-rac1[192.168.56.124]      12102-rac1[192.168.56.28]       yes             
  12102-rac1[192.168.56.124]      12102-rac1[192.168.56.108]      yes             
  12102-rac1[192.168.56.124]      12102-rac3[192.168.56.27]       yes             
  12102-rac1[192.168.56.26]       12102-rac2[192.168.56.125]      yes             
  12102-rac1[192.168.56.26]       12102-rac3[192.168.56.29]       yes             
  12102-rac1[192.168.56.26]       12102-rac2[192.168.56.25]       yes             
  12102-rac1[192.168.56.26]       12102-rac1[192.168.56.28]       yes             
  12102-rac1[192.168.56.26]       12102-rac1[192.168.56.108]      yes             
  12102-rac1[192.168.56.26]       12102-rac3[192.168.56.27]       yes             
  12102-rac2[192.168.56.125]      12102-rac3[192.168.56.29]       yes             
  12102-rac2[192.168.56.125]      12102-rac2[192.168.56.25]       yes             
  12102-rac2[192.168.56.125]      12102-rac1[192.168.56.28]       yes             
  12102-rac2[192.168.56.125]      12102-rac1[192.168.56.108]      yes             
  12102-rac2[192.168.56.125]      12102-rac3[192.168.56.27]       yes             
  12102-rac3[192.168.56.29]       12102-rac2[192.168.56.25]       yes             
  12102-rac3[192.168.56.29]       12102-rac1[192.168.56.28]       yes             
  12102-rac3[192.168.56.29]       12102-rac1[192.168.56.108]      yes             
  12102-rac3[192.168.56.29]       12102-rac3[192.168.56.27]       yes             
  12102-rac2[192.168.56.25]       12102-rac1[192.168.56.28]       yes             
  12102-rac2[192.168.56.25]       12102-rac1[192.168.56.108]      yes             
  12102-rac2[192.168.56.25]       12102-rac3[192.168.56.27]       yes             
  12102-rac1[192.168.56.28]       12102-rac1[192.168.56.108]      yes             
  12102-rac1[192.168.56.28]       12102-rac3[192.168.56.27]       yes             
  12102-rac1[192.168.56.108]      12102-rac3[192.168.56.27]       yes             
Result: Node connectivity passed for subnet "192.168.56.0" with node(s) 12102-rac3,12102-rac2,12102-rac1
 
 
Check: TCP connectivity of subnet "192.168.56.0"
  Source                          Destination                     Connected?     
  ------------------------------  ------------------------------  ----------------
  12102-rac3 : 192.168.56.127     12102-rac3 : 192.168.56.127     passed         
  12102-rac2 : 192.168.56.22      12102-rac3 : 192.168.56.127     passed         
  12102-rac1 : 192.168.56.124     12102-rac3 : 192.168.56.127     passed         
  12102-rac1 : 192.168.56.26      12102-rac3 : 192.168.56.127     passed         
  12102-rac2 : 192.168.56.125     12102-rac3 : 192.168.56.127     passed         
  12102-rac3 : 192.168.56.29      12102-rac3 : 192.168.56.127     passed         
  12102-rac2 : 192.168.56.25      12102-rac3 : 192.168.56.127     passed         
  12102-rac1 : 192.168.56.28      12102-rac3 : 192.168.56.127     passed         
  12102-rac1 : 192.168.56.108     12102-rac3 : 192.168.56.127     passed         
  12102-rac3 : 192.168.56.27      12102-rac3 : 192.168.56.127     passed         
  12102-rac3 : 192.168.56.127     12102-rac2 : 192.168.56.22      passed         
  12102-rac2 : 192.168.56.22      12102-rac2 : 192.168.56.22      passed         
  12102-rac1 : 192.168.56.124     12102-rac2 : 192.168.56.22      passed         
  12102-rac1 : 192.168.56.26      12102-rac2 : 192.168.56.22      passed         
  12102-rac2 : 192.168.56.125     12102-rac2 : 192.168.56.22      passed         
  12102-rac3 : 192.168.56.29      12102-rac2 : 192.168.56.22      passed         
  12102-rac2 : 192.168.56.25      12102-rac2 : 192.168.56.22      passed         
  12102-rac1 : 192.168.56.28      12102-rac2 : 192.168.56.22      passed         
  12102-rac1 : 192.168.56.108     12102-rac2 : 192.168.56.22      passed         
  12102-rac3 : 192.168.56.27      12102-rac2 : 192.168.56.22      passed         
  12102-rac3 : 192.168.56.127     12102-rac1 : 192.168.56.124     passed         
  12102-rac2 : 192.168.56.22      12102-rac1 : 192.168.56.124     passed         
  12102-rac1 : 192.168.56.124     12102-rac1 : 192.168.56.124     passed         
  12102-rac1 : 192.168.56.26      12102-rac1 : 192.168.56.124     passed         
  12102-rac2 : 192.168.56.125     12102-rac1 : 192.168.56.124     passed         
  12102-rac3 : 192.168.56.29      12102-rac1 : 192.168.56.124     passed         
  12102-rac2 : 192.168.56.25      12102-rac1 : 192.168.56.124     passed         
  12102-rac1 : 192.168.56.28      12102-rac1 : 192.168.56.124     passed         
  12102-rac1 : 192.168.56.108     12102-rac1 : 192.168.56.124     passed         
  12102-rac3 : 192.168.56.27      12102-rac1 : 192.168.56.124     passed         
  12102-rac3 : 192.168.56.127     12102-rac1 : 192.168.56.26      passed         
  12102-rac2 : 192.168.56.22      12102-rac1 : 192.168.56.26      passed         
  12102-rac1 : 192.168.56.124     12102-rac1 : 192.168.56.26      passed         
  12102-rac1 : 192.168.56.26      12102-rac1 : 192.168.56.26      passed         
  12102-rac2 : 192.168.56.125     12102-rac1 : 192.168.56.26      passed         
  12102-rac3 : 192.168.56.29      12102-rac1 : 192.168.56.26      passed         
  12102-rac2 : 192.168.56.25      12102-rac1 : 192.168.56.26      passed         
  12102-rac1 : 192.168.56.28      12102-rac1 : 192.168.56.26      passed         
  12102-rac1 : 192.168.56.108     12102-rac1 : 192.168.56.26      passed         
  12102-rac3 : 192.168.56.27      12102-rac1 : 192.168.56.26      passed         
  12102-rac3 : 192.168.56.127     12102-rac2 : 192.168.56.125     passed         
  12102-rac2 : 192.168.56.22      12102-rac2 : 192.168.56.125     passed         
  12102-rac1 : 192.168.56.124     12102-rac2 : 192.168.56.125     passed         
  12102-rac1 : 192.168.56.26      12102-rac2 : 192.168.56.125     passed         
  12102-rac2 : 192.168.56.125     12102-rac2 : 192.168.56.125     passed         
  12102-rac3 : 192.168.56.29      12102-rac2 : 192.168.56.125     passed         
  12102-rac2 : 192.168.56.25      12102-rac2 : 192.168.56.125     passed         
  12102-rac1 : 192.168.56.28      12102-rac2 : 192.168.56.125     passed         
  12102-rac1 : 192.168.56.108     12102-rac2 : 192.168.56.125     passed         
  12102-rac3 : 192.168.56.27      12102-rac2 : 192.168.56.125     passed         
  12102-rac3 : 192.168.56.127     12102-rac3 : 192.168.56.29      passed         
  12102-rac2 : 192.168.56.22      12102-rac3 : 192.168.56.29      passed         
  12102-rac1 : 192.168.56.124     12102-rac3 : 192.168.56.29      passed         
  12102-rac1 : 192.168.56.26      12102-rac3 : 192.168.56.29      passed         
  12102-rac2 : 192.168.56.125     12102-rac3 : 192.168.56.29      passed         
  12102-rac3 : 192.168.56.29      12102-rac3 : 192.168.56.29      passed         
  12102-rac2 : 192.168.56.25      12102-rac3 : 192.168.56.29      passed         
  12102-rac1 : 192.168.56.28      12102-rac3 : 192.168.56.29      passed         
  12102-rac1 : 192.168.56.108     12102-rac3 : 192.168.56.29      passed         
  12102-rac3 : 192.168.56.27      12102-rac3 : 192.168.56.29      passed         
  12102-rac3 : 192.168.56.127     12102-rac2 : 192.168.56.25      passed         
  12102-rac2 : 192.168.56.22      12102-rac2 : 192.168.56.25      passed         
  12102-rac1 : 192.168.56.124     12102-rac2 : 192.168.56.25      passed         
  12102-rac1 : 192.168.56.26      12102-rac2 : 192.168.56.25      passed         
  12102-rac2 : 192.168.56.125     12102-rac2 : 192.168.56.25      passed         
  12102-rac3 : 192.168.56.29      12102-rac2 : 192.168.56.25      passed         
  12102-rac2 : 192.168.56.25      12102-rac2 : 192.168.56.25      passed         
  12102-rac1 : 192.168.56.28      12102-rac2 : 192.168.56.25      passed         
  12102-rac1 : 192.168.56.108     12102-rac2 : 192.168.56.25      passed         
  12102-rac3 : 192.168.56.27      12102-rac2 : 192.168.56.25      passed         
  12102-rac3 : 192.168.56.127     12102-rac1 : 192.168.56.28      passed         
  12102-rac2 : 192.168.56.22      12102-rac1 : 192.168.56.28      passed         
  12102-rac1 : 192.168.56.124     12102-rac1 : 192.168.56.28      passed         
  12102-rac1 : 192.168.56.26      12102-rac1 : 192.168.56.28      passed         
  12102-rac2 : 192.168.56.125     12102-rac1 : 192.168.56.28      passed         
  12102-rac3 : 192.168.56.29      12102-rac1 : 192.168.56.28      passed         
  12102-rac2 : 192.168.56.25      12102-rac1 : 192.168.56.28      passed         
  12102-rac1 : 192.168.56.28      12102-rac1 : 192.168.56.28      passed         
  12102-rac1 : 192.168.56.108     12102-rac1 : 192.168.56.28      passed         
  12102-rac3 : 192.168.56.27      12102-rac1 : 192.168.56.28      passed         
  12102-rac3 : 192.168.56.127     12102-rac1 : 192.168.56.108     passed         
  12102-rac2 : 192.168.56.22      12102-rac1 : 192.168.56.108     passed         
  12102-rac1 : 192.168.56.124     12102-rac1 : 192.168.56.108     passed         
  12102-rac1 : 192.168.56.26      12102-rac1 : 192.168.56.108     passed         
  12102-rac2 : 192.168.56.125     12102-rac1 : 192.168.56.108     passed         
  12102-rac3 : 192.168.56.29      12102-rac1 : 192.168.56.108     passed         
  12102-rac2 : 192.168.56.25      12102-rac1 : 192.168.56.108     passed         
  12102-rac1 : 192.168.56.28      12102-rac1 : 192.168.56.108     passed         
  12102-rac1 : 192.168.56.108     12102-rac1 : 192.168.56.108     passed         
  12102-rac3 : 192.168.56.27      12102-rac1 : 192.168.56.108     passed         
  12102-rac3 : 192.168.56.127     12102-rac3 : 192.168.56.27      passed         
  12102-rac2 : 192.168.56.22      12102-rac3 : 192.168.56.27      passed         
  12102-rac1 : 192.168.56.124     12102-rac3 : 192.168.56.27      passed         
  12102-rac1 : 192.168.56.26      12102-rac3 : 192.168.56.27      passed         
  12102-rac2 : 192.168.56.125     12102-rac3 : 192.168.56.27      passed         
  12102-rac3 : 192.168.56.29      12102-rac3 : 192.168.56.27      passed         
  12102-rac2 : 192.168.56.25      12102-rac3 : 192.168.56.27      passed         
  12102-rac1 : 192.168.56.28      12102-rac3 : 192.168.56.27      passed         
  12102-rac1 : 192.168.56.108     12102-rac3 : 192.168.56.27      passed         
  12102-rac3 : 192.168.56.27      12102-rac3 : 192.168.56.27      passed         
Result: TCP connectivity check passed for subnet "192.168.56.0"
 
Checking subnet mask consistency...
Subnet mask consistency check passed for subnet "192.168.56.0".
Subnet mask consistency check passed.
 
Result: Node connectivity check passed
 
 
Checking cluster integrity...
 
  Node Name                           
  ------------------------------------
  12102-rac1                         
  12102-rac2                         
  12102-rac3                         
 
Cluster integrity check passed
 
 
Checking CRS integrity...
The Oracle Clusterware is healthy on node "12102-rac1"
 
CRS integrity check passed
 
Clusterware version consistency passed.
 
Checking shared resources...
 
Checking CRS home location...
"/u01/app/12.1.0.2/grid" is not shared
Result: Shared resources check for node addition passed
 
 
Checking node connectivity...
 
Checking hosts config file...
  Node Name                             Status                 
  ------------------------------------  ------------------------
  12102-rac1                            passed                 
  12102-rac3                            passed                 
  12102-rac2                            passed                 
 
Verification of the hosts config file successful
 
 
Interface information for node "12102-rac1"
 Name   IP Address      Subnet          Gateway         Def. Gateway    HW Address        MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.56.124  192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:AD:B5:33 1500 
 eth0   192.168.56.108  192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:AD:B5:33 1500 
 eth0   192.168.56.26   192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:AD:B5:33 1500 
 eth0   192.168.56.28   192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:AD:B5:33 1500 
 eth1   192.168.57.34   192.168.57.0    0.0.0.0         192.168.56.1    08:00:27:35:04:BB 1500 
 eth1   169.254.161.44  169.254.0.0     0.0.0.0         192.168.56.1    08:00:27:35:04:BB 1500 
 
 
Interface information for node "12102-rac3"
 Name   IP Address      Subnet          Gateway         Def. Gateway    HW Address        MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.56.127  192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:A6:B7:99 1500 
 eth0   192.168.56.27   192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:A6:B7:99 1500 
 eth0   192.168.56.29   192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:A6:B7:99 1500 
 eth1   192.168.57.37   192.168.57.0    0.0.0.0         192.168.56.1    08:00:27:2C:DC:8C 1500 
 eth1   169.254.3.240   169.254.0.0     0.0.0.0         192.168.56.1    08:00:27:2C:DC:8C 1500 
 
 
Interface information for node "12102-rac2"
 Name   IP Address      Subnet          Gateway         Def. Gateway    HW Address        MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.56.125  192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:60:27:F9 1500 
 eth0   192.168.56.25   192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:60:27:F9 1500 
 eth0   192.168.56.22   192.168.56.0    0.0.0.0         192.168.56.1    08:00:27:60:27:F9 1500 
 eth1   192.168.57.35   192.168.57.0    0.0.0.0         192.168.56.1    08:00:27:47:D4:A9 1500 
 eth1   169.254.7.3     169.254.0.0     0.0.0.0         192.168.56.1    08:00:27:47:D4:A9 1500 
 
 
Check: Node connectivity using interfaces on subnet "192.168.56.0"
 
Check: Node connectivity of subnet "192.168.56.0"
  Source                          Destination                     Connected?     
  ------------------------------  ------------------------------  ----------------
  12102-rac2[192.168.56.125]      12102-rac2[192.168.56.25]       yes             
  12102-rac2[192.168.56.125]      12102-rac1[192.168.56.108]      yes             
  12102-rac2[192.168.56.125]      12102-rac1[192.168.56.26]       yes             
  12102-rac2[192.168.56.125]      12102-rac3[192.168.56.29]       yes             
  12102-rac2[192.168.56.125]      12102-rac2[192.168.56.22]       yes             
  12102-rac2[192.168.56.125]      12102-rac1[192.168.56.28]       yes             
  12102-rac2[192.168.56.125]      12102-rac3[192.168.56.27]       yes             
  12102-rac2[192.168.56.125]      12102-rac1[192.168.56.124]      yes             
  12102-rac2[192.168.56.125]      12102-rac3[192.168.56.127]      yes             
  12102-rac2[192.168.56.25]       12102-rac1[192.168.56.108]      yes             
  12102-rac2[192.168.56.25]       12102-rac1[192.168.56.26]       yes             
  12102-rac2[192.168.56.25]       12102-rac3[192.168.56.29]       yes             
  12102-rac2[192.168.56.25]       12102-rac2[192.168.56.22]       yes             
  12102-rac2[192.168.56.25]       12102-rac1[192.168.56.28]       yes             
  12102-rac2[192.168.56.25]       12102-rac3[192.168.56.27]       yes             
  12102-rac2[192.168.56.25]       12102-rac1[192.168.56.124]      yes             
  12102-rac2[192.168.56.25]       12102-rac3[192.168.56.127]      yes             
  12102-rac1[192.168.56.108]      12102-rac1[192.168.56.26]       yes             
  12102-rac1[192.168.56.108]      12102-rac3[192.168.56.29]       yes             
  12102-rac1[192.168.56.108]      12102-rac2[192.168.56.22]       yes             
  12102-rac1[192.168.56.108]      12102-rac1[192.168.56.28]       yes             
  12102-rac1[192.168.56.108]      12102-rac3[192.168.56.27]       yes             
  12102-rac1[192.168.56.108]      12102-rac1[192.168.56.124]      yes             
  12102-rac1[192.168.56.108]      12102-rac3[192.168.56.127]      yes             
  12102-rac1[192.168.56.26]       12102-rac3[192.168.56.29]       yes             
  12102-rac1[192.168.56.26]       12102-rac2[192.168.56.22]       yes             
  12102-rac1[192.168.56.26]       12102-rac1[192.168.56.28]       yes             
  12102-rac1[192.168.56.26]       12102-rac3[192.168.56.27]       yes             
  12102-rac1[192.168.56.26]       12102-rac1[192.168.56.124]      yes             
  12102-rac1[192.168.56.26]       12102-rac3[192.168.56.127]      yes             
  12102-rac3[192.168.56.29]       12102-rac2[192.168.56.22]       yes             
  12102-rac3[192.168.56.29]       12102-rac1[192.168.56.28]       yes             
  12102-rac3[192.168.56.29]       12102-rac3[192.168.56.27]       yes             
  12102-rac3[192.168.56.29]       12102-rac1[192.168.56.124]      yes             
  12102-rac3[192.168.56.29]       12102-rac3[192.168.56.127]      yes             
  12102-rac2[192.168.56.22]       12102-rac1[192.168.56.28]       yes             
  12102-rac2[192.168.56.22]       12102-rac3[192.168.56.27]       yes             
  12102-rac2[192.168.56.22]       12102-rac1[192.168.56.124]      yes             
  12102-rac2[192.168.56.22]       12102-rac3[192.168.56.127]      yes             
  12102-rac1[192.168.56.28]       12102-rac3[192.168.56.27]       yes             
  12102-rac1[192.168.56.28]       12102-rac1[192.168.56.124]      yes             
  12102-rac1[192.168.56.28]       12102-rac3[192.168.56.127]      yes             
  12102-rac3[192.168.56.27]       12102-rac1[192.168.56.124]      yes             
  12102-rac3[192.168.56.27]       12102-rac3[192.168.56.127]      yes             
  12102-rac1[192.168.56.124]      12102-rac3[192.168.56.127]      yes             
Result: Node connectivity passed for subnet "192.168.56.0" with node(s) 12102-rac2,12102-rac1,12102-rac3
 
 
Check: TCP connectivity of subnet "192.168.56.0"
  Source                          Destination                     Connected?     
  ------------------------------  ------------------------------  ----------------
  12102-rac2 : 192.168.56.125     12102-rac2 : 192.168.56.125     passed         
  12102-rac2 : 192.168.56.25      12102-rac2 : 192.168.56.125     passed         
  12102-rac1 : 192.168.56.108     12102-rac2 : 192.168.56.125     passed         
  12102-rac1 : 192.168.56.26      12102-rac2 : 192.168.56.125     passed         
  12102-rac3 : 192.168.56.29      12102-rac2 : 192.168.56.125     passed         
  12102-rac2 : 192.168.56.22      12102-rac2 : 192.168.56.125     passed         
  12102-rac1 : 192.168.56.28      12102-rac2 : 192.168.56.125     passed         
  12102-rac3 : 192.168.56.27      12102-rac2 : 192.168.56.125     passed         
  12102-rac1 : 192.168.56.124     12102-rac2 : 192.168.56.125     passed         
  12102-rac3 : 192.168.56.127     12102-rac2 : 192.168.56.125     passed         
  12102-rac2 : 192.168.56.125     12102-rac2 : 192.168.56.25      passed         
  12102-rac2 : 192.168.56.25      12102-rac2 : 192.168.56.25      passed         
  12102-rac1 : 192.168.56.108     12102-rac2 : 192.168.56.25      passed         
  12102-rac1 : 192.168.56.26      12102-rac2 : 192.168.56.25      passed         
  12102-rac3 : 192.168.56.29      12102-rac2 : 192.168.56.25      passed         
  12102-rac2 : 192.168.56.22      12102-rac2 : 192.168.56.25      passed         
  12102-rac1 : 192.168.56.28      12102-rac2 : 192.168.56.25      passed         
  12102-rac3 : 192.168.56.27      12102-rac2 : 192.168.56.25      passed         
  12102-rac1 : 192.168.56.124     12102-rac2 : 192.168.56.25      passed         
  12102-rac3 : 192.168.56.127     12102-rac2 : 192.168.56.25      passed         
  12102-rac2 : 192.168.56.125     12102-rac1 : 192.168.56.108     passed         
  12102-rac2 : 192.168.56.25      12102-rac1 : 192.168.56.108     passed         
  12102-rac1 : 192.168.56.108     12102-rac1 : 192.168.56.108     passed         
  12102-rac1 : 192.168.56.26      12102-rac1 : 192.168.56.108     passed         
  12102-rac3 : 192.168.56.29      12102-rac1 : 192.168.56.108     passed         
  12102-rac2 : 192.168.56.22      12102-rac1 : 192.168.56.108     passed         
  12102-rac1 : 192.168.56.28      12102-rac1 : 192.168.56.108     passed         
  12102-rac3 : 192.168.56.27      12102-rac1 : 192.168.56.108     passed         
  12102-rac1 : 192.168.56.124     12102-rac1 : 192.168.56.108     passed         
  12102-rac3 : 192.168.56.127     12102-rac1 : 192.168.56.108     passed         
  12102-rac2 : 192.168.56.125     12102-rac1 : 192.168.56.26      passed         
  12102-rac2 : 192.168.56.25      12102-rac1 : 192.168.56.26      passed         
  12102-rac1 : 192.168.56.108     12102-rac1 : 192.168.56.26      passed         
  12102-rac1 : 192.168.56.26      12102-rac1 : 192.168.56.26      passed         
  12102-rac3 : 192.168.56.29      12102-rac1 : 192.168.56.26      passed         
  12102-rac2 : 192.168.56.22      12102-rac1 : 192.168.56.26      passed         
  12102-rac1 : 192.168.56.28      12102-rac1 : 192.168.56.26      passed         
  12102-rac3 : 192.168.56.27      12102-rac1 : 192.168.56.26      passed         
  12102-rac1 : 192.168.56.124     12102-rac1 : 192.168.56.26      passed         
  12102-rac3 : 192.168.56.127     12102-rac1 : 192.168.56.26      passed         
  12102-rac2 : 192.168.56.125     12102-rac3 : 192.168.56.29      passed         
  12102-rac2 : 192.168.56.25      12102-rac3 : 192.168.56.29      passed         
  12102-rac1 : 192.168.56.108     12102-rac3 : 192.168.56.29      passed         
  12102-rac1 : 192.168.56.26      12102-rac3 : 192.168.56.29      passed         
  12102-rac3 : 192.168.56.29      12102-rac3 : 192.168.56.29      passed         
  12102-rac2 : 192.168.56.22      12102-rac3 : 192.168.56.29      passed         
  12102-rac1 : 192.168.56.28      12102-rac3 : 192.168.56.29      passed         
  12102-rac3 : 192.168.56.27      12102-rac3 : 192.168.56.29      passed         
  12102-rac1 : 192.168.56.124     12102-rac3 : 192.168.56.29      passed         
  12102-rac3 : 192.168.56.127     12102-rac3 : 192.168.56.29      passed         
  12102-rac2 : 192.168.56.125     12102-rac2 : 192.168.56.22      passed         
  12102-rac2 : 192.168.56.25      12102-rac2 : 192.168.56.22      passed         
  12102-rac1 : 192.168.56.108     12102-rac2 : 192.168.56.22      passed         
  12102-rac1 : 192.168.56.26      12102-rac2 : 192.168.56.22      passed         
  12102-rac3 : 192.168.56.29      12102-rac2 : 192.168.56.22      passed         
  12102-rac2 : 192.168.56.22      12102-rac2 : 192.168.56.22      passed         
  12102-rac1 : 192.168.56.28      12102-rac2 : 192.168.56.22      passed         
  12102-rac3 : 192.168.56.27      12102-rac2 : 192.168.56.22      passed         
  12102-rac1 : 192.168.56.124     12102-rac2 : 192.168.56.22      passed         
  12102-rac3 : 192.168.56.127     12102-rac2 : 192.168.56.22      passed         
  12102-rac2 : 192.168.56.125     12102-rac1 : 192.168.56.28      passed         
  12102-rac2 : 192.168.56.25      12102-rac1 : 192.168.56.28      passed         
  12102-rac1 : 192.168.56.108     12102-rac1 : 192.168.56.28      passed         
  12102-rac1 : 192.168.56.26      12102-rac1 : 192.168.56.28      passed         
  12102-rac3 : 192.168.56.29      12102-rac1 : 192.168.56.28      passed         
  12102-rac2 : 192.168.56.22      12102-rac1 : 192.168.56.28      passed         
  12102-rac1 : 192.168.56.28      12102-rac1 : 192.168.56.28      passed         
  12102-rac3 : 192.168.56.27      12102-rac1 : 192.168.56.28      passed         
  12102-rac1 : 192.168.56.124     12102-rac1 : 192.168.56.28      passed         
  12102-rac3 : 192.168.56.127     12102-rac1 : 192.168.56.28      passed         
  12102-rac2 : 192.168.56.125     12102-rac3 : 192.168.56.27      passed         
  12102-rac2 : 192.168.56.25      12102-rac3 : 192.168.56.27      passed         
  12102-rac1 : 192.168.56.108     12102-rac3 : 192.168.56.27      passed         
  12102-rac1 : 192.168.56.26      12102-rac3 : 192.168.56.27      passed         
  12102-rac3 : 192.168.56.29      12102-rac3 : 192.168.56.27      passed         
  12102-rac2 : 192.168.56.22      12102-rac3 : 192.168.56.27      passed         
  12102-rac1 : 192.168.56.28      12102-rac3 : 192.168.56.27      passed         
  12102-rac3 : 192.168.56.27      12102-rac3 : 192.168.56.27      passed         
  12102-rac1 : 192.168.56.124     12102-rac3 : 192.168.56.27      passed         
  12102-rac3 : 192.168.56.127     12102-rac3 : 192.168.56.27      passed         
  12102-rac2 : 192.168.56.125     12102-rac1 : 192.168.56.124     passed         
  12102-rac2 : 192.168.56.25      12102-rac1 : 192.168.56.124     passed         
  12102-rac1 : 192.168.56.108     12102-rac1 : 192.168.56.124     passed         
  12102-rac1 : 192.168.56.26      12102-rac1 : 192.168.56.124     passed         
  12102-rac3 : 192.168.56.29      12102-rac1 : 192.168.56.124     passed         
  12102-rac2 : 192.168.56.22      12102-rac1 : 192.168.56.124     passed         
  12102-rac1 : 192.168.56.28      12102-rac1 : 192.168.56.124     passed         
  12102-rac3 : 192.168.56.27      12102-rac1 : 192.168.56.124     passed         
  12102-rac1 : 192.168.56.124     12102-rac1 : 192.168.56.124     passed         
  12102-rac3 : 192.168.56.127     12102-rac1 : 192.168.56.124     passed         
  12102-rac2 : 192.168.56.125     12102-rac3 : 192.168.56.127     passed         
  12102-rac2 : 192.168.56.25      12102-rac3 : 192.168.56.127     passed         
  12102-rac1 : 192.168.56.108     12102-rac3 : 192.168.56.127     passed         
  12102-rac1 : 192.168.56.26      12102-rac3 : 192.168.56.127     passed         
  12102-rac3 : 192.168.56.29      12102-rac3 : 192.168.56.127     passed         
  12102-rac2 : 192.168.56.22      12102-rac3 : 192.168.56.127     passed         
  12102-rac1 : 192.168.56.28      12102-rac3 : 192.168.56.127     passed         
  12102-rac3 : 192.168.56.27      12102-rac3 : 192.168.56.127     passed         
  12102-rac1 : 192.168.56.124     12102-rac3 : 192.168.56.127     passed         
  12102-rac3 : 192.168.56.127     12102-rac3 : 192.168.56.127     passed         
Result: TCP connectivity check passed for subnet "192.168.56.0"
 
 
Check: Node connectivity using interfaces on subnet "192.168.57.0"
 
Check: Node connectivity of subnet "192.168.57.0"
  Source                          Destination                     Connected?     
  ------------------------------  ------------------------------  ----------------
  12102-rac2[192.168.57.35]       12102-rac1[192.168.57.34]       yes             
  12102-rac2[192.168.57.35]       12102-rac3[192.168.57.37]       yes             
  12102-rac1[192.168.57.34]       12102-rac3[192.168.57.37]       yes             
Result: Node connectivity passed for subnet "192.168.57.0" with node(s) 12102-rac2,12102-rac1,12102-rac3
 
 
Check: TCP connectivity of subnet "192.168.57.0"
  Source                          Destination                     Connected?     
  ------------------------------  ------------------------------  ----------------
  12102-rac2 : 192.168.57.35      12102-rac2 : 192.168.57.35      passed         
  12102-rac1 : 192.168.57.34      12102-rac2 : 192.168.57.35      passed         
  12102-rac3 : 192.168.57.37      12102-rac2 : 192.168.57.35      passed         
  12102-rac2 : 192.168.57.35      12102-rac1 : 192.168.57.34      passed         
  12102-rac1 : 192.168.57.34      12102-rac1 : 192.168.57.34      passed         
  12102-rac3 : 192.168.57.37      12102-rac1 : 192.168.57.34      passed         
  12102-rac2 : 192.168.57.35      12102-rac3 : 192.168.57.37      passed         
  12102-rac1 : 192.168.57.34      12102-rac3 : 192.168.57.37      passed         
  12102-rac3 : 192.168.57.37      12102-rac3 : 192.168.57.37      passed         
Result: TCP connectivity check passed for subnet "192.168.57.0"
 
Checking subnet mask consistency...
Subnet mask consistency check passed for subnet "192.168.56.0".
Subnet mask consistency check passed for subnet "192.168.57.0".
Subnet mask consistency check passed.
 
Result: Node connectivity check passed
 
Checking multicast communication...
 
Checking subnet "192.168.57.0" for multicast communication with multicast group "224.0.0.251"...
Check of subnet "192.168.57.0" for multicast communication with multicast group "224.0.0.251" passed.
 
Check of multicast communication passed.
 
Checking node application existence...
 
Checking existence of VIP node application (required)
  Node Name     Required                  Running?                  Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    yes                       yes                       passed   
  12102-rac2    yes                       yes                       passed   
  12102-rac1    yes                       yes                       passed   
VIP node application check passed
 
Checking existence of NETWORK node application (required)
  Node Name     Required                  Running?                  Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    yes                       yes                       passed   
  12102-rac2    yes                       yes                       passed   
  12102-rac1    yes                       yes                       passed   
NETWORK node application check passed
 
Checking existence of ONS node application (optional)
  Node Name     Required                  Running?                  Comment   
  ------------  ------------------------  ------------------------  ----------
  12102-rac3    no                        yes                       passed   
  12102-rac2    no                        yes                       passed   
  12102-rac1    no                        yes                       passed   
ONS node application check passed
 
 
Checking Single Client Access Name (SCAN)...
   SCAN Name         Node          Running?      ListenerName  Port          Running?   
  ----------------  ------------  ------------  ------------  ------------  ------------
  flex-cluster-scan.gns.localdomain  12102-rac2    true          LISTENER_SCAN1  1521          true       
  flex-cluster-scan.gns.localdomain  12102-rac3    true          LISTENER_SCAN2  1521          true       
  flex-cluster-scan.gns.localdomain  12102-rac1    true          LISTENER_SCAN3  1521          true       
 
Checking TCP connectivity to SCAN listeners...
  Node          ListenerName              TCP connectivity?       
  ------------  ------------------------  ------------------------
  12102-rac3    LISTENER_SCAN1            yes                     
  12102-rac3    LISTENER_SCAN2            yes                     
  12102-rac3    LISTENER_SCAN3            yes                     
TCP connectivity to SCAN listeners exists on all cluster nodes
 
Checking name resolution setup for "flex-cluster-scan.gns.localdomain"...
 
Checking integrity of name service switch configuration file "/etc/nsswitch.conf" ...
Checking if "hosts" entry in file "/etc/nsswitch.conf" is consistent across nodes...
Checking file "/etc/nsswitch.conf" to make sure that only one "hosts" entry is defined
More than one "hosts" entry does not exist in any "/etc/nsswitch.conf" file
Check for integrity of name service switch configuration file "/etc/nsswitch.conf" passed
 
  SCAN Name     IP Address                Status                    Comment   
  ------------  ------------------------  ------------------------  ----------
  flex-cluster-scan.gns.localdomain  192.168.56.108            passed                             
 
Checking SCAN IP addresses...
Check of SCAN IP addresses passed
 
Verification of SCAN VIP and listener setup passed
 
Checking to make sure user "oracle" is not in "root" group
  Node Name     Status                    Comment                 
  ------------  ------------------------  ------------------------
  12102-rac3    passed                    does not exist         
Result: User "oracle" is not part of "root" group. Check passed
 
Checking if Clusterware is installed on all nodes...
Oracle Clusterware is installed on all nodes.
 
Checking if CTSS Resource is running on all nodes...
Check: CTSS Resource running on all nodes
  Node Name                             Status                 
  ------------------------------------  ------------------------
  12102-rac3                            passed                 
CTSS resource check passed
 
Querying CTSS for time offset on all nodes...
Query of CTSS for time offset passed
 
Check CTSS state started...
Check: CTSS state
  Node Name                             State                   
  ------------------------------------  ------------------------
  12102-rac3                            Active                 
CTSS is in Active state. Proceeding with check of clock time offsets on all nodes...
Reference Time Offset Limit: 1000.0 msecs
Check: Reference Time Offset
  Node Name     Time Offset               Status                 
  ------------  ------------------------  ------------------------
  12102-rac3    0.0                       passed                 
 
Time offset is within the specified limits on the following set of nodes:
"[12102-rac3]"
Result: Check of clock time offsets passed
 
 
Oracle Cluster Time Synchronization Services check passed
 
Post-check for node addition was successful.
[oracle@12102-rac1 addnode]$

其他的话,还可以用orachk再次详细的检查。

添加步骤主要参考了官方文档:《Clusterware Administration and Deployment Guide – Adding and Deleting Cluster Nodes》



网友评论已有0条评论, 我也要评论

发表评论

*

* (保密)

Ctrl+Enter 快捷回复