系统环境:
虚拟机环境,2台linux5.4 做rac节点,1台linux5.4做 iscsi target端 共享存储 ,现在新加了一台rac3节点。
增加节点前,系统环境如下:
[root@rac2 ~]# fdisk -l
Disk /dev/sda: 21.4 GB, 21474836480 bytes
255 heads, 63 sectors/track, 2610 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1          17      136521   83  Linux
/dev/sda2              18        1165     9221310   83  Linux
/dev/sda3            1166        1293     1028160   82  Linux swap / SolarisDisk /dev/sdb: 42.9 GB, 42949672960 bytes
255 heads, 63 sectors/track, 5221 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1               1         730     5863693+  83  LinuxDisk /dev/sdc: 205 MB, 205599744 bytes
4 heads, 51 sectors/track, 1968 cylinders
Units = cylinders of 204 * 512 = 104448 bytes   Device Boot      Start         End      Blocks   Id  System
/dev/sdc1               1        1023      104320+  83  LinuxDisk /dev/sdd: 205 MB, 205632000 bytes
7 heads, 57 sectors/track, 1006 cylinders
Units = cylinders of 399 * 512 = 204288 bytes   Device Boot      Start         End      Blocks   Id  System
/dev/sdd1               1        1006      200668+  83  LinuxDisk /dev/sde: 106 MB, 106928640 bytes
4 heads, 51 sectors/track, 1023 cylinders
Units = cylinders of 204 * 512 = 104448 bytes   Device Boot      Start         End      Blocks   Id  System
/dev/sde1               1        1023      104320+  83  LinuxDisk /dev/sdf: 106 MB, 106896384 bytes
4 heads, 51 sectors/track, 1023 cylinders
Units = cylinders of 204 * 512 = 104448 bytes   Device Boot      Start         End      Blocks   Id  System
/dev/sdf1               1        1023      104320+  83  LinuxDisk /dev/sdg: 106 MB, 106896384 bytes
4 heads, 51 sectors/track, 1023 cylinders
Units = cylinders of 204 * 512 = 104448 bytes   Device Boot      Start         End      Blocks   Id  System
/dev/sdg1               1        1023      104320+  83  LinuxDisk /dev/sdh: 20.0 GB, 20012073984 bytes
64 heads, 32 sectors/track, 19085 cylinders
Units = cylinders of 2048 * 512 = 1048576 bytes   Device Boot      Start         End      Blocks   Id  System
/dev/sdh1               1       19085    19543024   83  LinuxDisk /dev/sdi: 20.0 GB, 20012073984 bytes
64 heads, 32 sectors/track, 19085 cylinders
Units = cylinders of 2048 * 512 = 1048576 bytes   Device Boot      Start         End      Blocks   Id  System
/dev/sdi1               1       19085    19543024   83  LinuxDisk /dev/sdj: 15.0 GB, 15011103744 bytes
64 heads, 32 sectors/track, 14315 cylinders
Units = cylinders of 2048 * 512 = 1048576 bytes   Device Boot      Start         End      Blocks   Id  System
/dev/sdj1               1       14315    14658544   83  Linux[root@rac2 ~]# cat /etc/udev/rules.d/60-raw.rules
# Enter raw device bindings here.
#
# An example would be:
#   ACTION=="add", KERNEL=="sda", RUN+="/bin/raw /dev/raw/raw1 %N"
# to bind /dev/raw/raw1 to /dev/sda, or
#   ACTION=="add", ENV{MAJOR}=="8", ENV{MINOR}=="1", RUN+="/bin/raw /dev/raw/raw2 %M %m"
# to bind /dev/raw/raw2 to the device with major 8, minor 1.
ACTION=="add", KERNEL=="sdc1", RUN+="/bin/raw /dev/raw/raw1 %N"
ACTION=="add", KERNEL=="sdd1", RUN+="/bin/raw /dev/raw/raw2 %N"
ACTION=="add", KERNEL=="sde1", RUN+="/bin/raw /dev/raw/raw3 %N"
ACTION=="add", KERNEL=="sdf1", RUN+="/bin/raw /dev/raw/raw4 %N"
ACTION=="add", KERNEL=="sdg1", RUN+="/bin/raw /dev/raw/raw5 %N"
KERNEL=="raw[1-5]", MODE="0775", GROUP="oinstall", OWNER="oracle"[root@rac2 ~]# ll /dev/raw
total 0
crwxrwxr-x 1 oracle oinstall 162, 1 May  5 20:34 raw1  ##集群注册表 (OCR) 位置
crwxrwxr-x 1 oracle oinstall 162, 2 May  5 20:34 raw2 ##集群注册表 (OCR) 位置
crwxrwxr-x 1 oracle oinstall 162, 3 May  5 22:18 raw3 ##表决磁盘位置
crwxrwxr-x 1 oracle oinstall 162, 4 May  5 22:18 raw4 ##表决磁盘位置
crwxrwxr-x 1 oracle oinstall 162, 5 May  5 22:18 raw5 ##表决磁盘位置[root@rac2 ~]# /etc/init.d/oracleasm querydisk -d VOL1
Disk "VOL1" is a valid ASM disk on device /dev/sdh1[8,113]
[root@rac2 ~]# /etc/init.d/oracleasm querydisk -d VOL2
Disk "VOL2" is a valid ASM disk on device /dev/sdi1[8,129][root@rac2 ~]# /etc/init.d/oracleasm listdisks -h
VOL1
VOL2
在 rac3(新)节点上,操作如下:
[oracle@rac3 ~]$ /etc/init.d/oracleasm listdisks
VOL1
VOL2
[oracle@rac3 ~]$ /etc/init.d/oracleasm querydisk -d  VOL1
Disk "VOL1" is a valid ASM disk on device /dev/sdh1[8,113]
[oracle@rac3 ~]$ /etc/init.d/oracleasm querydisk -d  VOL2
Disk "VOL2" is a valid ASM disk on device /dev/sdi1[8,129][oracle@rac3 ~]$ crs_stat -t
Name           Type           Target    State     Host        
------------------------------------------------------------
ora....SM1.asm application    ONLINE    ONLINE    rac1        
ora....C1.lsnr application    ONLINE    ONLINE    rac1        
ora.rac1.gsd   application    ONLINE    ONLINE    rac1        
ora.rac1.ons   application    ONLINE    ONLINE    rac1        
ora.rac1.vip   application    ONLINE    ONLINE    rac1        
ora....SM2.asm application    ONLINE    ONLINE    rac2        
ora....C2.lsnr application    ONLINE    ONLINE    rac2        
ora.rac2.gsd   application    ONLINE    ONLINE    rac2        
ora.rac2.ons   application    ONLINE    ONLINE    rac2        
ora.rac2.vip   application    ONLINE    ONLINE    rac2        
ora....SM3.asm application    ONLINE    ONLINE    rac3        
ora....C3.lsnr application    ONLINE    ONLINE    rac3        
ora.rac3.gsd   application    ONLINE    ONLINE    rac3        
ora.rac3.ons   application    ONLINE    ONLINE    rac3        
ora.rac3.vip   application    ONLINE    ONLINE    rac3        
ora.racdb.db   application    ONLINE    ONLINE    rac3        
ora....b1.inst application    ONLINE    ONLINE    rac1        
ora....b2.inst application    ONLINE    ONLINE    rac2        
ora....licy.cs application    ONLINE    ONLINE    rac1        
ora....db1.srv application    ONLINE    ONLINE    rac1        
ora....db2.srv application    ONLINE    ONLINE    rac2      [oracle@rac3 ~]$ ll /dev/raw
total 0
crwxrwxr-x 1 oracle oinstall 162, 1 May  5 20:34 raw1
crwxrwxr-x 1 oracle oinstall 162, 2 May  5 20:34 raw2
crwxrwxr-x 1 oracle oinstall 162, 3 May  5 22:27 raw3
crwxrwxr-x 1 oracle oinstall 162, 4 May  5 22:27 raw4
crwxrwxr-x 1 oracle oinstall 162, 5 May  5 22:27 raw5现在的问题是, 添加实例到新节点(rac3),dbca 运行到 最后一步报错如下:
the directories “[+DATA1,+DATA1/racdb]" are not on cluster file system partitions shared across nodes "rac1,rac2,rac3"
请各位高手帮忙!

解决方案 »

  1.   

    检查看看rac3上的asm实例中,磁盘组是否都mount上了
      

  2.   

    [root@rac3 ~]# /etc/init.d/oracleasm status
    Checking if ASM is loaded: yes
    Checking if /dev/oracleasm is mounted: yes
    [root@rac3 ~]# /etc/init.d/oracleasm listdisks
    VOL1
    VOL2都ok啊
      

  3.   

    不是这个mount
    export ORACLE_SID=+ASM3sqlplus / as sysdbaSQL> select name,state from v$asm_diskgroup;看看是否都挂载上了,没有的话SQL> alter diskgroup xxxx  mount;
      

  4.   

    SQL> select name,state from v$asm_disk;NAME    STATE
    -------------------------------------------------- --------
    VOL1    NORMAL
    VOL2    NORMAL