求助：Oracle11gRAC节点实例自动停止

本帖最后由 largerock2003 于 2010-11-02 19:18:51 编辑

解决方案 »

  1.   


    ORA-29702: error occurred in Cluster Group Service operation 
    Cause: An unexpected error occurred while performing a CGS operation.
     
    Action: Verify that the LMON process is still active. Also, check the Oracle LMON trace files for errors.
     只有实例offline？  其他进程呢？  看下CRS 日志还有其他信息没有？  RAC 用的是什么架构？ raw+asm？看一下系统的日志：
    /var/log/message------------------------------------------------------------------------------ 
    Blog： http://blog.csdn.net/tianlesoftware 
    网上资源： http://tianlesoftware.download.csdn.net 
    相关视频：http://blog.csdn.net/tianlesoftware/archive/2009/11/27/4886500.aspx 
    DBA1 群：62697716(满); DBA2 群：62697977(满)
    DBA3 群：62697850   DBA 超级群：63306533;     
    聊天 群：40132017
    --加群需要在备注说明Oracle表空间和数据文件的关系，否则拒绝申请
      

  2.   

    恩，就是 raw+asm的。只有实例offline
      

  3.   

    target和state的状态都是offline还是traget是online而state是offline，检查一下crsd.log或者手动单独试试只启动出错node的instance，而不启动另一个。再看看情况。
      

  4.   

    我昨天仔细看了下是这样的，所有情况下target都是online的，会offline的只有state。一种情况是节点1只有实例进程offline时候，整个数据库还可以使用，估计是节点2在提供服务。第二种情况是节点1的实例进程以及jsd的进程state都offline了，这个时候虽然节点2的state都正常，但是整个数据库就无法使用。
    crsd.log 如下：
    2010-11-01 18:24:24.712: [  CRSRES][62442384] Stop of `ora.rac1.ASM1.asm` on member `rac1` succeeded.
    2010-11-01 18:24:24.721: [  CRSRES][62442384] rac2 : CRS-1019: Resource ora.rac1.ASM1.asm (application) cannot run on rac2
    2010-11-02 14:20:14.329: [  CRSEVT][62442384] CAAMonitorHandler :: 0:Could not join /u01/app/oracle/product/11.1.0/crs_1/bin/racgwrap(check)
    category: 1234, operation: scls_process_join, loc: childcrash, OS error: 0, other: Abnormal termination of the child2010-11-02 14:20:14.329: [  CRSEVT][62442384] CAAMonitorHandler :: 0:Action Script /u01/app/oracle/product/11.1.0/crs_1/bin/racgwrap(check) timed out for ora.rac1.vip! (timeout=60)
    2010-11-02 14:20:14.329: [  CRSAPP][62442384] CheckResource error for ora.rac1.vip error code = -2
    2010-11-02 14:57:39.383: [  CRSEVT][58239888] Error dispatching EVM event; reconnecting
    2010-11-02 14:57:39.565: [ COMMCRS][2798599056]clsc_connect: (0xae516a08) no listener at (ADDRESS=(PROTOCOL=ipc)(KEY=SYSTEM.evm.acceptor.auth))2010-11-02 14:57:40.746: [ COMMCRS][2798599056]clsc_connect: (0xae516a08) no listener at (ADDRESS=(PROTOCOL=ipc)(KEY=SYSTEM.evm.acceptor.auth))2010-11-02 14:57:41.428: [ COMMCRS][2798599056]clsc_connect: (0xae516a08) no listener at (ADDRESS=(PROTOCOL=ipc)(KEY=SYSTEM.evm.acceptor.auth))2010-11-02 14:57:42.359: [ COMMCRS][2798599056]clsc_connect: (0xae516a08) no listener at (ADDRESS=(PROTOCOL=ipc)(KEY=SYSTEM.evm.acceptor.auth))2010-11-02 14:57:43.789: [ COMMCRS][2798599056]clsc_connect: (0xae516a08) no listener at (ADDRESS=(PROTOCOL=ipc)(KEY=SYSTEM.evm.acceptor.auth))2010-11-02 14:57:45.220: [ COMMCRS][2798599056]clsc_connect: (0xae516a08) no listener at (ADDRESS=(PROTOCOL=ipc)(KEY=SYSTEM.evm.acceptor.auth))2010-11-02 14:57:45.901: [ COMMCRS][2798599056]clsc_connect: (0xae516a08) no listener at (ADDRESS=(PROTOCOL=ipc)(KEY=SYSTEM.evm.acceptor.auth))2010-11-02 14:57:46.777: [  OCRSRV][2913987472]th_select_w_f_r: smwait error [1]
    2010-11-02 14:57:46.777: [  OCRSRV][2937031568]th_select_w_f_r: smwait error [1]
    2010-11-02 14:57:46.777: [  OCRSRV][2924477328]th_select_w_f_r: smwait error [1]
    2010-11-02 14:57:46.777: [  OCRRAW][74300304]pr_io_wait: Error in smwait. retry.
    2010-11-02 14:57:46.777: [  OCRSRV][2882517904]th_select_w_f_r: smwait error [1]
    2010-11-02 14:57:46.777: [  OCRSRV][2958011280]th_select_w_f_r: smwait error [1]
    2010-11-02 14:57:46.777: [  OCRSRV][2947521424]th_select_w_f_r: smwait error [1]
    2010-11-02 14:57:46.777: [  OCRSRV][2872028048]th_select_w_f_r: smwait error [1]
    2010-11-02 15:02:17.190: [ default][3086612880] CRS Daemon Starting
    2010-11-02 15:02:17.204: [ CRSMAIN][3086612880] Checking the OCR device
    2010-11-02 15:02:17.209: [ CRSMAIN][3086612880] Connecting to the CSS Daemon
    2010-11-02 15:02:17.455: [ COMMCRS][51907472]clsc_connect: (0x8fee720) no listener at (ADDRESS=(PROTOCOL=ipc)(KEY=OCSSD_LL_rac1_))2010-11-02 15:02:17.455: [ CSSCLNT][3086612880]clsssInitNative: failed to connect to (ADDRESS=(PROTOCOL=ipc)(KEY=OCSSD_LL_rac1_)), rc 92010-11-02 15:02:17.461: [  CRSRTI][3086612880] CSS is not ready. Received status 3 from CSS. Waiting for good status .. 2010-11-02 15:02:18.660: [ COMMCRS][51907472]clsc_connect: (0x8fee720) no listener at (ADDRESS=(PROTOCOL=ipc)(KEY=OCSSD_LL_rac1_))2010-11-02 15:02:18.660: [ CSSCLNT][3086612880]clsssInitNative: failed to connect to (ADDRESS=(PROTOCOL=ipc)(KEY=OCSSD_LL_rac1_)), rc 92010-11-02 15:02:18.660: [  CRSRTI][3086612880] CSS is not ready. Received status 3 from CSS. Waiting for good status .. 2010-11-02 15:02:19.842: [ COMMCRS][51907472]clsc_connect: (0x8fee720) no listener at (ADDRESS=(PROTOCOL=ipc)(KEY=OCSSD_LL_rac1_))2010-11-02 15:02:19.843: [ CSSCLNT][3086612880]clsssInitNative: failed to connect to (ADDRESS=(PROTOCOL=ipc)(KEY=OCSSD_LL_rac1_)), rc 92010-11-02 15:02:19.843: [  CRSRTI][3086612880] CSS is not ready. Received status 3 from CSS. Waiting for good status .. 2010-11-02 15:02:21.041: [ COMMCRS][51907472]clsc_connect: (0x8fee720) no listener at (ADDRESS=(PROTOCOL=ipc)(KEY=OCSSD_LL_rac1_))2010-11-02 15:02:21.042: [ CSSCLNT][3086612880]clsssInitNative: failed to connect to (ADDRESS=(PROTOCOL=ipc)(KEY=OCSSD_LL_rac1_)), rc 92010-11-02 15:02:21.042: [  CRSRTI][3086612880] CSS is not ready. Received status 3 from CSS. Waiting for good status .. 2010-11-02 15:02:22.377: [ CRSMAIN][3086612880] CRSD running as the Privileged user
      

  5.   

    crsd的log，上个回复字数不够
    2010-11-02 15:02:22.592: [  CLSVER][3086612880] Active Version from OCR:11.1.0.6.0
    2010-11-02 15:02:22.592: [  CLSVER][3086612880] Active Version and Software Version are same
    2010-11-02 15:02:22.592: [ CRSMAIN][3086612880] Initializing OCR
    2010-11-02 15:02:22.600: [  OCRRAW][3086612880]proprioo: for disk 0 (/u01/raw/asmdisk2), id match (1), my id set (1619400550,1028247821) total id sets (1), 1st set (1619400550,1028247821), 2nd set (0,0) my votes (2), total votes (2)
    2010-11-02 15:02:22.636: [    CRSD][3086612880] ENV Logging level for Module: allcomp  0
    2010-11-02 15:02:22.637: [    CRSD][3086612880] ENV Logging level for Module: default  0
    2010-11-02 15:02:22.638: [    CRSD][3086612880] ENV Logging level for Module: OCRRAW  0
    2010-11-02 15:02:22.639: [    CRSD][3086612880] ENV Logging level for Module: OCROSD  0
    2010-11-02 15:02:22.640: [    CRSD][3086612880] ENV Logging level for Module: OCRCAC  0
    2010-11-02 15:02:22.641: [    CRSD][3086612880] ENV Logging level for Module: COMMCRS  0
    2010-11-02 15:02:22.642: [    CRSD][3086612880] ENV Logging level for Module: COMMNS  0
    2010-11-02 15:02:22.643: [    CRSD][3086612880] ENV Logging level for Module: CRSUI  0
    2010-11-02 15:02:22.643: [    CRSD][3086612880] ENV Logging level for Module: CRSCOMM  0
    2010-11-02 15:02:22.644: [    CRSD][3086612880] ENV Logging level for Module: CRSRTI  0
    2010-11-02 15:02:22.645: [    CRSD][3086612880] ENV Logging level for Module: CRSMAIN  0
    2010-11-02 15:02:22.646: [    CRSD][3086612880] ENV Logging level for Module: CRSPLACE  0
    2010-11-02 15:02:22.647: [    CRSD][3086612880] ENV Logging level for Module: CRSAPP  0
    2010-11-02 15:02:22.648: [    CRSD][3086612880] ENV Logging level for Module: CRSRES  0
    2010-11-02 15:02:22.648: [    CRSD][3086612880] ENV Logging level for Module: CRSOCR  0
    2010-11-02 15:02:22.649: [    CRSD][3086612880] ENV Logging level for Module: CRSTIMER  0
    2010-11-02 15:02:22.650: [    CRSD][3086612880] ENV Logging level for Module: CRSEVT  0
    2010-11-02 15:02:22.651: [    CRSD][3086612880] ENV Logging level for Module: CRSD  0
    2010-11-02 15:02:22.652: [    CRSD][3086612880] ENV Logging level for Module: CLUCLS  0
    2010-11-02 15:02:22.653: [    CRSD][3086612880] ENV Logging level for Module: CLSVER  0
    2010-11-02 15:02:22.653: [    CRSD][3086612880] ENV Logging level for Module: CSSCLNT  0
    2010-11-02 15:02:22.654: [    CRSD][3086612880] ENV Logging level for Module: OCRAPI  0
    2010-11-02 15:02:22.655: [    CRSD][3086612880] ENV Logging level for Module: OCRUTL  0
    2010-11-02 15:02:22.656: [    CRSD][3086612880] ENV Logging level for Module: OCRMSG  0
    2010-11-02 15:02:22.657: [    CRSD][3086612880] ENV Logging level for Module: OCRCLI  0
    2010-11-02 15:02:22.665: [    CRSD][3086612880] ENV Logging level for Module: OCRSRV  0
    2010-11-02 15:02:22.666: [    CRSD][3086612880] ENV Logging level for Module: OCRMAS  0
    2010-11-02 15:02:22.666: [ CRSMAIN][3086612880] Filename is /u01/app/oracle/product/11.1.0/crs_1/crs/init/rac1.pid
    [  clsdmt][2862574480]Listening to (ADDRESS=(PROTOCOL=ipc)(KEY=rac1DBG_CRSD))
    2010-11-02 15:02:22.688: [ CRSMAIN][3086612880] Using Authorizer location: /u01/app/oracle/product/11.1.0/crs_1/crs/auth/
    2010-11-02 15:02:22.705: [ CRSMAIN][3086612880] Initializing RTI
    2010-11-02 15:02:22.717: [ CRSMAIN][3086612880] Initializing EVMMgr
    2010-11-02 15:02:22.717: [CRSTIMER][2841594768] Timer Thread Starting.
    2010-11-02 15:02:22.915: [ COMMCRS][2831104912]clsc_connect: (0xb5624560) no listener at (ADDRESS=(PROTOCOL=ipc)(KEY=SYSTEM.evm.acceptor.auth))2010-11-02 15:02:23.365: [ COMMCRS][2831104912]clsc_connect: (0xb56245f8) no listener at (ADDRESS=(PROTOCOL=ipc)(KEY=SYSTEM.evm.acceptor.auth))2010-11-02 15:02:24.442: [ CRSMAIN][3086612880] CRSD locked during state recovery, please wait.
    2010-11-02 15:02:24.494: [ CRSMAIN][3086612880] CRSD recovered, unlocked.
    2010-11-02 15:02:24.495: [ CRSMAIN][3086612880] QS socket on: (ADDRESS=(PROTOCOL=ipc)(KEY=ora_crsqs))
    2010-11-02 15:02:24.499: [ CRSMAIN][3086612880] CRSD UI socket on: (ADDRESS=(PROTOCOL=ipc)(KEY=CRSD_UI_SOCKET))
    2010-11-02 15:02:24.501: [ CRSMAIN][3086612880] E2E socket on: (ADDRESS=(PROTOCOL=tcp)(HOST=rac1-priv)(PORT=49896))
    2010-11-02 15:02:24.501: [ CRSMAIN][3086612880] Starting Threads
    2010-11-02 15:02:24.501: [ CRSMAIN][3086612880] CRS Daemon Started.
    2010-11-02 15:02:24.501: [ CRSMAIN][116947856] Starting runCommandServer for (UI = 1, E2E = 0). 0
    2010-11-02 15:02:24.501: [ CRSMAIN][119049104] Starting runCommandServer for (UI = 1, E2E = 0). 1
    2010-11-02 15:02:24.520: [  CRSRES][3086612880]  startup = 1
    2010-11-02 15:02:24.532: [  CRSRES][3086612880]  startup = 1
    2010-11-02 15:02:24.546: [  CRSRES][3086612880]  startup = 1
    2010-11-02 15:02:24.558: [  CRSRES][3086612880]  startup = 1
    2010-11-02 15:02:24.574: [  CRSRES][3086612880]  startup = 1
    2010-11-02 15:02:24.622: [  CRSRES][2776554384] StopResource: setting CLI values
    2010-11-02 15:02:24.634: [  CRSRES][2776554384] Attempting to stop `ora.rac1.vip` on member `rac2`
    2010-11-02 15:02:24.646: [  CRSRES][2774453136] startRunnable: setting CLI values
    2010-11-02 15:02:24.649: [  CRSRES][2774453136] Attempting to start `ora.rac1.ASM1.asm` on member `rac1`
    2010-11-02 15:02:24.918: [  CRSRES][2776554384] Stop of `ora.rac1.vip` on member `rac2` succeeded.
    2010-11-02 15:02:24.924: [  CRSRES][2776554384] startRunnable: setting CLI values
    2010-11-02 15:02:24.924: [  CRSRES][2776554384] Attempting to start `ora.rac1.vip` on member `rac1`
    2010-11-02 15:02:29.322: [  CRSRES][2776554384] Start of `ora.rac1.vip` on member `rac1` succeeded.
    2010-11-02 15:02:29.360: [  CRSRES][2776554384] startRunnable: setting CLI values
    2010-11-02 15:02:29.366: [  CRSRES][2776554384] Attempting to start `ora.rac1.LISTENER_RAC1.lsnr` on member `rac1`
    2010-11-02 15:02:35.564: [  CRSRES][2776554384] Start of `ora.rac1.LISTENER_RAC1.lsnr` on member `rac1` succeeded.
    2010-11-02 15:02:36.546: [  CRSRES][2740882320] CRS-1002: Resource 'ora.rac1.LISTENER_RAC1.lsnr' is already running on member 'rac1'2010-11-02 15:02:47.166: [  CRSRES][2740882320] startRunnable: setting CLI values
    2010-11-02 15:02:47.172: [  CRSRES][2740882320] Attempting to start `ora.rac1.ons` on member `rac1`
    2010-11-02 15:02:48.610: [  CRSRES][2740882320] Start of `ora.rac1.ons` on member `rac1` succeeded.
    2010-11-02 15:02:48.636: [  CRSRES][2774453136] Start of `ora.rac1.ASM1.asm` on member `rac1` succeeded.
    2010-11-02 15:02:48.657: [  CRSRES][2774453136] startRunnable: setting CLI values
    2010-11-02 15:02:48.660: [  CRSRES][2774453136] Attempting to start `ora.rac.rac1.inst` on member `rac1`
      

  6.   

    对于手动启动进程也试过了。结果是这样的：
    [root@rac1 bin]# ./crs_start ora.rac.rac1.inst
    Attempting to start `ora.rac.rac1.inst` on member `rac1`
    Start of `ora.rac.rac1.inst` on member `rac1` failed.
    rac2 : CRS-1018: Resource ora.rac1.ASM1.asm (application) is already running on rac1///停止ora.rac1.ASM1.asm，再启动实例，出现以下信息[root@rac1 bin]# ./crs_start ora.rac.rac1.inst
    Attempting to start `ora.rac1.ASM1.asm` on member `rac1`
    Start of `ora.rac1.ASM1.asm` on member `rac1` succeeded.
    Attempting to start `ora.rac.rac1.inst` on member `rac1`
    Start of `ora.rac.rac1.inst` on member `rac1` failed.
    Attempting to stop `ora.rac1.ASM1.asm` on member `rac1`
    Stop of `ora.rac1.ASM1.asm` on member `rac1` succeeded.
    rac2 : CRS-1019: Resource ora.rac1.ASM1.asm (application) cannot run on rac2CRS-0215: Could not start resource 'ora.rac.rac1.inst'.