附件发不上来。 
Trace file /oracle/diag/rdbms/app/app/trace/app_smco_5482.trc
Oracle Database 11g Enterprise Edition Release 11.2.0.3.0 - 64bit Production
With the Partitioning, OLAP, Data Mining and Real Application Testing options
ORACLE_HOME = /oracle/product/11.2.0/db_1
System name: Linux
Node name: appDBSERVER
Release: 2.6.32-131.0.15.el6.x86_64
Version: #1 SMP Tue May 10 15:42:40 EDT 2011
Machine: x86_64
Instance name: app
Redo thread mounted by this instance: 1
Oracle process number: 22
Unix process pid: 5482, image: oracle@appDBSERVER (SMCO)
*** 2014-08-03 23:02:41.726
*** SESSION ID:(4161.3) 2014-08-03 23:02:41.726
*** CLIENT ID:() 2014-08-03 23:02:41.726
*** SERVICE NAME:(SYS$BACKGROUND) 2014-08-03 23:02:41.726
*** MODULE NAME:(KTSJ) 2014-08-03 23:02:41.726
*** ACTION NAME:(KTSJ Coordinator) 2014-08-03 23:02:41.726
 
Waited for process W000 to initialize for 60 seconds*** 2014-08-03 23:02:41.749
Process diagnostic dump for W000, OS id=72980 
-------------------------------------------------------------------------------
os thread scheduling delay history: (sampling every 1.000000 secs)
  0.000000 secs at [ 23:02:41 ]
    NOTE: scheduling delay has not been sampled for 0.203651 secs  0.000000 secs from [ 23:02:37 - 23:02:42 ], 5 sec avg
  0.000000 secs from [ 23:01:42 - 23:02:42 ], 1 min avg
  0.000000 secs from [ 22:57:42 - 23:02:42 ], 5 min avg
loadavg : 2.07 1.18 0.62
Memory (Avail / Total) = 471.81M / 32095.73M
Swap (Avail / Total) = 63987.36M /  63999.99M
F S UID        PID  PPID  C PRI  NI ADDR SZ WCHAN  STIME TTY          TIME CMD
0 S oracle   72980     1  0  80   0 - 3204958 semtim 23:01 ?      00:00:00 ora_w000_app*** 2014-08-03 23:02:46.648
Stack:
[Thread debugging using libthread_db enabled]
0x0000003faf8e8f17 in semop () from /lib64/libc.so.6
#0  0x0000003faf8e8f17 in semop () from /lib64/libc.so.6
#1  0x0000000009355767 in sskgpwwait ()
#2  0x000000000935455e in skgpwwait ()
#3  0x0000000008f96c19 in kslges ()
#4  0x0000000008f965c8 in kslgetl ()
#5  0x0000000008f93536 in ksfglt ()
#6  0x000000000932859a in kghalo ()
#7  0x0000000001e9c3de in kksInitSessionState ()
#8  0x0000000000b8bb95 in ksucri ()
#9  0x0000000000ba15f6 in ksucre ()
#10 0x0000000000bde883 in ksvrdp ()
#11 0x0000000002547a4a in opirip ()
#12 0x00000000017e8d4d in opidrv ()
#13 0x0000000001de40bb in sou2o ()
#14 0x0000000000a0b136 in opimai_real ()
#15 0x0000000001dea02c in ssthrdmain ()
#16 0x0000000000a0b01d in main ()
A debugging session is active.
Inferior 1 [process 72980] will be detached.
Quit anyway? (y or n) [answered Y; input not from terminal]
 
-------------------------------------------------------------------------------
Process diagnostic dump actual duration=4.870000 sec
  (max dump time=30.000000 sec)*** 2014-08-03 23:02:46.649*** 2014-08-03 23:02:57.674
Waited for process W000 to initialize for 76 seconds*** 2014-08-03 23:02:57.674
Process diagnostic dump for W000, OS id=72980 
-------------------------------------------------------------------------------
os thread scheduling delay history: (sampling every 1.000000 secs)
  0.000000 secs at [ 23:02:57 ]
    NOTE: scheduling delay has not been sampled for 0.016198 secs  0.000000 secs from [ 23:02:53 - 23:02:58 ], 5 sec avg
  0.000000 secs from [ 23:01:58 - 23:02:58 ], 1 min avg
  0.000000 secs from [ 22:57:58 - 23:02:58 ], 5 min avg
loadavg : 2.34 1.28 0.66
Memory (Avail / Total) = 385.38M / 32095.73M
Swap (Avail / Total) = 63987.36M /  63999.99M
F S UID        PID  PPID  C PRI  NI ADDR SZ WCHAN  STIME TTY          TIME CMD
0 S oracle   72980     1  0  80   0 - 3204958 semtim 23:01 ?      00:00:00 ora_w000_app*** 2014-08-03 23:03:01.327
Stack:
[Thread debugging using libthread_db enabled]
0x0000003faf8e8f17 in semop () from /lib64/libc.so.6
#0  0x0000003faf8e8f17 in semop () from /lib64/libc.so.6
#1  0x0000000009355767 in sskgpwwait ()
#2  0x000000000935455e in skgpwwait ()
#3  0x0000000008f96c19 in kslges ()
#4  0x0000000008f965c8 in kslgetl ()
#5  0x0000000008f93536 in ksfglt ()
#6  0x000000000932859a in kghalo ()
#7  0x0000000001e9c3de in kksInitSessionState ()
#8  0x0000000000b8bb95 in ksucri ()
#9  0x0000000000ba15f6 in ksucre ()
#10 0x0000000000bde883 in ksvrdp ()
#11 0x0000000002547a4a in opirip ()
#12 0x00000000017e8d4d in opidrv ()
#13 0x0000000001de40bb in sou2o ()
#14 0x0000000000a0b136 in opimai_real ()
#15 0x0000000001dea02c in ssthrdmain ()
#16 0x0000000000a0b01d in main ()
A debugging session is active.
Inferior 1 [process 72980] will be detached.
Quit anyway? (y or n) [answered Y; input not from terminal]
 
-------------------------------------------------------------------------------
Process diagnostic dump actual duration=3.650000 sec
  (max dump time=30.000000 sec)*** 2014-08-03 23:03:01.327*** 2014-08-03 23:03:13.339
Waited for process W000 to initialize for 91 seconds*** 2014-08-03 23:03:13.339
Process diagnostic dump for W000, OS id=72980 
-------------------------------------------------------------------------------
os thread scheduling delay history: (sampling every 1.000000 secs)
  0.000000 secs at [ 23:03:12 ]
    NOTE: scheduling delay has not been sampled for 0.606208 secs  0.000000 secs from [ 23:03:08 - 23:03:13 ], 5 sec avg
  0.000000 secs from [ 23:02:13 - 23:03:13 ], 1 min avg
  0.000000 secs from [ 22:58:14 - 23:03:13 ], 5 min avg
loadavg : 2.49 1.37 0.70
Memory (Avail / Total) = 559.61M / 32095.73M
Swap (Avail / Total) = 63987.36M /  63999.99M
F S UID        PID  PPID  C PRI  NI ADDR SZ WCHAN  STIME TTY          TIME CMD
0 S oracle   72980     1  0  80   0 - 3204958 semtim 23:01 ?      00:00:00 ora_w000_app*** 2014-08-03 23:03:16.960
Stack:
[Thread debugging using libthread_db enabled]
0x0000003faf8e8f17 in semop () from /lib64/libc.so.6
#0  0x0000003faf8e8f17 in semop () from /lib64/libc.so.6
#1  0x0000000009355767 in sskgpwwait ()
#2  0x000000000935455e in skgpwwait ()
#3  0x0000000008f96c19 in kslges ()
#4  0x0000000008f965c8 in kslgetl ()
#5  0x0000000008f93536 in ksfglt ()
#6  0x000000000932859a in kghalo ()
#7  0x0000000001e9c3de in kksInitSessionState ()
#8  0x0000000000b8bb95 in ksucri ()
#9  0x0000000000ba15f6 in ksucre ()
#10 0x0000000000bde883 in ksvrdp ()
#11 0x0000000002547a4a in opirip ()
#12 0x00000000017e8d4d in opidrv ()
#13 0x0000000001de40bb in sou2o ()
#14 0x0000000000a0b136 in opimai_real ()
#15 0x0000000001dea02c in ssthrdmain ()
#16 0x0000000000a0b01d in main ()
A debugging session is active.
Inferior 1 [process 72980] will be detached.
Quit anyway? (y or n) [answered Y; input not from terminal]
 
-------------------------------------------------------------------------------
Process diagnostic dump actual duration=3.620000 sec
  (max dump time=30.000000 sec)*** 2014-08-03 23:03:16.961*** 2014-08-03 23:03:28.973
Waited for process W000 to initialize for 107 seconds*** 2014-08-03 23:03:28.973
Process diagnostic dump for W000, OS id=72980 
-------------------------------------------------------------------------------
os thread scheduling delay history: (sampling every 1.000000 secs)
  0.000000 secs at [ 23:03:28 ]
    NOTE: scheduling delay has not been sampled for 0.160286 secs  0.000000 secs from [ 23:03:24 - 23:03:29 ], 5 sec avg
  0.000000 secs from [ 23:02:29 - 23:03:29 ], 1 min avg
  0.000000 secs from [ 22:58:29 - 23:03:29 ], 5 min avg
loadavg : 2.60 1.45 0.73
Memory (Avail / Total) = 544.25M / 32095.73M
Swap (Avail / Total) = 63987.36M /  63999.99M
F S UID        PID  PPID  C PRI  NI ADDR SZ WCHAN  STIME TTY          TIME CMD
0 S oracle   72980     1  0  80   0 - 3204958 semtim 23:01 ?      00:00:00 ora_w000_app*** 2014-08-03 23:03:32.423
Stack:
[Thread debugging using libthread_db enabled]
0x0000003faf8e8f17 in semop () from /lib64/libc.so.6
#0  0x0000003faf8e8f17 in semop () from /lib64/libc.so.6
#1  0x0000000009355767 in sskgpwwait ()
#2  0x000000000935455e in skgpwwait ()
#3  0x0000000008f96c19 in kslges ()
#4  0x0000000008f965c8 in kslgetl ()
#5  0x0000000008f93536 in ksfglt ()
#6  0x000000000932859a in kghalo ()
#7  0x0000000001e9c3de in kksInitSessionState ()
#8  0x0000000000b8bb95 in ksucri ()
#9  0x0000000000ba15f6 in ksucre ()
#10 0x0000000000bde883 in ksvrdp ()
#11 0x0000000002547a4a in opirip ()
#12 0x00000000017e8d4d in opidrv ()
#13 0x0000000001de40bb in sou2o ()
#14 0x0000000000a0b136 in opimai_real ()
#15 0x0000000001dea02c in ssthrdmain ()
#16 0x0000000000a0b01d in main ()
A debugging session is active.
Inferior 1 [process 72980] will be detached.
Quit anyway? (y or n) [answered Y; input not from terminal]
 
-------------------------------------------------------------------------------
Process diagnostic dump actual duration=3.450000 sec
  (max dump time=30.000000 sec)*** 2014-08-03 23:03:32.423*** 2014-08-03 23:03:41.653
Killing process (ospid 72980):  (reason=KSOREQ_WAIT_CANCELLED error=0)
... and the process is still alive after kill!
Incident 681013 created, dump file: /oracle/diag/rdbms/app/app/incident/incdir_681013/app_smco_5482_i681013.trc
ORA-00445: background process "W000" did not start after 120 seconds
*** 2014-08-03 23:06:32.456
Waited for process W002 to initialize for 60 seconds*** 2014-08-03 23:06:32.456
Process diagnostic dump for W002, OS id=73074 
-------------------------------------------------------------------------------
os thread scheduling delay history: (sampling every 1.000000 secs)
  0.000000 secs at [ 23:06:31 ]
    NOTE: scheduling delay has not been sampled for 0.732194 secs  0.000000 secs from [ 23:06:27 - 23:06:32 ], 5 sec avg
  0.000000 secs from [ 23:05:33 - 23:06:32 ], 1 min avg
  0.000000 secs from [ 23:01:33 - 23:06:32 ], 5 min avg
loadavg : 1.83 1.67 0.95
Memory (Avail / Total) = 548.94M / 32095.73M
Swap (Avail / Total) = 63987.37M /  63999.99M
F S UID        PID  PPID  C PRI  NI ADDR SZ WCHAN  STIME TTY          TIME CMD
0 S oracle   73074     1  0  80   0 - 3204958 semtim 23:05 ?      00:00:00 ora_w002_app*** 2014-08-03 23:06:35.493
Stack:

解决方案 »

  1.   

    找大版主看看嘛,DBA方面的知识我也比较欠缺啊 
      

  2.   

    你看看这个和你现象一致吗?参考下吧
    http://www.blogjava.net/decode360/archive/2009/06/23/287745.html
      

  3.   

    提供下故障时段的操作系统日志以及pmon的trace文件可能和系统问题有关
      

  4.   


    这里好像没看见上传附件的。  
    http://www.itpub.net/forum.php?mod=viewthread&tid=1881616&page=1#pid22524952  
    这里面我把trace文件上传了。  看看。  
      

  5.   

    里面没有我说的两类文件...
    /var/log/message
    &
    *pmon*.trc
      

  6.   

    把你的spfile 贴出来看看呗~
      

  7.   


    app.__db_cache_size=5100273664
    app.__java_pool_size=33554432
    app.__large_pool_size=33554432
    app.__oracle_base='/oracle'#ORACLE_BASE set from environment
    app.__pga_aggregate_target=10737418240
    app.__sga_target=12884901888
    app.__shared_io_pool_size=0
    app.__shared_pool_size=7616856064
    app.__streams_pool_size=33554432
    *.audit_file_dest='/oracle/admin/app/adump'
    *.audit_trail='db'
    *.compatible='11.2.0.0.0'
    *.control_files='/oracle/oradata/app/control01.ctl','/oracle/fast_recovery_area/app/control02.ctl','/home/oracle/oradata/app/control03.ctl'
    *.db_block_size=8192
    *.db_name='app'
    *.db_recovery_file_dest='/oracle/fast_recovery_area'
    *.db_recovery_file_dest_size=4322230272
    *.diagnostic_dest='/oracle'
    *.dispatchers='(PROTOCOL=TCP) (SERVICE=appXDB)'
    *.open_cursors=300
    *.pga_aggregate_target=10737418240
    *.processes=3000
    *.remote_login_passwordfile='EXCLUSIVE'
    *.sec_case_sensitive_logon=FALSE
    *.sessions=3105
    *.sga_target=12884901888
    *.undo_tablespace='UNDOTBS1'
      

  8.   

    csdn有办法传附件的吗?传到itpub了
    http://www.itpub.net/forum.php?mod=viewthread&tid=1881616&page=1#pid22526226  
    在6#
      

  9.   

    Aug  3 03:40:00 APPDBSERVER fcoemon: error 98 Address already in use
    Aug  3 03:40:00 APPDBSERVER fcoemon: clif bind failed系统日志里一直在报这个错误。不知道是否和宕机时一样。8月4日出故障,你给了8月3日的日志,无语...
    这个错误貌似和存储有关,检查一下
      

  10.   

    listener.ora
    ---------------------------------------------------------------------------------
    # listener.ora Network Configuration File: /oracle/product/11.2.0/db_1/network/admin/listener.ora
    # Generated by Oracle configuration tools.SID_LIST_LISTENER =
      (SID_LIST =
        (SID_DESC =
          (SID_NAME = PLSExtProc)
          (ORACLE_HOME = /oracle/product/11.2.0/db_1)
          (PROGRAM = extproc)
        )
        (SID_DESC =
          (GLOBAL_DBNAME = APP)
          (ORACLE_HOME = /oracle/product/11.2.0/db_1)
          (SID_NAME = APP)
        )
      )LISTENER =
      (DESCRIPTION_LIST =
        (DESCRIPTION =
          (ADDRESS = (PROTOCOL = IPC)(KEY = EXTPROC1521))
          (ADDRESS = (PROTOCOL = TCP)(HOST = APPDBSERVER)(PORT = 1521))
        )
      )ADR_BASE_LISTENER = /oracle
    DIAG_ADR_ENABLED_LISTENER = OFF
    INBOUND_CONNECT_TIME_LISTENER = 0
    ---------------------------------------------------------------------------------
    tnsnames.ora
    ---------------------------------------------------------------------------------
    # tnsnames.ora Network Configuration File: /oracle/product/11.2.0/db_1/network/admin/tnsnames.ora
    # Generated by Oracle configuration tools.APP =
      (DESCRIPTION =
        (ADDRESS = (PROTOCOL = TCP)(HOST = APPDBSERVER)(PORT = 1521))
        (CONNECT_DATA =
          (SERVER = DEDICATED)
          (SERVICE_NAME = app)
        )
      )
    ---------------------------------------------------------------------------------sqlnet.ora 
    ---------------------------------------------------------------------------------
    # sqlnet.ora Network Configuration File: /oracle/product/11.2.0/db_1/network/admin/sqlnet.ora
    # Generated by Oracle configuration tools.NAMES.DIRECTORY_PATH= (TNSNAMES, EZCONNECT)ADR_BASE = /oracle
    tcp.validnode_checking=no
    DIAG_ADR_ENABLED = OFF
    SQLNET.INBOUND_CONNECT_TIMEOUT=0---------------------------------------------------------------------------------
      

  11.   

    不知道怎么处理你的问题~
    如果我遇到这种情况,又不知道怎么处理.
    先现这台服务器上再建一个数据库,看会不会出这样的错,如果会,就是系统和软件的问题.
    如果不会,把参数文件最小化,再nomount,再mount,再open~
    看在那里出错.一步步确认.
      

  12.   


    因为是生产服务器, 所以不能够随便创建。 
    linux红帽6.2 安装vnc后 好像曾经导致过 df -h 无法执行完成的情况。  现在禁用掉vnc  ,看看错误是否还会重现。 主要是 坑爹的机房,最近天气太热了,停电了几次。