数据库小白求救，生产数据库宕机，重启后恢复，求原因。

Question

我们公司没DBA，只能我自己来，大约3个月宕机一次，都是重启后回复。现领导发飙了，求帮找解决办法。
这是日志，我看都看不懂啊！！！
贴出最后一段的日志代码：
Sun Apr 07 16:43:23 2013
Successfully onlined Undo Tablespace 1.
Sun Apr 07 16:43:23 2013
SMON: enabling tx recovery
Sun Apr 07 16:43:23 2013
Database Characterset is ZHS16GBK
replication_dependency_tracking turned off (no async multimaster replication found)
Starting background process QMNC
QMNC started with pid=66, OS id=2812
Sun Apr 07 16:43:26 2013
Completed: alter database open
Sun Apr 07 16:43:26 2013
db_recovery_file_dest_size of 2048 MB is 0.00% used. This is a
user-specified limit on the amount of space that will be used by this
database for recovery-related files, and does not reflect the amount of
space available in the underlying filesystem or ASM diskgroup.
Sun Apr 07 16:43:33 2013
ORA-00060: Deadlock detected. More info in file c:\oracle\product\10.2.0\admin\powerdes\bdump\powerdes_j000_2828.trc.Sun Apr 07 16:49:29 2013
Memory Notification: Library Cache Object loaded into SGA
Heap size 3593K exceeds notification threshold (2048K)
KGL object name :XDB.XDbD/PLZ01TcHgNAgAIIegtw== Sun Apr 07 16:49:29 2013
Memory Notification: Library Cache Object loaded into SGA
Heap size 3567K exceeds notification threshold (2048K)
Details in trace file c:\oracle\product\10.2.0\admin\powerdes\udump\powerdes_ora_2320.trc
KGL object name :XDB.XDu/PI0iRzTEGxuDs2f3+xyg== 数据库database

Answer 1

死锁问题呢　ORA-00060: Deadlock detected先看一下这个跟踪文件的内容：
More info in file c:\oracle\product\10.2.0\admin\powerdes\bdump\powerdes_j000_2828.trc.

Answer 2

这个文件如下：
----------------------------------------
 sqltxt(000007FF91F7E878)=select /*+ rule */ bucket, endpoint, col#, epvalue from histgrm$ where obj#=:1 and intcol#=:2 and row#=:3 order by bucket
  hash=cd3744da5e17066dd59d0eedbbcee4f7
  parent=000007FF8AF5CD40 maxchild=01 plk=000007FF8EBF7F08 ppn=n
cursor instantiation=0000000010ABFCE0
 child#0(000007FF91F7E650) pcs=000007FF8AF5C950
  clk=000007FF8EBDC018 ci=000007FF8AF5BAB0 pn=0000000000000000 ctx=000007FF89F590F8
 kgsccflg=5 llk[0000000015C6EF50,0000000010A20D98] idx=f8
 xscflg=a0141436 fl2=5000401 fl3=2210c fl4=0
 Bind bytecodes
  Opcode = 1   Unoptimized 
  Offsi = 48, Offsi = 0
  Opcode = 1   Unoptimized 
  Offsi = 48, Offsi = 32
  Opcode = 1   Unoptimized 
  Offsi = 48, Offsi = 64
kkscoacd
 Bind#0
  oacdty=02 mxl=22(22) mxlc=00 mal=00 scl=00 pre=00
  oacflg=08 fl2=0001 frm=00 csi=00 siz=24 off=0
  kxsbbbfp=15c6d0c8  bln=22  avl=04  flg=05
  value=50271
 Bind#1
  oacdty=02 mxl=22(22) mxlc=00 mal=00 scl=00 pre=00
  oacflg=08 fl2=0001 frm=00 csi=00 siz=24 off=0
  kxsbbbfp=15c6d098  bln=24  avl=02  flg=05
  value=1
 Bind#2
  oacdty=02 mxl=22(22) mxlc=00 mal=00 scl=00 pre=00
  oacflg=08 fl2=0001 frm=00 csi=00 siz=24 off=0
  kxsbbbfp=15c6d068  bln=24  avl=01  flg=05
  value=0
 Frames pfr 0000000015C6CBA8 siz=6216 efr 0000000015C6D478 siz=6192
 Cursor frame dump
  enxt: 5.0x00000010
  pnxt: 2.0x00000008  pnxt: 1.0x00000010
 kxscphp  0000000015C69F28 siz=1992 inu=1200 nps=1120
 kxscdfhp 0000000015C6A2E8 siz=984 inu=88 nps=0
 kxscehp  0000000015C6A108 siz=984 inu=328 nps=144
----------------------------------------
 sqltxt(000007FF91F80A58)=select /*+ rule */ bucket_cnt, row_cnt, cache_cnt, null_cnt, timestamp#, sample_size, minimum, maximum, distcnt, lowval, hival, density, col#, spare1, spare2, avgcln from hist_head$ where obj#=:1 and intcol#=:2
  hash=6d11d7de2049577d933d2385337fc737
  parent=000007FF8AF5FD08 maxchild=01 plk=000007FF8EBF0A28 ppn=n
cursor instantiation=0000000015C6EF48
 child#0(000007FF91F80830) pcs=000007FF8AF5F918
  clk=000007FF8EBFE5E8 ci=000007FF8AF5EA78 pn=0000000000000000 ctx=000007FF89F67298
 kgsccflg=5 llk[0000000010AF59F8,0000000010ABFCE8] idx=38
 xscflg=a0141436 fl2=5000401 fl3=2210c fl4=0
 Bind bytecodes
  Opcode = 1   Unoptimized 
  Offsi = 48, Offsi = 0
  Opcode = 1   Unoptimized 
  Offsi = 48, Offsi = 32
kkscoacd
 Bind#0
  oacdty=02 mxl=22(22) mxlc=00 mal=00 scl=00 pre=00
  oacflg=08 fl2=0001 frm=00 csi=00 siz=24 off=0
  kxsbbbfp=15c6eb00  bln=22  avl=04  flg=05
  value=50170
 Bind#1
  oacdty=02 mxl=22(22) mxlc=00 mal=00 scl=00 pre=00
  oacflg=08 fl2=0001 frm=00 csi=00 siz=24 off=0
  kxsbbbfp=15c6ead0  bln=24  avl=02  flg=05
  value=3
 Frames pfr 0000000015C6D8C0 siz=4328 efr 0000000015C6EEC0 siz=4304
 Cursor frame dump
  enxt: 4.0x00000010
  pnxt: 2.0x00000008  pnxt: 1.0x00000010
 kxscphp  0000000010AA00B8 siz=4432 inu=3528 nps=3464
 kxscdfhp 0000000015C6A018 siz=984 inu=88 nps=0
 kxscehp  0000000015C69E38 siz=984 inu=248 nps=96
----------------------------------------
 sqltxt(000007FF92A80418)=select u.name,o.name, t.update$, t.insert$, t.delete$, t.enabled  from obj$ o,user$ u,trigger$ t  where t.baseobject=:1 and t.obj#=o.obj# and o.owner#=u.user#  and bitand(property,16)=0 and bitand(property,8)=0  order by o.obj#
  hash=05dc495d6c00f3e9e5637c3d829494e7
  parent=000007FF87F06250 maxchild=02 plk=000007FF8EBF82A0 ppn=n
cursor instantiation=0000000010AF59F0
 child#1(000007FF92A33058) pcs=000007FF87F058B0
  clk=000007FF8EBF7E50 ci=000007FF87EC26F8 pn=0000000000000000 ctx=000007FF84CC27E0
 kgsccflg=1 llk[0000000009F86940,0000000015C6EF50] idx=e8
 xscflg=110410 fl2=1040001 fl3=22100 fl4=0
 Bind bytecodes
  Opcode = 1   Unoptimized 
  Offsi = 48, Offsi = 0
kkscoacd
 Bind#0
  oacdty=02 mxl=22(00) mxlc=00 mal=00 scl=00 pre=00
  oacflg=00 fl2=0001 frm=00 csi=00 siz=24 off=0
  No bind buffers allocated
 Frames pfr 0000000000000000 siz=12056 efr 0000000000000000 siz=12016
 Cursor frame dump
  enxt: 5.0x00000340  enxt: 4.0x00000e70  enxt: 3.0x00000da8  enxt: 2.0x00000020
  enxt: 1.0x00000f78
  pnxt: 2.0x00000018  pnxt: 1.0x00000010

Answer 3

Memory dump of process state object:
Dump of memory from 0x000000011E0072A8 to 0x000000011E007AD0
11E0072A0                   00000102 00000000          [........]
11E0072B0 00000000 00000000 00000000 00000000  [................]
11E0072C0 00000000 00000000 1F3CAEC0 00000001  [..........<.....]
11E0072D0 1E2A99E0 00000001 1F9F0770 00000001  [..*.....p.......]
11E0072E0 1E2A7988 00000001 00000001 00000000  [.y*.............]
11E0072F0 1E2A7A30 00000001 1E2A7A30 00000001  [0z*.....0z*.....]
11E007300 1E2A99D0 00000001 00120002 00000000  [..*.............]
11E007310 1E1E9A28 00000001 1E1FC850 00000001  [(.......P.......]
11E007320 0000001E 00000000 00000000 00000000  [................]
11E007330 00000000 00000000 00000000 00000000  [................]
11E007340 1E296508 00000001 1E296508 00000001  [.e)......e).....]
11E007350 00000000 00000000 00000000 00000000  [................]
        Repeat 3 times
11E007390 00000000 00000000 00160000 00000000  [................]
        Repeat 2 times
11E0073C0 00000000 00000000 00130000 00000000  [................]
11E0073D0 04745310 00000000 00140000 00000000  [.St.............]
11E0073E0 00000000 00000000 00170000 00000000  [................]
11E0073F0 00000000 00000000 00130000 00000000  [................]
11E007400 00000000 00000000 00140000 00000000  [................]
11E007410 00000000 00000000 001D0000 00000000  [................]
11E007420 00000000 00000000 00160000 00000000  [................]
11E007430 00000000 00000000 00170000 00000000  [................]
11E007440 00000000 00000000 00060000 00000000  [................]
11E007450 00000000 00000000 00000000 00000000  [................]
        Repeat 5 times
11E0074B0 00000010 00000000 00000000 00000000  [................]
11E0074C0 1E0074C0 00000001 1E0074C0 00000001  [.t.......t......]
11E0074D0 00000000 00000000 00000000 00000000  [................]
11E0074E0 1E0074E0 00000001 1E0074E0 00000001  [.t.......t......]
11E0074F0 00000000 00000000 00000000 00000000  [................]
        Repeat 3 times
11E007530 00000000 00000009 0000000D 00000000  [................]
11E007540 00000000 00000000 1E012618 00000001  [.........&......]
11E007550 00010000 00000000 00000000 00000000  [................]
11E007560 00000000 00000000 00000000 00000000  [................]
        Repeat 1 times
11E007580 00000000 00000000 00000B0C 00000000  [................]
11E007590 00000000 00000000 00000000 00000000  [................]
        Repeat 2 times
11E0075C0 00000000 00000000 1E0072A8 00000001  [.........r......]
11E0075D0 00000000 00000000 00000000 00000000  [................]
        Repeat 7 times
11E007650 00000000 00000000 1E007658 00000001  [........Xv......]
11E007660 1E007658 00000001 00000000 00000000  [Xv..............]
11E007670 00000001 00000000 000001C4 00000000  [................]
11E007680 00000628 00000000 00000248 00000000  [(.......H.......]
11E007690 00000B0C F891F89A 01CE336B 3030304A  [........k3..J000]
11E0076A0 00000000 00000000 000001C4 00000000  [................]
11E0076B0 00000000 00000000 00000000 00000000  [................]
        Repeat 4 times
11E007700 00000013 FFFFFFFF 00000000 00000000  [................]
11E007710 00000000 00000000 00000000 00000000  [................]
        Repeat 12 times
11E0077E0 00000000 00000000 54535953 00004D45  [........SYSTEM..]
11E0077F0 00000000 00000000 00000000 00000000  [................]
11E007800 00000000 00000000 00000006 00000000  [................]
11E007810 56524553 312D5245 00003830 00000000  [SERVER-108......]
11E007820 00000000 00000000 00000000 00000000  [................]
        Repeat 2 times
11E007850 0000000A 00000000 56524553 312D5245  [........SERVER-1]
11E007860 00003830 00000000 0000000A 00000000  [08..............]
11E007870 38323832 00000000 00000000 00000000  [2828............]
11E007880 00000000 00000000 00000004 00000000  [................]
11E007890 4341524F 452E454C 28204558 3030304A  [ORACLE.EXE (J000]
11E0078A0 00000029 00000000 00000000 00000000  [)...............]
11E0078B0 00000000 00000000 00000000 00000000  [................]
        Repeat 1 times
11E0078D0 00000011 00000000 00000002 00000000  [................]
11E0078E0 00000000 00000000 00000000 00000000  [................]
        Repeat 9 times
11E007980 00000000 00000200 00000000 00000000  [................]
11E007990 00000000 00000000 00000000 00000000  [................]
        Repeat 2 times
11E0079C0 932D12D8 000007FF 1E010470 00000001  [..-.....p.......]
11E0079D0 1E010C98 00000001 00000000 00000000  [................]
11E0079E0 9641ABA0 000007FF 91FAAF78 000007FF  [..A.....x.......]
11E0079F0 00000000 00000000 00000000 00000000  [................]
11E007A00 00000000 00000000 1E007A08 00000001  [.........z......]
11E007A10 1E007A08 00000001 00440000 00000000  [.z........D.....]
11E007A20 00130000 00000000 00079D19 00000000  [................]
11E007A30 00283DE9 00000000 004B9D19 00000000  [.=(.......K.....]
11E007A40 00027B88 00000000 00010F20 00000000  [.{...... .......]
11E007A50 00170C80 00000000 00014B68 00000000  [........hK......]
11E007A60 0000E7A8 00000000 000161F8 00000000  [.........a......]
11E007A70 00000000 00000000 00000000 00000000  [................]
        Repeat 4 times
11E007AC0 00000000 00000000 0000000A 00000000  [................]
Symbolic dump of process state object:
KSUPRFLG = 0
KSUPRSER = 2
KSUPRIOC = 0
KSLLALAQ = 0X0000000000000000
KSLLAWAT = 0X0000000000000000
KSLLAWHY = 0
KSLLAWER = 0
KSLLALOW = 16
KSLLAPSC = 13
KSLLAPRC = 0
KSLLAPRV = 0
KSLLAPSN = 9
KSLLID1R = 0
KSLLID2R = 0
KSLLRTYP = ''
KSLLRMTY = 0
KSUPRPID = <INVALID LENGTH SIZE OF 8>
KSUPRUNM = <INVALID LENGTH SIZE OF 8>
KSUPRMNM = <INVALID LENGTH SIZE OF 8>
KSUPRPNM = <INVALID LENGTH SIZE OF 8>
KSUPRTID = <INVALID LENGTH SIZE OF 8>
KSSRCOBJ = 0X0000000000000000
KSSRCFRE = 0X0000000000000000
KSSRCSRC = 0X0000000000000000
KSSRCDST = 0X0000000000000000
KSASTQNX = 0X000000011E007658
KSASTQPR = 0X000000011E007658
KSASTRPL = 0
KSUPRPUM = 2637289
KSUPRPNAM = 498969
KSUPRPRAM = 4456448
KSUPRPFM = 1245184
KSUPRPMM = 4955417
KSFD PGA DUMPS 
Number of completed I/O requests=0 flags=0
END OF PROCESS STATE

Answer 4

应该不是死锁问题，从日志文件看出死锁问题是在数据库重启之后发生的，楼主应该把宕机之前到宕机的那段日志发出来，这段日志是重启之后的，另外宕机有多种原因，有时候不一定会反映在alert.log中，建议做个hanganalyze并结合awr报告综合分析，另外你至少把数据库版本说一下吧。

Answer 5

Sun Apr 07 16:43:26 2013
Completed: alter database openSun Apr 07 16:43:33 2013
ORA-00060: Deadlock detected.
=================================
楼上有理！

Answer 6

完整的alert日志发我邮箱，给你看看
[email protected]

Answer 7

我们使用Oracle10g的
[email protected]兄我发给你啦，多谢！

Answer 8

我同学是说存储空间不足，自增长的时候失败。
我看了一下确实都用满了，现在加大了，不知道能不能起效果。
版本升级的建议很好，我会考虑。
多谢[email protected]兄！

Answer 9

不建议 数据文件设置成自动增长，一旦它长满硬盘，就不好办了（但是很多使用MSsql SERVER的人都是这么干的，没有DBA的公司也这么干），强烈建议巡检
-------------
是这个主题吗
我正想写1写工作笔记：自己对数据库的理解

Answer 10

Memory Notification: Library Cache Object loaded into SGA
Heap size 3593K exceeds notification threshold (2048K)
KGL object name :XDB.XDbD/PLZ01TcHgNAgAIIegtw== Set _kgl_large_heap_warning_threshold to a reasonable high value 
to prevent these warning messages

Answer 11

这个在10.2.0.1中只是一个警告而已，不会引起down机

Answer 12

嗯 是warning 
11g R2 还存在