RAC机器自动重启

Question

环境: HP-UX 11.23 
软件: Serviceguard/10G RAC我在日志里面又看到这个提示:2009-08-10 22:18:22.148
[cssd(7294)]CRS-1606:CSSD Insufficient voting files available [1 of 3]. Details in /opt/oracle/crs/crs/log/while/cssd/ocssd.log.当时不知道从何下手?

Answer 1

晕,不是说csdn上面高手很多,很容易就有答案.看来....

Answer 2

这个现象只是偶尔出现的吧这个命令设置重启时间
crsctl set css reboottime R [-force] (R is seconds)下面的命令设置磁盘超时时间，一量数据库认为一个i/o的完成时间超过这个时间了，就会重启
crsctl set css disktimeout D [-force] (D is seconds)

Answer 3

先谢谢各位的回复.回复楼主,我从网路课那边查了并没有网路故障,也和HP RC中心查了系统也没有网路和磁盘任何故障.现在就不知道当时为什么会出现仲裁盘问题
ocssd.log的记录如下:009-08-10 22:18:21.878 [9] >WARNING: clssnmDiskPMT: long disk latency (596757 ms) to voting disk (0//ora_ocr/vote_file1)
[    CSSD]2009-08-10 22:18:21.878 [9] >WARNING: clssnmDiskPMT: long disk latency (596122 ms) to voting disk (2//ora_ocr/vote_file3)
[    CSSD]2009-08-10 22:18:22.148 [9] >ERROR:   clssnmDiskPMT: 2 of 3 voting disks unavailable (1/0/2)

Answer 4

有可能磁盘坏快，你看ocssd.log中的信息，长时间10分钟左右都没有记录成功

Answer 5

这种情况不太好查，太细节的问题恐怕要问oracle公司支持人员了

Answer 6

voting disks unavailable
楼主是不是新加了voting 盘,并且没激活,或着看下字符设备的权限

Answer 7

你的oracle的具体版本?
是否打了bundle patch?

Answer 8

10.2.0.3.0
bundle patch?我不知道patch号.我用opatch看了下有如下两个,不知道是不是bundle patch:Interim patches (2) :Patch  5556081      : applied on Fri Nov 30 17:11:34 GMT+08:00 2007
   Created on 9 Nov 2006, 22:20:50 hrs PST8PDT
   Bugs fixed:
     5556081Patch  5557962      : applied on Fri Nov 30 17:11:19 GMT+08:00 2007
   Created on 9 Nov 2006, 23:23:06 hrs PST8PDT
   Bugs fixed:
     4269423, 5557962, 5528974

Answer 9

那么就是一个bundle patch都没有打.
操作系统日志看了吗?你这个情况多半在于硬件上面的原因.建议在以下几个方面作检查:1.阵列是否出现问题.
2.hba卡,san switch关于超时的检查
3.如果使用了powerpath,那么这里也需要进行进一步的检查了.
4.出现这个问题的时候,节点的load情况怎么样?
5.增大CSS Misscount, Reboottime and Disktimeout

Answer 10

回复楼上:
1. 阵列没有问题
2. 请问hba卡,san switch如何查看
3. 检查了没有问题
4. 节点的load和平时一样

Answer 11

你的alert日志中都有些什么纪录?

Answer 12

Sorry敲错了,alert日志没有记录.只有自动重启实例的时候有些到redo log的日志

Answer 13

因为如果是网络或者硬件的问题,应该在os message中会有提醒.

Answer 14

Sending SIGKILL to process /opt/oracle/crs/crs/bin/ocssd.bin (pid: 7524) after communication problem detected. 

Answer 15

这个是OS报出来的,但是为什么要将CRS进程杀掉没有报出来.

Answer 16

杀掉,都是为了维护一致性,是正常的动作, 既然没有杀掉.也有可能只是进程存在,而不能wirte

Answer 17

..... 现在就是找这个原因. RAC为了维护一致性才杀的啊.所以要你把os log拿出来啊.你的信息这么少.

Answer 18

Aug 10 21:33:07 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-112 disabled path 31/0x250300 belonging to the dmpnode 1/0xf0
Aug 10 21:33:07 node2 vmunix: 
Aug 10 21:33:45 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-112 disabled path 31/0x231000 belonging to the dmpnode 1/0x20
Aug 10 21:33:46 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-112 disabled path 31/0x231600 belonging to the dmpnode 1/0x30
Aug 10 21:33:47 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-112 disabled path 31/0x230100 belonging to the dmpnode 1/0x130
Aug 10 21:34:16 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-112 disabled path 31/0x251100 belonging to the dmpnode 1/0x80
Aug 10 21:34:26 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-112 disabled path 31/0x230400 belonging to the dmpnode 1/0xd0
Aug 10 21:34:44 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-112 disabled path 31/0x230600 belonging to the dmpnode 1/0xc0
Aug 10 21:34:45 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-112 disabled path 31/0x251300 belonging to the dmpnode 1/0x50
Aug 10 21:34:46 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-112 disabled path 31/0x232000 belonging to the dmpnode 1/0x100
Aug 10 21:34:47 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-112 disabled path 31/0x232300 belonging to the dmpnode 1/0x60
Aug 10 21:34:48 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-112 disabled path 31/0x232200 belonging to the dmpnode 1/0x40
Aug 10 21:34:49 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-112 disabled path 31/0x252100 belonging to the dmpnode 1/0x90
Aug 10 21:37:20 node2 su: + tty?? root-oracle
Aug 10 21:38:12 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-148 enabled path 31/0x251300 belonging to the dmpnode 1/0x50
Aug 10 21:38:12 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-148 enabled path 31/0x251100 belonging to the dmpnode 1/0x80
Aug 10 21:40:29 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-148 enabled path 31/0x231000 belonging to the dmpnode 1/0x20
Aug 10 21:40:29 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-148 enabled path 31/0x231600 belonging to the dmpnode 1/0x30
Aug 10 21:42:41 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-112 disabled path 31/0x251100 belonging to the dmpnode 1/0x80
Aug 10 21:42:42 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-112 disabled path 31/0x251300 belonging to the dmpnode 1/0x50
Aug 10 21:42:43 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-112 disabled path 31/0x251700 belonging to the dmpnode 1/0x10
Aug 10 21:42:43 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-112 disabled path 31/0x251500 belonging to the dmpnode 1/0x70
Aug 10 21:43:41 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-112 disabled path 31/0x231600 belonging to the dmpnode 1/0x30
Aug 10 21:43:42 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-112 disabled path 31/0x231000 belonging to the dmpnode 1/0x20
Aug 10 21:47:42 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-148 enabled path 31/0x251700 belonging to the dmpnode 1/0x10
Aug 10 21:47:42 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-148 enabled path 31/0x251300 belonging to the dmpnode 1/0x50
Aug 10 21:47:42 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-148 enabled path 31/0x251500 belonging to the dmpnode 1/0x70
Aug 10 21:47:42 node2 vmunix: 
Aug 10 21:48:11 node2  above message repeats 24 times
Aug 10 21:51:35 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-148 enabled path 31/0x231000 belonging to the dmpnode 1/0x20
Aug 10 21:51:35 node2 vmunix: 
Aug 10 21:51:35 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-148 enabled path 31/0x231600 belonging to the dmpnode 1/0x30
Aug 10 21:51:35 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-148 enabled path 31/0x232200 belonging to the dmpnode 1/0x40
Aug 10 21:51:35 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-148 enabled path 31/0x232300 belonging to the dmpnode 1/0x60
Aug 10 21:51:35 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-148 enabled path 31/0x230600 belonging to the dmpnode 1/0xc0
Aug 10 21:53:47 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-112 disabled path 31/0x251700 belonging to the dmpnode 1/0x10
Aug 10 21:53:48 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-112 disabled path 31/0x251300 belonging to the dmpnode 1/0x50
Aug 10 21:54:08 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-112 disabled path 31/0x230600 belonging to the dmpnode 1/0xc0
Aug 10 21:54:09 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-112 disabled path 31/0x231000 belonging to the dmpnode 1/0x20
Aug 10 21:54:10 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-112 disabled path 31/0x232300 belonging to the dmpnode 1/0x60
Aug 10 21:54:50 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-112 disabled path 31/0x231600 belonging to the dmpnode 1/0x30
Aug 10 21:54:51 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-112 disabled path 31/0x232200 belonging to the dmpnode 1/0x40
Aug 10 22:03:59 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-148 enabled path 31/0x251700 belonging to the dmpnode 1/0x10
Aug 10 22:03:59 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-148 enabled path 31/0x251300 belonging to the dmpnode 1/0x50
Aug 10 22:03:59 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-148 enabled path 31/0x251100 belonging to the dmpnode 1/0x80
Aug 10 22:03:59 node2 vmunix: 
Aug 10 22:08:11 node2  above message repeats 14 times
Aug 10 22:08:13 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-148 enabled path 31/0x231000 belonging to the dmpnode 1/0x20
Aug 10 22:08:13 node2 vmunix: 
Aug 10 22:08:13 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-148 enabled path 31/0x231600 belonging to the dmpnode 1/0x30
Aug 10 22:08:13 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-148 enabled path 31/0x232200 belonging to the dmpnode 1/0x40
Aug 10 22:08:13 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-148 enabled path 31/0x232300 belonging to the dmpnode 1/0x60
Aug 10 22:08:13 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-148 enabled path 31/0x230600 belonging to the dmpnode 1/0xc0
Aug 10 22:08:13 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-148 enabled path 31/0x230400 belonging to the dmpnode 1/0xd0
Aug 10 22:09:41 node2 vmunix: SCSI: Write error -- dev: b 31 0x231000, errno: 126, resid: 6144,
Aug 10 22:09:41 node2 vmunix:  blkno: 104624638, sectno: 209249276, offset: 107135629312, bcount: 6144.
Aug 10 22:09:41 node2 vmunix:  blkno: 104522230, sectno: 209044460, offset: 107030763520, bcount: 6144.
Aug 10 22:09:41 node2 vmunix: 
Aug 10 22:14:57 node2  above message repeats 7 times
Aug 10 22:14:57 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-148 enabled path 31/0x252100 belonging to the dmpnode 1/0x90
Aug 10 22:09:41 node2 vmunix: SCSI: Write error -- dev: b 31 0x231000, errno: 126, resid: 6144,
Aug 10 22:14:57 node2 vmunix: 
Aug 10 22:14:57 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-148 enabled path 31/0x250300 belonging to the dmpnode 1/0xf0
Aug 10 22:15:28 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-148 enabled path 31/0x232000 belonging to the dmpnode 1/0x100
Aug 10 22:17:49 node2 vmunix: NOTICE: VxVM vxdmp V-5-0-112 disabled path 31/0x251100 belonging to the dmpnode 1/0x80
Aug 10 22:18:52 node2 cmgmsd[3544]: Sending SIGKILL to process /opt/oracle/crs/crs/bin/ocssd.bin (pid: 7524) after communication problem detected. 
Aug 10 22:18:52 node2 syslog: Oracle CSSD failure.  Rebooting for cluster integrity.
Aug 10 22:18:52 node2 cmgmsd[3544]: Sending SIGKILL to process /opt/oracle/crs/crs/bin/ocssd.bin (pid: 7524) after communication problem detected. 
Aug 10 22:18:52 node2  above message repeats 2 times
Aug 10 22:17:49 node2 vmunix: 
Aug 10 22:18:52 node2  above message repeats 3 times

Answer 19

Aug 10 22:09:41 node2 vmunix: SCSI: Write error -- dev: b 31 0x231000, errno: 126, resid: 6144, aio的问题?最好是联系一下HP工程师了,我觉得问题还是出在你的阵列

Answer 20

Aug 10 22:09:41 node2 vmunix: SCSI: Write error -- dev: b 31 0x231000, errno: 126, resid: 6144, 那这个错误不用看看吗?硬件最好是找厂家啊.

Answer 21

Aug 10 22:09:41 node2 vmunix: SCSI: Write error -- dev: b 31 0x231000, errno: 126, resid: 6144, 
这个设备的error不止一次.

Answer 22

http://vamboo.bokee.com/3553447.html
http://e-support.hp.com.cn/e-delivery/kdb/UserInterface/DisplayHotDoc.asp?full_docid=23975
仅供参考.

Answer 23

我们使用vxvm的.看了硬盘好像没有什么问题

Answer 24

EVA4100,
请问如何检查链路是否有问题,特别是不稳定.