关闭ModalDialog窗口出错，怎么改？

那是你主页面写的代码有问题. 因为直接点击X关闭模态框, 那模态框的返回值: window.returnValue 是等于 undefined 的(未赋值), 因此你的主页面里就取不到模态框架的返回值而报错. 解决的办法是多加一重判断:
var aa = showModalDialog(....);
if(aa)
{
//再做你的操作就不会报错了.
}