超难度 stringbuffer 处理10万条记录

Question

xml格式如下
<?xml version="1.0" standalone="yes"?>
<DATAPACKET Version="2.0">
<METADATA>
<FIELDS>
<FIELD attrname="BsAr_ID" fieldtype="string" width="20"/>
<FIELD attrname="BSAr_Name" fieldtype="string" width="50"/>
<FIELD attrname="BsAr_PreID" fieldtype="string" width="20"/>
<FIELD attrname="BsAr_AddPreID" fieldtype="string" width="50"/>
</FIELDS>
<PARAMS/>
</METADATA>
<ROWDATA>
<ROW BsAr_ID="01" BSAr_Name="江苏" BsAr_PreID="" BsAr_AddPreID="01" />
<ROW BsAr_ID="0101" BSAr_Name="南通" BsAr_PreID="01" BsAr_AddPreID="010101" />
<ROW BsAr_ID="0102" BSAr_Name="南京" BsAr_PreID="01" BsAr_AddPreID="010102" />
<ROW BsAr_ID="0103" BSAr_Name="徐州" BsAr_PreID="01" BsAr_AddPreID="010103" />
<ROW BsAr_ID="0104" BSAr_Name="连云港" BsAr_PreID="01" BsAr_AddPreID="010104" />
<ROW BsAr_ID="0105" BSAr_Name="苏州" BsAr_PreID="01" BsAr_AddPreID="010105" />
<ROW BsAr_ID="0106" BSAr_Name="无锡" BsAr_PreID="01" BsAr_AddPreID="010106" />
<ROW BsAr_ID="0107" BSAr_Name="昆山" BsAr_PreID="01" BsAr_AddPreID="010107" />
<ROW BsAr_ID="02" BSAr_Name="山东" BsAr_PreID="" BsAr_AddPreID="02" />
<ROW BsAr_ID="0201" BSAr_Name="济南" BsAr_PreID="02" BsAr_AddPreID="020201" />
<ROW BsAr_ID="0202" BSAr_Name="淄博" BsAr_PreID="02" BsAr_AddPreID="020202" />
<ROW BsAr_ID="0203" BSAr_Name="临沂" BsAr_PreID="02" BsAr_AddPreID="020203" />
<ROW BsAr_ID="0204" BSAr_Name="枣庄" BsAr_PreID="02" BsAr_AddPreID="020204" />
<ROW BsAr_ID="0205" BSAr_Name="开封" BsAr_PreID="02" BsAr_AddPreID="020205" />
<ROW BsAr_ID="0206" BSAr_Name="青岛" BsAr_PreID="02" BsAr_AddPreID="020206" />
<ROW BsAr_ID="0207" BSAr_Name="荷泽" BsAr_PreID="02" BsAr_AddPreID="020207" />
<ROW BsAr_ID="0208" BSAr_Name="沪州" BsAr_PreID="02" BsAr_AddPreID="020208" />
<ROW BsAr_ID="0209" BSAr_Name="成都" BsAr_PreID="02" BsAr_AddPreID="020209" />
<ROW BsAr_ID="0210" BSAr_Name="自贡" BsAr_PreID="02" BsAr_AddPreID="020210" />
<ROW BsAr_ID="0211" BSAr_Name="重庆" BsAr_PreID="02" BsAr_AddPreID="020211" />
<ROW BsAr_ID="0212" BSAr_Name="宜宾" BsAr_PreID="02" BsAr_AddPreID="020212" />
<ROW BsAr_ID="0213" BSAr_Name="泰安" BsAr_PreID="02" BsAr_AddPreID="020213" />
<ROW BsAr_ID="0214" BSAr_Name="长沙" BsAr_PreID="02" BsAr_AddPreID="020214" />
<ROW BsAr_ID="0215" BSAr_Name="烟台" BsAr_PreID="02" BsAr_AddPreID="020215" />
<ROW BsAr_ID="0216" BSAr_Name="德州" BsAr_PreID="02" BsAr_AddPreID="020216" />
<ROW BsAr_ID="0217" BSAr_Name="昭通" BsAr_PreID="02" BsAr_AddPreID="020217" />
<ROW BsAr_ID="03" BSAr_Name="北京" BsAr_PreID="" BsAr_AddPreID="03" />
<ROW BsAr_ID="04" BSAr_Name="河南" BsAr_PreID="" BsAr_AddPreID="04" />
<ROW BsAr_ID="0401" BSAr_Name="商丘" BsAr_PreID="04" />
<ROW BsAr_ID="0402" BSAr_Name="南阳" BsAr_PreID="04" BsAr_AddPreID="040402" />
<ROW BsAr_ID="0403" BSAr_Name="濮阳" BsAr_PreID="04" BsAr_AddPreID="040403" />
<ROW BsAr_ID="0404" BSAr_Name="郑州" BsAr_PreID="04" BsAr_AddPreID="040404" />
<ROW BsAr_ID="0405" BSAr_Name="平顶山" BsAr_PreID="04" BsAr_AddPreID="040405" />
<ROW BsAr_ID="0406" BSAr_Name="鹤壁" BsAr_PreID="04" BsAr_AddPreID="040406" />
<ROW BsAr_ID="0407" BSAr_Name="洛阳" BsAr_PreID="04" BsAr_AddPreID="040407" />
<ROW BsAr_ID="0408" BSAr_Name="黄川" BsAr_PreID="04" BsAr_AddPreID="040408" />
<ROW BsAr_ID="0409" BSAr_Name="新乡" BsAr_PreID="04" BsAr_AddPreID="040409" />
<ROW BsAr_ID="05" BSAr_Name="上海" BsAr_PreID="" BsAr_AddPreID="05" />
<ROW BsAr_ID="06" BSAr_Name="四川" BsAr_PreID="" BsAr_AddPreID="06" />
<ROW BsAr_ID="0601" BSAr_Name="成都" BsAr_PreID="06" BsAr_AddPreID="060601" />
<ROW BsAr_ID="07" BSAr_Name="浙江" BsAr_PreID="" BsAr_AddPreID="07" />
<ROW BsAr_ID="0701" BSAr_Name="杭州" BsAr_PreID="07" BsAr_AddPreID="070701" />
<ROW BsAr_ID="08" BSAr_Name="河北" BsAr_PreID="" BsAr_AddPreID="08" />
<ROW BsAr_ID="0801" BSAr_Name="张家口" BsAr_PreID="08" BsAr_AddPreID="080801" />
<ROW BsAr_ID="0802" BSAr_Name="邯郸" BsAr_PreID="08" BsAr_AddPreID="080802" />
<ROW BsAr_ID="0804" BSAr_Name="石家庄" BsAr_PreID="08" BsAr_AddPreID="080804" />
<ROW BsAr_ID="09" BSAr_Name="甘肃" BsAr_PreID="" BsAr_AddPreID="09" />
<ROW BsAr_ID="0901" BSAr_Name="兰州" BsAr_PreID="09" BsAr_AddPreID="090901" />
<ROW BsAr_ID="10" BSAr_Name="辽宁" BsAr_PreID="" BsAr_AddPreID="10" />
<ROW BsAr_ID="1001" BSAr_Name="沈阳" BsAr_PreID="10" BsAr_AddPreID="101001" />
<ROW BsAr_ID="1002" BSAr_Name="辽原" BsAr_PreID="10" BsAr_AddPreID="101002" />
<ROW BsAr_ID="11" BSAr_Name="重庆" BsAr_PreID="" BsAr_AddPreID="11" />
<ROW BsAr_ID="12" BSAr_Name="湖北" BsAr_PreID="" BsAr_AddPreID="12" />
<ROW BsAr_ID="1201" BSAr_Name="武汉" BsAr_PreID="12" BsAr_AddPreID="121201" />
<ROW BsAr_ID="1202" BSAr_Name="大冶" BsAr_PreID="12" BsAr_AddPreID="121202" />
<ROW BsAr_ID="1203" BSAr_Name="十堰" BsAr_PreID="12" BsAr_AddPreID="121203" />
<ROW BsAr_ID="13" BSAr_Name="天津" BsAr_PreID="" BsAr_AddPreID="13" />
<ROW BsAr_ID="14" BSAr_Name="山西" BsAr_PreID="" BsAr_AddPreID="14" />
<ROW BsAr_ID="1401" BSAr_Name="太原" BsAr_PreID="14" BsAr_AddPreID="141401" />
<ROW BsAr_ID="15" BSAr_Name="广西" BsAr_PreID="" BsAr_AddPreID="15" />
<ROW BsAr_ID="1501" BSAr_Name="南宁" BsAr_PreID="15" BsAr_AddPreID="151501" />
<ROW BsAr_ID="16" BSAr_Name="贵州" BsAr_PreID="" BsAr_AddPreID="16" />
<ROW BsAr_ID="1601" BSAr_Name="贵阳" BsAr_PreID="16" BsAr_AddPreID="161601" />
<ROW BsAr_ID="17" BSAr_Name="福建" BsAr_PreID="" BsAr_AddPreID="17" />
<ROW BsAr_ID="1701" BSAr_Name="厦门" BsAr_PreID="17" BsAr_AddPreID="171701" />
<ROW BsAr_ID="1702" BSAr_Name="漳州" BsAr_PreID="17" BsAr_AddPreID="171702" />
<ROW BsAr_ID="18" BSAr_Name="陕西" BsAr_PreID="" BsAr_AddPreID="18" />
<ROW BsAr_ID="19" BSAr_Name="天津" BsAr_PreID="" BsAr_AddPreID="19" />
<ROW BsAr_ID="20" BSAr_Name="吉林" BsAr_PreID="" BsAr_AddPreID="20" />
<ROW BsAr_ID="2001" BSAr_Name="哈尔滨" BsAr_PreID="20" BsAr_AddPreID="202001" />
<ROW BsAr_ID="21" BSAr_Name="黑龙江" BsAr_PreID="" BsAr_AddPreID="21" />
<ROW BsAr_ID="2101" BSAr_Name="乌鲁木齐" BsAr_PreID="21" BsAr_AddPreID="212101" />
<ROW BsAr_ID="22" BSAr_Name="云南" BsAr_AddPreID="22" />
<ROW BsAr_ID="2201" BSAr_Name="昆明" BsAr_PreID="22" BsAr_AddPreID="222201" />
</ROWDATA>
</DATAPACKET>
<USERDEF TABLENAME>Tab_Bas_Area</USERDEF TABLENAME><FIELDDISPLAYNAME><?xml version="1.0" standalone="yes"?>
<DATAPACKET Version="2.0">
<METADATA>
<FIELDS>
<FIELD attrname="编号" fieldtype="string" width="20"/>
<FIELD attrname="名称" fieldtype="string" width="50"/>
<FIELD attrname="上级编号" fieldtype="string" width="20"/>
<FIELD attrname="累加编号" fieldtype="string" width="50"/>
</FIELDS>
<PARAMS/>
</METADATA>
<ROWDATA>
</ROWDATA>
</DATAPACKET>

Answer 1

是不是你的内存不够了，加上-Xms256M -Xmx512M启动参数试试

Answer 2

你好在哪里添加，我用的服务器是 weblogic ,这个方法我也想过，不过不知道在哪里添加，不过这样也不能彻底治疗内存溢出问题是不是你的内存不够了，加上-Xms256M -Xmx512M启动参数试试

Answer 3

usabcd(9号公路上的3名共军) ，我对你的说法有怀疑
  操作文件速度和安全性都会很差，我大概有50个客户端同时操作，我把客户端需要的数据放在缓存里面，用stringbuffer方法错吗，

Answer 4

加上-Xms256M -Xmx512M启动参数方法我也测试过，不行，高手帮帮忙

Answer 5

这个根本是个错误！！首先应该像 usabcd(9号公路上的3名共军) 说的使用压缩减少但是根本的解决之道是分页，只有这样才可能减少内存的占用

Answer 6

分批处理就必须前后端都能够理解才行
你可以在你的XML中加入目前是不是已经到达页尾的标记，前端如果发现还有后继的数据，则再发送请求过去获得下一页。
使用压缩是可以很大的提高效率的，因为你这么大的一个XML在网络中传递是很慢的。
这种XML的压缩可以只剩下原始大小的不到1/10

Answer 7

ChDw(米) 高手，能不能具体讲讲怎么实现，很需要你的帮助，多谢了

Answer 8

数据库在后台使用，给数据库没有关系，我要用webservice ,数据库处理没有任何问题

Answer 9

可以在服务器上生成临时的xml文件，在数据在内存中缓冲到一定数量时将数据写入文件，等到所以的数据都处理完时在将该文件发送到客户端，或客户端来取文件。我处理过125万条数据，提供ftp功能让客户自行下载临时文件，不知道对你的情况是否适用。

Answer 10

看看这个..
http://community.csdn.net/Expert/topic/3539/3539899.xml?temp=.514599