现在有一个dataset包含表一个 50万行的数据,需要拆分成5个等大的数据表存放在另外一个dataset里面。
前提:不能从新从数据库读取!因为这50万行是经过处理过后的具有关系的数据!还有就是数据源是3个类型的以上,所以了没有办法,劳诸位大虾帮忙!
已经知道的方式有:
逐行浏览,添加到另外一个dataset里面
但是效率十分低下,求另外的解决办法!
已经知道的有:
int i,j;
DataSet dsSource;
DataSet dsResult;
for(i=0;i<5;i++){
DataTable dtTemp=new DataTable();
dtTemp=dsSource.Tables[0].Clone();
for(j=0;j<100000;j++){
dtTemp.Rows.Add(dsSource.Tables[0].Rows[j+i*100000].ItemArray);
}
dsResult.Tables.Add(dtTemp);
}
前提:不能从新从数据库读取!因为这50万行是经过处理过后的具有关系的数据!还有就是数据源是3个类型的以上,所以了没有办法,劳诸位大虾帮忙!
已经知道的方式有:
逐行浏览,添加到另外一个dataset里面
但是效率十分低下,求另外的解决办法!
已经知道的有:
int i,j;
DataSet dsSource;
DataSet dsResult;
for(i=0;i<5;i++){
DataTable dtTemp=new DataTable();
dtTemp=dsSource.Tables[0].Clone();
for(j=0;j<100000;j++){
dtTemp.Rows.Add(dsSource.Tables[0].Rows[j+i*100000].ItemArray);
}
dsResult.Tables.Add(dtTemp);
}
for (int i = 1; i <= 5; i++)
{
DataRow[] rows = SourceDataTable.Select(String.Format("ID >= '{0}', ID <= '{1}'", 10000*(i-1), 10000*i));
foreach(DataRow dr in rows)
{
dtTemp.IncludeRow(dr);
}
}
没测,大概是这个意思,用Select找出来,循环加入新的DataTable
int i,j;
DataSet dsSource;
DataSet dsResult;
for(i=0;i<5;i++){
DataTable dtTemp=new DataTable();
dtTemp=dsSource.Tables[0].Clone();
for(j=0;j<100000;j++){
dtTemp.ImportRow(dsSource.Tables[0].Rows[j+i*100000])
}
dsResult.Tables.Add(dtTemp);
}你的方法需要额外new 50万个数组,我猜想个可能会快一些,你试一下,最好先在原DataTable上调用一下AcceptChanges
int i;
DataSet dsSource;
DataSet dsResult;
i = 0;
dsResult = new DataSet();
DataTable dt = dsSurce.Tables[0].Clone();
foreach (DataRow dr in dsSurce.Tables[0].Rows)
{
dt.ImportRow(dr);
i++;
if (Int32.Mod(i, 100000) == 0)
{
dsResult.Tables.Add(dt);
dt = dsSurce.Tables[0].Clone();
}
}
在DataSet里面有合并dataset的方法:ds.Merge(dsTemp,false,MissingSchemaAction.Add);
但有没有dataset的拆分方法呢?
其次
在如果存为xml然后可否只读取部分符合要求的数据呢?
流程:
dsSource.WriteXml("Temp.xml",XmlWriteMode.WriteSchema);
dsSource=new DataSet();
//???????设置读取条件
dsSource.ReadXml("Temp.Xml",XmlReadMode.ReadSchema);
//????????设置读取条件
dsSource.WriteXml("dsFirstTable.xml",XmlWriteMode.WriteSchema)就是是否可以在读取xml时像数据库那样设置数据行筛选条件????
(如用ID限制查询)
然后创建DataTable=DataTable.Select(***********);
---
原则上是可行的吧,没试过
但不连续
不过没有什么,都是排序了的
可以用
DataTable.Select("intid<" + DataTable.Rows[100001]["Intid"]);
获取前100000行数据哈
我也想呀
对于遗留系统+新系统的一个中间插件,如果这么简单我就没有必要问了
,这里使用的是来自sqlserver,orcl,xml三种数据源
还有就是在线的,数据库服务器的压力本来就大了,还频繁的写数据库,读数据库,老总不把我吃了才怪
另外不太清楚Select内部是如何处理的,如果也是做遍历的话用这个方法就比较慢了,Select循环一次,Import循环一次,所以还不如遍历一次,根据行号决定加到哪个DataTable中。
视图保存你处理后的数据是没问题的吧!你不要说不行呀!只是将处理关系的代码移到数据库中而已(如果你处理关系的代码在C#中)!
如果真的不行,但你先分完视图(也就是说你已经有了5个dataset了),在用C#做处理应该也没问题了吧!
或者一个视图保存你处理后的所有数据,然后写5个sql子句,对应5个dataset也行呀
使用where子句,where rowno between 1 and 10W-1,自己改值就行了
怎么会有40000万次循环?你的表中有800个字段吗,如果真是这样,慢是必然的
可能你没有弄懂我的意思,我是说:如果xml也可以象数据库那样只装载需要的数据的话
我们可以使用xml来从新装载部分数据,
也就是说在装载数据之前就筛选一次,不要的数据就不装载,这样我不就可以读取出5个dataset出来?但是好象看来是不可能的。
dataset都是全部装载的
int i;
for(i = 0; i < 5; i++)
dts[i] = src.Clone();
i = 0;
foreach(DataRow r in src.Rows)
{
dts[i/ 100000].Rows.Add(r);
i++;
}另外转成XML肯定慢,50万条说不定运行半天都装不进来
谢谢,不过还是慢
始终有一个遍历
还有就是你的程序有一个bug
那就是不能直接将dr添加到另外的dt
dts[i/ 100000].Rows.Add(r.ItemArry);
但是这样会造成一个dr的副本,所以可以这样int i=0;
for(i=src.Rows.Count-1;i>-1 ,i--)
{
dts[i/ 100000].Rows.Add(src.Rows[i].ItemArry);
src.Rows[i].Remove;
src.AcceptChange();
}
这样就没有副本哈
的read方法是否有效还有待证实,因为stream是按照字节的方式,而不是按照xmlnode的方式,所以还要一个检验方法,有大虾可以帮忙写一个么?