我要做个小项目。
读取csv文件 我测试的文件1000行 代码加载很快。
但是加载一个3M大小的 3W行 代码 就卡住了。。
有谁能解决啊。。
我读取只从网上找的一个读写类。。
#region 类说明信息
/// <summary>
/// <DL>
/// <DT><b>读CSV文件类,读取指定的CSV文件,可以导出DataTable</b></DT>
/// <DD>
/// <UL>
/// </UL>
/// </DD>
/// </DL>
/// <Author>yangzhihong</Author>
/// <CreateDate>2006/01/16</CreateDate>
/// <Company></Company>
/// <Version>1.0</Version>
/// </summary>
#endregion
public class CsvStreamReader
{
private ArrayList rowAL; //行链表,CSV文件的每一行就是一个链
private string fileName; //文件名
private Encoding encoding; //编码 public CsvStreamReader()
{
this.rowAL = new ArrayList();
this.fileName = "";
this.encoding = Encoding.Default;
} /// <summary>
///
/// </summary>
/// <param name="fileName">文件名,包括文件路径</param>
public CsvStreamReader(string fileName)
{
this.rowAL = new ArrayList();
this.fileName = fileName;
this.encoding = Encoding.Default;
LoadCsvFile();
} /// <summary>
///
/// </summary>
/// <param name="fileName">文件名,包括文件路径</param>
/// <param name="encoding">文件编码</param>
public CsvStreamReader(string fileName, Encoding encoding)
{
this.rowAL = new ArrayList();
this.fileName = fileName;
this.encoding = encoding;
LoadCsvFile();
} /// <summary>
/// 文件名,包括文件路径
/// </summary>
public string FileName
{
get
{
return fileName;
}
set
{
this.fileName = value;
LoadCsvFile();
}
} /// <summary>
/// 文件编码
/// </summary> public Encoding FileEncoding
{
set
{
this.encoding = value;
}
} /// <summary>
/// 根据最小行,最大行,最小列,最大列,来生成一个DataTable类型的数据 /// 行等于1代表第一行 /// 列等于1代表第一列 /// maxrow: -1代表最大行
/// maxcol: -1代表最大列
/// </summary>
public DataTable this[int minRow, int maxRow, int minCol, int maxCol]
{
get
{
//数据有效性验证 CheckRowValid(minRow);
CheckMaxRowValid(maxRow);
CheckColValid(minCol);
CheckMaxColValid(maxCol);
if (maxRow == -1)
{
maxRow = RowCount;
}
if (maxCol == -1)
{
maxCol = ColCount;
}
if (maxRow < minRow)
{
throw new Exception("最大行数不能小于最小行数");
}
if (maxCol < minCol)
{
throw new Exception("最大列数不能小于最小列数");
}
DataTable csvDT = new DataTable();
int i;
int col;
int row; //增加列 for (i = minCol; i <= maxCol; i++)
{
csvDT.Columns.Add(i.ToString());
}
for (row = minRow; row <= maxRow; row++)
{
DataRow csvDR = csvDT.NewRow(); i = 0;
for (col = minCol; col <= maxCol; col++)
{
csvDR[i] = this[row, col];
i++;
}
csvDT.Rows.Add(csvDR);
} return csvDT;
}
} /// <summary>
/// 载入CSV文件
/// </summary>
private void LoadCsvFile()
{
//对数据的有效性进行验证 if (this.fileName == null)
{
throw new Exception("请指定要载入的CSV文件名");
}
else if (!File.Exists(this.fileName))
{
throw new Exception("指定的CSV文件不存在");
}
else
{
}
if (this.encoding == null)
{
this.encoding = Encoding.Default;
} StreamReader sr = new StreamReader(this.fileName, this.encoding);
string csvDataLine; csvDataLine = "";
while (true)
{
string fileDataLine; fileDataLine = sr.ReadLine();
if (fileDataLine == null)
{
break;
}
if (csvDataLine == "")
{
csvDataLine = fileDataLine;//GetDeleteQuotaDataLine(fileDataLine);
}
else
{
csvDataLine += "\r\n" + fileDataLine;//GetDeleteQuotaDataLine(fileDataLine);
}
//如果包含偶数个引号,说明该行数据中出现回车符或包含逗号
if (!IfOddQuota(csvDataLine))
{
AddNewDataLine(csvDataLine);
csvDataLine = "";
}
}
sr.Close();
//数据行出现奇数个引号
if (csvDataLine.Length > 0)
{
throw new Exception("CSV文件的格式有错误");
}
} }代码太多 我删了一部分。
读取csv文件 我测试的文件1000行 代码加载很快。
但是加载一个3M大小的 3W行 代码 就卡住了。。
有谁能解决啊。。
我读取只从网上找的一个读写类。。
#region 类说明信息
/// <summary>
/// <DL>
/// <DT><b>读CSV文件类,读取指定的CSV文件,可以导出DataTable</b></DT>
/// <DD>
/// <UL>
/// </UL>
/// </DD>
/// </DL>
/// <Author>yangzhihong</Author>
/// <CreateDate>2006/01/16</CreateDate>
/// <Company></Company>
/// <Version>1.0</Version>
/// </summary>
#endregion
public class CsvStreamReader
{
private ArrayList rowAL; //行链表,CSV文件的每一行就是一个链
private string fileName; //文件名
private Encoding encoding; //编码 public CsvStreamReader()
{
this.rowAL = new ArrayList();
this.fileName = "";
this.encoding = Encoding.Default;
} /// <summary>
///
/// </summary>
/// <param name="fileName">文件名,包括文件路径</param>
public CsvStreamReader(string fileName)
{
this.rowAL = new ArrayList();
this.fileName = fileName;
this.encoding = Encoding.Default;
LoadCsvFile();
} /// <summary>
///
/// </summary>
/// <param name="fileName">文件名,包括文件路径</param>
/// <param name="encoding">文件编码</param>
public CsvStreamReader(string fileName, Encoding encoding)
{
this.rowAL = new ArrayList();
this.fileName = fileName;
this.encoding = encoding;
LoadCsvFile();
} /// <summary>
/// 文件名,包括文件路径
/// </summary>
public string FileName
{
get
{
return fileName;
}
set
{
this.fileName = value;
LoadCsvFile();
}
} /// <summary>
/// 文件编码
/// </summary> public Encoding FileEncoding
{
set
{
this.encoding = value;
}
} /// <summary>
/// 根据最小行,最大行,最小列,最大列,来生成一个DataTable类型的数据 /// 行等于1代表第一行 /// 列等于1代表第一列 /// maxrow: -1代表最大行
/// maxcol: -1代表最大列
/// </summary>
public DataTable this[int minRow, int maxRow, int minCol, int maxCol]
{
get
{
//数据有效性验证 CheckRowValid(minRow);
CheckMaxRowValid(maxRow);
CheckColValid(minCol);
CheckMaxColValid(maxCol);
if (maxRow == -1)
{
maxRow = RowCount;
}
if (maxCol == -1)
{
maxCol = ColCount;
}
if (maxRow < minRow)
{
throw new Exception("最大行数不能小于最小行数");
}
if (maxCol < minCol)
{
throw new Exception("最大列数不能小于最小列数");
}
DataTable csvDT = new DataTable();
int i;
int col;
int row; //增加列 for (i = minCol; i <= maxCol; i++)
{
csvDT.Columns.Add(i.ToString());
}
for (row = minRow; row <= maxRow; row++)
{
DataRow csvDR = csvDT.NewRow(); i = 0;
for (col = minCol; col <= maxCol; col++)
{
csvDR[i] = this[row, col];
i++;
}
csvDT.Rows.Add(csvDR);
} return csvDT;
}
} /// <summary>
/// 载入CSV文件
/// </summary>
private void LoadCsvFile()
{
//对数据的有效性进行验证 if (this.fileName == null)
{
throw new Exception("请指定要载入的CSV文件名");
}
else if (!File.Exists(this.fileName))
{
throw new Exception("指定的CSV文件不存在");
}
else
{
}
if (this.encoding == null)
{
this.encoding = Encoding.Default;
} StreamReader sr = new StreamReader(this.fileName, this.encoding);
string csvDataLine; csvDataLine = "";
while (true)
{
string fileDataLine; fileDataLine = sr.ReadLine();
if (fileDataLine == null)
{
break;
}
if (csvDataLine == "")
{
csvDataLine = fileDataLine;//GetDeleteQuotaDataLine(fileDataLine);
}
else
{
csvDataLine += "\r\n" + fileDataLine;//GetDeleteQuotaDataLine(fileDataLine);
}
//如果包含偶数个引号,说明该行数据中出现回车符或包含逗号
if (!IfOddQuota(csvDataLine))
{
AddNewDataLine(csvDataLine);
csvDataLine = "";
}
}
sr.Close();
//数据行出现奇数个引号
if (csvDataLine.Length > 0)
{
throw new Exception("CSV文件的格式有错误");
}
} }代码太多 我删了一部分。
解决方案 »
- c#调用c++的dll,报出:尝试读取或写入受保护的内存。这通常指示其他内存已损坏
- 网页中点击链接跳转到新网页,使新网页显示在老网页的框架中,急!
- C# 写视频解码器?
- 一个比较专业的棘手问题,关于控件的。
- 有那位知道怎样获取实时股票交易数据,或者从证证券公司服务器上下载,以便于分析(自己做一个分析软件)
- 求助C#解压文件问题?
- C#与COM!
- 字符串按照长度拆分算法?
- 文本文件的数据源的操作时“无法找到表0”
- 一段代码,请大家帮忙找找错误!来者有分!
- csv或datagridview或 list泛型导入access 要速度快的。文件比较大。
- 求助 读写dat文件的类 或方法。。和拼音搜索的方法
快速读取
那如果用我自己找的那个代码 我应该怎么改下呢。
3L给的那个 unbelievable啊。 老报错。我就郁闷了。
using LumenWorks.Framework.IO.Csv;void ReadCsv()
{
// open the file "data.csv" which is a CSV file with headers
using (CachedCsvReader csv = new
CachedCsvReader(new StreamReader("data.csv"), true))
{
// Field headers will automatically be used as column names
myDataGrid.DataSource = csv;
}
}
这个csv 要怎么用啊。。纠结哦
http://www.csvreader.com