读写‘大数据量，100M数据，性能操作’添加一行新数据无重复

Question

文本里面 数据格式用户编号 用户名   用户密码           用户时间                        手机号码 
1000000 Sonic forgetit 2008-11-13 09:45:24.000      13522558000  
1000001 Sondd forsddta 2008-11-13 09:45:24.000      13544558000  我怎么样判断注册的用户名是否存在，然后在最后一行添加一行新数据

Answer 1

streamreader先读出来，放到dictionary<int,string>再查找
个人看法，没有实践

Answer 2

我的代码大概是这样写的效率很差，经常读取出错，估计是字符串空格问题，这个解决了
关键是效率非常差，，，，如果做私服，，，网页注册个账号，验证审核，，具体该怎么处理呢？？？？？
private void FileRead()
    {
        try
        {
            FileStream fs = new FileStream(fileName, FileMode.Open, FileAccess.Read);
            if (fs.CanRead)
            {
                //读取时加入编码信息,否则读取汉字会乱码
                StreamReader sr = new StreamReader(fs, Encoding.Default);
                StringBuilder sb = new StringBuilder();
                string rl = sr.ReadLine();
                while (rl != null)
                {
                    string[] strLine = strAll[i].Split('&nbsp;');
                    if (strLine.Length > 1)
                    {
                        DataTable dt = new DataTable();
                        DataRow dr = new DataRow();
                        dt.Columns.Add("UserName");
                        dt.Columns.Add("PassWord");
                        dr = dt.NewRow();
                        dr["UserName"] = strLine[0];
                        dr["PassWord"] = strLine[1];
                        dt.Rows.Add(dr);//更多详细操作省略
                    }
                }
                sr.Close();
            }
            fs.Close();
        }
        catch (Exception ex)
        {
            throw ex;
        }
    }
望能得到好的方法，，能写出实例，那非常非常感谢了

Answer 3

要么数据库，要么牺牲空间换时间，读到DataTable里，始终放内存里，用Select来判断DataRow是否存在。