去重复

有一文件里有十几万行数据如何去重复大小写一样的只能算一个。。

解决方案 »

  1.   

    file 读进来
    array_unique 
    然后写回去如果觉得空间不够
    就逐行读取求MD5并保存（如果平均行长小于32，占的内存还多些）
    同时写入文件
    遇到某行的MD5已存在了，这行就不写了
      

  2.   

    感觉这玩意不用php，用linux的shell工具会更快例如cat file | sort -u  > file
      

  3.   

    如果你还要考虑大小写的问题的话，直接在上面的命令加 -f 既忽略大小写cat file | sort -u -f > file