问一个超困难的问题,在好几个版都没有人回答。 HTML文件有900多兆-----------------既然是表格,可以复制到EXCEL中,然后使用DTS导到数据库中呵呵,就解决了 解决方案 » 免费领取超大流量手机卡,每月29元包185G流量+100分钟通话, 中国电信官方发货 HTML文件有900多兆-----------------既然是表格,可以复制到EXCEL中,然后使用DTS导到数据库中呵呵,就解决了-------------------------问题是网络在浏览器里不能完全打开,900多兆的页面数据,直接死机。现在的问题只能用程序读取网页数据,一次读取一个表格,处理完以后再读取第二个表格。我是这样想的,不知道能不能实现? 原页面没有分页?分类型查询?直接写出10W条数据?-----------------------------------------------就是这么BT的页面,就是一个大页面,长得要命。 这样吧,你用些文本编辑器分割一下,1万行存一个,然后放入excel,然后导入数据库文本编辑比如 UE EditPlus 都可以的 手工的方法,把这个大文件下载,然后自己用打开文本文件的方式一行行读入,做语法分析,把数据取出来。自动的方法,在程序里用TCP/IP连接服务器80端口,用HTML协议发请求,让服务器返回页面,同上,做语法分析,取数据。数据取出来就好办了不是~ 手工的方法,把这个大文件下载,然后自己用打开文本文件的方式一行行读入,做语法分析,把数据取出来。自动的方法,在程序里用TCP/IP连接服务器80端口,用HTML协议发请求,让服务器返回页面,同上,做语法分析,取数据。数据取出来就好办了不是~-------------------------------------------------------------感谢这位兄弟,但是你这种方法是不是得把整个文件都读入内存然后才能做下一步,这样一来由于占用内存太大,通常情况计算机都死机。 用传统的读写文件方法,比如Windows API CreateFile、ReadFile,和Delphi自己的AssignFile、ReadLn之类,不是一次把文件装入内存的,应该没有问题。用TCP/IP连端口发请求这个就更好办了,收到一部分处理一部分,处理完就丢掉。缓冲区自己开,不会有内存占用过多的问题。 用TCP/IP连端口发请求这个就更好办了,收到一部分处理一部分,处理完就丢掉。缓冲区自己开,不会有内存占用过多的问题。----------------------------------------------------------------------------------有作过这种程序的兄弟,具体说说怎么作?能不能贴点关键代码?谢谢。 10W条 一张Excel也放不下啊 在控件面板,Internet页上找一个叫做TCPClient的控件。RemoteHost是你要访问的服务器IP地址RemotePort设成80,也就是通常WWW服务的端口。用Open和Close打开关闭连接,用SendBuf(Sendln)和ReceiveBuf(Receiveln)发送和接收数据。具体的请求和响应你要去找HTTP协议,根据协议来传输就行。如果你没有这方面经验,建议用顺序读写文本文件的方式进行。两种方法都要了解HTML文件格式。 在控件面板,Internet页上找一个叫做TCPClient的控件。RemoteHost是你要访问的服务器IP地址RemotePort设成80,也就是通常WWW服务的端口。用Open和Close打开关闭连接,用SendBuf(Sendln)和ReceiveBuf(Receiveln)发送和接收数据。具体的请求和响应你要去找HTTP协议,根据协议来传输就行。如果你没有这方面经验,建议用顺序读写文本文件的方式进行。两种方法都要了解HTML文件格式。---------------------------------------------------------------------------------这位大哥,这种方法我也想过,但是怎么解决网络情况不好,连接超时的问题是关键。另外还有一个关键问题就是;读一段数据后要停下来处理完以后再接着读下一段,这也是关键。还不知道这两个问题如何解决? 建议复制到文本文件然后写个小程序导入access 想从页面抓数据存mssql里?可以,不过做出来了也会n慢而且没分页?浏览都让人害怕。总体部署问题,问其要个接口,直接操作其数据库,抓你要的数据到自己的数据库里。 请教找个简单的存储过程执行错误的问题 一个我觉的不可能完成的SQL sql2000保存pdf文件,提示内存不足 数据库更新的问题 UPDATE "118°15',39°40'" 急!!执行Delete命令删除后的数据怎么恢复?? asp sql查询包含的问题 求一sql语句(急) sql语句的怪问题!!请大虾指点!!!! sql 2005 中文输入被禁止了!怎么办? 请教一个sql语句错在哪儿 挑战数据库高手,小弟向各位高手请教(本人穷,分给的少,希望不要介意) 请教SQL语句日期连续的问题,谢谢~~
-----------------
既然是表格,可以复制到EXCEL中,然后使用DTS导到数据库中呵呵,就解决了
-------------------------
问题是网络在浏览器里不能完全打开,900多兆的页面数据,直接死机。
现在的问题只能用程序读取网页数据,一次读取一个表格,处理完以后再读取第二个表格。
我是这样想的,不知道能不能实现?
-----------------------------------------------
就是这么BT的页面,就是一个大页面,长得要命。
-------------------------------------------------------------
感谢这位兄弟,但是你这种方法是不是得把整个文件都读入内存然后才能做下一步,这样一来由于占用内存太大,通常情况计算机都死机。
----------------------------------------------------------------------------------
有作过这种程序的兄弟,具体说说怎么作?
能不能贴点关键代码?
谢谢。
RemotePort设成80,也就是通常WWW服务的端口。用Open和Close打开关闭连接,用SendBuf(Sendln)和ReceiveBuf(Receiveln)发送和接收数据。具体的请求和响应你要去找HTTP协议,根据协议来传输就行。如果你没有这方面经验,建议用顺序读写文本文件的方式进行。两种方法都要了解HTML文件格式。
RemotePort设成80,也就是通常WWW服务的端口。用Open和Close打开关闭连接,用SendBuf(Sendln)和ReceiveBuf(Receiveln)发送和接收数据。具体的请求和响应你要去找HTTP协议,根据协议来传输就行。如果你没有这方面经验,建议用顺序读写文本文件的方式进行。两种方法都要了解HTML文件格式。
---------------------------------------------------------------------------------
这位大哥,这种方法我也想过,但是怎么解决网络情况不好,连接超时的问题是关键。
另外还有一个关键问题就是;读一段数据后要停下来处理完以后再接着读下一段,这也是关键。还不知道这两个问题如何解决?
然后写个小程序导入access
可以,不过做出来了也会n慢
而且没分页?浏览都让人害怕。
总体部署问题,问其要个接口,直接操作其数据库,抓你要的数据到自己的数据库里。