利用VB采集部分网页数据

Question

需要采集的页面是：http://ren.baidu.com/uquery/我想把搜索出来的各用户的ID采集出来，该怎么做。分析了下它的网页源代码，好像是利用json_rs[i].username来保存的。有示例代码的话就再好不过了

Answer 1

2种方法,参考一下吧
http://topic.csdn.net/u/20090905/22/8c4632bd-d8d1-424f-b2ba-ba605b976f8a.html?61083

Answer 2

试试这个
Private Sub Command1_Click()
Dim url As String, p As Long, temp As String, i As Long, n As Long, v() As String
url = "http://ren.baidu.com/uquerys/?type=3&age_from=18&age_to=20&pn="
With CreateObject("Msxml2.XMLHTTP")
Do
p = p + 1
.Open "GET", url & p, False
.send
temp = StrConv(.responsebody, vbUnicode, &H804)
If InStr(temp, "下一页") = 0 Then Exit Do
temp = Split(Split(temp, "s.src=")(2), """")(1)
.Open "geT", temp, False
.send
v = Split(StrConv(.responsebody, vbUnicode, &H804), "username: ")
For i = 1 To UBound(v)
n = n + 1
Debug.Print n; Split(v(i), """")(1)
Next
Debug.Print
Loop
End With
End Sub

Answer 3

百度竟然用的这个：
http://pdc.baidu.com/uinfo/?callback=requestImstate&type=json&uids=d923a26d93f6dc12738b65a2,a7e74517e1a303e52f73b3e8,590f845be9ec51370b55a9c6,7f20fedcf69591530823029e,ea100564519c7da82cddd47a,5ec11464b10ccccc3ac763c5,e8c203a2130e913afadc6158,70f0aa94f7fcc558272df220,2808e33f61b9c9080ef3e36b,a1f56ab50b41dd3332fa1c96&detaillen=256&randin=1836318497&t=
狼专研的够深啊，这都发现了

Answer 4

新建一个新工程，加入一个 Internet Transfer Control、一个 CommandButton 及二个 TextBox！
Text1 用來输入要取取的网页位址，例如：http://www.microsoft.com/taiwan/support/products/vb.htm
Text2 用來输入要存文件的完整文件名，例如：c:\temp\temp.htm 
Private Sub Command1_Click()
Dim b() As Byte
'取消所有操作
Inet1.Cancel
'设定协议为 HTTP
Inet1.Protocol = icHTTP
'设定 URL 属性
Inet1.URL = Text1.Text
'将读取的 HTML 数据放进一个 byte array.
b() = Inet1.OpenURL(, icByteArray)
'建立一个暂存文件來存放取回來的 html 文件
Open Text2.text For Binary Access Write As #1
Put #1, , b()
Close #1
End Sub好了，就是这么简单，试看看吧！

Answer 5

楼上估计没有测试，下载网页有很多方法，对于绝大多数静态或动态的都可以，但是有一部分是很特殊的，你直接访问是得不到数据的，所谓Ajax，只有像狼兄这样才行，查看代码加抓包。

Answer 6

用Firefox辅助得到隐藏地址有时候很方便

Answer 7

用Firefox辅助得到隐藏地址有时候很方便