我写了个网页抓取的程序要抓取网页信息
已经可以抓到
<tr><td style="width:90px;">****</td><td title="******" style="width:169px;">******</td>
<td style="width:57px;">4</td><td style="width:57px;">38.6</td></tr>并且用
String s = textnode.toHtml();//这个就是那个抓取得到的<tr></tr>那一串
Pattern p = Pattern.compile("(?i)<td\\s+.*?>(.*?)</td>");
Matcher m = p.matcher(s);
while(m.find()) {
MailDao.writeFile("", m.group(1));
}
因为网页中有很多个<tr><td></td>....<td></td></tr>有时候如果串行的话比如
.....<td ...
>***</td>
那我想得到的***就截不出来了 求解决办法
最后那个writeFile是要写出生成excel的 所以<tr></tr>中截得的<td></td>中间数据是要分行输出的
已经可以抓到
<tr><td style="width:90px;">****</td><td title="******" style="width:169px;">******</td>
<td style="width:57px;">4</td><td style="width:57px;">38.6</td></tr>并且用
String s = textnode.toHtml();//这个就是那个抓取得到的<tr></tr>那一串
Pattern p = Pattern.compile("(?i)<td\\s+.*?>(.*?)</td>");
Matcher m = p.matcher(s);
while(m.find()) {
MailDao.writeFile("", m.group(1));
}
因为网页中有很多个<tr><td></td>....<td></td></tr>有时候如果串行的话比如
.....<td ...
>***</td>
那我想得到的***就截不出来了 求解决办法
最后那个writeFile是要写出生成excel的 所以<tr></tr>中截得的<td></td>中间数据是要分行输出的
...<td...>***
</td>...
这样那个***就截取不出来了
Pattern p = Pattern.compile("(?i)(?s)<td\\s+.*?>(.*?)</td>");
String s = textnode.toHtml().replaceAll("\r\n","");
...
...
输出来还是不对
String s = textnode.toHtml();
s = s.toString().replaceAll("\r\n","");
也不行
m.group(1).replaceAll("\\s", "")
String s = textnode.toHtml().replaceAll("\r\n","");
就不好使呢
比如:
新行(换行)符 ('\n')、
后面紧跟新行符的回车符 ("\r\n")、
单独的回车符 ('\r')、
所以,用 \s 替换比较保险。