请教个开发思路（购物搜索）

Question

接到一个任务，客户想做一个购物比较网站。大概的描述：
1、访客在网站上输入某个产品的关键字；
2、系统去特定的多个商家网站获取内容（比如做3C的京东、新蛋等）；
3、对内容进行分析，价格最低的有货的排在前面。有点类似比价网的意思，听完后觉得难度应该在如何获取商家的产品内容这里。
想了一下大概有二种方法，一是找商家看有没有数据接口之类的东西，这个估计不大可能；二是用类似小偷类的做法，自行去商家页面搜索，但用这种方法效率肯定不好。不知还有没有更好的办法？请高人指点。

Answer 1

问一下大家，请问你们相信下面这样的缘分测试吗？
www.trip58.com/love/index.php
我怎么和一个很不相关的人测的结果也很好？

Answer 2

精华推荐不是有个：php实现验证码识别-中级篇，应该可以读京东图片的价格吧，刚看到的，LZ的问题我想到的就只有小偷了

Answer 3

http://down.chinaz.com/class/5_1.htm
这个网站里面的源码好像有你想要的 不过代码就的自己分析 呵呵

Answer 4

我以前也想过做类似的东西，当时想的是把商品都抓下来，orz~~估计数据量太大了，而且价格会变动，于是迟迟没有动手

Answer 5

前几天刚好看到一篇文章
构建自己的购物搜索引擎一：写一个简单的
不过结合php的话，如果是我就用sphinx

Answer 6

可否考虑采用以下折中方案：第一步：广泛采集各站数据，广撒网；
第二步：采用用户触发方式，当用户浏览某商品信息时，ajax在后台更新此商品信息，下一个用户看到的信息就是新的。当然第一次更新完成后也可以刷新当前页面，但稍稍会降低一些体验；这种方法也存在数据的部分不及时，但从可行性上讲，比较好实施。

Answer 7

如果用户 就浏览商品列表呢？？要把列表内所有的商品的价格都用AJAX更新吗？？这样你觉得效率和速度能好吗？？另外某个同样的商品会在N多商城中存在，所以最后还是要归结到怎么去让这些商品归类，也就是查询出某个商品后，能知道这个商品都在哪些商城中出售。

Answer 8

现在我知道的就凡客会提供全部商品的XML文件下载，其他商城还没发现有。所有采集数据肯定是王道了，现在重点就是怎么做比价功能！！大家谁还有好的思路一起分享分享！！

Answer 9

在列表ajax更新显然不可取，人肉编辑就别提了。smarter.com.cn感觉这家做得不错，看它的流程和速度应是本地数据来的。归类也做得不错，估计是人工整理过。

Answer 10

各位理解错了吧？ajax更新只是更新部分信息——比如价格。这一步只是部分解决了比价的环节。至于前面的整理阶段，肯定是需要人工介入的，程序还做不到这么智能——当然，如果你对几个目标网站分析透彻，其实人工参与的比例也不会太大。

Answer 11

刚看到一家box-z.com 效果不错，数据是每天定时抓取，用户体验还是差了些。

Answer 12

客户采纳的方案还是采集入库，然后每30分种由用户触发更新，包括列表及详细页。
也只能这样了，实时获取的速度真的很慢，测试了用curl模似访问，仅同时访问3个目标就已很慢了。

Answer 13

实时价格主要依赖于被动更新，就是当有访客访问时更新。
解决价格排序之类的问题，就需要定时大面积更新，这种更新的频率要很小心，容易被商家kill。至于怎么获取价格，就各显神通吧。

Answer 14

商家kill？这种公开数据它能怎么kill，封IP？