各位前辈,小弟最近想写一个关于分析搜索引擎蜘蛛爬行记录的程序,但不知道用什么方法得到。
通过分析iis日志有以下几个值
date      访问日期
time      访问时间
s-sitename    网站对应的日志文件夹(这个好像表示的就是一个网站)
s-ip      服务器ip 
cs-method    提交方式
cs-uri-stem 访问页面 
cs-uri-query   这个不知道干什么用的(望高手指点)
s-port 访问端口
cs-username   这个username我在日志中没有看到过相应的值,也不知道做什么用的(望高手指点)
c-ip       访问者ip
cs(User-Agent) 访问者系统信息(搜索引擎的蜘蛛程序与普通访问者好像不一样,我打算用他来判断是否为蜘       蛛爬行记录,并且通过名称判断是哪个搜索引擎,例baiduspider+是百度,msnbot/1.1+是msn等)
sc-status    访问状态 (据说可能通过这个判断蜘蛛抓取页面是否成功,应该是http访问状态吧)
sc-substatus   这个不知道干什么用的
sc-win32-status  这个也不知道干什么的通过获取访问都的这些参数,判断是否为搜索引擎蜘蛛来抓取网站某一页。
本来通过对iis日志进行分析可以得到结果,但这需要对日志的访问权限,所以只能用其它方法。
请教大侠指点迷津,如何才能达到我要的目的,或者还有什么其它的方法。