网站统计，如果从IIS日志中取出准确的访客量（也就是相当于取到独立IP的数量）..

Question

暂时我假设 访客量的数量就等于独立IP数量
那么
我从日志中取到了IP的总数（去重后），然后再去掉蜘蛛的独立IP数量，最后得到的结果是3500个..但事实上我公司做网站的那些人告诉我这个数太大了，实际上的访客还没到1000，那么多出来的这2000多个IP是怎么回事？
求有经验的达人指点一二！！！

Answer 1

附下SQL语句总IP数量->
 select COUNT(distinct c-ip) as allIPCount from '{0}' where (sc-status=200 or sc-status=60)总蜘蛛IP数量->
select COUNT(distinct c-ip) as spiderCount from '{0}' where (sc-status=200 or sc-status=60) and (cs(User-Agent) like '%baidu%' or cs(User-Agent) like '%Yahoo!+Slurp%' or cs(User-Agent) like '%google%' or cs(User-Agent) like '%YoudaoBot%' or cs(User-Agent) like '%sogou%' or cs(User-Agent) like '%msnbot%' or cs(User-Agent) like '%+bingbot%' or cs(User-Agent) like '%jikespider%')

Answer 2

自己写的日志获取IP
第三方等统计系统的IP判断标准时不一样的如站长统计等

Answer 3

IP总数统计的有问题，不是说SQL 是记录的时候可能有问题。“但事实上我公司做网站的那些人告诉我这个数太大了，实际上的访客还没到1000”IP总数-蜘蛛IP 都=3500 ，那IP总数肯定>3500这就和访客还没到1000 矛盾了

Answer 4

你这么一说 还是找到点方向，总结各大搜索引擎的蜘蛛IP 然后进行剔除，这样可以有效的解决本来是蜘蛛但是没有蜘蛛关键字特征的问题。
由于总数太大，我总结了下日志中所哟IP的第一位 如下：108 110~125  14 140 142 153 157 173 175 180 182 183 192 202 203 204 207 210 213 218 219 220 221 222 49 50 58 59 60 61 64 65 66 67 71 72 99

Answer 5

只怕即便如此 总数也不会有大变动 有没有可能蜘蛛IP是IP总数的3分之2？
如果这样就太可怕了 要总结2000多个蜘蛛（或者锁定前三位能判断蜘蛛的话工作量会少

Answer 6

无语 就多筛出俩蜘蛛->select COUNT(distinct [c-ip]) as spiderCount from '{0}' 
where (sc-status=200 or sc-status=60)
and (cs(User-Agent) like '%baidu%' 
or cs(User-Agent) like '%Yahoo!+Slurp%' 
or cs(User-Agent) like '%google%' 
or cs(User-Agent) like '%YoudaoBot%' 
or cs(User-Agent) like '%sogou%' 
or cs(User-Agent) like '%msnbot%' 
or cs(User-Agent) like '%+bingbot%' 
or cs(User-Agent) like '%jikespider%' or c-ip like '31.135.145.%' 
or c-ip like '61.135.145.%' 
or c-ip like '61.135.146.%' 
or c-ip like '159.226.50.%' 
or c-ip like '202.108.11.%' 
or c-ip like '202.108.22.%' 
or c-ip like '202.108.23.%' 
or c-ip like '202.108.249.%' 
or c-ip like '202.108.250.%' 
or c-ip like '220.181.19.%' or c-ip like '66.196.90.%' 
or c-ip like '66.196.91.%' 
or c-ip like '68.142.249.%' 
or c-ip like '68.142.250.%' 
or c-ip like '68.142.251.%' 
or c-ip like '72.30.101.%' 
or c-ip like '72.30.102.%' 
or c-ip like '72.30.103.%' 
or c-ip like '72.30.104.%' 
or c-ip like '72.30.107.%' 
or c-ip like '72.30.110.%' 
or c-ip like '72.30.128.%' 
or c-ip like '72.30.129.%' 
or c-ip like '72.30.131.%' 
or c-ip like '72.30.133.%' 
or c-ip like '72.30.134.%' 
or c-ip like '72.30.135.%' 
or c-ip like '72.30.216.%'
or c-ip like '72.30.226.%' 
or c-ip like '72.30.252.%' 
or c-ip like '72.30.97.%' 
or c-ip like '72.30.98.%' 
or c-ip like '72.30.99.%' 
or c-ip like '74.6.74.%' 
or c-ip like '202.165.102.%' 
or c-ip like '202.160.178.%' 
or c-ip like '202.160.179.%' 
or c-ip like '202.160.180.%' 
or c-ip like '202.160.181.%' 
or c-ip like '202.160.183.%' or c-ip like '64.233.161.%' 
or c-ip like '64.233.189.%' 
or c-ip like '66.102.11.%' 
or c-ip like '66.102.7.%' 
or c-ip like '66.102.9.%' 
or c-ip like '66.249.64.%' 
or c-ip like '66.249.65.%' 
or c-ip like '66.249.66.%' 
or c-ip like '66.249.71.%' 
or c-ip like '66.249.72.%' 
or c-ip like '72.14.207.%' 
or c-ip like '216.239.33.%' 
or c-ip like '216.239.35.%'   
or c-ip like '216.239.37.%'   
or c-ip like '216.239.39.%'   
or c-ip like '216.239.51.%'
or c-ip like '216.239.53.%'   
or c-ip like '216.239.55.%'   
or c-ip like '216.239.57.%'   
or c-ip like '216.239.59.%'or c-ip like '65.54.188.%'
or c-ip like '65.54.225.%'
or c-ip like '65.54.226.%'
or c-ip like '65.54.228.%'
or c-ip like '65.54.229.%'
or c-ip like '207.46.98.%'
or c-ip like '207.68.157.%'or c-ip like '202.108.1.%'
or c-ip like '202.108.2.%'
or c-ip like '202.108.3.%'
or c-ip like '202.108.4.%'
or c-ip like '202.108.33.%'
or c-ip like '202.96.51.%'
or c-ip like '219.142.53.%'or c-ip like '219.133.40.%'
or c-ip like '202.96.170.%'
or c-ip like '202.104.129.%'
or c-ip like '61.135.157.%'or c-ip like '202.106.186.%'
or c-ip like '202.108.36.%'
or c-ip like '202.108.44.%'
or c-ip like '202.108.45.*%'
or c-ip like '202.108.5.%'
or c-ip like '202.108.9.%'
or c-ip like '220.181.12.%'
or c-ip like '220.181.13.%'
or c-ip like '220.181.14.%'
or c-ip like '220.181.15.%'
or c-ip like '220.181.28.%'
or c-ip like '220.181.31.%'
or c-ip like '222.185.245.%'or c-ip like '64.124.85.%'
or c-ip like '61.151.243.%'
or c-ip like '202.165.96.%'
or c-ip like '61.135.152.%'
or c-ip like '194.224.199.%'
or c-ip like '220.181.8.%'
or c-ip like '221.239.209.%'
or c-ip like '217.212.224.%'
or c-ip like '219.142.118.%'
or c-ip like '219.142.78.%'
or c-ip like '61.135.132.%'
or c-ip like '220.181.26.%'

Answer 7

用的是这个网址的IP http://b2b.toocle.com/detail--5034368.html一共三部分，取得是最后一部分..同样的IP写了三次而已