lucene 站内搜索原理请教

在考虑lucene做站内搜索
现在能查到的有两种主要的方式一种是用蜘蛛进行网站抓取然后分析，但是动态网页对蜘蛛抓取效果不是特别的好。
另外一种是直接对数据库进行索引建立然后进行搜索。
现在我不明白在web搜索中通过lucene建立的索引能找到对应的页面么？
总感觉第二种方式实现的站内搜索是一种孤立的，不能搜索到具体页面的搜索方式。
但是如果是这样的话这种搜索又失去了其具体的意义。
我这些想法哪里不对请大家指出，谢谢！