如题所示我有一个100W信息表
表信息:
表名称:product
表字段:id,title,intro
现在提供这个表给用户来根据关键词搜索数据。模糊查询的语句如:intro like'%cement%'
我用的分页存储过程来搜索数据,所以速度还是比较快,缺点就是不能用count(id)统计搜索的结果。统计结果的话至少要几十秒的时间。
大家有没有办法,统计搜索结果的时间可以控制在8秒左右。我看过一些海量数据处理的帖子都是一些建立索引之类的。现在的搜索条件就只有模糊查询.没法用索引优化了。
请高手支招,用什么方法还能更快的统计出搜索的结果。
一般的B2B网站都是怎么来统计搜索结果,是不是跟他们发布产品信息时填写的关键字有很大关系。我们在这里发帖子下面要填那个“相关标签”起什么作用。
表信息:
表名称:product
表字段:id,title,intro
现在提供这个表给用户来根据关键词搜索数据。模糊查询的语句如:intro like'%cement%'
我用的分页存储过程来搜索数据,所以速度还是比较快,缺点就是不能用count(id)统计搜索的结果。统计结果的话至少要几十秒的时间。
大家有没有办法,统计搜索结果的时间可以控制在8秒左右。我看过一些海量数据处理的帖子都是一些建立索引之类的。现在的搜索条件就只有模糊查询.没法用索引优化了。
请高手支招,用什么方法还能更快的统计出搜索的结果。
一般的B2B网站都是怎么来统计搜索结果,是不是跟他们发布产品信息时填写的关键字有很大关系。我们在这里发帖子下面要填那个“相关标签”起什么作用。
(
id int identity(1,1) primary key,
nm varchar(100) unique not null,
sex varchar(10)
)
create UNIQUE index UQ__testIndex__0DAF0CB0
on testindex(nm)insert into testindex
select 'aaabbb','m' union all
select 'bbb','w' union all
select 'ccc','w' union all
select 'ddd','m'
准备一组汉字记录insert into testindex
select '麦蒂未伤愈中途退出训练复出时间再度成疑','北京'
go--创建全文目录
sp_fulltext_catalog 'abc','create'
go--创建全文索引(‘表名‘,’创建/删除‘,’全文目录名‘,’约束名‘)
sp_fulltext_table 'testindex','create','abc','UQ__testIndex__0DAF0CB0'
go--添加列到全文索引(‘表名‘,’列名‘,’添加/删除‘)
sp_fulltext_column 'testindex','nm','add' go
--建立全文索引
--activate,是激活表的全文检索能力,也就是在全文目录中注册该表
execute sp_fulltext_table 'testindex','activate'
go--填充全文索引目录
execute sp_fulltext_catalog 'abc','start_full'
go
--检查全文目录填充情况
While fulltextcatalogproperty('abc','populateStatus')<>0
begin--如果全文目录正处于填充状态,则等待30秒后再检测一次
waitfor delay '0:0:30'
end --全文目录填充完成后,即可使用全文目录检索 SELECT * FROM testindex WHERE CONTAINS(nm, '麦蒂') /**//*id nm sex
----------- --------------------------------------------- ------------------------------------------------ ----------
5 麦蒂未伤愈中途退出训练复出时间再度成疑 北京(所影响的行数为 1 行)
*/
再次插入新的数据,
insert into testindex
select '麦蒂未伤愈中途退出训练复出时间再度成疑12121','北京'
go
SELECT * FROM testindex WHERE CONTAINS(nm, '麦蒂')
-----这个时候进行select实际上得不到理想的结果,还是老数据,没有增加的这一条
/**//*id nm sex
----------- --------------------------------------------- ------------------------------------------------ ----------
5 麦蒂未伤愈中途退出训练复出时间再度成疑 北京(所影响的行数为 1 行)
*/
go
--填充全文索引目录
execute sp_fulltext_catalog 'abc','start_full'
go --检查全文目录填充情况
While fulltextcatalogproperty('abc','populateStatus')<>0
begin--如果全文目录正处于填充状态,则等待30秒后再检测一次
waitfor delay '0:0:30'
end
--重新填充后就会有想要的结果 了
SELECT * FROM testindex WHERE CONTAINS(nm, '麦蒂')go
/**//*id nm sex
----------- ---------------------------------------------------------------------------------------------------- ----------
6 麦蒂未伤愈中途退出训练复出时间再度成疑12121 北京
5 麦蒂未伤愈中途退出训练复出时间再度成疑 北京(所影响的行数为 2 行)*/
--清理现场 sp_fulltext_table 'testindex','drop'
go
sp_fulltext_catalog 'abc','drop'
go
drop table testIndex
一般的分页是count(*),其实可以count出来放到application里,不用每次翻页都去count的。