mysql分页查询并过滤部分字段重复数据的问题
表结构如下
id AUTO_INCREMENT
content varchar
post_data timestamp其中content内容可以相同
现在的问题是在使用分页技术情形下,只获取content中的重复内容中的最新的一条记录想到的两个方案
1.先获取查询数据的所有id,再根据id来分页抓取,但这样就违背分页的初衷,并且如果返回的数据较多,客户端第一次查询有延迟
2.再增加一个字段is_dup用来表识content内容是否重复,在插入数据的时候,查询一下是否有重复content,如果有重复,这把之前的record is_dup置1,但感觉这种方案效率太低。
表结构如下
id AUTO_INCREMENT
content varchar
post_data timestamp其中content内容可以相同
现在的问题是在使用分页技术情形下,只获取content中的重复内容中的最新的一条记录想到的两个方案
1.先获取查询数据的所有id,再根据id来分页抓取,但这样就违背分页的初衷,并且如果返回的数据较多,客户端第一次查询有延迟
2.再增加一个字段is_dup用来表识content内容是否重复,在插入数据的时候,查询一下是否有重复content,如果有重复,这把之前的record is_dup置1,但感觉这种方案效率太低。
similar_text() 检测相似度。
select
*
from
(
select *
from
table
order by timestamp desc
) t
group by t.content