不知道搜索引擎是如何做到的,有了解这种算法的朋友出来指教一下

众所周知搜索引擎有判断抓取的网站文章的标题判断是否重复的功能。我在想啊，就算中国的汉字有5000吧，每个文章的标题是10个字符吧，如果这样组合起来将是多么大的
一个数字啊，何况文章标题的长度还不是固定的，请问搜索引擎如何做到的啊？