web整站下载相关代码

Question

公司最近要做个项目， 
语言不限，主要功能是实现从某一指定的网站上抽取其整个网站页面， 
（类似爬虫技术，或者网站整站下载器，webzip等软件）。 
即html格式的文件，gif，jpg，css这些文件抽不抽取是次要的， 
主要是如何控制抽取的线程，如何抽取效率才高，稳定性好。 各位有相关的经验，或者代码片段的推荐下