请问我用一个另外的服务器提供静态内容,会减弱SEO吗?

我有一个服务器,专门用来动态内容,而一切静态的东西,都放到一个虚拟空间上,这样静态的内容与图片JS等的地址就跟原来的动态内容的服务器不一样了.
我听一个做SEO的人说,这样会对SEO造成坏的影响,是不是这样?他是在忽悠我吗?