关于分布式编程，到底有什么好处

请问到底什么是分布式编程？NET Remoting、Web Service、WCF这些技术都是关于分布式编程的吧，按照我的理解：说的通俗一些，分布式编程就是把一个程序分成好几个相对独立的模块，然后放在不同的计算机上（不是必须），不知道这样理解对不对？
但是这样多的话对项目到底有多少好处呢？譬如我现在做一个网站，数据操作层全部用Web Service放在机器B上，其余代码放在机器A上，但是这样效率就一定会高吗？同一个机器的cpu处理这两个模块的时间大于2个cpu同时处理这两个模块的时间，但是在把请求从A机器传递到B机器，然后把处理数据从B机器传回到A机器时这块的时间是不是也需要时间吗？这两个时间并不一定说那个更快，所以说这两个方式哪个性能更好也不一定吧？请指教！！
谢谢