并行计算分为多处理器并行计算和网络并行计算。
多处理器并行计算的关键在于对算法的并行化,即如何将一个任务分配到多个处理器上计算。一般用来测试算法并行计算程度的都是矩阵分解方法,如QR分解等。关于网络并行计算,介绍两个最常见的平台/环境:
1 PVM--Parallel Virtural Machine
  PVM3的原代码可以在ftp://netlib2.cs.utk.edu/pvm下找到,国内校园网上也有。
  XPVM是PVM的图形化控制台,用Tcl/Tk写的。
  PVM可以运行在Linux上,具体的计划有CWP 以及Beowulf
 
2 MPI--Message Passing Interface
  支持Xwindow的MPICH: http://www.mcs.anl.gov/mpi/mpich
  以及XMPI: XMPI - A Run/Debug GUI for MPI
给你推荐两本书:
<并行计算——结构.算法.编程> 陈国良
网络并行计算与分布式编程环境 科学出版社