区域分解算法 是将区域进行分解的一种方法，早期应用于求解椭圆型偏微分方程。区域分解按照划分方式可分为非重叠的区域分解和重叠的区域分解。
功能分解算法 是将不同功能组成的问题，按照其功能进行分解的一种手段，其目的是逐一解决不同功能的问题，从而获得整个问题的解。
流水线算法 流水线技术是并行计算中一个非常有效的、常用的手段，根据计算的依赖和递推关系制定多任务流水线流程。
分而治之算法 根据计算流程进行分解和整合，分而治之方法在并行计算中起着举足轻重的作用。
同步并行算法 所有计算单元下一步计算需要等待上一次的计算全部完成，串行算法并行化中大部分使用此种算法。
异步并行算法 进行数据交换不需要严格确定在某一时刻，每个处理机按照预定的计算任务持续执行，但通常需要在一定的时候必须进行一次数据交换，以保证算法的正确性。
并行编程模式
并行编程模式主要有如下的三种类型：
主从模式（Master-Slave） 有一个主进程，其他为从进程。在这种模式中，主进程一般负责整个并行程序的数据控制，从进程负责对数据的处理和计算任务，当然，主进程也可以参与对数据的处理和计算。一般情况下，从进程之间不发生数据交换，数据的交换过程是通过主进程来完成的。
对称模式（SPMD） 在这种编程模式中，没有哪个进程是主进程，每个进程的地位是相同的。然而，在并行实现过程中，我们总是要在这些进程中选择一个进行输入输出的进程，它扮演的角色和主进程类似。
多程序模式（MPMD） 在每个处理机上执行的程序可能是不同的，在某些处理机上可能执行相同的程序。
并行程序的实现技术
进程控制 对称模式（SPMD）并行计算中每个处理机上执行的是相同的程序，对于每个进程来说，需要知道自己是属于哪个进程，从而来确定该进程需要完成的任务。进程控制是并行程序的重要组成部分，所有的数据处理和交换过程都离不开进程标识，是在实现过程中必须时刻要牢记的。
数据交换 在SPMD模式中，数据交换是其主要特征。进程之间的协同工作、信息沟通等都离不开数据交换。如何合理地实现数据交换，是提高并行计算程序性能的关键之一。对于一个给定的并行计算方法，为了高效率的实现，需要仔细分析数据依赖关系，尽可能减少不必
要的数据交换，同时也要尽最大努力使数据交换在最少的次数内完成。
面向对象化 建立自己的通讯库，使程序具有更加直观的可读性。比如说，在处理机中要进行矩阵传输，那就需要定制一个子程序来完成这项任务。
并行计算体系结构
目前，主要的并行计算体系结构主要有以下四种：
1.对称多处理（SMP）。它由处理单元、高速缓存、总线或交叉开关、共享内存以及I/O等组成。
2.分布式共享存储多处理（DSM）。它较好地改善了SMP的可扩展能力，是目前高性能计算机的主流发展方向之一。
3.大规模并行处理（MPP）。它是并行计算机发展过程中的主力，现在已经发展到由上万个处理机构成一个系统。
4.集群（Cluster）。Linux平台的集群系统己成为最流行的高性能计算平台，在高性能计算机中占有越来越大的比重，系统规模可从单机、少数几台联网的微机直到包括上千个结点的大规模并行系统，既可作为廉价的并行程序调试环境，也可设计成真正的高性能计算机。
刀片：并行架构发展新趋势
最近几年，刀片服务器得到快速发展。刀片服务器是指在标准高度的机架式机箱内可插装多个卡式的服务器单元，实现高可用和高密度。每块“刀片”实际上就是一块系统主板。它们可以通过板载硬盘启动自己的操作系统，类似于一个个独立的服务器。
在这种状态下，每块母板运行自己的系统，服务于指定的不同用户群，相互之间没有关联。不过，管理员可以使用系统软件将这些母板集合成一个服务器集群。集群里所有的母板都可以连接起来提供高速的网络环境，并同时共享资源，为相同的用户群服务。在集群中插入新的“刀片”，就可以提高整体性能。而由于每块“刀片”都是热插拔的，所以，系统可以轻松地进行替换，并且将维护时间减少到最小。
刀片服务器不仅在设计上具有低功耗、空间小、单机售价低等特点，同时它还继承发扬了传统服务器的一些功能，比如热插拔和冗余电源等，满足了密集计算环境对服务器性能的需求。此外，有些产品还可以通过内置的负载均衡技术，有效地提高服务器的稳定性和核心网络性能。
不足与思考
现在，拥有每秒百亿次或者千亿次的并行计算机，对一般的科研院校、研究所和工程应用单位已经不再是一种奢望。
但是我国高性能并行计算的技术支持力量却相对滞后，并行计算人才严重不足。
由于缺少高性能并行计算方面的必要知识，这些单位中的大多数人不得不面对诸如此类的问题：如何根据需求和经费最优地选购、配备并行机？如何合理地制定并行机购置合同？如何对厂商提供的并行机进行验收，以检查它们是否满足合同要求？如何设计系统结构及运行模式以便更有效地管理、维护和使用并行机？如何并行化本单位现有的科学与工程计算程序，研制高性能的并行应用软件，使之能高效率地运行于并行机？如何快速培养并行计算人才，提高本单位科研人员的并行机应用水平？……这些问题解决的好坏直接决定了并行机在科研与工程应用中发挥的作用。
来自www.fundfund.cn 详文参考：http://www.fundfund.cn/news_200862_22811.htm ??