前のページ 1/6 次のページ

並列コンピューティング(へいれつ-、、並列計算、並列処理)とは、コンピュータにおいて複数のプロセッサで1つのタスクを動作させること。問題を解く過程はより小さなタスクに分割できることが多い、という事実を利用して処理効率の向上を図る手法である。また、このために設計されたコンピュータを並列コンピュータという。ディープ・ブルーなどが有名。

関連する概念に並行計算があるが、並行計算は物理的な並列化のみならず、マルチスレッドなどで仮想的な資源の多重化を行い、プロセッサの待ち時間を他のタスクに利用する場合も含む。

一般的には多くのパーソナルコンピュータや、サーバ、スーパーコンピュータを接続し、並列コンピューティングを行うものはクラスターと呼ばれることが多い。

このクラスターをさらにインターネットなどの広域ネットワーク上で分散・協調させるものも広義には並列コンピューティングに属し(クラスターは1台のパーソナルコンピュータでも構わないことに注意)、分散コンピューティングあるいはグリッド・コンピューティングと呼び(狭義の)並列コンピューティングとは区別することが多い。

◆ 可能性と問題点

並列コンピューティングは、プロセッサ同士が独立して同時に仕事をするため、理想的な状況下ではプロセッサの回路規模を大きくすること無く、プロセッサの数に比例して性能が得られると考えられ、スーパーコンピュータなどで古くからとられた手法である。

しかし、問題点もある。並列コンピューティングを行う場合、もっともパフォーマンスを発揮するのはこれら複数のプロセッサが全て100%使い切られた時と考えられるが、従来のプログラムの多くは、複数のプロセッサを均等に全て使い切るようにはできておらず、また、そういったプログラミングは難しい。

買い物を例にとろう。まず買い物の前に、財布の中身を確かめなければならないし、足りなければ銀行で補充もしなければならない。その後はじめてお店にも行かなければならない。銀行に行くのと、お店に訪れるのは同時にできないし、財布の中身を確認してからでなければ、お店には行けない。プログラムもこれと似て、実行順番が変えられなかったり、同時に実行できなかったりする部分がどうしてもできてしまう。このため複数のプロセッサで同時に、かつ実行順番に依存しないようなプログラムのみでプログラムを構成することは難しい。

並列コンピューティングでは、処理の"ある瞬間"ではそれぞれのプロセッサは実質まったく別に動作しており、そのため実行順番が全く問題にならないプログラムなら性能は引き出しやすい。しかし、先の例のように実行順番が強く束縛される場合は、あるプロセッサだけが働き、ほかのプロセッサはすることがなくなってしまうといった状態になり、性能が引き出しにくい。そのため,並列コンピューティングはそうでない場合と比べて性能を引き出すプログラミングが困難となる。

一般に、プログラムの処理が複数のプロセッサで均等に処理できる割合をプログラムの並列度と言うが、地球シミュレータの高い性能はこの並列度が他に比べて極めて高いことも重要な要因である。

以上のように、並列コンピューティングでは高い性能を発揮する為にはソフトウェアの並列環境への最適化が重要な鍵となる(詳しくは並列化を参照)。

◆ 背景

従来、コンピュータソフトウェアは逐次的に計算されるものとして書かれてきた。問題を解くためにアルゴリズムが構築され、それによって逐次的に実行される命令列が生成される。その命令列は、コンピュータのCPU上で実行される。命令は一度に1つずつ実行される。

一方並列コンピューティングでは、複数の計算ノードが同時並行的に動作して問題を解く。問題は独立した部分に分割され、各計算ノードがアルゴリズムの一部を同時並行的に実行する。計算ノードの実体は様々であり、マルチプロセッサ型のコンピュータの各CPUだったり、ネットワーク上のコンピュータだったり、専用ハードウェアだったり、それらの組合せだったりする。

1980年代から2004年まで、コンピュータの性能向上の主たる要因はクロック周波数の向上にあった。プログラムの実行時間は、命令数と1命令あたりの平均実行時間をかけたものに比例する。他の要因が全く変化しないと仮定すると、クロック周波数の向上によって1命令あたりの平均実行時間が減少するJohn L. Hennessy and David A. Patterson. Computer Architecture: A Quantitative Approach. 3rd edition, 2002. Morgan Kaufmann, ISBN 1558607242. Page 43.。

一方で、マイクロプロセッサの消費電力は $P\; =\; C\; \backslash times\; V^2\; \backslash times\; F$ という式で与えられる。ここで、P は消費電力、C はクロックサイクル毎に切り替えられる静電容量(入力が変化するトランジスタの総数に比例)、V は電圧、F はプロセッサの周波数(正確には1秒あたりのサイクル数)であるJ. M. Rabaey. Digital Integrated Circuits. Prentice Hall, 1996.。従って、クロック周波数が高くなると、プロセッサの消費電力も増大する。プロセッサの消費電力の増大は、インテルが2004年5月に開発中だったプロセッサをキャンセルした最大の理由であり、この時点がクロック周波数向上が性能向上の主たる要因となっていた時代の終焉であったLaurie J. Flynn. [外部リンク] Intel Halts Development of 2 New Microprocessors. New York Times, 2004年5月8日 。

ムーアの法則は、マイクロプロセッサでのトランジスタの実装密度が18カ月から24カ月毎に倍になるという経験則である。消費電力の問題は以前から指摘されていたが、ムーアの法則は未だに有効である。クロック周波数向上の時代が終わると共に、増大したトランジスタ数は周波数向上以外に利用されることになり、並列コンピューティングをマイクロプロセッサ上で実装する時代が到来した。

◇ アムダールの法則とグスタフソンの法則

並列コンピューティングのプラットフォームにおけるアルゴリズムの性能は、そのアルゴリズムをどれだけ並列化できるかに依存する。そのため、1960年代にジーン・アムダールが定式化したアムダールの法則が重要となってくるG. Amdahl. The validity of the single processor approach to achieving large-scale computing capabilities. In Proceedings of AFIPS Spring Joint Computer Conference, pages 483?485, Atlantic City, N.J., April 1967. AFIPS Press.。それによると、プログラムの中の並列化できない部分が並列化による性能向上を制限する。大規模な工学的問題や数学問題には、一般に並列化可能な部分と並列化不可能な部分(逐次実行部分)がある。アムダールの法則によれば、以下のような関係が成り立つ。

:$S\; =\; \backslash frac$

ここで、S はプログラムの性能向上率(逐次実行版での実行時間を1としたときの倍率)、P は並列化可能な部分の比率である。逐次実行部分がプログラムの実行時間の10%を占めている場合、性能向上は10倍となり、それ以上の多くの計算ノードを追加しても意味はない。これにより、並列実行ユニットを追加して意味のある個数の上限が得られる。

前のページ 1/6 次のページ

・並列コンピューティング page1

・並列コンピューティング page2

・並列コンピューティング page3

・並列コンピューティング page4

・並列コンピューティング page5

・並列コンピューティング page6