1. 병렬 컴퓨팅 (Parallel Computing) 이란?
ㅇ 프로세서 관점에서, (병렬성)
- 2 이상의 프로세서들이,
- 큰 문제를 작게 나뉘어진 문제(또는 프로그램)들로 동시에 협력하여 병렬 수행
ㅇ 프로그램 실행 관점에서, (병행성) ☞ 병행성 (Concurrency) 참조
- `여러 프로그램들` 또는 `한 프로그램의 여러 분할된 부분들`을 분담시켜,
- 한번에 1 이상의 작업들이 동시에 협력하여 병행 수행
ㅇ 프로세서 관점에서, 병렬성 구현 형태 例)
- 하나의 주기억장치에 여러 프로세서들이 연결되고,
- 공통의 주기억장치를 나눠쓰며,
- 이들이 서로에게 메세지를 전달(남김)으로써 작업/활동/태스크가 조정되며,
- 큰 작업 중 일부를 또다른 유형의 타 프로세서에게 요청하는 등에 의해,
- 여러 밀접한 테스크들이 협력할 수 있게 함
2. 병렬 컴퓨팅의 구분
ㅇ 구현 규모에 따른 구분
- 소규모 : 멀티코어 프로세서 등
. 한 칩 또는 한 장치 내에 다수의 프로세서(코어)를 집적한 마이크로 프로세서를 통해 구현
- 대규모 : 클러스터, 그리드 컴퓨팅 등
. 다수의 CPU 또는 컴퓨터 등을 연결해서 분산처리 구현
ㅇ 병렬화 형태에 따른 구분
- 태스크 병렬화
- 데이터 병렬화
ㅇ 병렬성 수준에 따른 구분
- 작업 수준 병렬성 (Job Lebel)
- 태스크 수준 병렬성 (Task Lebel) 또는 프로세스 수준 병렬성
. 병렬 수행되는 태스크 하나하나가 독립적인 응용 프로그램이지만, 서로 협력함
- 데이터 수준 병렬성 (Data Level)
. 큰 데이터(워드 등) 내부에 작은 데이터에 대한 병렬 연산
- 스레드 수준 병렬성 (Thread Level)
. 멀티 스레드
- 명령어 수준 병렬성 (Instruction Level)
ㅇ 컴퓨터 조직 상의 구분 (제어 방법에 따른 `Flynn`의 분류)
- 단일 명령어 스트림 - 단일 데이터 스트림 (SISD)
. (SISD, Single Instruction Stream - Single Data Stream)
. SISD의 병렬처리 구현 예 : 파이프라인 구조
- 단일 명령어 스트림 - 복수 데이터 스트림 (SIMD)
. (Single Instruction Stream, Multiple Data Stream)
. 그 각각이 지역 메모리를 갖는 n개의 동일 프로세서(프로세싱 유니트,PU)로 구성되나,
동작은 하나의 제어 유니트(CU)에 의해 통제됨
. 즉, 모든 PU들은 각 단계 마다 동일 연산을 수행하지만,
각각 서로다른 데이터들을 처리하는,
데이터 관점의 병렬성(data-level parallelism) 구현
- 복수 명령어 스트림 - 단일 데이터 스트림 (MISD)
. (Multiple Instruction Stream, Single Data Stream)
. 병렬처리 구현 예 : 실제 구현 불가하여 이론적으로 만 제시됨
- 복수 명령어 스트림 - 복수 데이터 스트림 (MIMD)
. (Multiple Instruction Stream, Multiple Data Stream)