Paralel Computation

Pengertian Paralel Computation

Komputasi paralel adalah salah satu teknik melakukan komputasi secara bersamaan dengan memanfaatkan beberapa komputer independen secara bersamaan. Ini umumnya diperlukan saat kapasitas yang diperlukan sangat besar, baik karena harus mengolah data dalam jumlah besar (di industri keuangan, bioinformatika, dll) ataupun karena tuntutan proses komputasi yang banyak. Kasus kedua umum ditemui di kalkulasi numerik untuk menyelesaikan persamaan matematis di bidang fisika (fisika komputasi), kimia (kimia komputasi) dan lain-lain.

Konsep Paralel

Konsep paralel adalah sebuah kemampuan prosesor untuk melakukan sebuah tugas ataupun banyak tugas secara simultan ataupun bersamaan, dengan kata lain prosesor mampu melakukan satu ataupun banyak tugas dalam satu waktu.

Pemrosesan Terdistribusi

Pemrosesan paralel adalah pendekatan komputasi untuk meningkatkan tingkat di mana satu set data diolah dengan pengolahan bagian yang berbeda dari data pada waktu yang sama secara simultan atau bersamaan pada sebuah komputer dan berfungsi memecah beban besar menjadi beberapa beban kecil untuk mempercepat proses penyelesaian masalah. 

Didistribusikan pengolahan paralel menggunakan pemrosesan paralel pada beberapa mesin. Salah satu contoh dari hal ini adalah bagaimana beberapa komunitas memungkinkan pengguna untuk mendaftar dan mendedikasikan komputer mereka sendiri untuk memproses beberapa data set yang diberikan kepada mereka oleh server. Ketika ribuan pengguna mendaftar untuk ini, banyak data dapat diproses dalam jumlah yang sangat singkat.

Arsitektur Komputer Paralel

Arsitektur paralel komputer menurut Klasifikasi Flynn’s terbagi menjadi beberapa bagian, yaitu :

• SISD (Single Instruction – Single Data),  komputer ini memiliki hanya satu prosesor dan satu instruksi yang dieksekusi secara serial. Komputer ini adalah tipe komputer konvensional. Menurut mereka tipe komputer ini tidak ada dalam praktik komputer paralel karena bahkan mainframe pun tidak lagi menggunakan satu prosesor.

• SIMD (Single Instruction – Multiple Data), komputer ini memiliki lebih dari satu prosesor, tetapi hanya mengeksekusi satu instruksi secara paralel pada data yang berbeda pada level lock-step. Komputer vektor adalah salah satu komputer paralel yang menggunakan arsitektur ini.

• MISD(Multiple Instructions – Single Data), teorinya komputer ini memiliki satu prosesor dan mengeksekusi beberapa instruksi secara paralel tetapi praktiknya tidak ada komputer yang dibangun dengan arsitektur ini karena sistemnya tidak mudah dipahami.

• MIMD(Multiple Instructions – Multiple Data), komputer ini memiliki lebih dari satu prosesor dan mengeksekusi lebih dari satu instruksi secara paralel. Tipe komputer ini yang paling banyak digunakan untuk membangun komputer paralel, bahkan banyak supercomputer yang menerapkan arsitektur ini.

Pengantar Thread Programming

Dalam ilmu komputer, sebuah thread eksekusi adalah urutan terkecil instruksi diprogram yang dapat dikelola secara independen oleh sistem operasi scheduler. Sebuah thread adalah proses ringan. Pelaksanaan threads dan proses berbeda dari satu sistem operasi yang lain, tetapi dalam banyak kasus, thread yang terkandung di dalam proses. Beberapa threads bisa ada dalam proses yang sama dan berbagi sumber daya seperti memori, sedangkan proses yang berbeda tidak berbagi sumber daya tersebut. Secara khusus, threads-threads proses berbagi petunjuk yang terakhir (kode) dan konteksnya (nilai-nilai yang variabel yang referensi pada saat tertentu).

Pada prosesor tunggal, multithreading umumnya terjadi pada saat-division multiplexing (seperti dalam multitasking): switch prosesor antara threads yang berbeda. Konteks ini beralih umumnya terjadi cukup sering bahwa pengguna merasakan threads atau tugas sebagai berjalan pada waktu yang sama. Pada sistem multiprosesor atau multi-core, threads dapat benar-benar bersamaan, dengan setiap prosesor atau inti mengeksekusi thread terpisah secara bersamaan.

Pengantar Message Passing, OPEN MP

Message passing adalah paradigma komunikasi di mana pesan dikirim dari pengirim ke satu atau lebih penerima. Bentuk pesan termasuk (remote) pemanggilan metode, sinyal, dan paket data. Ketika merancang sebuah sistem lewat pesan beberapa pilihan yang dibuat:

• Apakah pesan ditransfer andal
• Apakah pesan dijamin akan disampaikan dalam rangka
• Apakah pesan yang melewati satu-ke-satu (unicast), satu-ke-banyak (multicast atau broadcast), banyak-ke-satu (client-server), atau banyak-ke-banyak (All-to-Semua).
• Apakah komunikasi sinkron atau asinkron

Pengantar Pemrograman Menggunakan CUDA

Komputasi berkembang dari "central processing" pada CPU untuk "co-processing" pada CPU dan GPU. Untuk mengaktifkan ini paradigma komputasi baru, NVIDIA menemukan arsitektur komputasi paralel CUDA yang sekarang pengiriman di GeForce, ION Quadro, dan Tesla GPU, mewakili dasar terinstal signifikan untuk pengembang aplikasi. Dan dengan peluncuran terbaru dari Microsoft Windows 7 dan Apple Snow Leopard, komputasi GPU akan mainstream. Dalam sistem operasi baru, GPU tidak hanya akan menjadi prosesor grafis, tetapi juga tujuan paralel prosesor umum dapat diakses oleh aplikasi apapun.



referensi :
http://mau-ri.blogspot.co.id/2015/06/sistem-pemrosesan-terdistribusi.html
http://djuneardy.blogspot.co.id/2015/05/konsep-arsitektur-paralel-pemrosesan.html
http://wind0809.blogspot.co.id/2013/05/seputar-tentang-komputer-paralel.html