Apakah Anda membutuhkan mesin yang dapat menghasilkan ratusan triliun kalkulasi floating-point per detik? Atau apakah Anda membutuhkan sebuah cerita bar tentang bagaimana superkomputer di ruang bawah tanah Anda membalik pemutus? Membangun klaster Komputasi Berkinerja Tinggi Anda sendiri, alias superkomputer, adalah tantangan bagi setiap geek ahli yang memiliki waktu luang di akhir pekan dan uang tunai untuk dihabiskan. Secara teknis, superkomputer multi-prosesor modern adalah jaringan komputer yang bekerja bersama secara paralel untuk memecahkan masalah. Artikel ini akan menjelaskan secara singkat setiap langkah dalam proses, dengan fokus pada perangkat keras dan perangkat lunak.
Langkah
Langkah 1. Pertama-tama tentukan komponen perangkat keras dan sumber daya yang dibutuhkan
Anda memerlukan satu node kepala, setidaknya selusin node komputasi yang identik, switch Ethernet, unit distribusi daya, dan rak. Tentukan kebutuhan listrik, pendinginan dan ruang yang dibutuhkan. Juga putuskan alamat IP yang Anda inginkan untuk jaringan pribadi Anda, nama node apa, paket perangkat lunak apa yang ingin Anda instal, dan teknologi apa yang Anda inginkan untuk menyediakan kemampuan komputasi paralel (lebih lanjut tentang ini nanti).
- Meskipun perangkat kerasnya mahal, semua perangkat lunak yang tercantum dalam panduan ini gratis, dan sebagian besar bersifat open source.
- Jika Anda ingin melihat seberapa cepat superkomputer Anda secara teoritis, gunakan alat ini:
Langkah 2. Bangun node komputasi
Anda perlu merakit node komputasi atau memperoleh server pra-pembuatan.
- Pilih sasis server komputer yang memaksimalkan ruang, pendinginan, dan efisiensi energi.
- Atau Anda dapat menggunakan sekitar selusin server usang yang sudah usang - yang keseluruhannya akan melebihi jumlah bagian-bagiannya namun menghemat banyak uang. Semua prosesor, adaptor jaringan, dan motherboard harus identik agar seluruh sistem dapat bermain bersama dengan baik. Tentu saja, jangan lupa tentang RAM dan penyimpanan untuk setiap node dan setidaknya satu drive optik untuk node kepala.
Langkah 3. Instal server ke dalam rak
Mulailah dari bawah, agar rak tidak terlalu berat. Anda akan membutuhkan seorang teman untuk membantu Anda dalam hal ini - server yang padat bisa sangat berat dan membimbing mereka ke rel yang menahan mereka ke dalam rak itu sulit.
Langkah 4. Pasang sakelar Ethernet di atas sasis server
Luangkan waktu ini untuk mengonfigurasi sakelar: izinkan ukuran bingkai jumbo 9000 byte, atur alamat IP ke alamat statis yang Anda putuskan di langkah 1, dan matikan protokol perutean yang tidak perlu seperti SMTP Snooping.
Langkah 5. Pasang PDU (Unit Distribusi Daya)
Bergantung pada seberapa banyak arus yang mungkin diperlukan node Anda pada beban maksimum, Anda mungkin memerlukan 220 volt untuk komputasi kinerja tinggi.
Langkah 6. Setelah semuanya terinstal, Anda dapat memulai proses konfigurasi
Linux adalah OS de facto untuk klaster HPC-tidak hanya lingkungan yang ideal untuk komputasi ilmiah, tetapi tidak memerlukan biaya untuk menginstalnya pada ratusan atau bahkan ribuan node. Bayangkan berapa biaya untuk menginstal Windows di semua node itu!
- Mulailah dengan menginstal versi terbaru dari BIOS motherboard dan firmware, yang harus sama di semua node.
- Instal distro linux pilihan Anda pada setiap node, dengan UI grafis untuk node kepala. Pilihan populer termasuk CentOS, OpenSuse, Scientific Linux, RedHat, dan SLES.
- Penulis ini sangat merekomendasikan menggunakan Rocks Cluster Distribution. Selain menginstal semua alat yang diperlukan agar cluster komputasi berfungsi, Rocks menggunakan metode hebat untuk 'mendistribusikan' banyak instance dirinya sendiri ke node dengan sangat cepat menggunakan boot PXE dan prosedur 'Kick Start' Red Hat.
Langkah 7. Instal antarmuka penyampaian pesan, pengelola sumber daya, dan pustaka lain yang diperlukan
Jika Anda tidak menginstal Rocks pada langkah sebelumnya, Anda harus mengatur perangkat lunak yang diperlukan secara manual untuk mengaktifkan mekanisme komputasi paralel.
- Pertama, Anda memerlukan sistem manajemen bash portabel, seperti Torque Resource Manager, yang memungkinkan Anda memecah dan mendistribusikan tugas ke beberapa mesin.
- Pasangkan Torsi dengan Penjadwal Cluster Maui untuk menyelesaikan pengaturan.
- Selanjutnya Anda perlu menginstal antarmuka pengiriman pesan, yang diperlukan untuk proses individual pada node komputasi terpisah untuk berbagi data yang sama. OpenMP adalah no-brainer.
- Jangan lupa perpustakaan matematika multi-threading dan kompiler untuk membangun program komputasi paralel Anda. Apakah saya menyebutkan bahwa Anda hanya harus menginstal Rocks?
Langkah 8. Jaringan node komputasi bersama-sama
Node kepala mengirimkan tugas komputasi ke node komputasi, yang pada gilirannya harus mengirim hasilnya kembali, serta mengirim pesan satu sama lain. Lebih cepat lebih baik.
- Gunakan jaringan ethernet pribadi untuk menghubungkan semua node dalam cluster.
- Node kepala juga dapat bertindak sebagai server NFS, PXE, DHCP, TFTP, dan NTP melalui jaringan Ethernet.
- Anda harus memisahkan jaringan ini dari jaringan publik, yang memastikan bahwa paket siaran tidak mengganggu jaringan lain di LAN Anda.
Langkah 9. Uji cluster
Hal terakhir yang mungkin ingin Anda lakukan sebelum melepaskan semua kekuatan komputasi ini kepada pengguna Anda adalah menguji kinerjanya. Patokan HPL (High Performance Lynpack) adalah pilihan populer untuk mengukur kecepatan komputasi cluster. Anda perlu mengompilasinya dari sumber dengan semua kemungkinan pengoptimalan yang ditawarkan oleh kompiler Anda untuk arsitektur yang Anda pilih.
- Anda harus, tentu saja, mengkompilasi dari sumber dengan semua opsi pengoptimalan yang memungkinkan untuk platform Anda. Misalnya, jika menggunakan CPU AMD, kompilasi dengan Open64 dengan tingkat optimasi -0fast.
- Bandingkan hasil Anda di TOP500.org untuk membandingkan cluster Anda dengan 500 superkomputer tercepat di dunia!
Video - Dengan menggunakan layanan ini, beberapa informasi dapat dibagikan dengan YouTube
Tips
- Untuk kecepatan jaringan yang sangat tinggi, lihat antarmuka jaringan InfiniBand. Bersiaplah untuk membayar harga premium sekalipun.
- IPMI dapat mempermudah administrasi cluster besar dengan menyediakan KVM-over-IP, siklus daya jarak jauh, dan banyak lagi.
- Gunakan Ganglia untuk memantau beban komputasi pada node.
