Teknik baru menggunakan konfigurasi slot pada klaster Hadoop

Abstrak

Alat Hadoop adalah platform nyata untuk analisis optimal terhadap data dalam jumlah besar. Cara mengurangi waktu penyelesaian sekelompok pekerjaan MapReduce merupakan salah satu hal utama di Hadoop. Map dan reduce tersedia di alat Hadoop yang diimplementasikan untuk memproses dan menyediakan data terabyte besar yang terdistribusi pada klaster kapasitas. Hadoop sumber terbuka saat ini hanya memungkinkan konfigurasi slot tetap, seperti pemasangan slot map dan slot reduce sepanjang umur klaster. Konfigurasi statis seperti ini dapat menyebabkan waktu penyelesaian yang lebih lama serta mengurangi penggunaan CPU.

Tanggung jawab pentingnya adalah memperpendek waktu penyelesaian kumpulan besar pekerjaan MapReduce. Hal ini dapat dicapai melalui konfigurasi rasio slot antara tugas map dan reduce, dengan memperbarui pengetahuan beban kerja dari tugas-tugas yang baru selesai. Banyak metodologi penjadwalan dibahas yang bertujuan untuk memperkuat niat waktu penyelesaian. Usulan skema baru yang menggunakan rasio slot antara tugas map dan reduce sebagai kenop yang dapat disetel untuk meminimalkan panjang penyelesaian (misalnya makespan) dari sekumpulan pekerjaan tertentu. Dengan memanfaatkan dan melakukan analisis rinci pada beban kerja data yang dikumpulkan dalam bentuk informasi untuk sekumpulan pekerjaan yang telah selesai, berbagai skema dirancang secara dinamis untuk alokasi berbagai sumber daya (atau slot) untuk merancang konsep pemetaan dan mengurangi beban alokasi tugas.

Pendahuluan

Klaster Hadoop klasik memiliki satu simpul identitas dan beberapa simpul data. Simpul judul, yang dikonfigurasi dengan pelacak pekerjaan, bertanggung jawab untuk penjadwalan pekerjaan dan koordinasi eksekusi pekerjaan. Setiap simpul informasi dikonfigurasi dengan pelacak misi, yang mengelola slot MapReduce. Hadoop memiliki konfigurasi slot statis, yang berarti jumlah slot map dan slot reduce tetap yang hanya digunakan untuk memproses tugas map reduce. Tugas map dapat dijalankan melalui slot map, dan tugas reduce dapat dijalankan di slot reduce. Konfigurasi slot statis ini dapat mengakibatkan kinerja yang buruk dan pemanfaatan sumber daya yang rendah.

Komponen Apache Hadoop bertanggung jawab untuk menjalankan kumpulan data besar. Komponen pemrosesan paralel utama Hadoop adalah Hadoop Distributed FS (HDFS), Hadoop YARN, dan Hadoop MapReduce.