Strategi Alokasi Slot | Apache SeaTunnel

Strategi Alokasi Slot

Strategi alokasi slot adalah bagian penting dari SeaTunnel Engine, yang menentukan bagaimana SeaTunnel Engine mengalokasikan tugas ke slot yang berbeda. Strategi alokasi slot adalah komponen yang dapat dikonfigurasi, dan pengguna dapat mengonfigurasi strategi alokasi slot sesuai dengan kebutuhan mereka.

Metode Konfigurasi

Atur parameter slot-allocation-strategy, nilai opsional adalah RANDOM, SYSTEM_LOAD, SLOT_RATIO.

Contoh: seatunnel: engine: slot-service: slot-allocation-strategy: RANDOM

Acak (nilai default)

Strategi alokasi acak adalah strategi alokasi slot default SeaTunnel Engine, yang secara acak mengalokasikan tugas ke slot yang berbeda.

Beban Sistem

Strategi beban sistem mengalokasikan slot berdasarkan beban sistem, secara dinamis menyesuaikan alokasi slot sesuai dengan beban sistem.

1. Desain bobot waktu

Bobot waktu mencerminkan dampak waktu terhadap prioritas penjadwalan:

• Data terkini diberi bobot lebih tinggi, dan data historis secara bertahap meluruh.
• Menggunakan distribusi 4, 2, 2, 1, 1 dan menormalkannya, bobot waktu untuk setiap statistik adalah: Rasio bobot waktu = Bobot saat ini / 10

Ketika klaster baru saja dimulai dan terdapat kurang dari 5 titik data, normalisasi dilakukan secara terpisah, dan rumus perhitungan akan disesuaikan secara dinamis, tidak akan dijelaskan di sini.

2. Perhitungan utilisasi sumber daya

Evaluasi tingkat idle CPU dan memori secara komprehensif berdasarkan bobot: Tingkat idle sumber daya = ((1 - Utilisasi CPU) * Bobot CPU + (1 - Utilisasi Memori) * Bobot Memori) / (Bobot CPU + Bobot Memori)

• (1 - Utilisasi CPU) dan (1 - Utilisasi Memori) dalam rumus adalah tingkat idle.
• Bobot CPU dan memori dapat disesuaikan sesuai kebutuhan spesifik (misalnya, 0,6 dan 0,4), secara fleksibel beradaptasi dengan skenario yang berbeda.

3. Rumus peluruhan waktu dan prioritas penjadwalan

Setelah memperkenalkan peluruhan bobot waktu, rumus untuk menghitung prioritas penjadwalan adalah: Tingkat idle sumber daya komprehensif = Σ dari i=1 hingga 5 dari (( (1 - Utilisasi CPU_i) * Bobot CPU + (1 - Utilisasi Memori_i) * Bobot Memori) / (Bobot CPU + Bobot Memori) * Bobot Waktu_i )

4. Penyesuaian dinamis tingkat idle sumber daya untuk alokasi slot

Saat mengalokasikan banyak slot, dengan mempertimbangkan pembaruan waktu nyata dan simulasi dinamis status sumber daya (karena beban sumber daya dari tugas yang sama tidak akan berubah dengan cepat):

• Rasio sumber daya yang digunakan setiap slot = (1 - Tingkat idle sumber daya komprehensif) ÷ Jumlah slot yang dialokasikan
• Perbarui tingkat idle node yang sesuai setelah mengalokasikan slot: Tingkat idle setelah alokasi slot = Tingkat idle sumber daya komprehensif - Rasio sumber daya yang digunakan setiap slot
• Secara default, satu slot menggunakan 10% sumber daya (tidak diketahui berapa banyak sumber daya yang ditempati slot saat pertama kali dijalankan, jadi diatur ke 10% secara default. Alasan tidak mengaturnya terlalu rendah adalah untuk mencegah mengalokasikan terlalu banyak sumber daya dan menyebabkan node kelebihan beban. Saat berikutnya informasi pemantauan ditangkap, akan relatif akurat).

5. Pengenalan faktor keseimbangan

Hanya menyesuaikan tingkat idle sumber daya secara dinamis melalui alokasi slot mungkin juga memiliki kesalahan. Kami memperkenalkan faktor keseimbangan berdasarkan jumlah slot untuk mengukur status beban node saat ini dan menghindari konsentrasi berlebihan alokasi sumber daya penjadwalan:

Angka ini dapat dihitung secara real-time untuk mengoptimalkan indikator prioritas penjadwalan.

FaktorKeseimbangan_i = 1 - (S_terpakai,i / S_total,i)

• S_terpakai,i: Jumlah slot yang dialokasikan ke node i.
• S_total,i: Total jumlah slot node i.

Sesuaikan prioritas penjadwalan melalui faktor keseimbangan: W_i = α * Tingkat idle setelah alokasi slot_i + β * FaktorKeseimbangan_i

Arti Parameter:

• α: Bobot yang berfokus pada utilisasi sumber daya: 0,7
• β: Bobot faktor keseimbangan untuk mencegah kelebihan beban titik tunggal: 0,3

6. Logika penyesuaian dinamis

• Kumpulkan utilisasi CPU dan memori secara berkala, pertahankan 5 statistik terbaru.
• Perbarui bobot secara dinamis untuk tugas yang sama, secara bertahap meluruhkan data lama.
• Keseimbangan dinamis berdasarkan penggunaan slot.

Penjelasan: Misalnya, jika kita memiliki dua node dan perlu mengalokasikan 10 slot, A memiliki 10 slot kosong, dan B memiliki 20 slot kosong. Setelah menghitung bobot dari 10 slot melalui langkah 4 dan 5, bobot node A lebih tinggi dari node B. Maka kita tetap menganggap node A harus mengalokasikan sumber daya. Ini mungkin karena konfigurasi slot node B di klaster tidak optimal (konfigurasi slot node pekerja terlalu kecil).

Rasio Slot

Strategi rasio slot menjadwalkan berdasarkan tingkat penggunaan slot, dengan prioritas lebih tinggi diberikan ke slot dengan tingkat penggunaan lebih rendah.

Logika Perhitungan:

1. Dapatkan jumlah total slot pekerja.
2. Dapatkan jumlah slot yang belum dialokasikan.
3. Tingkat penggunaan = (Jumlah total slot - Jumlah slot yang belum dialokasikan) / Jumlah total slot.