Driver asli Arrow dengan throughput tinggi untuk analitik lakehouse
Tangan mencatat batch dengan merujuk untuk memindahkan data kolumnar dengan overhead CPU minimal, menghubungkan Delta Lake dan Apache Iceberg ke alat analitik. DeltaForge menyediakan ADBC Driver untuk Windows dan desktop lainnya, dengan konektor Power BI yang dibundel dan pengikatan bahasa untuk Python, R, dan C. Daya tarik utamanya adalah transfer latensi rendah, transfer tanpa salinan, dan akses tabel langsung dari penyimpanan objek, ditujukan untuk insinyur data dan analis BI yang melakukan query pada tabel lakehouse besar tanpa menjalankan Spark.
Pengemudi mengirimkan transfer Arrow-native, zero-copy untuk data kolumnar
DeltaForge ADBC Driver menyerahkan batch rekaman kepada aplikasi klien dengan referensi, yang menghilangkan overhead konversi berorientasi baris dan menjaga data dalam memori kolumnar. Pengemudi membaca dan menulis format tabel Delta Lake dan Apache Iceberg dan menyajikan data sebagai batch rekaman Arrow kepada klien Python, R, atau C. Untuk alur kerja yang memerlukan batch kolumnar alih-alih buffer baris, ini menghasilkan latensi yang lebih rendah dan penggunaan CPU yang berkurang selama ekstraksi.
Ini mengurangi ketergantungan cluster eksternal dengan menjalankan mesin SQL native secara lokal
Pengemudi mencakup mesin SQL yang menghindari kebutuhan akan ketergantungan JVM atau Spark, sehingga kueri dapat dijalankan di perangkat keras lokal atau VM yang ada daripada di cluster yang dikelola. DeltaForge mengiklankan kecepatan yang terukur lebih dari 13 kali lebih cepat daripada pengemudi .NET ODBC standar untuk beban kerja tertentu, yang mendukung kasus penggunaan di mana organisasi ingin menghindari pemeliharaan cluster Spark terpisah untuk analitik.
Instalasi dan integrasi BI langsung tetapi mengasumsikan pengaturan teknis
Di Windows, pengemudi dikirim sebagai MSI yang ditandatangani dan tersedia melalui WinGet, dan juga menyediakan konektor kustom Power BI yang dibundel untuk Desktop. Instalasi cukup sederhana untuk administrator sistem, namun mengintegrasikan konektor ke dalam pipeline BI perusahaan memerlukan konfigurasi akses ke penyimpanan (S3, ADLS, atau disk lokal) dan pemahaman tentang tata letak tabel lakehouse. Binding standar ADBC memungkinkan pengembang memanggil pengemudi dari kode setelah kredensial dan titik akhir tersedia.
Keamanan operasional dan dampak sistem sejalan dengan kebutuhan analitik throughput tinggi
Pengemudi membaca tabel langsung dari penyimpanan objek dan menghindari penulisan metadata cluster, yang menghilangkan ketergantungan pada cluster komputasi aktif. Karena ia menyerahkan batch dengan referensi dan menghindari overhead JVM, tekanan CPU dan memori menurun dibandingkan dengan pengemudi berbasis baris selama ekspor besar. Untuk lingkungan yang memerlukan keamanan rollback atau snapshot, perlindungan tersebut harus dikelola di lapisan penyimpanan atau tabel daripada oleh pengemudi itu sendiri.
Terbaik untuk tim yang dapat menjalankan kueri terhadap penyimpanan lakehouse; disarankan untuk menguji pada data yang representatif
Driver ADBC DeltaForge adalah opsi pragmatis untuk insinyur data dan tim BI yang memerlukan akses throughput tinggi ke tabel Delta Lake atau Iceberg tanpa mengoperasikan kluster Spark. Harapkan transfer data yang lebih cepat dan penggunaan CPU lokal yang lebih rendah, meskipun mengintegrasikannya memerlukan pengetahuan tentang tata letak penyimpanan dan kontrol akses Anda. Uji kueri pada salinan dataset Anda untuk memvalidasi izin dan penggunaan sumber daya sebelum menerapkannya ke produksi. Disarankan.
