Parquet ve Delta dosyalarını hızlı, sorgulanabilir HTTP API'lerine dönüştür
Parquet, Delta ve Iceberg dosyalarını Arrow veya JSON çıktısıyla tiplenmiş HTTP API'leri olarak açığa çıkaran yapılandırma odaklı bir sunumu deneyimleyin. DataPress, DataPress geliştiricisi DataPress tarafından geliştirilmiştir ve sütunlu veri kümelerine düşük gecikmeli erişim ihtiyacı duyan veri mühendisleri ve uygulama geliştiricilerini hedef alır. Çift yürütme motoru (DuckDB ve DataFusion), bellek içi veri kümelerinin sıcak yeniden yüklenmesi ve yerleşik metrikler sunarak, konteynerleştirilmiş dağıtımlar ve Python veya CLI üzerinden programatik kontrol için uygun hale getirir.
DataPress aslında ne yayınlıyor ve nasıl?
DataPress, sütunlu verileri HTTP uç noktaları olarak yayınlar. Parquet, Delta ve Iceberg veri kümelerini JSON veya Arrow IPC döndüren tipli API'lere dönüştürür. Sunucu, başlangıçta şemayı çıkarır, böylece sütunları manuel olarak eşleştirmenize gerek kalmaz ve temel dosyalar üzerinde birleştirmeleri, pencere fonksiyonlarını ve alt seçimleri doğrulayan ve çalıştıran isteğe bağlı bir ham-SQL uç noktası sunar.
Sorgular sırasında sistem performansını nasıl etkiler?
Performans, sütunlu bellek ve sıfır kopya yollarına odaklanır. Rust ile inşa edilen araç, büyük transferler için JSON serileştirme yükünü önlemek amacıyla Arrow IPC kullanır ve bellek baskısını azaltmak için sütunlu formatlara dayanır. Aynı API sözleşmeleri altında gecikmeyi karşılaştırmak için DuckDB ve DataFusion arka uçları arasında geçiş yapabilirsiniz ve sıcak yeniden yükleme, sunucuyu yeniden başlatmadan bellek içindeki veri kümelerini günceller.
Üretim ortamında dağıtmak güvenli mi?
Üretim özellikleri gözlemlenebilirlik ve erişim kontrolünü içerir. Sunucu, izleme için metrikler ve sağlık kontrolü uç noktaları sunar ve veri kümesine erişim için OAuth2 ve OIDC'yi destekler. Ayrıca, konteynerleştirilmiş dağıtım desenleri ve yaygın bulut nesne depolarıyla eşleşen Kubernetes canlılık ve hazırlık probu ve yerel S3 nesne depolama desteği sağlar.
Onu çalıştırmak için derin Rust veya SQL becerilerine ihtiyacım var mı?
Operasyonel karmaşıklık, yapılandırma ve SQL aşinalığına kayar. Servisi, programatik kontrol için bağımsız bir CLI veya bir Python tekerleği aracılığıyla yönetirsiniz ve sunucu, veri kümelerini yayınlamak için tek bir yapılandırma dosyası kullanır. Günlük kullanıcıların yapılandırma şemasını öğrenmeleri gerekecek; analitik ekipler ve mühendisler, isteğe bağlı ham-SQL uç noktası ve arka uç motoru seçimi aracılığıyla doğrudan kontrol kazanır.
Mühendisler için hızlı, düşük maliyetli veri API'lerine ihtiyaç duyan iyi bir uyum
DataPress, sütunlu veri setlerini HTTP'ye hızlı bir şekilde yayınlayan veri mühendisleri ve geliştiriciler için uygundur ve üretim izleme ile kimlik doğrulama gerektirir. Belirli iş yükleri için ayar yaparken yapılandırma ve arka uç karşılaştırmasına zaman ayırmayı bekleyin. Takas, operasyonel kontrolün yapılandırma ve SQL becerilerine bağlı olmasıdır, bu nedenle kod ve altyapı konusunda rahat olan ekipler için en iyisidir.
