Açık lake storage, gerçek zamanlı analitik yollar

Gerçek zamanlı data lakehouse kurun

Iceberg, Hudi ve Paimon'u bulunduğu yerde sorgulayın; operasyon verisiyle join edin ve yalnız gerçek zamanlı cevap gereken yolları hızlandırın.

Tüm kaynaklar / son 1 saat

Birleşik olay akışı

1 SAAT

ALL SOURCESAPPLICATIONKUBERNETESSECURITY

TIMESOURCELEVELMESSAGE

10:42:18.904checkout-apiERRORpayment upstream timeout · trace=8fa2

10:42:18.887k8s / podWARNreadiness probe failed · checkout-7c4

10:42:17.512doris-feINFOquery finished · latency=184ms

Hata artışı checkout deploy'undan 3 dk sonra başladıİncele →

Object storage geçmişi ekonomik tutuyor; fakat ekip lake SQL, ETL ve düşük latency serving için ayrı motorlar işletiyor, her workload kullanılabilir olsun diye veriyi aralarında kopyalıyor.

Lakehouse hot ve historical veri arasındaki sınırı kaldırmalı; yeni bir query silo eklememeli.

Pain

Lake açık; cevaba giden yol parçalı

Ad-hoc sorgu ve gerçek zamanlı dashboard farklı motorları kullanıyor.

Veri kopyaları freshness gecikmesi ve tekrar storage yaratıyor.

Hot ve cold veri ayrı erişim ve yetki yolları izliyor.

Her yeni kaynak join edilebilmeden önce yeni pipeline istiyor.

REFERANS MİMARİ / 2026

Tek query plane. İki storage sıcaklığı. Açık formatlar açık kalır.

Doris her byte'ın internal storage'a taşınmasını istemez. Lake'i yerinde sorgulayın, sık kullanılan yolları hot tutun ve ikisini tek SQL planında birleştirin.

STREAM + CDC

Kafka · Flink CDC · MySQL · PostgreSQL

FILES + BATCH

S3 · HDFS · Spark çıktıları · Parquet

MEVCUT SİSTEMLER

Hive · JDBC · Elasticsearch · BigQuery

AÇIK LAKE / OBJECT STORAGE

ICEBERGREAD + WRITE

HUDIREAD

PAIMONREAD

HIVE / PARQUETREAD

APACHE DORIS / UNIFIED QUERY + SERVING

MULTI CATALOGFederated metadata + one SQL plan

MPP QUERY ENGINEPushdown · join · aggregate · cache

INTERNAL HOT STOREReal-time ingest · indexes · materialized views

01 / YERİNDE SORGULA

Multi Catalog, lake ve operasyon kaynaklarını copy job olmadan okur.

02 / HOT YOLU HIZLANDIR

Hot dosyaları cache'le veya materialized view'ları Doris internal tablolara yenile.

03 / SERVE ET + GERİ YAZ

Dashboard ve API'leri hot veriden sun; format destekliyorsa doğrudan geri yaz.

TÜKETİM

BI + AD-HOC SQLREAL-TIME DASHBOARDSAPIs + CUSTOMER ANALYTICSDATA PRODUCTS

FORMAT SINIRLARI

Tablo formatının gerçekten desteklediği yolu seçin.

Açık tablo formatı	Read / query	Doris'ten doğrudan write-back	Şu durumda kullanın
Apache Iceberg	Destekleniyor	INSERT, OVERWRITE, UPDATE, DELETE; MERGE INTO 4.1'de experimental	Lake üzerinde Doris yönetimli en derin read/write lifecycle gerekiyorsa.
Apache Hudi	Destekleniyor	Desteklenmiyor	Mevcut Hudi COW/MOR tablolarında snapshot, time-travel veya incremental read gerekiyorsa; write mevcut writer'da kalır.
Apache Paimon	Destekleniyor	Güncel 4.x dokümanında desteklenmiyor	Streaming changelog ve primary-key lake tabloları zaten varsa; Doris analitik yolu sorgular veya materialize eder.

Önemli sınır: federation, sistemler arası transaction katmanı değildir. Write-heavy operasyon update'lerini kaynağında veya Doris internal tablolarında tutun; lake write-back'i bilinçli kullanın.

ADAPTASYON YOLU

Her şeyi yeniden kurmadan ilerleyin.

Önce federate edin

Catalog'ları kaydedip cross-source SQL çalıştırın. Henüz veri taşımazsınız.

Hot set'i gözleyin

Tekrarlanan join, dashboard ve latency-sensitive tabloları ölçün.

Seçerek materialize edin

Yalnız değerli hot yolları Doris internal storage'a veya Iceberg write-back'e taşıyın.

Tekrarlanan compute'u kaldırın

Ayrı workload'u kalmayan Spark/Trino job'larını emekli edin.

Mimari kaynakları6 doğrulanmış kaynak

D26-MULTIApache Doris Multi Catalog D26-ICEApache Doris Iceberg Catalog D26-HUDIApache Doris Hudi Catalog D26-PAIMONApache Doris Paimon Catalog V26-PAIMONApache Doris + Paimon lakehouse V26-D41Apache Doris 4.1 lakehouse lifecycle

COREVA UYGULAMA YÜZEYİ

Mimariyi gözlemlenebilir bir operasyon yoluna dönüştürün

External catalog'u kaydedin, SQL Studio'da doğrulayın, sonra hot path'i sunan Doris cluster'ını gözlemleyin. Yalnız yerinde sorgu ölçüldükten sonra hızlandırın.

01Iceberg · Hudi · Paimon

02External Catalog

03Doris SQL + hot path

04BI · API · operasyon

DORIS VERİ TASARIMI

Açık tablo formatlarını yerinde sorgulamak için Multi Catalog kullanın.
Lake tablolarını internal real-time tablo ve JDBC dimension'larla join edin.
Tekrarlanan hot path'ler için file cache veya async materialized view kullanın.
Format bazlı write-back ve snapshot davranışını açıkça yönetin.

COREVA'DA UYGULAMA

Bağlantıyı External Catalogs'ta oluşturup test edin.
Data Catalog'da objeleri gezin, join'leri SQL Studio'da doğrulayın.
Hızlandırma seçmeden önce node ve runtime metric'leri inceleyin.
Catalog, storage ve materialized-view değişikliklerini yönetişimli operasyon olarak izleyin.

CUTOVER'DAN ÖNCE

Kabul kapıları

1Catalog metadata görünür
2Baseline sorgu doğru
3Freshness ve p95 hedefi yazılı
4Hızlandırma latency veya maliyeti ölçülebilir azaltıyor

Ne değişir?

Araç değil, çalışma biçimi değişir.

Lake ve warehouse verisi üzerinde tek SQL yüzeyi
Toplu migrasyon zorlamadan açık object-storage geçmişi
Yalnız işin gerektirdiği yerde düşük latency serving
Daha az veri kopyası, motor ve freshness boşluğu

CONTACT / HUBSPOT

Tek workload getirin. Ölçülmüş bir kararla çıkın.

Mevcut maliyeti ve araştırma yolunu çıkaralım; hiçbir şeyi değiştirmeden önce başarı kriterlerini belirleyelim.