Apache Beam 簡介

統一的 Apache Beam 模型

進行批次和串流資料處理的最簡單方法。一次編寫,在任何地方運行,處理任務關鍵生產工作負載的資料。

Apache Beam 簡介

統一的 Apache Beam 模型

進行批次和串流資料處理的最簡單方法。一次編寫,在任何地方運行,處理任務關鍵生產工作負載的資料。

運作方式?

資料來源

無論您的資料是位於內部部署還是雲端,Beam 都能從各種支援的來源讀取您的資料。

資料處理

Beam 會執行您的批次和串流使用案例的業務邏輯。

資料寫入

Beam 會將您的資料處理邏輯的結果寫入業界最受歡迎的資料接收器。

Apache Beam 功能

統一

為您資料和應用程式團隊的每一位成員提供簡化的單一程式設計模型,適用於批次和串流使用案例。

可擴展

Apache Beam 具有可擴展性,TensorFlow Extended 和 Apache Hop 等專案都是以 Apache Beam 為基礎建置的。

可攜式

在多個執行環境 (執行器) 上執行管道,提供彈性並避免被鎖定。

開放原始碼

開放、以社群為基礎的開發和支援,以協助您發展應用程式並滿足您特定使用案例的需求。

一次編寫,在任何地方執行
建立多語言管道

試用 Beam Playground

Beam Playground 是一個互動式環境,可讓您試用 Beam 轉換和範例,而無需在您的環境中安裝 Apache Beam。您可以在 Beam Playground 中試用 Apache Beam 範例。



beam playground
由 Apache Beam 驅動的案例研究
previous button
Apache Beam 為 LinkedIn 的串流基礎架構提供動力,透過 3000 多個管道近乎即時地處理每天 4 兆個事件。Beam 啟用統一的管道,為許多使用案例節省了 2 倍的成本,並帶來顯著的改進。
Quote Logo
透過 Apache Beam,OCTO 加速了法國最大的雜貨零售商之一向交易資料串流處理的遷移,使基礎架構成本降低了 5 倍,效能提高了 4 倍。
Quote Logo
HSBC 利用 Apache Beam 作為計算平台和風險引擎,使其能夠擴展 100 倍、效能提高 2 倍,並簡化資料分配,以評估和管理 HSBC 全球規模的 XVA 和交易對手信用風險。
Quote Logo
Apache Beam 支援 Project Shield 的使命,透過以 >10,000 QPS 的速度實現約 2 倍的串流效率,並即時檢視其 >3K 客戶的攻擊資料,以保護言論自由並使網路成為更安全的空間。
Quote Logo
Apache Beam 為 Booking.com 的全球廣告競標提供動力,用於績效行銷並每天掃描 2PB 以上的資料,將處理速度加快了令人驚豔的 36 倍,並將上市時間加快了 4 倍之多。
Quote Logo
Apache Beam 為 Credit Karma 的資料和 ML 平台實現了可擴展性和效率的未來驗證,透過統一的管道實現了 MLOps,每天處理 5-10 TB 的資料,每秒處理 5K 個事件,並管理 20K+ 個 ML 功能。
Quote Logo
Apache Beam 是 Intuit 串流處理平台的核心組件,該平台使編寫串流處理管道的生產時間加快了 3 倍。
Quote Logo
Apache Beam 實現了即時 ML 串流功能產生和模型執行,在最佳化 Lyft 的 Marketplace ML 預測中發揮了關鍵作用,每分鐘處理約 400 萬個事件以產生約 100 個功能。
Quote Logo
捷克搜尋引擎 Seznam 是 Apache Beam 的早期貢獻者和採用者,他們將多個 PB 級的工作負載遷移到 Apache Beam 管道。
Quote Logo
Palo Alto Networks, Inc. 是一家全球網路安全領導者,使用 Apache Beam 每秒處理約 1000 萬個安全記錄事件,用於其實時串流基礎架構。
Quote Logo
Apache Beam 為瑞士領先的二手市場 Ricardo 提供了一個可擴展且可靠的資料處理框架,支援基本的業務場景並啟用即時和 ML 資料處理。
Quote Logo
開放原始碼資料協調平台 Apache Hop 使用 Apache Beam 來「一次設計,隨處運行」,並透過啟用視覺化管道開發和生命週期管理,為 Apache Beam 使用者創造附加價值。
Quote Logo
有故事要分享嗎?您的標誌可以放在這裡。
Quote Logo
next button

隨時掌握 Beam 的最新資訊