案例研究
Apache Beam 為現今許多領先的專案、特定產業的用例和新創公司提供動力。

革新即時串流處理:LinkedIn 每日處理 4 兆個事件
Apache Beam 是 LinkedIn 串流基礎架構的支柱,透過 3,000 多個管道處理近乎即時的每日 4 兆個驚人事件,從而為 LinkedIn 全球超過 9.5 億會員的廣大網路提供個人化體驗。採用 Apache Beam 帶來了一系列令人印象深刻的增強功能,包括根據使用案例優化 2 倍成本、濫用標記速度從數天驚人地加快到數分鐘,以及偵測已登入的網路爬蟲個人資料的準確度提高 6% 以上。

為 OCTO Technology 的客戶提供高效能且高效率的交易資料處理
透過 Apache Beam,OCTO 加速了法國最大雜貨零售商之一的交易資料串流處理遷移。透過利用 Apache Beam 強大的轉換和強大的串流功能,他們將基礎架構成本降低了 5 倍,並將效能提高了 4 倍。現在,串流 Apache Beam 管道每天處理超過 1 億行,在不到 3 小時的時間內整合了數百 GB 的交易資料和超過 1 TB 的外部狀態,如果沒有 Apache Beam 的受控聚合,這項任務是不可能實現的。

HSBC 使用 Apache Beam 進行高效能的量化風險分析
HSBC 發現 Apache Beam 不僅僅是一個資料處理框架。它也是一個計算平台和風險引擎,可讓 HSBC 的 XVA 管道擴展 100 倍,效能提高 2 倍,上市時間縮短 24 倍,並簡化了使用蒙地卡羅模擬建模未來情境的資料分發,從而為預測和決策提供量化風險分析。

高效串流分析:透過 Project Shield 讓網路更安全
Project Shield 的使命是保護言論自由,並保護 150 多個國家/地區的 3000 多個弱勢組織的網站免受 DDoS 攻擊。Apache Beam 串流管道每天處理約 3 TB 的日誌資料,每秒處理超過 10,000 個查詢。這些管道產生即時的面向使用者的分析、客製化的流量速率限制和防禦建議。Apache Beam 以約 2 倍的效率提升,實現了關鍵指標的規模化交付。此資料支援了 Project Shield 的目標,即消除 DDoS 攻擊作為壓制記者和其他說出真相的人的武器。最終,Project Shield 的目標是讓網路更安全。

Booking.com 使用 Beam 進行大規模廣告競標
Apache Beam 為 Booking.com 的全球廣告競標和效能基礎架構提供動力,支援每月超過 100 萬個查詢,以在多個資料系統之間工作流程掃描超過 2 PB 的分析資料和 TB 級的交易資料。Apache Beam 將處理速度加快了 36 倍,並將上市時間縮短了多達 4 倍。

使用 Apache Beam 實現自助式機器學習工作流程和擴展 MLOps
Apache Beam 已讓 Credit Karma 的資料和 ML 平台在可擴展性和效率方面具有前瞻性,透過統一的管道實現 MLOps,每天處理 5-10 TB 的資料,每秒處理 5K 個事件,並管理 20K+ 個 ML 功能。

為 Intuit 提供串流和即時 ML 的動力
我們認為,隨著新執行階段的開發,Apache Beam 的執行器不可知性提供了彈性和前瞻性,可保護我們的串流處理平台。Apache Beam 促進了 Intuit 串流處理的普及,並將許多批次工作遷移到串流應用程式。

Lyft 使用 Beam 進行即時 ML
Lyft 市場團隊的目標是透過靈活應對現實世界的動態來提高我們的業務效率。Apache Beam 使我們能夠實現擁有強大且可擴展的 ML 基礎架構的目標,以使用即時功能提高模型的準確性。這些即時功能支援預測、黃金時段、調度等關鍵功能。

Palo Alto Networks 的大規模即時事件串流處理
Palo Alto Networks 是一家全球網路安全領導者,每天即時處理數千億個安全事件,這在業界處於高端水平。Apache Beam 提供高效能、可靠且彈性的資料處理框架來支援此規模。透過 Apache Beam,Palo Alto Networks 最終實現了高效能和低延遲,並將處理成本降低了 60%。

使用 Apache Hop 進行視覺化 Apache Beam 管道設計和協調
Apache Hop 是一個開放原始碼的資料協調和工程平台,可透過視覺化管道生命週期管理來擴展 Apache Beam。Neo4j 的首席解決方案架構師兼 Apache Hop 的共同創辦人 Matt Casters 認為 Apache Beam 是 Hop 背後的推動力。
也由以下公司使用


















































































Akvelon 是一家軟體工程公司,可協助新創公司、中小企業和財富 500 強公司釋放雲端、資料和 AI/ML 的全部潛力,以增強其策略優勢。Akvelon 團隊在將 Apache Beam 與各種資料處理生態系統整合方面擁有深厚的專業知識,並且是熱情的 Apache Beam 社群貢獻者。

