案例研究

Apache Beam 為現今許多領先的專案、特定產業的用例和新創公司提供動力。

革新即時串流處理:LinkedIn 每日處理 4 兆個事件

Apache Beam 是 LinkedIn 串流基礎架構的支柱,透過 3,000 多個管道處理近乎即時的每日 4 兆個驚人事件,從而為 LinkedIn 全球超過 9.5 億會員的廣大網路提供個人化體驗。採用 Apache Beam 帶來了一系列令人印象深刻的增強功能,包括根據使用案例優化 2 倍成本、濫用標記速度從數天驚人地加快到數分鐘,以及偵測已登入的網路爬蟲個人資料的準確度提高 6% 以上。

Bingfeng Xia
LinkedIn 工程經理
Xinyu Liu
LinkedIn 資深工程師
了解更多 前往案例研究

為 OCTO Technology 的客戶提供高效能且高效率的交易資料處理

透過 Apache Beam,OCTO 加速了法國最大雜貨零售商之一的交易資料串流處理遷移。透過利用 Apache Beam 強大的轉換和強大的串流功能,他們將基礎架構成本降低了 5 倍,並將效能提高了 4 倍。現在,串流 Apache Beam 管道每天處理超過 1 億行,在不到 3 小時的時間內整合了數百 GB 的交易資料和超過 1 TB 的外部狀態,如果沒有 Apache Beam 的受控聚合,這項任務是不可能實現的。

OCTO Technology 的資料工程團隊
大型零售客戶專案
了解更多 前往案例研究

HSBC 使用 Apache Beam 進行高效能的量化風險分析

HSBC 發現 Apache Beam 不僅僅是一個資料處理框架。它也是一個計算平台和風險引擎,可讓 HSBC 的 XVA 管道擴展 100 倍,效能提高 2 倍,上市時間縮短 24 倍,並簡化了使用蒙地卡羅模擬建模未來情境的資料分發,從而為預測和決策提供量化風險分析。

Chup Cheng
HSBC XVA 和 CCR 資本分析副總裁
Andrzej Golonka
HSBC 首席助理副總裁
了解更多 前往案例研究

高效串流分析:透過 Project Shield 讓網路更安全

Project Shield 的使命是保護言論自由,並保護 150 多個國家/地區的 3000 多個弱勢組織的網站免受 DDoS 攻擊。Apache Beam 串流管道每天處理約 3 TB 的日誌資料,每秒處理超過 10,000 個查詢。這些管道產生即時的面向使用者的分析、客製化的流量速率限制和防禦建議。Apache Beam 以約 2 倍的效率提升,實現了關鍵指標的規模化交付。此資料支援了 Project Shield 的目標,即消除 DDoS 攻擊作為壓制記者和其他說出真相的人的武器。最終,Project Shield 的目標是讓網路更安全。

Marc Howard
Project Shield 創始工程師
Chad Hansen
Project Shield 創始工程師
了解更多 前往案例研究

Booking.com 使用 Beam 進行大規模廣告競標

Apache Beam 為 Booking.com 的全球廣告競標和效能基礎架構提供動力,支援每月超過 100 萬個查詢,以在多個資料系統之間工作流程掃描超過 2 PB 的分析資料和 TB 級的交易資料。Apache Beam 將處理速度加快了 36 倍,並將上市時間縮短了多達 4 倍。

Booking.com 的 PPC 團隊
行銷技術部門
了解更多 前往案例研究

使用 Apache Beam 實現自助式機器學習工作流程和擴展 MLOps

Apache Beam 已讓 Credit Karma 的資料和 ML 平台在可擴展性和效率方面具有前瞻性,透過統一的管道實現 MLOps,每天處理 5-10 TB 的資料,每秒處理 5K 個事件,並管理 20K+ 個 ML 功能。

Avneesh Pratap
Credit Karma 資深資料工程師 II
Raj Katakam
Credit Karma 資深 ML 工程師 II
了解更多 前往案例研究

為 Intuit 提供串流和即時 ML 的動力

我們認為,隨著新執行階段的開發,Apache Beam 的執行器不可知性提供了彈性和前瞻性,可保護我們的串流處理平台。Apache Beam 促進了 Intuit 串流處理的普及,並將許多批次工作遷移到串流應用程式。

Nick Hwang
Intuit 串流處理平台工程經理
了解更多 前往案例研究

Lyft 使用 Beam 進行即時 ML

Lyft 市場團隊的目標是透過靈活應對現實世界的動態來提高我們的業務效率。Apache Beam 使我們能夠實現擁有強大且可擴展的 ML 基礎架構的目標,以使用即時功能提高模型的準確性。這些即時功能支援預測、黃金時段、調度等關鍵功能。

Ravi Kiran Magham
Lyft 軟體工程師
了解更多 前往案例研究

Palo Alto Networks 的大規模即時事件串流處理

Palo Alto Networks 是一家全球網路安全領導者,每天即時處理數千億個安全事件,這在業界處於高端水平。Apache Beam 提供高效能、可靠且彈性的資料處理框架來支援此規模。透過 Apache Beam,Palo Alto Networks 最終實現了高效能和低延遲,並將處理成本降低了 60%。

Talat Uyarer
資深首席軟體工程師
了解更多 前往案例研究

使用 Apache Hop 進行視覺化 Apache Beam 管道設計和協調

Apache Hop 是一個開放原始碼的資料協調和工程平台,可透過視覺化管道生命週期管理來擴展 Apache Beam。Neo4j 的首席解決方案架構師兼 Apache Hop 的共同創辦人 Matt Casters 認為 Apache Beam 是 Hop 背後的推動力。

Matt Casters
Neo4j 首席解決方案架構師,Apache Hop 共同創辦人
了解更多 前往案例研究

搜尋引擎工作負載的可擴展性和成本優化

深入了解捷克搜尋引擎擴展內部部署基礎架構的經驗,以了解更多關於基於位元組的資料混洗的優點,以及 Apache Beam 可攜性和抽象帶來最大價值的用例。

Marek Simunek
seznam.cz 資深軟體工程師
了解更多 前往案例研究

結合四項 Apache 技術以獲得樂趣和利潤

瑞士最大的線上市場 Ricardo 使用 Apache Beam 來串流處理平台資料,並讓資料智慧團隊能夠提供可擴展的資料整合、分析和智慧服務。

Tobias Kaymak
Ricardo 資深資料工程師
了解更多 前往案例研究

也由以下公司使用

Mozilla 是非營利 Firefox 瀏覽器。此用例的重點在於將資料從一個系統安全地移動到另一個系統的複雜性、將資料建模為從一個轉換傳遞到另一個轉換的過程、處理錯誤、測試系統以及組織程式碼,以使管道可針對其開放原始碼程式碼庫中來自 Firefox 用戶端的遙測資料擷取不同的來源和目的地系統進行設定
Klio 在 Spotify 開發,並建構於適用於 Python 的 Apache Beam 之上,它是一個開放原始碼框架,可讓研究人員和工程師建構更智慧的資料管道,以便輕鬆且大規模地處理音訊和其他媒體檔案。
Kio 是一組適用於 Apache Beam 的 Kotlin 擴充功能,用於實作 Java SDK 的流暢式 API。
GraalSystems 是一個雲端原生資料平台,可支援 Beam、Spark、Tensorflow、Samza 和許多其他資料處理解決方案。我們架構的核心是一組分散式處理和分析模組,使用 Beam 從我們的 Apache Pulsar 叢集路由每天超過 20 億個事件。對於我們的客戶,我們每天也在我們的生產平台中大規模執行超過 2,000 個 Beam 工作。
Oriel Research Therapeutics (ORT) 是大波士頓地區的一家新創公司,利用最先進的人工智慧技術和下一代定序 (NGS) 技術,為多種醫療狀況提供早期檢測服務。ORT 利用 Apache Beam 管道來處理超過 100 萬個基因體和臨床資訊樣本。ORT 使用處理後的資料來偵測白血病、敗血症和其他醫療狀況。
eBay 是一家美國電子商務公司,透過線上網站提供企業對消費者和消費者對消費者的銷售。他們使用 Apache Beam 建置功能管道:統一線上和離線功能擷取和選擇、加速模型訓練的 E2E 反覆運算、評估和服務、支援不同類型(串流、執行階段、批次)的功能等等。eBay 利用 Apache Beam 作為串流功能 SDK 的基礎,以與 eBay 中的 Kafka、Hadoop、Flink、Airflow 等整合。
GOGA Data Analysis and Consulting 是一家位於日本的公司,專門從事地理空間和地圖資料的分析。他們使用 Apache Beam 和 Cloud Dataflow 來實現順暢的資料轉換流程,以用於分析目的。此用例的重點是透過根據所提供的位置整理和要求每個資料的 API 呼叫,來處理多個擷取、地理編碼和插入流程。

Akvelon 是一家軟體工程公司,可協助新創公司、中小企業和財富 500 強公司釋放雲端、資料和 AI/ML 的全部潛力,以增強其策略優勢。Akvelon 團隊在將 Apache Beam 與各種資料處理生態系統整合方面擁有深厚的專業知識,並且是熱情的 Apache Beam 社群貢獻者。