開始使用
文件
切換導覽
切換導覽
關於
開始使用
文件
一般
語言
執行器
I/O 連接器
路線圖
社群
貢獻
部落格
案例研究
Apache
ASF 首頁
授權條款
安全性
感謝
贊助
行為準則
關於
開始使用
文件
一般
語言
執行器
I/O 連接器
路線圖
社群
貢獻
部落格
案例研究
Apache
ASF 首頁
授權條款
安全性
感謝
贊助
行為準則
文件
使用文件
概念
Beam 模型的基本概念
Beam 如何執行管道
Beam 程式設計指南
概述
管道
PCollections
建立 PCollection
PCollection 特性
轉換
套用轉換
核心 Beam 轉換
ParDo
GroupByKey
CoGroupByKey
Combine
Flatten
Partition
使用者程式碼的要求
側輸入
額外輸出
複合轉換
管道 I/O
使用 I/O 轉換
I/O 連接器
I/O 連接器指南
Apache Parquet I/O 連接器
Hadoop 輸入/輸出格式 I/O
HCatalog I/O
Google BigQuery I/O 連接器
Snowflake I/O 連接器
CDAP I/O 連接器
Spark 接收器 I/O 連接器
SingleStoreDB I/O 連接器
Web APIs I/O 連接器
開發新的 I/O 連接器
概述:開發連接器
開發連接器 (Java)
開發連接器 (Python)
I/O 標準
測試 I/O 轉換
結構描述
什麼是結構描述
程式設計語言類型的結構描述
結構描述定義
邏輯類型
建立結構描述
使用結構描述
資料編碼和類型安全
資料編碼基礎
指定編碼器
預設編碼器和 CoderRegistry
視窗化
視窗化基礎
提供的視窗化函式
設定 PCollection 的視窗化函式
水位線和延遲資料
將時間戳記新增至 PCollection 的元素
觸發器
觸發器基礎
事件時間觸發器和預設觸發器
處理時間觸發器
資料驅動的觸發器
設定觸發器
複合觸發器
指標
指標基礎
指標類型
查詢指標
在管道中使用指標
匯出指標
狀態和計時器
狀態類型
延遲狀態讀取
計時器
垃圾收集狀態
狀態和計時器範例
可分割的 DoFn
基礎
大小和進度
使用者啟動的檢查點
執行器啟動的分割
水位線估計
在排空期間截斷
套件最終化
多語言管道
建立跨語言轉換
使用跨語言轉換
執行器支援
批次 DoFn
轉換服務
管道開發生命週期
設計您的管道
建立您的管道
測試您的管道
常見的管道模式
概述
檔案處理
側輸入
管道選項
自訂 I/O
自訂視窗
BigQueryIO
AI 平台
結構描述
BigQuery ML
分組元素以進行有效的外部服務呼叫
使用共用物件快取
AI/ML 管道
開始使用 AI/ML
關於 Beam ML
預測和推論
概述
建立具有多個模型的管道
使用 TensorRT 建立自訂模型處理常式
使用 LLM 推論
建立多語言推論管道
更新生產環境中的模型
資料處理
預處理資料
探索您的資料
工作流程協調
使用 ML-OPS 工作流程協調器
模型訓練
每個實體的訓練
線上叢集
ML 模型評估
使用案例
建立異常偵測管道
參考
RunInference 指標
模型驗證
執行階段系統
容器環境
資源提示
SDK Harness 組態
轉換目錄
Python
概述
元素級
擴充
概述
Bigtable 範例
Vertex AI Feature Store 範例
篩選
FlatMap
Keys
KvSwap
Map
MLTransform
ParDo
Partition
Regex
Reify
RunInference
概述
PyTorch 範例
Sklearn 範例
ToString
Values
WithTimestamps
聚合
ApproximateQuantiles
ApproximateUnique
BatchElements
CoGroupByKey
CombineGlobally
CombinePerKey
CombineValues
Count
Distinct
GroupBy
GroupByKey
GroupIntoBatches
Latest
Max
Mean
Min
Sample
Sum
Top
ToList
其他
Create
Flatten
Reshuffle
WindowInto
Java
概述
元素級
篩選
FlatMapElements
Keys
KvSwap
MapElements
ParDo
Partition
Regex
Reify
ToString
Values
WithKeys
WithTimestamps
聚合
ApproximateQuantiles
ApproximateUnique
CoGroupByKey
Combine
CombineWithContext
Count
Distinct
GroupByKey
GroupIntoBatches
HllCount
Latest
Max
Mean
Min
Sample
Sum
Top
其他
Create
Flatten
PAssert
View
Window
詞彙表
Beam Wiki
範例
相關轉換
FlatMapElements
Javadoc
在集合中的每個元素上套用一個簡單的 1 對多對應函式。多個元素會被扁平化到結果集合中。
範例
相關轉換
如果函式只是決定是否輸出元素,則
Filter
會很有用。
ParDo
是最通用的元素級對應操作,包含其他功能,例如多個輸出集合和側輸入。
上次更新於 2024/10/31
您找到您要找的所有內容了嗎?
所有內容都有用且清楚嗎?有任何您想要變更的地方嗎?請告訴我們!
傳送意見反應