自訂 I/O 模式
本頁描述使用自訂 I/O 連接器的管線中的常見模式。自訂 I/O 連接器將管線連接到 Beam 的內建 I/O 轉換不支援的資料庫。
- Java SDK
- Python SDK
在內建連接器和自訂連接器之間選擇
內建 I/O 連接器經過測試和強化,因此請盡可能使用它們。僅在以下情況下使用自訂 I/O 連接器:
- 沒有內建選項
- 您的管線提取來源資料的一小部分子集
例如,使用自訂 I/O 連接器來使用來源資料的一小部分子集來擴充管線元素。如果您正在處理銷售訂單並將資訊新增至每個購買項目,您可以使用自訂 I/O 連接器將一小部分資料子集提取到您的管線中(而不是處理整個來源)。
Beam 在多個執行緒中分配工作,因此自訂 I/O 連接器可能會增加您的資料來源的平均負載。您可以使用startstart和finishfinish套件註解來減少負載。
上次更新於 2024/10/31
您是否找到了您要找的所有內容?
所有內容是否實用且清晰?是否有任何您想變更的內容?請告訴我們!