SDK 執行緒配置

Beam 允許配置 SDK 執行緒，以適應不同的叢集設定。（以下選項適用於 Python，但大部分資訊也應適用於 Java 和 Go SDK。）

• environment_type 決定使用者程式碼的執行位置。environment_config 根據 environment_type 的值配置環境。
  • DOCKER (預設)：使用者程式碼會在每個工作節點上啟動的容器內執行。這需要在工作節點上安裝 Docker。
    • environment_config：Docker 容器映像的 URL。官方 Docker 映像可在此處取得，且預設會使用。或者，您可以按照此處的指示建置自己的映像。
  • PROCESS：使用者程式碼由執行器在每個工作節點上自動啟動的進程執行。
    • environment_config：JSON 格式為 {"os": "<OS>", "arch": "<ARCHITECTURE>", "command": "<要執行的進程>", "env":{"<環境變數 1>": "<ENV_VAL>"} }。JSON 中的所有欄位都是可選的，除了 command。
      • 對於 command，建議使用啟動載入器可執行檔，該檔案可以使用 ./gradlew :sdks:python:container:build 從原始碼建置，並從 sdks/python/container/build/target/launcher/linux_amd64/boot 複製到工作機器。請注意，Python 啟動載入器假設 Python 和 apache_beam 模組已安裝在每個工作機器上。
  • EXTERNAL：使用者程式碼將被派送到外部服務。例如，可以透過執行 docker run -p=50000:50000 apache/beam_python3.6_sdk --worker_pool 來啟動 Python 工作者的外部服務。
    • environment_config：外部服務的位址，例如 localhost:50000。
    • 若要從 Mac 或 Windows 用戶端存取 Docker 化工作者集區服務，請在用戶端上設定 BEAM_WORKER_POOL_IN_DOCKER_VM 環境變數：export BEAM_WORKER_POOL_IN_DOCKER_VM=1。
  • LOOPBACK：使用者程式碼會在提交管線的同一個進程內執行。此選項對於本機測試很有用。但是，它不適用於生產環境，因為它會在作業發起的機器上執行工作。
    • environment_config 不用於 LOOPBACK 環境。
• sdk_worker_parallelism 設定在每個工作節點上執行的 SDK 工作者的數量。預設值為 1。如果為 0，則執行器會透過查看不同的參數（例如工作機器上的 CPU 核心數）自動設定該值。僅適用於 Flink 和 Spark 執行器上的 Python 管線。