部落格
2022/11/03
Beam 啟動器專案
David Cavazos
我們很高興宣布,我們正在提供新的 Beam 啟動器專案!🎉
設定和配置新的專案可能很耗時,並且在不同的語言中有所不同。我們希望這能讓您更容易開始建立新的 Apache Beam 專案和管道。
所有啟動器專案都有自己的 GitHub 儲存庫,因此您可以簡單地複製儲存庫,然後就可以開始使用了。每個專案都附帶一個 README,說明如何使用它、一個簡單的「Hello World」管道以及管道的測試。GitHub 儲存庫已預先配置了 GitHub Actions,以便在開啟或修改提取請求時自動執行測試,並且已啟用 Dependabot,以確保所有相依性都是最新的。這一切都是開箱即用,因此您可以毫無麻煩地開始使用您的 Beam 管道。
例如,以下是如何開始使用 Java
git clone https://github.com/apache/beam-starter-java
cd beam-starter-java
# Install Java and Gradle with sdkman.
curl -s "https://get.sdkman.io" | bash
sdk install java 11.0.12-tem
sdk install gradle
# To run the pipeline.
gradle run
# To run the tests.
gradle test
以下是如何開始使用 Python
git clone https://github.com/apache/beam-starter-python
cd beam-starter-python
# Set up a virtual environment with the dependencies.
python -m venv env
source env/bin/activate
pip install -r requirements.txt
# To run the pipeline.
python main.py
# To run the tests.
python -m unittest
以下是啟動器專案;您可以選擇您喜歡的語言
- [Java] github.com/apache/beam-starter-java – 包括 Gradle 和 Maven 配置。
- [Python] github.com/apache/beam-starter-python – 包含一個 setup.py 檔案,允許在您的管道中使用多個檔案。
- [Go] github.com/apache/beam-starter-go – 包括如何為 ParDo 註冊不同類型的函數。
- [Kotlin] github.com/apache/beam-starter-kotlin – 適用於慣用的 Kotlin
- [Scala] github.com/apache/beam-starter-scala – 即將推出!
我們已更新 Java 快速入門以使用新的啟動器專案,並且我們正在努力更新 Python 和 Go 快速入門。
我們希望您覺得這很有用。隨時歡迎回饋和貢獻!因此,請隨意建立 GitHub 問題,或對任何啟動器專案儲存庫開啟提取請求。