上传者: 42159267
|
上传时间: 2021-11-22 02:29:49
|
文件大小: 3.4MB
|
文件类型: -
本地开发和运营
依存关系
确保您已将Python 2.7和pip一起安装。 然后运行:
pip install -r requirements.txt
正在运行的工作
使用中央作业运行程序模块src/index.py运行所有作业。 您完全不需要编辑此文件。
python src/index.py
参数:
src/spark_jobs.py定义的作业功能名称
生成的簇数
数据文件的文件路径(可以是项目中的绝对路径或本地路径)
这些作业可以占用多个文件。 这些应仅附加到命令中。
例如:
python src/index.py user__reputation__to__upvotes_cast 3 tests/fixtures/users.xml
新增工作
所有作业均从src/s