Spark 与 Avro 和 Parquet
随附一个简单的 Spark 应用程序，演示如何以 Parquet 和 Avro 格式读取和写入数据。
Avro 指的是二进制格式和内存中的 Java 对象表示。 Parquet 仅指一种二进制格式，它支持可插入的内存表示。 Parquet 的内存中表示的选项之一是 Avro，这是我们在这里使用并普遍推荐的选项。
Avro 实际上有两个内存表示。 “特定”记录依赖于生成的代码。 “通用”记录本质上将对象表示为键值对。 我们在这里使用特定的表示，因为一旦设置了代码生成，它会更高效且更容易编程。
编译和打包：
mvn package
这将从 Avro 模式生成 Java 类并构建项目。 Avro 模式是一个简单的“用户”对象，定义在 src/main/resources/user.avsc 中。
要测试写入 Avro 文件：
spa
2021-12-28 19:49:16
14KB
1
Flink实时读取Kafka数据批量聚合（定时/按数量）写入Mysql源码+kafka安装包+zookeeper安装包
2021-12-28 18:02:42
67.84MB
pycharm运行代码（我用的python3.6)后，在控制台提示“请输入您要查询的岗位名称:”时输入你想要搜索的岗位名称例如直接输入python，回车确认后会自动爬取python岗位信息并写入tencent_jobs.csv文件中（在项目文件的同级文件夹）
2021-12-26 22:31:49
149KB
1
import numpy as np
if __name__ == '__main__':
guid = 0
tokens = np.array(['CLS', 'i', 'want', 'to', 'fly', 'from', 'baltimore', 'to', 'dallas', 'round', 'trip', 'SEP'])
input_ids = [101, 1045, 2215, 2000, 4875, 2013, 6222, 2000, 5759, 2461, 4440, 102, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
2021-12-23 17:29:05
20KB
1