此版本为官网 Greenplum 的5.18.0版本对应的驱动包 5.1.4.000212版本，java jdbc连接方式跟普通数据库一样，也可添加到到spring项目里面，具体操作类似MySQL数据库连接操作。

pivotal greenplum的官方驱动包。官网无法下载，上传给有需要的人。Java连接greenplum数据库的驱动。

1、脚本运行环境python3.6 2、脚本忽略LOB字段数据 3、脚本生成以^为分割符的csv格式文件 4、脚本避免转义字符将‘\’替换为‘/’,数据中存在分割符：^转换为# 5、特殊字符处理：删除：'\u0000'，'"',oracle数据回车符：'\r','\n' 6、支持按分区导入 7、支持内存处理数据导入greenplum,导入失败生成csv格式文件，方便排错 8、支持生成csv格式文件导入greenplum。 9、传递不同配置文件，多次执行达到并行处理（注意内存溢出） 例： 执行脚本 生成日志目录 配置文件 python3 Main_Mem.py ProcessLog1 config1.ini & python3 Main_Mem.py ProcessLog2 config2.ini & python3 Main_Mem.py ProcessLog3 config3.ini & python3 Main_Mem.py ProcessLog4 config4.ini & 10、采用python 中的copy_from方法实现导入greenplum 11、各目录用途： conf ：存放配置文件 etl_dat： 存放导出数据 log ：存放输出日志 py_tool 存放编写工具脚本: DBconn: 数据库连接池配置及查询返回方法 DumpCsv:导出csv文件方法 Log:日志输出方法 DataBase:判断表是否存在、表或分区表是否有数据、是否为分区表、数据导出、表分区遍历、指定分区表导出等方法 py_main：主程序目录： Main_Mem.py：主程序目录： 运行：python3 Main_Mem.py ProcessLog1 config.ini 12、主程序需要修改目录参数： if __name__ == '__main__': #引用编写的包 sys.path.append('/home/oracle/PyETL2.0/py_tool') import Log,DataBase,DumpCsv #输出日志路径： path = '/home/oracle/PyETL2.0/log/'+sys.argv[1] isExists = os.path.exists(path) if not isExists: os.makedirs(path) #shutil.move(path,path+) logger = Log.log(path) #读取配置文件 config = Confile('/home/oracle/PyETL2.0/conf/', sys.argv[2]) 13、后期还会更新，欢迎提供宝贵意见。

– 调用：扩展5个月分区 dw_dat=> select add_partition_month(5); – 查看表： dw_dat=> \d+ gw_test_info; Append-Only Columnar Table “public.gw_test_info” Column | Type | Modifiers | Storage | Stats target | Compression Type | Compression Level | Block Size | Description -------------±----------------------------±----------±--------±-------------±-----------------±------------------±----------- ±------------ id | numeric | not null | main | | zlib | 5 | 32768 | create_time | timestamp without time zone | not null | plain | | zlib | 5 | 32768 | Checksum: t Child tables: gw_test_info_p201803, gw_test_info_p201804, gw_test_info_p201805, gw_test_info_p201806, gw_test_info_p201807, gw_test_info_p201808, gw_test_info_p201809 Distributed by: (id) Partition by: (create_time) Options: appendonly=true, orientation=column, compresstype=zlib, compresslevel=5

Greenplum 数据库架构分析及CTE实现_杨瑜@Pivotal.pdf

让数据从PostgreSQL流动到Greenplum 安全分析 解决方案 移动安全 信息安全研究 web安全

greenplum企业应用实践，为学习greenplum数据库的个人和企业提供专业的介绍。

gpfdist是一个使用HTTP协议的文件服务器程序，它以并行的方式向Greenplum数据库的Segment供应外部数据文件一个gpfdist实例，每秒能供应200MB并且很多gpfdist进程可以同时运行，每一个供应要被装载的数据的一部分。当使用者用INSERT INTO SELECT * FROM 这样的语句开始装载时，INSERT语句会被Master解析并且分布给主Segment。Segment连接到gpfdist服务器并且并行检索数据，解析并验证数据，从分布键数据计算一个哈希值并且基于哈希键把行发送给它的目标Segment。每个gpfdist实例默认将接受最多64个来自Segment的连接。通过让许多Segment和gpfdist服务器参与到装载处理中，可以以非常高的速率被装载。

文档描述了本人在公司环境搭建greenplum集群的具体操作步骤，从安装到建库表的详细操作都做个记录，OS为CentOS7.5 集群情况：一台master节点，三台数据节点；本次安装没有装standyby节点。

flink消费kafka到greenplum， 以及flink datastream,dataset 使用等，实时数据库读取，存储到greenplum，应用窗口等实战例子