使用方式参见： https://season.blog.csdn.net/article/details/118196915

pyspark常用操作梳理 基于spark.sql进行操作 创建临时表 创建临时视图 基于dataframe进行操作 了解表结构 查看数据 查看列名 持久化 列操作 列名称重命名 条件筛选 利用when做条件判断 利用between做多条件判断 in数据判断 数据去重 分组统计 生成索引 数据整形 列转行 行转列 数理统计 描述性统计 统计频数 统计四分位数 分组统计 统计相关系数 统计协方差 随机抽样 自定义统计 udf操作 数据关联 横向拼接 左连接 多字段连接 通过pandas dataframe进行转换 利用pandas取差集、交集和并集

pyspark里连接kafka数据源所需的jar文件，放到python所在的site-package下属于pyspark的jars目录下

MySQL、Teradata和PySpark代码互转表，方便在不同的关系数据库和大数据仓库之间转换代码逻辑，另有数据转换操作的PySpark和Hive代码。

使用python spark的图graph，需要用到graphdataframes相关的文件

pyspark.docx

hadoop spark scala

关系提取 卷积神经网络的关系分类 该代码是使用tensorflow的论文的实现。 ＃＃算法 我几乎遵循了上面提到的论文中使用的技术，只调整了一些参数，例如字向量的尺寸，位置向量，优化函数等。 基本体系结构是卷积层，最大池和最终softamx层。 我们总是可以在输入层和最终的softmax层之间添加/删除conv和max-pool层的数目。 我只使用了1个转换和1个最大池。 ##文件 text_cnn.py-这是一个实现模型体系结构的类。 因此，它接受输入，包含所有层，例如conv2d （卷积层）， max_pool等，这些层处理输入向量，最后根据每个类的预测给出输出。 data_hel

使用spark将csv文件转为parquet文件

给大家分享一套视频教程，名字叫：基于Python Spark的大数据分析课程，很棒的一套pyspark课程，讲师技术水平一流，课程通俗易懂，附源码和课堂笔记