此文档中包含了IT编程大部分的学习资料，包括java，python，大数据，数据库等各种学习资料，还有各种实战项目

以下附上不平衡数据学习的4篇综述论文，非常有阅读价值。针对不平衡数据集解决方法主要分为两个方面：第一种方案主要从数据的角度出发，主要方法为抽样，既然我们的样本是不平衡的，那么可以通过某种策略进行抽样，从而让我们的数据相对均衡一些；第二种方案从算法的角度出发，考虑不同误分类情况代价的差异性对算法进行优化，使得我们的算法在不平衡数据下也能有较好的效果。

数据 2017/07/28 qq.com/a 2017/07/28 qq.com/bx 2017/07/28 qq.com/by 2017/07/28 qq.com/by3 2017/07/28 qq.com/news 2017/07/28 sina.com/news/socail 2017/07/28 163.com/ac 2017/07/28 sina.com/news/socail 2017/07/28 163.com/sport 2017/07/28 163.com/ac 2017/07/28 sina.com/play 2017/07/28 163.com/sport 2017/07

teradata数据库学习资料，其中包括:学习手册，使用手册等等。

里面包括贝叶斯网络学习，SVM向量机学习等优秀的数学学习算法。 Dlib 18.1 发布了，除了一些 bug 修复外，该版本还包含值得关注的改进： 更精确的 SURF 特征提取器 更快的切削平面解算器 对非常大的矩阵计算奇异值分解的程序 对大数据集进行相关分析的工具 简单的工具用来编写并行循环 Dlib是一个使用现代C++技术编写的跨平台的通用库，遵守Boost Software licence. 主要特点如下： 1.完善的文档：每个类每个函数都有详细的文档，并且提供了大量的示例代码，如果你发现文档描述不清晰或者没有文档，告诉作者，作者会立刻添加。 2.可移植代码：代码符合ISO C++标准，不需要第三方库支持，支持win32、Linux、Mac OS X、Solaris、HPUX、BSDs 和 POSIX 系统 3.线程支持：提供简单的可移植的线程API 4.网络支持：提供简单的可移植的Socket API和一个简单的Http服务器 5.图形用户界面：提供线程安全的GUI API 6.数值算法：矩阵、大整数、随机数运算等 7.机器学习算法： 8.图形模型算法： 9.图像处理：支持读写Windows BMP文件，不同类型色彩转换 10.数据压缩和完整性算法：CRC32、Md5、不同形式的PPM算法 11.测试：线程安全的日志类和模块化的单元测试框架以及各种测试assert支持 12.一般工具：XML解析、内存管理、类型安全的big/little endian转换、序列化支持和容器类

手把手视频详细讲解项目开发全过程，需要的小伙伴自行百度网盘下载，链接见附件，永久有效。 课程简介 从零学习HDP集群环境的安装和配置，通过一步步的实操和讲解带领学生掌握对应的技术。 课程亮点 1，专项攻破HDP集群的安装和配置。 2，生动形象，化繁为简，讲解通俗易懂。 3，全程实操，边操作边讲解，不再只听概念。 适用人群 1、对大数据技术感兴趣的在校生及应届毕业生。 2、Hadoop从业者，希望进一步提升个人技能，拓展职业路线。 3、对大数据行业感兴趣的相关人员。 4、对HDP感兴趣的相关人员。 课程内容： 1、HDP简介 2、HDP管理控制台安装 3、通过HDP管理控制台安装部署集群组件

推荐，最强大数据学习与最佳实践资料合集，基础+架构+治理+案例，共100份。 一、基础篇 快手EB级HDFS挑战与实践 Hive任务开发规范 一文看懂Hadoop生态圈 资料-CentOS7搭建Hadoop-2.7.7集群 ClickHouse官方中文文档 ETL流程、数据流图及ETL过程解决方案 Google-MapReduce中文版_1.0 Hadoop安装及分布式部署 Hadoop精选面试题和MapReduce编程企业级编程实践 HDFS-part2-原理详解 HDFS核心内容及命令-2020 hive安装 hive语法和常用函数 Kafka安装 kylin安装 mapreduce调优指南 sqoop安装 二、架构篇 Flink-1.11 Hive集成与批流一体 ClickHouse在苏宁用户画像场景的实践 优酷大数据 OLAP 技术选型 阿里数据湖选型 各种系统架构图与详细说明 关于BI工具选型的参考依据 Apache Doris在京东搜索实时OLAP中的应用 ClickHouse官方中文文档 ClickHouse原理解析与应用实践 Doris竞品对比 Doris在美团外卖数仓架构中业务实践与改进思路 DorisDB原理剖析 和应用实践篇2021 Flink 流批一体的技术架构以及在阿里的实践 Flink实时仓库实践 Hadoop开源相关，Flink，Kylin等集群搭建2021 KylinCloud+Hudi实践 三、数仓篇 传统数仓与大数据数仓区别 模板-事实表梳理 模板-维度梳理 模板-业务梳理 模板-指标体系梳理 模板1-数据仓库项目计划 模板2-命名规范 模板3_访谈提问和沟通记录单模板 模板4_公共数据资源管理调研模板 模板5_公共数据资源管理分析模板 模板6-报表需求梳理 内部分享-基于 Hudi 和 Kylin 构建准实时高性能数据仓库 商业银行数据仓库系统V2.0 数据仓库建设方案 数据仓库建设规范模板 数据仓库整体设计方案模板 Hadoop构建数据仓库实践 四、治理篇 快手从模型规范开始的数据治理实践 第12章元数据管理-DAMA-DMBOK：数据管理知识体系 权限管理设计方案 数据安全模板-访问权限梳理表 数据治理服务解决方案 数据治理及数据资产化创新实践-京东 万振龙：数据治理与大数据平台设计 主数据管理实践白皮书（1.0版） Apache atlas使用说明文档 atlas安装 CDH启用kerberos身份认证和sentry权限管理 DAMA-部委级数据治理项目经验分享 GrowingIO 2020指标体系与数据采集 GrowingIO公开课：搭建业务+数据一体化的指标体系 IBM 数据治理统一流程 ISO38500 IT治理国际标准 ISO_IEC_38500_2008_version_PDF 五、案例篇 字节Apache Flink在字节跳动的实践 Hudi on Flink在顺丰的实践应用-蔡适择 滴滴Flink在滴滴出行的应用与实践 阿里基于Flink的实时计算平台 菜鸟在物流场景中基于Apache Flink的流计算实践 腾讯clickhouse实践 Clickhouse玩转每天千亿数据-趣头条 微博基于Flink的机器学习实践 快手稳定性体系建设 快手元数据平台化建设及应用场景 快手指标规范化及OneService平台化实战 Apache Flink 在美团的实践与应用 快手服务治理平台+KESS+的设计理念和实战 快手数据中台建设：大数据服务化之路 快手离线数据全链路分级保障平台化建设 快手万亿级实时 OLAP 平台的建设与实践 ClickHouse在快手的大规模应用与架构改进 美团点评酒旅数据仓库建设实践 美团酒旅数据治理实践 美团外卖为何使用Doris创建数据仓库 内部分享-基于 Hudi 和 Kylin 构建准实时高性能数据仓库 实时数据产品实践——美团大交通战场沙盘 ClickHouse在苏宁用户画像场景的实践 腾讯云clickhouse性能调优实践 融合趋势下基于 Flink Kylin Hudi 湖仓一体的大数据生态体系 ClickHouse 在头条的技术演进 Doris的用户画像人群应用-会议组 Doris在美团外卖数仓架构中业务实践与改进思路 Flink 在 OPPO 的平台研发与应用实践 Flink实时仓库实践 Flink在滴滴的应用实践

计算广告学中的大数据学习

利用Python挖掘Twitter数据 推特数据采集 推特官方提供的API可以让我们获取到所需的数据。然后，使用Python的Tweepy库来和API交互。在即时任务中可以通过Stream API获取twitter流数据，因为是及时获取的数据，常规任务中可以通过搜索API获取twitter历史数据，不过只能够下载当前时间以前的7天的数据，并且存在速度限制。两者在中。 BTW，我们还可以在Github或Kaggle上可以找到现有的名人或事件的社交平台数据集，本项目数据排名，基本涵盖了川普开通推特账号以来的所有推文（2009〜 ），而且持续更新，cool〜 先前的推特文本挖掘 你可以在中查看全部代

总目录 (一)联邦学习-入门初识 (二)联邦学习-Fate单机部署 目录1.产生1.1人工智能发展1.2法律法规保护数据隐私1.3数据孤岛问题1.4联邦学习的诞生2.定义2.1概述2.2 定义2.3 分类2.3.1 横向联邦学习2.3.2 纵向联邦学习2.3.3 迁移联邦学习3.应用场景3.1智慧金融3.2智慧医疗4.目前进展4.1 TEE4.1.1 SGX4.2 MPC4.2.1混淆电路4.2.2 秘密分享4.2.3同态加密4.3 案例4.3.1蚂蚁金服共享机器学习4.3.1.1 特性4.3.1.2 基于 TEE 的共享学习4.3.1.2.1模型在线预测4.3.1.2.2模型离线训练4.3.