FlinkX
| 中文
技术交流
招聘Flink研发工程师，如果有兴趣可以联系思枢（微信号：ysqwhiletrue）
Flink开发工程师JD要求：
1.负责袋鼠云基于Flink的衍生框架数据同步flinkx和实时计算flinkstreamsql框架的开发；
2.调研和把握当前最新大数据实时计算技术，将其中的合适技术引入到平台中，改善产品，提升竞争力；
职位要求：
1、本科及以上学历，3年及以上的Flink开发经验，精通Java，熟悉Scala、Python优先考虑；
2、熟悉Flink原理，有基于Flink做过二次源码的开发，在github上贡献者Flink源码者优先；
3、有机器学习、数据挖掘相关经验者优先；
4、对新技术有快速学习和上手能力，对代码有一定的洁癖；
加分项：
1.在GitHub或其他平台上有过开源项目
可以添加本人微信号ysqwhiletrue，注明招聘，如有意者发
2021-06-21 10:57:27
18.91MB
1
6.1分布式数据仓库的类型
6.2开发项目的本质特征
6.3分布式数据仓库的开发
6.4在多种层次上构建数据仓库
6.5多个小组建立当前细节级
6.6公共细节数据采用多种平台
6.7小结
2021-05-24 12:02:07
1.09MB
产品愿景
1.满足许多的小企业，提供一站式的解决方案。
2.做出世界级别，能够媲美BAT大厂的产品。
3.创造价值，产生价值，让世界变得更加美好。
2021-03-23 12:11:57
19.36MB
原理：
服务由一个master节点和多个worker节点组成，分别部署在多台物理机上，master节点负责分布式锁的发放，woker负责数据处理
主要流程：
1.worker节点请求锁
2.master节点收到请求，发放锁
3.worker节点收到锁，重命名FTP上的一个文件为私有文件名，该文件对其它节点不可见(通过正则表达式判断处理)，然后释放锁，再然后下载文件并处理数据，数据处理完，删除私有文件，并再次请求锁，以进行下一个文件的处理
4.master节点收到释放锁，释放信号量，使其能够继续处理下一个节点的锁请求
5.如果FTP上各节点的私有文件未处理完，就强制结束服务，则下次worker节点启动时，先判断其私有文件是否存在，如果存在，则向master节点请求直接处理，master节点收到请求后，给worker节点发送直接处理命令，worker节点收到命令下载处理文件
6.流程5的情况下，部分数据会重复处理，这交给后续的服务进行数据清洗去重处理
2021-03-19 20:12:59
49KB
1