数据湖打造了“天上有云、地下有湖”的生态循环，数据存储于湖中，当有需求时数据上传到云端，冷热结合，极大地降低了成本与能耗，同时利用市场中的云计算能力服务于涵盖政府、社会、民生的智慧城市，最终形成新的数据又将存储到湖存储中。一个区域只有一个湖，但是湖上可以有很多云，湖和云相辅相成，两者不可相互替代。数据湖是政府主导的节能优先的基础设施，充分发挥好党管数据；云计算是企业主导的计算服务优先的商业设施，是搭建在基础设施上的，共同组成我们的生态系统，吸引众多大数据应用企业为城市提供服务，助力大数据产业的发展。
2021-08-05 14:07:10
94.66MB
2020中国华录杯·数据湖算法大赛—定向算法赛（吸烟打电话检测）第二名开源
作者：fire15
联系邮箱：
队伍名称：一个人要像一支队伍
成绩：
初赛A榜：99.84 / 第二名 （两周周冠军）
初赛B榜：84.09 / 第七名
复赛A榜：99.15 / 第五名
复赛B榜：93.13 / 第二名
决赛答辩：第二名
比赛地址：
一、算法简介
数据处理时，观察很多手机拍摄高清图片分辨率很大，因为我机器不大好，IO比较耗时，为了加速训练，先预先等比缩放保存好；
然后合并初赛的数据，进行一个清洗、去重；
最后通过定制化的CutMix进行数据预增强，先生成好部分图片。
主要训练方式基础模型是EfficientNet-B4，使用了对抗学习的预训练模型，使用了Ranger优化器，使用了SGDR的学习率衰减策略，然后通过监测验证集的mAP分数来选择最好的模型，使用early stop停止训练。在训练时还
2021-06-21 15:27:25
45KB
1
分享视频教程，基于Flink+Hudi构建企业万亿级云上实时数据湖（2021新课），希望对大家学习有帮助
2021-05-14 11:05:13
1KB
1
本课程基于真实的企业数据湖案例进行讲解，结合业务实现数据湖平台，让大家在实践中理解和掌握数据湖技术，未来数据湖的需求也会不断加大，希望同学们抓住这个机遇。
2021-05-10 22:05:35
1KB
1