工业互联网产业大脑是工业互联网产业链的底座，以产业大数据为基础，以产业链图谱为核心，构建PaaS平台，提供SaaS应用，实现产业空间和数字空间的动态映射，打造形成数据驱动的产业治理和创新服务基础设施体系。
数据采集系统：区块链数据交换、数据收集、API接口、数据转换、网络爬虫、数据加载
数据建模系统：基础理论模型、对比分析模型、虚拟仿真模型、大数据分析模型、人工智能模型
分布式计算引擎：分布处理、内存计算、实时流计算、批量加工、数据分析、数据挖掘
数据管理工具：元数据管理、主数据管理、数据ETL、可视化建模、数据查询、定制检索、资产管理、数据治理
2021-06-10 22:02:25
2.54MB
6.1 Hadoop概述
6.2 HDFS
6.2.1 HDFS文件系统的原型GFS
6.2.2 HDFS文件的基本结构
6.2.3 HDFS的存储过程
6.3 MapReduce编程框架
6.3.1 MapReduce的发展历史
6.3.2 MapReduce的基本工作过程
6.3.3 LISP中的MapReduce
6.3.4 MapReduce的特点
6.4 实现Map/Reduce的C语言实例
6.5 建立Hadoop开发环境
6.5.1 相关准备工作
6.5.2 JDK的安装配置
6.5.3 下载、解压Hadoop， 配置Hadoop环境变量
6.5.4 修改Hadoop配置文件
6.5.5 将配置好的Hadoop文件复制到其他节点
6.5.6 启动、停止Hadoop
6.5.7 在Hadoop系统上运行测试程序WordCount
2021-05-24 14:05:36
1.56MB
随着互联网、社交网络、云计算、物联网、移动计算、大规模科学探测与计算分析等的发展，各种新的数据密集型应用如雨后春笋般涌现。这些新的应用通常具有数据量巨大、数据获取速度更新速度快和/或数据种类丰富繁多等特点，被通称为大数据应用。近年来，产业界和学术界面向不同应用场景推出了多种类型、各具特色的大数据处理系统平台。同时，一大批数据建模与分析的方法被应用于大规模数据处理。一方面，多种大数据处理平台没有统一的标准，设计目标、功能和关键技术也多有不同，对于初学者的学习带来了很大的困难，容易“只见树木不见森林”，难以形成全面的认识。另一方面，大规模数据处理要求选择恰当的算法，适合的大数据平台，才能达到其功能和性能的目标。
2021-04-29 21:19:14
30.69MB
1
随着互联网、社交网络、云计算、物联网、移动计算、大规模科学探测与计算分析等的发展，各种新的数据密集型应用如雨后春笋般涌现。这些新的应用通常具有数据量巨大、数据获取速度更新速度快和/或数据种类丰富繁多等特点，被通称为大数据应用。近年来，产业界和学术界面向不同应用场景推出了多种类型、各具特色的大数据处理系统平台。同时，一大批数据建模与分析的方法被应用于大规模数据处理。一方面，多种大数据处理平台没有统一的标准，设计目标、功能和关键技术也多有不同，对于初学者的学习带来了很大的困难，容易“只见树木不见森林”，难以形成全面的认识。另一方面，大规模数据处理要求选择恰当的算法，适合的大数据平台，才能达到其功能
2021-04-21 13:59:03
30.61MB
1