这是用NEO4J平台构建一个《人工智能引论》课程的多模态知识图谱相关代码与文件。
知识图谱的经典定义是结构化的语义知识库，是用形象化的图形式来表达出物理世界中的概念以及内部关系。**其基本组成单位是“实体－关系－实体”三元组**，实体间通过关系相互连接形成知识结构网络。而它**也是基于图的数据结构，基本组成是“节点－边－节点”**，从而将知识信息连接成为一个关系网。所以知识图谱主要有**实体、关系、属性**等部分。其中实体表示的某种事物是独立于其他事物的，也是构建图谱最基本的元素；关系表示的是实体与实体之间的关系，用边连接着实体；而属性则用来阐述某一类实体的一些具体的值。这些三元组形式是知识图谱数据层最底层的形式。
图数据库是一种新型的非关系型数据库，无论是节点还是边缘，它的图表都**基于图论**。图论中的基本元素节点和边对应图数据库当中的节点与关系。图数据库的模型是包括**节点、关系以及属性**。它主要存储两类数据：节点和边。节点是实体：如人、成绩、书籍或其他具体事物。边关系：连接节点的概念、事件或事物。
2023-11-24 21:39:08
541KB
1
手把手教你在Xilinx FPGA开发平台构建MicroBlaze软核——Digilent CMOD A7 FPGA评测白.pdf
2022-11-08 11:22:05
7.08MB
1
说明和源代码，用于为iOS平台构建本机ROS端口。 该项目还包括一个用于测试的示例应用程序。
2022-09-15 21:33:33
1.15MB
1
人工智人-家居设计-基于INTEMOR平台构建兴隆庄煤矿智能监控系统.pdf
2022-07-13 16:03:43
1.67MB
HDFS架构
HDFS架构图
1
NameNode
2
SecondaryNameNode
3
DataNode
4
Hearbeats
5
Block块
6
目 录
一、HDFS架构图
HDFS的架构是较为经典的主/从架构，在架构图中NameNode是主节点，DataNode是从节点，HDFS Client是客户端、HDFS提供了比较丰富的客户端像cli、api、gui等等支持，SecondaryNameNode作为辅助NameNode工作的一个辅助节点。
HDFS架构图
二、NameNode
首先是NameNode，它是HDFS主从架构当中的主节点，其实主要负责接受客户端提交过来的读写请求、以及一些类似管理的工作，比如说，数据存到HDFS当中每个文件都会对应一份元数据信息，这些元数据信息都是存放在NameNode的内存当中、由NameNode来进行维护。
NameNode
三、SecondaryNameNode
SecondaryNameNode，属于NameNode的辅助结点，主要帮助NameNode完成元数据文件的合并处理工作，HDFS当中元数据持久化文件包含了fsimage、
2022-06-21 16:06:45
473KB
YARN配置、启动与验证
YARN配置、启动与验证
序号
任务名称
任务一
YARN组件参数配置
任务二
MapReduce组件参数配置
任务三
配置SSH无密钥登录（slave1为主节点）
任务四
分发YARN与MapReduce配置文件
任务五
启动YARN集群
任务六
启动历史服务
任务七
验证YARN集群与历史服务
任务一 YARN组件参数配置
编辑 yarn-site.xml 配置文件（yarn参数配置文件）
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.resourcemanager.hostname
slave1
yarn.log-aggregation-enable
true
2022-06-21 12:05:03
425KB
MapReduce运行原理
MapReduce运行阶段
1
MapReduce运行架构
2
目 录
一、MapReduce运行阶段
MapReduce重点会分为四个运行阶段，分别是：Split、Map、Shuffle、Reduce。
什么是MapReduce
一、MapReduce运行阶段
此阶段，每个输入文件被分片输入到map。如一个文件有200M，默认会被分成2片，因为每片的默认最大值和每块的默认值128M相同。
如果输入为大量的小文件，则会造成过多的map数，导致效率下降，可采用压缩输入格式。
Split阶段
一、MapReduce运行阶段
执行map任务。map数由分片决定。
Map阶段
Shuffle阶段
将map的输出经过“整理”后给到reduce，也称为“混洗”。分为map端操作和reduce端操作。在map端，map的输出先写入缓存，当每次缓存快满时，由缓存“溢写”至磁盘，每次溢写都先进行“分区”，并对每个分区的数据进行“排序”和“合并”（可选）。一般会产生多个溢写的文件，这些文件会在map端先被“归并”为一个大的磁盘文件，通知reduce任务来领取自己的分区。在red
2022-06-21 12:05:01
499KB
YARN的任务调度
Yarn任务调度机制
1
FIFO Scheduler
2
Capacity Scheduler
3
Fair Scheduler
4
目 录
一、Yarn任务调度机制
现实生产环境当中资源往往是非常紧张的，尤其是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源，Yarn提供了多种调度器和可配置的策略供我们选择，来解决这一系列复杂的应用场景。
在Yarn中有三种调度器可以选择：FIFO Scheduler ，Capacity Scheduler，Fair Scheduler。
Yarn任务调度机制
二、FIFO Scheduler
FIFO Scheduler是最简单也是最容易理解的调度器，也不需要任何配置，但它并不适用于共享集群。大的应用可能会占用所有集群资源，这就导致其它应用被阻塞。在共享集群中，更适合采用Capacity Scheduler或Fair Scheduler，这两个调度器都允许大任务和小任务在提交的同时获得一定的系统资源。
FIFO Scheduler
三、Capacity Scheduler
Capacity 调度器允
2022-06-21 12:05:00
624KB
访问HDFS
一、HDFS Shell命令
HDFS Shell命令允许使用命令行的方式在HDFS存储中进行文件夹和文件操作，包括像：文件夹的增删改查、文件的增删改查等等。
HDFS Shell命令
调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child，或者更简单的/parent/child（假设你配置文件中的默认值是namenode:namenodeport）。大多数FS Shell命令的行为和对应的Unix Shell命令类似，不同之处会在下面介绍各命令使用详情时指出。出错信息会输出到stderr，其他信息
2022-06-21 12:05:00
240KB