Linux运维-运维课程MP4频-06-大数据之Hadoop部署-08hdfs文件系统定义.mp4

Linux运维-运维课程MP4频-06-大数据之Hadoop部署-09hdfs特点.mp4

Linux运维-运维课程MP4频-06-大数据之Hadoop部署-10hdfs文件系统关键词.mp4

Linux运维-运维课程MP4频-06-大数据之Hadoop部署-11hdfs写数据流程.mp4

Linux运维-运维课程MP4频-06-大数据之Hadoop部署-22hadoop伪分布式hdfs文件系统验

python解析hdfs文件内容生成本地文件、及相关插件包安装实现方式

Spark streaming应用运行7天之后，自动退出，日志显示token for xxx(用户名): HDFS_DELEGATION_TOKEN owner=xxxx@xxxx.com, renewer=yarn, realUser=, issueDate=1581323654722, maxDate=1581928454722, sequenceNumber=6445344, masterKeyId=1583) is expired, current time: 2020-02-17 16:37:40,567+0800 expected renewal time: 2020-02-17

flume采集rabbit数据上传到hdfs

Flume采集Rabbitmq数据同步到HDFS

使用时配合https://blog.csdn.net/qq_43431735/category_9653567.html这个专栏使用，将三个sh文件添加权限，chmon +x 文件名，三个文件放在一个目录下，同时可以将目录路径添加到环境变量，这样在Linux那个位置都可以使用文件。 通过测试，hdfs与yarn组件启动后有以下进程： node1 jps：4个进程 NameNode、JournalNode、DFSZKFailoverController、Jps node2 jps：7个进程 DFSZKFailoverController、NodeManager、JournalNode、QuorumPeerMain、DataNode、Jps、NameNode node3 jps：6个进程 ResourceManager、DataNode、QuorumPeerMain、JournalNode、Jps、NodeManager node4 jps：5个进程 NodeManager、DataNode、QuorumPeerMain、ResourceManager、Jps