通过python写的爬取网页热并获取对应的词频 ***************************************************** 注释较为详细，可以自己输入网址爬取，形成本地文档

这是《高校云计算应用创新大赛》里的最后一道题，题目是莎士比亚文集词频统计并行化算法。由于原网站上的实验文件已经无法下载了，所以这里上传一份，包含 shakespear.zip、stopword.txt.

此文件用于初学者通过python来制作词云使用，配合我的博客相关词云基础语法进行使用，没有任何商业价值，仅供初学者使用和玩耍。

Hadoop MapReduce Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架。Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。 Why MapReduce? 1.海量数据在单机上处理因为硬件资源限制，无法胜任 2.而一旦将单机版程序扩展到集群来分布式运行，将极大增加程序的复杂度和开发难度 3.引入mapreduce框架后，开发人员可以将绝大部分工作集中在业务逻辑的开发上，而将分布式计算中的复杂性交由框架来处理 MapReduce编程规范 1.用户编写的程序分成三个部分：Mapper，Reducer，Driver(提交运行mr程序的客户端) 2.Mapper的输入数据是KV对的形式（KV的类型可自定义） 3.Mapper的输出数据是KV对的形式（K

使用词表，遍历替换文章单词，再进行词频统计 使用两重循环，分别遍历时态替换表 lemmas.txt 和介词表 disablewords.txt 替换文章重复时态和介词，之后使用 treeMap 统计对应词的数量

主要是读取文本，然后进行分词、词干提取、去停用词、计算词频，有界面，很实用

该实例的处理过程是通过 Flink 对文件存储系统里的数据进行离线批处理，统计指定文件下的单词数，并将统计结果存储到其他文件下。 该实例业务实现过程如下： - 首先使用 `filesystem` 作为连接器，按照指定的 `csv` 格式来批量地读取指定路径的文件或文件夹，以此创建源数据表。 - 然后，在 Flink 中执行批处理实例逻辑，完成批处理任务。 - 最后，使用 `filesystem` 连接器，将处理后结果写入目标文件或文件夹内，构建结果表。

读取给定文本文件，统计单词，计算TOP 10 有一个文件sample.txt，对其进行单词统计，不区分大小写，并显示单词重复最多的10个单词。

ROST CM 6是武汉大学沈阳教授研发编码的国内目前唯一的以辅助人文社会科学研究的大型免费社会计算平台。该软件可以实现微博分析、聊天分析、全网分析、网站分析、浏览分析、分词、词频统计、英文词频统计、流量分析、聚类分析等一系列文本分析。

统计文章中不重复的单词数