一.网络爬虫
二.Kafka与MySQL的组合使用
访问豆瓣电影Top250,将获取到的信息保存至本地文件中或者数据库中,访问微博热搜榜,并将获取到的数据通过邮件的形式,每20秒发送一次到个人邮箱中。
读取student表的数据内容,将其转为JSON格式,发送给Kafka;
再从Kafka中获取到JSON格式数据,打印出来。
编写生产者程序,将json文件数据发送给Kafka;
编写消费者程序,读取Kafka的json文件数据,并手动提交偏移量。
编写生产者程序,以通用唯一标识符UUID作为消息,发送给主题assign_topic;
编写消费者程序1,订阅主题的分区0,只消费分区0数据;
编写消费者程序2,订阅主题的分区1,只消费分区1数据;
1