大家好,我是陆砚码,今天咱们来聊聊Spark版WordCount,不仅能统计词频,还能按词频排序,甚至可以用来分析日志热搜词!听起来是不是很酷?那就一起来看一下吧!
首先,我们来回顾一下WordCount的基本流程:
- 读取数据
- 将数据拆分成单词
- 统计每个单词出现的次数
- 对结果进行排序
在Spark中,我们可以这样实现:
/**
* 模拟wordcount 按照 词数量倒序排列
*/
public static void sortBysearch() {
JavaRDD lines = sc.parallelize(Arrays.asList(
