跳转到主内容
思享编程网:思考分享,玩转编程世界!

Spark版WordCount怎么做?还能排序热搜词?

大家好,我是陆砚码,今天咱们来聊聊Spark版WordCount,不仅能统计词频,还能按词频排序,甚至可以用来分析日志热搜词!听起来是不是很酷?那就一起来看一下吧!

首先,我们来回顾一下WordCount的基本流程:

  • 读取数据
  • 将数据拆分成单词
  • 统计每个单词出现的次数
  • 对结果进行排序

在Spark中,我们可以这样实现:

/**
 * 模拟wordcount 按照 词数量倒序排列
 */
public static void sortBysearch() {

	JavaRDD lines = sc.parallelize(Arrays.asList(
                            

相关文章