1.1 项目结构
1.2 项目主要依赖
项目主要依赖如下，有两个地方需要注意：
- 这里由于我服务器上安装的是 CDH 版本的 Hadoop，在导入依赖时引入的也是 CDH 版本的依赖，需要使用 标签指定 CDH 的仓库地址；
- 、、 均需要排除 依赖，原因是 中已经有该依赖，不排除的话有 JAR 包冲突的风险；
1.3 DataSourceSpout
产生的模拟数据格式如下：
1.4 将数据存储到HDFS
这里 HDFS 的地址和数据存储路径均使用了硬编码，在实际开发中可以通过外部传参指定，这样程序更为灵活。
1.5 启动测试
可以用直接使用本地模式运行，也可以打包后提交到服务器集群运行。本仓库提供的源码默认采用 进行打包，打包命令如下：
运行后，数据会存储到 HDFS 的 目录下。使用以下命令可以查看目录内容：
2.1 项目结构
集成用例： 进行词频统计并将最后的结果存储到 HBase，项目主要结构如下：
2.2 项目主要依赖
2.3 DataSourceSpout
产生的模拟数据格式如下：
2.4 SplitBolt
2.5 CountBolt
2.6 WordCountToHBaseApp
2.7 启动测试
可以用直接使用本地模式运行，也可以打包后提交到服务器集群运行。本仓库提供的源码默认采用 进行打包，打包命令如下：
运行后，数据会存储到 HBase 的 表中。使用以下命令查看表的内容：
2.8 withCounterFields
在上面的用例中我们是手动编码来实现词频统计，并将最后的结果存储到 HBase 中。其实也可以在构建 的时候通过 指定 count 字段，被指定的字段会自动进行累加操作，这样也可以实现词频统计。需要注意的是 withCounterFields 指定的字段必须是 Long 类型，不能是 String 类型。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/141669.html