hadoop入门之统计单词在文件中出现的个数示例

Linux环境：CentOs6.4

Hadoop版本：hadoop-0.20.2

内容：统计hadoop/bin下的所有文件中单词出现的个数。

所用到的命令有：

复制代码

代码如下:

//创建input文件夹
./hadoop fs -mkdir input
//将所有的需要统计单词个数的文件放在input文件夹下
./hadoop fs -put *.sh /input/
//运行wordcount将结果输出到output文件夹下
./hadoop jar hadoop-examples-0.20.2.jar wordcount /input /output
//验证某个单词的个数
grep xxx *.sh
grep xxx *.sh|wc

第一步:确定HDFS、MapReduce、jobTracker等是否正常启动。查看http://www./softjc/137245.html

第二步：在Hadoop文件系统根目录中创建input文件夹。

执行命令：

打开网页查看input文件夹是否创建成功：

上图表明已经成功。

第三步：将bin目录下的所有文件放到hadoop文件系统的input目录下。

执行命令：

通过浏览器查看input文件夹下是否已经存在所存放的文件。

第四步：执行wordcount命令统计单词个数。

回到Hadoop文件夹下，找到统计个数的jar包。如图，在hadoop-0.20.2目录下有一个hadoop-0.20.2-examples.jar。

运行命令执行此jar，统计个数。并将输出结果放在output目录下。命令如下:

运行成功。

第五步：验证结果是否正确。通过命令统计某一单词的个数，与MapReduce统计的个数进行对比。

通过命令查看文件中language单词的个数为12个，如图。

查看MapReduce运行结果，如图：

运行结果相同。

附：从过页面查看运行状态

赞 (0)

相关推荐

  • Linux统计文件中指定字符串个数的2种方法

    统计一个文件中某个字符串的个数,其实就像在一块沙地里面找一块石头,有的人看到石头以后,在上面做个标记(grep),然后记住自己做了多少个标记;有的人看到石头以后,把它跳过去(awk),然后统计自己跳了 ...

  • hadoop入门之hadoop集群验证任务存放在不同的节点上

    Linux环境：CentOs6.4 Hadoop版本：Hadoop-1.1.2 master: 192.168.1.241 NameNode JobTracker DataNode TaskTrack ...

  • hadoop入门之hdfs基本操作命令使用方法

    adoop fs –ls / 列出当前目录有哪些子目录，有哪些文件。 hadoop fs –mkidr /test 在Hadoop文件系统当中，创建一个test目录 hadoop fs –get /f ...

  • Linux终端上统计指定类型文件的数目的方法

    下面我们来看看在一个目录中用 ls,grep 和 wc 命令统计指定类型文件数目的技巧.命令之间的交互通过命名管道完成. grep – 用户根据给定模式或正则表达式进行搜索的命令. wc – 用于统计 ...

  • Centos查找目录下所有文件中是否包含指定字符串的方法

    linux下查找目录下的所有文件中是否包含指定字符串 find . | xargs grep -ri "IBM" 查找目录下的所有文件中是否含有某个字符串,并且只打印出文件名 fi ...

  • 如何统计电脑excel2019软件内表格中的文字个数

    如何统计电脑excel2019软件内表格中的文字个数

    当我们在使用电脑的时候,可以通过excel2019软件来处理一些数据或表格文件,如果想要通知表格内的文字个数的话,具体应如何操作呢?接下来就由小编来告诉大家.具体如下:1. 第一步,打开电脑后,使用e ...

  • 英语单词声音文件百度查找并下载

    英语学习,发音的练习是最基本的,遇到新单词,身边又没有发音字典,如何学习单词的发音呢.,无所不能,下面就给你介绍如何用查找并下载发音文件. 操作方法 01 首先进入百度首页. 02 在查找框内输入要查 ...

  • Excel文件中如何插入图片

    平时办公时我们经常用到Excel来做一些数据统计,计算,有时会用到图片,是文件更有说服力,下面讲解一下怎么在Excel中添加图片并对图片进行编辑. 操作方法 01 打开Excel文件,点击菜单栏&qu ...

  • 如何使用Word2010中"不压缩文件中的图像"提高图片质量

    在Word2010文档中，通过启用“不压缩文件中的图像”功能，可以实现最高的图片质量。不过启用该功能后可能会使Word文件变大。启用“不压缩文件中的图像”功能的步骤如下所述： 第1步，打开Word20 ...