python hadoop mapreduce_python调用mrjob实现hadoop的mapreduce日志解析

落日映苍穹つ 2022-10-25 11:28 140阅读 0赞

咱们一般写mapreduce是通过java和streaming来写的，身为pythoner的我，

java不会，没办法就用streaming来写mapreduce日志分析。 这里要介绍一个

模块，是基于streaming搞的东西。

mrjob 可以让用 Python 来编写 MapReduce 运算，并在多个不同平台上运行，你可以：

使用纯 Python 编写多步的 MapReduce 作业

在本机上进行测试

在 Hadoop 集群上运行

pip 的安装方法：

我测试的脚本

用法算简单：

python i.py -r inline input1 input2 input3 > out 命令可以将处理多个文件的结果输出到out文件里面。

本地模拟hadoop运行：python 1.py -r local output

这个会把结果输出到output里面，这个output必须写。

hadoop集群上运行：python 1.py -r hadoop output

执行脚本 ～

执行的时候，资源的占用情况。

![133630767.jpg][]

发现一个很奇妙的东西，mrjob居然调用shell下的sort来排序。。。。

![133937941.jpg][]

为了更好的理解mrjob的用法，再来个例子。

看下结果：

![135509171.jpg][]

下面是官网给的一些个用法：

我们可以看到他是支持hdfs和s3存储的 ！

Running your job different ways

The most basic way to run your job is on the command line:

$ python my\_job.py input.txt

By default, output will be written to stdout.

You can pass input via stdin, but be aware that mrjob will just dump it to a file first:

$ python my\_job.py

You can pass multiple input files, mixed with stdin (using the - character):

$ python my\_job.py input1.txt input2.txt -

By default, mrjob will run your job in a single Python process. This provides the friendliest debugging experience, but it’s not exactly distributed computing!

You change the way the job is run with the -r/--runner option. You can use -rinline (the default), -rlocal, -rhadoop, or -remr.

To run your job in multiple subprocesses with a few Hadoop features simulated, use -rlocal.

To run it on your Hadoop cluster, use -rhadoop.

If you have Elastic MapReduce configured (see Elastic MapReduce Quickstart), you can run it there with -remr.

Your input files can come from HDFS if you’re using Hadoop, or S3 if you’re using EMR:

$ python my\_job.py -r emr s3://my-inputs/input.txt

$ python my\_job.py -r hadoop hdfs://my\_home/input.txt

本文转自 rfyiamcool 51CTO博客，原文链接：http://blog.51cto.com/rfyiamcool/1344368，如需转载请自行联系原作者

[133630767.jpg]: /images/20221024/7997be94ccf44c29a72cfd2dcc8e3581.png
[133937941.jpg]: /images/20221024/cc9224102cec4066b7febd4e24f49da4.png
[135509171.jpg]: /images/20221024/18e2029dfef54e38b890f63b8972a781.png