hadoop解析序列文件并可视化输出

左手的ㄟ右手 2022-05-14 13:49 121阅读 0赞

hadoop版本：1.0.4，jdk：1.7.0\_25 64bit。

在进行mahout算法分析的时候有时会遇到算法最后的输出文件是序列文件的情况下，这样就不能直接通过HDFS文件系统看到最终的结果了（乱码，因为是序列文件）。以前编写过一个可以直接把序列文件<key,value>读入到一个map变量中的java文件，叫做ReadArbiKV ，可以在[http://download.csdn.net/detail/fansy1990/6453527][http_download.csdn.net_detail_fansy1990_6453527]看到。

但是上面的有个问题，就是当数据很大的时候，如果读不到一个map变量里面怎么办？

所以就可以使用下面的思路：一边读一边写。怎么个意思？直接读取序列文件的<key,value>，然后对key和value分别进行解析，最后直接进行输出。即每读取一行记录，解析一行，然后再输出一行。这样就不会有上面的问题了。

主程序是ReadAndWritePatterns，其中需要实现IKVRegex接口，这个接口是解析key和value的标准。给出的代码中的AKVRegex、ImplAKVRegex是这个接口的两个实现，可以参考，其中AKVRegex是什么都不做的，只是把原始的类.toString()而已，ImplAKVRegex是有一些操作的，原来是针对fpg算法的最后输出的解析的，但是好像有点不是很对。

下面给出一个调用demo：

package mahout.fansy.fpg;
    
    import java.io.IOException;
    
    import junit.framework.TestCase;
    
    import mahout.fansy.utils.fpg.AKVRegex;
    import mahout.fansy.utils.fpg.ImplAKVRegex;
    import mahout.fansy.utils.fpg.ReadAndWritePatterns ;
    
    
    public class TestReadAndWritePatterns extends TestCase {
    
    	public void testReadAndWrite() throws IOException{
    		String input="hdfs://ubuntu:9000/user/mahout/fp/output/frequentpatterns/part-r-00000";
    		String output="hdfs://ubuntu:9000/user/mahout/fp/output_/01.txt";
    		String jobtracker="ubuntu:9001";
    	//	AKVRegex regex=; 
    		ReadAndWritePatterns.readAndWritePatterns(input, output, jobtracker, new AKVRegex());	
    	}
    }

分享，成长，快乐

转载请注明blog地址：[http://blog.csdn.net/fansy1990][http_blog.csdn.net_fansy1990]

[http_download.csdn.net_detail_fansy1990_6453527]: http://download.csdn.net/detail/fansy1990/6453527
[http_blog.csdn.net_fansy1990]: http://blog.csdn.net/fansy1990