JAVA的节点流和处理流以及流的关闭顺序

偏执的太偏执、 2022-05-08 01:00 477阅读 0赞

转载: [https://www.cnblogs.com/byrhuangqiang/p/3924985.html][https_www.cnblogs.com_byrhuangqiang_p_3924985.html]

今天在编写hadoop程序的时候，用到了流的处理。关闭流的时候出现了问题：

代码：

![复制代码][copycode.gif]

1 FSDataInputStream fsin = fs.open(new Path(filein));
     2 FSDataOutputStream fsout = fs.append(new Path(fileout));
     3 BufferedReader br = new BufferedReader(new InputStreamReader(fsin));
     4 BufferedWriter bw = new BufferedWriter(new OutputStreamWriter(fsout));
     5 ...
     6 br.close();
     7 fsin.close();
     8 bw.close();
     9 fsout.close();

![复制代码][copycode.gif]

异常：

![复制代码][copycode.gif]

1 [root@bigdata004 bigdata]# ./bigdataTimer.sh 
    2 INFO [main] com.sinosoft.bigdata.BigDataTimer.main(227) | -----Timer begin-----
    3 INFO [main] com.sinosoft.bigdata.BigDataInit.<clinit>(70) | bigdata init ...
    4 WARN [main] org.apache.hadoop.util.NativeCodeLoader.<clinit>(62) | Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
    5 INFO [main] com.sinosoft.bigdata.BigDataTimer.mergeFile(66) | Finished appending file.
    6 INFO [main] com.sinosoft.bigdata.BigDataTimer.mergeFile(68) | deleted the input data path.
    7 INFO [main] com.sinosoft.bigdata.BigDataTimer.mergeFile(70) | create the input data path.
    8 ERROR [main] org.apache.hadoop.hdfs.DFSClient.closeAllFilesBeingWritten(776) | Failed to close file /user/root/dayfileInput/dayfileIn
    9 org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException): No lease on /user/root/dayfileInput/dayfileIn: File does not exist. Holder DFSClient_NONMAPREDUCE_-221972347_1 does not have any open files.

![复制代码][copycode.gif]

原因：关闭处理流br.close();之后，紧接着关闭了与之相关的fsin.close();的节点流。事实上，br.close();会调用fsin.close(); 因此重复关闭了2次fsin.close();最后抛出了异常。

**回顾了一下流的知识：**

按照流是否直接与特定的地方（如磁盘、内存、设备等）相连，分为节点流和处理流两类。

*  节点流：可以从或向一个特定的地方（节点）读写数据。如FileReader.
 *  处理流：是对一个已存在的流的连接和封装，通过所封装的流的功能调用实现数据读写。如BufferedReader.处理流的构造方法总是要带一个其他的流对象做参数。一个流对象经过其他流的多次包装，称为流的链接。

**JAVA常用的节点流：　**

*  文 件 FileInputStream FileOutputStrean FileReader FileWriter 文件进行处理的节点流。
 *  字符串 StringReader StringWriter 对字符串进行处理的节点流。
 *  数 组 ByteArrayInputStream ByteArrayOutputStreamCharArrayReader CharArrayWriter 对数组进行处理的节点流（对应的不再是文件，而是内存中的一个数组）。
 *  管 道 PipedInputStream PipedOutputStream PipedReaderPipedWriter对管道进行处理的节点流。

**常用处理流（关闭处理流使用关闭里面的节点流）**

*  　　缓冲流：BufferedInputStrean BufferedOutputStream BufferedReader BufferedWriter

---增加缓冲功能，避免频繁读写硬盘。

*  　　转换流：InputStreamReader OutputStreamReader实现字节流和字符流之间的转换。
 *  　　数据流 DataInputStream DataOutputStream 等-提供将基础数据类型写入到文件中，或者读取出来.

### 流的关闭顺序 ###

1.  一般情况下是：先打开的后关闭，后打开的先关闭
2.  另一种情况：看依赖关系，如果流a依赖流b，应该先关闭流a，再关闭流b。例如，处理流a依赖节点流b，应该先关闭处理流a，再关闭节点流b
3.  可以只关闭处理流，不用关闭节点流。处理流关闭的时候，会调用其处理的节点流的关闭方法。

**注意：**

1.  如果将节点流关闭以后再关闭处理流，会抛出IO异常。
2.  如果关闭了处理流，在关闭与之相关的节点流，也可能出现IO异常。（hadoop编程文件流操作中遇到了。）

另一篇:

# [Java之IO流的关闭][Java_IO] #

[https://www.cnblogs.com/tongxuping/p/8192073.html][Java_IO]

1.在finally中关闭流；

![复制代码][copycode.gif]

OutputStream out = null;  
    try {  
        out = new FileOutputStream("");  
        // ...操作流代码  
    } catch (Exception e) {  
        e.printStackTrace();  
    } finally {  
        try {  
            if (out != null) {  
                out.close();  
            }  
        } catch (Exception e) {  
            e.printStackTrace();  
        }  
    }

![复制代码][copycode.gif]

2.在关闭多个流时因为嫌麻烦将所有关流的代码丢到一个try中

![复制代码][copycode.gif]

OutputStream out = null;  
    OutputStream out2 = null;  
    try {  
        out = new FileOutputStream("");  
        out2 = new FileOutputStream("");  
        // ...操作流代码  
    } catch (Exception e) {  
        e.printStackTrace();  
    } finally {  
        try {  
            if (out != null) {  
                out.close();// 如果此处出现异常，则out2流也会被关闭  
            }  
        } catch (Exception e) {  
            e.printStackTrace();  
        }  
        try {  
            if (out2 != null) {  
                out2.close();  
            }  
        } catch (Exception e) {  
            e.printStackTrace();  
        }  
    }

![复制代码][copycode.gif]

3.在循环中创建流，在循环外关闭，导致关闭的是最后一个流

![复制代码][copycode.gif]

for (int i = 0; i < 10; i++) {  
        OutputStream out = null;  
        try {  
            out = new FileOutputStream("");  
            // ...操作流代码  
        } catch (Exception e) {  
            e.printStackTrace();  
        } finally {  
            try {  
                if (out != null) {  
                    out.close();  
                }  
            } catch (Exception e) {  
                e.printStackTrace();  
            }  
        }  
    }

![复制代码][copycode.gif]

4.在Java7中，关闭流这种繁琐的操作就不用我们自己写了

只要实现的自动关闭接口(Closeable)的类都可以在try结构体上定义，java会自动帮我们关闭，及时在发生异常的情况下也会。可以在try结构体上定义多个，用分号隔开即可,如：

try (OutputStream out = new FileOutputStream("");OutputStream out2 = new FileOutputStream("")){  
        // ...操作流代码  
    } catch (Exception e) {  
        throw e;  
    }

[https_www.cnblogs.com_byrhuangqiang_p_3924985.html]: https://www.cnblogs.com/byrhuangqiang/p/3924985.html
[copycode.gif]: /images/20220508/f7f16db039174c0792a390e0c7a3285d.png
[Java_IO]: https://www.cnblogs.com/tongxuping/p/8192073.html