java Flink（二）数据流处理demo

红太狼 2022-11-12 09:40 208阅读 0赞

上文介绍的是数据批处理，可以简单理解为就是一批固定的数据

数据流处理的意思是，有源源不断的数据，来一个数据进行以此处理。

还是一样的分词处理，这次用流处理方式，直接上代码（文件看上文）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzcxNTY3_size_16_color_FFFFFF_t_70][]

import org.apache.flink.api.java.DataSet;
    import org.apache.flink.api.java.tuple.Tuple2;
    import org.apache.flink.streaming.api.datastream.DataStream;
    import org.apache.flink.streaming.api.datastream.DataStreamSource;
    import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
    
    public class StreamWordCount {
        public static void main(String[] args) throws Exception{
            //创建流处理环境
            StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
            //设置并行度
            //env.setParallelism(8);
            //从文件中读取数据
            String inputPath = "D:\\idle\\FlinkTest\\src\\main\\resources\\word.txt";
            DataStream<String> inputDataStream = env.readTextFile(inputPath);
            //基于数据流进行转换 new WordCount.MyflatMapper()上文写好的flatMap
            DataStream<Tuple2<String,Integer>> resultStream = inputDataStream.flatMap(new WordCount.MyflatMapper()).keyBy(0)//按照当前key的hashcode进行重分区
                    .sum(1);
            resultStream.print();
            //执行任务 启动任务
            env.execute();
        }
    }

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzcxNTY3_size_16_color_FFFFFF_t_70]: /images/20221022/9ba2429ca6b848719ecd3b17a98e871a.png