java代码去重,java超快速文本去重复代码

迈不过友情╰ 2023-01-13 09:15 138阅读 0赞

import java.io.\*;

import java.util.HashSet;

import java.util.Iterator;

import java.util.Set;

public class SpeedClear \{

public static void main(String\[\] args) \{

if(args.length==0)\{

print();

System.exit(1);

\}

if(args.length!=2)\{

System.out.println("Format error...");

System.exit(1);

\}

String pathname = args\[0\];

String newPath = args\[1\];

clear(pathname,newPath); //调用去重复的方法...

\}

/\*\*

\*

\* @param pathname

\* 源文件路径

\* @param newPath

\* 新的文件路径

\* @throws Exception

\*/

public static void clear(String pathname, String newPath) \{

System.out.println("Start... ");

try\{//懒的写Try..直接都包围起来吧....

File file = new File(pathname);

BufferedInputStream fis = new BufferedInputStream(new FileInputStream(file));

BufferedReader buffer = new BufferedReader(new InputStreamReader(fis,"utf-8"),20\*1024\*1024);// 用5M的缓冲读取文本文件

//FileWriter fw = new FileWriter(new File(newPath),true); //去除后的文本

OutputStreamWriter out = new OutputStreamWriter(new FileOutputStream(new File(newPath)),"utf-8") ;

Set set = new HashSet();

String temp = ""; // 临时字符串

int x = 0;

while ((temp = buffer.readLine()) != null) \{ // 读文件,一行读一个

set.add(temp); // 存储到Set集合里面

if(x%30000==0)\{

System.out.print("..") ;

\}

x++;

\}

fis.close();

buffer.close(); //关闭读取操作

//下面开始写文件

for (String xxser : set) \{

out.write(xxser+"\\r\\n");

\}

System.out.println("") ;

out.close(); //关闭写操作

System.out.println("size = " + set.size());

System.out.println("End...");

\}catch(Exception e)\{

System.out.println("文件太大了,建议先100MB大小..") ;

\}

\}

public static void print()\{

System.out.println("\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*");

System.out.println("\\t\\tTo repeat \\t\\t");

System.out.println();

System.out.println(" format: java -Xmx1000m SpeedClear c:\\\\old.txt c:\\\\new.txt\\t\\t");

System.out.println();

System.out.println("\\t\\tAuthor:xxserQQ:616100108");

System.out.println("\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*");

\}

\}

标签：

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com

特别注意：本站所有转载文章言论不代表本站观点！

本站所提供的图片等素材，版权归原作者所有，如需使用，请与原作者联系。

发表评论取消回复

表情：

评论列表（有 0 条评论，138人围观）

还没有评论，来说两句吧...

相关阅读

相关 Elasticsearch 去重统计 cardinality去重复

Elasticsearch 去重统计按照deviceId 去重统计总数相当于SQL SELECT COUNT(DISTINCT deviceId ?) FROM

た入场券/ 2024年04月07日 12:09/ 0 赞/ 94 阅读

相关【Java】一行代码进行集合去重

这几天在研究SpringBoot的底层源码的时候发现了一个重来没想到过的操作。之前对于一个List集合，如果我要去重，那么我都是暴力遍历的，但是今天发现有一个很快的操作。

谁借莪１个温暖的怀抱￠/ 2024年03月29日 16:32/ 0 赞/ 83 阅读

相关 java list 快速去重有序重复 LinkedHashSet HashSet

如果list中装的是简单元素，int 类型，string类型，想要去重，并且保持在list中的顺序，最快的方式如下：使用 LinkedHashSet，去重加有序。使用

r囧r小猫/ 2024年03月17日 16:12/ 0 赞/ 88 阅读

相关一行代码实现数组去重

Set· : let newArr = \[...new Set(\[1,2,3,1,'a',1,'a'\])\] filter·: let newArr = arr.fi

超、凢脫俗/ 2023年08月17日 16:15/ 0 赞/ 153 阅读

相关 java 泛型去重,Java List 去重

1.List，是个泛型，实际业务里，它经常是一个bean，例如Person类，里面有age、name等属性。 2.如果List ps 有重复的数据，我们需要去重的话，就要在

超、凢脫俗/ 2023年01月13日 09:19/ 0 赞/ 272 阅读

相关 java代码去重,java超快速文本去重复代码

import java.io.\; import java.util.HashSet; import java.util.Iterator; import java.ut

迈不过友情╰/ 2023年01月13日 09:15/ 0 赞/ 139 阅读

相关 java 大文本去重_JAVA 如何实现大文本去除重复行

去重复行，用SQL写很简单，就一句SELECT DISTINCT … FROM。但是文件上没法直接用SQL了，想用SQL还得找个数据库先建表，也很麻烦。如果是小文件，那用jav

布满荆棘的人生/ 2022年11月06日 04:48/ 0 赞/ 232 阅读

相关 list简单去重代码

文章目录记录一下集合去重的几种方法 stream去重，推荐，使用java8的stream api的distinct方法去重 Linked

ゞ浴缸里的玫瑰/ 2022年10月05日 00:54/ 0 赞/ 113 阅读

相关 JAVA之HashSet去重(本身无序不重复，针对对象去重)

package yu; import java.util.HashSet; import java.util.Iterator; //无序不

桃扇骨/ 2022年05月24日 11:24/ 0 赞/ 243 阅读

相关 java8 Stream 一行代码实现列表去重

通常情况下，实现列表去重的方式有： 1. 创建一个新的result列表，循环原列表，如果元素不在result列表中，则放入 2. 创建一个HashSet，将列表作为构造参

骑猪看日落/ 2022年05月10日 03:16/ 0 赞/ 236 阅读