大文件 csv 导入 postgreSQL (当然，其他数据库也可以用)

た入场券 2023-09-26 23:36 71阅读 0赞

我有 2.5t 文件要导入数据库，切割导入

控制并发。

#!/bin/bash
    
    # 把csv文件分割成10个小文件
    # -n l/10 表示按行把文件分割成10个相等的部分
    # -d 表示用数字作为输出文件的后缀
    # --additional-suffix=.csv 表示给输出文件加上.csv的扩展名
    # data.csv 是输入文件的名字
    # data_part_ 是输出文件的前缀
    split -n l/10 -d --additional-suffix=.csv data.csv data_part_
    
    # 遍历文件并用psql导入
    # for f in data_part_*.csv 表示对所有符合data_part_*.csv模式的文件进行循环
    # psql -c 表示执行一条命令并退出
    # \copy 是一个psql命令，可以在文件和表之间进行批量复制数据
    # persons(first_name,last_name,dob,email) 是要复制到的表和列
    # from '$f' 表示从循环中的当前文件复制
    # delimiter ',' 表示用逗号作为字段分隔符
    # csv header 表示文件有一行标题，包含列名
    for f in data_part_*.csv; do
      psql -c "\copy persons(first_name,last_name,dob,email) from '$f' delimiter ',' csv header"
    done
    
    # 或者用parallel命令同时运行多个导入
    # parallel 是一个shell工具，可以用一个或多个计算机并行执行任务
    # -j 4 表示一次使用4个任务
    # psql -c 和上面一样
    # ::: 表示后面的参数作为输入源
    # data_part_*.csv 表示用所有符合模式的文件作为输入源
    parallel -j 4 psql -c "\copy persons(first_name,last_name,dob,email) from '{}' delimiter ',' csv header" ::: data_part_*.csv

发表评论取消回复

表情：

评论列表（有 0 条评论，71人围观）

还没有评论，来说两句吧...

相关阅读

相关 centos下修改MySQL8.0密码为空，当然也可以是其他密码

要以下八步： 1. 进入centos系统安装好MySQL，这里不说装的过程 2. 输入：mysql -u root -p 3. 这一步你需要输入你的密码 4. ...

亦凉/ 2024年04月18日 14:24/ 0 赞/ 34 阅读

相关 Oracle数据库导入csv文件（SQLLDR命令行）[大文件速度快]

文章目录前言 1.说明 2.sqlldr用法 3.获取csv文件 4.创建USER\_INFO表

淩亂°似流年/ 2024年03月22日 17:33/ 0 赞/ 75 阅读

相关大文件 csv 导入 postgreSQL (当然，其他数据库也可以用)

我有 2.5t 文件要导入数据库，切割导入控制并发。 !/bin/bash 把csv文件分割成10个小文件 -n l/10 表示按行

た入场券/ 2023年09月26日 23:36/ 0 赞/ 72 阅读

相关 Oracle数据库导入csv文件（SQLLDR命令行）

1.说明 Oracle数据库导入csv文件，当csv文件较小时，可以使用数据库管理工具，比如DBevaer导入到数据库，当csv文件很大时，

我就是我/ 2022年11月28日 10:41/ 0 赞/ 458 阅读

相关 mysql导入csv文件教程_Mysql导入csv文件_MySQL

bitsCN.com Mysql导入csv文件 MYSQL LOAD DATA INFILE命令可以把csv平面文件中的数据导入到数据库中。 linux下： LOAD

悠悠/ 2022年10月28日 13:26/ 0 赞/ 257 阅读

相关 Haoop导入csv文件

背景我有很多 csv文件需要处理，所以第一步是导入到hadoop里面。前提要把文件预先创建好 /hdfs dfs -put /APP/NingXia_AD

ゞ浴缸里的玫瑰/ 2022年10月12日 01:11/ 0 赞/ 217 阅读

相关 CSV文件导入Neo4j数据库

1.文件夹创建 ![iCkXbDq.png][] 启动Neo4j,进入Database Location安装目录下，新建import文件夹，用于导入csv文件（例如：

た入场券/ 2022年06月08日 00:45/ 0 赞/ 838 阅读

相关 csv文件导入sqlite

由于初次使用SQLite，尝试把之前一个csv文件导进去，看了网上各种教程，大多是在SQLite shell模式下使用的，比较麻烦，这里用了pandas，来讲csv文件导

迈不过友情╰/ 2022年05月25日 02:22/ 0 赞/ 505 阅读

相关 mysql导入.csv文件

1、sql命令 \第一行.csv文件就是你要导入的文件 \第二行就是你要插入的表 \第三行表明数据之间以,号分割 \第四行表示数据以换行结束 ps：下面的是

绝地灬酷狼/ 2021年10月19日 20:54/ 0 赞/ 536 阅读

相关 postgresql：数据库导入导出

1. 通过我的电脑-》属性-》高级-》环境变量将postgre加入到系统变量中，否则你就通过cmd进入到postgre所在bin目录下，再进行下一步操作 2.

Myth丶恋晨/ 2021年06月24日 14:00/ 0 赞/ 609 阅读