【数据管理】dvc推送数据到ssh服务器上

以你之姓@ 2022-09-10 14:19 141阅读 0赞

# 1.环境准备 #

ubuntu20.04
    python3.8
    
    # pip install 
    dvc
    'dvc[ssh]'

# 2.数据准备 #

dvc_test
    --gallery_data.zip

# 3.命令 #

# 进入自建的一个dvc_test的目录下
    cd dvc_test 
    
    # dvc初始化(需要先git init),此时会在目录下生成一个.git与.dvc文件夹
    git init 
    dvc init
    
    # 将要上传的数据add,生成gallery_data.zip.dvc文件
    dvc add gallery_data.zip
    
    # dvc添加远程ssh各项配置
    dvc remote add --default ssh-storage ssh://your_username@ip_1.ip_2.ip_3.ip_4:your_port/home/your_username/path/to/storage/dvc_test
    dvc remote modify ssh_storage user your_username
    dvc remote modify ssh_storage port your_port
    dvc remote modify --local ssh_storage password your_password
    
    # dvc push data to ssh server(md5加密格式存在远程服务器)
    dvc push
    
    # dvc pull 拉取到本地,解密后存到本地(只需要.git,.dvc,gallery_data.zip.dvc文件,放到对应目录下,就可以将文件下载到该目录下)
    dvc pull

# 4.参考 #

[1.数据版本管理 DVC data version control 和git一起管理你的机器学习实验数据][1._ DVC data version control _git]

[2.Data Version Control Simple Tutorial (DAC)][2.Data Version Control Simple Tutorial _DAC]

[3.ssh dvc][]

[4.官方dvc教程][4._dvc]

[1._ DVC data version control _git]: https://blog.csdn.net/SuperYR_210/article/details/104050591
[2.Data Version Control Simple Tutorial _DAC]: https://gist.github.com/Zrealshadow/4bb9facccad2cb177943e6c3b7783bb4
[3.ssh dvc]: https://discuss.dvc.org/t/how-do-i-use-dvc-with-ssh-remote/279/14
[4._dvc]: https://dvc.org/doc/command-reference/remote

发表评论取消回复

表情：

评论列表（有 0 条评论，141人围观）

还没有评论，来说两句吧...

相关阅读

相关 Flink监控Kafka数据，将计算数据推送到kafka

引入flink依赖以及kafka依赖 <properties> <maven.compiler.source>8</maven.

深碍√TFBOYSˉ_/ 2023年10月11日 21:16/ 0 赞/ 14 阅读

相关 Flume推送数据到DataHub

Flume推送数据到DataHub 一、Flume-DataHub插件安装 Flume默认是不支持DataHub的，所以要给Flume安装DataHub的Sink插

向右看齐/ 2022年11月14日 14:39/ 0 赞/ 355 阅读

相关【数据管理】dvc推送数据到ssh服务器上

1.环境准备 ubuntu20.04 python3.8 pip install dvc 'dvc[ssh]'

以你之姓@/ 2022年09月10日 14:19/ 0 赞/ 142 阅读

相关 ajax服务器推送模式,ajax服务器推送模式

ajax服务器推送模式内容精选换一换 ![c8a5a5028d2cabfeeee0907ef5119e7e.png][] 短信功能开通后(点击查看如何开通)，隐私保护

矫情吗；*/ 2022年09月03日 13:27/ 0 赞/ 211 阅读

相关 DWR的服务器推送

在开始本节内容之前，先来了解一下什么是服务器推送技术和DWR的推送方式。 1.服务器推送技术和DWR的推送方式传统模式的 Web 系统以客户端

系统管理员/ 2022年08月10日 12:56/ 0 赞/ 232 阅读

相关 socketio 服务器推送

如果面试官问你：要把服务器端的数据时时显示在浏览器上怎么实现？我想有很多人会回答使用Ajax技术定时去访问一个资源，没错，使用Ajax的确能实现，但面试官要的绝对不是这个答案。

àì夳堔傛蜴生んèń/ 2022年08月01日 13:35/ 0 赞/ 212 阅读

相关 socketio 服务器推送

如果面试官问你：要把服务器端的数据时时显示在浏览器上怎么实现？我想有很多人会回答使用Ajax技术定时去访问一个资源，没错，使用Ajax的确能实现，但面试官要的绝对不是这个答案。

ゝ一世哀愁。/ 2022年07月11日 05:37/ 0 赞/ 253 阅读

相关 socket.io数据推送

参考：[基于netty-socketio的web推送服务][netty-socketio_web]、[Spring Boot实战之netty-socketio实现简单聊天室(给

太过爱你忘了你带给我的痛/ 2022年05月12日 06:16/ 0 赞/ 229 阅读

相关框架-服务器推送技术

[为什么80%的码农都做不了架构师？>>> ][80_] ![hot3.png][] 重点摘要：4种方式实现服务端数据推送 ![4622ffcdff1862573dd76

迈不过友情╰/ 2022年01月17日 05:19/ 0 赞/ 315 阅读

相关 git ssh将本地仓库推送到远程仓库

1、创建远程仓库 github上new repository 创建时不点击此项即可 ![在这里插入图片描述][20200603180046557.

谁借莪１个温暖的怀抱￠/ 2021年07月24日 21:10/ 0 赞/ 588 阅读