【云备份】业务处理

红太狼 2024-02-17 13:12 36阅读 0赞

#### 文章目录 ####

*  1. 业务处理
 *   *  作用
     *  功能
 *  2. 代码框架编写
 *   *  构造函数
     *  UpLoad ——文件上传请求
     *  ListShow —— 展示页面请求处理实现
     *  Download —— 下载请求的处理实现
     *  断点续传实现
     *  service .hpp

## 1. 业务处理 ##

### 作用 ###

业务处理模块是对客户端的业务请求进行处理

### 功能 ###

1.文件上传请求：备份客户端上传的文件 响应上传成功  
2.文件列表请求：客户端浏览请求备份一个备份文件的展示页面和响应页面  
3.文件下载请求：通过展示页面 点击下载 响应客户端要下载的文件数据

## 2. 代码框架编写 ##

![bc1d1558e5c8464ab50d683fc7b99052.png][]

\_server\_port ——服务端端口号  
\_server\_ip ——服务端ip地址  
\_download\_prefix  ——下载请求前缀

--------------------

![666e54c90b37425d99a142d51702aaed.png][]

因为业务处理模块 也会访问数据管理类  
所以在service.hpp中 使用 extern 修饰 在cloud命名空间中的DataManger类中的 全局变量 \_data 就可以在其他.c 或者.cpp中使用

--------------------

### 构造函数 ###

![eeb8036a96244be29bc288faa78aa01a.png][]

调用 Config类中的 GetInstance 函数 创建对象 config  
再调用 config类中的 GetServerPort 函数 获取客户端端口号  
调用GetServerIp 函数 获取客户端IP地址  
调用 GetDownloadPrefix 函数 获取URL前缀路径

--------------------

![3942d908dc0649439d37e399a9aaff9f.png][]

Post请求方法的 upload资源 表示文件上传  
Get请求方法的listshow资源 表示文件列表请求  
若只输入 / 表示什么都没有 没有任何资源路径请求

--------------------

Get请求方法的 download资源，表示文件下载  
使用正则表达式  
 .表示匹配除\\n和\\r之外的任何单个字符  
 \*表示 匹配前面的子表达式任意次  
 . \*表示匹配任意一个字符 任意次

--------------------

### UpLoad ——文件上传请求 ###

![02e20935802041d9ad6f3f3fa9d617f5.png][]

首先判断有没有上传的文件区域  
若没有上传的文件区域，就将其状态码设置为400 并返回

--------------------

![e7a683197863444aaadd6cd6352b0a9f.png][]

若有上传文件区域 ，则获取文件包含的各项数据  
通过Config类中的getinstance函数 创建对象，再通过该对象去调用 GetBackDir函数 获取备份文件存放目录

--------------------

![ea1538137268495fa1068a0d38229215.png][]

realpath表示实际路径 由备份文件目录 加上 文件名组成  
但是file文件中的filename 是包含路径的 ，所以通过调用FileUtil类的匿名对象 去调用FileName函数 获取文件名称即可

--------------------

![ec8d42fe7ea44c32aba06e3bc3cff4c9.png][]

通过realpath 实例化一个 FileUtil类的 fu对象  
调用Secontent函数 将realpath的数据写入文件中

通过Cloud类中的BackupInfo类 实例化一个对象 info  
调用 NewBackupInfo函数 获取各项属性信息到 info中  
再通过 DataManger类中的 Insert函数 将info中的信息 添加到 \_table哈希表中

--------------------

![f3c37332e7774c1183cd8ac2ec867522.png][]

--------------------

### ListShow —— 展示页面请求处理实现 ###

![45ec5c4cfcb94ae0880ce83e26b64ae3.png][]

定义一个 BackupInfo类型的数组 arry  
调用DataManger类中的 GetAll 函数 将table哈希表中的数据 全部放入 arry数组中

--------------------

![de44438dd23145faa2ef5e5983000118.png][]

以当前html格式 将备份文件数据放入其中

--------------------

![2f6fb84a7dd44820a64249e6880d2e01.png][]

定义一个 stringstream流 类型的变量 ss  
将html格式的前两行数据先进行导入到ss中

--------------------

由于中间的数据是每一个备份文件信息 所以需要遍历arry数组

![5ef4806ac2a14145a0d1ce5f26dc0821.png][]

而 URL链接 和文件名 应该随着每一个文件的不同而改变  
所以就不能整体复制过来，需要分别复制

由于URL链接 是由一个双引号扩起来的，与字符串的双引号会造成冲突  
在html中不区分双引号和单引号 因此改为单引号  
文件名称通过文件实际存储路径 real\_path 实例化一个匿名对象 来调用FileName 获取文件名

--------------------

![e85aa731f6b04f94afe74e3ce323b6f6.png][]

存储的是文件的最后一次修改时间，正常来说 只需用 mtime 即可  
但是mtime是一个时间戳 所以调用接口 ctime 将时间戳转化为时间格式的字符串

--------------------

![4becd9f463bf459dafe27f41644b0ded.png][]

调用 fsize函数 获取 文件大小 以字节为单位  
而html中 是按照KB表示的，而1KB等于1024字节  
所以使其除以1024 获取对应的KB个数

--------------------

![8d760f6075fe47b6954ac4750f189199.png][]

--------------------

### Download —— 下载请求的处理实现 ###

http中的 ETag 字段 存储一个资源的唯一标识  
客户端第一次下载文件时，会受到这个响应信息  
第二次下载 就会将这个信息发送给服务器 想要让服务器根据唯一标识 判断这个资源有没有被修改过  
如果没有被修改过 直接使用原先缓存的数据 不用重新下载了

--------------------

http协议本身对与ETag中是什么数据并不关心 只要服务端能够自己处理即可  
ETag 由 文件名 - 文件大小 - 最后一次修改时间 组成

--------------------

![435ef15ddb2548808cbe29e169ac2404.png][]

设置 GetETag 函数 获取http中的 ETage字段

--------------------

![a112be6a4d80414fa6bc6961b678919d.png][]

在 table哈希表中寻找 req.path ，若找到了req.path 则返回 对应的 value 值 并传给 info

--------------------

![0e64b06ae8b5424c8d180b298e67d7e7.png][]

BackupInfo 类的 pack\_flag 变量 表示压缩标志  
若pack\_flag 为 true 则表示 被压缩 则进入判断中

pack\_path 表示 压缩包路径  
使用pack\_path 实例化一个 FileUtil类的对象 fu

real\_path 表示 文件实际存储路径  
调用 UnCompress 函数 将 pack\_path 解压缩  并将其中的数据 放入 real\_path 备份目录中

将pack\_flag 改为 false 并使用 update函数 向 table 哈希表中 对应的 path中 更新对应的key值 info

--------------------

![2d3b543140ca4b7893ed9eb78954f81c.png][]

通过 real\_path 实例化一个 FileUtil类的对象 fu  
调用 GetContent 函数 将 real\_path中的数据 放入 body 中

--------------------

![9ffec39ae0e747999b17aec9e134703d.png][]

### 断点续传实现 ###

功能： 当文件下载过程中 因为某种异常而中断 如果再次进行从头下载 效率比较低  
因为需要将之前已经传输过的数据 再次传输一遍  
因此断点续传 就是从上次下载断开的位置 重新下载即可 之前已经传输过的数据 将不需要重新传输

目的：提高文件的重新传输效率

实现思想：客户端在下载文件的时候 要每次接收到数据 写入文件后记录自己当前下载的数据量  
当异常下载中断时，下次断点续传时候 将要重新下载的数据区间(下载的起始位置 和结束位置)  
发送给服务器 服务器收到后 仅仅回传 客户端需要的区间数据即可

需要考虑的问题：  
若上传下载文件之后 这个文件在服务器上被修改了 则这时候将不能重新断点续传  
而是应该重新进行文件下载操作

--------------------

在http协议中断点续传的实现：  
告诉服务器下载区间范围  
服务器上要检测 上一次下载之后 这个文件是否被修改过

206状态码  状态码描述为 Partial Content  
表示 部分内容 服务器成功处理部分GET请求  
即处理区间范围内的请求

--------------------

在上述 Download函数中 进行修改

![04312cd1418b4c3daa7f4341381e5d39.png][]

retrans表示断点续传 默认设置为false  
定义一个string类型的字符串 old\_etag 将If-Range字段对应的value值 传给 old\_etag  
调用 GetETag函数 获取 Etag字段  
将 if\_range字段的value值 与 请求文件最新的etag比较 ，若一致 则说明为断点续传

--------------------

![05442bcd907543f49ff64923c6cdc311.png][]

httplib 内部 对 Range 请求 已经 做出了 额外的操作  
外部用户只需把文件的所有数据 读取到 response的 body中即可  
自己就会根据 所请求的区间范围 进行处理 从body中截取指定范围的数据 进行客户端的响应

--------------------

![c27a6504962e48928a243f51e60389b9.png][]

### service .hpp ###

#ifndef  _MY_SERVICE_//避免头文件重复包含
    #define  _MY_SERVICE_
    #include "data.hpp"
    #include "httplib.h"
    
    extern cloud::DataManager *_data;
    namespace cloud
    {
        
       class Service
       {
        
         private:
              int _server_port;
              std::string _server_ip;
              std::string _download_prefix;
              httplib::Server _server;
       
         private:
       
         static void Upload(const httplib::Request &req,httplib::Response &rsp)//上传请求
         {
        
                 // post /upload 文件数据在正文中
                 auto ret=req.has_file("file");//判断有没有上传的文件区域
                 if(ret==false)
                 {
        
                   rsp.status=400;
                   return;
                 }
                 //若有上传的文件区域 则获取文件包含的各项数据
                 const auto& file =req.get_file_value("file");
    
                 //file.filename文件名称   file.content 文件内容
                 std::string back_dir= Config::GetInstance()->GetBackDir();
                 std::string realpath=back_dir+FileUtil(file.filename).FileName();
    
                 FileUtil fu(realpath);
                 fu.SetContent(file.content);//将数据写入文件中
    
                 BackupInfo info;
                 info.NewBackupInfo(realpath);//组织备份文件信息
                 _data->Insert(info);//向数据管理模块添加备份文件信息
                 return;
         }
         
          
          static std::string TimetoStr(time_t  t)
          {
        
              std::string tmp=std::ctime(&t);
              return tmp;
    
          }
         static void ListShow(const httplib::Request &req,httplib::Response &rsp)// 获取展示页面处理
         {
        
             //获取所有文件信息
              std::vector<BackupInfo> arry;
              _data->GetAll(&arry);
              
             //根据所有备份信息 组织html文件数据
              std::stringstream ss;
              ss << "<html><head><title>Download</title><meta charset='UTF-8'></head>";
              ss<<"<body><hl>Download</hl><table>";
              for(auto &a:arry)
              {
        
                 ss<<"<tr>";
                 std::string filename=FileUtil(a.real_path).FileName();
                 ss<<"<td><a href =' "<<a.url<<" '>"<<filename<< "</a></td>"; 
                 ss<<"<td align='right'>"<<TimetoStr(a.mtime)<<"</td>";
                 ss<<"<td align ='right'>"<<a.fsize/1024<< "k</td>";
                 ss<<"</tr>";
              }
              ss<<"</table></body></html>";
              rsp.body=ss.str();
              rsp.set_header("Content-Type","text/html");//设置头部信息
              rsp.status=200;//状态码设置为200 表示成功响应
              return ;
         }
        
         
        
        static std::string GetETag(const  BackupInfo & info)//获取 ETag字段
        {
        
             //  etag 文件名 - filename-fsize 文件大小 - mtime 最后一次修改时间 
              FileUtil fu(info.real_path);
              std::string etag =fu.FileName();//获取文件名
              etag+= "-";
              etag+= std::to_string(info.fsize);//获取文件大小(字符串格式)
              etag+="-";
              etag+=std::to_string(info.mtime);//获取最后一次修改时间(字符串格式) 
              return etag; 
        }
    
         static void Download(const httplib::Request &req,httplib::Response &rsp)//文件下载请求
         {
        
             // 获取客户端请求的资源路径 req.path
              
             // 根据资源路径  获取文件备份信息
             BackupInfo info;
             _data->GetOneByURL(req.path,&info);//通过URL获取单个数据
          
             //判断文件是否被压缩  如果被压缩 需要先解压缩
             if(info.pack_flag==true)//说明被压缩了
             {
        
               FileUtil fu(info.pack_path); //使用压缩包路径实例化一个对象
               fu.UnCompress(info.real_path);//解压缩
    
                // 删除压缩包  修改备份信息
                fu.Remove();//删除文件
                info.pack_flag=false;  
                _data->Update(info);//更新
             }
    
              // 读取文件数据 放入 rsp.body中
              FileUtil fu(info.real_path);
              fu.GetContent(&rsp.body);//将 real_path中的数据 放入 body中
             
             bool retrans =false;//retrans表示断点续传
             std::string old_etag;
             if(req.has_header("If-Range"))//若存在该头部字段 则说明为断点续传
             {
        
                 old_etag =req.get_header_value("If-Range");//将头部字段对应的value值传给 old_etag
                 if(old_etag ==GetETag(info))//若If-Range字段 的值 与请求文件的最新etag一致 则符合断点续传
                 {
        
                    retrans =true;
                 }
             }
    
             //若没有 If-Range 字段 则为正常下载
             //如果有这个字段 但是它的值与当前文件的 etag 不一致 则必须返回全部数据
              if(retrans==false)
              {
        
                //正常下载
                fu.GetContent(&rsp.body);//将 real_path中的数据 放入 body中
                //设置响应头部字段  ETag  Accept-Ranges: bytes
                rsp.set_header("Accept-Ranges","bytes");//建立头部字段
                rsp.set_header("ETag",GetETag(info));
                rsp.set_header("Content-Type","application/octet-stream");
                rsp.status=200;//响应成功
              } 
              else 
              {
        
                //说明是断点续传 
                //httplib 内部实现对于 断点续传请求的处理
                //只需要用户 将文件所有数据读取到rsp.body中
                //内部会自动根据请求区间 从body中取出指定区间 数据 进行响应
                fu.GetContent(&rsp.body);//将 real_path中的数据 放入 body中
                rsp.set_header("Accept-Ranges","bytes");//建立头部字段
                rsp.set_header("ETag",GetETag(info));
                rsp.set_header("Content-Type","application/octet-stream");
                rsp.status=206;  //区间请求响应  
              }
            }
    
         public:
         Service()//构造函数
         {
        
            Config * config=Config::GetInstance();//创建对象
           _server_port=config->GetServerPort();
           _server_ip=config->GetServerIp();
           _download_prefix =config->GetDownloadPrefix();
         }
         bool RunModule()//运行模块
         {
        
            _server.Post("/upload",Upload);
            _server.Get("/listshow", ListShow);
            _server.Get("/", ListShow);
            std::string download_url =_download_prefix+"(.*)";//下载请求
            _server.Get(download_url,Download);
            
            _server.listen(_server_ip.c_str(),_server_port);
             return true;
         } 
       };
    }
    
    #endif

[bc1d1558e5c8464ab50d683fc7b99052.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/70461e3c2f8e43f0b5bc9ac8430940ff.png
[666e54c90b37425d99a142d51702aaed.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/61a38bbc1c804ffc97f66219e83a9b0d.png
[eeb8036a96244be29bc288faa78aa01a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/2b72cb0351414d2fbdba50e972b7449f.png
[3942d908dc0649439d37e399a9aaff9f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/f3c7c18555fd4dbb8639ac765bff16a1.png
[02e20935802041d9ad6f3f3fa9d617f5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/991ee996067b494a8eddd7280f35a6ea.png
[e7a683197863444aaadd6cd6352b0a9f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/5142cf9ed66f46fe9b47ecf7c769170a.png
[ea1538137268495fa1068a0d38229215.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/e979fe602a714eeeaccf69dc1baad43b.png
[ec8d42fe7ea44c32aba06e3bc3cff4c9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/49823980453649bf97ad9282f9f77f7e.png
[f3c37332e7774c1183cd8ac2ec867522.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/06c30ef36e7a4e2ebd0b3a4e0f37a5fc.png
[45ec5c4cfcb94ae0880ce83e26b64ae3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/209452e4b6d749ec84ba8a75b2cb50f2.png
[de44438dd23145faa2ef5e5983000118.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/b62f76a33cac45ce825e49ef733bf4c7.png
[2f6fb84a7dd44820a64249e6880d2e01.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/4474cc5671b5472fb5c846fc5d29e7d2.png
[5ef4806ac2a14145a0d1ce5f26dc0821.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/ea3a0dcefd114252879c17db40d3983b.png
[e85aa731f6b04f94afe74e3ce323b6f6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/c4bf8725635141eebcb56c31de2bcdd2.png
[4becd9f463bf459dafe27f41644b0ded.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/cb4f63b5b5804960b80b0632b2bc3183.png
[8d760f6075fe47b6954ac4750f189199.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/f5906915aeca46b0a263ae052440dec5.png
[435ef15ddb2548808cbe29e169ac2404.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/8b95bc0704dd42f79b3e56eea4ef9640.png
[a112be6a4d80414fa6bc6961b678919d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/cec837b027b54b90bd90931629fbd274.png
[0e64b06ae8b5424c8d180b298e67d7e7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/b497e118fc7b40368231b871744710f7.png
[2d3b543140ca4b7893ed9eb78954f81c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/b2c26f4c03ce4b669c088b81d077e4c9.png
[9ffec39ae0e747999b17aec9e134703d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/3f6e128a1ec74851afd55bba3f8ae059.png
[04312cd1418b4c3daa7f4341381e5d39.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/50db36cffb4643faa6240e172794f0fb.png
[05442bcd907543f49ff64923c6cdc311.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/e905ae3d9bdd413bb9547ed73b1e81d6.png
[c27a6504962e48928a243f51e60389b9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/7280cbd110744df9829a9f1222e0ecb9.png