【云备份】业务处理

本文介绍: 所以在service.hpp中使用 extern 修饰在cloud 命名空间中的Da taMa n g er 类中的全局变量 _data 就可以在其他.c 或者.cpp中使用。但是file 文件中的filename 是包含路径的，所以通过调用FileUtil类的匿名对象去调用FileNa m e 函数获取文件名称即可。再通过 Da taMa n g er类中的 In s e rt 函数将info中的信息添加到 _table 哈希表中。客户端在下载文件的时候要每次接收到数据写入文件后记录自己当前下载的数据量。

因为业务处理模块也会访问数据管理类
所以在service.hpp中使用 extern 修饰在cloud 命名空间中的Da taMa n g er类中的全局变量 _data 就可以在其他.c 或者.cpp中使用

构造函数

调用 Con fi g类中的 GetIn sta n ce 函数创建对象 config
再调用 config类中的 GetSer v erPo rt 函数获取客户端端口号
调用GetSer verIp 函数获取客户端IP地址
调用 GetDown loadPre fix 函数获取URL前缀路径

Pos t 请求方法的 upload资源表示文件上传
Get 请求方法的lists how 资源表示文件列表请求
若只输入 / 表示什么都没有没有任何资源路径请求

Get请求方法的 download资源，表示文件下载
使用正则表达式
.表示匹配除n和r之外的任何单个字符
*表示匹配前面的子表达式任意次
. *表示匹配任意一个字符任意次

UpLoa d ——文件上传请求

首先判断有没有上传的文件区域
若没有上传的文件区域，就将其状态码设置为400 并返回

若有上传文件区域，则获取文件包含的各项数据
 通过Con fi g类中的get in sta n ce函数创建对象，再通过该对象去调用 GetBackDir 函数获取备份文件存放目录

re alpath表示实际路径由备份文件目录加上文件名组成
但是file文件中的filename 是包含路径的，所以通过调用FileUtil类的匿名对象去调用FileName函数获取文件名称即可

通过 realpath 实例化一个 FileUtil类的 f u 对象
调用Secontent 函数将realpath的数据写入文件中

通过Clo u d类中的Back upInf o类实例化一个对象 info
调用 NewBack upInf o函数获取各项属性信息到 info中
再通过 DataMan ger类中的 Insert函数将info中的信息添加到 _table 哈希表中

ListShow —— 展示页面请求处理 实现

定义一个 Back upInf o 类型的数组 arr y
调用DataManger类中的 GetAll 函数将table 哈希表中的数据全部放入 arr y 数组中

以当前 html 格式将备份文件数据放入其中

定义一个 strings tream流类型的变量 ss
将html 格式的前两行数据先进行导入到 ss中

由于中间的数据是每一个备份文件信息所以需要遍历 arr y 数组

而 URL链接和文件名应该随着每一个文件的不同而改变
所以就不能整体复制过来，需要分别复制

由于URL链接是由一个双引号扩起来的，与字符串的双引号会造成冲突
在html中不区分双引号和单引号因此改为单引号
文件名称通过文件实际存储路径 real_pat h 实例化一个匿名对象来调用FileName 获取文件名

存储的是文件的最后一次修改时间，正常来说只需用 mtime 即可
但是mtime是一个时间戳所以调用接口 c time 将时间戳转化为时间格式的字符串

调用 f size函数获取文件大小以字节为单位
而html中是按照KB表示的，而1KB等于1024字节
所以使其除以1024 获取对应的KB个数

Down load —— 下载请求的处理实现

http中的 ETag 字段存储一个资源的唯一标识
 客户端第一次下载文件时，会受到这个响应信息
第二次下载就会将这个信息发送给服务器想要让服务器根据唯一标识判断这个资源有没有被修改过
如果没有被修改过直接使用原先缓存的数据不用重新下载了

http 协议本身对与ETag中是什么数据并不关心只要服务端能够自己处理即可
ETag 由文件名 – 文件大小 – 最后一次修改时间组成

设置 GetETag 函数获取http中的 ETage字段

在 table 哈希表中寻找 req.pat h ，若找到了req.pat h 则返回对应的 value 值并传给 info

Back upInf o 类的 pack_flag 变量表示压缩标志
若pack_flag 为 true 则表示被压缩则进入判断中

pack_pat h 表示压缩包路径
使用pack_pat h 实例化一个 FileUtil类的对象 f u

real_pat h 表示文件实际存储路径
调用 UnCompress 函数将 pack_pat h 解压缩并将其中的数据放入 real_pat h 备份目录中

将pack_flag 改为 false 并使用 update函数向 table 哈希表中对应的 path中更新对应的key值 info

通过 real_path 实例化一个 FileUtil类的对象 f u
调用 GetContent 函数将 real_path中的数据放入 body 中

断点续传实现

功能：当文件下载过程中因为某种异常而中断如果再次进行从头下载效率比较低
因为需要将之前已经传输过的数据再次传输一遍
因此断点续传就是从上次下载断开的位置重新下载即可之前已经传输过的数据将不需要重新传输

目的：提高文件的重新传输效率

实现思想：客户端在下载文件的时候要每次接收到数据写入文件后记录自己当前下载的数据量
当异常下载中断时，下次断点续传时候将要重新下载的数据区间(下载的起始位置和结束位置)
发送给服务器服务器收到后仅仅回传客户端需要的区间数据即可

需要考虑的问题：
若上传下载文件之后这个文件在服务器上被修改了则这时候将不能重新断点续传
而是应该重新进行文件下载操作

在http 协议中断点续传的实现：
告诉服务器下载区间范围
 服务器上要检测上一次下载之后这个文件是否被修改过

206状态码状态码描述为 Par tial Content
表示部分内容服务器成功处理部分GET请求
即处理区间范围内的请求

在上述 Down load函数中进行修改

retr ans表示断点续传默认设置为false
定义一个string 类型的字符串 old_etag 将If-Range字段对应的value值传给 old_etag
调用 GetETag函数获取 Etag 字段
将 if_range 字段的value值与请求文件最新的etag比较，若一致则说明为断点续传

http lib 内部对 Range 请求已经做出了额外的操作
外部用户只需把文件的所有数据读取到 response的 body中即可
自己就会根据所请求的区间范围进行处理从body中截取指定范围的数据进行客户端的响应

service .hpp


#ifndef  _MY_SERVICE_//避免头文件重复包含
#define  _MY_SERVICE_
#include "data.hpp"
#include "httplib.h"

extern cloud::DataManager *_data;
namespace cloud
{
   class Service
   {
     private:
          int _server_port;
          std::string _server_ip;
          std::string _download_prefix;
          httplib::Server _server;
   
     private:
   
     static void Upload(const httplib::Request &amp;req,httplib::Response &amp;rsp)//上传请求
     {
             // post /upload 文件数据在正文中
             auto ret=req.has_file("file");//判断有没有上传的文件区域
             if(ret==false)
             {
               rsp.status=400;
               return;
             }
             //若有上传的文件区域 则获取文件包含的各项数据
             const auto&amp; file =req.get_file_value("file");

             //file.filename文件名称   file.content 文件内容
             std::string back_dir= Config::GetInstance()->GetBackDir();
             std::string realpath=back_dir+FileUtil(file.filename).FileName();

             FileUtil fu(realpath);
             fu.SetContent(file.content);//将数据写入文件中

             BackupInfo info;
             info.NewBackupInfo(realpath);//组织备份文件信息
             _data->Insert(info);//向数据管理模块添加备份文件信息
             return;
     }
     
      
      static std::string TimetoStr(time_t  t)
      {
          std::string tmp=std::ctime(&amp;t);
          return tmp;

      }
     static void ListShow(const httplib::Request &amp;req,httplib::Response &amp;rsp)// 获取展示页面处理
     {
         //获取所有文件信息
          std::vector<BackupInfo> arry;
          _data->GetAll(&amp;arry);
          
         //根据所有备份信息 组织html文件数据
          std::stringstream ss;
          ss << "<html><head><title>Download</title><meta charset='UTF-8'></head>";
          ss<<"<body><hl>Download</hl><table>";
          for(auto &amp;a:arry)
          {
             ss<<"<tr>";
             std::string filename=FileUtil(a.real_path).FileName();
             ss<<"<td><a href =' "<<a.url<<" '>"<<filename<< "</a></td>"; 
             ss<<"<td align='right'>"<<TimetoStr(a.mtime)<<"</td>";
             ss<<"<td align ='right'>"<<a.fsize/1024<< "k</td>";
             ss<<"</tr>";
          }
          ss<<"</table></body></html>";
          rsp.body=ss.str();
          rsp.set_header("Content-Type","text/html");//设置头部信息
          rsp.status=200;//状态码设置为200 表示成功响应
          return ;
     }
    
     
    
    static std::string GetETag(const  BackupInfo &amp; info)//获取 ETag字段
    {
         //  etag 文件名 - filename-fsize 文件大小 - mtime 最后一次修改时间 
          FileUtil fu(info.real_path);
          std::string etag =fu.FileName();//获取文件名
          etag+= "-";
          etag+= std::to_string(info.fsize);//获取文件大小(字符串格式)
          etag+="-";
          etag+=std::to_string(info.mtime);//获取最后一次修改时间(字符串格式) 
          return etag; 
    }

     static void Download(const httplib::Request &amp;req,httplib::Response &amp;rsp)//文件下载请求
     {
         // 获取客户端请求的资源路径 req.path
          
         // 根据资源路径  获取文件备份信息
         BackupInfo info;
         _data->GetOneByURL(req.path,&amp;info);//通过URL获取单个数据
      
         //判断文件是否被压缩  如果被压缩 需要先解压缩
         if(info.pack_flag==true)//说明被压缩了
         {
           FileUtil fu(info.pack_path); //使用压缩包路径实例化一个对象
           fu.UnCompress(info.real_path);//解压缩

            // 删除压缩包  修改备份信息
            fu.Remove();//删除文件
            info.pack_flag=false;  
            _data->Update(info);//更新
         }

          // 读取文件数据 放入 rsp.body中
          FileUtil fu(info.real_path);
          fu.GetContent(&amp;rsp.body);//将 real_path中的数据 放入 body中
         
         bool retrans =false;//retrans表示断点续传
         std::string old_etag;
         if(req.has_header("If-Range"))//若存在该头部字段 则说明为断点续传
         {
             old_etag =req.get_header_value("If-Range");//将头部字段对应的value值传给 old_etag
             if(old_etag ==GetETag(info))//若If-Range字段 的值 与请求文件的最新etag一致 则符合断点续传
             {
                retrans =true;
             }
         }

         //若没有 If-Range 字段 则为正常下载
         //如果有这个字段 但是它的值与当前文件的 etag 不一致 则必须返回全部数据
          if(retrans==false)
          {
            //正常下载
            fu.GetContent(&amp;rsp.body);//将 real_path中的数据 放入 body中
            //设置响应头部字段  ETag  Accept-Ranges: bytes
            rsp.set_header("Accept-Ranges","bytes");//建立头部字段
            rsp.set_header("ETag",GetETag(info));
            rsp.set_header("Content-Type","application/octet-stream");
            rsp.status=200;//响应成功
          } 
          else 
          {
            //说明是断点续传 
            //httplib 内部实现对于 断点续传请求的处理
            //只需要用户 将文件所有数据读取到rsp.body中
            //内部会自动根据请求区间 从body中取出指定区间 数据 进行响应
            fu.GetContent(&amp;rsp.body);//将 real_path中的数据 放入 body中
            rsp.set_header("Accept-Ranges","bytes");//建立头部字段
            rsp.set_header("ETag",GetETag(info));
            rsp.set_header("Content-Type","application/octet-stream");
            rsp.status=206;  //区间请求响应  
          }
        }

     public:
     Service()//构造函数
     {
        Config * config=Config::GetInstance();//创建对象
       _server_port=config->GetServerPort();
       _server_ip=config->GetServerIp();
       _download_prefix =config->GetDownloadPrefix();
     }
     bool RunModule()//运行模块
     {
        _server.Post("/upload",Upload);
        _server.Get("/listshow", ListShow);
        _server.Get("/", ListShow);
        std::string download_url =_download_prefix+"(.*)";//下载请求
        _server.Get(download_url,Download);
        
        _server.listen(_server_ip.c_str(),_server_port);
         return true;
     } 
   };
}

#endif