# qc-dgp

#### 介绍
Data grabbing platform(DGP)数据采集平台

#### 文档结构
* `dgp`为代码目录，`gpd/tests`为测试代码目录
* `docs`为文档目录

#### 安装教程
* 确保已安装Python3
* 安装项目依赖，执行 ``

#### 特性
* 数据库使用`dbutils`连接池，并独立配置mysql的配置文件`db_config.ini`
* 平台订单数据爬取采用线程池子线程爬取，大大提升爬取速度
* 平台账号配置(`conf/account`)使用csv配置文件存储，方便修改同步，并支持直接修改后，下次获取即可生效，无需重启脚本

#### 后续优化点
- [x] 数据库连接需要单独配置
- [ ] 业务报警，钉钉提醒，邮件？
- [x] 异常处理
- [ ] 日志输出
- [ ] 全局常量配置

#### 使用说明
* 代码在crontab 中调度，输入crontab -e


#### 特别说明
* 掌中云 订单保存时提示是实际入库记录，因为要去重，另外可能存在重复的数据（掌中云有多个账号有同一条订单数据）
* 阅文 查询有整点订单查询不到，结束时间多加5秒可以查询，这个是阅文的bug
* 花生 订单查询结果是按天查询的，没有按小时查询，所以每小时获取的都是小时当天的所有数据
* 悠书阁 订单查询结果是按天查询的，没有按小时查询，且每小时查询的时候要判断结束时间要比开始时间大一天，否则查询不到数据


#### 待做 
* 订单拉取合并为一个代码 小时调度