Data grabbing platform(DGP)数据采集平台

18 Achegas

2 Branches

zhengwangeng 0603f0abec 测试代码修改：		%!s(int64=4) %!d(string=hai) anos
dgp	0603f0abec 测试代码修改：	%!s(int64=4) %!d(string=hai) anos
docs	4cdbad9706 init	%!s(int64=4) %!d(string=hai) anos
.gitignore	4cdbad9706 init	%!s(int64=4) %!d(string=hai) anos
README.md	e0c420ba53 优化阅文的订单查询接口	%!s(int64=4) %!d(string=hai) anos
requirements.txt	1c5674407a 一些测试代码	%!s(int64=4) %!d(string=hai) anos
setup.py	7fb59f0863 同步服务器最新代码	%!s(int64=4) %!d(string=hai) anos
todo_list.md	1c5674407a 一些测试代码	%!s(int64=4) %!d(string=hai) anos

qc-dgp

介绍

Data grabbing platform(DGP)数据采集平台

文档结构

dgp为代码目录，gpd/tests为测试代码目录
docs为文档目录

安装教程

确保已安装Python3
安装项目依赖，执行 ``

特性

数据库使用dbutils连接池，并独立配置mysql的配置文件db_config.ini
平台订单数据爬取采用线程池子线程爬取，大大提升爬取速度
平台账号配置使用csv配置文件存储，方便修改同步，并支持直接修改后，下次获取即可生效，无需重启脚本

使用说明

修改数据库账号配置
检查account和token配置
执行相关脚本：nohup python3 -u get_data_hourly.py >output_get_data_hourly_202009251042.log 2>&1 &
执行相关脚本：nohup python3 -u check_order_new.py >check_order_new_202009300217.log 2>&1 &

参与贡献

Fork 本仓库，拉取的是dev分支
直接在dev分支上开发,添加新的依赖后请执行 pip freeze > requirements.txt 或 pipreqs --force /qc-dgp
格式化代码，提交代码
新建 Pull Request