Browse Source

version 0.0.7

wcc 3 years ago
parent
commit
436208931b
4 changed files with 192 additions and 6 deletions
  1. 92 0
      novel/ck-default.md
  2. 44 5
      novel/polarDB-dm.md
  3. 50 1
      novel/polarDB-quchen_text.md
  4. 6 0
      问题.txt

+ 92 - 0
novel/ck-default.md

@@ -0,0 +1,92 @@
+# ClickHouse.default(中间层数据)
+
+## order 书城订单表(通过 clickhouse的 mysql引擎实时同步自 mysql.qucheng_text.ods_order)
+
+|字段名|类型|注释|
+|---|:---:|---|
+|date|Date|下单日期(yyyy-MM-dd)|
+|stage|String|期数(貌似不会用于计算)|
+|platform|String|书城|
+|channel|String|公众号名称|
+|channel_id|String|渠道 id(貌似没啥用)|
+|user_id|String|公众号 open_id|
+|order_time|DateTime|下单时间|
+|reg_time|DateTime|用户在书城的注册时间|
+|convert_again_time|DateTime|染色时间(快应用会用到)|
+|amount|Float32|下单金额|
+|from_novel|String|来源小说名称|
+|order_id|String|书城订单 id|
+|status|Int32|订单状态(1:未完成、2:已完成)|
+|platform_user_id|String|书城用户 id|
+|wechat_app_id|String|公众号 app_id|
+|book_tags|String|书标签(貌似没用)|
+|order_type|Int32|充值类型(1:书币、2:vip)|
+
+## dw_daily_bytedance_cost 抖音账号消耗数据
+
+聚合自 mysql.qucheng_text.daily_tt、 mysql.qucheng_text.channel_by_account_daily、mysql.qucheng_text.channel_info_daily库,将消耗数据归属到投手、期数、书等
+
+|字段名|类型|注释|
+|---|:---:|---|
+|dt|Date|日期(yyyy-MM-dd)|
+|channel|String|公众号名字|
+|pitcher|String|投手|
+|stage|String|期数|
+|platform|String|书城|
+|book|String|书名|
+|view_count|Int32|曝光量|
+|click_count|Int32|点击量|
+|~~follow_user~~|Int32|关注量|
+|cost|Float32|消耗(/元)|
+|~~web_view_count~~|Int32|网页流量量|
+|~~platform_view_count~~|Int32|书城曝光量|
+|~~web_order_count~~|Int32|网页下单量|
+|type|String|账号类型(固定值:BYTEDANCE)|
+|~~require_roi~~|Int32||
+|~~require_mult~~|Int32||
+
+## dw_daily_channel_cost 公众号消耗数据(结构同上)
+
+聚合自 mysql.qucheng_text(daily_vx、daily_qq、channel_by_account_daily、channel_info_daily)库,将消耗数据归属到投手、期数、书等
+
+|字段名|类型|注释|
+|---|:---:|---|
+|dt|Date|日期(yyyy-MM-dd)|
+|channel|String|公众号名字|
+|pitcher|String|投手|
+|stage|String|期数|
+|platform|String|书城|
+|book|String|书名|
+|view_count|Int32|曝光量|
+|click_count|Int32|点击量|
+|follow_user|Int32|关注量|
+|cost|Float32|消耗(/元)|
+|~~web_view_count~~|Int32|网页流量量|
+|platform_view_count|Int32|书城曝光量|
+|web_order_count|Int32|网页下单量|
+|type|String|账号类型(固定值:MP | GDT)|
+|~~require_roi~~|Int32||
+|~~require_mult~~|Int32||
+
+## dw_daily_platform_cost 公司消耗数据表
+
+看情况只是将 dw_daily_bytedance_cost、dw_daily_channel_cost进行 UNION ALL
+
+|字段名|类型|注释|
+|---|:---:|---|
+|dt|Date|日期(yyyy-MM-dd)|
+|channel|String|公众号名字|
+|pitcher|String|投手|
+|stage|String|期数|
+|platform|String|书城|
+|book|String|书名|
+|view_count|Int32|曝光量|
+|click_count|Int32|点击量|
+|follow_user|Int32|关注量|
+|cost|Float32|消耗(/元)|
+|~~web_view_count~~|Int32|网页流量量|
+|platform_view_count|Int32|书城曝光量|
+|web_order_count|Int32|网页下单量|
+|type|String|账号类型(固定值:MP | GDT)|
+|~~require_roi~~|Int32||
+|~~require_mult~~|Int32||

+ 44 - 5
novel/polarDB-dm.md

@@ -17,25 +17,28 @@
 |web_view_count|int|网页曝光量|
 |web_view_count|int|网页曝光量|
 |platform_view_count|int|平台曝光量|
 |platform_view_count|int|平台曝光量|
 |web_order_count|int|网页下单量|
 |web_order_count|int|网页下单量|
-|type|varchar|类型(MP,GDT...)|
+|type|varchar|类型(MP、GDT、BYTEDANCE)|
 |require_roi|float|要求首日回报率(100/公司建立的书籍卡点)|
 |require_roi|float|要求首日回报率(100/公司建立的书籍卡点)|
 |require_mult|float|要求首日回报率倍数, 与require_roi为一组值(1/要求首日回报率)|
 |require_mult|float|要求首日回报率倍数, 与require_roi为一组值(1/要求首日回报率)|
 
 
 
 
 ##  dw_channel 公众号信息表
 ##  dw_channel 公众号信息表
 
 
+以公众号为聚合维度,聚合了公众号每天的消耗及对应的订单数据
+从 clickhouse.default(dw_daily_platform_cost、order)中聚合
+
 |字段名|类型|注释|
 |字段名|类型|注释|
 |---|:---:|---|
 |---|:---:|---|
 |dt|varchar|日期(yyyy-MM-dd)|
 |dt|varchar|日期(yyyy-MM-dd)|
 |channel|varchar|公众号|
 |channel|varchar|公众号|
 |pitcher|varchar|投手|
 |pitcher|varchar|投手|
 |stage|varchar|期号|
 |stage|varchar|期号|
-|platform|varchar|平台|
+|platform|varchar|书城|
 |book|varchar|在投书籍|
 |book|varchar|在投书籍|
-|type|varchar|品类(MP,GDT...)|
+|type|varchar|账号类型(MP、GDT、BYTEDANCE)|
 |order_count|int|当天下单量|
 |order_count|int|当天下单量|
 |order_user|int|当天订单用户数量|
 |order_user|int|当天订单用户数量|
-|order_amount|float|当天订单总金额|
+|order_amount|float|当天订单总金额(/元)|
 |first_order_count|int|首单数量|
 |first_order_count|int|首单数量|
 |first_order_user|int|首单用户数量|
 |first_order_user|int|首单用户数量|
 |first_order_amount|float|首单金额|
 |first_order_amount|float|首单金额|
@@ -47,7 +50,7 @@
 |reg_order_user|int|累计新用户数量|
 |reg_order_user|int|累计新用户数量|
 |reg_order_amount|float|累计新用户花销|
 |reg_order_amount|float|累计新用户花销|
 |web_view_count|int|网页曝光量|
 |web_view_count|int|网页曝光量|
-|platform_view_count|int|平台落地页曝光量|
+|platform_view_count|int|书城落地页曝光量|
 |web_order_count|int|网页下单量|
 |web_order_count|int|网页下单量|
 |reg_order_user_again|int|复冲一次人数(下单次数=2的用户数量)|
 |reg_order_user_again|int|复冲一次人数(下单次数=2的用户数量)|
 |reg_order_user_again3|int|复冲两次人数(下单次数=3的用户数量)|
 |reg_order_user_again3|int|复冲两次人数(下单次数=3的用户数量)|
@@ -58,6 +61,8 @@
 
 
 ## dw_channel_user_daily 公众号注册人数
 ## dw_channel_user_daily 公众号注册人数
 
 
+公众号维度统计的用户注册信息,聚合自clickhouse.default(order)
+
 |字段名|类型|注释|
 |字段名|类型|注释|
 |---|:---:|---|
 |---|:---:|---|
 |dt|varchar|日期(yyyy-MM-dd)|
 |dt|varchar|日期(yyyy-MM-dd)|
@@ -73,6 +78,8 @@
 
 
 ## dm_pitcher_daily_overview 投手累计数据
 ## dm_pitcher_daily_overview 投手累计数据
 
 
+以投手维度聚合的消耗、订单数据,聚合自clickhouse.default(order、dw_daily_channel_cost)
+
 |字段名|类型|注释|
 |字段名|类型|注释|
 |---|:---:|---|
 |---|:---:|---|
 |pitcher|varchar|投手|
 |pitcher|varchar|投手|
@@ -89,3 +96,35 @@
 |follow_user|int|粉丝数|
 |follow_user|int|粉丝数|
 |last_month_far_roi|float|上月至今的回报率|
 |last_month_far_roi|float|上月至今的回报率|
 
 
+## dm_pitcher_daily_overview 公众号订单金额(天总计)
+
+以公众号维度聚合的订单统计信息,?????
+
+|字段名|类型|注释|
+|---|:---:|---|
+|dt|varchar|日期(yyyy-MM-dd)|
+|channel|varchar|公众号|
+|da1|float||
+|da2|float||
+|da3|float||
+|...|float||
+|da58|float||
+|da59|float||
+|da60|float||
+|dm3|float||
+|dm4|float||
+|dm5|float||
+
+## dw_channel_amount_daily_reverse 公众号订单信息
+
+|字段名|类型|注释|
+|---|:---:|---|
+|dt|varchar|日期(yyyy-MM-dd)|
+|channel|varchar|公众号|
+|ba1|float||
+|ba2|float||
+|ba3|float||
+|ba4|float||
+|ba5|float||
+|ba6|float||
+|ba7|float||

+ 50 - 1
novel/polarDB-quchen_text.md

@@ -1,4 +1,30 @@
-# quchen_text业务数据(包含原始数据及)
+# quchen_text 业务数据(原始数据)
+
+## ods_order 书城订单表
+
+|字段名|类型|注释|
+|---|:---:|---|
+|date|date|下单日期(yyyy-MM-dd)|
+|stage|varchar|期数(貌似不会用于计算)|
+|platform|varchar|书城|
+|channel|varchar|公众号名称|
+|channel_id|int|渠道 id(貌似没啥用)|
+|user_id|varchar|公众号 open_id|
+|order_time|datetime|下单时间|
+|reg_time|datetime|用户在书城的注册时间|
+|convert_again_time|datetime|染色时间(快应用会用到)|
+|amount|float|下单金额|
+|from_novel|varchar|来源小说名称|
+|order_id|varchar|书城订单 id|
+|status|int|订单状态(1:未完成、2:已完成)|
+|platform_user_id|varchar|书城用户 id|
+|wechat_app_id|varchar|公众号 app_id|
+|book_tags|varchar|书标签(貌似没用)|
+|order_type|int|充值类型(1:书币、2:vip)|
+|trade_no|varchar|订单号(一般是微信支付的微信订单号)|
+|transaction_no|varchar|交易号(同上)|
+|app_id|varchar|公众号的 app_id|
+|pay_time|datetime|支付时间|
 
 
 ## daily_tt 字节消耗数据(天数据,每小时拉一次)
 ## daily_tt 字节消耗数据(天数据,每小时拉一次)
 
 
@@ -176,6 +202,29 @@ GDT账号投放信息表。保存了一个账号最开始投放时的信息(
 |start_time|varchar|开始日期(yyyy-MM-dd)|
 |start_time|varchar|开始日期(yyyy-MM-dd)|
 |end_time|varchar|结束日期(yyyy-MM-dd)|
 |end_time|varchar|结束日期(yyyy-MM-dd)|
 
 
+## channel_by_account_daily 账号每天对应的公众号
+
+保存了账号每天投放的公众号\
+从 advertiser_qq、advertiser_vx、account_change表聚合拆分而来
+
+|字段名|类型|注释|
+|---|:---:|---|
+|dt|date|日期(yyyy-MM-dd)|
+|account_id|bigint|账号|
+|channel|varchar|公众号名称|
+|type|varchar|账号类型(MP、GDT、BYTEDANCE)|
+
+## channel_info_daily 公众号每天的投放信息
+
+|字段名|类型|注释|
+|---|:---:|---|
+|dt|date||日期(yyyy-MM-dd)|
+|channel|varchar|公众号名称|
+|stage|varchar|期数|
+|pitcher|varchar|投手|
+|platform|varchar|书城|
+|book|varchar|书|
+
 ## 书籍卡点信息表
 ## 书籍卡点信息表
 ## 书籍平台信息表
 ## 书籍平台信息表
 ## 平台信息表
 ## 平台信息表

+ 6 - 0
问题.txt

@@ -0,0 +1,6 @@
+1、mysql.qucheng_text.ods_order->clickhouse.default.order是不是通过 clickhouse的 mysql引擎直接实时同步的?
+2、clickhouse.default.dw_daily_bytedance_cost的聚合是不是少了一根线
+3、mysql.qucheng_text.channel_by_account_daily和 mysql.qucheng_text.channel_info_daily是不是可以合并成一张表
+4、clickhouse.default.dw_daily_platform_cost是不是只是将抖音和腾讯的消耗数据进行了下 union all
+5、不同书城如果有相同的书名怎么区分不同书城的书的数据
+6、dm里面有几张表的没注释