version 0.0.7

novel/ck-default.md

@@ -0,0 +1,92 @@
+# ClickHouse.default（中间层数据）
+
+## order 书城订单表（通过 clickhouse的 mysql引擎实时同步自 mysql.qucheng_text.ods_order）
+
+|字段名|类型|注释|
+|---|:---:|---|
+|date|Date|下单日期（yyyy-MM-dd）|
+|stage|String|期数（貌似不会用于计算）|
+|platform|String|书城|
+|channel|String|公众号名称|
+|channel_id|String|渠道 id（貌似没啥用）|
+|user_id|String|公众号 open_id|
+|order_time|DateTime|下单时间|
+|reg_time|DateTime|用户在书城的注册时间|
+|convert_again_time|DateTime|染色时间（快应用会用到）|
+|amount|Float32|下单金额|
+|from_novel|String|来源小说名称|
+|order_id|String|书城订单 id|
+|status|Int32|订单状态（1：未完成、2：已完成）|
+|platform_user_id|String|书城用户 id|
+|wechat_app_id|String|公众号 app_id|
+|book_tags|String|书标签（貌似没用）|
+|order_type|Int32|充值类型（1：书币、2：vip）|
+
+## dw_daily_bytedance_cost 抖音账号消耗数据
+
+聚合自 mysql.qucheng_text.daily_tt、 mysql.qucheng_text.channel_by_account_daily、mysql.qucheng_text.channel_info_daily库，将消耗数据归属到投手、期数、书等
+
+|字段名|类型|注释|
+|---|:---:|---|
+|dt|Date|日期（yyyy-MM-dd）|
+|channel|String|公众号名字|
+|pitcher|String|投手|
+|stage|String|期数|
+|platform|String|书城|
+|book|String|书名|
+|view_count|Int32|曝光量|
+|click_count|Int32|点击量|
+|~~follow_user~~|Int32|关注量|
+|cost|Float32|消耗(/元)|
+|~~web_view_count~~|Int32|网页流量量|
+|~~platform_view_count~~|Int32|书城曝光量|
+|~~web_order_count~~|Int32|网页下单量|
+|type|String|账号类型（固定值：BYTEDANCE）|
+|~~require_roi~~|Int32||
+|~~require_mult~~|Int32||
+
+## dw_daily_channel_cost 公众号消耗数据（结构同上）
+
+聚合自 mysql.qucheng_text(daily_vx、daily_qq、channel_by_account_daily、channel_info_daily)库，将消耗数据归属到投手、期数、书等
+
+|字段名|类型|注释|
+|---|:---:|---|
+|dt|Date|日期（yyyy-MM-dd）|
+|channel|String|公众号名字|
+|pitcher|String|投手|
+|stage|String|期数|
+|platform|String|书城|
+|book|String|书名|
+|view_count|Int32|曝光量|
+|click_count|Int32|点击量|
+|follow_user|Int32|关注量|
+|cost|Float32|消耗(/元)|
+|~~web_view_count~~|Int32|网页流量量|
+|platform_view_count|Int32|书城曝光量|
+|web_order_count|Int32|网页下单量|
+|type|String|账号类型（固定值：MP | GDT）|
+|~~require_roi~~|Int32||
+|~~require_mult~~|Int32||
+
+## dw_daily_platform_cost 公司消耗数据表
+
+看情况只是将 dw_daily_bytedance_cost、dw_daily_channel_cost进行 UNION ALL
+
+|字段名|类型|注释|
+|---|:---:|---|
+|dt|Date|日期（yyyy-MM-dd）|
+|channel|String|公众号名字|
+|pitcher|String|投手|
+|stage|String|期数|
+|platform|String|书城|
+|book|String|书名|
+|view_count|Int32|曝光量|
+|click_count|Int32|点击量|
+|follow_user|Int32|关注量|
+|cost|Float32|消耗(/元)|
+|~~web_view_count~~|Int32|网页流量量|
+|platform_view_count|Int32|书城曝光量|
+|web_order_count|Int32|网页下单量|
+|type|String|账号类型（固定值：MP | GDT）|
+|~~require_roi~~|Int32||
+|~~require_mult~~|Int32||

novel/polarDB-dm.md

@@ -17,25 +17,28 @@
 |web_view_count|int|网页曝光量|
 |platform_view_count|int|平台曝光量|
 |web_order_count|int|网页下单量|
-|type|varchar|类型（MP,GDT...）|
+|type|varchar|类型（MP、GDT、BYTEDANCE）|
 |require_roi|float|要求首日回报率（100/公司建立的书籍卡点）|
 |require_mult|float|要求首日回报率倍数, 与require_roi为一组值（1/要求首日回报率）|
 
 
 ##  dw_channel 公众号信息表
 
+以公众号为聚合维度，聚合了公众号每天的消耗及对应的订单数据
+从 clickhouse.default(dw_daily_platform_cost、order)中聚合
+
 |字段名|类型|注释|
 |---|:---:|---|
 |dt|varchar|日期（yyyy-MM-dd）|
 |channel|varchar|公众号|
 |pitcher|varchar|投手|
 |stage|varchar|期号|
-|platform|varchar|平台|
+|platform|varchar|书城|
 |book|varchar|在投书籍|
-|type|varchar|品类（MP,GDT...）|
+|type|varchar|账号类型（MP、GDT、BYTEDANCE）|
 |order_count|int|当天下单量|
 |order_user|int|当天订单用户数量|
-|order_amount|float|当天订单总金额|
+|order_amount|float|当天订单总金额（/元）|
 |first_order_count|int|首单数量|
 |first_order_user|int|首单用户数量|
 |first_order_amount|float|首单金额|
@@ -47,7 +50,7 @@
 |reg_order_user|int|累计新用户数量|
 |reg_order_amount|float|累计新用户花销|
 |web_view_count|int|网页曝光量|
-|platform_view_count|int|平台落地页曝光量|
+|platform_view_count|int|书城落地页曝光量|
 |web_order_count|int|网页下单量|
 |reg_order_user_again|int|复冲一次人数（下单次数=2的用户数量）|
 |reg_order_user_again3|int|复冲两次人数（下单次数=3的用户数量）|
@@ -58,6 +61,8 @@
 
 ## dw_channel_user_daily 公众号注册人数
 
+公众号维度统计的用户注册信息，聚合自clickhouse.default(order)
+
 |字段名|类型|注释|
 |---|:---:|---|
 |dt|varchar|日期（yyyy-MM-dd）|
@@ -73,6 +78,8 @@
 
 ## dm_pitcher_daily_overview 投手累计数据
 
+以投手维度聚合的消耗、订单数据，聚合自clickhouse.default(order、dw_daily_channel_cost)
+
 |字段名|类型|注释|
 |---|:---:|---|
 |pitcher|varchar|投手|
@@ -89,3 +96,35 @@
 |follow_user|int|粉丝数|
 |last_month_far_roi|float|上月至今的回报率|
 
+## dm_pitcher_daily_overview 公众号订单金额（天总计）
+
+以公众号维度聚合的订单统计信息，？？？？？
+
+|字段名|类型|注释|
+|---|:---:|---|
+|dt|varchar|日期（yyyy-MM-dd）|
+|channel|varchar|公众号|
+|da1|float||
+|da2|float||
+|da3|float||
+|...|float||
+|da58|float||
+|da59|float||
+|da60|float||
+|dm3|float||
+|dm4|float||
+|dm5|float||
+
+## dw_channel_amount_daily_reverse 公众号订单信息
+
+|字段名|类型|注释|
+|---|:---:|---|
+|dt|varchar|日期（yyyy-MM-dd）|
+|channel|varchar|公众号|
+|ba1|float||
+|ba2|float||
+|ba3|float||
+|ba4|float||
+|ba5|float||
+|ba6|float||
+|ba7|float||

novel/polarDB-quchen_text.md

@@ -1,4 +1,30 @@
-# quchen_text业务数据（包含原始数据及）
+# quchen_text 业务数据（原始数据）
+
+## ods_order 书城订单表
+
+|字段名|类型|注释|
+|---|:---:|---|
+|date|date|下单日期（yyyy-MM-dd）|
+|stage|varchar|期数（貌似不会用于计算）|
+|platform|varchar|书城|
+|channel|varchar|公众号名称|
+|channel_id|int|渠道 id（貌似没啥用）|
+|user_id|varchar|公众号 open_id|
+|order_time|datetime|下单时间|
+|reg_time|datetime|用户在书城的注册时间|
+|convert_again_time|datetime|染色时间（快应用会用到）|
+|amount|float|下单金额|
+|from_novel|varchar|来源小说名称|
+|order_id|varchar|书城订单 id|
+|status|int|订单状态（1：未完成、2：已完成）|
+|platform_user_id|varchar|书城用户 id|
+|wechat_app_id|varchar|公众号 app_id|
+|book_tags|varchar|书标签（貌似没用）|
+|order_type|int|充值类型（1：书币、2：vip）|
+|trade_no|varchar|订单号（一般是微信支付的微信订单号）|
+|transaction_no|varchar|交易号（同上）|
+|app_id|varchar|公众号的 app_id|
+|pay_time|datetime|支付时间|
 
 ## daily_tt 字节消耗数据（天数据，每小时拉一次）
 
@@ -176,6 +202,29 @@ GDT账号投放信息表。保存了一个账号最开始投放时的信息（
 |start_time|varchar|开始日期（yyyy-MM-dd）|
 |end_time|varchar|结束日期（yyyy-MM-dd）|
 
+## channel_by_account_daily 账号每天对应的公众号
+
+保存了账号每天投放的公众号\
+从 advertiser_qq、advertiser_vx、account_change表聚合拆分而来
+
+|字段名|类型|注释|
+|---|:---:|---|
+|dt|date|日期（yyyy-MM-dd）|
+|account_id|bigint|账号|
+|channel|varchar|公众号名称|
+|type|varchar|账号类型（MP、GDT、BYTEDANCE）|
+
+## channel_info_daily 公众号每天的投放信息
+
+|字段名|类型|注释|
+|---|:---:|---|
+|dt|date||日期（yyyy-MM-dd）|
+|channel|varchar|公众号名称|
+|stage|varchar|期数|
+|pitcher|varchar|投手|
+|platform|varchar|书城|
+|book|varchar|书|
+
 ## 书籍卡点信息表
 ## 书籍平台信息表
 ## 平台信息表

问题.txt

@@ -0,0 +1,6 @@
+1、mysql.qucheng_text.ods_order->clickhouse.default.order是不是通过 clickhouse的 mysql引擎直接实时同步的？
+2、clickhouse.default.dw_daily_bytedance_cost的聚合是不是少了一根线
+3、mysql.qucheng_text.channel_by_account_daily和 mysql.qucheng_text.channel_info_daily是不是可以合并成一张表
+4、clickhouse.default.dw_daily_platform_cost是不是只是将抖音和腾讯的消耗数据进行了下 union all
+5、不同书城如果有相同的书名怎么区分不同书城的书的数据
+6、dm里面有几张表的没注释