| AB实验部署时间 | 详情 | AUC对比 | 状态 | 备注 |
|---|
| 2021-12-03 | 【找靓机主搜cvr特征优化实验】 实验名：Default.rankctr.rankcvr1203 上线人：子豪 改动点：删除容量相关的所有组特征 | 线上 exp auc=0.667300 | 已下线 | 模型详情文档：006【[cvr1203]20211203类目重构项目】 |
| 2021-12-17 | 【CVR20211217类目重构】 - 新增了非设备交叉的类目点击率特征
- 没有降采样；归因周期为1，排除了pop 的商品
- 取消了order>0 or pay>0的限制条件
实验正向明显，但是因为AUC较低，所以没有进行全量 - 实验名：Default.rankctr.base_rankcvr1217
| 离线 exp auc=0.70675 离线 base auc=0.68279 | 已下线 | 实验订单正向很明显，但是AUC偏低，所以没有上线，进行线下实验打磨 文档：007【(ctr/cvr1217)CTR/CVR20211217类目重构】 |
| 2021-12-17 | 【CTR类目重构】 重上容量特征&新增类目点击率特征 | 线上base auc=0.58818 , 线上exp auc=0.653824 离线exp auc=0.6794 离线base auc=0.6542 | 全量 | 文档：007【(ctr/cvr1217)CTR/CVR20211217类目重构】 |
| 2022-01-10 | 【CVR AUC低问题定位】 | 离线base auc=0.6937535 离线exp auc=0.7154 | 已下线 | - CVR项目复盘
- 因为在实验两三天以后，发现线上特征缺失，de_model_capacity_cvr,model_capacity_price_level_cvr, de_sku_cvr, sku_price_level_cvr 没有加。
- 下线进行修复
|
| 2022-01-17 | 【CVR0117 线上特征缺失问题】 找靓机CVR重上容量特征&新增类目点击率特征，解决cvr0110版本线上特征缺失问题 - 实验时间：2021-01-19
- 改动点：去除pop商品；没有降采样；使用归因周期为3。补上了上版缺失的4个特征：de_model_capacity_cvr, model_capacity_price_level_cvr, de_sku_cvr, sku_price_level_cvr 。
- 实验名：Default.rankcvr.base_rankcvr0117
- 节前快放假，没有上线，放到节后上
| - 离线评估：base: 0.7023877、exp: 0.709976
| 已下线 | 【找靓机】CVR新增容量相关特征和类目点击率特征】 tapd地址 |
| 2022-02-07 | 【CTR新增Query特征】 - 实验名：Default.rankctr.base_rankctr0120
- 实验表现：正向一两天，负向一天，周末负向，波动不稳定，进行下线
- 改动点：增加query_cate1id_ctr、query_cate2id_ctr、query_cate3id_ctr三个特征。
- 实验数据：归因一天，去除pop商品，未采样。
- 上线过程：该实验2021-01-20上线，因为快到春节放假，所以下线后，放到了节后第一天上线。
- checkpoint: checkpoint_path='/home/algo/wangyongpeng/project/zlj_rank_0519/ctr_code/models/20220105/20220108add_query_epoch2001_08-16_07_58/model.ckpt-704520'
| 离线 base auc=0.67159414 离线 exp auc=0.6835 线上 base auc=0.661266326 线上 exp auc=0.676718027 | 已下线 | 虽然订单不能持续的正向，但是线上auc始终是正向的。 |
| 2022-02-21 | 【找靓机】CVR类目重构验证POP商品加入的影响 - 实验名：Default.rankcvr.base_rankcvr0221
- 改动点：增加了pop商品；没有降采样；使用归因周期为3，测试集也为归因为3
- 训练集：44623147
- order正:负样本数 =813095:43810052 = 1:53.9
- pay正:负样本数=140503:44482644 = 1:316.6
| 离线 exp auc = 0.7879 | 已下线 | tapd地址 |
| 2022-03-08 | 【CTR 新增query特征实验】 | 离线 exp auc=0.7043 离线 base auc=0.6874 线上 exp auc=0.6731829768 线上 base auc=0.6508156071 | 全量 | |
| 2022-03-16 | 【CTR模型新增卖家效率特征】 - 实验名：Default.rankctr.rankctr0316
- 改动点：新增如下3个特征。
sellerCtrpv, sellerOprpv, sellerOpruv - 训练数据抽取：2022-02-01日、训练集90天、测试3天，不包含pop商品
- check_point:/wangyongpeng/project/zlj_rank_0519/ctr_code/20220222_add_seller/models/20220309add3_ctrpv_oprpv_opruv/model.ckpt-447117
- 实验配置文档：
- 缓存读写任务：
| 离线base auc=0.7053 离线exp auc=0.7055 线上base auc=0.673811 线上 exp auc=0.671448 | 下线 | |
| 2022-03-16 | 【找靓机CVR模型类目重构】 - 目的：调整归因周期、pop商品、采样率对模型的影响
- 改动点：采用归因为1，去除pop商品，采样率0.7
- 数据: --job Cvr --dt "2022-02-15" --trainDays 90--testDays 3
- check_point: /wangyongpeng/project/zlj_rank_0519/cvr_code/20220301cvr_fix/models2/20220315_9train_period1_type1_ds07_AB/model.ckpt-13056
| 离线base auc=0.6667744 离线exp AUC = 0.70024294 线上base pay auc=0.626638 线上 exp pay auc=0.650780 线上base order auc=0.488246 线上exp order auc=0.524228 | 全量 全量时间：2022-03-23 | 文档：010【CVR问题因素排查专项】 |
| 2022-03-xxx | 【找靓机CVR新增query特征】 - 改动点：归因周期为1，去除pop，采样率0.7，
- 数据：--job Cvr--dt "2022-03-09" --trainDays 100--testDays 3
- check_point: /wangyongpeng/project/zlj_rank_0519/cvr_code/20220214add_query/models/20220321addquery_and_add_ds07/model.ckpt-130560
| 离线base auc=0.71540296 离线exp AUC = 0.7168716(+0.2%) 线上base coopr_pay_auc=0.637 线上 exp coopr_pay_auc= 0.667 线上base coopr_order_auc=0.5275 线上 exp coopr_order_auc=0.5639 ------------- CVR 23号 ： base_auc = 0.6430047, exp_auc = 0.683887
CVR 24号 ： base_auc = 0.6419728, exp_auc = 0.674858
CVR 25号 ： base_auc = 0.6312821, exp_auc = 0.658829
CVR 26号 ： base_auc = 0.6318003, exp_auc = 0.650590 平均：base = 0.637014975, exp = 0.667041 | 全量 | |
| 【找靓机CVR特征拆分为cor/opr特征】 - 改动点：旧PV阈值，增加opr, cor特征, 删除cvr统计特征，将cor和opr特征分别喂进模型的两部分。共享商品类目信息.
- 文档：011【CVR新增cor/opr特征代替cvr】
| 离线AUC：click_pay_auc=0.7195(+0.0215) | | |
| 【找靓机CTR引入优品价格特征】 | - 离线实验组auc=0.6927（+0.0006）
- 线上base auc = 0.6603, 线上exp auc = 0.65967（-0.00063）
- 预计日均订单和提袋率：-22.4 , -2.81%
| | |
| 【找靓机CTR引入优品价格特征】 再次实验 - 训练总量：440066269
- 正负样本比：28539534:x = 1:14.4
| exp auc=0.6726(+0.0007), base auc=0.6719 | | |
| 【找靓机CTR引入新构造SKU特征】 - 改动点：使用新构造的sku(model_id_quality_id_capacity_id)
- 数据量：train =1716962202
| | | |
| | | | |
