股票学习网

股票入门基础知识_炒股入门与技巧_怎么买股票 - 股票学习网!

双重边际效应对策(双重边际效应例子)

2023-04-23 10:38分类:技术指标 阅读:

 

 

 

小源笔记(一百零三):精读复刻论文《 属性关联的双极容度多属性决策 VIKOR方法》步骤4(4).mp311:04

来自LearningYard学苑

 

 

 

分享兴趣,传播快乐,增长见闻,留下美好。

亲爱的您,

这里是LearningYard学苑!

今天小编给大家带来期刊论文精读,

欢迎您的用心访问!

本期推文阅读时长大约6分钟,请您耐心阅读。

Share interest, spread happiness, increase knowledge, and leave beautiful.

Dear you,

this is the LearningYard Academy!

Today, the editor brings you intensive reading of journal papers,

welcome your visit!

This tweet usually takes about 6 minutes to read. Please be patient and read.

今天小编将从思维导图、精读内容、知识补充三个板块为大家带来论文《属性关联的双极容度多属性决策 VIKOR方法》步骤四,接下来我们开始今天的学习吧!

Today, the editor will bring you the calculation and analysis of the paper "VIKOR Method of Bipolar Tolerance Multi-attribute Decision Making of Attribute Association" from the three parts of mind map, intensive reading content and knowledge supplement. Next, let's start today's study!

 

 

思维导图

本节内容思维导图如下所示:

A mind map of the contents of this section is shown below.

 

 

精读内容

在论文的第四个步骤中,作者提到采用AHP方法来确定各个属性的shapley值,本期推文针对合作博弈贡献中更公平分配利益权重的算法——Shapley值方法进行深入学习。

In the fourth step of the paper, the author mentioned the use of AHP method to determine the Shapley value of each attribute. This article focuses on the Shapley value method, an algorithm for more equitable distribution of benefits in the contribution of cooperative game.

首先,Shapley值法是Shapley L.S于1953年提出,为解决多个局中人在合作过程中因利益分配而产生矛盾的问题,属于合作博弈领域;应用Shapley值的一大优势是按照成员对联盟的边际贡献率将利益进行分配,即成员i所分得的利益等于该成员为他所参与联盟创造的边际利益的平均值。

First of all, Shapley value method was put forward by Shapley L.S in 1953. It belongs to the field of cooperative game to solve the problem of conflicts caused by the distribution of interests among multiple players in the process of cooperation; One advantage of applying Shapley value is to distribute benefits according to the marginal contribution rate of members to the alliance, that is, the benefits shared by member i are equal to the average value of the marginal benefits created by the member for the alliance he participates in.

其次,关于Shapley值的符号定义如下所示:

(1)n、N:假设合作博弈系统内有n个成员,由N={1, 2, …, n}表示;

(2)S:不同成员组成不同的联盟,记为S,S是N的子集;

(3)v(S):定义在N上的一实函数v为特征函数,即联盟S的收益记为v(S);特征函数v(S)具有超可加性,若联盟A和B没有交集,则A与B构成新联盟的利益大于等于联盟A与B的收益之和,即当A,B符合A∩B=ϕ条件时:v(A∪B)≥v(A)+v(B);

(4)φ_i(v):表示联盟中成员i获得的利益。

Secondly, the symbol definition of Shapley value is as follows:

(1) N, N: Assume that there are n members in the cooperative game system, represented by N={1, 2,..., n};

(2) S: Different members form different alliances, marked as S, S is a subset of N;

(3) V (S): a real function v defined on N is the characteristic function, that is, the revenue of alliance S is recorded as v (S); The characteristic function v (S) is super-additive. If alliance A and B do not intersect, the benefits of the new alliance formed by A and B are greater than or equal to the sum of the benefits of alliance A and B, that is, when A and B meet the requirements of A} B= ϕ Under the condition: v (A + B) ≥ v (A)+v (B);

(4)φ_I(v): refers to the benefits obtained by member i of the alliance.

最后,关于shapley值法存在一些性质和公理,Shapley值分配策略是满足以下四个公理的唯一解。

(1)对称性

设Π是N={1,2,…,n}的一个排列,对于N的任意子集S={i_1,i_2,…,i_m},有ΠS={Πi_1,Πi_2,…,Πi_m}。若在定义特征函数w(S)=v(ΠS),则对于每个成员i属于N都有φ_i(w)=φ_Πi(v),这表明了利益相关者的先后顺序或者记号标记并不会对利益分配结果造成影响。

(2)有效性

∑iϵN(φ_i(v))=v(N),这表明利益相关者联盟的总价值就是各Shapley值之和,即特征函数值。

(3)冗员性

若对于包含成员i的所有子集S都有v(S{i})=v(S),则φ_i(v)=0。其中S{i}为集合S去掉元素i后的集合;这说明如果一个成员对于任何他参与的合作联盟都没有贡献,则他不应当从全体合作中获利。

(4)加法性

若在N上有两个特征函数v, w,则有φ(v+w)=φ(v)+φ(w),这表明有多种合作时,每种合作的利益分配方式与其他合作结果无关,总分配是两项的和。

Finally, there are some properties and axioms about the Shapley value method. The Shapley value allocation strategy is the only solution that satisfies the following four axioms.

(1) Symmetry

set up Π Is an arrangement of N={1,2,..., n}. For any subset of N S={i_1, i_2,..., i_m}, there is Π S={ Π i_ 1, Π i_ 2,…, Π i_ m}。 If the characteristic function w (S)=v is defined( Π S) For each member i belongs to N φ_ i(w)= φ_Π I (v), which indicates that the sequence or marking of stakeholders will not affect the result of benefit distribution.

(2) Effectiveness

∑i ϵ N( φ_ I (v)=v (N), which indicates that the total value of the stakeholder alliance is the sum of the Shapley values, that is, the characteristic function value.

(3) Redundancy

If there is v (S {i})=v (S) for all subsets S containing member i, then φ_ i(v)=0。 Where S {i} is the set after removing element i from set S; This shows that if a member has no contribution to any cooperative alliance he participates in, he should not benefit from the whole cooperation.

(4) Additive

If there are two characteristic functions v, w on N, then there are φ (v+w)= φ (v)+ φ (w) This shows that when there are many kinds of cooperation, the benefit distribution mode of each cooperation has nothing to do with other cooperation results, and the total distribution is the sum of the two.

接下来,就是关于shapley值的公式推导,在日常生活中,我们都接触过这样一个现象,那就是1+1不等于2;这里小编想说的是,很多时候多个主体分别产生的影响和共同产生的影响是不具备严格加性的。有句俗语,一个和尚挑水吃,两个和尚抬水吃,三个和尚没水吃;分开的三个和尚每个每天都挑水,但放在一起“协作”反而就没有水产出了,这里是一个关于协作的负面例子,但更多的是协作的正面例子,就是1+1大于2的效应。以下用一个案例具体来说明。

Next, we will deduce the formula of shapley value. In our daily life, we have been exposed to the phenomenon that 1+1 is not equal to 2; What the editor wants to say here is that in many cases, the impact of multiple subjects separately and jointly is not strictly additive. There is a saying that one monk carries water to eat, two monks carry water to eat, and three monks have no water to eat; Each of the three separate monks carries water every day, but when put together, "cooperation" will not produce water. Here is a negative example of cooperation, but more positive examples of cooperation, that is, the effect of 1+1 is greater than 2. Here is a case to illustrate.

某公司有三个员工,分别是A,B,C,如果大家不合作,A每个季度可以完成3个项目,B每个季度可以完成10个项目,C每个季度只能完成1个项目。但是老板小王为了充分挖掘员工潜力,合理配置公司资源,让A,B,C尝试了各种合作模式。王老板观察发现,A都是潜力股,C都是催化剂:A和B合作每个季度可以完成15个项目,合作效果还行;A和C合作每个季度可以完成50个项目,合作效果爆炸;B和C合作每个季度仅完成了12个项目,合作效果一般;ABC一起合作每个季度可以完成70个项目。最终王老板拍板让ABC以后就一起工作,按照小组完成的项目数额外发放项目奖金。请问按照最公平正义的分配方法,哪位员工获得的奖金是最多的呢?

A company has three employees, A, B and C. If you don't cooperate, A can complete three projects every quarter, B can complete 10 projects every quarter, and C can only complete one project every quarter. However, in order to fully tap the potential of employees and reasonably allocate the company's resources, the boss, Xiao Wang, let A, B and C try various cooperation modes. Boss Wang observed that both A and C are potential stocks and catalysts: A and B can complete 15 projects each quarter through cooperation, and the cooperation effect is good; A and C cooperation can complete 50 projects every quarter, and the cooperation effect is explosive; The cooperation between B and C has only completed 12 projects each quarter, and the cooperation effect is average; ABC can work together to complete 70 projects each quarter. Finally, Boss Wang agreed that ABC would work together in the future and pay project bonus in addition to the amount of projects completed by the team. According to the most fair and just distribution method, which employee gets the most bonus?

说A的同学:明显A是潜力股,虽然单独工作表现一般,但是和C一起合作,大大激发了工作热情,肯定是A贡献最多!

Classmate who said A: It is obvious that A is a potential stock. Although the performance of individual work is average, working with C has greatly stimulated the enthusiasm for work. It must be A who contributes the most!

说B的同学:应该是B贡献最大,因为单独来看,B本身能力是最强的!

Classmate who said B: B should make the greatest contribution, because B itself is the strongest!

说C的同学:应该是C贡献最大,虽然C单独工作没什么效率,但显然对团队的影响无法替代!

Classmate who said C: C should make the greatest contribution. Although C is not efficient in working alone, it obviously has an irreplaceable impact on the team!

请先别急,我们接下来使用理性的数学思维分析这个问题,可以顺便推导出shapley值的公式。设想我们按顺序将ABC放到合作队伍中(合作队伍一开始为空),那么合作的组合会有3!=6种,如下表:

Please don't worry. Let's use rational mathematical thinking to analyze this problem. We can deduce the formula of shapley value by the way. Imagine that we put ABC into the cooperation team in order (the cooperation team is empty at the beginning), and the combination of cooperation will be 3= 6 types, as shown in the table below:

在上表B+C+A的顺序组合中,A的贡献是ABC的合作扣除BC的合作,即70-12=58;B的贡献就是B加入空的贡献,即10-0=10。其他类推。但最终的加入顺序只有一种,而各个顺序都是等可能的。

In the sequence combination of B+C+A in the above table, A's contribution is ABC's cooperation minus BC's cooperation, that is, 70-12=58; B's contribution is that B adds null contribution, that is, 10-0=10. Other analogies. However, there is only one final order, and each order is equally possible.

因此,A的贡献可以计算期望:(3+3+5+58+49+58)/6=176/6;B的贡献可以计算期望:(12+20+10+10+20+11)/6=83/6;C的贡献可以计算期望:(55+47+55+2+1+1)/6=161/6。

Therefore, A's contribution can be calculated as expected: (3+3+5+58+49+58)/6=176/6; B's contribution can be calculated as expected: (12+20+10+10+20+11)/6=83/6; C's contribution can be calculated as expected: (55+47+55+2+1+1)/6=161/6.

这些贡献期望加在一起,(176+83+161)/6=70也恰是ABC的整体合作效果,验证了我们计算的合理性。做个简单除法,得出最终A的贡献占比是29.33%,B的贡献占比是13.83%,C的贡献占比是26.83%。A的贡献是最多的,C也很多,B最少。

Taken together, these contributions and expectations (176+83+161)/6=70 are exactly the overall cooperation effect of ABC, which verifies the rationality of our calculation. Make a simple division and find that the final contribution of A is 29.33%, that of B is 13.83%, and that of C is 26.83%. A contributed the most, C contributed a lot, and B contributed the least.

我们接下来把问题抽象化。成员i在参与S联盟时有(|S|-1)!种排序,|S|表示联盟S所包含的成员数,而剩余(n-|S|)个成员的排序有(n-|S|)!种,所有成员i参与的不同的排序组合除以n个成员的随机排序组合就是成员i对于联盟整体所应分得利益得权重,记为[(|S|-1)!(n-|S|)!]/(n!)。成员i参与不同联盟S为自身参与联盟创造得边际贡献记为[v(S)-v(S\{i})],那么成员i从总体利益v(N)所分得的利益为:

Let's abstract the problem. Member i has (| S | - 1) when participating in S alliance! | S | indicates the number of members in the alliance S, while the remaining (n | S |) members are sorted by (n | S |)! The different sorting combinations that all members i participate in divided by the random sorting combinations of n members is the weight that member i should share in the interests of the alliance as a whole, which is recorded as [(| S | - 1)! (n | S |)!]/(n!). The marginal contribution created by member i participating in different alliances S for his own participation in the alliance is recorded as [v (S) - v (S {i})], then the benefit shared by member i from the overall benefit v (N) is:

 

注意:S\{i}表示从集合S中删除元素i后的集合。

Note: S {i} represents the set after deleting the element i from the set S.

 

 

知识补充

接下来我们继续来对Shapley Value公式进行通俗解释,以及关于Shapley Value是否可以做预测,接下来和小编一起来了解一下吧!

Next, let's continue to explain the Shapley Value formula in a popular way, and whether Shapley Value can be predicted. Next, let's have a look with Xiaobian!

如上所述,Shapley Value是累加贡献的均值,但枚举所有序列可能性的方式效率不高,注意到累加贡献的计算实际为集合相减,对于同样的集合计算次数过多是效率低下的原因。公式中S表示序列中位于Xi 前面的元素集合,进而N\S\{Xi}表示的是位于Xi后面的元素集合,而满足只有S集合中的元素位于Xi之前的序列总共有∣S∣!(∣N∣−∣S∣−1)!个,其内序列中产生的Xi累加贡献都是v(S⋃{Xi} )−v(S);最后对所有序列求和之后再取均值。

As mentioned above, Shapley Value is the mean value of cumulative contribution, but the method of enumerating all sequence possibilities is not efficient. It is noted that the calculation of cumulative contribution is actually the subtraction of sets. Too many calculations for the same set are the cause of inefficiency. In the formula, S represents the set of elements in front of Xi in the sequence, and N S {Xi} represents the set of elements behind Xi, while only the elements in the S set are before Xi, and the total number of sequences in front of Xi is ∣S∣! (∣N∣−∣S∣−1)! The cumulative contribution of Xi generated in its internal sequence is v (S ⋃ {Xi}) − v (S); Finally, sum all the sequences and then take the mean value.

关于Shapley Value是否可以做预测,因为Shapley Value本质上是对最终全集产生的收益做分配的问题,所以首先预测问题求解过程中就需要满足有效性的限制:

As for whether Shapley Value can make predictions, because Shapley Value is essentially a problem of allocating the income generated by the final complete set, it is necessary to meet the effectiveness constraints in the process of solving the prediction problem first:

这就已经难以保证优解;其次考虑合作必然产生收益的特殊情况:(v ( S ′ ) ≥ v ( S ) iff. S ⊆ S ′ ),则必有:

It is difficult to guarantee the optimal solution; Secondly, consider the special situation that cooperation will inevitably generate benefits: (v (S ′) ≥ v (S) if. S ⊆ S ′), then there must be:

即所有的预测都是高于实际值的;最后,求取Shapley Value的过程中需要用到所有子集的收益值,使用Shapley Value实际上不是做预测,而是做压缩。

That is, all forecasts are higher than the actual value; Finally, we need to use the income value of all subsets in the process of obtaining Shapley Value. Using Shapley Value is not actually a prediction, but a compression.

 

 

今天的分享就到这里了。

如果您对今天的文章有独特的想法,

欢迎给我们留言,

让我们相约明天,

祝您今天过得开心快乐!

That's it for today's sharing.

If you have a unique idea about today’s article,

welcome to leave us a message,

let us meet tomorrow,

I wish you a nice day today!

 

 

参考资料:DeepL翻译、百度百科、哔哩哔哩

参考文献:

[1]林萍萍,李登峰,江彬倩,余高锋,韦安鹏.属性关联的双极容度多属性决策VIKOR方法[J].系统工程理论与实践,2021,41(08):2147-2156.

本文由LearningYard学苑原创,如有侵权请在后台留言!

文案 |Yuan

排版 |Yuan

审核 |Qian

导读:Uplift模型旨在量化干预(Treatment)对不同人群的差异影响,进而通过人群定向/数值策略的方式对人群进行差异化策略。本次分享主要介绍快手在Uplift 模型上的探索、应用及迭代,以及在业务中使用Uplift 遇到的一些难题和优化解决方案。

分享主要分为以面四部分内容:

  • 介绍
  • 难点
  • 应用
  • 总结

分享嘉宾|周小羽 快手 经济学家团队Tech Lead

编辑整理|王鑫民 同济大学

出品平台|DataFunTalk


01

介绍

首先简单介绍Uplift。

Uplift 模型要做的就是预估每一个人对实验的反应,从而圈选一部分对实验敏感性较高的人群。举个例子,商家希望通过给客户发美妆折扣券提高客户在商家的消费。当商家对所有用户发美妆产品的折扣券时,男性用户可能无法get到这个折扣券的用处,而女性用户可能会更被这个策略吸引。如果我们计算发折扣券的平均效果——即ATE(average treatment effect)时,如果男性用户无反馈而女性是正反馈,两个群体的实验效果加起来可能是不显著的。

进一步地,我们希望发现激励效果显著的用户群体,业务上比较常见的做法是用户分层,但是传统的用户分层很难展示高维度的分层结果,这也是Uplift流行的原因——我们希望估计高维度的异质性因果效应——HTE (heterogeneous treatment effect),而并非ATE。

估计HTE的方法有很多,例如casual tree,casual forest等,我们先从线性模型的角度讲解如何从ATE估计到HTE。在实验变量离散的情况下(即传统做法,将用户分为实验组和对照组),ATE的计算公式为两个用户组结果变量diff的期望;在实验变量是连续的情况下(比如实验变量是药剂剂量时),ATE的计算公式就是结果变量对实验变量求导。用散点图说明:当x轴是实验变量、y轴是结果变量时,ATE为各点拟合曲线的斜率。以此类推,HTE需要我们对每个点求斜率。

一个简单的解决方法是构造实验变量和特征变量的交互项并且拟合一个线性函数:对没有交互项的函数,求解的实验效应是常数,即所有人实验效应相同;对于有交互项的函数,求解的实验效应是一个关于特征变量X的函数。对于该种HTE的形式,我们也可以称其为CATE (conditional average treatment effect),因为它conditional on 了特征变量X。

举例:假设用户的数据包含了性别和年龄这两个画像变量,且均被 one-hot编码——性别等于 1 为男性,性别等于 0 为女性,年龄1为大于 30 岁、0为小于30岁。在这两个维度下,用户可以被分成四个人群,我们希望估计每个人群的异质性因果效应。线性模型求解结果如表中公式所示。该方法的优点在于:

①易于理解:HTE等同于用户分层之后对各群体求ATE。

②可以进行统计检验:通过 delta method 快速计算标准误差。

--

02

难点

快手在应用Uplift模型中遇到了如下一些问题。

第一个问题:业务场景下实验变量经常是连续的。当第一单位和第二单位的边际影响不同时,我们应如何捕捉并且量化这个现象?

比如push 消息:我们希望通过 push 让增加用户的 App时长。每天push 一两条一般人可以接受,但是用户收到第五条时,他们会就很厌烦甚至会关掉 push提醒功能,这样平台以后就再也没有拉起该用户的机会了。我们希望有一个不仅能给出HTE、还能计算每个用户在不同实验剂量下的边际效应的模型。这样就可以知道应该给哪些用户多push 几条。

再举个例子:当一个作者粉丝数增加的时候,我们希望他能更多地在平台上进行生产。我们发现作者增加的第一个 1000 单位粉丝和第二个 1000 单位粉丝带来的作品发布数的增量是不一样,因为大 V主播和小主播对同等量级的粉丝增量的体感不同。如何 capture 这个规模效应也是业务经常遇到的问题。

第二个问题:非线性模型如何做统计检验?

线性模型由于假设太强,模型效果经常表现很差。换成更复杂的机器学习模型之后, delta method不再适用于求标准误差。并且特别对于一些波动特别大的指标,即使用delta method效果也不好。因此我们需要知道如何判断指标的显著性。

对于上述两个问题,我们简单地介绍在快手的解决方法。

首先是估计规模效应。以作者和作者生产数为例,经济学中有一个理论叫边际效应递减法则:即作者粉丝数增加时,单纯通过涨粉对于作者生产数产生的激励存在一个上限。如上图所示,我们期望看到增加单位粉丝带来的生产数实际是逐渐递减的。如果能预估该作者的涨粉能力上限和生产数上限,对平台资源的分配是有极大帮助。

一个比较粗暴的解题思路是构建一个函数形式,使HTE为一个关于实验变量的函数。

以之前提到过的线性函数为例(左框中的公式),我们对干预变量和特征变量进行交互,求解得到的HTE是一个关于X的函数。但该形式下第一单位的treatment effect和第二单位的treatment effect是等价,因此并不能达到我们之前预期的边际效益递减的目的。如果我们拟合一个非线性函数,如上图中的多项式函数形式,一阶导后CATE是关于X 和 T的函数形式,这意味着第一单位的 treatment effect 和第二单位的 treatment effect 不等价,CATE随着 treatment的变化而变化的。这种粗暴求解的思路缺点在于:对 CATE的函数形式的假设会非常强。

为了解决上述问题,我们基于Farrell在2020年的论文,构造了神经网络的优化模型,并称其为“双重神经网络”模型。input layer由特征变量构成 (如用户画像),经过第一个神经网络的feature hidden layer构建交互特征;interaction layer包括关于特征变量的函数a(X)以及函数和treatment的交互项b(X),经过parameter hidden layer进行交互得到非线性关系,最后output layer输出得到HTE。

我们在这里展示某个真实的业务分析中双重神经网络模型的表现。该分析中,我们首先用双重机器学习模型对估计目标进行纠偏(实验变量并非纯随机试验,而双重机器学习模型可以帮助我们生成类随机实验)。同时我们也对量化模型表现进行了优化,生成了基于连续实验变量的uplift curve。上图可以看出双重神经网络模型的表现远远优于其余模型。

此外我们也解决了关于非线性模型如何做统计检验的问题。在得到HTE之后,常常还需要回答:①哪些人HTE是显著的?②模型有多个treatment,各自HTE差异很小,哪个treatment更好更科学?

基于Victor的论文,我们使用data splitting的方法近似significance level:通过不停地对数据进行拆分,main sample用于模型训练,auxiliary sample用于预测HTE,求得HTE的empirical distribution。

该方法用关键的三个指标来衡量HTE的表现:

  • BLP(best linear predictors of the effects on machine learning proxies)

越靠近0说明估计的HTE等于噪音,越大说明异质性越强。另外,该指标越靠近1说明选择的ML估计方法能对CATE有较好的预测。

  • GATES(average effects sorted by impact groups)

近似估计HTE是否显著:将每次预测的HTE排序分段,并检验每段的均值是否显著。

  • CLAN(average characteristics of most and least impacted units)

估计X对HTE的影响是否显著,是一种衡量feature importance的方法。

--

03

应用

下面介绍一个基于双重神经网络的Uplift模型在快手的应用。

1. 应用—:涨粉和生产

平台希望圈一些作者,并了解他们生产数的最大空间--知道作者的生产数空间可以便于业务request相应活动流量和预算。我们通过优化的模型可以实现对每一个作者估算一个边际效益曲线。模型也可以做到按照作者类型去分类,得到各类作者生成力的边际。除了估计预算,通过预测每个作者的生产力天花板,运营同学可以针对大V作者做相应的策略调整。模型结果如上右图所示:基于过去一段时间的勤劳程度和其他特征,作者1涨粉到4.5万就不再可能通过涨粉增加收益、而作者2涨粉到1.7万就到头了。

2. 应用二:push消息

平台规定每个用户每天最多可以收到 10 条 push ,第一条 push 对用户的 app 时长影响和第二条 push 的影响肯定是不同的:从逻辑上来说,第二条 push 带来的影响会弱一点。如何用模型去 capture 这个影响?通过双重神经网络的模型,我们可以对每一个设备预测它在不同 push 条数下的反应。

结果如上图所示,我们从所有的样本中选择 7 个设备,并且画出了收益衰减图:横坐标是设备收到的push数量,纵坐标是模型预测的边际效益。蓝线代表该随机抽取的设备当被 push 第一条消息HTE就已经到 0,因此该设备并不适合做push策略;粉线代表另外一个随机抽取的设备被push第7条消息时HTE仍然没有到0,因此可以多push一些消息。

--

04

总结

DNN+HTE可以应用在探索收益天花板的问题中

①帮助业务规划资源。比如想申请一部分预算助推给作者分发助推流量,DNN+HTE模型可以帮助探索收益的天花板,预估合理的预算申请金额。

②帮助调整定价策略。比如给商家进行涨粉,应该在什么地方多收钱,什么地方少收钱,可以探索公域和私域的收益天花板,通过这两个天花板去调价。

post analysis让结果更稳健:

①对DML可以跨模型比较模型表现,适合复杂的模型结构。

②可以探索一个模型估计的HTE的variation是否够大;variation比较小的时候可能圈人效果不准。

③可以探究特征变量对HTE的影响是否显著,帮助业务缩小决策圈,只对显著的人群做策略。

--

05

问答环节

Q1:是基于离线数据的分析吗?

A1:是离线数据分析。但不是基于实验AB实验的结果:关于涨粉和生产两个案例,我们直接用大盘数据训练,并用模型进行纠偏。

Q2:应用中研究的Uplift 模型中,什么情况下 meta learner 间接建模会比 casual tree 直接建模对 Uplift 效果更好?

A2:meta learner 在离线分析中的使用可能较少,多使用于线上分析,因为它最大的优点是速度快,在线训练模型可能有一定优势。但是缺点是它不灵活,大部分 meta learner 只能对离散的实验变量去做建模。我们在对连续实验变量建模时,做了大量 research ,最后设计了一种可以拉通比较离散实验变量和连续实验变量模型的表现的方法,从而使得我们在模型选择上更加灵活。

Q3:模型是怎么评估的,如何判定模型是否准确?

A3:将数据分为训练集和测试集,在测试集上拟合,使用root mean square error评定模型表现。

Q4:如何选择混淆因素,实际发现X选择对 DML 影响很大,如何判断结果的置信度?

A4:使用非实验数据的情况下,对X一般建议应选尽选。在双重机器学习模型的应用中,我们会对Model Y 和 Model T 的残差去做检验,看其是否显著相关,且它们的均值是否有显著区别。因为这是 DML 的假设,如果连这个基本的假设都不能满足,那必然是有一个比较大的混淆因素被 left over ,需要重新再去筛查。

今天的分享就到这里,谢谢大家。


01/分享嘉宾

周小羽|快手经济学家团队 Tech Lead


2018-2021年在SAS Institute担任统计软件开发,主要负责研发面板数据相关的功能(PROC PANEL, PROC CPANEL, etc)。2020年加入快手经济学家团队并担任Tech Lead,负责研发迭代快手自研因果分析工具,探索学术界前沿因果分析方法。


02/关于我们

DataFun:专注于大数据、人工智能技术应用的分享与交流。发起于2017年,在北京、上海、深圳、杭州等城市举办超过100+线下和100+线上沙龙、论坛及峰会,已邀请超过2000位专家和学者参与分享。其公众号 DataFunTalk 累计生产原创文章800+,百万+阅读,14万+精准粉丝。

或许,每个人都曾经是个舔狗,在爱情里不顾一切地喜欢着一个人。但结果却往往是伤痕累累。而这,正是因为不了解“科斯定律”的真实意义。

01

诗朗诵《想你的夜》

 

这几天,诗歌突然流行起来了:

 

她逃,他追,她插翅难飞。

他回,她怼,他暴跳如雷。

她泪,他悔,他生死相随。

终究是,子弹划过红玫瑰。

再富有的舔狗也会流眼泪。

……

 

为人民服务的段子手,集体出动了:

 

宝,我今天嗑瓜子了,磕的什么子,是你的真命天子。

宝,我今天拉稀了,拉的什么稀,是对你的倍加珍惜。

宝,我今天赚了一个亿,是多少亿啊,是对你的一心一意。

 

以上不是隔壁老王的凄惨人生,而是顶流小王的人设塌方。


幸福的爱情各有各的幸福,不幸的舔狗连措词都是一样的。


广大人民群众沸腾了,万恶的资本主义也不过如此。

 

什么霸道总裁,什么是首富之子,真相原来就是一张猪油蒙过的人民币啊!

 

 

理性的讲,不能对一位心怀真爱的热恋者如此嘲讽。


但为什么会有如此强大的情绪风暴,像春风一样抚慰“躲平”的灵魂。


除了因为幸灾乐祸“地主家有个傻儿子”外,后面还与一个隐藏的定理有关。


这个定理虽然名声不扬,但却悄悄统治人类社会很多领域。

 

每一段甜蜜而幸福的爱情,都可以用这个理论作为论证支点!


每一只舔狗伤痕累累,也因为不了解这个定理的真实意义。

 

 

02

科斯定理:能者居之

 

这个定理的名字叫科斯定理。

 

20世纪60年代,经济学家科斯(Coase)描述产权在不同所有者手中转移、归属问题。

定理是这样表述的:假如交易成本为零,初始产权配置不影响最终配置结果;市场交易会自发找到最适合某项产权的主人。

 

大智者伽利略其实在300多年前就用物理学解释过:假设世界没有摩擦的情况下,无论运动物体在哪个势能曲线上运动,都不影响它最终回到原来的势能水平面。

 

 

科斯定理其实说出了一个古老的真理:能者居之。


另一个逆定理就是“德不配位,必有灾殃。

 

科斯定理的基本意思是:

 

一开始,某项资源的初始产权是谁并不重要,或者说是次要的。因为资源总是喜欢寻找最擅于使用它的人,就像钱会主动去找那些最大化价值它的人一样。

 

推论 1

消费品沿着边际效用最高点不断地在无摩擦交易中从一个人手里转到另一个人手里,直到遇到最适合的消费者。

 

推论 2

资源和工具沿着边际生产力最高点不断地从一个人手里转移到另一个人手里,直到遇到最适合它的人。

 

推论 3

知识也是如此,知识既是消费品也是生产工具,它会沿着边际效用和生产力的双重最高点不断移动到最聪明的脑袋里。

 

推论 4

人才也是如此,他会按照自己的能力的最高点不断地从一个企业移动到另一个企业,直到最适合的企业。

 

推论 5

乃至美女的注意力、帅哥的关注点都按照这个原理流动、集中到最擅于取悦它的人手里。

 

交易成本与经济效率的关系

 

谁能把资源发挥出最好效果,谁就能掌握资源,成为资源的主人。


一旦不能发挥出这项资源的全部效果,就算他千方百计地阻挡所有权的更替,也只是延缓交割时间,并不能阻挡最终归属。


所以,魔戒一定会回到魔君索伦的手中,纳西尔圣剑最终握在人皇阿拉贡手里。

 

初始产权哪怕是一人独有,其他人一无所有,在长期交易博弈的演化中,也会慢慢一块一块流动到更擅于使用它的人手上。

最后的结局是:
让上帝的归上帝,让撒旦的归撒旦。

 

理想的模式科斯定理是:交易会永远持续下去,这是一个不断优化的帕累托改进过程。

 

 

03

科斯定理的普世性:

配对原理

 

科斯定理不局限于人类产权领域,它能描述普遍存在于自然和社会当中的配对现象。

 

No.1物理世界

 

耦合,指两个或两个以上的体系或运动形式之间通过各种相互作用而彼此影响,甚至联合起来的现象。

 

两个电路之间交链,可使能量从A电路传送到B电路;

 

原子之间化合成分子时,化学键之间配对共用电子;

 

这背后,又是原子外层各层能级和不同电子的匹配;

 

耦合又表现成震动时两个物体以同样频率共振。

 

太阳系中已经达到同步自转的卫星

 

不管月球在哪个位置,我们只能看到月球的正面。因为月球的自转、绕地公转周期(频率)都是27.3天,这是自转公转共振:

 

地球通过自身旋转时的潮汐力,不断地把月球自转和公转之间的净扭矩消除,直到两者相同。

 

一般来说,都是大天体锁定小天体,通过卫星与行星的角动量和能量交换完成;在两者大小差不多的情况下,可能发生相互锁定,典型的例子就是冥王星和冥卫一的双星系统。

 

事实上太阳系内大多数体积较大的卫星,目前都处于同步自转状态。

 

No.2生物世界

 

生物进化过程中,与周围地理气候、其它生物磨合成功的,才能成为生态链的一环,占据重要的生态位。

 

 

生物之间彼此利用、互相搭便车的情况数不胜数,它们构成一个合作群落,效果与互相捕食不相上下。

 

No.3人类社会

 

动物只有无意识分工,合作范围小,而人类会自觉合作分工,双方、多方能发挥自己的最大优势形成合作博弈。

 

合作博弈内部摩擦越少,越容易维持持久的合作关系,合作效率高的团体自然就有更多的生存、发展机会,组织模式就会被模仿和扩散。

 

P:产出 S:资源

 

政治权力博弈当中,科斯定理同样适用。权力总归会落到最擅于使用它的人、集团手上;反过来,一旦权力发现了更合适的使用者,它会毫不犹豫地背叛原主人。

 

No.4强制配对

 

配对成功的核心是自发、自由、自愿。计划经济时代,不仅资源和消费按计划分配,工作岗位与人才也按计划配对,效率出奇的差。

 

那些梦想着吃大锅饭的年轻人,就是不懂基本的科学原理,把他丢到隔壁的计划经济庄园去住上一个月,就知道当年健身是多么的愚蠢。

 

另一种强制配对是包办婚姻,尽管父母会为子女考虑合适的婚配对象,但终究不是最好的选择。

 

 

04

科斯定理和舔狗爱情学

 

两性关系不能仅仅从感情角度考虑,它的本质,其实也是产权归属问题。

 

为什么舔狗舔到最后,最终一无所有?

 

因为你不能将资源发挥出最好效果,你不能成为资源的主人和使用者。

科斯定理适用于自然界和经济产权,但它的穿透力,更在于两性关系。

 

 

男人拥有对自身资源的产权,女人拥有对自身资源的产权,最终要用到科斯定理,两者互相交换产权。

 

对于一般人而言,不仅生命有限,金钱和精力更有限,而机会最稀缺,每一次恋爱的交易成本都很高。

 

No.1搜寻成本

自由恋爱、朋友介绍、线下线上相亲、媒人介绍都是搜寻合适对象的手段,这些手段耗费各种资源。

 

No.2机会成本

选择A人,一般就要放弃B人,一旦错过正确的人,就难以挽回。

 

No.3沉没成本

恋爱过程中投入的情感、金钱、时间是单向的,不一定换来等价回报,如果分手,更不会有补偿。


从当代爱情经济学的角度来看:

 

王思聪应该是掌握市场爱情资源的人,处于势能的最低处。


很多朝三暮四的富二代,原因是他们有更多的交易资源。

 

为什么却没有到手呢,这是违背科斯定理的。

 

再听一听另外一个故事:

 

一天青蛙王子和经济学家科斯吃饭。

 

青蛙王子很苦恼,跟科斯说:

 

我喜欢上一个妹子,天天为她迷醉:

 

①宝,今天下雨了,下的什么雨,对你的至死不渝。

 

②宝,我今天吃饭了,吃的什么饭,想让你乖乖就范。

 

③宝,我今天吃鸡蛋了,吃的什么蛋,想你这个小笨蛋。

 

④宝,我今天看到田了,看的什么田,就像你一样的甜。

 

⑤宝,我今天去吃面了,吃的什么面,突然想见你一面。

 

⑥宝,我今天去上班了,上的什么班,我爱你的不一般。

 

科斯说:你去追啊,当舔狗有什么用?

青蛙王子说:可是她已经有男朋友了咋办?

 

科斯说:你还是没那么懂科斯定律啊。

青蛙王子说:?

 

科斯说:如果你知道科斯定律,那么就知道,不管这个女孩现在跟谁谈对象,她最后都会跟最匹配她的人在一起的。

 

 

 

05

婚姻中的科斯定理

 

科斯定理不仅适用于恋情,也适合婚姻。


最近几件比较有名的婚变:

 

郑爽和张恒撕破脸面,露出精致妆容后的丑陋面目;


佟丽娅与陈思诚离婚,所谓郎才女貌也不过无聊男女们的自嗨;


……

 

这乱七八糟的背后,不过是科斯定理的延伸。

 

No.1门当户对的婚姻

 

婚姻不同于恋爱,它是长期的伙伴关系。

 

再好的恋人,渡过了婚姻初期的激情之后,都要转变成亲密。

 

如果不能从激情顺利转变成亲密,婚姻破裂就是迟早的事情,因为没有任何一对夫妻能够在柴米油盐酱醋茶的慢性折磨下,一直保持激情。

 

完美爱情不可能三角

 

而亲密的维持,不是主观愿望那么简单。

 

它需要双方性格、教养、能力、知识、财产、家族的互相配合,才能让彼此感到最大的幸福。

 

婚姻时,两人性格早已基本成形,运气好的话,才能像齿轮一样互相耦合。

 

门当户对就是尽量平等配置初始产权,是产权交易的必要条件,利于婚姻长期稳定。

 

No.2婚内成本——收益博弈

 

进入婚姻后,男女博弈会进入新阶段,因为各自拥有的资源并不会一成不变。不幸的是,男人和女人会随着时间不可逆的演化分别走向上坡路和下坡路:

 

①男怕入错行:事业是男人尊严的根本,随着年龄增长,男人的人生阅历、智慧和事业都会上升,会吸引很多年轻女性,是出轨高发期。

 

②女怕嫁错郎:女人的美貌和生育能力随着年龄增长不断折旧,女性年龄越大优势会丧失更多。

 

少部分情况下,男人因入错行会被女人瞧不起,进而被抛弃;大多数情况下,女人相对于男人,无论智商、身体、勇气、财富都处于弱势地位。

 

 

为了防止男人在婚后轻易进行“帕累托改进”并更换产权,社会演化出了两种制度来保护女人在交易过程中、之后的公平地位:

 

①非正式的习俗:结婚前要公开定亲和送聘礼;结婚时要广而告之,用舆论和宗教去吓唬男人,并付彩礼,甚至采用分期付款。

 

②正式的法律:离婚时要分割夫妻共同财产,而大多数情况下,男人挣的比女人多。根据统计,中国80%的离婚案件都是妇女胜诉,获得更多财产和子女抚养权。

 

这两种制度,都是在清晰划分产权,且偏向女性;迫使男人在结婚和离婚时不得不慎重。

 

No.3扭曲的婚恋市场

 

由于历史原因,中国夸张的男强女弱的恋爱组合,导致了男高女低的婚姻搭配模式。

 

对于微观个体来说,好像没什么大问题,但是经过宏观统计放大,就变成了令人诧异的社会问题。

 

田忌赛马般的婚恋市场

 

A级剩女肯定不会嫁给D级剩男,当然,后者也不敢娶前者。于是,婚恋市场上必然出现剩女出口发达国家和剩男进口发展中国家新娘两种现象。

 

战斗剩佛出现是因为产权错配,出口和进口则是对产权错配的市场自发矫正。

 

 

06

社会很复杂,

单纯的是定理


有一首歌非常的“社会摇”,名字叫《嗑儿》 :

 

……

男人要是真有钱

他和谁今生都有缘啊

万丈高楼平地起

辉煌只能靠自己

社会很单纯

复杂的是人

谁把谁当了真

套路玩的深

社会很单纯

感情哪有真

……

 

社会很单纯,复杂的是人啦!
定理更单纯,复杂的是人啦!


纯粹的科斯定理毕竟是理想状态,在现实中任何交易都存在耗费和摩擦。

 

由理想状态的定理可以反推出如下真实世界中的推论:

 

推论1:现实交易成本并不为零,市场交易只能不断寻找到较为适合某项产权的所有者。

 

推论2:如果因为极少数不可抗力,短时间无法通过市场自发交易完成产权配置和归属,则需要计划去管理市场。

 

推论3:如无必要,切勿用强权去主导经济,用计划去代替市场。

 

现实世界尽管充满了各式各样的摩擦,私有产权的市场交易同样能让交易者利益最大化,只要有严谨的制度设计,以及良好的法律配套,最终一定是能者居之。

 

 

人性很复杂,单纯是定理。


什么是严谨的制度设计和良好的法律配套,科斯定理解释了两个常识的重要性:

 

No.1清晰划分产权

 

产权清晰划分后,免去纠纷和扯皮,降低交易成本,留出更多的帕累托改进空间。

 

例如知识产权,它是人为制造出来的所有权,但只要精确规定了年限,购买专利的交易就会顺利进行。

 

No.2公平分配初始产权

 

公平配置初始产权,人人都有基本保障,能更快地培养、发现有能力的潜在所有者。

 

例如教育公平。教育针对每一代新出生的人分配知识、技能;公平配置,能培养最多的能者,提供最广泛的人才。


所有的恋情和爱情,也需要遵循以上两条常识。


如果做到了,郑爽和张恒就算离婚,也会笑嘻嘻的分割财产。


如果有共同契约,王宝强和马蓉也不会撒破脸皮,沦为娱乐笑话。

 

 

07

结再来一首诗朗诵,

《孽缘啊!》

 

多少年都没有好好读过诗了,再来一首《孽缘啊!》:

 

我今天去输液了,输的什么液,想你的夜

我现在吃什么东西都没有味道,可如果你在,你在我旁边,就有味道了

你对一个喜欢你,关心你担心你的人,就这么爱答不理的

你让我看看你啊,我这几天都没有睡好了,你知道吗

我每一天晚上我都在想你,你都不知道心疼人的啊

(唉~)

孽缘啊,咱俩真的是孽缘啊!

可是(哭腔)

我会让你做最幸福的女人,你让我好好爱你行不,你让我陪你一起过日子好不

我(拉长)不就是你的真命天子,我那油了啊

我就是喜欢你我才这样呢,你知道吗?

被一个人牵动着情绪很烦,但也很甜蜜

……

 

 

舔狗的自我感动,在别人眼里尽是卑微。

 

或许每个人都曾经是个舔狗,都曾经在爱里不顾一切地喜欢着一个人。


查理·芒格说:想得到某样东西,最可靠的方法是让自己配得上它。

 

张小娴说:要在伟大的事物面前卑微,而不是在没有应答的爱情面前卑微。


科斯定理只告诉你一个真相:不做舔狗,舔狗没有爱情。

导读:Uplift模型旨在量化干预(Treatment)对不同人群的差异影响,进而通过人群定向/数值策略的方式对人群进行差异化策略。本次分享主要介绍快手在Uplift 模型上的探索、应用及迭代,以及在业务中使用Uplift 遇到的一些难题和优化解决方案。

分享主要分为以面四部分内容:

  • 介绍
  • 难点
  • 应用
  • 总结

分享嘉宾|周小羽 快手 经济学家团队Tech Lead

编辑整理|王鑫民 同济大学

出品平台|DataFunTalk


01

介绍

首先简单介绍Uplift。

Uplift 模型要做的就是预估每一个人对实验的反应,从而圈选一部分对实验敏感性较高的人群。举个例子,商家希望通过给客户发美妆折扣券提高客户在商家的消费。当商家对所有用户发美妆产品的折扣券时,男性用户可能无法get到这个折扣券的用处,而女性用户可能会更被这个策略吸引。如果我们计算发折扣券的平均效果——即ATE(average treatment effect)时,如果男性用户无反馈而女性是正反馈,两个群体的实验效果加起来可能是不显著的。

进一步地,我们希望发现激励效果显著的用户群体,业务上比较常见的做法是用户分层,但是传统的用户分层很难展示高维度的分层结果,这也是Uplift流行的原因——我们希望估计高维度的异质性因果效应——HTE (heterogeneous treatment effect),而并非ATE。

估计HTE的方法有很多,例如casual tree,casual forest等,我们先从线性模型的角度讲解如何从ATE估计到HTE。在实验变量离散的情况下(即传统做法,将用户分为实验组和对照组),ATE的计算公式为两个用户组结果变量diff的期望;在实验变量是连续的情况下(比如实验变量是药剂剂量时),ATE的计算公式就是结果变量对实验变量求导。用散点图说明:当x轴是实验变量、y轴是结果变量时,ATE为各点拟合曲线的斜率。以此类推,HTE需要我们对每个点求斜率。

一个简单的解决方法是构造实验变量和特征变量的交互项并且拟合一个线性函数:对没有交互项的函数,求解的实验效应是常数,即所有人实验效应相同;对于有交互项的函数,求解的实验效应是一个关于特征变量X的函数。对于该种HTE的形式,我们也可以称其为CATE (conditional average treatment effect),因为它conditional on 了特征变量X。

举例:假设用户的数据包含了性别和年龄这两个画像变量,且均被 one-hot编码——性别等于 1 为男性,性别等于 0 为女性,年龄1为大于 30 岁、0为小于30岁。在这两个维度下,用户可以被分成四个人群,我们希望估计每个人群的异质性因果效应。线性模型求解结果如表中公式所示。该方法的优点在于:

①易于理解:HTE等同于用户分层之后对各群体求ATE。

②可以进行统计检验:通过 delta method 快速计算标准误差。

--

02

难点

快手在应用Uplift模型中遇到了如下一些问题。

第一个问题:业务场景下实验变量经常是连续的。当第一单位和第二单位的边际影响不同时,我们应如何捕捉并且量化这个现象?

比如push 消息:我们希望通过 push 让增加用户的 App时长。每天push 一两条一般人可以接受,但是用户收到第五条时,他们会就很厌烦甚至会关掉 push提醒功能,这样平台以后就再也没有拉起该用户的机会了。我们希望有一个不仅能给出HTE、还能计算每个用户在不同实验剂量下的边际效应的模型。这样就可以知道应该给哪些用户多push 几条。

再举个例子:当一个作者粉丝数增加的时候,我们希望他能更多地在平台上进行生产。我们发现作者增加的第一个 1000 单位粉丝和第二个 1000 单位粉丝带来的作品发布数的增量是不一样,因为大 V主播和小主播对同等量级的粉丝增量的体感不同。如何 capture 这个规模效应也是业务经常遇到的问题。

第二个问题:非线性模型如何做统计检验?

线性模型由于假设太强,模型效果经常表现很差。换成更复杂的机器学习模型之后, delta method不再适用于求标准误差。并且特别对于一些波动特别大的指标,即使用delta method效果也不好。因此我们需要知道如何判断指标的显著性。

对于上述两个问题,我们简单地介绍在快手的解决方法。

首先是估计规模效应。以作者和作者生产数为例,经济学中有一个理论叫边际效应递减法则:即作者粉丝数增加时,单纯通过涨粉对于作者生产数产生的激励存在一个上限。如上图所示,我们期望看到增加单位粉丝带来的生产数实际是逐渐递减的。如果能预估该作者的涨粉能力上限和生产数上限,对平台资源的分配是有极大帮助。

一个比较粗暴的解题思路是构建一个函数形式,使HTE为一个关于实验变量的函数。

以之前提到过的线性函数为例(左框中的公式),我们对干预变量和特征变量进行交互,求解得到的HTE是一个关于X的函数。但该形式下第一单位的treatment effect和第二单位的treatment effect是等价,因此并不能达到我们之前预期的边际效益递减的目的。如果我们拟合一个非线性函数,如上图中的多项式函数形式,一阶导后CATE是关于X 和 T的函数形式,这意味着第一单位的 treatment effect 和第二单位的 treatment effect 不等价,CATE随着 treatment的变化而变化的。这种粗暴求解的思路缺点在于:对 CATE的函数形式的假设会非常强。

为了解决上述问题,我们基于Farrell在2020年的论文,构造了神经网络的优化模型,并称其为“双重神经网络”模型。input layer由特征变量构成 (如用户画像),经过第一个神经网络的feature hidden layer构建交互特征;interaction layer包括关于特征变量的函数a(X)以及函数和treatment的交互项b(X),经过parameter hidden layer进行交互得到非线性关系,最后output layer输出得到HTE。

我们在这里展示某个真实的业务分析中双重神经网络模型的表现。该分析中,我们首先用双重机器学习模型对估计目标进行纠偏(实验变量并非纯随机试验,而双重机器学习模型可以帮助我们生成类随机实验)。同时我们也对量化模型表现进行了优化,生成了基于连续实验变量的uplift curve。上图可以看出双重神经网络模型的表现远远优于其余模型。

此外我们也解决了关于非线性模型如何做统计检验的问题。在得到HTE之后,常常还需要回答:①哪些人HTE是显著的?②模型有多个treatment,各自HTE差异很小,哪个treatment更好更科学?

基于Victor的论文,我们使用data splitting的方法近似significance level:通过不停地对数据进行拆分,main sample用于模型训练,auxiliary sample用于预测HTE,求得HTE的empirical distribution。

该方法用关键的三个指标来衡量HTE的表现:

  • BLP(best linear predictors of the effects on machine learning proxies)

越靠近0说明估计的HTE等于噪音,越大说明异质性越强。另外,该指标越靠近1说明选择的ML估计方法能对CATE有较好的预测。

  • GATES(average effects sorted by impact groups)

近似估计HTE是否显著:将每次预测的HTE排序分段,并检验每段的均值是否显著。

  • CLAN(average characteristics of most and least impacted units)

估计X对HTE的影响是否显著,是一种衡量feature importance的方法。

--

03

应用

下面介绍一个基于双重神经网络的Uplift模型在快手的应用。

1. 应用—:涨粉和生产

平台希望圈一些作者,并了解他们生产数的最大空间--知道作者的生产数空间可以便于业务request相应活动流量和预算。我们通过优化的模型可以实现对每一个作者估算一个边际效益曲线。模型也可以做到按照作者类型去分类,得到各类作者生成力的边际。除了估计预算,通过预测每个作者的生产力天花板,运营同学可以针对大V作者做相应的策略调整。模型结果如上右图所示:基于过去一段时间的勤劳程度和其他特征,作者1涨粉到4.5万就不再可能通过涨粉增加收益、而作者2涨粉到1.7万就到头了。

2. 应用二:push消息

平台规定每个用户每天最多可以收到 10 条 push ,第一条 push 对用户的 app 时长影响和第二条 push 的影响肯定是不同的:从逻辑上来说,第二条 push 带来的影响会弱一点。如何用模型去 capture 这个影响?通过双重神经网络的模型,我们可以对每一个设备预测它在不同 push 条数下的反应。

结果如上图所示,我们从所有的样本中选择 7 个设备,并且画出了收益衰减图:横坐标是设备收到的push数量,纵坐标是模型预测的边际效益。蓝线代表该随机抽取的设备当被 push 第一条消息HTE就已经到 0,因此该设备并不适合做push策略;粉线代表另外一个随机抽取的设备被push第7条消息时HTE仍然没有到0,因此可以多push一些消息。

--

04

总结

DNN+HTE可以应用在探索收益天花板的问题中

①帮助业务规划资源。比如想申请一部分预算助推给作者分发助推流量,DNN+HTE模型可以帮助探索收益的天花板,预估合理的预算申请金额。

②帮助调整定价策略。比如给商家进行涨粉,应该在什么地方多收钱,什么地方少收钱,可以探索公域和私域的收益天花板,通过这两个天花板去调价。

post analysis让结果更稳健:

①对DML可以跨模型比较模型表现,适合复杂的模型结构。

②可以探索一个模型估计的HTE的variation是否够大;variation比较小的时候可能圈人效果不准。

③可以探究特征变量对HTE的影响是否显著,帮助业务缩小决策圈,只对显著的人群做策略。

--

05

问答环节

Q1:是基于离线数据的分析吗?

A1:是离线数据分析。但不是基于实验AB实验的结果:关于涨粉和生产两个案例,我们直接用大盘数据训练,并用模型进行纠偏。

Q2:应用中研究的Uplift 模型中,什么情况下 meta learner 间接建模会比 casual tree 直接建模对 Uplift 效果更好?

A2:meta learner 在离线分析中的使用可能较少,多使用于线上分析,因为它最大的优点是速度快,在线训练模型可能有一定优势。但是缺点是它不灵活,大部分 meta learner 只能对离散的实验变量去做建模。我们在对连续实验变量建模时,做了大量 research ,最后设计了一种可以拉通比较离散实验变量和连续实验变量模型的表现的方法,从而使得我们在模型选择上更加灵活。

Q3:模型是怎么评估的,如何判定模型是否准确?

A3:将数据分为训练集和测试集,在测试集上拟合,使用root mean square error评定模型表现。

Q4:如何选择混淆因素,实际发现X选择对 DML 影响很大,如何判断结果的置信度?

A4:使用非实验数据的情况下,对X一般建议应选尽选。在双重机器学习模型的应用中,我们会对Model Y 和 Model T 的残差去做检验,看其是否显著相关,且它们的均值是否有显著区别。因为这是 DML 的假设,如果连这个基本的假设都不能满足,那必然是有一个比较大的混淆因素被 left over ,需要重新再去筛查。

今天的分享就到这里,谢谢大家。


01/分享嘉宾

周小羽|快手经济学家团队 Tech Lead


2018-2021年在SAS Institute担任统计软件开发,主要负责研发面板数据相关的功能(PROC PANEL, PROC CPANEL, etc)。2020年加入快手经济学家团队并担任Tech Lead,负责研发迭代快手自研因果分析工具,探索学术界前沿因果分析方法。


02/关于我们

DataFun:专注于大数据、人工智能技术应用的分享与交流。发起于2017年,在北京、上海、深圳、杭州等城市举办超过100+线下和100+线上沙龙、论坛及峰会,已邀请超过2000位专家和学者参与分享。其公众号 DataFunTalk 累计生产原创文章800+,百万+阅读,14万+精准粉丝。

https://www.haomiwo.com

上一篇:深港通港股标的股(深港通概念股一览表)

下一篇:股票行情(股票000568)

相关推荐

返回顶部