上线引荐模型之后，咱们经过 ABTest，先导入一部分流量到模型匹配后的产品页面，让一部分用户看到本来的页面，让另一部分用户中的每个人都看到不一样的产品页面。经过一段时间（如 1 天或 1 周）的调查，假如另一部分用户的点击率或许 购买转化率有提高，咱们再决议让这个模型正式上线。

　　离线点评是指在模型布置上线前对模型进行的验证和点评作业，这个时分假如发现问题，咱们能够很方便地对模型的参数进行调整和改善。这也便是我和你讲的，需求在模型上线之前进行的模型查验部分的作业。两种点评方法因为其场景不同，所点评的重视点也不尽相同。

　　在线点评重视的是事务相关目标，比方新用户的转化率、优惠券的核销率、信贷审阅的经过率等等。因为模型的在线点评与事务场景强相关，所以咱们的课程重点将放在模型的离线点评上。离线点评又能够分为特征点评和模型点评两大类，接下来，咱们先来看模型特征的点评。

　　很多人会以为，模型点评就只点评模型终究的成果，比方召回率这些目标。但咱们不能只看模型这个黑盒子的终究成果，一起也要了解这个黑盒子里边的内容，所以，模型特征的点评也是要做的。当然，咱们不会查验悉数的特征，只会去点评模型中重要性比较高的特征。知道了重要特征有哪些，接下来便是对它们进行点评了。咱们一般会对特征本身的安稳性，特征来历的安稳性，以及特征获取的本钱进行点评，这都是事务比较重视，而且也是很简略出问题的当地。

　　首要，关于特征本身的安稳性，咱们会运用 PSI 这个目标来判别。 PSI 是指点评某个特征的数据跟着时间推移产生改变而不再安稳的目标。简略来说，便是看这个特征是不是安稳的一个目标。假如一个重要特征不行安稳，就会影响模型全体的安稳性，天然也会影响前端事务。

　　假如特征是从集团内部接入的，咱们要看它是从哪条事务线获取的，这个事务的安稳性怎么，事务方是否有或许回收或许中止同享事务数据；

　　假如特征接入方是外部公司，咱们还要看这个公司是否合规，是否具有完善的技术储备等等

　　核算性目标指的便是模型输出成果的掩盖度、最大值、最小值、人群散布等目标。咱们拿到一个模型，最先看的不是功能目标也不是安稳性，而是核算性目标，它决议了模型究竟能不能用。以模型掩盖度为例，它表明模型能够掩盖人群的百分比，它的核算公式是：模型的掩盖度 = 模型能够打分的人数 / 需求模型打分的人数。掩盖度越高，代表模型能够打分的人数越多，也便是说模型能够点评更多人。假如模型掩盖度过低，即便它的功能体现很好，在某些事务场景下模型也不可用。

　　模型的功能点评目标便是点评模型作用的目标，它和模型要处理的问题相关，模型要处理的问题能够分红分类问题和回归问题。由此，咱们能够把模型分红分类模型和回归模型。接下来，咱们就具体说说，针对不同的模型能够运用哪些典型的功能目标。

　　其间，二分类模型在实践事务中运用比较多，比方，它常常用于判别用户的性别、用户的购买偏好、付出宝的芝麻分、京东的小白信誉、微信的付出分等问题。分类模型的功能点评目标首要包含：混杂矩阵、KS、AUC 等等。经过混杂矩阵，咱们既能够得到一个模型的准确率、召回率这些目标，然后能够点评一个模型的区别才能，咱们也能够核算得到的 TPR、FPR，然后核算出 AUC、KS 等相关目标。因而，混杂矩阵是点评二分类模型的根底东西。

　　回归模型的功能点评目标首要包含：MAE（均匀绝对差错）、MSE（均方差错）、RMSE（均方根差错）、R 方等等。它常用来猜测数值，比方房价和股价的猜测便是典型的回归模型运用。

　　即判别模型输出成果，是否会跟着时间推移，而产生较大改变不再安稳的目标，模型的安稳性会直接影响模型的成果。比方在风控场景下，假如风控模型不行安稳，关于用户危险判别的成果就会产生较大改变。这个时分，咱们需求实时调整风控战略，一起也要留意调整后形成决议计划不合理的状况。关于模型的安稳性，咱们首要运用 PSI 进行点评。