R数据分析：集成学习方法之随机生存森林的原理和做法，实例解析

本文介绍: 很久很久以前给大家写过决策树，非常简单明了的算法。今天给大家写随机（生存）森林，随机森林是集成了很多个决策数的集成模型。像随机森林这样将很多个基本学习器集合起来形成一个更加强大的学习器的这么一种集成思想还是非常好的。所以今天来写写这类算法。

很久很久以前给大家写过决策树，非常简单明了的算法。今天给大家写随机（生存）森林，随机森林是集成了很多个决策数的集成模型。像随机森林这样将很多个基本学习器集合起来形成一个更加强大的学习器的这么一种集成思想还是非常好的。所以今天来写写这类算法。

集成学习方法

Ensem ble learning methods a re m a de up of a set of class ifie rs—e.g. d e ci s ion tree s—and t h e i r pre d i ct ions a re agg reg a t e d to ident ify t h e most p op ul ar result.

所谓的集成学习方法，就是把很多的比较简单的学习算法统起来用，比如光看一个决策树，好像效果比较单调，还比较容易过拟合，我就训练好多树，把这些树的结果综合一下，结果应该会好很多，用这么样思路形成的算法就是集成学习算法Ensem ble methods，就是利用很多个基础学习器形成一个综合学习器。

Basically, a forest is an example of an ensem ble, which is a sp e cial type of machine learning method t hat averag es simple functions called base learners.The result in g averaged learner is called the ensem ble

集成学习方法最有名的就是bag gin g 和boosting 方法：

The most well-known ensemble methods are bagging, also known as bootstrap agg regation, and boosting

BAGGing

BAGGing, or Bootstr ap AGGregating这个方法把自助抽样和结果合并整合在一起，包括两个步骤，一个就是自助抽样，抽很多个数据集出来，每个数据集来训练一个模型，这样就可以有很多个模型了；第二步就是将这么多模型的结果合并出来最终结果，这个最终结果相对于单个模型结果就会更加稳健。

In the bagging algo rith m, the first step involves c reating multi ple models. These models are generated using the same algo rithm with random sub-sam ples of the dataset which are drawn from the original dataset randomly with bootstrap sam pling method

The second step in bagging is agg regating the generated models.

随机森林就可以看作是遵循了bagging方法的一个思路，只不过在每一个抽样样本中的树（模型）是不一样的：

Boosting:

Boosting为强化学习，最大的特点是可以将原来的弱模型变强，逻辑在于算法会先后训练很多模型，后面训练模型的时候会不断地给原来模型表现不好的样本增大权重，使得后面的模型越来越将学习重点放在之前模型表现差的样本上，这么一来，整体模型越来越强。就像人会从之前的错误中反省经验一个意思了。

这么一描述大家就知道，boosting方法的模型训练是有先后顺序的，并行算法就用不了了

Boosting incrementally builds an ensemble by training each model with the same dataset but where the weights of instances are adjusted ac co rding to the error of the last predict ion.

Boosting方法本身也有很多，常见的如AdaBoost，Grad ient Boosting（XGBoost and LightGBM），下图感兴趣的同学可以看看：

上面的算法之后再给大家写，接下来的实操部分还是以随机森林为例子给大家具体介绍：

随机森林

随机森林模型的拟合过程大概可以分为三步：

1.通过有放回的自助抽样形成ntree个抽样样本集（Bootstr ap）

2.对每个抽样样本集形成一个决策树，这个树是基于 mtry个预测因子的

3.将最终的模型结果就是ntree个抽样样本集得出的结果的最大票数或者均值（AGGregating）

随机森林的整个的流程就如下图：

为了方便理解“最终的模型结果就是ntree个抽样样本集得出的结果的最大票数或者均值”我们用例子做个解释，先看下图：

我们有一个水果集，然后我训练一个3棵树组成的随机森林来判断每一个水果到底是何种类，有两棵树都告诉我是某一个水果是苹果，一棵树告诉我是香蕉，那么最后我们随机森林就会输出该水果是香蕉的结论。

上面的过程有几个超参需要确定

mtry: Number of variables randomly sampled as candidates at each split.
ntree: Number of trees to grow.

mtry一般需要调参，ntree都是越大越好自己设定就行。在上面的过程中我们每棵树的节点都是不同的，叫做特征随机化，通过特征随机化我们保证了森林中树的多样性，随机森林模型也更加稳健。

Feature randomness, also known as feature bagging or “the random su bspace method”, generates a random subset of features, which ensu res low correlation among decision trees

随机森林实操

比如我现在有一个数据集，结局变量是class为二分类，我要适用随机森林算法就可以写出如下代码：

rf_default <- train(Class~., 
                    data=dataset, 
                    method='rf', 
                    tuneLength  = 15, 
                    trControl=control)
print(rf_default)

输出的结果中有随机调参的过程，共15次，最终发现超参mtry=3的时候模型最优，具体如下：

以上的随机森林模型的简单展示，接着我们再看随机生存森林。

随机生存森林

和随机森林一样，随机生存森林也是一个集成学习方法，区别在于其结局为生存资料。

示例 文章

依然我们来看一篇发表在Cancer Med.上的文章，名字如下：

Prognostic risk factor of major sali vary gland c arcinomas and survi val prediction model based on random survival forests

作者用co x进行了变量筛选，使用随机生存森林进行了预测模型构建，并得到了相应的风险分，明确了风险分的最佳截断值（“max stat” R package），对于模型的表现作者使用了c指数和time-dependent ROC来评估，文章中主要的结果报告如下，包括：

树的数量和模型误差情况，以及变量重要性的结果：

time-dependent ROC曲线结果展示和相应的AUC值：

风险分界址点确定：

高低风险组的组间生存曲线比较:

也是一篇预测模型类文章的常规套路了。挑一个算法，拟合模型后评估，做个风险分，应用风险分划分病人证明模型可用性。我们以这篇文章为例子看随机生存森林预测模型的实操。

随机生存森林实例 操作

我现在的数据中ttodead,died两个变量分别是时间和生存状态，此时我想做一个随机生存森林模型就可以写出如下代码：

RF_obj <- rfsrc(Surv(ttodead,died)~., dataSet, ntree = 1000,  membership = TRUE, importance=TRUE)

对代码运行后生成的对象RF_obj进行plot即可出图如下，就得到了原文中的figure2：

然后我们可以画出模型的不同时间点的timeRoc 曲线（下面代码中的risk _score为随机生存森林对象的预测值），就得到了原文中的figure3，figure4：

ROC_rsf<-timeROC(T=finaldata.Test$Surv_day,delta=finaldata.Test$status,
             marker=risk_score,
             cause=1,
             times=c(365,365*3,365*5),iid=TRUE)
plot(ROC_lasso,time=365)
plot(ROC_lasso,time=365*3,add = T,col="blue")
plot(ROC_lasso,time=365*5,add = T,col="green")
legend(.8, .3, legend=c("T=1 Year AUC=0.895", "T=3 Year AUC=0.917","T=5 Year AUC=0.926"),
       col=c("red", "blue","green"), lty=1, cex=0.7,bty = "n")

并且将模型预测值的截断值找出来，验证模型在不同风险组的区分能力。其中找风险分截断值的代码如下：

y.pred <- predict(RF_obj)[["predicted"]]
plot(surv_cutpoint(dataSet, time = "ttodead", event = "died",
                   variables = c("y.pred")), "y.pred", palette = "npg")