算法面经总结——慢慢来，才更快

分手后的思念是犯贱 2022-11-07 00:55 42阅读 0赞

## 1、交叉熵损失函数的推导过程 ##

*  二分类

在二分类中，模型的最后一次通常是sigmoid函数，即预测最终的概率大小。![sigmoid(x)=\\frac\{1\}\{1+e^\{-x\}\}][sigmoid_x_frac_1_1_e_-x],取值范围为(0,1)。

首先二分类的y取值为0，1；当真实标签y=1时，记预测概率 ![\\hat\{y\}][hat_y] = p(y=1|x)，当真实标签y=0时，记预测概率1-![\\hat\{y\}][hat_y] = p(y=0|x)。

极大似然估计理解：师傅和徒弟一起去打猎，二人同时射出一箭，一支箭射中野物，我们此时认为该箭是师傅射的概率更大。

类比：![\\hat\{y\}][hat_y] 表示师傅射的箭，1-![\\hat\{y\}][hat_y] 表示徒弟射的箭，当真实标签y=1时，表示射中野物，否则没射中野物。

那么此时我们可以得到p(y|x) = ![\\hat\{y\}^\{y\}][hat_y_y]![(1-\\hat\{y\})^\{1-y\}][1-_hat_y_1-y]，此时我们引入log函数，其不改变p(y|x)函数的单调性。

![log(p(y|x)) = log( \\hat\{y\}^\{y\}(1-\\hat\{y\})^\{1-y\})=ylog(\\hat\{y\})+(1-y)log(1-\\hat\{y\})][log_p_y_x_ _ log_ _hat_y_y_1-_hat_y_1-y_ylog_hat_y_1-y_log_1-_hat_y],在实际问题中，我们希望概率p(y|x)的值越大越好，那-p(y|x)则越小越好。

此时得到![loss = -(ylog(\\hat\{y\})+(1-y)log(1-\\hat\{y\}))][loss _ -_ylog_hat_y_1-y_log_1-_hat_y],这是单个样本的loss，n个样本的loss直接累加![loss = -\\sum (yilog(\\hat\{yi\})+(1-yi)log(1-\\hat\{yi\}))][loss _ -_sum _yilog_hat_yi_1-yi_log_1-_hat_yi]。

## 2、解决lstm梯度爆炸 ##

*  lstm基础概念：[https://www.jianshu.com/p/4b4701beba92][https_www.jianshu.com_p_4b4701beba92]

[sigmoid_x_frac_1_1_e_-x]: https://private.codecogs.com/gif.latex?sigmoid%28x%29%3D%5Cfrac%7B1%7D%7B1&plus;e%5E%7B-x%7D%7D
[hat_y]: https://private.codecogs.com/gif.latex?%5Chat%7By%7D
[hat_y_y]: https://private.codecogs.com/gif.latex?%5Chat%7By%7D%5E%7By%7D
[1-_hat_y_1-y]: https://private.codecogs.com/gif.latex?%281-%5Chat%7By%7D%29%5E%7B1-y%7D
[log_p_y_x_ _ log_ _hat_y_y_1-_hat_y_1-y_ylog_hat_y_1-y_log_1-_hat_y]: https://private.codecogs.com/gif.latex?log%28p%28y%7Cx%29%29%20%3D%20log%28%20%5Chat%7By%7D%5E%7By%7D%281-%5Chat%7By%7D%29%5E%7B1-y%7D%29%3Dylog%28%5Chat%7By%7D%29&plus;%281-y%29log%281-%5Chat%7By%7D%29
[loss _ -_ylog_hat_y_1-y_log_1-_hat_y]: https://private.codecogs.com/gif.latex?loss%20%3D%20-%28ylog%28%5Chat%7By%7D%29&plus;%281-y%29log%281-%5Chat%7By%7D%29%29
[loss _ -_sum _yilog_hat_yi_1-yi_log_1-_hat_yi]: https://private.codecogs.com/gif.latex?loss%20%3D%20-%5Csum%20%28yilog%28%5Chat%7Byi%7D%29&plus;%281-yi%29log%281-%5Chat%7Byi%7D%29%29
[https_www.jianshu.com_p_4b4701beba92]: https://www.jianshu.com/p/4b4701beba92