模型:

$\hat{y}=f_\theta(x)$

输入x, 得到结果

x,y都可以是任意的数据类型!

误差 e

$e=distance(y-\hat{y})$

距离函数: 绝对值,$(y-\hat{y})^2$ , KL散度,熵…

建模

建模 == 求得 $f_{\theta}$ == 求 $\theta$ :

$$ \theta=argmin_{\theta} e $$

方法

  1. 最小二乘法 , (等价= 最大似然估计)
  2. 梯度下降, SGD. (一阶泰勒展开)
  3. ….