李宏毅机器学习-P4网络设计的技巧
待填坑。。。
DataWhale李宏毅机器学习https://github.com/datawhalechina/leeml-notes
李宏毅机器学习-P3深度学习介绍和反向传播机制
DataWhale李宏毅机器学习https://linklearner.com/datawhale-homepage/#/learn/detail/93
deep learning的历史:• 1958: Perceptron (linear model)
• 1969: Perceptron has limitation
• 1980s: Multi-layer perceptron
Do not have significant difference from DNN today
• 1986: Backpropagation
Usually more than 3 hidden layers is not helpful
• 1989: 1 hidden layer is “good enough”, why deep?
• 2006: RBM initialization (breakthrough)
• 2009: GPU 加速
• 2011: Start to be popular in spee ...
李宏毅机器学习-P2误差和梯度分析
P2误差和梯度分析
1.误差
Error的来源
从上节课测试集数据来看,AverageError 随着模型复杂增加呈指数上升趋势。更复杂的模型并不能给测试集带来更好的效果,而这些 Error 的主要有两个来源,分别是 bias(偏差)和 variance(方差)。
估测
假设\hat f为真实模型,我们通过数据训练出来的理想模型为f^。这个过程就像打靶,\hat f 就是我们的靶心,f^ 就是我们投掷的结果。如上图所示,\hat f 与 f^* 之间蓝色部分的差距就是偏差和方差导致的。
估测变量x的偏差和方差https://segmentfault.com/a/1190000016447144误差的期望值 = 噪音的方差 + 模型预测值的方差 + 预测值相对真实值的偏差的平方
考虑不同模型的方差用比较简单的模型,方差是比较小的(就像射击的时候每次的时候,每次射击的设置都集中在一个比较小的区域内)。如果用了复杂的模型,方差就很大,散布比较开。
考虑不同模型的偏差
假设黑线为真正的模型,蓝线为平均值,可见更复杂的模型虽然离散程度很高,但其偏差比较小。直观的解释:简单的模型函数集的spa ...
李宏毅机器学习-P1回归
回归
回归定义Regression 就是找到一个函数 function ,通过输入特征 x ,输出一个数值 Scalar 。
应用举例• 股市预测(Stock market forecast)
◦ 输入:过去10年股票的变动、新闻咨询、公司并购咨询等
◦ 输出:预测股市明天的平均值
• 自动驾驶(Self-driving Car)
◦ 输入:无人车上的各个sensor的数据,例如路况、测出的车距等
◦ 输出:方向盘的角度
• 商品推荐(Recommendation)
◦ 输入:商品A的特性,商品B的特性
◦ 输出:购买商品B的可能性
• Pokemon精灵攻击力预测(Combat Power of a pokemon):
◦ 输入:进化前的CP值、物种(Bulbasaur)、血量(HP)、重量(Weight)、高度(Height)
◦ 输出:进化后的CP值
模型步骤• step1:模型假设,选择模型框架(线性模型)
• step2:模型评估,如何判断众多模型的好坏(损失函数)
• step3: ...
叙利亚局势分析
从世界政治格局发展的大背景来看,叙利亚的动荡是西亚北非变局的延续与发展。不可否认,中东地区这些国家受到金融危机之后的输入性通胀压力,在各自的发展道路上遭遇了巨大的障碍,加之国内各种政治派别(逊尼派、什叶派)教派纷争不断,导致了经济萧条、就业低迷,酿成了社会抗争与群体性暴力事件。但不管怎样,叙利亚局势仍属于国家发展问题,是内政,而非国际事务。然而,由于叙利亚紧邻伊拉克、约旦、以色列、黎巴嫩、土耳其等国,与伊朗遥相呼应,其所处的地理位置具有极为敏感的地缘政治色彩。所以,叙利亚以往在巴以和谈、伊拉克重建、中东反恐、伊朗核问题、库尔德民族问题等涉及西方敏感神经的区域事务中都在不经意间扮演着极为微妙而关键的角色。而且,令西方世界极为不安的是,统治这个地缘意义上“兵家必争之地”的阿萨德家族却延续着与西方社会格格不入的特立独行。面对叙利亚国内矛盾激化,西方国家自然积极介入,希望借此机会以压促变,进而通过叙利亚政权更迭,达到控制中东地区的政治局势与自然资源的目的。






