【www.gbppp.com--读后感大全】
计算机视觉
计算机视觉=图像处理+机器学习。图像处理技术用于将图像处理为适合进入机器学习模型中的输入，机器学习则负责从图像中识别出相关的模式。计算机视觉相关的应用非常的多，例如百度识图、手写字符识别、车牌识别等等应用。这个领域是应用前景非常火热的，同时也是研究的热门方向。随着机器学习的新领域深度学习的发展，大大促进了计算机图像识别的效果，因此未来计算机视觉界的发展前景不可估量。
语音识别
语音识别=语音处理+机器学习。语音识别就是音频处理技术与机器学习的结合。语音识别技术一般不会单独使用，一般会结合自然语言处理的相关技术。目前的相关应用有苹果的语音助手siri等。
自然语言处理
自然语言处理=文本处理+机器学习。自然语言处理技术主要是让机器理解人类的语言的一门领域。在自然语言处理技术中，大量使用了编译原理相关的技术，例如词法分析，语法分析等等，除此之外，在理解这个层面，则使用了语义理解，机器学习等技术。作为唯一由人类自身创造的符号，自然语言处理一直是机器学习界不断研究的方向。按照百度机器学习专家余凯的说法“听与看，说白了就是阿猫和阿狗都会的，而只有语言才是人类独有的”。如何利用机器学习技术进行自然语言的的深度理解，一直是工业和学术界关注的焦点。
大数据的核心是利用数据的价值，机器学习是利用数据价值的关键技术，对于大数据而言，机器学习是不可或缺的。相反，对于机器学习而言，越多的数据会越 可能提升模型的精确性，同时，复杂的机器学习算法的计算时间也迫切需要分布式计算与内存计算这样的关键技术。因此，机器学习的兴盛也离不开大数据的帮助。 大数据与机器学习两者是互相促进，
相依相存的关系
机器学习与大数据的结合产生了巨大的价值。基于机器学习技术的发展，数据能够“预测”。对人类而言，积累的经验越丰富，阅历也广泛，对未来的判断越准确。例如常说的“经验丰富”的人比“初出茅庐”的小伙子更有工作上的优势，就在于经验丰富的人获得的规律比他人更准确。而在机器学习领域，根据著名的一个实验，有效的证实了机器学习界一个理论：即机器学习模型的数据越多，机器学习的预测的效率就越好。
深度学习其理念却非常简单，就是传统的神经网络发展到了多隐藏层的情况。
人工智能的发展可能不仅取决于机器学习，更取决于前面所介绍的深度学习，深度学习技术由于深度模拟了人类大脑的构成，在视觉识别与语音识别上显著性的突破了原有机器学习技术的界限，因此极有可能是真正实现人工智能梦想的关键技术。无论是谷歌大脑还是百度大脑，都是通过海量层次的深度学习网络所构成的。也许借助于深度学习技术，在不远的将来，一个具有人类智能的计算机真的有可能实现
Big Data + 深度神经网络的机器学习模型，带领了现在人工智能发展的方向，近几年在国内外引发了新一轮机器学习的热潮。由于其模型庞大，计算量非常大，模型训练时间经常要几个月的时间，单个计算机根本在短期无法完成，需要在分布式系统上通过并行计算来加速。现有主流的有基于CPU服务器的实现，和基于CPU+GPU的系统实现，【人工智能,机器学习,深度学习】
人们一般认为深度学习在语音识别和图像处理方面能够取得长足进度，是因为这两个领域的相关特征信息都是相对低层次的，可以借助深度学习的强大学习能力学习其中的复杂信息；而到了自然语言处理领域，人们利用深度学习做过很多尝试，发现很难取得像语音识别和图像处理那么大的突破，原因在于自然语言的相关特征信息都是相对高层次的（如自然语言的基本单位——词汇——本身就有丰富的语义内涵，与图像中的“线条”、“纹理”等特征相比尤其如此），在深度学习之前就由语言专家编制了很多精致而复杂的知识库，如WordNet等，这些知识已经将相关处理性能推到了较高层次。因此，当深度学习进入自然语言时，如果还是像语音识别、图像处理那样从零知识开始做特征学习，相当于将丰富的语言知识弃之不用而另起炉灶，是不符合自然语言处理特点的。所以，深度学习的一个可能重要的发展方向是，如何在深度学习框架中高效地融合人们已经构建出来的丰富先验知识（包括语言知识、世界知识）。
在对大数据的适应能力上: 大数据中包含着很多有价值的信息，但是如何从大数据中找到能够表达这个数据的表征是研究者关心的问题． 2012 年的Google 大脑团队在一个超大多节点的计算机网络上并行地训练深度网络结构，结果显示数据仍然呈现欠拟合的状态． 对此，如何衡量训练复杂度与任务复杂度的关系，使得深度学习可以充分地用在大数据上，还有待于研究和实践．
（欠拟合：欠拟合应该是指拟合的过程中没有充分的利用数据，一些潜在的变化趋势没有体现出来）
• 深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学
习结构。深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。因此，“深度模型”是手段，“特征学习”是目的。区别于传统的浅层学习，深度学习的不同在于： • 1）强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；
• 2）明确突出了特征学习的重要性，Deep Learning是模拟人的视觉信息处理。人
的视觉系统的信息处理是分级的。从低级的V1区提取边缘特征，再到V2区的形状或者目标的部分等，再到更高层。高层的特征是低层特征的组合，从低层到高层的特征表示越来越抽象，越到高层越容易分类。通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。
• 与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富
内在信息。
深度学习过程：
使用自下上升非监督学习（就是从底层开始，一层一层的往顶层训练）。第一步就是
特征提取的过程。
自顶向下的监督学习（就是通过分类的数据去训练，误差自顶向下传输，对网络进
行微调）。
deep learning整体上是一个layer-wise（分层计算）的训练机制。这样做的原因是因为，
如果采用back propagation的机制，对于一个deep network（7层以上），残差传播到最前面的层已经变得太小，出现所谓的gradient diffusion（梯度扩散）
Deep Learning可以看成是神经网络的发展。传统神经网络的比较容易过拟合，训
练速度比较慢。比如BP神经网络，如果层次达到7层以上。传播到最前面的层误差已经太小，对权值的影响很小。而且容易收敛到局部极小值。
人工智能深度学习在智能交通领域的应用
随着交通卡口的大规模联网，汇集的海量车辆通行记录信息，对于城市交通管理有着重要的作用，利用人工智能技术，可实时分析城市交通流量，调整红绿灯间隔，缩短车辆等待时间，提升城市道路的通行效率。城市级的人工智能大脑，实时掌握着城市道路上通行车辆的轨迹信息，停车场的车辆信息以及小区的停车信息，能提前半个小时预测交通流量变化和停车位数量变化，合理调配资源、疏导交通，实现机场、火车站、汽车站、商圈的大规模交通联动调度，提升整个城市的运行效率，为居民的出行畅通提供保障。
目前在智能交通领域，人工智能分析及深度学习比较成熟的应用技术以车牌识别算法最为理想，虽然目前很多厂商都宣称自己的车牌识别率已经达到了99%，但这也只是在标准卡口的视频条件下再加上一些预设条件来达到的。在针对很多简易卡口和卡口图片进行车牌定位识别时，较好的车牌识别也很难达到90%。不过随着采用人工智能、深度学习的应用，这一情况将会得到很大的改善。
在传统的图像处理和机器学习算法研发中，很多特征都是人为制定的，比如hog、sift特征，在目标检测和特征匹配中占有重要的地位，安防领域中的很多具体算法所使用的特征大多是这两种特征的变种。人为设计特征和机器学习算法，从以往的经验来看，由于理论分析的难度大，训练方法又需要很多经验和技巧，一般需要5到10年的时间才会有一次突破性的发展，而且对算法工程师的知识要求也一直在提高。深度学习则不然，在进行图像检测和识别时，无需人为设定具体的特征，只需要准备好足够多的图进行训练即可，通过逐层的迭代就可以获得较好的结果。从目前的应用情况来看，只要加入新数据，并且有充足的时间和计算资源，随着深度学习网络层次的增加，识别率就会相应提升，比传统方法表现更好。
另外在车辆颜色、车辆厂商标志识别、无牌车检测、非机动车检测与分类、车头车尾判断、车辆检索、人脸识别等相关的技术方面也比较成熟。
在车辆颜色识别方面，基本上克服了由于光照条件变化、相机硬件误差所带来的颜色不稳定、过曝光等一系列问题，因此解决了图像颜色变化导致的识别错误问题，卡口车辆颜色识别率从80%提升到85%，电警车辆主颜色识别率到从75%提升到80%以上。
在车辆厂商标志识别方面，使用传统的HOG、LBP、SIFT、SURF等特征，采用SVM机器学习技术训练一个多级联的分类器来识别厂商标志很容易出现误判，采用大数据加深度学习技术后，车辆车标的过曝光或者车标被人为去掉等引起的局部特征会随之消失，其识别率可以从89%提升到93%以上。
在车辆检索方面，车辆的图片在不同场景下会出现曝光过度或者曝光不足，或者车辆的尺度发生很大变化，导致传统方法提取的特征会发生变化，因此检索率很不稳定。深度学习能够很好地获取较为较稳定的特征，搜索的相似目标更精确，Top 5的搜索率在95%以上。在人脸识别项目中，由于光线、姿态和表情等因素引起人脸变化，目前很多应用都是固定场景、固定姿态，采用深度学习算法后，不仅固定场景的人脸识别率从89%提升到99%，而且对姿态和光线也有了一定的放松。
学习方式
根据数据类型的不同，对一个问题的建模有不同的方式。在机器学习或者人工智能领域，人们首先会考虑算法的学习方式。在机器学习领域，有几种主要的学习方式。将算法按照学习方式分类是一个不错的想法，这样可以让人们在建模和算法选择的时候考虑能根据输入数据来选择最合适的算法来获得最好的结果。
监督式学习：
在监督式学习下，输入数据被称为“训练数据”，每组训练数据有一个明确的标识或结果，如对防垃圾邮件系统中“垃圾邮件”“非垃圾邮件”，对手写数字识别中的“1“，”2“，”3“，”4“等。在建立预测模型的时候，监督式学习建立一个学习过程，将预测结果与“训练数据”的实际结果进行比较，不断的调整预测模型，直到模型的预测结果达到一个预期的准确率。监督式学习的常见应用场景如分类问题和回归问题。常见算法有逻辑回归（Logistic Regression）和反向传递神经网络（Back Propagation Neural Network）
非监督式学习：
在非监督式学习中，数据并不被特别标识，学习模型是为了推断出数据的一些内在结构。常见的应用场景包括关联规则的学习以及聚类等。常见算法包括Apriori算法以及k-Means算法。
半监督式学习：
在此学习方式下，输入数据部分被标识，部分没有被标识，这种学习模型可以用来进行预测，但是模型首先需要学习数据的内在结构以便合理的组织数据来进行预测。应用场景包括分类和回归，算法包括一些对常用监督式学习算法的延伸，这些算法首先试图对未标识数据进行建模，在此基础上再对标识的数据进行预测。如图论推理算法（Graph Inference）或者拉普拉斯支持向量机（Laplacian SVM.）等。
强化学习：
在这种学习模式下，输入数据作为对模型的反馈，不像监督模型那样，输入数据仅仅是作为一个检查模型对错的方式，在强化学习下，输入数据直接反馈到模型，模型必须对此立刻作出调整。常见的应用场景包括动态系统以及机器人控制等。常见算法包括Q-Learning以及时间差学习（Temporal difference learning）
在企业数据应用的场景下， 人们最常用的可能就是监督式学习和非监督式学习的模型。 在图像识别等领域，由于存在大量的非标识的数据和少量的可标识数据， 目前半监督式学习是一个很热的话题。 而强化学习更多的应用在机器人控制及其他需要进行系统控制的领域。 算法类似性
根据算法的功能和形式的类似性，我们可以把算法分类，比如说基于树的算法，基于神经网络的算法等等。当然，机器学习的范围非常庞大，有些算法很难明确归类到某一类。而对于有些分类来说，同一分类的算法可以针对不同类型的问题。这里，我们尽量把常用的算法按照最容易理解的方式进行分类。
回归算法
回归算法是试图采用对误差的衡量来探索变量之间的关系的一类算法。回归算法是统计机器学习的利器。在机器学习领域，人们说起回归，有时候是指一类问题，有时候是指一类算法，这一点常常会使初学者有所困惑。常见的回归算法包括：最小二乘法（Ordinary Least Square），逻辑回归（Logistic Regression），逐步式回归（Stepwise Regression），多元自适应回归样条（Multivariate Adaptive Regression Splines）以及本地散点平滑估计（Locally Estimated Scatterplot Smoothing）
基于实例的算法
基于实例的算法常常用来对决策问题建立模型，这样的模型常常先选取一批样本数据，然后根据某些近似性把新数据与样本数据进行比较。通过这种方式来寻找最佳的匹配。因此，基于实例的算法常常也被称为“赢家通吃”学习或者“基于记忆的学习”。常见的算法包括【人工智能,机器学习,深度学习】
k-Nearest Neighbor(KNN), 学习矢量量化（Learning Vector Quantization， LVQ），以及自组织映射算法（Self-Organizing Map ， SOM）
正则化方法
正则化方法是其他算法（通常是回归算法）的延伸，根据算法的复杂度对算法进行调整。正则化方法通常对简单模型予以奖励而对复杂算法予以惩罚。常见的算法包括：Ridge
Regression， Least Absolute Shrinkage and Selection Operator（LASSO），以及弹性网络（Elastic Net）。
决策树学习
决策树算法根据数据的属性采用树状结构建立决策模型， 决策树模型常常用来解决分类和回归问题。常见的算法包括：分类及回归树（Classification And Regression Tree， CART）， ID3 (Iterative Dichotomiser 3)， C4.5， Chi-squared Automatic Interaction
Detection(CHAID), Decision Stump, 随机森林（Random Forest）， 多元自适应回归样条（MARS）以及梯度推进机（Gradient Boosting Machine， GBM）
贝叶斯方法
现代机器学习理论大作业
（基于深度学习的图像特征提取）【人工智能,机器学习,深度学习】
基于深度学习的图像特征提取
摘要：大数据时代的来临，为深度学习理论的发展创造了良好的条件。本文介绍了深度学习的发展背景，主要讨论了深度学习中的自编码的方法，对自编码方法实现仿真应用，期望在以后能应用到SAR图像上进行自动特征提取，最后阐述该理论的目前遇到的困难。
关键词：深度学习 autoencoder convolution pooling
一 引言
机器学习是人工智能的一个分支，而在很多时候，几乎成为人工智能的代名词。简单来说，机器学习就是通过算法，使得机器能从大量历史数据中学习规律，从而对新的样本做智能识别或对未来做预测。从1980年代末期以来，机器学习的发展大致经历了两次浪潮：浅层学习（Shallow Learning）和深度学习（Deep Learning）。
第一次浪潮：浅层学习
1980年代末期，用于人工神经网络的反向传播算法（也叫Back Propagation算法或者BP算法）的发明，给机器学习带来了希望，掀起了基于统计模型的机器学习热潮。这个热潮一直持续到今天。人们发现，利用BP算法可以让一个人工神经网络模型从大量训练样本中学习出统计规律，从而对未知事件做预测。这种基于统计的机器学习方法比起过去基于人工规则的系统，在很多方面显示出优越性。这个时候的人工神经网络，虽然也被称作多层感知机（Multi-layer Perceptron），但实际上是一种只含有一层隐层节点的浅层模型。
90年代，各种各样的浅层机器学习模型相继被提出，比如支撑向量机（SVM，Support Vector Machines）、Boosting、最大熵方法（例如LR， Logistic Regression）等。这些模型的结构基本上可以看成带有一层隐层节点（如SVM、Boosting），或没有隐层节点（如LR）。这些模型在无论是理论分析还是应用都获得了巨大的成功。相比较之下，由于理论分析的难度，加上训练方法需要很多经验和技巧，所以这个时期浅层人工神经网络反而相对较为沉寂。
2000年以来互联网的高速发展，对大数据的智能化分析和预测提出了巨大需求，浅层学习模型在互联网应用上获得了巨大成功。最成功的应用包括搜索广告
系统（比如Google的AdWords、百度的凤巢系统）的广告点击率CTR预估、网页搜索排序（例如Yahoo!和微软的搜索引擎）、垃圾邮件过滤系统、基于内容的推荐系统等。
2006年，加拿大多伦多大学教授、机器学习领域泰斗——Geoffrey Hinton和他的学生Ruslan Salakhutdinov在顶尖学术刊物《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。这篇文章有两个主要的信息：1. 很多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；2. 深度神经网络在训练上的难度，可以通过“逐层初始化（Layer-wise Pre-training）来有效克服，在这篇文章中，逐层初始化是通过无监督学习实现的。
第二次浪潮：深度学习
自2006年以来，深度学习在学术界持续升温。斯坦福大学、纽约大学、加拿大蒙特利尔大学等成为研究深度学习的重镇。2010年，美国国防部DARPA计划首次资助深度学习项目，参与方有斯坦福大学、纽约大学和NEC美国研究院。支持深度学习的一个重要依据，就是脑神经系统的确具有丰富的层次结构。一个最著名的例子就是Hubel-Wiesel模型，由于揭示了视觉
推荐访问: