读《科学之路》，我深深感受到科学的伟大和追求真理的精神。科学家们凭借严谨的方法和不懈的探索，揭示了自然界中的奥秘，并带来了无数的发明和创新。同时，科学也需要我们每个人的参与和思考，共同推动人类文明的发展。
科学之路读后感篇一
整本书写的都没什么毛病，基本就是杨大师的之前科研故事，加上深度学习的一些科普（将卷积怎么想到的讲得真好，当年上课一直不明白为啥这老哥会这么做，原来还是有参考一些生物学上的原理），以及当前工作的介绍。
搞科学确实是要耐得住寂寞，也就是相当于自己得知道这条路一定可以走下去，而不是盲目跟风。相较于别人的一时兴起，他却是一直都多少算有些收获，并且老哥脑筋也很灵活，该跑路跑路，该挣钱挣钱，研究的方式不一样，但目标一直没变，这就是他牛逼之处。
另外，这本书的中译版上开头的各种介绍也太多了吧。数了一下有十一个人来推荐，老哥们，说实话没必要，书写的确实不错，但我并不想开头就看你们来逼逼。感觉就像是一群大部分成就都不如他的人来说这个人很厉害，感觉完全没有起到背书的作用。评价少的一颗星就少在这里。
另外，作者屁股也是稍稍有点歪，Facebook这家公司的丑闻大家也不是不知道，没必要说得那么高尚其实。
科学之路读后感篇二
杨立昆在中国演讲时宣布中文名的照片让我印象深刻，这样一位深度学习宗师、图灵奖得主还是免不了取了个大俗名。作者在书中回顾了自己的学术生涯，分享了自己对人工智能的思考，中间几章顺带科普了反向传播和卷积网络。
令我印象深刻的是作者在神经网络的低谷期的坚持并非毫无依据的执念，他认为“人类智能如此复杂，必须建立一个具有自我学习能力和经验学习能力的自组织才能复制它”。当时Geoffrey Hinton则相对悲观，他在40岁生日时说“我的职业生涯到头了，什么也做不成了。”书中杨立昆说神经网络loss存在多个极小值“从来都不是问题”，似乎过于乐观。有趣的是，在近期了GPT-4发展带来的争论中，Hinton从Google离职以警告AI的风险，而杨立昆则旗帜鲜明地反对Yoshua Bengio等人暂停大模型研究的倡议。
关于学术研究，有一段话写得精彩：“我贪婪地阅读，我熟知前人的所有工作。在探索之路上我们并非孤身一人，时机到来之时，那些已经存在但尚未提出的理念会一个接一个地涌入许多人的头脑中。”
最后吐槽一下中文翻译，毫不夸张地说，此书的译者和校对者没有一个具备基本的机器学习知识，不然不会把双曲正切函数译成“双曲线切线”，把神经网络层的堆叠译成“堆栈”，把图的最短路译成“图像最短路径”。类似讹误还有不少，着实令人哭笑不得。
科学之路读后感篇三
序加自序加前言到了十篇的一本书，作者还是人工智能大牛，在当时不被看好的领域深耕有获（神经网络到卷积神经网络CNN），不过拼成一本书有点琐碎。收获最大的是其中一篇黄铁军的序～ 序中谈到了“倨傲”的符号主义，计算机只能处理符号而不能有类人感知和类人智能；“针锋相对”的连接主义，智能活动是由大量简单单元通过复杂连接后并行运行的结果，然而无法预期什么样的网络能产生预期智能，大量探索归于失败；行为主义，思想来源于进化论与控制论，生物通过与环境以及其他生物之间的相互作用发展出越来越强的智能。 机器学习的研究重心是机器自行习得智能，其中深度学习是连接主义与其相结合的产物，给出了一条训练智能的可行途径，也给出一个凝聚学习成效的可塑载体。强化学习则与行为主义一脉相承，在给定情境下，强化得到奖励的行为而弱化受到惩罚的行为，核心机制是试错。 接下来是序作者与书作者不同观点的地方～杨认为自监督学习是智力的本质，而黄认为学习方法（功能）固然重要，但从事学习的机器（结构）更加重要，永远不能忘记作为智力载体的机器。就像飞机研发与空气动力学的比喻一样，追求智能理论，但不能把智能理论当成人工智能发展的前提。自监督学习需要可塑载体，而强化学习则要本质得多。 作者指出，我们已经从人工智能发展史中小心意义地挑出三根靠得住的基本支柱，神经网络、强化学习与环境模型，并肯定了杨在神经网络的突出贡献。展望未来，人工智能的发展路径有三条，一是继续推进“大数据+大算力+强算法”的信息技术方法，二是推进“结构仿脑、功能类脑、性能超脑”的类脑途径，三是建立自然环境的物理模型通过强化学习训练自主智能模型。作者建议，破除人类中心主义的傲慢与对通用智能理论的迷思，人工智能有更广阔的未来。
科学之路读后感篇四
Le Cun在书中完整回顾了自己的学术生涯，最令人触动的是在神经网络寒冬，老师Hinton的一句话：“今天是我40岁生日，我的职业生涯也到头了，什么也做不成了。”在整整20年后，深度学习和CNN迎来了春天。即便有坚韧的信念，也难免在其中某个时刻产生动摇。
杨立昆在最后两章探讨了对于人工智能、科学研究和应用研究等方面的看法，体现了其科学世界观：
1. 开源和共享精神才能迎来人类文明的突破，实现技术普惠和发展；
2. 科技巨头在科学突破与产品开发间做到了平衡，管理者本身就是工程师，因此能将技术产品转化为商业化，这也是为什么进入21世纪后，技术研发的重心从实验室转向了科技大厂；
3. 过去的技术突破来自于生物学和神经科学的启发，但AI研究未来不能仅仅复制大自然，必须探究智能和学习的基础原理，发现一般性智力理论；
4. 世界并非完全可预测的，可解释性和100%可靠对于AI来说并非完全必要；
5. 大脑是可以计算的机器，原则上这些计算可通过电子机器或计算机进行再现；
6. AI是用机器执行通常由人类或动物完成的任务，即机器要有感知、推理和行动的能力。目前深度学习仍无法进行逻辑推理，不具备常识，如何让机器具备因果逻辑推理能力是关键。由此Le Cun提出了世界模型的概念。
7. 人类通过很少的示例来学习，会设想一些场景并预见行动的后果，从而减少一定的学习量，而目前需要大量的示例和能量（LLM巨大的训练成本）。如何迅速建立起对周围世界的抽象表征，并把复杂任务分解为简单的子任务是AI在工程层面需要解决的问题。
8. 大脑是低能耗的器官，体现在任何时候大脑只有少数神经元是活动的，能精密地分配神经元。目前的MoE架构是否会是一个方向？
9. 根据奥卡姆剃刀理论，简单即有效。简单的理论一般不易于被调整，是可以用新的数据进行证伪。LLM即遵循了该理论，暴力出奇迹。
科学之路读后感篇五
终于等到第一本神经网络史&Lecun传记的书。
时间的深处，暗流涌动，一切生长拔节在无声进行。
八十年代，Lecun就认识到无法以逻辑来创造真正的智能机器，必须让机器拥有学习的能力，依靠经验来进行自我建构。
1987年，这一年离Deep Blue打败卡斯帕罗夫还有10年，离Deep CNN将图像识别在ImageNet上的错误率从25 %降到16 %还有25年，离AlphaGo打败李胜石和柯洁还有30年，而离Lecun与Bengio和Hinton凭借Deep Learning获得图灵奖还有32年。
这年6月，Lecun完成了他的博士论文。他在结尾写道：神经网络这种技术在你们这代看不出端倪，但我坚信，你们的下一代会喜欢它所带来的一切。在那个年代，机器学习界极度不待见神经网络研究者，视之为狂热分子，机器学习界的异类。
1989 年，贝尔实验室，Lecun构建了自己的LeNet，包括1256个单元和9760个参数，用来识别信件的邮政编码。
1995年，至暗时刻。业界不再对神经网络感兴趣，Lecun的CNN没有被业界采纳，更没有被应用到其他领域。当年的深度学习阴谋会大难临头各自飞，Bengio回到了蒙特利尔，Hinton远走他乡，建立了一个理论神经科学实验室，其他一些人同样选择了离开。
究其原因，在那个时代，企业只考虑自身利益，无法给科研让步。AT&T拒绝将SN神经网络模拟器开源，即便这样可以让大众更好的接受神经网络。那个时代，SVM和核方法才是机器学习研究者的宠儿，而神经网络就这样被雪藏数个寒冬。
Lecun和留下的人仍然相信卷积神经网络的未来。
2001年，末日来临。互联网泡沫爆发，AT&T没能说服华尔街，股价暴跌。同年12月，AT&T再次被拆分为若干部分，并裁去一半的研究人员，Lecun离开AT&T，加入NEC普林斯顿研究中心，在那里，他终于再度研究起神经网络。
2007年，寒冬未央。这一年参加NeurIPS会议的人还不足千人，Lecun打算组织一个深度学习研讨会，但是会议组织者在没有做任何解释的情况下就拒绝了提议。研讨会只能秘密进行。
2012年，凛冬散尽。新时代的金钟终于敲响，这是具有决定性意义的一年，它是一个新时代的开端，卷积神经网络的能力不再被质疑。从ImageNet的成功开始，神经网络与深度学习以摧枯拉朽之势在迅速各个领域展现威力。
于是，后来DL、CV、NLP的发展井喷……一篇篇顶会涌出，一个个SOTA被刷新……
一部DL史，半部Lecun泪。“我在这里试图追溯过往，因为它有着电子科学和计算机科学法则的烙印，它被探寻的渴望所羁绊，它充满了童年的印记；剩下的则是运气与相遇…”
惟其艰难显勇毅。2019年3月，Lecun获得了图灵奖。他是CNN之父，更是神经网络的守城人。
人类赋能机器，机器延伸人类。对认识自我的渴望驱动着人类对AI的探索与追寻，而AI的研究和对人自我的研究相辅相成。
神经网络史是一段正在发生的历史，它在发生，我们在见证，我们在参与。模型永远更替，技术不断推新，一个SOTA接着一个SOTA，最好的永远挂在明天的预印本上。
老兵不死，他们只是慢慢凋零。
科学之路读后感篇六
假期在家，伴着凄风苦雨看完了法国计算机科学家LeCun的自传《科学之路》。
LeCun是2018年“图灵奖”得主、“深度学习三巨头”之一。他还给自己取了个中文名，杨立昆。这本书讲述了他的求学科研之路，以及他对人工智能局限性和发展前景的看法。
1
起初看这本书是带着八卦心态、好奇学术大佬的求学心路历程，以及想了解大佬对人工智能发展的看法。可没想到这本书让我最为印象深刻的，竟是他老师辛顿40岁生日时的场景。
杨说辛顿平日是个很幽默的人。可那一天，辛顿却意外很苦涩地坦陈：“今天是我40岁生日，我的职业生涯也到头了，什么也做不成了”。的确，那时候是1987年，辛顿已经40岁了，离AlphaGo以3∶0击败围棋世界排名第一的柯洁还有30年，离他和杨一起获得图灵奖还有32年。
辛顿在他40岁生日时的苦涩，让我百感交集，让人想到“35岁焦虑”的困境。原来87年的辛顿也有同样的苦恼，觉得40岁职业生涯快到头了，什么也做不成了。他那时候根本想不到32年后他会拿到图灵奖！大器晚成的例子，搞研究急不来的。有时候真需要天时地利与人和。
80年代，他们正在做的事情并不被人看好，经历着“科研寒冬”，默默无闻。常规的同行评审往往“过于合理”，以至颠覆性的研究很难得到认可。但他们坚持了下来。直到21世纪10年代，随着硬件的发展、大型数据集的普及，他们的想法才得到大范围推广，开始了深度学习的浪潮。
杨和辛顿默默坚持着“不被别人看好”的研究，也让人想到，科学研究有时候就是“反直觉”的，它并不一定是为了某个目前看得见的“实用目的”，可能只是为了满足人的求知欲和好奇心，但这些前瞻性的成果说不定在未来某天就会大放异彩。
就好比50年前，一个土耳其数学家发明了一种在当时看来没啥用的极化码，可正是这个当时默默无闻的学术成果竟成为50年后华为发展5G技术最最重要的基石！
2
此外，书中也叙述了杨对人工智能的一些看法。例如，他认为人工智能虽然目前在很多领域表现出色，例如它可以翻译、答题，但其实它完全不理解自己所做的事情。它只不过是机械化地执行指令，它所掌握的常识甚至还不如一只野猫。
但他也认为人工智能迟早有一天会产生情感，具备意识。例如，如果机器人预测到自己将摔倒并受到损坏，评判体系就会预先通过目标函数计算出“疼痛”，紧接着机器人将尝试规划轨迹以避免这种不幸结果的发生。这不就像是一种恐惧感吗？
但在“机器人是否想要获得权力”这点上，杨表示反对。他认为人们对机器人想要获得权力的恐惧，主要来自我们自身人性特质在机器上的投射。很聪明的东西不一定有统治欲望，就好比很聪明的红毛猩猩，它们聪明，但没有侵占统治自己邻居的欲望。统治欲跟智力无关，跟多巴胺有关。
3
此外，杨有个观点，我很是认同。杨认为，人工智能会像曾经的工业革命一样对社会产生长久影响。很多人会失业，同时也会有很多新的岗位涌现。我们曾经适应过工业革命，现在需要继续适应新的改变。并且尽快转型。
谁会是这场人工智能革命的受益者？从事感性方面工作的人，例如艺术、教育等。那些人工智能无法参与竞争的人类经验会更有价值。因为自动化降低了制成品的价格，人越来越重视创造力和独特体验，越来越不看重大众化的产品。
想到高晓松曾有个观点，说纵观人类史，科学和艺术是交替发展的。科技飞速发展时，艺术就退居幕后，而当科学发展到瓶颈停滞不前时，艺术又会进入大发展，超越科学去解释人们精神上的苦痛。
对此，我深以为然。的确，一战时期，科技迅猛发展，飞机坦克高效率杀人如草芥，可科学没能给人们带来幸福。一战后进入艺术大发展阶段，出现了海明威、聂鲁达、毕加索、萨特等艺术哲学家，可谓“黄金年代”。
而近年来科技发展速度极快，可谓日新月异。十多年前根本无法想象如今能用手机与远方亲人视频，出门可以不用带钱包。物质生活得到巨大改善，但人真的变得更加幸福么？手机联络越来越方便，却很难提起兴趣去联系通讯录里的人。过年走家串户，人手捧着手机做“低头族”也已成常态。科技发展并不能缓解人心灵之苦。
虽然我们可能会因为科技发展而带来的社会变革而感到惴惴不安，但换个角度来想，我们发明了深度学习、机器学习，其实我们也可以向机器学习，即在变化和不确定的情况下随时反向传播，调整优化，随时适应新情况呀。
另外，这本书里，我也很喜欢北京大学黄铁军教授作的序。他对人工智能也有很独到见解。感兴趣的不妨去看看~
科学之路读后感篇七
最近看了LeCun的半自传《科学之路》，想从三个方面谈谈个人的体会：1 作者描述的神经网络构成 2 从书中看到作者的研究taste和 3 作者对未来发展方向的看法
1 作者描述的神经网络架构
第5章末尾，作者总结了其认为的深度学习的核心内容
'''
总而言之，深度学习包括：
1.通过配置和连接模块来构建多层网络的体系结构；
2.利用反向传播计算梯度之后再通过梯度下降法训练该结构
'''
其中，‘配置和连接模块’来自神经网络的核心假设：通过模仿生物大脑的突触结构，可以构建适应不同环境变化（相当于不同学习任务）的智能，而其关键就在于相对简单的部件的重复和连接。
‘多层神经网络’是来自对早期感知器局限性的认识：单层的线性感知器无法适应非线性的现实任务，如图像识别等。同样从生物结构获得启发，通过‘线性层’-‘非线性层’的重复、叠加实现对任意非线性函数的拟合。至于为何仍然使用线性层为基础，个人以为主要有两点：一是现有的GPU等架构需要线性的任务以体现并行优势，二是数学上可能还没找到很好的替代梯度下降的高效寻优方法。
‘反向传播’、‘梯度’和‘梯度下降’则是，将现实数据‘反馈’给上述神经网络结构，使网络的参数‘最优化’于该数据集的具体方式，针对数据集终究不是现实的全部，需要泛化的问题，则又提出了‘正则化’的方法。
可以看到，在计算架构产生新的变化前，作者的这套总结对神经网络总是适用的。
2 作者的研究偏好：
当我们说到一个人有研究taste时，一般是说，这个人对研究的问题选择、研究的方法有着总体上一致的偏好。
在LeCun书中，可以观察到他的几个比较明显的偏好：
a. 偏好“数学直观+动手coding”
从其早期独立捣鼓出反向传播的一个版本，到后面解释深度学习时的数学，作者一直在使用“一点数学上的模糊想法+动手coding摸索+实践反馈澄清想法”的研究模式。
究其原因，一个是“智能”对当前人类认识来说仍然是一个黑盒子居多，二是试错的成本并不很高（即使在作者年轻时，数据获取比较困难，仍可以通过选择更小的问题和精心设计架构规避）。
许多paper被吐槽分成两套，一套漂亮的推导充门面和一套充满工程trick的刷分数，根由就是评委没有认识到此领域当前阶段的发展还不适合像物理学这样成熟的推导验证的研究方式。
b. 同时抱持中期和长期的不同甚至矛盾的信念
生物的智能作为已存在的成功范例，从中吸取营养是一个比较自然的想法，包括作者、辛顿等一批工作者之前都从中获取了概念启发，也时常用生物的能耗、适应性去对比现有结构的不足。
但作者又认为“很明显，人工智能研究的未来不能仅仅复制大自然”，并认为应该追究基本原理。
黑盒运行和调试是工程师的常态，追究根本则是科学家的特色，能够同时包容两种原则，并在适当的时机选择合适的一个，是作为领域领路者的基本能力。
作者既是欧美学术界共同体的一员，从同行交流中获取了大量营养也经历过同行的打压，又曾先后在贝尔实验室、Meta等商业机构供职，见识过商业飞轮对研究的巨大推进和落地压力如何压垮了贝尔和NEC的实验室，因而不会盲目得拥护或者贬低其中一方的功用。
在研究上，他倾向于尽量多地和同行交流，不论他们是高校教授、公司研究员，甚至名不见经传的大学生；倾向于找到落地场景比较明确、但也不是只剩下“工程问题”的方向。
c.有一个模糊的最终形态的愿景：
作者在书中反对、或者不认同过的方向有：
1 特征工程全靠手工构造，不是最终的方向；
2 SVM方法，仍然是因为依赖手工craft特征提取
3 强化学习依赖人类的大量反馈，或者昂贵又难实现的仿真系统
当然我们还知道他最近不认同chatgpt类的大语言模型方向，认为其缺乏常识，无法实现真正智能。
从中可以看出作者有一个隐性的对完全态人工智能的描述，其对各种研究方向的长期价值评价，主要就是看其对此描述的偏离程度：
- 最终的智能应该不依赖于或者尽量不依赖于人类的辅助去定义、完成和改善一个’智能‘任务
- 为达此目的，其应该具有对物理世界的常识，或者具有学习常识的能力
3 LeCun对未来发展方向的预测：
第9章第3节，作者如此评价几个他认为重要的发展方向：
'''
我经常在演讲中用它做比喻：如果智能是一块黑森林蛋糕，海绵蛋糕的部分代表自监督学习——这是动物和人类学习的主要方式，那么糖霜的部分就相当于监督学习，而锦上添花的蜜饯樱桃则相当于强化学习。
'''
其中自监督后面发展成了LeCun带头的“世界模型”，强化学习则衍生了gpt系的模型，另外包括辛顿在内的一批科学家也认同强化学习是AGI的一个途径；监督学习，虽然前线的研究者们认为其没有未来，却是当前实实在在落地最成功的方向。
个人认为，作者提出的自监督固然可能产生最终的人工智能，但是既然大家都没有清晰的概念，那么最大可能是我们现在提出的所有方向都与最终的答案（当然不唯一）是有偏差的。那么，真正有意义的问题就不是谁的方向更“正确”，而是谁更能引领当前行业向前发展。
引领发展最核心的要素是：1 人才的富集和交流 2 丰富的实践和试错。从这个角度看，最好的路线是最快触及到下一个商业实用点，从而带来工业界的人才和社会资源跟进的路线。
