• 公达
    • 公达
    • ♂ 36
    • 9级
    • 自律力97.20
    • 北京
    • 程序员

分享一篇非常好的文章:用随机梯度下降来优化人生

原文如下:

要有目标。你需要有目标。短的也好,长的也好。认真定下的也好,别人那里捡的也好。就跟随机梯度下降需要有个目标函数一样。

目标要大。不管是人生目标还是目标函数,你最好不要知道最后可以走到哪里。如果你知道,那么你的目标就太简单了,可能是个凸函数。你可以在一开始的时候给自己一些小目标,例如期末考个80分,训练一个线性模型。但接下来得有更大的目标,财富自由也好,100亿参数的变形金刚也好,得足够一颗赛艇。

坚持走。不管你的目标多复杂,随机梯度下降都是最简单的。每一次你找一个大概还行的方向(梯度),然后迈一步(下降)。两个核心要素是方向和步子的长短。但最重要的是你得一直走下去,能多走几步就多走几步。

痛苦的卷。每一步里你都在试图改变你自己或者你的模型参数。改变带来痛苦。但没有改变就没有进步。你过得很痛苦不代表在朝着目标走,因为你可能走反了。但过得很舒服那一定在原地踏步。需要时刻跟自己作对。

可以躺平。你用你内心的激情来迈步子。步子太小走不动,步子太长容易过早消耗掉了激情。周期性的调大调小步长效果挺好。所以你可以时不时休息休息。

四处看看。每一步走的方向是你对世界的认识。如果你探索的世界不怎么变化,那么要么你的目标太简单,要么你困在你的舒适区了。随机梯度下降的第一个词是随机,就是你需要四处走走,看过很多地方,做些错误的决定,这样你可以在前期迈过一些不是很好的舒适区。

快也是慢。你没有必要特意去追求找到最好的方向和最合适的步子。你身边当然会有幸运之子,他们每一步都在别人前面。但经验告诉我们,随机梯度下降前期进度太快,后期可能乏力。就是说你过早的找到一个舒适区,忘了世界有多大。所以你不要急,前面徘徊一段时间不是坏事。成名无需太早。

赢在起点。起点当然重要。如果你在终点附近起步,可以少走很多路。而且终点附近的路都比较平,走着舒服。当你发现别人不如你的时候,看看自己站在哪里。可能你就是运气很好,赢在了起跑线。如果你跟别人在同一起跑线,不见得你能做更好。

很远也能到达。如果你是在随机起点,那么做好准备前面的路会非常不平坦。越远离终点,越人迹罕见。四处都是悬崖。但随机梯度下降告诉我们,不管起点在哪里,最后得到的解都差不多。当然这个前提是你得一直按照梯度的方向走下去。如果中间梯度炸掉了,那么你随机一个起点,调整步子节奏,重新来。

独一无二。也许大家有着差不多的目标,在差不多的时间毕业买房结婚生娃。但每一步里,每个人内心中看到的世界都不一样,导致走的路不一样。你如果跑多次随机梯度下降,在各个时间点的目标函数值可能都差不多,但每次的参数千差万别。不会有人关心你每次训练出来的模型里面参数具体是什么值,除了你自己。

简单最好 。当然有比随机梯度下降更复杂的算法。他们想每一步看想更远更准,想步子迈最大。但如果你的目标很复杂,简单的随机梯度下降反而效果最好。深度学习里大家都用它。关注当前,每次抬头瞄一眼世界,快速做个决定,然后迈一小步。小步快跑。只要你有目标,不要停,就能到达。

  • 2
  • +9番茄
  • 75只自习生围观
  • 2021年9月28日 11:09打卡
  • 6 月,1 周前有动静
  • 引用
  • 举报
最近犒劳过的人

好巧诶,我也看到过这篇文章

  • TD
  • 9 月前
  • 2021年9月29日 15:45

得足够一颗赛艇O(∩_∩)O哈哈~

猜你喜欢

在知乎上看到的,李开复回答的关于时间管理,很有感触,我就抄下来了 - 人的一生两个最大的财富是: `你的才华和你的时间` 。才华越来越多,但是时间越来
  • 公达
  • 公达
  • ♂ 36
  • 9级
  • 自律力97.20
  • 北京
  • 程序员
每天一段感悟 - 今天有件小事儿反复出现在脑子里,我们合气道训练时,会有一个类似鱼跃前滚翻的动作,
拖拉者区别于高效者的五中表达 第四种:“我必须做到十全十美” - ** “我必须做到十全十美,如果犯了错,我不能忍受。”这样跟自己
转发一段文字试试能不能给番茄 - 小强实践时间管理7年,经常被问到一些关于时间管理的困惑,我发现其中有一部分困惑的
分享一段对自己很有启发的文字 - 如果把人生比作热气球,那么移除在地面固定着它的重物,气球就会飘到外太空。 ,
坚信的几个观点 - 事关两方的时候,如果完成它只对一方有利,这件事基本上干不成。 , 只要有出错可能
书读多了眼界就开阔了,分析问题的能力也提高了,特别是从前人的经验与分析中,增加了对复杂问题的判断能力,知道怎样看问题,更知道自己的短处在哪里。 - 读书越少对环境越不满意;读书越多对自己越不满意。读书少的人,看问题越主观,越简单
你有什么相见恨晚的高效学习方法? - 作者:魂残 , 链接:https://www.zhihu.com/questio
学习方法~之前一知友长文的心得 - 预习是叫我们宏观先看一下。 , , 接受大脑中的第一个想法,会有碍于你另觅佳径
看到的很好的一篇文字《时间管理方法的过去、现在和将来》 - 在一个博客看到了,必须转载,分享给大家。 , , , ----------分
  • 公达
  • 公达
  • ♂ 36
  • 9级
  • 自律力97.20
  • 北京
  • 程序员

合作伙伴

免费没广告,线上在线自习室晚自习。支持番茄工作法、四象限、打卡、作业清单、作业辅导、作业交流、作业跟踪、作业计划

行恒 © 行恒 2013