Kay Ke: Inside Physical Intelligence's Open-Source Robot Models and the Robotics Landscape - 图文解说

一张关键画面对应一段完整解说,按原视频时间推进。

文章摘要

本期是张小珺Physical Intelligence研究员柯丽一鸣(Kay Ke)的近四小时长谈,从小说创作、个人经历和职业选择进入机器人领域的技术谱系、创业图谱与未来社会。技术主线是Pi开放模型从π0π0.5再到π*0.6的演进:能力、泛化与表现分别成为阶段关键词,对谈完整讨论真实机器人数据、模仿学习强化学习、模型架构、评估方式以及软硬件协同后半段进一步展开Pi的组织文化、放弃剑桥教职的选择、中国机器人产业、多模态与空间理解前沿,以及机器人能否自我组装并形成一种可延续的“种族”;结尾回到小说、人文表达和“语言即世界”。

01. 开场:Pi与机器人“大脑”(00:01-01:07)

场景 1

本节主旨开场:Pi与机器人“大脑”

完整内容

张小珺:哈喽,大家好,我是小珺。今天的嘉宾是硅谷机器人公司 Physical Intelligence(Pi)的研究员柯丽一鸣。Pi 是一家在硅谷研究机器人“大脑”、很有名的创业公司。

张小珺:我们一起来聊一聊整个美国的机器人叙事与进展。柯丽一鸣除了是机器人研究员,业余还是一位网文写手。

张小珺:这让今天的聊天变得更有趣了。接下来就是我对柯丽一鸣的访谈。

柯丽一鸣 Kay Ke:确实我们不做人形,因为他们要说做人形我就不来了,你知道吧?

柯丽一鸣 Kay Ke:我其实一直很想做的是让机器人能够制造自己。我觉得这可能会成为机器人发展的里程碑,因为一个种族需要具有延续性,能够通过某种方式自我繁殖。

柯丽一鸣 Kay Ke:我觉得机器人能够组装造自己,就是一种繁殖的体现。

柯丽一鸣 Kay Ke:第一篇是 π0,它的关键词应该就是能力。

柯丽一鸣 Kay Ke:第二篇是π0.5,它的关键词是泛化

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:最近的这篇是 **π*0.6**,它的关键词是表现。

张小珺你们公司其他人会很关注中国机器人的发展吗?

柯丽一鸣 Kay Ke:我觉得都很关注,这是不可忽视的一部分。

画面说明

柯丽一鸣身穿棕色外套坐在演播室右侧,片头用她的回答预告Pi模型与中国机器人话题。

02. 机器人与小说家(01:12-16:35)

场景 2

本节主旨机器人与小说家

完整内容

张小珺:我们今天的嘉宾是硅谷机器人公司 Physical Intelligence(Pi)的研究员柯丽一鸣,朋友们平时叫她 Kay。Physical Intelligence 是一家在硅谷探索机器人“大脑”、非常有名的公司。

张小珺前两天我和 Kay 聊天,发现她除了是一位 researcher,业余还是一位网文写手。Kay,你先介绍一下自己?

柯丽一鸣 Kay Ke:大家好,我是柯丽一鸣,平时朋友都叫我 Kay。

柯丽一鸣 Kay Ke:我呢每天平时的工作是教机器人能够更快更好的去完成任务。

柯丽一鸣 Kay Ke:然后业余的时间我是非常喜欢人文啊、艺术啊这些东西。

柯丽一鸣 Kay Ke:嗯,写小说也是一种可能表达这种情绪的方法。

柯丽一鸣 Kay Ke:很高兴今天能能有这样一个机会梳理一下自己在研究中的想法,和大家分享。

张小珺你觉得做机器人和写小说有什么共通之处啊?

柯丽一鸣 Kay Ke:我觉得嗯都是有一些创造力的需求的。

柯丽一鸣 Kay Ke:比如说这个机器人,它现在完成很多任务还不够好,你需要想一些新的方法。

柯丽一鸣 Kay Ke:而写小说呢,可能你真正想写的那个故事还没有被写出来,你也是需要把它创造出来。

柯丽一鸣 Kay Ke:很多时候需要一些比较天马行空啊,这样的想法。

柯丽一鸣 Kay Ke:另外呢,也是有一种执行力吧。

柯丽一鸣 Kay Ke:像我在做研究过程中,其实经常是有了一个想法以后,哎,慢慢的把这个想法落地,中间需要一些工程这样的,呃,写代码啊这样的事情。

柯丽一鸣 Kay Ke:而且小说有的时候是有了一个命题,就为了让读者感受到这个命题,开始一个字一个字的在那里码。

张小珺哎,我很好奇啊,你平时写什么小说?

张小珺你在小说里,有没有藏着一个与硅谷机器人公司内部叙事不一样的世界观?

柯丽一鸣 Kay Ke:嗯,平时写的比较多的是科幻小说,这个也是我最爱读的小说分类之一。

柯丽一鸣 Kay Ke:科幻小说的话,我觉得

柯丽一鸣 Kay Ke:肯定是和我们现在生活的这个硅谷,现在所处这个时代有一些关系。

柯丽一鸣 Kay Ke:因为我在科幻小说中比较痴迷的一些类型,都会涉及到两个命题吧。

柯丽一鸣 Kay Ke:第一个是生产力变化以后,人们的生活是怎么改变的?

柯丽一鸣 Kay Ke:第二个命题是在和我们的社会风貌很不一样的这种未来啊、科幻的社会里面,人与人之间的关系。

柯丽一鸣 Kay Ke:是怎么样的?

柯丽一鸣 Kay Ke:因为我觉得在第一个命题上面,嗯,可能和我的工作会更相关一些吧。

柯丽一鸣 Kay Ke:工作时候就经常会考虑到我们做这些人工智能的研究,做这个机器人是一种自动化。

柯丽一鸣 Kay Ke:如果你能够把很多现在人做的事情给自动化的提升一下效率以后,呃,人去做什么样的事情是一个其实每天都会想的一个命题。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:第二种呢?

柯丽一鸣 Kay Ke:可能是我因为我觉得呃人与人之间的关系是一个自古永恒不变的话题。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:在写小说过程中,你可能也会去读别人的小说啊,也会和几千年前的这些生活在不同世界的人。

柯丽一鸣 Kay Ke:他们的一些思想产生共鸣,我觉得应该是有一些人性之类的东西,即使是在生产力大幅度变化的未来科技社会,也会流传下去。

张小珺所以在 AI 这个时代,在机器人马上就要呃进入我们的生活的这个时代,你觉得人会发生什么变化?人和人之间的关系会发生什么变化?而且现在不是人和人之间关系,还有人和机器人之间的关系会发生什么变化?

柯丽一鸣 Kay Ke:嗯,我觉得这是一个,就是正在梳理中,还没有一个很确切的结论的话题。

柯丽一鸣 Kay Ke:因为一谈到人和人的关系,就是我是一个相对而言比较内向的人,你可以纵,从每一个人不同的研究风格中稍微感受到一些。

柯丽一鸣 Kay Ke:我觉得我的研究风格的话,很多时候是

柯丽一鸣 Kay Ke:我先想把自己就是埋在一个洞穴里面,先埋头苦思一会。

柯丽一鸣 Kay Ke:但是为了不要变成一个闭门造车的人,你肯定还是要把头从这个土里拿出来,然后去

柯丽一鸣 Kay Ke:到这样的场合和别人去交流,去碰撞一下思想。

柯丽一鸣 Kay Ke:然后接下来真的定下来一个命题以后去执行,这个执行我一直觉得嗯以前的话

柯丽一鸣 Kay Ke:我在 PhD 期间,读博期间是一个比较独狼的一个玩家。

柯丽一鸣 Kay Ke:哦,就是你有一个想法,啊,你想要去实现,那就说干就干呗。

柯丽一鸣 Kay Ke:中间遇到了什么问题,我们可以自己去上网去探索啊,去学习啊,我们可以通过提升自己的技能。

柯丽一鸣 Kay Ke:组织一个比较小的队伍去解决这个问题。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:而从读博毕业以后呢,加入到了这么一家初创公司,做机器人的具身智能的大脑。

柯丽一鸣 Kay Ke:一个比较深切的感受就是。

柯丽一鸣 Kay Ke:有一些事情是得在一个团队的协作中才能完成。

柯丽一鸣 Kay Ke:之前读博的一种嗯项目呢,可能它的这个规模是比较小的,要解决的问题也是比较具体的。

柯丽一鸣 Kay Ke:而现在为了要做成这个通用的大脑。

柯丽一鸣 Kay Ke:你是需要团队中每个人都在自己比较擅长的事情上发挥作用。

柯丽一鸣 Kay Ke:所以是一种,就是为了完成一个任务啊,要大家齐心协力,这中间的很多人与人之间的这个关系联系会比我之前的那种可能要紧密一些。

柯丽一鸣 Kay Ke:同时呢我在想,就如果生产力变化以后,因为最近硅谷不是有很多这种 Claude Code 可以自动帮你编程的这种小工具。

柯丽一鸣 Kay Ke:人与人之间的这个关系好像又可以不用那么紧密了,因为有的时候我与其是去问,哎,这个我现在需需要做的这个项目需要用到某一个模块,这个模块的负责人,我是直接跟他

柯丽一鸣 Kay Ke:说一下我们这个呃是怎么回事,问一下他可不可行。

柯丽一鸣 Kay Ke:我干嘛不直接问这个 Claude Code 呢?

柯丽一鸣 Kay Ke:我可以通过就是呃和这个 AI 的一个智能体的交流,把以前我需要和人交流的这个方面给他。

柯丽一鸣 Kay Ke:拿掉了,就是减少了我对这个的依赖。

柯丽一鸣 Kay Ke:甚至包括我们现在很多自己的工作流程也是一个人掌控着三四个 agent 然后让 agent 去干很多活。

柯丽一鸣 Kay Ke:这个有一些改变了团队协作的中间,人与人之间的关系。

柯丽一鸣 Kay Ke:但是你在跟人沟通之前,会先去找Claude。

柯丽一鸣 Kay Ke:没错。

柯丽一鸣 Kay Ke:然后 claude 成了人和人中间的那那个环节。

柯丽一鸣 Kay Ke:没错,嗯,我觉得这个关系就是有,我在构思一些小说的时候是会受到这个关系的启发,比如说

柯丽一鸣 Kay Ke:呃,一个是想法是说现在在一个比较信息爆炸的时代。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:我觉得现在可能已经有人是这样的了,信息爆炸的时代以后,以前你的很多讯息都是我一个人去浏览。

柯丽一鸣 Kay Ke:一个浩如烟海的这个互联网信息。

柯丽一鸣 Kay Ke:但是有没有可能就是我有一个小 bot 就它可以把互联网上所有的这些信息就看得比我快,看得比我多,然后又了解我的喜好以后,全部揉碎了给我,吃给我,呃,再喂给我。

柯丽一鸣 Kay Ke:同时呢,就是如果以后真的大家都变成了默认的模式,就是由你的 bot 去爬这个信息,去分解这个信息的话,可能以后没有这个 bot 你就很难。

柯丽一鸣 Kay Ke:在浩如烟海的互联网里面生存了,因为你这个人能够看到信息就变得非常的有限。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:然后另外一种可能是我觉得生产力的进步吧。

柯丽一鸣 Kay Ke:我这个人因为之前是独狼玩家嘛,所以会就畅想一些,就是非常适合独狼玩家的一些生存方式。

柯丽一鸣 Kay Ke:比如说像嗯田园牧歌啊。

柯丽一鸣 Kay Ke:就一个人的这种乡村生活啊,大家会在 YouTube 上也会看一看这样的类似的博主,我会畅想一下说,哎呀,我这个将来就到一个远离人烟的地方去生活。

柯丽一鸣 Kay Ke:然后这种生活现在的话

柯丽一鸣 Kay Ke:叫我我肯定不敢去,我会觉得要干好多事情哦,要脱离这个现代社会的这种基建的支持去干这么多事情,一个人力。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:对我我能做到这些事情吗?

柯丽一鸣 Kay Ke:我这个烧水啊,弄饭啊,这些可能现在还有一些基建,但是在家里这些家务啊,还有各种各样,就是我不想干的事情,我怎么能够在远离人

柯丽一鸣 Kay Ke:间的

柯丽一鸣 Kay Ke:方式下把它干出来。

柯丽一鸣 Kay Ke:会想到就是我们现在正在做的机器人,比较近期一些的应用,可能就是说能够把我不想做的事情给它嗯做掉。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:但是以后更多的畅想是说,如果真的有一天机器人的这个

柯丽一鸣 Kay Ke:技术能够飞速发展的话,可能你现在需要拜托很多人,比如说修水管,这是一个哎,美国社会永恒的难题,修水管,你现在是需要依赖人的,但将来也可能是机器人来解决。

柯丽一鸣 Kay Ke:甚至包括你现在做的很多项目,就是随着这个智能体的发展。

柯丽一鸣 Kay Ke:以前可能是需要你拉一个人的团队,以后可不可能是拉一个人工智能或者机器人的团队?

柯丽一鸣 Kay Ke:甚至就像现在的我们去看很多一千年前的原始社会,可能会觉得他们

柯丽一鸣 Kay Ke:生产力制造也没有那么发达,如果我们在一千年后再看的话,说不定他们看我们也是原始社会,他们那个时候每一个人能够拥有的这个生产力,都相当于现在每一个国家能够拥有的生产力。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:我觉得这个可能独狼玩家会挺快乐的。

柯丽一鸣 Kay Ke:哦,那人和人的关系会变得更加的松散。

柯丽一鸣 Kay Ke:我觉得是可以让人和人的

柯丽一鸣 Kay Ke:之间的关系变得更加松散,可能在原始社会一个人在广袤的大自然里面独自去狩猎生存的话是比较难。

柯丽一鸣 Kay Ke:而现在的话,找一个地方埋起来好像

柯丽一鸣 Kay Ke:把自己头埋起来好像没有那么大的问题。

柯丽一鸣 Kay Ke:但将来也许可能在宇宙中,你可以探索,你说不定可以就是发现了一个小星球。

柯丽一鸣 Kay Ke:哎,你就直接在这个星球上面定居,你就可以搞很多机器人来帮你在这个

柯丽一鸣 Kay Ke:荒无人烟的星球上面搞好基建,你可以建很多你想建的。

柯丽一鸣 Kay Ke:你想建高楼大厦啊,你想造这个那个都可以成功,我觉得还蛮有意思的。

柯丽一鸣 Kay Ke:所以脱离一切的。

张小珺嗯,外部的条件限制,你自己是希望能够回到洞穴里去的,是吗?为什么呢?我觉得嗯并不是完全是说彻底地活在洞穴之中。

柯丽一鸣 Kay Ke:但是人对于自己的这个空间吧,是会有一些追求的。

柯丽一鸣 Kay Ke:作为一个内向的人,我觉得我的回复能量的方式其实是一个人静静。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:然后在一个硅谷这么一个非常喧嚣,非常呃无时无刻都有新的讯息涌入的一个环境里面,能够找一个空间去自己静静,其实

柯丽一鸣 Kay Ke:比我以前的这种生活是有一些难度的。

柯丽一鸣 Kay Ke:所以可能对这个,哎,找一个洞穴啊,稍微待一阵子产生了一些向往。

柯丽一鸣 Kay Ke:但我也认为,就是人还是社会性动物吧。

张小珺:在洞穴里待久了,可能像我这样的人也也会想要走出来再看一看。说到这个还挺有意思,我记得有一个老师,他说他对于他下一代的小孩不跟人谈恋爱了,只跟机器人谈恋爱。

柯丽一鸣 Kay Ke:一点惊讶都没有,现在你能接受这个事情吗?

柯丽一鸣 Kay Ke:我觉得我还挺能接受的,因为我是老二次元了。

柯丽一鸣 Kay Ke:就我的生活中是有不少这样的朋友,他们的生活方式可能和老一辈的那种观念是很不一样。

柯丽一鸣 Kay Ke:但是因为他们一起,呃,熟了,熟悉了很久的朋友,我甚至能够理解,就是他们做的这些,就是啊,不想和人类谈恋爱的选择呀,或者他们自己在社交方面的一些偏好啊,以及包括大家对纸片人

柯丽一鸣 Kay Ke:二次元的这种造物的喜爱,包括我自己也是有从,有有参与一些就是这种二次元的这个同好活动的。

柯丽一鸣 Kay Ke:哪些文学作品、影视作品或者

柯丽一鸣 Kay Ke:各种各样的文艺作品有对你嗯的机器人的思考有过帮助和影响吗?

柯丽一鸣 Kay Ke:嗯,我觉得一时半会很难指出哪一个具体的作品,但我们也许在谈话过程中会触及一些别的,我都可以分享。

柯丽一鸣 Kay Ke:但是我觉得现在有一些,或者说之前看到的一小类的文学作品中描绘的这种人工智能的毁灭世界的这个,这这个命题让我觉得有一些

柯丽一鸣 Kay Ke:来从从现在的角度,以我有限的视角来看,会觉得不太可能吧?

柯丽一鸣 Kay Ke:啊,真的会走到这一步吗?

柯丽一鸣 Kay Ke:所以会有一些反思,就是我们真的会

柯丽一鸣 Kay Ke:就是开发出一个智能体,然后然后不知道怎么的,它的可能诞生的使命是帮助人类,但最后它的存在的客观意义上却变成了

柯丽一鸣 Kay Ke:就是与人类变成一个对立的关系。

柯丽一鸣 Kay Ke:我觉得现在的我是很难想的,但是因为一直没有想通为什么这个逻辑是成立的,所以一直都在想。

柯丽一鸣 Kay Ke:为什么这个逻辑不成立呢?

柯丽一鸣 Kay Ke:我觉得以现在的,就是2026年,我们弄一个快照,看看现在的状况的话,我会觉得哎,现在智能体干的最坏的事情是什么?

柯丽一鸣 Kay Ke:哦,我知道好像前几天有一个什么

柯丽一鸣 Kay Ke:人把很多的权限给了一个智能体,让它帮自己清邮箱。

柯丽一鸣 Kay Ke:结果这个智能体呃得到了这个权限以后,就把他的邮箱全都删了。

柯丽一鸣 Kay Ke:删得快差不多了,就他的命题就是给这个智能体的任务是得到了执行,但智能体的执行并没有和他真正想要的这个任务。

柯丽一鸣 Kay Ke:重合。

柯丽一鸣 Kay Ke:我觉得这个问题是确实存在,但现在智能体得到的权限、承担的责任以及它能做的事都比较有限。

柯丽一鸣 Kay Ke:就得到权限的话,很多时候大家都是会

柯丽一鸣 Kay Ke:prompt 就是哎,你现在不清楚的话,你先别慌着动,先跟人确认一下。

柯丽一鸣 Kay Ke:然后呃他承担的责任,比如说我之前其实有攀岩去受伤,受伤的过程中我就是到处求医问药,但美国这个社会的医疗是有一些

柯丽一鸣 Kay Ke:男的。

柯丽一鸣 Kay Ke:这个时候我就会把我的一些医疗的资讯发给这个智能体,去让它给我解答。

柯丽一鸣 Kay Ke:但是其实在这个解答过程中,我也不会真的就彻底的相信说。

柯丽一鸣 Kay Ke:我也不可能说这个 AI 跟我说什么我就信什么,对吧?

柯丽一鸣 Kay Ke:我肯定还是要把它带到一个人类专家的面前去跟他确认。

柯丽一鸣 Kay Ke:因为我不觉得就是如果我真的呃基于它的这个推荐做了一个什么事的话,它是能够承担责任的。

柯丽一鸣 Kay Ke:对承担责任这个方面,我觉得现在

柯丽一鸣 Kay Ke:他承担的责任还非常有限。

柯丽一鸣 Kay Ke:而在这种这种人类社会里面,就是谁能够承担责任,才会建立一个信任。

柯丽一鸣 Kay Ke:我觉得这种信任还是在演化的过程中,还没有到。

柯丽一鸣 Kay Ke:我们就完全相信一个智能体,给他那么多权限。

柯丽一鸣 Kay Ke:然后最后是他现在能做的事情,我觉得也比较有限。

柯丽一鸣 Kay Ke:比如说我们机器人,我们有的时候行业内部笑话,这个笑话可能有些已经有一点过时了,这是大概三四年前和一个

柯丽一鸣 Kay Ke:快要毕业的同学在聊天,我们就在吐槽说,啊,我们这都就每天都在做什么呢?

柯丽一鸣 Kay Ke:就是让这个机器人把一个红色的方块放到一个蓝色的方块上。

柯丽一鸣 Kay Ke:这不是3岁小孩都会做的事情吗?

柯丽一鸣 Kay Ke:我们天天就在这。

柯丽一鸣 Kay Ke:花了5年时间读了一个博士,然后教机器人做,做的可能也许或者还没有3岁小孩好。

柯丽一鸣 Kay Ke:还不如生个娃。

柯丽一鸣 Kay Ke:人类的学习速度是非常快。

柯丽一鸣 Kay Ke:啊。

柯丽一鸣 Kay Ke:对。

柯丽一鸣 Kay Ke:所以我觉得这三点因素导致了。

柯丽一鸣 Kay Ke:在我看现在的智能体,我是不太相信它能够在现在这种节点上做到。

柯丽一鸣 Kay Ke:跟人类的对立面这种。

柯丽一鸣 Kay Ke:嗯。

张小珺:因为写小说和写网文其实都要从现实世界有很多的取材,很多是取材于生活。我没有看过你的小说,因为你不告诉我你的网名。但是我很好奇,你会把你在

张小珺派的工作经历的哪一个部分作为素材提取出来?嗯,放到虚构的作品里去。哇,我其实是一个工作和生活分得相当开的一个人,我觉得在派的

柯丽一鸣 Kay Ke:工作经历肯定是影响了我的思考。

柯丽一鸣 Kay Ke:比如说你对技术发展到哪一步了,以及技术发展中的一些嗯就是 corky 比如说比较特殊的一些东西,会有更多的一些思考,就比较具体的思考。

柯丽一鸣 Kay Ke:而我的网文很多时候就天马行空,哎呀,在网上保护好自己的身份,以后想写啥想写啥,不是挺好的吗?

张小珺所以你们告诉我们的网名是什么?

柯丽一鸣 Kay Ke:不行,救命啊,马甲。

张小珺:马甲保护好。嗯,呃那我们接下来聊聊你的成长吧。好。因为呃我发现很多硅谷的人都是从小受益于竞赛的一一群人。

画面说明

柯丽一鸣在固定机位中讲述机器人研究、小说创作与未来生活。

03. 武侠、板寸与背包客(16:35-35:42)

场景 3

本节主旨武侠、板寸与背包客

完整内容

张小珺:是的。我感觉这个还挺多见的,能不能讲讲你的成长经历?呃,你是通过竞赛改变命运的人吗?你能算这个类别吗?我觉得是。

柯丽一鸣 Kay Ke:是,而且当我在成长的过程中有一些感触,但甚至都没有现在的感触那么的深。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:我觉得我人生中是有一些关键的节点,或多或少都受到了我搞信息学竞赛这个影响。

柯丽一鸣 Kay Ke:其实我小时候出生在安徽省,然后上学呢是在安徽省的芜湖市。

柯丽一鸣 Kay Ke:这是一个可能嗯互联网上大家了解它都是因为芜湖起飞这么一个网络用语,但它其实是一个城市。

柯丽一鸣 Kay Ke:这个城市呢,它就客观来说的话,它的教育资源什么的可能和大城市啊,比如说上海啊这样地方还是有一些差距。

柯丽一鸣 Kay Ke:但是非常凑巧的是,我们这个城市有一个很优秀的信息学的一个竞赛老师。

柯丽一鸣 Kay Ke:他当时是在我们城市那边

柯丽一鸣 Kay Ke:呃,做学生的时候,因为一些事故受了伤,然后失去了双手。

柯丽一鸣 Kay Ke:所以这一个遭遇呢,让他最后在就业的时候可能影响到了他,让他选择就是回到这个家乡。

柯丽一鸣 Kay Ke:去当了一个计算机老师。

柯丽一鸣 Kay Ke:但是因为他这个人非常的聪明和优秀,所以他在这个投身计算机教育的过程中,就是他出力,他是江涛老师。

柯丽一鸣 Kay Ke:我甚至跟他都没有

柯丽一鸣 Kay Ke:真正的面对面的交流过,但是我觉得我是有从他的很多这种啊贡献中受益的。

柯丽一鸣 Kay Ke:就是他在我们那个城市开设了比较系统的

柯丽一鸣 Kay Ke:呃,竞赛的这种批次培呃培养。

柯丽一鸣 Kay Ke:什么意思呢?

柯丽一鸣 Kay Ke:就是像我们小时候会上那种奥数班嘛,就是在我们那个城市其实是非常正规的有信息学奥赛班,它就是个兴趣班。

柯丽一鸣 Kay Ke:你家小宝宝几岁了?

柯丽一鸣 Kay Ke:哎,我是8岁去学的这个东西。

柯丽一鸣 Kay Ke:当时我们小孩子也没有想太多,只是觉得可以玩电脑了,太高兴了。

柯丽一鸣 Kay Ke:只只要不要我去学一些正儿八经的东西,让我去玩一些

柯丽一鸣 Kay Ke:不那么正儿八经的东西,我都是非常高兴的。

柯丽一鸣 Kay Ke:所以在这个过程中,就无意之中打下了一些后来就编程的基础,并且一步一步地去走上了竞赛的道路。

柯丽一鸣 Kay Ke:然后在成长过程中呢,我也是探索过其他的职业发展的。

柯丽一鸣 Kay Ke:比如说我大学其实学的是心理学,嗯,最后又转成了经济学。

柯丽一鸣 Kay Ke:大学本科是去心理学。

柯丽一鸣 Kay Ke:我是心理学开始的。

柯丽一鸣 Kay Ke:哦。

柯丽一鸣 Kay Ke:对,我的大一,因为美国大学它是可以换专业的嘛。

柯丽一鸣 Kay Ke:我的大一的选择的专业其实是心理学。

柯丽一鸣 Kay Ke:在学过了一些心理学以后,感觉到了。

柯丽一鸣 Kay Ke:第一,学的东西非常有趣。

柯丽一鸣 Kay Ke:第二,我实在是不太适合做心理学。

柯丽一鸣 Kay Ke:为什么?

柯丽一鸣 Kay Ke:嗯,我觉得有时候人是有一些打破砂锅问到底的这种。

柯丽一鸣 Kay Ke:性格在我身上。

柯丽一鸣 Kay Ke:如果在学心理学的过程中呢,就会有一种,这个玩意他说的非常的有道理。

柯丽一鸣 Kay Ke:但是如果我想打破砂锅问到底的话,我也许可以做,但是要很多年以后啊,或者说做一些别的事情。

柯丽一鸣 Kay Ke:不够直接,可能我们对于就是解决问题,解决一个非常具体的问题是有一种痴迷的。

柯丽一鸣 Kay Ke:所以当时又去学了经济学,就是想要了解一下自己生活的这个世界。

柯丽一鸣 Kay Ke:但是最后转回了计算机,还是那个原因,就是觉得这个

柯丽一鸣 Kay Ke:能够帮助我了解这个世界,但不能帮助我了解我在这个世界中想做些什么事情。

柯丽一鸣 Kay Ke:所以最后还是转回了一个相对而言更理工科的这个计算机的这个道路。

柯丽一鸣 Kay Ke:所以你整个大学经历了两次换专业。

柯丽一鸣 Kay Ke:对

柯丽一鸣 Kay Ke:然后在这个成长的过程中,能够探索其他的行业,再回到计算机。

柯丽一鸣 Kay Ke:我觉得真的是因为,就是非常的非常的感激,就是小时候有这些竞赛的这个辅助。

张小珺:嗯。竞赛对你性格影响大吗?

柯丽一鸣 Kay Ke:其实不是很大,因为我搞竞赛的时候还是那种比较悠闲的。

柯丽一鸣 Kay Ke:因为小时候对我来说只是一个兴趣班而已,我们就是觉得这个东西好好玩哦,因为刚开始学的时候是学 LOGO 语言。

柯丽一鸣 Kay Ke:它不是像现在这样都是打文字,它是一个图形的一个界面。

柯丽一鸣 Kay Ke:作为一个小学生,看到这么一个计算机,它可以画画,然后你就让它画各种各样好好玩的画,当时就觉得非常的高兴。

柯丽一鸣 Kay Ke:嗯,所以在竞赛的过程中,我对于计算机编程的体感一直是非常快乐的。

柯丽一鸣 Kay Ke:啊,当时还有一本教材是中学生学 C 语言,其实我这可能是我这辈子唯一就认真读完的。

柯丽一鸣 Kay Ke:就编程教材,后来的话都是网上现学现卖。

柯丽一鸣 Kay Ke:因为在读这个教材过程中,作为一个小孩子,他接触编程,我觉得真的是有一种

柯丽一鸣 Kay Ke:就思维会不太一样吧,就他会用讲故事的方法教你很多编程的原理。

柯丽一鸣 Kay Ke:比如说递归啊,就是跟灯神去许愿,然后许了一个以后让他再给你三个愿望。

柯丽一鸣 Kay Ke:就我说这些东西都非常的

柯丽一鸣 Kay Ke:自然而然的就能够融入到我的生活之中,把它有一些内化了。

柯丽一鸣 Kay Ke:所以在这个层面上,就搞竞赛或者说很早的去学习编程这件事情,对我的思维有一些影响,但可能是比较润物细无声的,我并没有感觉到。

柯丽一鸣 Kay Ke:他对我的这种性格造成了一些,啊,就是非常明显,非常突然的那种变化。

柯丽一鸣 Kay Ke:你小时候是一个很乖的小孩,还是一个叛逆的小孩?

柯丽一鸣 Kay Ke:是一个什么样的小孩?

柯丽一鸣 Kay Ke:是一个看起来很乖,但实际上很叛逆的小孩。

柯丽一鸣 Kay Ke:有多叛逆啊?

柯丽一鸣 Kay Ke:我就记得我我小时候上小学的时候,第一天我爸妈不知道怎么想的,给我剪了一个板寸头。

柯丽一鸣 Kay Ke:哦。

柯丽一鸣 Kay Ke:然后当时你知道小学生的话,你去一个小女生,然后留着一个板寸头,然后大家就会笑话你。

柯丽一鸣 Kay Ke:我就记我就记得上小学的第一天,我是哭着上学的。

柯丽一鸣 Kay Ke:因为被大家嘲笑而内心无法忍受,就是不知道该怎么处理这种事情,就哭了。

柯丽一鸣 Kay Ke:可能是我小学哭的最惨的一次。

柯丽一鸣 Kay Ke:然后当我小学毕业的时候,已经变成了学校里的大姐大。

柯丽一鸣 Kay Ke:就是

柯丽一鸣 Kay Ke:有什么想法我们可以坐下来的。

柯丽一鸣 Kay Ke:坐吧,坐着聊聊,不行的话就把你打服。

柯丽一鸣 Kay Ke:是,当然,就是使用暴力不是一个很很很很好的事情,只是在小学那个环境下,我感觉我

柯丽一鸣 Kay Ke:你能明显看到我的一些性格上有一些那么一个不太服的这种方面。

柯丽一鸣 Kay Ke:嗯,你是怎么在小学那个环境里面,从一个

柯丽一鸣 Kay Ke:第一天哭鼻子小女孩变成一个大姐大的。

柯丽一鸣 Kay Ke:我知道别人都叫你柯姐,对吧?

柯丽一鸣 Kay Ke:哦,对,这是我朋友对我的称呼。

柯丽一鸣 Kay Ke:从小学一直到高中都是这样。

柯丽一鸣 Kay Ke:我觉得可能

柯丽一鸣 Kay Ke:学会了动手。

柯丽一鸣 Kay Ke:我觉得性格上有一些就是路见不平一声吼的这种因素在里面吧,会有一些对公平啊正义啊这种事情的一种追求,然后也会去

柯丽一鸣 Kay Ke:在小学时候也会去想办法完成这种事情。

柯丽一鸣 Kay Ke:比如说小学的时候会看到有一些人在欺负别的人,我就会说你在干嘛?

柯丽一鸣 Kay Ke:你不行我们就来打一打,你这样不能,你这样不行,就会会去

张小珺:达到一种心中那种正义的状态。在你心中有什么是别人觉得可以接受,但你觉得是触发了你对这个世界不公平不正义的感知?

张小珺然后你要反抗的。

柯丽一鸣 Kay Ke:我觉得生活中确实没有那么多事情是绝对的公平,甚至公平的定义都很

柯丽一鸣 Kay Ke:模糊吧,可能不同人有不同的想法。

柯丽一鸣 Kay Ke:嗯,我只是一个尽量在自己的力所能及的范围内维持一种公平。

柯丽一鸣 Kay Ke:有的时候我觉得每个人也没有什么权利去要求另外一个人一定要按照他的想法去做。

柯丽一鸣 Kay Ke:但是在这一层之上有什么东西是我觉得他还是比较有

柯丽一鸣 Kay Ke:普世价值的,可以这么去想的,我觉得,嗯,一方面是

柯丽一鸣 Kay Ke:一方面可能是,我觉得有些心痛吧,就是教育资源这个方面。

柯丽一鸣 Kay Ke:当我出了国以后会有一些感慨,就是我在国内受教育的这段过程中。

柯丽一鸣 Kay Ke:其实是曾经觉得我想上一下清华北大这样的学校,会想去考。

柯丽一鸣 Kay Ke:但是因为我在安徽省,其实安徽省的话是每一万个人里面可能有三个人、四个人。

柯丽一鸣 Kay Ke:能够上到清华北大。

柯丽一鸣 Kay Ke:我觉得我当时上的是竞赛班嘛,在高中,然后也是从传统的升学道路里面一步一步学出来的,我也不是一个特别

柯丽一鸣 Kay Ke:优秀的那种,就优秀到骨子里,就是真的非常热爱学习,花很多时间去学习的。

柯丽一鸣 Kay Ke:我就是一个竞赛班里面就是中等,我喜欢的事情就多学,不喜欢的事情就少学的那种学生。

柯丽一鸣 Kay Ke:所以我知道我可能

柯丽一鸣 Kay Ke:就除非我转了性,然后特别用功,才有可能拼一拼这个一万个人里面的三四个人。

柯丽一鸣 Kay Ke:而当我出来以后,会发现其他一些的省份可能确实有一些教育资源上的优势吧。

柯丽一鸣 Kay Ke:比如说在大城市的话,可能会有

柯丽一鸣 Kay Ke:这个一万个人里面有八十个人都能上清华北大,这种数字在安徽是想都不敢想的,会觉得嗯是有一些资源分配上的事情。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:但是可能在现在这个时间点上,更多的能够

柯丽一鸣 Kay Ke:想的是如何通过创造更新的生产力来在某个层面上抹平这些公平吧。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:所以你觉得你不是呃这种激烈教育的优胜者。

柯丽一鸣 Kay Ke:我对我的同班,尤其是初中高中的这些同班同学,终于报以崇高的敬意。

柯丽一鸣 Kay Ke:我实在是没有办法像他们这样的卷。

柯丽一鸣 Kay Ke:嗯,因为嗯我们是竞赛班嘛,竞赛班上的大家我觉得都非常的努力,都非常的知道自己想要什么,不像我我这种就从小就有点,虽然看着很乖,我是不会做一些特别坏的事情,但是我也没有那么的那么的乖,我就是学习这个东西,我就学我自己想学的就好了嘛,所以

柯丽一鸣 Kay Ke:在这种环境下,我觉得抱着这样心态确实是没有办法和这种特别优秀和专注的同学们相比。

柯丽一鸣 Kay Ke:你小时候做最叛逆的一件事情是什么?

柯丽一鸣 Kay Ke:最叛逆的事情,我觉得因为做的叛逆事情太多了,你是很难评出一个最叛逆的事情。

柯丽一鸣 Kay Ke:前三吧,前3名。

柯丽一鸣 Kay Ke:前三名?

柯丽一鸣 Kay Ke:哦,其实我我到高中的时候又把我的头发剪成了板寸。

柯丽一鸣 Kay Ke:哦。

柯丽一鸣 Kay Ke:因为当时就非常想去东南亚去旅行看一看,然后觉得自己一个人在东南亚可能不太安全。

柯丽一鸣 Kay Ke:就把头发剪成了板寸,然后整个人打扮的就是一个呃非常男孩子的样子,这样走在大街上可能大家也会

柯丽一鸣 Kay Ke:就是。

柯丽一鸣 Kay Ke:该怎么说呢?

柯丽一鸣 Kay Ke:就是去。

柯丽一鸣 Kay Ke:就是可以可以这么总结吧,就是可能是在东南亚背包的这段经历,相对而言是比较叛逆的。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:因为他是一个。

柯丽一鸣 Kay Ke:没有明显的目的,也没有明显的目标,也不知道它对我的人生有什么影响,但是就是非常的想做。

柯丽一鸣 Kay Ke:但其实还比较幸运的是,就家里人也没有那么的强烈的反对,他们只是觉得好奇怪啊,怎么做这个事情。

柯丽一鸣 Kay Ke:保护好自己的安全,然后每天就是不停的骚扰我说就赶紧劝回来吧,劝回来不要再搞这些奇怪的事情。

柯丽一鸣 Kay Ke:你们是高几去的东南亚?

柯丽一鸣 Kay Ke:大概就是高二底,就当时其实

柯丽一鸣 Kay Ke:嗯,就是已经想着要不要出国了,因为之前是在走升学的这种高中,所以没有知道自己是要出国的,就差不多是一个很快的一个思想上的转变,然后目标上的转变,然后稍微去执行了半年,然后

柯丽一鸣 Kay Ke:突然就发现自己还是有点闲的时间,当时就想说要做点什么,就去了东南亚背包。

柯丽一鸣 Kay Ke:因为之前非常的喜欢,有几本这个呃印度的神话相关的小说,开始迷上了这个印度的宗教的建筑,就想跑过去看一看。

柯丽一鸣 Kay Ke:去了多久?

柯丽一鸣 Kay Ke:去了大概两个星期。

柯丽一鸣 Kay Ke:一个人去的吗?

柯丽一鸣 Kay Ke:嗯,对,我一开始,但是我后面我爸爸妈妈也来找我了。

柯丽一鸣 Kay Ke:哦,他们可能还是有点不太放心。

张小珺所以你是为了去东南亚,所以把头发剪成板寸,为了自己安全?

柯丽一鸣 Kay Ke:我觉得这个是,但是其实头发剪成板寸非常的方便,因为我之前在在我成长的这个初中、高中的这个过程中,我的朋友们其实都知道我是一个非常不修边幅的人,什么头发打理啊、梳头发啊。

柯丽一鸣 Kay Ke:这个衣服的扣子呀,就是我到班上,上学到班上以后,就是班上有一些跟我关系比较好的女同学,就会来帮我稍微打理一下仪表,因为实在是看不下去了。

张小珺:我在想,你去东南亚把头发剪成板寸,是不是潜在内心是有一种不安全感的?很难描述,但是,因为会不自觉地认为,就是如果

柯丽一鸣 Kay Ke:可以像一个,就是就是像一个外表像男生的话,大家可能就没有那么多的不好的想法,就可以提前保护自己这样的想法。

张小珺你觉得这种不安全感它可能来自于哪里呢?

柯丽一鸣 Kay Ke:我觉得社会中的认知,就是新闻啊,或者说很多呃听到的事情会让大家作为一个女生,觉得自己处境

柯丽一鸣 Kay Ke:会有一点点处在被,就是可,更可能受到侵害的这个位置上。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:所以就会想要花更多的心思去思考怎么保护自己。

张小珺:我觉得你的选择很有意思,因为有的人会觉得不安全,那我就不去就好了,那我就是安全的,我就在家里。那还是要去的,自己想干的事情得找个方法把它实现。

张小珺你的方法是我把我自己演示成男生。

张小珺:然后我就安全了。我觉得这是方法中的一种,可能是当时的我觉得最轻松方便又好用的方法。你是怎么突然决定要出国留学的呀?你刚才也说你之前其实

柯丽一鸣 Kay Ke:也是想着要考大学,突然转变了轨道。

柯丽一鸣 Kay Ke:对,这个我觉得就是人生中的冥冥之中的一个很小的决定,因为当时在高中看来是有三条路嘛。

柯丽一鸣 Kay Ke:嗯,第一条路就是。

柯丽一鸣 Kay Ke:嗯,升学,但是刚才也说了,就是在我的同班同学面前,我觉得自己就是一个渣渣,就是那种不上不下。

柯丽一鸣 Kay Ke:哎呀,叫我再再再花一点心思去提升自己的成绩,对不起,我真的做不到,就是

柯丽一鸣 Kay Ke:就是我我没有办法做我不相信不认同的事情。

柯丽一鸣 Kay Ke:而学校的很多事情里面,有一部分我是真的,我不知道我为什么要干这个事情,所以我提不起劲,提不起劲我就学不好。

柯丽一鸣 Kay Ke:比如说当时我就学了一些,就可能我比较喜欢像数学呀、物理呀这样的学科,我就觉得哎,我还是能够享受这个学习的过程。

柯丽一鸣 Kay Ke:剩下来有一些,像生物和化学,我相对而言就是弱一点。

柯丽一鸣 Kay Ke:要背。

柯丽一鸣 Kay Ke:哎,对。

柯丽一鸣 Kay Ke:然后当时就是成绩就怎么都上不去嘛,然后学校的老师或者同学或者家长也会劝你说。

柯丽一鸣 Kay Ke:好好加油,把这个短板给补了,你还可以冲一冲。

柯丽一鸣 Kay Ke:我就想说,我为什么要加油?

柯丽一鸣 Kay Ke:为什么要补这个短板?

柯丽一鸣 Kay Ke:为什么要冲一冲?

柯丽一鸣 Kay Ke:我不干了还不行?

柯丽一鸣 Kay Ke:我我不认同这个事情。

柯丽一鸣 Kay Ke:所以当时有这个

柯丽一鸣 Kay Ke:嗯,思考在的话,我就很难就是通过升学这个路去,上到像清华北大这样好的学校。

柯丽一鸣 Kay Ke:然后还有一个契机是嗯当时

柯丽一鸣 Kay Ke:呃,就是因为非常喜欢打游戏,就是非常叛逆嘛,就是人家在升学高中好好学习,我在升学高中天天就是看小说打游戏,然后偶尔接触到了一个叫雨雪的游戏。

柯丽一鸣 Kay Ke:嗯,当时打的时候,哎,每个人都有中二的年纪,当时打的时候惊为天人,觉得哇,我超喜欢古龙的小说。

柯丽一鸣 Kay Ke:这个游戏非常完美的诠释了,就是古龙小说的一种互动式应该是怎么样的。

柯丽一鸣 Kay Ke:所以当时就非常崇拜这个雨鞋的创始人,呃, Sofrem e 然后当时因为崇拜他,所以又去了解了一下他的生平,发现哎他是,他好像是清华大学的。

柯丽一鸣 Kay Ke:我说哎,这是第一次,我在一个比较叛逆的道路上走着走着发现

柯丽一鸣 Kay Ke:人家是正规科班出身的一个大神,我就,那看来上清华北大还是非常的有吸引力的。

柯丽一鸣 Kay Ke:但是因为自己的这个水水平可能不太能够上上去,然后当时就想到走竞赛保送这条路。

柯丽一鸣 Kay Ke:但是因为竞赛保送,呃,当时保送还是去中科大这样的地方。

柯丽一鸣 Kay Ke:中科大在我爸妈看来是非常好一个好大学,并且离家特别近。

柯丽一鸣 Kay Ke:在我看来是非常不好,因为它是一个好大学,但离家非常近。

柯丽一鸣 Kay Ke:所以就。

柯丽一鸣 Kay Ke:不能离家近。

柯丽一鸣 Kay Ke:不能离家近。

柯丽一鸣 Kay Ke:所以就想着说,嗯,想要去一些更远的地方,然后刚好当时了解到是雨姐的创始人,她去了耶鲁去留学,我就想说我也可以。

柯丽一鸣 Kay Ke:就是去留学吧,然后就跟家里人商量,然后就这么很偶然的就突然一下在高二的中间点转变成了,要不咱们去留学吧。

柯丽一鸣 Kay Ke:因为我是一个古龙的粉丝嘛,所以

柯丽一鸣 Kay Ke:它就是一种一种想象中的一种社会的一种剪影,而且因为这个剪影非常的纯粹,它有很多人的爱恨情仇。

柯丽一鸣 Kay Ke:都定格在最浓的那一瞬间。

柯丽一鸣 Kay Ke:所以在游玩这个故事场景的时候,会得到一种非常大的心理满足。

柯丽一鸣 Kay Ke:这种游戏的受众会是男孩。

柯丽一鸣 Kay Ke:这是我的偏见是吗?

柯丽一鸣 Kay Ke:我不知道该不该叫它偏见,我觉得也许是,也许你把这个统计学揉碎了来看,说不定它的这个更多的玩家确实是男玩家。

柯丽一鸣 Kay Ke:但可能在我心里并没有这种天生的,就是这个游戏就该是什么性别的人去玩这种想法。

柯丽一鸣 Kay Ke:嗯,它击中你的是什么呀?

柯丽一鸣 Kay Ke:这个游戏。

柯丽一鸣 Kay Ke:我觉得它柔和了几个我非常感兴趣的元素。

柯丽一鸣 Kay Ke:第一个是嗯它的美术风格。

柯丽一鸣 Kay Ke:我觉得人是生来体验的,我觉得这是我对人文的这些着迷的一个很重要的点,就是你是来体验很多不同的东西。

柯丽一鸣 Kay Ke:它能够通过这个场景的设置,以色调和这些非常阴郁的和你现在生活完全不一样的一个世界,快速的把你拉到一个完全不同的一种

柯丽一鸣 Kay Ke:可能性中,我觉得这个是非常吸引人的,就是人可能就寻求,就是很多人会寻求不同的体验嘛,有些人喜欢做这个事做那个事,我觉得就是游戏是其中的一种,非常快捷方便的把你拉到

柯丽一鸣 Kay Ke:平行世界,你可以在游戏里面当一个嗯小卖铺,卖家,这不是之前那个什么分手厨房啊,你还可以在游戏里经营餐馆,你可以体验很多不同的人生。

柯丽一鸣 Kay Ke:所以我觉得这个是 capture 了一种,就如果我去成为一个武侠是什么感觉。

柯丽一鸣 Kay Ke:另外的话是他的这个,哎呀,谁不中二呢?

柯丽一鸣 Kay Ke:都当时这种台词就觉得哇,好酷啊,这个台词就是。

柯丽一鸣 Kay Ke:不太记得清了,但我记,嗯,也许有一些东西太羞耻了,就已经忘记了。

柯丽一鸣 Kay Ke:但是对这种,呃,对这种,嗯,非常纯粹的情绪的碰撞,令我非常着迷。

柯丽一鸣 Kay Ke:就是有一种,哎,你背负着血海深仇。

柯丽一鸣 Kay Ke:你说我们在现代社会,你怎么会背负一个,就大部分人嘛,怎么会背负一个血海深仇?

柯丽一鸣 Kay Ke:这个就可以在游戏里体验。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:就当时因为

柯丽一鸣 Kay Ke:对,喜欢这个游戏,不自觉地去靠近嘛,就是可能潜意识里也有想过将来有一天如果我能够创作一个自己的内容,会非常的开心。

柯丽一鸣 Kay Ke:那看看别人这些已经创作出我非常喜欢的内容的人,之前的路径是怎么走的,我们也可以向他靠近一点。

张小珺所以你没有想过一个科学家的成长路径是怎么发展,你也没有想过一个企业家的成长路径是怎么发展的。在构思的是,哦,原来这个游戏制作人的成长路径是怎么发展的。那你为什么没有去做游戏呢?

柯丽一鸣 Kay Ke:我觉得写小说是我创造的一种宣泄的方式。

柯丽一鸣 Kay Ke:而做现在这一行人工智能做研发,可能是对我这个人追求效率的

柯丽一鸣 Kay Ke:一种体现吧,就是我骨子里,你看在大学中换的这些专业,其实我觉得这些专业都非常的有助于写小说内容。

柯丽一鸣 Kay Ke:只是最后自己发现自己真正想做的这种工作的成就感有很大一部分来源于,就是我把一个

柯丽一鸣 Kay Ke:别人做不到的事情做到了,或者说别人做这个事情,嗯,我做得更好。

柯丽一鸣 Kay Ke:这种思维不好说是不是因为在国内这种教育体系下有一种还是有点竞争的这种。

张小珺:思维在里面,但确实是能从这种想把事情做得更好这件事里面得到回报。你到了美国以后有发生什么变化?你有经历过文化冲击没有?我觉得有非常大的文化冲击。你的性格有发生怎么样的塑造?

画面说明

柯丽一鸣在演播室中回答个人经历、武侠、发型和旅行相关问题。

04. 草蛇灰线:选择背后的长期伏笔(35:43-53:05)

场景 4

本节主旨草蛇灰线:选择背后的长期伏笔

完整内容

柯丽一鸣 Kay Ke:嗯,我觉得有两点吧,第一是在之前生活的环境来看比较的稳定,所以对周边的社会的人与人之间的关系

柯丽一鸣 Kay Ke:是,太稳定了以后,你其实感觉不到它的存在。

柯丽一鸣 Kay Ke:就是你是出了国以后,开始接受到了一个完全不同的社会,社会关系需要找你这个人在这个社会中的定位。

柯丽一鸣 Kay Ke:就开始重新思索,就是哎,我以前好像不用做这个事情,我现在要做,就是我不太清楚这个人说话的时候,他有什么有什么含义吗?

柯丽一鸣 Kay Ke:因为以前你已经在那个社会里生活了很久,你就非常的自然而然,而现在到了一个完全全新的环境。

柯丽一鸣 Kay Ke:不自觉地去调整,并且也使得你能够稍微,就是客观一些地审视之前所处的社会环境和你这个性格。

柯丽一鸣 Kay Ke:就我觉得我对我性格的自我的认知,很多时候是到了不同的环境冲击下。

柯丽一鸣 Kay Ke:才得以显现的。

柯丽一鸣 Kay Ke:然后另外一部分是因为美国社会还是一个比较注重这个 presentation 吧,就是你如何去表达自己。

柯丽一鸣 Kay Ke:我觉得核心一点可能是说他们最终是想把这些孩子培养成一个有领导力的一些人,就是他可以通过缠住他的梦想来号召很多人去和他一起完成梦想。

柯丽一鸣 Kay Ke:这和创业者

柯丽一鸣 Kay Ke:就这种企业家精神是有些不谋而合的。

柯丽一鸣 Kay Ke:在我的那个上的大学里面是有很多这样相关的活动啊,还包括课程里面的设置,都是在鼓励这件事情发生。

柯丽一鸣 Kay Ke:而我当时作为一个非常内向的人。

柯丽一鸣 Kay Ke:乍一到了这个环境以后,就有一种,哎,就是

柯丽一鸣 Kay Ke:没办法了,只能只能多说点话了,要不然的话真的不知道自己在干什么。

柯丽一鸣 Kay Ke:就是不,就是经过了这样的一个环境所设置的这种关卡的。

柯丽一鸣 Kay Ke:走动,开始真的变成比较能跟别人说话的类型。

柯丽一鸣 Kay Ke:如果你和高中的我说话,可能会发现我这个人就不爱说话。

柯丽一鸣 Kay Ke:但是你和现在的我交流,我觉得我是在交流这方面有了很大的提升。

柯丽一鸣 Kay Ke:嗯。

张小珺:你有觉得两个社会的文化的基础有什么不一样吗?你刚才还觉得在之前的成长环境里,你能你能感受到很多的不公平,那你到了美国之后呢?

柯丽一鸣 Kay Ke:不公平依然存在,只不过

柯丽一鸣 Kay Ke:我觉得

柯丽一鸣 Kay Ke:中国社会之前经过非常高速的发展。

柯丽一鸣 Kay Ke:哎,因为我后来还去英国留学了,所以把中国、美国、英国放在一个轴上面来看的话,会得到一个非常有意思的一个感觉,就是

柯丽一鸣 Kay Ke:中国社会,咱们父母那辈的人可能会有很多的动荡和机会和一些变革吧。

柯丽一鸣 Kay Ke:就是大家有时候会开玩笑说

柯丽一鸣 Kay Ke:就是你往上数三倍,谁不是这田田里种地的人呢?

柯丽一鸣 Kay Ke:是吧?

柯丽一鸣 Kay Ke:呃,然后美国社会呢,相对中国社会而言,我觉得是有一些些这种阶级固化的一些,因为毕竟是一个运行了200年的资本社会。

柯丽一鸣 Kay Ke:很多时候这种资本的得利是比作为一个人来得利要快一些,他们是有这种积累。

柯丽一鸣 Kay Ke:而英国社会又是一个非常极端的,就我在英国社会的时候,就感觉到了这种社会

柯丽一鸣 Kay Ke:呃,相对更加固化以后,造成的人们之间的关系和你所处的这个社会阶层和你的这个喜好品味的一个非常大的影响。

柯丽一鸣 Kay Ke:我觉得中国在这个轴上可能是相对而言在当时是最百花齐放的。

柯丽一鸣 Kay Ke:那美国和英国呢?

柯丽一鸣 Kay Ke:我觉得英国可能在这条轴上相对而言是最保守的,而美国是有一些保守,但是都到硅谷来了,大家好像又抛弃了之前的那些旧的东西,在这里又开始开创新的东西。

张小珺:你看你成功从家里逃离出来了,你成功的离家万里之远。你得到你想要的了吗?我觉得在内心世界上,在离开的时候并没有很大的目的性。

柯丽一鸣 Kay Ke:说自己一定要拿到一个什么东西,是在路上才慢慢发现自己要做的事情。

柯丽一鸣 Kay Ke:并且我还是非常喜欢现在自己投身的这个行业和这份工作,也

柯丽一鸣 Kay Ke:就是对技术是有信仰的吧,可以这么说。

张小珺你为什么后来从经济学回到了计算机,去了人工智能?

柯丽一鸣 Kay Ke:这个转变是怎么发生的?

柯丽一鸣 Kay Ke:我觉得也是有很多巧合的因素,就命运是一条冥冥之中的线,我只能

柯丽一鸣 Kay Ke:得到这个点

柯丽一鸣 Kay Ke:在当时大学的时候

柯丽一鸣 Kay Ke:在经济系读,然后就是觉得做的事情虽然是,学的知识非常有意思,但是做的事情好像就是把一些数字柔和在一起,跑一跑报表这种分析。

柯丽一鸣 Kay Ke:可能没有满足我,所以当时就是是开始探索,就是在大学能够做些什么别的事情。

柯丽一鸣 Kay Ke:然后很巧合的是,大一的时候呃去了一个实验室做研究。

柯丽一鸣 Kay Ke:就坦白来说,当时的我完全。

柯丽一鸣 Kay Ke:大一。

柯丽一鸣 Kay Ke:对,在大一的时候去实验室做研究,坦白了。

柯丽一鸣 Kay Ke:大一就去实验室了。

张小珺:嗯,是的。因为。

柯丽一鸣 Kay Ke:赶紧想好,每天都要为这个东西做努力。

柯丽一鸣 Kay Ke:所以当时大一就开始参加一些什么职业的交流啊,就开始搞搞自己的简历,就从大一就开始弄简历。

柯丽一鸣 Kay Ke:我觉得我大一好像是入学第二个月就开始在网上到处去投简历。

柯丽一鸣 Kay Ke:大一就是之前因为就是搞竞赛,所以有竞赛同学,其实有一个竞赛同学挺有想法的,在我们高中过程中,他就做了一个小软件,还去卖钱。

柯丽一鸣 Kay Ke:我当时也参与了,就帮助了他的这些开发,然后我们也拿了一些

柯丽一鸣 Kay Ke:就是小孩子小打小闹的一些,就是钱,让自己觉得能从自己的技能中获得一些回报。

柯丽一鸣 Kay Ke:所以这些东西都可以写在简历里,因为你是,就是就是想办法向别人证明,就是你是一个信得过的人,可以做很多事情。

柯丽一鸣 Kay Ke:我觉得即使是现在的

柯丽一鸣 Kay Ke:就孩子们其实

柯丽一鸣 Kay Ke:我也完全是有可能,就是比如说之前 OpenAI 是有高中生去发 paper 的这个先例。

柯丽一鸣 Kay Ke:我觉得现在孩子们是完全是可能做到这点,所以当时的大一我就去找到了。

柯丽一鸣 Kay Ke:呃,在我们学校的一个计算机的组的实习。

柯丽一鸣 Kay Ke:然后当时非常幸运的遇到了呃成为我就是学术路上第一个导师的学姐。

柯丽一鸣 Kay Ke:呃,她叫李博,她后来毕业以后去芝加哥大学呃当教授,现在也在硅谷其实做创业公司。

柯丽一鸣 Kay Ke:当时呢,他选中我的原因我不太清楚具体的,但我猜想可能是因为我是一个学经济学的,我挺喜欢博弈论这个东西。

柯丽一鸣 Kay Ke:而当时他这个课题是一个叫做

柯丽一鸣 Kay Ke:Adversarial machine learning 就是有敌对的机器学习,它是需要有一些对抗的这个博弈论的思想在里面。

柯丽一鸣 Kay Ke:所以就通过我学的这个比较嘈杂的这个东西,就跳到了

柯丽一鸣 Kay Ke:呃,就是经过这个点的连接,跳到了一个稍微不同的方向。

柯丽一鸣 Kay Ke:然后当时在学姐指导下,就是比较幸运的,呃,就写出了一篇 paper 然后也得到了发表。

柯丽一鸣 Kay Ke:所以我其实大二大三的时候,就因为有了这么一篇就是第一作者的这个论文发表。

张小珺:嗯,后面在博士申请的过程中就得到了一些助力。嗯,博弈论吸引你的是什么?你为什么对博弈论非常感兴趣?然后又通过博弈论去做人工智能,这个很有意思,这个连接点感觉非常的微弱,但是它好像又存在。

柯丽一鸣 Kay Ke:我觉得就是粗暴一些的归类的话,博弈论中间可能经常会说,就是哎,如果是两个人在玩游戏,他们是对抗的关系,那他们两个人都要做到自己范围内的最好。

柯丽一鸣 Kay Ke:但是在互相对抗的过程中,他们可能达到了一个平衡。

柯丽一鸣 Kay Ke:你可能可以通过一些事情来引导他们,使得他们在对抗过程达到平衡是最优的。

柯丽一鸣 Kay Ke:我觉得这个点其实是是很多经济现在这种市场竞争关系的一个诠释嘛。

柯丽一鸣 Kay Ke:就是你需要在市场中让大家都哎去卷,然后卷到最后就会卷到一个,就是其实对整个社会发展有益的一个平衡点。

柯丽一鸣 Kay Ke:然后把这个思想其实放到机器学习里面,它也是有应用的。

柯丽一鸣 Kay Ke:当时差不多20,应该是2016年左右,是对抗神经网络出现了。

柯丽一鸣 Kay Ke:其实对抗神经网络也是有非常多的这个博弈论的元素在里面,它是需

柯丽一鸣 Kay Ke:要有一个

柯丽一鸣 Kay Ke:就生成的和一个评判的,他们俩就是互相在玩这个游戏。

柯丽一鸣 Kay Ke:生成的人就打个不恰当的比方,就在做假钞。

柯丽一鸣 Kay Ke:然后评判的人就需要分辨,就是你做这个钞票,它究竟是真钞还是假钞。

柯丽一鸣 Kay Ke:在这个过程中,就最后可能会引导这个生成的人不断地去呃生成一个越来越像真钞的假钞,而对抗的人最后就是当就

柯丽一鸣 Kay Ke:当他们真的完全无法分辨的时候,他就没办法,他就只能靠猜。

柯丽一鸣 Kay Ke:所以大家通过这个思想,就是在当时创造了一批就是图像生成的技术。

柯丽一鸣 Kay Ke:都是靠这个生成器去生成一些看上去像真实世界的假钞,就是这种假照片。

柯丽一鸣 Kay Ke:但是这个逐步对抗的过程中,这个照片就和真的照片没有差别,所以使得这个生成的照片看上去更加的真实。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:所以这个博弈论,我觉得应用其实在机器学习中是非常的广,一直到今天。

柯丽一鸣 Kay Ke:嗯,我觉得在机器学习的安全和

张小珺:怎么样帮助机器的这个,就是不管是思考方式还是生成方式更像人类,都是有挺广的应用的。你真正开始做人工智能的研究,呃,除了本科做过一篇论文以外,是在博士了对吧?是的。你博士之后的学术路线是怎么展开的?你的主线是什么?

柯丽一鸣 Kay Ke:嗯,我在博士期间也换了一些方向,因为当时第一篇论文发表的是一个偏博弈论的这么一篇文章。

柯丽一鸣 Kay Ke:所以在刚入学的时候,我以为我做的是这个偏理论的机器学习。

柯丽一鸣 Kay Ke:但是当时做着做着以后,就发现自己其实更喜欢做应用。

柯丽一鸣 Kay Ke:所以后面就去做了机器人这么一个应用。

柯丽一鸣 Kay Ke:在机器人过程中呢,我自己的研究路线其实是从模仿学习开始,然后最后做到了强化学习

柯丽一鸣 Kay Ke:这个模仿学习我感觉要形容的话,其实就是

柯丽一鸣 Kay Ke:就人家已经知道了怎么做一个事情,所以他给你提供了一个样例,你就想办法去超出这个样例来,这是模仿学习。

柯丽一鸣 Kay Ke:但是随着模仿学习的研究的不断的深入,我就觉得有些不满足了。

柯丽一鸣 Kay Ke:我觉得就是如果你永远只是在照抄别人的话,你其实不能够,就现在也很经常讲的不能够有创新啊,不能够有突破啊。

柯丽一鸣 Kay Ke:所以就转入了强化学习

柯丽一鸣 Kay Ke:强化学习更强调的是怎么样通过你自己的这个探索去突破原来的这个表现,去把这个上限推得更高。

柯丽一鸣 Kay Ke:我觉得这个其实也和性格也是有一点相贴切的,所以现在的我更多的是做强化学习。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:在你开始研究机器人的时候,当时的主流

柯丽一鸣 Kay Ke:是什么样的呀?

柯丽一鸣 Kay Ke:你这个研究方向是一个主流的还是一个边缘的?

柯丽一鸣 Kay Ke:我觉得在2017年,它是一个新兴,但不是很大众的一个方向,就是把机器学习,放到机器人上面,包括我自己去。

柯丽一鸣 Kay Ke:呃,找到的实验室的和他的老师,他们都是更加偏向传统这一派系的。

柯丽一鸣 Kay Ke:因为机器人其实发展到现在发展了几十年了。

柯丽一鸣 Kay Ke:然后也有很多很成功的应用,比如说大家会笑话说,哎,我们都让火箭上天了,都可以在这个火星上开展探索了,这些都有用到很多机器人的技术。

柯丽一鸣 Kay Ke:然后传统派系

柯丽一鸣 Kay Ke:在2017年左右吧,传统派更多讲究的是一个路径规划。

柯丽一鸣 Kay Ke:嗯,和控制问题。

柯丽一鸣 Kay Ke:就其实这个我觉得是非常符合我们人的一些直觉的,就是你只要做一个事情。

柯丽一鸣 Kay Ke:你就先规划一下我要做第一步、第二步、第三步分别是什么,然后把它们连在一起,形成一个完整的计划。

柯丽一鸣 Kay Ke:计划了以后,再由这个控制去慢慢的给它执行,保证你在每一步上都不出错,都能够贴切的完成。

柯丽一鸣 Kay Ke:而在2017年呢,因为我是从机器学习开始起家的,所以我当时就在想说,嗯,其他有很多领域都可以从数据中去学习,我能不能把机器人

柯丽一鸣 Kay Ke:的这种聪明才智,也不是在靠我去给他制定什么规矩,而是从数据中直接获得。

柯丽一鸣 Kay Ke:这个想法呢,和我这个所处的这个传统偏传统方法的一些实验室

柯丽一鸣 Kay Ke:就是是比较比较小众的,在在我们实验室就是只有我一个人做这种类似的方向。

柯丽一鸣 Kay Ke:啊,就你导师不是做这个的。

柯丽一鸣 Kay Ke:我导师不是做这个的。

柯丽一鸣 Kay Ke:哦。

柯丽一鸣 Kay Ke:我导师他他是传统派系的一个,呃,做路径规划有很多工作。

柯丽一鸣 Kay Ke:做控制,就是他他是一个怎么说呢,全站系的人物。

柯丽一鸣 Kay Ke:就传统的机器人实验室,他是从卡莱基梅隆那个派系出来的,他们就很强调说你每个人都要做全站,就是你要会。

柯丽一鸣 Kay Ke:造机器人,你要会知道怎么把机器人搭在一起,这个机器人的一些什么动力学分析你也会做,然后你还会做路径规划,还会做这个控制,然后还会让它做一些事情。

柯丽一鸣 Kay Ke:最后你在这条整个链条上面,你可以选一些。

柯丽一鸣 Kay Ke:你比较喜欢的点去深入。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:他是很强调就是一个人,就是在一个最极端的情况下是可以一个人完成几乎所有的任务的。

柯丽一鸣 Kay Ke:所以他在培养学生的时候也是照这个路子走。

柯丽一鸣 Kay Ke:就我其实很感激,就他对我的这种培养,让我觉得我对

柯丽一鸣 Kay Ke:机器人的上下游的一些事情是有一些了解,就不说多深入吧,但至少就是差不多凑合是能用的。

柯丽一鸣 Kay Ke:然后在他的实验室里做机器学习,或者他的

柯丽一鸣 Kay Ke:的态度也是非常有意思的,因为当时机器学习刚刚开始,就大家做的事情还非常的,就怎么说,naive,就是比起传统机器人都能够

柯丽一鸣 Kay Ke:上天啦,你这个机器学习刚刚起步,做的什么任务,看上去也其实也比较的幼稚吧。

柯丽一鸣 Kay Ke:但是当时嗯导师在交流的过程中,就是既会给我指出,就是很多现在

柯丽一鸣 Kay Ke:做的这些任务,其实以前都有人有更好的方法解决,是这么解决的,你要去学习一下,你要在积极学习的这个嗯做的过程中,同时也就是知道以前的人是怎么做这个方法的,就他给了我很好的这个台阶,让我去在他基础上去学习,同时他也会嗯就让

柯丽一鸣 Kay Ke:我有一个比较开放的一个

柯丽一鸣 Kay Ke:想法,就是我会把很多机器学习的想法带给他,然后告诉他我觉得就不停的在这种一问一答中对抗的,就搞明白了,就是我为什么这么相信机器学习的机器人,因为传统方法中的这些,我觉得是太依赖

柯丽一鸣 Kay Ke:expert 专家的这个东西。

柯丽一鸣 Kay Ke:我们机器学习,我觉得一个很大的使命就是让专家从这个机器学习的这个嗯中间消失,就是机器可以自己学习,就这是一个使命。

张小珺:你的导师是那个 seed 对吧?对。你如果是一个机器学习的信仰者,你为什么会进他的组呢?以及你是怎么开始对机器学习非常感兴趣,就这种对这种数据驱动的机器学习?因为懒。

柯丽一鸣 Kay Ke:因为这个事情其实有点有意思,我觉得知其然不知其所以然。

柯丽一鸣 Kay Ke:嗯是一个非常微妙的一种状态,可能大家有些人会在有些

柯丽一鸣 Kay Ke:在有一些问题上,大家也会想要打破砂锅问到底。

柯丽一鸣 Kay Ke:但是在优化问题里面,就大家都很想优化,我觉得性格上是有一个想要更好更强的一个部分的。

柯丽一鸣 Kay Ke:在优化过程中,有一类优化问题就是黑盒优化问题。

柯丽一鸣 Kay Ke:就你也别管,你也别问他到底怎么样,就给了一个非常好的解。

柯丽一鸣 Kay Ke:反正你只要知道你如何设计一套系统,让它能提供一个比较好的解,你不需要知道这个系统最后是怎么运行的。

柯丽一鸣 Kay Ke:其实这也是我觉得2016 17年左右,就是自然语言系的一个很大的争论嘛,就是传统的自然语言会使用这个语义啊、结构啊,就这种更贴近人是怎么理解,就语言是怎么运作的,就把语义分成很多不同的部分,是需要很多专家。

柯丽一鸣 Kay Ke:去了解,学会,然后再想办法把它自动化喂给机器。

柯丽一鸣 Kay Ke:而后来的数据驱动的话,就是完全,呃,也不能说就是没有受到之前工作的影响,但确实它的运作方式彻底的改变,变成了从数据中直接学,中间的这些步骤都可以

柯丽一鸣 Kay Ke:略掉,就是变成了端到端。

柯丽一鸣 Kay Ke:我觉得机器人可能也是要走一下这样的路。

张小珺嗯,那你为什么会进一个传统的组?

柯丽一鸣 Kay Ke:没有选择呀,因为当时机器人不是一个

柯丽一鸣 Kay Ke:特别流行的一个选择。

柯丽一鸣 Kay Ke:在2016 17年,其实机器人的发展历史的话,大概也就是50年,而且机器人是一个非常非常烧钱的一个。

柯丽一鸣 Kay Ke:领域。

柯丽一鸣 Kay Ke:当时我们的一个内部笑话就是看隔壁一个非常牛逼的呃自然语言的老师的组。

柯丽一鸣 Kay Ke:呃,他是 Yejin Choi,他其实做了很多就是 common sense。

柯丽一鸣 Kay Ke:就 nlp 的呃贡献。

柯丽一鸣 Kay Ke:当时他们那个组2017年就开始做了很多数据集,然后说就从来没有人烧这么多钱在数据集上。

柯丽一鸣 Kay Ke:我就说,数据集烧了多少钱啊?

柯丽一鸣 Kay Ke:20万美金,哎呀,20万美金,我的天呐,你在这边买一个机器人要多少钱?

柯丽一鸣 Kay Ke:你知道吗?

柯丽一鸣 Kay Ke:你这机器人坏了以后修了要多少钱?

柯丽一鸣 Kay Ke:你知道吗?

柯丽一鸣 Kay Ke:所以。

柯丽一鸣 Kay Ke:多少?

柯丽一鸣 Kay Ke:当时。

柯丽一鸣 Kay Ke:2017年,哦,隔壁组有一个 Shadow Hand 50万美金还是100万美金来着。

柯丽一鸣 Kay Ke:然后修了以后,就大家自己在,大家现在让这些博士生宝宝现在这个屋子里面先想办法把它修好,吧不要把它返厂,一返厂就是十几万没了。

柯丽一鸣 Kay Ke:就当时还有 Barrett hand 也是,就是一个就多关,呃,也不是多关节吧,就是一个三个指的一个绳驱的一个手,当时是十几万美金一个。

柯丽一鸣 Kay Ke:它坏了也是修起来够呛,要半天。

柯丽一鸣 Kay Ke:就当时的这种硬件的成本和这个需要一些专家的这个知识的知识,使得当时我觉得机器人不是一个特别流行,然后人数也比较少。

柯丽一鸣 Kay Ke:当时都买什么硬件啊?

柯丽一鸣 Kay Ke:当时逐渐开始有人买 Franka 这个硬件,呃,因为当时 Franka 就是我们是相对而言最便宜的。

柯丽一鸣 Kay Ke:你现在这个时间点看 Franka 你也觉得好贵哦。

柯丽一鸣 Kay Ke:怎么这个?

柯丽一鸣 Kay Ke:我忘了当时拿的价格是多少,但是反正就是几万美金。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:它就号称是最便宜的。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:嗯,现在还是有人用 Franka 因为我知道之前 Franka 被一家中国公司收购了,还挺唏嘘的,就是大家也不知道以后 Franka 会不会,哎,出了一个中国版,可能就几千美刀,说不定就可以了,因为现在很多

柯丽一鸣 Kay Ke:呃,中国的硬件应该都是在,就是我我一万美金左右上下的价位吧,就是从单纯从手臂的角度上来说。

柯丽一鸣 Kay Ke:嗯,其实还不到10年的时间,对吧?

柯丽一鸣 Kay Ke:从你开始读博到现在。

张小珺:是的。你是哪一年读博的?我是17年入学的。17年入学。其实这里我们也讲到了机器人历史,你们从你的视角来给我们回顾一下,你说的这个过去50年的。

画面说明

柯丽一鸣继续从个人经历谈研究选择与长期形成的兴趣线索。

05. 机器人江湖、谱系与主角(00:53:05-01:26:29)

场景 5

本节主旨机器人江湖、谱系与主角

完整内容

柯丽一鸣 Kay Ke:机器人的历史。

柯丽一鸣 Kay Ke:嗯,对,我的视角可能不完整,就我就尽量复述一下,就我感受到或者我接触到的一些比较有代表性的研究人员。

柯丽一鸣 Kay Ke:嗯,我觉得机器人的发展史可能绕不开第一个就是卡耐基梅隆大学的一些发展。

柯丽一鸣 Kay Ke:卡耐基梅隆大学是有一个自己的机器人研究所的。

柯丽一鸣 Kay Ke:这个研究所大概是在79年八几年的时候开始建立,所以至今大概是40多年的时间。

柯丽一鸣 Kay Ke:当时就是他们开始研究了。

柯丽一鸣 Kay Ke:怎么样让机器人就通过感知去看,然后做一个决策去动。

柯丽一鸣 Kay Ke:所以我觉得这个看加动的这个结合,就是从他们开始,就是慢慢的变得非常的

柯丽一鸣 Kay Ke:popular。

柯丽一鸣 Kay Ke:嗯,就是突然流行起来。

柯丽一鸣 Kay Ke:然后当时他们也发展出了很多不同的分支,就不管是,呃,就是让机器人能够去决策以后,就把它放到真实的环境中去做一些灾后救援。

柯丽一鸣 Kay Ke:还有当时就是2000年左右的这个自动驾驶,当时 cmu 呃卡耐基梅隆大学在这个里面一鸣惊人,就突然一下,就大家都觉得哎,自动驾驶可以开始做,就当时04 05年的这个 darpa 就是国防部的这个自动驾驶的。

柯丽一鸣 Kay Ke:比赛刺激了后面很多的自动驾驶公司的,大概06年那会开始创立,我觉得这个也是非常嗯非常有激励的。

柯丽一鸣 Kay Ke:然后后面的话呢,嗯,卡内基梅隆大学

柯丽一鸣 Kay Ke:我觉得有发展一些,呃,就是现在对我们最相关的话,可能是

柯丽一鸣 Kay Ke:就是

柯丽一鸣 Kay Ke:有一些机器学习的学者,也有一些操纵系的,就是 manipulation 就是用手就机械手去做一些事情的学者。

柯丽一鸣 Kay Ke:也有一些是就是研究如何机器和人的

柯丽一鸣 Kay Ke:嗯,生活中共存。

柯丽一鸣 Kay Ke:其中可能比较有代表性的话,就操纵系,因为他是算是我的祖师爷,所以对他的了解要多一些。

柯丽一鸣 Kay Ke:嗯,他的名字叫 Mac Mason,他现在是

柯丽一鸣 Kay Ke:还在互联网上活跃。

柯丽一鸣 Kay Ke:他有一个个人的博客,会写一些,就是他对操纵学的看法。

柯丽一鸣 Kay Ke:他其实最有名的一句话是。

柯丽一鸣 Kay Ke:就是他觉得我们现在强调的很多灵巧,他觉得是不是从你这个手指和你的硬件的关节构造,而是从你这个大脑如何去操控一个即使很简单的一个结构,也能做到一些很复杂的任务。

柯丽一鸣 Kay Ke:他觉得灵巧的关键不在于

柯丽一鸣 Kay Ke:这个手本身,而在于大脑。

柯丽一鸣 Kay Ke:我觉得我的研究也有很多受到他的影响,因为我在博士期间研究的是筷子机器人,就是用一双筷子做几乎所有的事情,是我当时的一种想法。

柯丽一鸣 Kay Ke:然后他当时带出的学生,也就是我的导师,就是 sit three niuwasa 所以他嗯就 sit 的话,他会做了很多路径规划,就也是做了很多,就是啊

柯丽一鸣 Kay Ke:有一个什么机器人酒保,就是你怎么样去拿一些不同的就杯子呀,或者可乐,然后再把它递给人,这样的一些研究。

柯丽一鸣 Kay Ke:嗯,然后除了这个派系以外,当时

柯丽一鸣 Kay Ke:卡耐基梅隆发展哦,当时那个腿啊和生物的这些机器人是有很多人研究的。

柯丽一鸣 Kay Ke:就是 Matt Mason 祖师爷,他还有另外一个弟子叫桑贝。

柯丽一鸣 Kay Ke:桑贝他做的就是一个生物狗。

柯丽一鸣 Kay Ke:就是当时 MIT Chita 就是他开始做,他在麻省理工这里学,但他其实并没有就做操纵器,他就去做一些呃就是生物激励的一种形态,所以他就做了狗。

柯丽一鸣 Kay Ke:他去 MIT 当了教授以后,就做出了这个迷你 Chita 这么一个非常有影响力的工作,可能说是

柯丽一鸣 Kay Ke:现代的这些机械狗的奠基人。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:然后其他以外哈,做腿的话还有一个比较知名的学者,可能就是 Mark Raibert 他是 Matt Mason 的同期,他去做了波士顿动力,也是先做狗,但是他走的这个路线可能是。

柯丽一鸣 Kay Ke:呃,传统派系的一个极致,因为当时他做之前的话,大家其实觉得就很多事情是受到电机的限制,他就想做非常好的电机,能做大家想都不敢想的事情。

柯丽一鸣 Kay Ke:他确实做到了,我觉得他做的这个在,忘了是什么年份了,但当时他作为世界上第一个就是能够后空翻的机器人,告诉大家这个事情其实能做,影响了一批的学者。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:然后我觉得嗯在。

张小珺所以你是 CMU 这个派系的对吧?

柯丽一鸣 Kay Ke:我觉得虽然我不在 CMU 读博,但你可以看到就是我的学术族谱是很多受到这边传统派系的影响的。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:然后在另外一边的话,我觉得派系上可能还有机器学习这个派系。

柯丽一鸣 Kay Ke:嗯,因为机器学习的话,嗯,我也不清楚,就是更早的事情,可能明嗯明斯基,他是一个 MIT 的学者,他可以认为是现代机器学习的一个创始人。

柯丽一鸣 Kay Ke:嗯,但是在我这个年代,当我开始学习的时候,我们机器学习入门教材都是看 Andrew Ng 吴恩达他的在线的网课,这就是我大学时候去了这个实验室。

柯丽一鸣 Kay Ke:其实可能是的,但是对我来说就是更早的事情,可能我都没有那么多的关注了。

柯丽一鸣 Kay Ke:就在我看来,我能看到的部分就是,哦,我们就是14 15年开始做人工智能的,就是学姐就告诉你了啊,这是一个教材,先把这个教材读懂,搞会。

柯丽一鸣 Kay Ke:哦,就开始跟着吴恩达的网课去学习。

柯丽一鸣 Kay Ke:哦,然后吴恩达的一个博士生是 Peter Abbeel。

柯丽一鸣 Kay Ke:他是应该是最早的一个把机器学习放到机器人这个领域上的一个呃比较先驱的教授。

柯丽一鸣 Kay Ke:他现在是在伯克利做教授,也是

柯丽一鸣 Kay Ke:嗯,依然是一个活跃的研究员吧,他现在应该也同时在亚马逊担任一个,哦,把他们这个研究部门的一个领导的一个职务。

柯丽一鸣 Kay Ke:嗯,然后 Peter Bill 他当时做了

柯丽一鸣 Kay Ke:好像是做了一个就是会飞的这个飞行器,然后它有了搭载的这个机器学习算法。

柯丽一鸣 Kay Ke:因为他做的这个工作的年份比较早,我现在其实对他更多的了解是他后来的学生,就是 Sergey Levine。

柯丽一鸣 Kay Ke:嗯,他的工作。

柯丽一鸣 Kay Ke:嗯,我觉得 Peter 和 Sergey 这两个人可以说是把强化学习在机器学习中,就是比较发扬光大的,因为他们的这个发表的数量非常的多。

柯丽一鸣 Kay Ke:然后 Sergey 呢,现在也是我在派的,算是我的汇报对象吧。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:他是创始人。

柯丽一鸣 Kay Ke:对,他是派的创始人之一,对他也负责了很多。

柯丽一鸣 Kay Ke:我在派现在做很多强化学习的工作,所以是和 Sergey 一起做的。

柯丽一鸣 Kay Ke:Serguei 当时在,就很有意思啊,Serguei 他自己 PhD 学的其实不是机器人,是 graphics 嗯。

柯丽一鸣 Kay Ke:是做这个图像的,然后当时在

柯丽一鸣 Kay Ke:Peter Abell 手下读博士后的时候才转型。

柯丽一鸣 Kay Ke:就我还挺欣赏,就是大家从一个领域做了以后,就转型到另外一个领域。

柯丽一鸣 Kay Ke:我觉得你能转过来,或者你想转过来,肯定是有很多你的想法。

柯丽一鸣 Kay Ke:所以 Sugar 当时应该是有很多想法,他就做了。

柯丽一鸣 Kay Ke:强化学习这些课件,其实当我开始读博士的时候,我对于积极学习的很多,嗯,就是没有什么教材嘛,都是看 Sergey 的视频,然后看他们的一些讨论,包括看他的论文,然后看他们组的一些。

柯丽一鸣 Kay Ke:对话来学习的。

柯丽一鸣 Kay Ke:然后 Sergey 他呃后面也有他的合作者 Chelsea 就 Chelsea 和 Sergey 都是派的联合创始人。

柯丽一鸣 Kay Ke:嗯,我觉得他们两个都是对现代

柯丽一鸣 Kay Ke:机器学习到机器人应用做出了非常多的贡献,就不管是,就是学习的算法啊,还有包括就是硬件的设计,都是有很多贡献。

柯丽一鸣 Kay Ke:呃,然。

柯丽一鸣 Kay Ke:Sergei 和 Chelsea 他们是是什么共事关系?

柯丽一鸣 Kay Ke:此前。

柯丽一鸣 Kay Ke:如果我没有记错的话,应该 Sergei 是 Chelsea sometime 就是 collaborator 或者 slash 呃办一个 advisor 吧,应该。

柯丽一鸣 Kay Ke:可能也许就是切尔西的 poster 是和 Sergei 读的。

柯丽一鸣 Kay Ke:哦,然后他们后来一起创业了,做了派。

柯丽一鸣 Kay Ke:对,他们俩之间的学术关系非常好,就是我觉得他们俩非常的同频。

柯丽一鸣 Kay Ke:在公司,他们其实也是经常在一起讨论问题。

柯丽一鸣 Kay Ke:嗯,这两个人有意思吗?

柯丽一鸣 Kay Ke:有什么有意思的观察没有?

柯丽一鸣 Kay Ke:Sergey 是个科幻小说重度迷。

柯丽一鸣 Kay Ke:我不知道就是别人读派的 paper 有没有发现,就派很多 paper 上面会有一个来自科幻小

柯丽一鸣 Kay Ke:说的一个引用,全都是 Sergey 写的。

柯丽一鸣 Kay Ke:就他就会,他会会会会去思考这些事情。

柯丽一鸣 Kay Ke:然后。

柯丽一鸣 Kay Ke:哦,有人说过他非常会写论文标题。

柯丽一鸣 Kay Ke:哎,是的,我觉得他是一个讲故事非常强的教授。

柯丽一鸣 Kay Ke:同时呢,他就是内部笑话,可能就是说 Serge 就像 Serge GPT 一样。

柯丽一鸣 Kay Ke:在在这个人工智能 ChatGPT 出现之前,伯克利的人就已经用上了 Serge GPT 你的论文写得怎么样,把草稿就直接发给 Serge, Serge 就给你弄了一个就是超级 polish 超级好的一个版本。

柯丽一鸣 Kay Ke:返回给你,而且又快又好,就像,就是 ChatGPT 的前身版。

柯丽一鸣 Kay Ke:但即使 ChatGPT 出来了,它也不能和 SergiGPT 在论文修改方面相提并论。

柯丽一鸣 Kay Ke:嗯,这是一个笑话吧。

柯丽一鸣 Kay Ke:然后乔西的话,他是一个非常 discipline 就非常,嗯,就每天他都会4点钟起床。

柯丽一鸣 Kay Ke:哇!

柯丽一鸣 Kay Ke:然后去去去游泳,然后游一个小时,就他是一个对自己的一个生活,我觉得非常有规划。

柯丽一鸣 Kay Ke:非常 inspiring 而且他是一个我觉得有动物性直觉的一个人。

柯丽一鸣 Kay Ke:就是和他聊很多,就机器人的具体的一些动作和表现,他有非常多的,就非常快的一个,就是说就他觉得这个事情是怎么样的,然后这个

柯丽一鸣 Kay Ke:里面有非常多的这种直觉性的推理,能够感受到就是他对这些动作任务有很深的认知。

柯丽一鸣 Kay Ke:比如说呢?

柯丽一鸣 Kay Ke:更多直觉性的推理

柯丽一鸣 Kay Ke:有一些,比如说嗯就有一有一段时间里,乔西是负责管派的这个数据收集的。

柯丽一鸣 Kay Ke:嗯,就她对数据收集到底该收集什么样数据有很

柯丽一鸣 Kay Ke:我觉得他有很深的理解。

柯丽一鸣 Kay Ke:哎,其实后面谈派林的时候也可以多说一些,就派林的很多任务是有乔西在后面推动,就他觉得能做,因为当时其实大家是不知道能不能做的。

柯丽一鸣 Kay Ke:嗯,所以他们俩是互补的吗?

柯丽一鸣 Kay Ke:我觉得可以是可以是这么认为的,他们的工作关系。

柯丽一鸣 Kay Ke:嗯。

张小珺:这一派别还有其他人没有?刚才说了温达以及他的延续。哦,我觉得现在的机器学习机器人其实挺百花齐放的,然后包括

柯丽一鸣 Kay Ke:嗯,有另外一些派系啊,比如说就从飞飞,他带了很多学生也投身了机器人的研究。

柯丽一鸣 Kay Ke:比如说可能可能现在这个时间点上,大家比较看得见的有

柯丽一鸣 Kay Ke:呃,朱玉可啊和 Jim Fan 呀,他们现在是在,都是菲菲的学生,都在领导。

柯丽一鸣 Kay Ke:呃,毕业以后都,我我我觉得玉可是当了教授,然后现在他们在领导这个英伟达的 GearLab。

柯丽一鸣 Kay Ke:在英伟达就是主管就如何做机器人。

柯丽一鸣 Kay Ke:嗯,然后包括我觉得现在其他就是华人学者,呃,比较有名的可能有宋舒然,她是我非常尊敬的一位女学者。

柯丽一鸣 Kay Ke:然后呃苏顺,其实之前他做,他们有做这个呃

柯丽一鸣 Kay Ke:做这个 diffusion policy 是舒然组出来的,然后 ACT 和这种 Aloha 是乔西组出来的。

柯丽一鸣 Kay Ke:我觉得这个都是对现在的机器学习机器人的形态产生了重大影响的里程碑式的 Paper。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:然后其他的,还有 CMU 派系,其实也有很多现代的机器学习的人。

柯丽一鸣 Kay Ke:我觉得可能嗯比较 visible 的应该是两个人,一个是呃 Deepak。

柯丽一鸣 Kay Ke:还有一个是阿比纳,其实阿比纳是一个资历比较老的教授,他是之前做这个视觉出身,然后他有非常多天马行空的想法。

柯丽一鸣 Kay Ke:我跟他就之前短暂的合作过一,一阵子,就几年前。

柯丽一鸣 Kay Ke:我就感觉到他是一个

柯丽一鸣 Kay Ke:无法预测它下一下一秒会说什么。

柯丽一鸣 Kay Ke:然后有的时候我觉得它看的东西就非常有创造性。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:比如说它其实很早之前就想做一个就是自学习的。

柯丽一鸣 Kay Ke:这个机型,比如他当时做视觉就说了,就是视觉我们经常说嗯只能受到数据的限制,那咱们就做一个,就不要数据限制,我们就做,把它放到机型上,让机型去户外去各种收数据,这样不就可以打通。

柯丽一鸣 Kay Ke:就我觉得他做的东西是有一种

柯丽一鸣 Kay Ke:就几乎野生般的说,就是将来最后可能还真就是个形态,这种感觉。

柯丽一鸣 Kay Ke:然后包括它其实,就大家现在可能更熟悉优必选,呃,就是作为一个机器人说数据的一个手段,其实很早之前就是。

柯丽一鸣 Kay Ke:呃,阿比纳夫也做过另外一个,就是叫做,我忘了他起的是什么名字,反正他的,他当时就说,我们就去亚马逊上买一个5刀一个的东西。

柯丽一鸣 Kay Ke:这个东西呢,就是一个,就是很长的一个杆。

柯丽一鸣 Kay Ke:然后这个杆的末端是一个小夹爪,然后你按这个杆它就会夹爪把它夹住。

柯丽一鸣 Kay Ke:他说我们就是这个杆去收这个数据。

柯丽一鸣 Kay Ke:跟现在的优米有异曲同工之妙。

柯丽一鸣 Kay Ke:然后当时嗯迪帕克是后来加入呃CMU 的。

柯丽一鸣 Kay Ke:迪帕克他其实之前做过 Curiosity。

柯丽一鸣 Kay Ke:嗯,就是好奇心驱动的强化学习。

柯丽一鸣 Kay Ke:所以他其实我们在谈他的这个以前的工作时候,更多是把它归类到做强化学习很出名的这个学者之一。

柯丽一鸣 Kay Ke:然后 DeepMind 和 OpenAI 现在是共同创造了 Skilled。

张小珺:呃,也是硅谷非常有影响力的一家机器人公司,也是做全身智能的大脑。嗯,他和你们一样都是做大脑的。对。嗯,嗯,都是做大脑的创业公司,然后还有一些大公司也在做大脑。

张小珺:对,我觉得是。嗯。嗯,你很有意思啊,你是从前面这个控制或者叫传统派别,跳到了这个机器学习的派别,对吧?然后现在机器学习的派别

张小珺:似乎是硅谷这些呃涌现出来的创新公司,更多的人。现现在好像是主流。这一波最流行的是积极学习机器人,但其实我觉得。这个博弈关系肯定历史上一直在发生变化,对吗?就是两派,你讲讲这个。

柯丽一鸣 Kay Ke:我觉得历史上的关系的话,就机器人其实大家做了这么久,而且我相信很多做机器人都有信仰,就是什么东西能让信仰成真,不同的时期都有不同的

柯丽一鸣 Kay Ke:呃,大家叫 Hive 吧。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:就是这一波可能是机器学习机器人,也是我们现在投身的这一波,之前还有一些做 SLAM。

柯丽一鸣 Kay Ke:甚至包括我觉得之前做自动驾驶也是算,但更多之前还有 planning control 做到极致,我觉得波士顿动力也是一个代表。

柯丽一鸣 Kay Ke:就这些都是不同的思想的碰撞,要想把这件事情做成。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:在你入学的那个时候,前面这一个派别是占据更主导的力量。

柯丽一鸣 Kay Ke:应该是,我记得当时去当时去就是传统机器人的一些大会,比如说像 IROS 或者 ECRAS 这些会发 paper。

柯丽一鸣 Kay Ke:发论文,就觉得大家做的跟我做都不一样。

柯丽一鸣 Kay Ke:哦。

柯丽一鸣 Kay Ke:我们做的算比较小众的东西。

张小珺啊,那你有想过转转过去吗?

柯丽一鸣 Kay Ke:因为你导师就是做这个的。

柯丽一鸣 Kay Ke:这倒没有吧,我觉得我我相信我做的东西,所以我做起来快乐,所以我相信我们做的这个。

柯丽一鸣 Kay Ke:行业即使导师,他会有的时候会,就是批评或者指出。

柯丽一鸣 Kay Ke:他批评你什么呢?

柯丽一鸣 Kay Ke:比如说。

柯丽一鸣 Kay Ke:比如说,嗯,有一部分机器学习当时就是还比较受限嘛,算法比较受限,他就。

柯丽一鸣 Kay Ke:在模拟器里跑的比较多,它在真机上面就不是很能跑的起来。

柯丽一鸣 Kay Ke:导师就说,那你们这样就满足的话是不行的,我觉得不够好。

柯丽一鸣 Kay Ke:你看我们传统拍戏所有东西都能上真机。

柯丽一鸣 Kay Ke:你要把你们这个东西放上真迹。

柯丽一鸣 Kay Ke:我觉得它是一种,就是指明了,就是发展的时候该如何思考到底怎么样有用这件事情上面走得比较早吧,因为可能对当时还是一个新兴的领域来说。

柯丽一鸣 Kay Ke:如果去一个专门研究新兴领域的时候,可能没有那么多的去想落地,想想怎么样表现好这个事情。

柯丽一鸣 Kay Ke:但是因为导师是从传统派出身的,他们的这些衡量指标很多影响到了我。

张小珺嗯,你们两个会有一些争执吗?经常会啊,因为。信仰不一样。信仰不一样,想法不一样,包括。

柯丽一鸣 Kay Ke:像我们这种,喜欢偷懒嘛,你看我做机器学习的一个很大原因就是,如果一件事情我不需要理解它的原理,我就能做出来,我还是做出来了,对不对?

柯丽一鸣 Kay Ke:导师就会觉得,这个不优雅,而且就是没有什么保障。

柯丽一鸣 Kay Ke:我说优雅我们保证不了,但是保障我们可以再多做一点研究,看看能不能给他再搞上保障。

柯丽一鸣 Kay Ke:啊。

柯丽一鸣 Kay Ke:所以它是有一个本质性的,就是对于解决问题的一个方法的喜好吧。

柯丽一鸣 Kay Ke:我觉得我就是那种黑猫白猫,抓到老鼠就是好猫的这一类。

柯丽一鸣 Kay Ke:所以什么黑盒优化,我说黑盒优化非常好。

柯丽一鸣 Kay Ke:你只要只要你能够把你这个任务定义得非常好,咱们就可以和优化。

柯丽一鸣 Kay Ke:导师就会觉得你这个力的这个作用,这什么摩擦力的建模你都不太懂,你怎么就在做这个任务?

柯丽一鸣 Kay Ke:我说

柯丽一鸣 Kay Ke:说不定这个任务不需要你懂这些的,我们的目标就是让很多不懂这些前置知识的人,都能把这个任务做成。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:就怎么样让这个信息的流动变得更加的轻松,是我觉得我们的一个主旋律。

柯丽一鸣 Kay Ke:所以你很大的一个驱动力是实用。

柯丽一鸣 Kay Ke:我觉得是实用,而且而且是一种是一种信仰吧,就怎么把它做出来,我要在当下时间点选一个我觉得最有可能做出来的方法。

柯丽一鸣 Kay Ke:我不太相信传统方法里面,我觉得就是我们应该都能 benefit 就是从传统方法中受益。

柯丽一鸣 Kay Ke:但我不觉得就是我们就用传统方法就够了,我觉得这个是大家其实是比较有共识的,就是它如果把所有的问题都抽象为一个投入和产出这道曲线的话,传统方法是一个

柯丽一鸣 Kay Ke:你投入多少,你的产出比较清晰的一条线。

柯丽一鸣 Kay Ke:因为当时机器人动,机器人,比如说波士顿动力吧,他们做这个后空翻是非常非常非常牛逼的,因为当时都没有人敢做,也没有人敢想,但是他们做出来了,但他们代价

柯丽一鸣 Kay Ke:是很多很多的工程师,不停的去调试这个参数,去适配他们想做的这个任务,去做到他们想做这个效果。

柯丽一鸣 Kay Ke:你再做一个新的任务,你还是得有这么大的一个投入。

柯丽一鸣 Kay Ke:才能把它做出来。

柯丽一鸣 Kay Ke:而我觉得机器学习的算法就是第一是我们不要工程师来做,对吧?

柯丽一鸣 Kay Ke:我们就是通过各种各样的设置,让算法自己来做。

柯丽一鸣 Kay Ke:你作为一个工程师,你的工作量就小了。

柯丽一鸣 Kay Ke:比如说现在的这些嗯很多比较酷的这些跑酷的这些视频,可能就工作量和那个年代就不可同日而语了呀。

柯丽一鸣 Kay Ke:然后第二个就是嗯一旦一些事情就是需要更少的人力去做以后,我觉得就是交互也会发生变化,怎么样让普通人都能够交互,比如说现在这种

柯丽一鸣 Kay Ke:AI 智能体的发展,我觉得可能刚出现的时候还是一种比较小众的,你要用,因为它有时候不好用,你要作为一个专家知道怎么去用才能用得更好。

柯丽一鸣 Kay Ke:我觉得机器人现在也有点处在这个状状态,就是很多时候可能可能可以跑,但是你可能需要专家。

柯丽一鸣 Kay Ke:来大概了解它跑的一些问题是什么,然后提前做一些修正,才能跑得更好。

柯丽一鸣 Kay Ke:但我觉得总体的发展趋势是让一个普通人也可以非常自然的去和这个智能体交互,得到他想要的一个结果。

张小珺我有一个地方比较好奇,因为我觉得在传统派别主导下的机器人发展,当时集大成的一个构型好像就是狗,这个是为什么呀?

张小珺:当然我相信他们肯定觉得狗不是最终的那个构型。但为什么那个时候时间段大家都觉得应该去做一只狗呢?

柯丽一鸣 Kay Ke:这个我真的不知道,得问桑贝。

柯丽一鸣 Kay Ke:但是我觉得

柯丽一鸣 Kay Ke:看到一个狗跑起来,我作为一个机器人的从业人员,我也觉得有非常的受到启发。

柯丽一鸣 Kay Ke:而我觉得这一波就是,就是大概在17年20年吧,因为我们的

柯丽一鸣 Kay Ke:在华大有很多不同的实验室,有隔壁实验室,他们是做狗做的很多的。

柯丽一鸣 Kay Ke:嗯,嗯,就狗作为一个硬件平台,它

柯丽一鸣 Kay Ke:的可获得性相对而言还不错。

柯丽一鸣 Kay Ke:其实我觉得可能比机械臂还要好获得。

柯丽一鸣 Kay Ke:为什么呀?

柯丽一鸣 Kay Ke:一些。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:就操纵系的一个绕不开的难题,就是刚才导师说的这些问题,就是我不知道这个摩擦力。

柯丽一鸣 Kay Ke:就其实每一个物体,它都有可能不同的摩擦力。

柯丽一鸣 Kay Ke:这个话筒呀,我们自己的衣服呀,还有这些褶皱呀,就千千万万的事情,就很难去。

柯丽一鸣 Kay Ke:建模,然后如果用传统思想去做的话,你都要建模。

柯丽一鸣 Kay Ke:你你不清楚你的行为会有什么后果的话,你怎么能把这个问题解决?

柯丽一鸣 Kay Ke:我觉得是传统的一个比较大的思路,也是一种就是模型,就是叫物理模型做的算法的一个思路。

柯丽一鸣 Kay Ke:而狗的话,它的这个接触更多的是一个顺势

柯丽一鸣 Kay Ke:的,就是我这个腿在这个地上跑,我只要碰一下。

柯丽一鸣 Kay Ke:然后很多时候它是不太需要你呃详细地去搞明白,就是我的这个腿在这个地上的摩擦力。

柯丽一鸣 Kay Ke:所以我觉得这个问题的需求是狗可能需要

柯丽一鸣 Kay Ke:更少的这个物理知识,而操控系需要更多的物理知识。

柯丽一鸣 Kay Ke:所以造成了,就操控系做出来比较好的东西,嗯,相对而言狗而言可能要少一些当时。

张小珺:我们刚刚讲这两个派别嘛。积极学习什么时候开始占据主流的?是从哪一年是这个转换点?你是什么?哪一年从本来是一个小边缘的一个方向,然后变成相对大家更愿意投资源。

柯丽一鸣 Kay Ke:更关注的一个方向。

柯丽一鸣 Kay Ke:嗯,我觉得,身在此山中很难讲清楚,但是差不多就是疫情那会儿吧,第二第三年的时候。

柯丽一鸣 Kay Ke:我当时刚加入实验室的时候,做了一些比较偏理论的工作。

柯丽一鸣 Kay Ke:然后也是在呃模拟器中跑,所以导师就说,在模拟器中跑最好有什么用呢?

柯丽一鸣 Kay Ke:你要上真机。

柯丽一鸣 Kay Ke:我就大概在18年的时候开始。

柯丽一鸣 Kay Ke:就从头弄了一个机器人,就做了一个筷子机器人。

柯丽一鸣 Kay Ke:嗯,是我买了这个组件组装,然后搭起来,然后给它写系统,给它写驱动,让它跑起来。

柯丽一鸣 Kay Ke:后面还给它做了很多建模的工作。

柯丽一鸣 Kay Ke:然后当时开始做这个,做的有一些成功了以后,就把这条路打通了。

柯丽一鸣 Kay Ke:那实验室的人可能就能够,同学之间交流,就能看到,就是说,哦。

柯丽一鸣 Kay Ke:那如果有一个新的方法,它有可能成功,我们在做我们的问题时候,就要去积极地去尝试,拥抱这种新方法。

柯丽一鸣 Kay Ke:所以当时实验室里其他人的项目,啊,都或多或少,也不是说我直接参与,可能都给他们一些反馈,就是说

柯丽一鸣 Kay Ke:嗯,实验室里有一个人在做这个喂食的项目,可能就是说有些人他生活不太能自理,我们怎么样就是通过一个机械的一个轮椅,它搭载了一个机械臂,它可以去

柯丽一鸣 Kay Ke:给这个食物来给你喂食。

柯丽一鸣 Kay Ke:他们本来的这套流程是非常传统的。

柯丽一鸣 Kay Ke:就是啊,你先搞明白,就是下面要吃一个果切,这个切了一半的果子在哪里?

柯丽一鸣 Kay Ke:哦,他的路径是这样,我们路径规划过去,然后一个一个什么样的路径把把这个果切插到这个叉子上面,然后再一个什么样路径给他喂到这个人,就这一套思维比较传统。

柯丽一鸣 Kay Ke:但是他们是有一些可能一些限制的,比如说这个果切的位置在哪里,他们是就是依赖于这个计算机视觉的。

柯丽一鸣 Kay Ke:那后面他们就会想说,哎,那机器学习在机器人上可能可以做的话,我们可不可以把这这一段就不光是用一个视觉别人训练好的神经网络。

柯丽一鸣 Kay Ke:拿来用,我们也积极地去尝试,就是让这个机器人自己去,机器学习一样去设置,就是去学习或者发现一些更好的路径啊。

柯丽一鸣 Kay Ke:所以逐渐开始,我觉得大家也会

张小珺:讨论就是应用到不同的问题上的可能性,逐渐开始就接受。你当时为什么会做一个筷子机器人?为什么喜欢这个动作?当时。

柯丽一鸣 Kay Ke:我我忘了是怎么回事,就是跟导师谈聊天的时候,就突然就发了一条暴论。

柯丽一鸣 Kay Ke:啊?

柯丽一鸣 Kay Ke:就是说我用筷子能做90%的问题。

柯丽一鸣 Kay Ke:百分之九十是桌面的问题,还是什么问题?

柯丽一鸣 Kay Ke:就是就夹和放这种问题,我一直是之前是有一些觉得。

柯丽一鸣 Kay Ke:筷子好难啊,筷子只有两个支点。

柯丽一鸣 Kay Ke:呃,对,就是因为我觉得用筷子就能做的话,其实如果算法在筷子上都能成功,那它说明在其他方法上可能更容易的成功。

柯丽一鸣 Kay Ke:就要做就做一个非常难成功的东西,把它做成功,我觉得剩下的就可能是一些工程问题,就是这种。

柯丽一鸣 Kay Ke:做研究的思路也是我自己比较喜欢的吧,就是你做一个非常难的问题。

柯丽一鸣 Kay Ke:然后当时就是就跟导师聊天,你也知道,就我们这个派系其实是非常相信简单的机械手的。

柯丽一鸣 Kay Ke:哎,但是他那个是优雅。

柯丽一鸣 Kay Ke:所以当时就和他打了一个赌,就是说好像不是不二吧,就跟他说我想做一个自己的机器人,他就说你想不想跟别人一起做这个?

柯丽一鸣 Kay Ke:轮椅机器人,我就说轮椅机器人虽然很好,但是呃他们的这一套系统已经写完了,这个系统太传统了,我觉得它不是很适合我想做这个机器学习,我想自己弄一套东西。

柯丽一鸣 Kay Ke:他说那要不你可以自己从头搭一个,你想搭什么?

柯丽一鸣 Kay Ke:那个,然后我就就看了一圈嘛,我就说我们要做一些操作非常难的,就是就是比如说之前美国电影里面其实是有什么筷子夹苍蝇。

柯丽一鸣 Kay Ke:这种就是对中国武术的就是无限畅想。

柯丽一鸣 Kay Ke:所以我我导师他是一个印度人,他就说哎,搞一个这种,你能把做出来就可以毕业了。

柯丽一鸣 Kay Ke:我说那就好,那就开始干。

柯丽一鸣 Kay Ke:然后就从这个实验室的这仓库里面捡了一个,就别人其实之前用过,后面

柯丽一鸣 Kay Ke:就没有什么用的一个机械的一个组装部件,然后我们就可以自己自由组装。

柯丽一鸣 Kay Ke:我就很喜欢这种自由度,所以开始做起了筷子机器人。

柯丽一鸣 Kay Ke:后来做到什么程度了?

柯丽一鸣 Kay Ke:后来做什么程度?

柯丽一鸣 Kay Ke:我觉得应该就比较有代表性的工作有两点吧,就第一点是做模仿学习

柯丽一鸣 Kay Ke:就当时就是想办法让这个筷子机器人做一些非常非常精细化的模仿学习的任务。

柯丽一鸣 Kay Ke:其实背后的就是想法是这样的,就是

柯丽一鸣 Kay Ke:机器学习它是一个天生就带有泛化性的一个希望的一个东西。

柯丽一鸣 Kay Ke:就大家都说,如果机器学习在问题 A 上能成功,那它就能够比较无缝的衔接到呃问题的二三四五六。

柯丽一鸣 Kay Ke:但这个时候传统派的人可能就会说,你的问题 A 解决了吗?

柯丽一鸣 Kay Ke:你的问题 A 做到了什么效果?

柯丽一鸣 Kay Ke:就是如果机器学习的终点是一个什么都能做,但什么都做不好的机器人。

柯丽一鸣 Kay Ke:这显然是不够的。

柯丽一鸣 Kay Ke:对。

柯丽一鸣 Kay Ke:所以我当时就想说,那我就先在问题 a 上面把它做到极致。

柯丽一鸣 Kay Ke:当时呢,我搭的这个机器人,哎,不好意思,我们是手工搭的,也没有真正很深厚的硬件背景,所以它显然不是。

柯丽一鸣 Kay Ke:就是按照传统的人来看的话,不是一个最好的机器人的形态。

柯丽一鸣 Kay Ke:然后里面的很多这个力啊,还有什么调的,可能都没有调特别好。

柯丽一鸣 Kay Ke:我当时就说,如果我们有数据驱动的话,我就偏要在这上面做出来,因为我相信数据驱动。

柯丽一鸣 Kay Ke:因为数据驱动一个很大的一个验证点就是当时我搭完以后,我

柯丽一鸣 Kay Ke:就跟老板说了,这个东西一定能做出来,为什么呢?

柯丽一鸣 Kay Ke:因为我

柯丽一鸣 Kay Ke:帮我导航

柯丽一鸣 Kay Ke:虽然用这么一条不是很准的一个机器人,但是如果我作为一个人去摇操纵这个机器人的话,它再不准我都能让它做到筷子夹小球。

柯丽一鸣 Kay Ke:这么一个,就是我们老板他也不,不那么会用筷子嘛,他自己用筷他都做不到这个,但我可以操纵了这么一个不准确的机器人。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:去做到这件事情,我就跟他说,你看硬件已经搭完了。

柯丽一鸣 Kay Ke:然后硬件你觉得不太好,有点嫌弃。

柯丽一鸣 Kay Ke:没关系,只要它的这个操纵算法是和我一样聪明的操纵算法,它就应该能用这个筷子去夹起这个小球,即使它的每个关节上都有一些

柯丽一鸣 Kay Ke:哎,这参差不齐的,怪怪的一个调仓啊,或者一些 backslash 啊这种,就不太准确的东西。

柯丽一鸣 Kay Ke:所以当时就打了这个赌以后,就第一篇工作其实是二二零一八年一九年就做出来了。

柯丽一鸣 Kay Ke:就是可以用筷子去夹这个小球。

柯丽一鸣 Kay Ke:虽然这个问题,呃,这个做出来的方法是有很多的,就模块化的东西,现在看来都有点过时了。

柯丽一鸣 Kay Ke:比如说当时是需要有一个

柯丽一鸣 Kay Ke:呃,外在的一个系统去搞搞明白小球在哪,然后在这边再极致性地去抓那个小球。

柯丽一鸣 Kay Ke:现在可能都更加端到端了。

柯丽一鸣 Kay Ke:然后做完这个工作以后,就跟导师说,我觉得不够。

柯丽一鸣 Kay Ke:因为我夹的还是慢了一点,毕竟我是要操纵这个机器人,我就时时刻刻在调动,调整自己的动作。

柯丽一鸣 Kay Ke:就我是在尽力的,就花费了好多的精力去给机器人提供一个非常高质量的数据,让它能够更好地学习。

柯丽一鸣 Kay Ke:但这样的话太累了,我们懒人怎么能做这种事情呢?

柯丽一鸣 Kay Ke:我们要让他自己去探索,去发现怎么样超越我给他的这些数据,让他做得更好。

柯丽一鸣 Kay Ke:所以后面的话,工作重心就转到了强化学习。

柯丽一鸣 Kay Ke:开始做了,让机器人去在现实生活中做这个事情,不断的去练习,通过练习归因来让它变得更好。

柯丽一鸣 Kay Ke:我觉得这个是有点像,可能之前会看一些奥运冠军的访谈嘛,就看他们的训练,就来激励自己,就觉得

柯丽一鸣 Kay Ke:就做一些,要想做好一件事情,尤其是这种动作性的事情,你确实就得适配,就搞出一个策略,它最适合你的这个机体,并且就不断地锻炼你的机体,让你就是刻出一个

柯丽一鸣 Kay Ke:肌肉记忆嘛,对人来说,对机器学习来说,我觉得其实就是一个强化学习的过程。

柯丽一鸣 Kay Ke:嗯,所以你是做了这个筷子项目之后,才去转向了强化学习吧,中心。

柯丽一鸣 Kay Ke:对,我就是从理论的机器学习开始做,然后不太满足于理论,想做应用。

柯丽一鸣 Kay Ke:然后做了应用以后,第一个算法其实是一个模仿学习的综述算法。

柯丽一鸣 Kay Ke:在只能在 simulator 里,在在模拟器里跑一跑。

柯丽一鸣 Kay Ke:然后后面不满意,做了真机,做了真机开始做模仿学习,做强化学习。

柯丽一鸣 Kay Ke:最后这个强化学习的工作,其实是可以在空中有一个非常会晃动的小球,就人夹都有点难度,但是我可以用这个机械手去给它夹住。

柯丽一鸣 Kay Ke:因为它是有,它还是可以夹一个玻璃球这种准确度,就这种准确度确实比一般的机器学习的

张小珺:任务要求已经高出很多了。我们后面还会再来聊强化学习啊。我们现在先回来讲讲,继续讲讲这两个派系。这两个派系你觉得他们互相之间有鄙视链或者某种程度的价值观的冲撞吗?体现是什么呢?

柯丽一鸣 Kay Ke:我觉得鄙视链,我觉得大家可能或多或少都是有一些觉得你做你最相信的东西,别人的东西你可能没那么相信,你你相信的话,你就去做了。

张小珺:这种感觉。因为在今天,可能嗯 machine learning 已经变成了一个相对来说共识了,我不知道在当时他们真实的状态是什么样的,以及你说

张小珺机器学习和传统的这种方法哪个是更优雅的呢?这个评判标准是什么呢?

柯丽一鸣 Kay Ke:我觉得优雅是很主观的。

柯丽一鸣 Kay Ke:在当时那个年代,我记得就是在我读博过程中,我们是从一个比较呃比较新兴的一个分支,逐步变成了一个大家比较愿意接受的一种。

柯丽一鸣 Kay Ke:呃,算法在当时是有一些质疑的声音,我觉得他们质疑其实也非常的正确。

柯丽一鸣 Kay Ke:他们问的是一个基于事实的,比如说那个,你什么东西都能做。

柯丽一鸣 Kay Ke:但什么东西都做不好,那么要这个算法的用处是什么?

柯丽一鸣 Kay Ke:嗯,这是一个我觉得在当年非常有意义的一个 concern 就当时

柯丽一鸣 Kay Ke:大家做很多东西,你往前看的时候是不明白,往后看的时候可能才发现能够溯源到某些代表性的或者有贡献的作品。

柯丽一鸣 Kay Ke:而当你决定下一步做什么的时候。

柯丽一鸣 Kay Ke:你达到这个目的,我觉得我自己的研究吧,起码是有受到这个这种思想的启发,就是我想让积极学习在一个问题上至少能做到极致,这样别人在把它泛化的过程中可能会有一些

柯丽一鸣 Kay Ke:比较简单,因为他可以从我的这个经验中直接放到别的任务上。

柯丽一鸣 Kay Ke:泛化和表现的冲突还是最核心的一点吧,即使到今天,我觉得这

柯丽一鸣 Kay Ke:这个质疑依然没有完全消失,甚至包括我们作为从业人员也是在一直思考。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:一个传统的机器人的一个链条,在工厂,比如说造车。

柯丽一鸣 Kay Ke:你要把这个用一个很大的机械臂把这个玻璃给放到这个车上去。

柯丽一鸣 Kay Ke:这是一个传统已经做得非常成熟的,成功率、稳定性、速度都非常有保障的一个。

柯丽一鸣 Kay Ke:问题。

柯丽一鸣 Kay Ke:你现在用机器学习拿到的这种算法和表现,和传统相比的话,可能暂时还没有人能够说我们

柯丽一鸣 Kay Ke:嗯,这个鲁棒性是和传统那么一样的话,我觉得直到今天都还是一个研究的前沿性的一个问题。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:然后另外可能,当时我觉得还有一个比较有意思的就是。

柯丽一鸣 Kay Ke:我不知道你有没有听说过呃一位学者叫吉坦卓。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:呃,吉坦卓他是伯克利的一个做 Computer Vision 很有贡献的教授。

柯丽一鸣 Kay Ke:他之前说了一个很有名的话,这个这个话太好玩了。

柯丽一鸣 Kay Ke:uh Robotics is far too important to be left for robotists 就是说机器人太重要了,我们不能只让搞机器人的这帮人来搞,我们也得搞。

柯丽一鸣 Kay Ke:这个话其实有很多不同的诠释方法,还有一个不太友善的诠释方法,可能是说机器人太重要了,这帮搞机器人的不行,我们我们得我们上才能把它搞出来。

柯丽一鸣 Kay Ke:但我觉得也有一个比较友善的诠释方法,可能是要想把机器人搞出来,必须得有不同行业的人群策群力。

柯丽一鸣 Kay Ke:我觉得这对当

柯丽一鸣 Kay Ke:今的机器人大模型发展是有启示性的。

柯丽一鸣 Kay Ke:比如说

柯丽一鸣 Kay Ke:我是一个比较传统的拍戏出身的,我可能很多会关注这个动作机械本身,还有这个表现的精益求精。

柯丽一鸣 Kay Ke:我也会做算法,但是在我的领域之外,有很多这种做

柯丽一鸣 Kay Ke:嗯,这种视觉的人,他们有一些更多的就是如何引入更多的数据,如何训练更多数据的经验。

柯丽一鸣 Kay Ke:包括做这种大语言模型的人,他们有更多的大模型训练经验。

柯丽一鸣 Kay Ke:我觉得机器人的成功一定是一个各行各业都放到一起来,就是有软件算法,有不同的行业的训练,有大模型,然后也有硬件,甚至包括这种产业链。

张小珺:才有可能把机器人做出来。你说的这个传统派和呃继续学习的派系,他们在美国的这个分布是有聚集效应的吗?

柯丽一鸣 Kay Ke:偶然性的是有一些的,因为西海岸这边就是斯坦福、伯克利,这个硅谷的。

柯丽一鸣 Kay Ke:都是 Machine Learning 旁边的两家大学都是有很多 Machine Learning 的。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:我觉得东海岸也是有,但是东海岸的传统派可能更加的根深蒂固一些,就是从最早的这个派系发展。

柯丽一鸣 Kay Ke:当然,其实现在的

柯丽一鸣 Kay Ke:卡耐基梅隆和 MIT 这两所学校,他们有很多传统派的学者,也有很多就是新兴的学者,大概就是最近5年招招过去的。

柯丽一鸣 Kay Ke:还有一个比较好玩的事情是

柯丽一鸣 Kay Ke:大家不管在哪做,好像最近这两年都是在往硅谷这个地方跑。

柯丽一鸣 Kay Ke:我有很多呃朋友啊,不管是在波士顿那边创业啊,或者说在那边当教授啊,他们很多人也在

张小珺:呃,其他的公司领了一些职位,而且这些公司的办公室都在硅谷。从一个边缘学派到一个现在更主流的学派,作为 Machine Learning 我我能理解大家都在往这边聚拢,那

张小珺东海岸的那个传统派别,他们已经认为就是信仰应该发生转变了,还是说我还坚持自己的信仰?我觉得有两点吧,一点就是我觉得很多人都在积极的拥抱和探索,就是相当于你本来

柯丽一鸣 Kay Ke:有一个工具箱可以做很多事情。

柯丽一鸣 Kay Ke:现在别人告诉你,他们也有一套工具箱,而且很很很激动的一个工具箱。

柯丽一鸣 Kay Ke:你不一定就是赞同他们说的,就是这工具箱有什么激动的。

柯丽一鸣 Kay Ke:然后现在你可能看到一些东西以后,你是愿意去转变说,这工具箱可能很激动,我们怎么把它。

柯丽一鸣 Kay Ke:探索实验起来,你有可能是做结合,也有可能换方向,也有可能就是你又开放了一个新的嗯方向,我觉得这个是时时刻刻都在发生的。

柯丽一鸣 Kay Ke:然后另外一边的话,我觉得

柯丽一鸣 Kay Ke:嗯,传统派的人,其实他们我觉得是有非常多的这种专家的洞察的,因为很多传统派的人为了把他们的任务做好,都是经历过非常多的

柯丽一鸣 Kay Ke:嗯,就是硬件转换呀,或者说这些,就不同的工程的提炼,就是他们如果能够在很多现有的项目中分享一些见解的话,我觉得他们讲的都非常有道理。

柯丽一鸣 Kay Ke:比如说昨天晚上,其实我还正在读一个博客,博客上面就在说了这些电机的一些问题,然后这个博客的作者也

柯丽一鸣 Kay Ke:在末尾也改,就是他是一个

张小珺:搞机器学习出身的,然后在研究电机,然后他也感谢了很多传统派的一些教授,在 cmu 的教授对他的一些指导。嗯。你看硅谷现在还有很多呃新的公司,刚才你说了 skilled 和派,这是两家在硅谷创业做机器人大脑的公司。嗯。创业公司,然后还有另外一些创业公司,比如说 Figma 比如说

画面说明

柯丽一鸣近景讲解机器人领域的技术谱系、研究门派与代表人物。

06. 硅谷机器人创业图谱(01:26:29-01:53:53)

场景 6

本节主旨硅谷机器人创业图谱

完整内容

张小珺OneAlex 比如说 Dyna。

张小珺:能不能讲讲他们的创始人的来历?然后以及他们分属于哪些派别?他们的由来和历史。好的,我只能分享一下,就我理解到的一些,呃,就是接触到的一些。

柯丽一鸣 Kay Ke:事情。

柯丽一鸣 Kay Ke:嗯,我感觉像派和 scale 的两家都是有比较的浓厚的,就是学术人创业的这个标签。

柯丽一鸣 Kay Ke:因为两家的创始人和联创都是在

柯丽一鸣 Kay Ke:呃,学校当教授,而且有些是就是比较高产的教授。

柯丽一鸣 Kay Ke:两家的口号也是有些类似,都是想做具身智能的一个通用的大模型的大脑。

柯丽一鸣 Kay Ke:然后在区别上来说呢,其实嗯一方面我觉得在应用上面,派更多考虑是一个双臂操纵,就是还是想把操纵这么一个问题给解决,因为

柯丽一鸣 Kay Ke:可能我觉得在派加入的学者,或多或少都觉得,就是之前在移动方面取得了很多很好的成果,我们现在应该想想怎么样在拿东西、放东西这个方面取得很好成果,因为你可以报论。

柯丽一鸣 Kay Ke:包论就是,你如果能把 pick and place 这么一个拿放的问题解决,你可以把整个生活中所有的家务都干掉。

柯丽一鸣 Kay Ke:你不就是抓放抓放吗?

柯丽一鸣 Kay Ke:然后你可以抓这个东西放那个东西,或者有一些路径轨迹的限制,但是这是一个

柯丽一鸣 Kay Ke:大类非常值得解决的问题。

柯丽一鸣 Kay Ke:另外一方面,我觉得在 Scale 的话,相对而言,他们有一些呃更多的就是腿、人形和狗。

柯丽一鸣 Kay Ke:的一些探索,我觉得这个是相对而言更多的。

柯丽一鸣 Kay Ke: 他们的构型更完整一些。

柯丽一鸣 Kay Ke: 这倒不一定,因为现在人形机器人如何装操控系其实是没有解决的一个问题。

柯丽一鸣 Kay Ke:他们有很多,就是他们现在能看到视频里的话,相对而言,他们的操纵的这个任务都比较简单,然后他们更多的强调就是一个移动性。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:我觉得并没有完整吧,因为现在我觉得并没有 converge 统一到一个好的一种构型,它又能做呃很好的移动,又能做很好的操控。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:所以大家各有侧重。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:然后其他的公司的话,我觉得嗯就不得不提一提哦,就很早之前就在做人形的公司。

柯丽一鸣 Kay Ke:我觉得其实特斯拉在2021还是2022年的这些,就是伊隆马斯克的一些话语,肯定是激励到了不少人,就是让大家

柯丽一鸣 Kay Ke:当时的一些硬件人就已经开始有这个热潮去做人形。

柯丽一鸣 Kay Ke:然后 figure 的话是应该是2022年开创的一家人形机器人公司。

柯丽一鸣 Kay Ke:然后他的 founder 就就我所知的话,并没有一个呃技术背景。

柯丽一鸣 Kay Ke:他是有之前成功创业的一些经历。

柯丽一鸣 Kay Ke:我觉得是很有意思的一个人,因为他能在2022这个时间点做一个他都不是那

柯丽一鸣 Kay Ke:么熟悉的。

柯丽一鸣 Kay Ke:一个新的领域,因为他相信这个,我觉得这是非常有意思的一件事情。

柯丽一鸣 Kay Ke:然后相对而言,Onex 的话,我听说是创始人其实是深耕了这个呃机器人的这种电机,因为他们是做绳驱的,绳驱的人形机器人。

柯丽一鸣 Kay Ke:呃,比较独特。

柯丽一鸣 Kay Ke:然后戴拿的话,他的创始人嗯是,呃,因为这个戴拿创始人,他们是相当于是认识,他们是有一些创业的背景,也有一些技术的背景。

柯丽一鸣 Kay Ke:我觉得如果用一个标签去形容他们的话,可能他们是更强调商业部署落地的。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:当然我觉得现在。

柯丽一鸣 Kay Ke:就在一个具体场景,比如说我们都看过他那个叠衣服的场景。

柯丽一鸣 Kay Ke:对,就比如说我觉得如果看看他们在2024 205 25年期间所发表出来一些东西的话,呃,可以形容为就是,有没有可能就是机器学习已经可以进家落地并创造一些商业价值,同时这个商业价值可能能给他们带来一些

柯丽一鸣 Kay Ke:就部署上的优势。

柯丽一鸣 Kay Ke:就以后随着这个机器人大模型的这个能力越来越上,可能大家也会慢慢的从这研究端转到部署端,可能他们就是做部署端比较早的一类。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:然后其他的其实也有,因为当时当时我觉得是2023年2025年是井喷式的机器人创业吧,就不得不提2023年初的这个黄埔军校,机器人的黄埔军校应该还是谷歌的这个研究所。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:嗯,因为当时确实时间点非常有意思,2021还是2022年,切 gpt 出来了,效果太好了,其实动摇了很多人的

柯丽一鸣 Kay Ke:这个想法使得当时就是做什么东西这个课题是有很大的一个变化的。

柯丽一鸣 Kay Ke:然后包括谷歌当时也是做了一个比较大的动作,就是把他们的机器人的部门给

柯丽一鸣 Kay Ke:就是变相地削减了一下,就是为了给他们做大模型,可能抽一点人过去。

柯丽一鸣 Kay Ke:但这个其实也蛮影响大家做机器人研究,所以很多人就趁这个机会出来创业了。

柯丽一鸣 Kay Ke:呃,派的连史呃派的创始人就是都是在谷歌之前做的。

柯丽一鸣 Kay Ke:那 Scale 的话,其实他们俩创始人之前是在 Meta 是有

柯丽一鸣 Kay Ke:呃,研究员的职位的。

柯丽一鸣 Kay Ke:然后,呃,Faker One X 应该也吸纳了不少从这一波里面出来的人。

柯丽一鸣 Kay Ke:然后还有比较值得关注的,呃,当时还有

柯丽一鸣 Kay Ke:两家公司也是从这一波里面出来,呃,一个是叫 Generalist AI,一个叫 Sunday Robotics。

柯丽一鸣 Kay Ke:嗯,这两家公司的一个比较共通的点是,他们都

柯丽一鸣 Kay Ke:呃,相对其他公司更多强调了用优米作为数据采集的一个手段。

柯丽一鸣 Kay Ke:优米的话呢是呃是这两家公司的创始人,其实当年是在一个 paper 上。

柯丽一鸣 Kay Ke:啊,这个 paper 就是 Yumi 这篇 paper 他就说了我们可以做一些呃设计好的一个爪子,人就可以抓着这个爪子去自己生活的这个世界里面采集各种各样的数据,然后并且证明了这个爪子收到的数据是可以迁移到一个机器人的一个

柯丽一鸣 Kay Ke:上面的,所以他们两家公司不约而同的都,呃,相比其他公司更加重视这方面的发展。

柯丽一鸣 Kay Ke:然后我觉得可能 Generalist AI 就会稍微偏重工业化场景应用一点,这是从他们发放的视频里推测的。

柯丽一鸣 Kay Ke:然后可能桑内的话,他们发的视频就更多的有一些就是家用的,呃,这个场景体现,甚至包括他们的这机器人也比较可爱的,就目前是看到比较可爱的机器人。

张小珺后面这几家公司我们能理解是做硬件的公司吗?

张小珺:因为你们那两家是大脑公司。嗯。还有 Google 特斯拉也是大脑大脑公司,对吧?我觉得特斯拉我估计它的硬件也不错。嗯。创业是一直在变的,所以很难用。

柯丽一鸣 Kay Ke:就今天的思维去想明天的事。

柯丽一鸣 Kay Ke:但就现在这个快照来看的话,嗯,派肯定是更加注重大脑。

柯丽一鸣 Kay Ke:我相信 Skilled 也注重大脑,但是 Skilled 大家创业公司其实都比较神秘,也不知道它具体在做什么。

柯丽一鸣 Kay Ke:OK。

柯丽一鸣 Kay Ke:然后特斯拉的话,大家一般谈起它都会认为它的硬件是很强的,毕竟它有这么多的钱去烧,就机器人硬件的研发不是一个呃很容易就能上手,不像软件,我觉得软件其实相比而言反而是容易上手的一个东西。

柯丽一鸣 Kay Ke:嗯,硬件的话,它的产业链啊、它的这个,就迭代速度呀,包括它里面的工程师啊,我觉得这个都不是一天而起的。

柯丽一鸣 Kay Ke:特斯拉之前有造车的经历,造机器人方面

柯丽一鸣 Kay Ke:大家都觉得它肯定是有优势的。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke: Figure 也是一个造机器人,Figure One X 都是造人形机器人,可能区别就是 Figure 用的是嗯电机,而 One X 用的是这种绳驱的。

柯丽一鸣 Kay Ke:方式。

柯丽一鸣 Kay Ke:Generous 和 Sunday 的话,我相信其实现在就包括甚至 Dina 就大家可能或多或少都会开始设计,就是如何弄一个更好的硬件出来。

柯丽一鸣 Kay Ke:但是你说造硬件到什么地步,可能没有一个呃能看得清的一个说法。

柯丽一鸣 Kay Ke:嗯,之前不是有一个呃笑话,就是如果你是一个认认真真真的想把事情干成的,积极学习的一个学者的话,你真得造自己的硬件。

柯丽一鸣 Kay Ke:因为市面上没有一家是真的拿来就能用,完美符合了你所想要的应用场景。

柯丽一鸣 Kay Ke:软硬得一体。

柯丽一鸣 Kay Ke:软硬一体我不知道,但硬件其实本身都没有没有达到这个地方。

柯丽一鸣 Kay Ke:嗯嗯,硬件我们等会也会着重哎聊到。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:其实我觉得硬件有一个我的很简单的构想,就是到底有哪家公司能给我一台,我可以把它发到人家里去,我就有一个人在后面遥控它,但它真的能把我家里我想做的事情都做到。

柯丽一鸣 Kay Ke:而且它不坏,它很稳定。

柯丽一鸣 Kay Ke:我觉得如果能到这一步,才是算,我觉得硬件的第一个版本才是真正出来的。

柯丽一鸣 Kay Ke:嗯,因为我记得你上次跟我聊,还聊了好多,比如说

张小珺:花衬衫。Oh my god,哈哈,这是一个好好玩的梗。嗯,这个是波士顿动力的创始人 Mark。他在我脑子变成了一些二次元的画像。Oh my god,就是你们机器人行业的各个人物。对,他其实是一个非常有个性的人,他现在你去

柯丽一鸣 Kay Ke:人家见到他的话,他就是一个白发老头,穿着一个花衬衫。

柯丽一鸣 Kay Ke:他其实一直在公共场合都是以花衬衫的形象出现,包括他给波士顿动力后面的 AI 研究所设计的这个队服。

柯丽一鸣 Kay Ke:都是一个夏威夷花衬衫。

柯丽一鸣 Kay Ke:但这个来源其实是他在年轻的时候,据说啊,谣传,在当时那个年代做研究啊交流啊,还是一个比较严肃正经

柯丽一鸣 Kay Ke:就是不可有丝毫懈怠的事情。

柯丽一鸣 Kay Ke:所以当时他这个人呢,穿着一个衬衫什么的,还是一个反正不太那么严肃的一个衣服去参加这个会议,就被别人讲了,就别人说了你怎么可以穿这样的一个东西,有点

柯丽一鸣 Kay Ke:不太不太尊重,然后他从此以后就,我就要穿这个,而且要推广,让大家都可以穿这个。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:所以他现在的形象,就是我觉得他是有一个叛逆精神在身上的。

柯丽一鸣 Kay Ke:是不是还有一个非常飘逸的 Abhinav 刚才好像已经讲到了一些,就是 Abhinav 他思想非常的天马行空。

柯丽一鸣 Kay Ke:哦,他其实哦,对,他其实有影响,也有华人的学者是他的学生,现在也成为了比较知名的教授。

柯丽一鸣 Kay Ke:王小龙,他现在在 UCSD。

柯丽一鸣 Kay Ke:做呃教授,他是阿比纳夫的学生。

柯丽一鸣 Kay Ke:阿比纳夫当时是挺有意思的,他做的事情就是感觉打一枪,然后你还没明白这枪是什么意思,后面才发现哎,还真的有点意思。

柯丽一鸣 Kay Ke:他就是一个天马行空的,就是你跟他

张小珺:开会的时候都不知道他下一句会说什么的这么一个人。会说什么让人很出乎意料的吗?对,他的他的思维就像是一个点的一个跳跃性的思维。哦,这里面你有最崇拜的一个学者吗?

柯丽一鸣 Kay Ke:我觉得我能够欣赏大家的优点,但是哎,我还是比较崇拜什么游戏创作者、小说写作人。

柯丽一鸣 Kay Ke:这个只是生活生活和工作分开。

柯丽一鸣 Kay Ke:哪个是生活?

柯丽一鸣 Kay Ke:我觉得人文故事。

柯丽一鸣 Kay Ke:哦,人文故事是生活。

柯丽一鸣 Kay Ke:对,工作是一种优化,是一种很纯粹的,就是把大家的好给吸纳在一起的这种态度。

张小珺:嗯,你平时会跟,比如说大模型的研究员有一些接触吗?你会觉得机器人的呃里面的人和大模型的人会有什么不一样?我觉得接触是肯定要接触的,我也能越来越多地感受到,确实要想把机器人做成,是得在一个团队的环境里。

柯丽一鸣 Kay Ke:是得吸纳大家的所长,有各行各业的人加入才能把它做成功。

柯丽一鸣 Kay Ke:而不同之处的话,我觉得

柯丽一鸣 Kay Ke:就比如说,就这么讲吧,这么我们有个机器人,它收了一条数据。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:大模型的人可能就会想说,咱们收个100万条这样的数据怎么样?

柯丽一鸣 Kay Ke:然后我们就可以拿到一个数字。

柯丽一鸣 Kay Ke:然后有这个数字以后,我们就会让它这个数字变得越亮,越来越好。

柯丽一鸣 Kay Ke:然后作为一个更多搞传统机器人出身的人,我们可能会先想的就是,这条数据长什么样呀?

柯丽一鸣 Kay Ke:我要来看一看它的这个动作,它做这个东西,甚至包括它这个当时的硬件条件、硬件环境的这些设计。

柯丽一鸣 Kay Ke:就是你能看到就是,相对而言,我觉得做传统机器人出

柯丽一鸣 Kay Ke:身,机器学习的学者。

柯丽一鸣 Kay Ke:会更多的在意就是这种物理的动作。

柯丽一鸣 Kay Ke:而大模型出身的学者呢,他们经常会比较飘逸地说,哎呀,现在这个信息好像不够全,他们想要加一条进去,或者补一条进去。

柯丽一鸣 Kay Ke:我觉得这个

柯丽一鸣 Kay Ke:可能是你做很多次机器人,你会习惯了现在机器人的一些感知的一些系统。

柯丽一鸣 Kay Ke:而大模型的人可能更多能跳出这个框架去思考,我们现在要什么样一个信息才能把这件事情做成。

张小珺嗯,我们刚才说了很多创业公司,其实硅谷的呃大厂做机器人也很值得关注,比如说 NVIDIA,比如说 Google。是的,还有特斯拉。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:他们的 BAT 有什么不一样吗?

柯丽一鸣 Kay Ke:我们其实刚才顺着把每一个机器人公司的 BAT 都有讲一遍。

柯丽一鸣 Kay Ke:BAT 我觉得我不能替别人公司讲,我只能讲讲我自己的 BAT 但是从你能观察到的公开信息来说,我觉得特斯拉是专压人形吧,它应该是人形搞的最激进

柯丽一鸣 Kay Ke:的一家公司。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:因为就拿最简单的事情来举例,手手这个事情呢,我在,我有我的相信嘛,我现在觉得手是一个有了会非常好,但现阶段没有也没有关系,不是必要的。

柯丽一鸣 Kay Ke:但特斯拉它就更加的强调说我们要搞一个终极形态。

柯丽一鸣 Kay Ke:我们一定要把这个机器人的方方面面做的都和人形差不多,他们是有很强烈的一个人形的一个信仰的。

柯丽一鸣 Kay Ke:嗯,而谷歌,嗯,我觉得他们因为有自己的大模型 gemini。

柯丽一鸣 Kay Ke:他们做的比较成功的,比如说有多模态能力。

柯丽一鸣 Kay Ke:Gemini 的多模态能力,比如说图像生成啊和图像修改是现在大家都比较津津乐道,也会在日常中使用的。

柯丽一鸣 Kay Ke:可能对他们来说,机器人也可以是这个模态的一部分,会给他这个模态提供一些就是空间感知啊、空间规划啊或者空间控制的一个能力。

柯丽一鸣 Kay Ke:所以我觉得他们

柯丽一鸣 Kay Ke:在,也许啊,我猜的,他们在这个走机器人路线的时候,是更多是想着说机器人如何成为这个多模态大模型的一个部分。

柯丽一鸣 Kay Ke:而英伟达的话,呃,江湖的笑话就是英伟达做所有事情都是为了卖卡。

柯丽一鸣 Kay Ke:所以他们有很多就需要烧很多卡才能完成的一些项目,比如说像世界模型这样的项目。

柯丽一鸣 Kay Ke:嗯,但是通过这个过往的经历,一次又一次证明,有些时候真的就是数据多了,卡多了。

柯丽一鸣 Kay Ke:哎效果就上去了。

柯丽一鸣 Kay Ke:所以大家也很期待,就是他们这样做能做出什么,就是可能一些计算力更大的,一些更加简单粗暴也是一种美,我觉得。

柯丽一鸣 Kay Ke:但是其实做的时候,可能每个学者也要发挥自己的一种

张小珺:设计的长处。在英伟达做研究会不会卡更充裕?我当然是这么猜的啦。OK。

张小珺在这种不同的重心和选择之下,每个公司它的不同的软硬件方案是什么样呢?嗯,我觉得硬件方案大家多少不会那么公开的讲,你只能从他的视频里推测。为什么这个是更保密的呀?

柯丽一鸣 Kay Ke:我觉得硬件,其实我也不知道,但确实大家在公司工作,或多或少都得遵循公司的一些保密原则吧。

柯丽一鸣 Kay Ke:硬件是不更保密的。

柯丽一鸣 Kay Ke:我觉得软件其实也很保密,派应该算是一个比较独特的地方,就是在这里我们还是有一些学术界的影响,觉得要嗯分享啊、发表啊,也是你。

柯丽一鸣 Kay Ke:研究的一个部分。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:其他公司的话,就我目前的感知觉得,嗯,没有这么的开放吧,甚至包括派的办公室也没有那么严的安保,就是有的时候就可以带一些同行的朋友去。

柯丽一鸣 Kay Ke:看一看,跟大家介绍一下,就这种思想的碰撞。

柯丽一鸣 Kay Ke:嗯,其他的公司我觉得

柯丽一鸣 Kay Ke:就是在硬件上,我觉得人形和非人形可能是一个比较直观的一个 bet 嗯。

柯丽一鸣 Kay Ke:比如说像特斯拉 Figure One X 都是比较强烈的在 bet 人形的。

柯丽一鸣 Kay Ke:但是你说他们做的和其他人做的一个最大不同,可能就是有没有这个腿是一个。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:然后也有人认为是,就是你有了腿,因为你是个人形,而我们这个世界是为人而设计的。

柯丽一鸣 Kay Ke:对。

柯丽一鸣 Kay Ke:所以你做出了人形机器人后,它在这个世界里一定是最。

柯丽一鸣 Kay Ke:自然的。

柯丽一鸣 Kay Ke:通用性更好。

柯丽一鸣 Kay Ke:对,通用性更好,这是一些人的信仰。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:然后另外一些就是非人形的信仰,我觉得其实可以分为两派吧,实用派还有狂野派。

柯丽一鸣 Kay Ke:你们是哪个?

柯丽一鸣 Kay Ke:我个人是实用派加狂野派。

柯丽一鸣 Kay Ke:啊?

柯丽一鸣 Kay Ke:因为嗯可可以展开说一下,就是实用派的话,其实我们会觉得这个机器人不一定非要是人形,它就能做很多事情了。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:对吧?

柯丽一鸣 Kay Ke:而且人形的机器人的很多问题也许别人可以解决,我们可以后面再跟上。

柯丽一鸣 Kay Ke:我们现在觉得最阶,现阶段最重要的问题之一就是它的能力、它的表现、它的操控性的这个东西。

柯丽一鸣 Kay Ke:它不需要一个人形,它就可以做。

柯丽一鸣 Kay Ke:而且甚至如果你做得好的话,你已经可以去做这件事情了,在现实生活中去部署啊,做一些。

柯丽一鸣 Kay Ke:所以我们对人形在使用的角度上来觉得

柯丽一鸣 Kay Ke:呃,在现阶段没有那么的有必要。

柯丽一鸣 Kay Ke:而狂野派呢,这就海了去了呀,你看啊,我们这么多年有车这个东西,车是有轮子的。

柯丽一鸣 Kay Ke:嗯,自然界中其实没有。

柯丽一鸣 Kay Ke:这么一个东西。

柯丽一鸣 Kay Ke:但其实现在车上或者大街上或者全世界那么多条公路,都是为了让车能跑得更好而设计的。

柯丽一鸣 Kay Ke:就可能有一种信仰是说,如果真的是一个有用的。

柯丽一鸣 Kay Ke:一种形态的话,大家将来会为了这个形态去改变你所生在的生存的这个环境,比如说适配。

柯丽一鸣 Kay Ke:我觉得这个是可以成立的,并且狂野派他们为什么要用两只手呀?

柯丽一鸣 Kay Ke:四只手好不好?

柯丽一鸣 Kay Ke:三只手好不好?

柯丽一鸣 Kay Ke:或者说你这个下面下面这个轮子,你好多轮子都可以。

柯丽一鸣 Kay Ke:就是他可以充分发挥想象去想,就有没有可能就是有一种就是

柯丽一鸣 Kay Ke:生物的自然界的演化链,出不来的一个形态,它其实是最好的一个形态。

柯丽一鸣 Kay Ke:然后你这个形态做了以后,因为机器人它是可以换的,你的手坏了可以换。

柯丽一鸣 Kay Ke:我个人就是比较相信,也许就一个成熟的机器人的形态,就是它的动态组装性,就有可能将来的机器人,它就随时随地都可以把自己的身体的一个部件给换掉,换成一个

柯丽一鸣 Kay Ke:更适合的东西。

张小珺:就像他的工具一样。对。所以你的实用派加狂野派是怎么回事?你想象中的构型应该是什么样?现在想不了太多,现在就想把现在这个构型表现做好。

张小珺:嗯,因为派是要追求做通用大脑。对。那直觉来看,要做通用大脑,它就应该适配一个更通用的构型。而人好像就是那个最通用的构型,因为你也刚才也说了,就是现实世界各个东西都是为人来设计的。

张小珺那嗯为什么你们要选择是既要做一个通用大脑,又不选择一个人形呢?我觉得通用大脑的通用,大家可能有不同的诠释。

柯丽一鸣 Kay Ke:做一个具体的构型的通用功能是通用的一种做法,而做很多构型都可以受益的一个大脑。

柯丽一鸣 Kay Ke:是另外一种做法,而且也没有人说,就是你做很多构型都能受益的大脑,它就不能在人形上面做。

柯丽一鸣 Kay Ke:只是。

柯丽一鸣 Kay Ke:每个阶段不同的重点。

柯丽一鸣 Kay Ke:你们希望覆盖的构型更广阔,就不不只是人。

柯丽一鸣 Kay Ke:没错,就是派的模型都是在不同形态的数据上面训练,并且可以在不同形态的机器人上面使用。

柯丽一鸣 Kay Ke:只是现在可能

柯丽一鸣 Kay Ke:呃,能看到的只是这么几个具体的构型,但其实没有放弃,就是说这个大脑得在不同的机械上面都能用起来。

柯丽一鸣 Kay Ke:因为这和人操控的道理是一样,就是我作为一个人类,我去要操控一个机械,我不管是开车。

柯丽一鸣 Kay Ke:开挖掘机,或者是去去操纵这个这个腿怎么踢,或者说这个一个机械手,它怎么去做这件事情,我都是由一个我的大脑。

柯丽一鸣 Kay Ke:去操纵这么多不同的构型。

柯丽一鸣 Kay Ke:嗯,我觉得这个才是通用大脑最本质的一个定义,而不是说就是我去做了一个人形的大脑,它就是通用大脑。

张小珺:那是不是比如说做一个人形,在这个构型之下做一个通用大脑。人形的相对任务是更复杂的,你做完这个复杂任务,你可以泛化到其他的形态更容易呢?

柯丽一鸣 Kay Ke:我觉得任务的复杂性是可以抽开好几个层面的。

柯丽一鸣 Kay Ke:比如说人形,它因为关节多,所以你要同时控制这么多关节是有一些难度。

柯丽一鸣 Kay Ke:但是你做的具体的任务,任务的难度我觉得和人形是可以完全不相关的。

柯丽一鸣 Kay Ke:就像我之前说的,我们其实非常相信。

柯丽一鸣 Kay Ke:一个任务,比如说,就假设你要组装这个麦克风,这个步骤应该很多。

柯丽一鸣 Kay Ke:你用人形来做,你用一个更加简单的双足机器人来做,它都是完成一个很难的任务。

柯丽一鸣 Kay Ke:我觉得在现阶段对我个人来说,完成这个很难的任务比你用什么构型更重要。

柯丽一鸣 Kay Ke:甚至我个人觉得,你用简单的构型做出了一个更复杂的任务的话,将来你再去控制人形做这个应该会更简单,因为你

柯丽一鸣 Kay Ke:更复杂的构型可以提供的功能可能是更多的。

柯丽一鸣 Kay Ke:它的操控虽然难,但是它的这个灵活度,就确实是有些关节上灵活度的东西,它可能更简单。

柯丽一鸣 Kay Ke:所以如果我能用一个简单的构型去做成一个非常复杂的任务。

张小珺我觉得它将来能够迁移到人形的概率也是非常大。而像比如说 Skilled 它做的通用大脑是要匹配一个通用的人形,对吗?

柯丽一鸣 Kay Ke:其实我们并不理解他这么多的技术细节吧。

柯丽一鸣 Kay Ke:嗯,只能是从他的视频里推测,我觉得他们有很多就是因为他们可能更,相对而言更靠近商业部署一侧,所以他们有一些移动的需求,所以他们可能现阶段就已经开始

柯丽一鸣 Kay Ke:做了一些人形和狗的这个东西。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:你看派其实,呃,我们也有一些,就最近的一些发布是说了,就是派有一些 partner。

柯丽一鸣 Kay Ke:就是有一些合作伙伴的机器人公司,就包括之前一直也一直没有停止过,就是帮助合作伙伴的这些机器人,不管是不是人形啊,还是什么其他的形态,用上我们的这个大模型去做一些事情。

柯丽一鸣 Kay Ke:嗯。

张小珺因为现在我们管这些组织都叫 Frontier Lab 那你能不能讲讲在机器人领域,你觉得机器人的 Frontier Lab 的 Frontier 体现在哪里啊?哪些指标能够来

柯丽一鸣 Kay Ke:描述这个 frontier 我觉得前沿 frontier 呃方方面面啊,咱们要走的路还挺长的。

柯丽一鸣 Kay Ke:我觉得其中一个比较切身感受的。

柯丽一鸣 Kay Ke:是这个 evaluation 吧,就是评估。

柯丽一鸣 Kay Ke:嗯,这个问题其实我觉得 NLP 是走过这条路,自然语言,他们当年就是生成了一段话,叫你来给它打分,你怎么打分?

柯丽一鸣 Kay Ke:也是一个不容易的事情。

柯丽一鸣 Kay Ke:但是在机器人这边呢,就更加糟糕的一点就是你还得在机器人上跑,你才能知道它做了一个什么事,你才能给它打分。

柯丽一鸣 Kay Ke:就不光这个分有点难打。

柯丽一鸣 Kay Ke:而且你还得受到这个机械这个物理的限制。

柯丽一鸣 Kay Ke:很多时候呢,就是只是一些变化什么的,可能你自己不知道,然后它就会影响你的这个模型表现。

柯丽一鸣 Kay Ke:我相信就是在最终的成品那个阶段应该是不太怕这些细微的改变,或者说一些呃比如说你要拿这个杯子对不对?

柯丽一鸣 Kay Ke:假设我们现在做这个任务就是拿这个杯子。

柯丽一鸣 Kay Ke:你把杯子放在这个桌子的任何一个地方,是一种这个这个扰乱它的一种方法,就看它是不是每个地方都拿起来。

柯丽一鸣 Kay Ke:你还要看这个不同的光照,你还要看不同的背景。

柯丽一鸣 Kay Ke:你还要看这个桌子的高度,甚至是可能不是一个桌子,而是一个一个一个柱子杵着,你能不能拿起来,或者这个杯子它有自己的角度。

柯丽一鸣 Kay Ke:就是有这些无穷尽的一些,就是初始条件,很有可能

柯丽一鸣 Kay Ke:就是都会影响到你最终的表现,所以你在评估的过程中,你是希望能够把这些东西都给评估出来。

柯丽一鸣 Kay Ke:但现实生活中呢,你又

柯丽一鸣 Kay Ke:就你又你又不一定能够那么的好的掌控,所以评估现在是一个问题。

柯丽一鸣 Kay Ke:评估的问题就直接导致了你对前沿的一个认知,就不像其他的领域,它是有一个英雄榜一样的存在。

柯丽一鸣 Kay Ke:就是哎,我们现在发了一个超级大的数据,每个模型都来在这上面跑一跑,跑马场,看看哪个马,赛马谁是第一名,你是能够比较主观,呃,比较比较比

柯丽一鸣 Kay Ke:较客观清晰的看到。

柯丽一鸣 Kay Ke:在这么一个事情上一个确定的结果。

柯丽一鸣 Kay Ke:而在机器人谈论前沿比较难的一个原因就是因为这个评估太难了,导致你很难就是彻底地去评估它。

柯丽一鸣 Kay Ke:就包括每一个公司,我相信内部都有一个

柯丽一鸣 Kay Ke:评估的一套东西,可能这些东西,就是你的注重点,他的注重点都不一定一样。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:但是退一步讲,我也觉得这个是暂时的吧,我觉得最后做出来的应该是不会太担心这个事情,可能现在大家还在探索怎么样做得更加的

柯丽一鸣 Kay Ke:鲁邦和宽范。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:所以现在这个 frontier 还是很难定义的。

柯丽一鸣 Kay Ke:我觉得可以看到一些算法,可以看到一些算法的表现,就是怎么说呢?

柯丽一鸣 Kay Ke:可能是

柯丽一鸣 Kay Ke:就是一个最核心的部分,大家都看见。

柯丽一鸣 Kay Ke:然后随着它向着更前沿的方向迈进以后,就变得越来越有一些乱,就需要你能从纷乱中找到一个清晰的线,然后你相信,然后你把这个图给夯实,夯实了以后,可能大家都

柯丽一鸣 Kay Ke:有了一个共识,这样的话才会知道哦,这是一个,就是,比较确定的东西。

柯丽一鸣 Kay Ke:就有一种悖论嘛,就感觉特别前沿东西,你都没有办法去定义,因为不好说,就是谁谁谁在哪个

张小珺:榜单上面跑到了多少,因为这个是,所以这个是前沿,就没有这种东西来依据。所以现在其实大家的方向是分散的,就是是都在朝不同的方向在发展,不知道哪一条线是那条大道。

张小珺大家还没有统一到那条大道上去。嗯。

柯丽一鸣 Kay Ke:我觉得确实在研究的角度、看问题的角度、想要做的任务上来说是分散且百花齐放的。

柯丽一鸣 Kay Ke:但我觉得在宏观上面来说,其实每个人的命题都是类似的吧,如何让一个

柯丽一鸣 Kay Ke:机械的称体,它在现实生活中做一个任务或者做很多任务,它的表现好。

柯丽一鸣 Kay Ke:只是你这这么宏大的一个命题,得有一个抓手开始做,每个人选的抓手可能不太一样。

柯丽一鸣 Kay Ke:嗯。

张小珺我们绝大部分人都没有机会去看过一个机器人的完整的产线,能不能从你的内部视角给我们讲讲一台机器人是怎么诞生的?

柯丽一鸣 Kay Ke:哦,机器人是怎么诞生的?

柯丽一鸣 Kay Ke:我觉得这个命题可以可以可,还甚至可以讲到原子级别。

柯丽一鸣 Kay Ke:但是我这个人的呃工作的范围也是比较有限,我就从我认知的范围里。

柯丽一鸣 Kay Ke:讲一讲,就是如果一个电机已经被制造出来了,那么我要做的事情其实就是,因为电机它就是一个会动的一个关节吧,可以这么理解。

柯丽一鸣 Kay Ke:这个会动的关节,啊,你就把它连在一起,它就成了一条机械臂。

柯丽一鸣 Kay Ke:你看你人的手臂其实是有非常多的关节和更多细小的肌肉,而现在的机器人的这个形态就是几个比较大的关节,可能比较流行的就是6个关节或者7个关节。

柯丽一鸣 Kay Ke:组成了一条手臂,然后这条手臂就可能

柯丽一鸣 Kay Ke:就差不多是按照你人的活动方式来对照的,因为机械手基本都会有一个大的一个肘关节,然后会有一个腕关节,然后包括有个肩关节,就这个都是。

柯丽一鸣 Kay Ke:比较通用的,你就把关节放在他想要的位置,然后做一些3D打印件啊,或者金属件啊,或者磨成你想要的形状,把它们固定的组装起来。

柯丽一鸣 Kay Ke:这样每个关节动的时候,哎,剩下的就会跟着动,这就成为一条非常原始的机械臂。

柯丽一鸣 Kay Ke:在机械臂能够嗯组装到一起以后,你其实要为它写一些,就是系统和驱动的东西。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:比如说最低层次的话,其实都是

柯丽一鸣 Kay Ke:是通电啊或者气压啊,就是你给他发了一个什么信号,然后他就会收到这个信号,就会开始做一些动作。

柯丽一鸣 Kay Ke:然后很平常的一种操控手段就是用一个位置。

柯丽一鸣 Kay Ke:操控。

柯丽一鸣 Kay Ke:是我希望这个关节现在是一个什么90度角,把它变成一个180度角,我就会发送这个。

柯丽一鸣 Kay Ke:他需要在关节的层面把上层发给他的这个讯号转换成一个他能够真正执行的这个东西,这个就是

柯丽一鸣 Kay Ke:叫底层控制。

柯丽一鸣 Kay Ke:然后再往上一层,你怎么决定你要发什么样的这个位置信号?

柯丽一鸣 Kay Ke:这个可很有可能就是需要你有一个大脑,看到当前的这个任务。

柯丽一鸣 Kay Ke:然后决定哦,为了做这个任务,我要在桌子上拿一个东西,我得先把手抬起来。

柯丽一鸣 Kay Ke:他是要需要嗯理解这个任务,然后理解你的这个关节,然后去。

柯丽一鸣 Kay Ke:做一个把这个肘关节往上抬的这么一个决策,再发给这个机械的这个关节,再关节再执行。

柯丽一鸣 Kay Ke:执行了以后就有新的一个场景了,新的场景大脑得看哦,我现在已经在桌子上面了,我要做下面一个动作的话,可能就是往右往左。

柯丽一鸣 Kay Ke:我觉得这个是一种两层式的一个思想吧,就是有一个大脑来做一些决策,做成了一个你能听得懂、能执行

柯丽一鸣 Kay Ke:然后也能够比较方便我们去做一些调试的一个东西。

柯丽一鸣 Kay Ke:然后同时呢,呃,它也有一个更底层的东西去把它翻译成一个物理世界更原始的一个东西。

张小珺:那接下来我们来讲讲派的工作和你在派的工作。嗯。嗯,你刚才讲到机器人公司,其实现在各个公司的主线和抓手是不一样的,能不能先

画面说明

柯丽一鸣在固定访谈机位中分析硅谷机器人公司与软硬件路线。

07. Pi的研究:π0、π0.5与π*0.6(01:53:53-02:25:02)

场景 7

本节主旨Pi的研究:π0、π0.5与π*0.6

完整内容

柯丽一鸣 Kay Ke:纵览一下派的主线和抓手是什么?

柯丽一鸣 Kay Ke:好的。

柯丽一鸣 Kay Ke:嗯,我觉得要了解派的工作,可能一个比较好的方法是看派的几篇,就主线发表。

柯丽一鸣 Kay Ke:嗯,之所以说主线发表,是因为我们觉得主线发表的这个命题是可以推动整个领域往前进的。

柯丽一鸣 Kay Ke:其中有三篇主线发表,现在,第一篇是派林。

柯丽一鸣 Kay Ke:它的关键词应该就是能力。

柯丽一鸣 Kay Ke:第二篇是π0.5,它的关键词是泛化

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:然后最近的这篇是**π*0.6**,它的关键词是

柯丽一鸣 Kay Ke:呃,表现。

柯丽一鸣 Kay Ke:就是在派林刚开始做的时候,我觉得是大家都非常的激动,可以用呃有了一个非常好的架构,然后可以用一个大模型的思路去做机器人,但没人能知道做成什么样。

柯丽一鸣 Kay Ke:也不知道能做成什么事。

柯丽一鸣 Kay Ke:当时在2024年初派创立,啊,就想做一些之前做不到的事情。

柯丽一鸣 Kay Ke:但是具体要把这些做不到的事情给做出来。

柯丽一鸣 Kay Ke:就是派林的这种旅程。

柯丽一鸣 Kay Ke:因为其实派林做了三个任务,第一个是

柯丽一鸣 Kay Ke:是大家可能比较熟悉的就是叠衣服。

柯丽一鸣 Kay Ke:我觉得我们应该是在2024年发表,2024年11月的叠衣服是一个让人比较耳目一新,就之前从来没有看到过这种级别的这个任务的表现。

柯丽一鸣 Kay Ke:嗯,然后第二个是叠箱子,叠箱子叠纸盒子也是一个,哇,这个东西真的能做吗?

柯丽一鸣 Kay Ke:我们不知道,我们来做一做看。

柯丽一鸣 Kay Ke:然后当时还有这呃当时还有第三个就是 bushing 就是去桌子上去抓拿放。

柯丽一鸣 Kay Ke:啊,但是你需要,就是前所未有的这个物体的多样性,却都能够嗯处理得很好。

柯丽一鸣 Kay Ke:所以这三个任务

柯丽一鸣 Kay Ke:当时是奠定了,我觉得是奠定了,就是大模型能在这些前面想都不敢想的任务上表现成什么样的一个基石。

柯丽一鸣 Kay Ke:所以注重的是表现。

柯丽一鸣 Kay Ke:嗯,然后第二个任务呢,π0.5泛化

柯丽一鸣 Kay Ke:泛化的意义其实我觉得至今也是存在的,就是如果你大模型训练出来以后。

柯丽一鸣 Kay Ke:啊,一个机器学习的根本问题就是这个所谓的 in domain 和 out of domain 就是你是一个数据内的和数据外的。

柯丽一鸣 Kay Ke:如果你训练好了以后,只能在数据内的这个范围里表现得好。

张小珺打到数据外里面就没有用的话,那你这个影响不就很有限吗?

柯丽一鸣 Kay Ke:所以就很强调这个泛化。

柯丽一鸣 Kay Ke:就假设你做了一个任务,它是在这个房子 a 里面收集的,你把它放到一个房子 b 放到房子 c 或者说你要探索,就是你要多少个房子?

柯丽一鸣 Kay Ke:一百个房子?

柯丽一鸣 Kay Ke:一千个房子?

柯丽一鸣 Kay Ke:你在这些房子里都收好数据以后,你才能在第10001个房子里面得到一个很好的效果。

柯丽一鸣 Kay Ke:所以π0.5的出生,我觉得是想要探索就是我们的大模型能不能够泛化。

柯丽一鸣 Kay Ke:并且泛化的一些条件是什么?

柯丽一鸣 Kay Ke:同时当时呃因为π0和π0.5之间也是有一些其他的发表,呃,可以我们等会再说一下,就提升了大模型的一些。

柯丽一鸣 Kay Ke:表达能力啊和分层能力,使得它能够实现这样的一个泛化。

柯丽一鸣 Kay Ke:所以当时我们是在很多 airbnb 里面收集了数据。

柯丽一鸣 Kay Ke:到这些别人的家里,这个因为是走出去了,就不是我们控制的一个办公室的一个场景。

柯丽一鸣 Kay Ke:我不是谁控制的一个工厂的场景,而是真的就是杂乱无章的别人的家里面去做了一些日常的任务,做了这么一个数据收集,并且研究就有了这些数据以后。

柯丽一鸣 Kay Ke:到新的家里表现会是什么样?

柯丽一鸣 Kay Ke:但当时一个比较令人振奋的一个点,其实是大概收了,应该我记得 paper 里写的应该是有100个家。

柯丽一鸣 Kay Ke:然后再你再试试把这里面的这些加给去掉,你看你去掉什么地步,它还有增长。

柯丽一鸣 Kay Ke:就是我们感觉这个曲线是放缓的,就是可能你不需要真的在世界上所有人的家里面都输了数据以后,才能在他们家里面干活。

柯丽一鸣 Kay Ke:你其实是有一个

柯丽一鸣 Kay Ke:数字,你可能收到那个以后就可以了。

柯丽一鸣 Kay Ke:就是我们觉得这个是泛化比较令人振奋的,就是你,indistribution 这个数据内是有一个

张小珺:尺寸的,达到这个尺寸其实或许就够了。嗯,π0.5的标题好像很有趣,叫开放世界泛化模型。是的。这是 SurveyPolish 过的标题吗?标题其实大家

柯丽一鸣 Kay Ke:我怎么觉得乔西是出了这个标题的?

柯丽一鸣 Kay Ke:对,但是每一篇 favor 你看应该都有一个科幻小说的一个引用,这都是 Sergei 写的。

柯丽一鸣 Kay Ke:嗯,π0和π0.5是什么?

柯丽一鸣 Kay Ke:π0和π0.5的科幻小说的引用吧,我不记得这个,只有 Sergey 记得。

柯丽一鸣 Kay Ke:哦,嗯,然后后面到了派0.6,这也是一个我觉得我们 feel 的需要。

柯丽一鸣 Kay Ke:回答的问题吧。

柯丽一鸣 Kay Ke:表现就是又回到之前的这种。

柯丽一鸣 Kay Ke:嗯,如果你做什么东西都可以,但做什么东西都比较的半吊子,那么这个模型的用处。

柯丽一鸣 Kay Ke:究竟是什么?

柯丽一鸣 Kay Ke:所以派0.6的出现,其实就是想回答,假设我们现在真的想做一件事情,就把,想把它做好,我们到底怎么样把它做好,随时提升这个表现。

柯丽一鸣 Kay Ke:而且派0.6我觉得这也是,就是我参与非常高的一个项目,因为我们是强化学习的团队,这个是我们的第一篇工作。

柯丽一鸣 Kay Ke:嗯,发表出来,嗯,强调了很多的方法上的简洁性。

柯丽一鸣 Kay Ke:但是在最后的表现上更多的是强调

柯丽一鸣 Kay Ke:如果有一个智能体,它差不多可以在一个任务上做了的话,你就去收集它的体验数据,让它在真实世界中。

柯丽一鸣 Kay Ke:去收集他的体验,把这个数据放回他的训练池中,他其实可以达到比之前,比你之前那些固定数的数据更好的效果。

柯丽一鸣 Kay Ke:我觉得他对于我们数据收集是有相当大的启示意义。

柯丽一鸣 Kay Ke:什么叫体验数据啊?

柯丽一鸣 Kay Ke:就是他自己去做的这件事情收到的数据。

柯丽一鸣 Kay Ke:你好。

柯丽一鸣 Kay Ke:就是平时我们收这个真机数据的时候。

柯丽一鸣 Kay Ke:是有一个手臂,比如说我这样一个手臂,我就给你卡在这个桌子上面。

柯丽一鸣 Kay Ke:哦,我简单就可以通过咬操纵,就让它干一些事情。

柯丽一鸣 Kay Ke:你收到数据呢,其实是就是这么一个机器绑在这个桌子上,然后做了一个任务。

柯丽一鸣 Kay Ke:他其实可以不要操作,他可以让他自己去做,做了以后他可以把这些数据都收集起来,就是数据的来源其实可以很宽泛。

柯丽一鸣 Kay Ke:我觉得之前其实很多人会说

柯丽一鸣 Kay Ke:就是我们机器人领域都靠人来摇操纵的话,这个数据收集又慢又不好。

柯丽一鸣 Kay Ke:我觉得是可以再提升一点,但确实是有这么一个隐患,就是以后可能不能够。

柯丽一鸣 Kay Ke:完全通过这种方式收到所有想要的数据。

柯丽一鸣 Kay Ke:我觉得嗯经过派06这篇项目以后,我们也有了很大的感触,觉得机器人自己的数据。

柯丽一鸣 Kay Ke:也会可以非常的强,因为它的起点是人给它设置的,但是如果要超越这个起点,还是得机器人在环境中去动作。

柯丽一鸣 Kay Ke:包括我个人是比较

柯丽一鸣 Kay Ke:呃,bolish 就是比较暴论的坚信,是将来机器人的价格就是应该又便宜,然后又方便。

柯丽一鸣 Kay Ke:很有可能就是很多人现在对于数据的一些就是担忧,在时间的长河里其实都不重要,因为你可以让机器人这么多的机器人在部署的过程中收到数据都拿来为我所用。

柯丽一鸣 Kay Ke:哦?

柯丽一鸣 Kay Ke:是吗?

柯丽一鸣 Kay Ke:嗯,派06是一个基础模型,这

柯丽一鸣 Kay Ke:个星号的意思

柯丽一鸣 Kay Ke:是你把最后的那个成品,嗯,就是你的这些数据放回了你的模型之中。

柯丽一鸣 Kay Ke:但是征集收集数据不是说很贵吗?

柯丽一鸣 Kay Ke:哎,如果

柯丽一鸣 Kay Ke:就是如果你可以自己,嗯,叫 roll out 你不就相对便宜了吗?

柯丽一鸣 Kay Ke:就是真机数据贵,我觉得分为好几个方面,对不对?

柯丽一鸣 Kay Ke:一个是你首先有一个真机平台。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:然后你要把这人机平台放到人家家里,你还要维护这个人机平台。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:同时呢,你还要雇佣一个人,让这个人来做一些任务,同时还要跟这个人做交流,还要做有些规划,就是一个非常复杂的一个管理的一个问题。

柯丽一鸣 Kay Ke:但我觉得,就是如果机械的价格降下来的话,就在这个过程中,我个人认为现在的比较大的大头其实是管这个人去收到你想要的这个数据。

柯丽一鸣 Kay Ke:但如果你可以把

柯丽一鸣 Kay Ke:就是数据的操纵员,这个给放在一边,而是换上你已经训好的一个大模型,让大模型在这里跑。

柯丽一鸣 Kay Ke:其实你数据的成本应该是能降很多。

柯丽一鸣 Kay Ke:硬件也需要降低成本吗?

柯丽一鸣 Kay Ke:硬件我觉得永远都是可以再便宜一点,然后再稳定一点。

柯丽一鸣 Kay Ke:现在已经是便宜的对了,现在比起5年前肯定是便宜了很多的。

柯丽一鸣 Kay Ke:对,关于数据我也听说,就是错误数据其实是好数据,就是

柯丽一鸣 Kay Ke:错误之后再纠错的数据。

柯丽一鸣 Kay Ke:嗯,我觉得这个是动作的一部分吧,是 task 的一部分。

柯丽一鸣 Kay Ke:嗯,就是这个思想其实是大概是在最早的这个模仿学习里就有很多模仿学习的一个

柯丽一鸣 Kay Ke:嗯,很严重的问题就是就是积累的错误,就可能每一步骤的微小错误不断地放大以后,会让机器人到达一个它完全没想过的一个非常糟糕的情况。

柯丽一鸣 Kay Ke:这是人收集数据中不会碰到的情况,而一旦机器人进入到这个情况以后,它有可能就不知道该怎么样修正它的路线去完成这个任务。

柯丽一鸣 Kay Ke:这个技术问题。

柯丽一鸣 Kay Ke:是有一整套的这个修复方法的。

柯丽一鸣 Kay Ke:因此很多人收数据的时候都会很强调说,我们不光要收一个完美的人的数据,同时也要收很多,就机器人进入到一个不好的情况以后。

柯丽一鸣 Kay Ke:怎么样修复,怎么样啊继续去完成这个任务的这种修正数据。

柯丽一鸣 Kay Ke:确实修正数据对于一个机器大模型的表现很重要,但是再次强调就是修正数据也可以通过机器人自己跑来说,这就是强化学习的一个比较本质性的。

张小珺:东西。嗯,嗯,现在机器人领域关于数据问题,大家有人相信真机数据,有人相信仿真数据,你持有哪一派观点?黑猫白猫抓到老鼠就是好猫,什么数据真的好用就相信谁,而且是一个 practically 的好用,就比如说

柯丽一鸣 Kay Ke:最本源我是相信甄机数据的。

柯丽一鸣 Kay Ke:嗯,但确实我们要承认甄机数据的价格在现在这个阶段比下数据要贵。

柯丽一鸣 Kay Ke:但是如果你用,就假就假设你有个 budget 你有一个10万美金,你用这个美,你用这10万美金收多少甄机数据?

柯丽一鸣 Kay Ke:你们这个10万美金收了多少?

柯丽一鸣 Kay Ke:嗯,就是仿真器数据,可能数字量是不一样,因为 budget 是固定的,数的量是不一样,但是另外一方面就是数据的质量、数据的意义、数据谁能够让你这个模型做得更好。

柯丽一鸣 Kay Ke:我个人觉得,如果你只有仿真数据的话,你应该不太好做有一些任务。

柯丽一鸣 Kay Ke:如果你用仿真数据的话。

柯丽一鸣 Kay Ke:我觉得不光 Sim-to-Real gap 甚至 Simuli 的场景很难的。

柯丽一鸣 Kay Ke:比如说你要用仿真器做一个叠衣服的仿真。

柯丽一鸣 Kay Ke:哎,这应该是依然是一个半前沿问题。

柯丽一鸣 Kay Ke:半前沿是因为我现在没有看到一家能够做得非常好。

柯丽一鸣 Kay Ke:就是谁在仿真器里面做好这个训练以后。

柯丽一鸣 Kay Ke:加一点点真实数据就能让它表现很好。

柯丽一鸣 Kay Ke:我觉得现在不在这个地方,但是也有一些人认为这是可以达成的,所以他们在积极推动这种前沿。

柯丽一鸣 Kay Ke:所以是一个半前沿吧,就是谁谁谁也不清楚会不会两三年里有人做了。

柯丽一鸣 Kay Ke:哎,真的把它做通了,它可能就是一个非常强有力的一个说出去的一种方法。

柯丽一鸣 Kay Ke:但现在2026年的快照,你要是想做一些跟软性、柔性、衣服。

柯丽一鸣 Kay Ke:摩擦力,还有这些就是粘,就是 viscosity 就是这种物理性质非常复杂的东西,你在仿真器里面,其实你可能都没法搞出这么一个仿真器来。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:所以你都没法说这个数据。

柯丽一鸣 Kay Ke:就是我觉得是要非常强调 practically 就是你到底能收到什么样的数据去思考,而不是只看,呃,我们有1000万个小时的数据,我们怎么怎么样。

柯丽一鸣 Kay Ke:很有可能你这1000万小时数据都是

柯丽一鸣 Kay Ke:Garbage 垃圾数据,那就没有什么用的。

柯丽一鸣 Kay Ke:对于叠衣服这个场景,是不是真机数据更好用?

柯丽一鸣 Kay Ke:那它是可以采集的,就是你说体验数据。

柯丽一鸣 Kay Ke:我觉得现在相对而言,叠衣服最简单粗暴就是采真机数据,甚至包括。

柯丽一鸣 Kay Ke:你看哦,就是我们都有开源模型的,就是我们开源模型应该是也有一些给衣服的能力在里头的,你也可以拿它去作为一个数据的起点,都是可以的。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:但你要做的是一个通用大脑,而不是这样,就是实现一个场景任务的,因为场景任务其实你做强化学习就可以

张小珺了,然后你通过这采集真机数据。

张小珺:而且这个场景是相对固定的,是有限的。我觉得这是一种流程,就是这是一套可行的流程,但它不是全部的。嗯,对。但是如果你的目标是一个通用的大脑,那你需要的是和现实世界交互的所有的非结构化的数据。

张小珺:是你所需要的。那如果当你需要的是一个这么大量这么丰富的数据的时候,那你应该 bat 的是真机数据还是仿真数据?还是某种混合物?

柯丽一鸣 Kay Ke:嗯,我觉得大家的目标是一致的,是想做一个能在现实场景中,能在很多不同的场景中做很多不同的任务,且表现都好的一个智能体。

柯丽一鸣 Kay Ke:但是要做到这个智能体,真的需要所谓所有的数据吗?

柯丽一鸣 Kay Ke:就是尤其有一些数据,它的它的相关性是需要考证,是需要人去研究的。

柯丽一鸣 Kay Ke:我觉得这个

柯丽一鸣 Kay Ke:就是希望在一个美好的梦想世界里,肯定是所有数据都有用,所有数据都能都能有个最适合它的,就是使用方法。

柯丽一鸣 Kay Ke:但现在我觉得现状来看,真机数据目前我觉得是不太可取代的。

柯丽一鸣 Kay Ke:哦。

柯丽一鸣 Kay Ke:就尤其是,你你肯定能找到一些任务,它不需要征集数据,它就可以做得很好,这肯定是可以找到的。

柯丽一鸣 Kay Ke:但是因为我们的目标,正是因为我们目标是要做到所有场景里的所有任务,所以我觉得目前征集数据还是不可取代的。

张小珺嗯嗯,在场景上,为什么你们做派林的时候选择的是叠衣服、叠箱子这三个场景啊?

柯丽一鸣 Kay Ke:这个场景很酷,真的。

柯丽一鸣 Kay Ke:做之前我是没想到的。

柯丽一鸣 Kay Ke:这个场景是具有可泛化性吗?

柯丽一鸣 Kay Ke:ok。

柯丽一鸣 Kay Ke:嗯,当时像就是泛化性在派林这个时间段更多的是有这个。

柯丽一鸣 Kay Ke:就清理桌面这个任务来承担,因为泛化性的话,清理桌面的这些道具我们是有几百个,就是随便让他们去收啊,然后就换各种东西啊,就是就是。

柯丽一鸣 Kay Ke:发挥他们自己的,就是说数据的这些人自己的想象力去搞一些这个事情。

柯丽一鸣 Kay Ke:然后当时我也参与了,负责嗯这边的一些策略的设计。

柯丽一鸣 Kay Ke:然后其他两个任务的话呢?

柯丽一鸣 Kay Ke:首先是有泛化性的,因为泛化性它也不是一个单一的标准,它是有很多不同的细节。

柯丽一鸣 Kay Ke:其中在叠衣服这个任务上,你看啊,就是衣服它的状态是千千万万的,对不对?

柯丽一鸣 Kay Ke:你这个衣服上多了一个折,那边衣服拐了一下,这其实都是一个不同的状态。

柯丽一鸣 Kay Ke:你收到的状态不管怎么样还是一个有限的数字,你没有办法去覆盖所有这些衣服可能的状态。

柯丽一鸣 Kay Ke:但你如何保证你还是能把这个任务完成,其实已经开始需要一些泛化性了。

柯丽一鸣 Kay Ke:对吧?

柯丽一鸣 Kay Ke:然后其次就是你还有不同的衣服,对不对?

柯丽一鸣 Kay Ke:这是一个红色的,那是一个绿色的,就这些不同的衣服也是一种方法,甚至包括就是后期我们在做的这个派06星里面的。

柯丽一鸣 Kay Ke:这个更多衣服的叠,就是开始叠不同种类的衣服。

柯丽一鸣 Kay Ke:就它它是也另外一条泛化的一个标准。

柯丽一鸣 Kay Ke:嗯,所以我不认为这些任务没有泛化性,只是他们探索的泛化性是不一样的一个。

柯丽一鸣 Kay Ke:东西。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:因为当时不知他能做,能不能做出来这些任务的一个原因,就是因为知道叠衣服可能会遇到各种各样你不在数据里的一个情况。

张小珺你说你能不能,就是做好它?

柯丽一鸣 Kay Ke:你可以这样想,就是前面这个衣服,不管它是什么衣服,我第一步其实都是要摸到它。

柯丽一鸣 Kay Ke:但是你怎么能保证你的模型做到这个事?

柯丽一鸣 Kay Ke:你还是得上肢你看一下,它确实能够。

柯丽一鸣 Kay Ke:去开始开始跌。

张小珺:你刚也说到每个公司现在评估都是不一样的,作为派来说,你们的评估是什么样的?哪些指标来评估你们还确保你们在你们的主航道上?我觉得指标又快又好肯定是

柯丽一鸣 Kay Ke:abstractly 抽象地说就是就是我们的目标。

柯丽一鸣 Kay Ke:嗯,但是评估要需要一个数字的话,你看派06星里面就提出了 support 就是固定时间内的成功的量。

柯丽一鸣 Kay Ke:我觉得这个可能跟我现在的思想就比较相符,因为这就是我们提的嘛。

柯丽一鸣 Kay Ke:嗯,就是希望你在做任务的时候考虑到你到底花了多久时间去完成这个任务,这个任务完成度究竟是好不好,甚至包括其实也有一些更加细分的,就是一个任务的成功和失败的定义。

柯丽一鸣 Kay Ke:是,呃,是我们就是有打磨过,就是想,因为你一个人在做任务,或者要一个机器人做任务过程中,你其实有很多隐含的含义,就到底怎么样去保证你最后的大模型。

柯丽一鸣 Kay Ke:能够完全地理解人的意思,我觉得也是一个开放性的一个研究的课题。

柯丽一鸣 Kay Ke:就是它做任务真的是人想让它做的这个任务。

柯丽一鸣 Kay Ke:而这个派06星里面的这个 throughput。

柯丽一鸣 Kay Ke:比较好玩的一点就当时就是其实是一个是有个目标的,就是开项之前是有这个目标,就是我们的研究员,呃,肯定是比不上我们的数据收集员。

柯丽一鸣 Kay Ke:在做这个任务上,因为数据收集员他们非常喜欢,非常习惯了用这个机器人。

柯丽一鸣 Kay Ke:我们就问了,那我们能不能做一个机器人,比这些数据收集员其实收东西要快要好。

柯丽一鸣 Kay Ke:最后我觉得是在

柯丽一鸣 Kay Ke:起码在洗衣服这个功能上是确实是 clearly 达成了。

柯丽一鸣 Kay Ke:就是最后这个机器人的表现是超越了它一开始的这个人,即使是最好的数据设计员的这个起点。

张小珺嗯,你觉得派的工作,其他工作还有什么值得讲的吗?

柯丽一鸣 Kay Ke:派的研究其实是业界公认做得非常好的。

柯丽一鸣 Kay Ke:我觉得中间有一些研究也非常的有启发性,我觉得做研究这个事情其实就是不停的。

柯丽一鸣 Kay Ke:前浪拍后浪,前浪死在沙滩上。

柯丽一鸣 Kay Ke:但是你能够打一条浪出来,还是很有启发性,可以为后浪做很多贡献。

柯丽一鸣 Kay Ke:比如说派,你看π0~π0.5中间是有两篇我觉得很有意思的工作放出来的。

柯丽一鸣 Kay Ke:一篇是这个 Fast。

柯丽一鸣 Kay Ke:嗯,它是在研究了呃,就是从一个大模型训练的角度上来说,你现在要要去预测一个动作,怎么样表达这个动作,就是动作有没有一个很优化的表达空间。

柯丽一鸣 Kay Ke:所以 fast 这篇 paper 呢,就提出了呃我们之前用的用的这些这个扩散模型, diffusion policy 它们的表达是这样的一种表达,但其实它可以去学一种表达动作的一个方法。

柯丽一鸣 Kay Ke:然后发现如果大模型就是在这个空间里做预测的话,它会有一些性能上的提升啊,还有一些方法性的保证啊。

柯丽一鸣 Kay Ke:所以这种也是一个非常重要的一种技术性研究。

柯丽一鸣 Kay Ke:然后另外一篇 paper 当时是叫做 Hi Robot 就是想的是人和这个机器人的交互,就是人可能会说一个语言。

柯丽一鸣 Kay Ke:去让机器人去完成,但机器人

柯丽一鸣 Kay Ke:如果只是一条到头就彻底端到端的话,很有可能在一个长达10分钟的任务里,他会有一些迷失,他不知道现在该干什么。

柯丽一鸣 Kay Ke:所以 HiROBOT 就是第一次开始,就是非常正式地说这个应该是一个分层的,就是有一个呃比较高层次的这个。

柯丽一鸣 Kay Ke:policy 它会去把你说的这个任务转换成一个更加具体的、可执行的、更短一些的小任务。

柯丽一鸣 Kay Ke:然后再就这个比较低层次的,就是执行端。

柯丽一鸣 Kay Ke:就它们俩其实都是在同一个模型里,但是给这个模型进行了一个

柯丽一鸣 Kay Ke:输出的分层。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:然后在π0.5到**π*0.6**中间,应该有不少发表,但因为当时我在忙着搞这个π*0.6,可能有一些疏漏的地方,我觉得。

柯丽一鸣 Kay Ke:嗯,现在回头来看比较有意思的几个发表,分别有这个 Olympics。

柯丽一鸣 Kay Ke: Olympics 这个发表呢,是我们公司的一个内部的一个

柯丽一鸣 Kay Ke:好玩的活动,就是会不定期的让研究员和数据收集的员组成小队去玩一个奥林匹克,就看谁能够操作机器人去做一些

柯丽一鸣 Kay Ke:很难很难搞,很想都不敢想的一些任务,因为毕竟是人在操作嘛。

柯丽一鸣 Kay Ke:其实这个可以非常大程度的去推这个 boundary 就是推你现在

柯丽一鸣 Kay Ke:不说什么大模型,你就让人来操纵,他能够操纵完成什么任务?

柯丽一鸣 Kay Ke:能不能把你想到的所有任务都真的完成?

柯丽一鸣 Kay Ke:因为你人手能完成的话,机器人能不能完成?

柯丽一鸣 Kay Ke:我觉得这是一个非常好的。

柯丽一鸣 Kay Ke:嗯,一个活动,所以我们当时就从这个活动里诞生了,就是 olympic 这边,这边 paper 也是有专门的负责人去思考,就是如何完成一些呃之前别人提出过的,就是觉得对机器人非常难的,并且在

柯丽一鸣 Kay Ke:用人操纵数据完成了以后,再让我们的大模型去做去学习,然后发现取得了嗯,就是成功地完成了一些大家之前觉得会非常难的一些动作。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:然后还有。

柯丽一鸣 Kay Ke:你们完成了什么动作?

柯丽一鸣 Kay Ke:这里面有什么好玩的?

柯丽一鸣 Kay Ke:我觉得比较好玩,因为我这个人很喜欢这个高精度的任务嘛,就拿出一个钥匙,然后就开这个锁的这种任务,同时也是有一个什么。

柯丽一鸣 Kay Ke:我觉得有个开门,开门这个任务,其实我我就是刚刚我们在做硬件硬件的时候,我我也是就是头几个就是去赶紧去尝试一下,音乐团队能做到什么地步的人。

柯丽一鸣 Kay Ke:当时我就觉得开门这玩意真的是太难了。

柯丽一鸣 Kay Ke:我在那好像搞了20多分钟,我才终于想明白我怎么样用这个机器人的这个形态去让它开出这个门来。

柯丽一鸣 Kay Ke:但是这边他们就可以做了以后发现,哎,其实首先这个策略是可以优化的。

柯丽一鸣 Kay Ke:并且这个策策略优化过以后,机器人是可以成功的自主去完成的。

柯丽一鸣 Kay Ke:这也是一个,我觉得就是说起来

柯丽一鸣 Kay Ke:好像也没那么难,但绝对没那么简单的一个任务。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:**然后π*0.6到现在的话,我们应该是正在一系列的发表过程中吧,这个。**

柯丽一鸣 Kay Ke:上次刚刚发了,叫做 Partner 嗯,因为我们希望做成一个通用的大模型,它是可以在很多不同的场景和不同的机器人上跑的。

柯丽一鸣 Kay Ke:所以派也是有一些和其他的机器人公司的合作的。

柯丽一鸣 Kay Ke:在这个 Partner 的这个 release 中就谈到了我们和这个

柯丽一鸣 Kay Ke:呃,一家叠衣服的公司和一家这个打包的公司的合作,就是他们跑的其实都是我们训练的,或者说用了我们的这种东西的一个大模型,在他们这个更加贴近商业落地的一个场景。

柯丽一鸣 Kay Ke:就你看到就是我们公司

柯丽一鸣 Kay Ke:自己目前没有很多就是商业落地的这个呃想法,但是其实有在帮助其他已经在商业落地机器人公司去做他们的事情,也是在变相推动我们的这个研究的。

柯丽一鸣 Kay Ke:浅眼前进。

柯丽一鸣 Kay Ke:并且我确实认同,就是这个 partner 的方法是有有在触碰了一些机器人的本质问题吧。

柯丽一鸣 Kay Ke:你看从我们开始搞机器人研究的那个时代。

柯丽一鸣 Kay Ke:哇,你干啥事都是你要知道找谁,而且他会懂,你才能开始做。

柯丽一鸣 Kay Ke:就是你你写个软件,现在是分分钟的事情。

柯丽一鸣 Kay Ke:你上网问一下 ChatGPT 然后可能这个 AI 一键的或者 Cloud 就会帮你写很多东西。

柯丽一鸣 Kay Ke:就是你作为一个开发者,作为一个研究员,你有很多的,就已经做好的事情可以供你驱使。

柯丽一鸣 Kay Ke:而机器人之前,我觉得就是不管是硬件的造,还是软件想让它做一个差不多像模像样的东西。

柯丽一鸣 Kay Ke:都是非常复杂的。

柯丽一鸣 Kay Ke:我们可能是希望在以后,就是你这个人买了一个机器人,一个硬件的一个乐高玩具拼装以后,你可以直接插入我们大模型,它就可以做很多事情了。

柯丽一鸣 Kay Ke:是希望把这个开,从机器人从零开始做到,就是第一个 site 中间时间给缩短。

柯丽一鸣 Kay Ke:我有一个问题啊,因为你提到你们的硬件有很多的 partner。

柯丽一鸣 Kay Ke:嗯,并不是说硬件有很多 partner 而是我们公司和其他公司有一些 partner 的合作。

张小珺嗯,那你们自己会做硬件吗?

柯丽一鸣 Kay Ke:你们做的有多深啊?

柯丽一鸣 Kay Ke:这个有一些内容不太方便透露,但是我们在派06星中使用的这个硬件,其实是我们自己弄的一个硬件,它有优化一些,就是不管是稳定性啊。

柯丽一鸣 Kay Ke:还是就是方便这个任务。

柯丽一鸣 Kay Ke:比如说其实你看啊,就是大家现在批评夹爪,批评这个简单手机器人,就会说了这个简单的手,你抓杯子,你不会把杯子抓破了吗?

柯丽一鸣 Kay Ke:但我们为了做这个咖啡机这个,我们就把我们做这个机器人,它是一个可换的。

柯丽一鸣 Kay Ke:带点可换的这种夹爪,就为了做咖啡,你是需要一个另外一个夹爪,它其实成本都不高,然后换起来也很简单。

柯丽一鸣 Kay Ke:但是你是有这种研发以后,你才会感觉到,就是什么是一个比较本源的问题,什么是一个其实。

张小珺:很很简单就可以解决的问题。嗯,因为我问这个问题是,我知道有的机器人公司,他们为了嗯就是做一个更通用的机器人。

张小珺:他会让他的硬件为了软件优化70%~80%,硬件会一直在为软件去做优化,你们会这样做吗?我觉得硬件与其说是为软件优化,不如说是为最后的任务和这个表现。

柯丽一鸣 Kay Ke:很能做什么再优化。

柯丽一鸣 Kay Ke:嗯,嗯,我觉得这个应该大家都在做吧,因为确实市面上没有一个已经定型的、结束了的。

张小珺:硬件的形态可以停止这种优化。因此我觉得大家应该都在不停的去干这件事情。嗯。有人说,派在机器人领域,其实就是想要对标 OpenAI 在大语言模型领域。如果这样对比的话,派现在发表到了派06星。

张小珺你觉得它能对标 GPT 几啊?

柯丽一鸣 Kay Ke:这个问题好难回答哦,因为我确实认同,我觉得派的一部分的 goal 是成为一个 robotics 界的 OpenAI 成为一个

柯丽一鸣 Kay Ke:通用大模型的创造者。

柯丽一鸣 Kay Ke:嗯,嗯,至于我们现在大模型发展到哪里了,我觉得你这样就你每天在这看,你就看到都是些不好的东西。

柯丽一鸣 Kay Ke:我每天看的都是说这个表现没有很完美,那个表现也不行,我们要怎么把它搞得更好?

柯丽一鸣 Kay Ke:我这个是我比较

柯丽一鸣 Kay Ke:嗯,每天日常里会想的东西,或者说就是本源的想一些,就是这个模型是不是还有一些大的变革才能达到我真正想要的一个效果。

柯丽一鸣 Kay Ke:所以我觉得

柯丽一鸣 Kay Ke:我们还没有到。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:但我没有到一。

柯丽一鸣 Kay Ke:我们。

柯丽一鸣 Kay Ke:对,但我觉得我们在靠近了。

张小珺你觉得什么时候能到 GPT 一啊?

柯丽一鸣 Kay Ke:我觉得其实因为起点不一样,就是。

柯丽一鸣 Kay Ke:NLP 的起点。

柯丽一鸣 Kay Ke:我我在2017年刚读博时候就短暂的做过一阵子 NLP 哎呀,当时可好笑了,你知道吗?

柯丽一鸣 Kay Ke:我当时在想说,这个自然语言生成感觉不太行呀。

柯丽一鸣 Kay Ke:就我这么训练出来的东西,天天就在那,就教它写莎士比亚嘛,它就天天在那,啧啧啧。

柯丽一鸣 Kay Ke:因为这是一个概率学上最容易 predict 最容易预测一个单词,所以它不停的预测这个单词,就天天就跟我说,啧啧啧。

柯丽一鸣 Kay Ke:我说这没用啊。

柯丽一鸣 Kay Ke:是不行。

柯丽一鸣 Kay Ke:然后人家看,跟我说他们在用强化学习做这个大语言模型。

柯丽一鸣 Kay Ke:我就说,强化学习也很难搞的,你把这个特别难搞的 A 和特别难搞的 B 合到一起,你这能做成功吗?

柯丽一鸣 Kay Ke:完全不懂,完全不懂啊。

柯丽一鸣 Kay Ke:然后到了19年20年,别人就做成功了,就说这个,你看做的多好。

柯丽一鸣 Kay Ke:嗯,当时就能够感觉到

柯丽一鸣 Kay Ke:问题是有一些不一样的吧。

柯丽一鸣 Kay Ke:当时我从自然语言转换到了机器人,觉得第一,自然语言里面,你可以生成很多文字,你怎么给这个文字打分?

柯丽一鸣 Kay Ke:怎么知道什么是你想要的文字?

柯丽一鸣 Kay Ke:很难。

柯丽一鸣 Kay Ke:所以当时觉得自然语言做强化学习会很难,就是因为觉得这个打分太太含糊了,不是那么的清晰。

柯丽一鸣 Kay Ke:当然后来有很多,就随着更多的数据集的出现啊,他们也不断地建立了新的标杆,所以他们这个

柯丽一鸣 Kay Ke:标准可能会有那么一阵子逐渐变得清晰的过程。

柯丽一鸣 Kay Ke:然后另外一方面是觉得当时做机器人好玩,因为机器人可以做很多 task 很多任务,这个任务都是你可以你可以拍脑袋想一个新的任务,然后它做。

柯丽一鸣 Kay Ke:我觉得这个乐趣是嗯机器人里面

柯丽一鸣 Kay Ke:一个非常 tricky 的点,因为自然语言很多时候你可以用语言去描述你想让它做的这个任务,对吧?

柯丽一鸣 Kay Ke:你可以说我今天有个问题给你,我想你给我写这个。

柯丽一鸣 Kay Ke:代码,然后你可以不断地去补充,就自然语言的这种跟智能体交流,你想它做的事情是什么事情,是一个非常天然的一种交互方式。

柯丽一鸣 Kay Ke:而机器人其实我觉得在这个 VOA model 出现之前,就没有很天然的这种方式。

柯丽一鸣 Kay Ke:即使现在 VOA model 出现了,我们也是在探索,就是为什么

柯丽一鸣 Kay Ke:就我是一开始完全没有用过 VOA model 然后现在其实反而是有一点欣赏 VOA model 就是因为如果我跟这些 cloud agent 的提的很多要求都是用语言来表述的,那我是不是我跟机器人也可以通过语言来提这个?

柯丽一鸣 Kay Ke:要求。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:然后这个语言的要求就会影响到,就是你,嗯,在没有那么多数据情况下,你也可以完成一个具体任务,就其实这是机器人的一个优势,我觉得在自然语言界,没有那么多数据情况下完成一个具体自然语言任务,其实有点有点难的。

柯丽一鸣 Kay Ke:我们现在就相当于是在数据量与对方这个业界完全无法比拟的情况下,其实你已经做了很多东西出来了,所以我觉得这是一个非常有意思的点。

柯丽一鸣 Kay Ke:嗯,如果我们往后推演一步,你看今天的大模型发展,这些模型公司慢慢都变成应用公司,因为大家发现模型

张小珺:是商品化的,它会慢慢的统一和同质化。所以最后大家构筑商业化的不同和护城河,都是通过一个不一样的应用来进行选择。我觉得如果放到机器人这个领域来,是不是呃今天

张小珺你们出发可能是一个通用大脑,但慢慢可能也会做成不一样的产品形态,然后每个公司的产,它的产品形态是不一样的。我觉得也许会。

柯丽一鸣 Kay Ke:我觉得大模型现在是依然有很多的竞争,在竞争中刺激了很多的研发,刺激了大家对一个更好大模型的追求。

柯丽一鸣 Kay Ke:我不太确定,就是像 OpenAI 的

柯丽一鸣 Kay Ke:对对,这个产品难道就不能拿来做写代码了吗?

柯丽一鸣 Kay Ke:以前也是可以的,我不知道他们现在研发到哪一步或者怎么样,只是最近可能大家都是在用 Claude Code 这么一个 AI 工具做。

柯丽一鸣 Kay Ke:代码。

柯丽一鸣 Kay Ke:但是他们因为都是一个多功能的大模型,我觉得没有任何事情告诉我是他们根本上做不了这个东西,只是你说的这种就是产品形态开始发生了一些分歧。

柯丽一鸣 Kay Ke:我觉得也许是可能的,但也许一种可能的形态就是有一些人是专门做大脑,还有一些人他们专门做就是这个场景的商业化。

柯丽一鸣 Kay Ke:和为了这个场景的商业化所做的很多事情,甚至他们最后也可以插入这个别人公司的大脑。

柯丽一鸣 Kay Ke:嗯,这是一种可能存在的形态。

柯丽一鸣 Kay Ke:你觉得机器人会出现一个独立于大语言模型的

张小珺:独立的大脑吗?呃,据我所知,大部分的团队还是在基于一个嗯多模态模型上去做后训练,做一个机器人大脑。你觉得一个独立大脑,就是说要专门地为机器人大脑去做预训练、中训练、后训练,它是一个自闭环的完整体系吗?

柯丽一鸣 Kay Ke:我觉得是有可能的,但同时可能也有一派人的认为是说所有这些东西都可以归到一个模型吧,而且这个模型还没有被创造出来。

柯丽一鸣 Kay Ke:我觉得从这个角度上来说,确实就是如果有一天就是有一这么一个模型,它能拿到所有的我们能想得到的模态,和做这些自动化上的必要的任务。

柯丽一鸣 Kay Ke:不管是语言沟通、图像编辑、什么视频生成,或者说机器人的操控。

柯丽一鸣 Kay Ke:它也可以是一种可能性,那个时候也许机器人也在训练里了。

柯丽一鸣 Kay Ke:从你们内部看,现在看到 scaling law 的迹象了没有?

柯丽一鸣 Kay Ke:嗯,我觉得 scaling law 是一个非常 tricky 的话题,因为 scaling 也有很多,就像泛化有很多不同的衡量标准一样。

柯丽一鸣 Kay Ke:Scaling 也有很多不同的衡量标准。

柯丽一鸣 Kay Ke:就是每次当我看到有一些,就就是 oversimplify 就有点过度简化的这种陈述的时候,我都是会有一点觉得不够太细节。

柯丽一鸣 Kay Ke:比如说 Scaling 你看在π0.5里面做的。

柯丽一鸣 Kay Ke:就是你在十个房子里面收的数据,你到第十一个房子里面,你能跑起来不?

柯丽一鸣 Kay Ke:你的表现是在哪里?

柯丽一鸣 Kay Ke:比起你收了一百个房子以后,你再到这个房子里来,是不是有一些长进?

柯丽一鸣 Kay Ke:那你再说一千个房子,会不会其实

柯丽一鸣 Kay Ke:提升就没有那么大。

柯丽一鸣 Kay Ke:我觉得这可以看作是 Scaling Law 的一种探索方法吧。

柯丽一鸣 Kay Ke:就是我们要收多少个房子才能够在下一个新房子里取得一定的成果。

柯丽一鸣 Kay Ke:同时你收过多少个房子以后。

柯丽一鸣 Kay Ke:这个新成果可能就不能,就是提升就没有那么明显了。

柯丽一鸣 Kay Ke:我觉得这个在π0里,π0我给我感觉是它确实是可能可以摸得到的一个有限数据可以达到的地方。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:但是我觉得我们现在数据量还是太少了,肯定还是要再激进一些,我觉得会好玩。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:你们算力够吗?

柯丽一鸣 Kay Ke:算力多吗?

柯丽一鸣 Kay Ke:我觉得算力

柯丽一鸣 Kay Ke:算力够不够是看你们这人喜不喜欢干活,你们这人都特别喜欢干活的话,算力永远不够,永远都可以有新的想法,想仿新的实验和创新的模型。

柯丽一鸣 Kay Ke:你们那人卷不卷?

柯丽一鸣 Kay Ke:呃,我觉得大家,你从一个工作时长的角度上来看的话,是很多。

柯丽一鸣 Kay Ke:但其实这并不是他强行要求你在公司要待到什么点,而是

画面说明

柯丽一鸣讲解Physical Intelligenceπ0π0.5到**π*0.6**的模型路线。

08. Pi的组织与文化(02:25:03-02:33:56)

场景 8

本节主旨Pi的组织与文化

完整内容

柯丽一鸣 Kay Ke:还相对而言比较自发的,就是今天在公司吃完晚饭,哎,又又跟这个人开始讨论起了一个什么话题,就想往下再走一走,再看一看。

柯丽一鸣 Kay Ke:啊,所以有的时候大家可能工作还是挺长时间的在那,甚至包括周末也有不少人会去公司,也是相对而言比较自发性的,就是觉得

柯丽一鸣 Kay Ke:哎,下周想出这么一个结果,那今天就把实验跑好。

柯丽一鸣 Kay Ke:或者说就是突然来了一个想法,那就深夜聊天呗,聊。

柯丽一鸣 Kay Ke:没有啊

柯丽一鸣 Kay Ke:嗯,你们一般早几晚几啊?

柯丽一鸣 Kay Ke:你的 typical day 是什么样的呀?

柯丽一鸣 Kay Ke:作为一个 hi 的研究员。

柯丽一鸣 Kay Ke:每个人都不一样,其实,甚至包括有些人,他们住在南湾,然后要来三,旧金山这个城里,他们每天来回开的时间可能就3个小时的车。

柯丽一鸣 Kay Ke:嗯,像我的话我是比较夜猫子,所以我基本上白天我就算起了,我可能不会在公司,我在家里先工作一段时间,给自己一个洞穴的时间。

柯丽一鸣 Kay Ke:然后差不多是中午过去,然后到了晚上,我要是兴致来了,可以干到非常晚,可能会干到晚上两三点啊这种。

柯丽一鸣 Kay Ke:才回家。

柯丽一鸣 Kay Ke:呃,一般是一两点回家,洗了洗,在睡前再干一会。

柯丽一鸣 Kay Ke:哦。

柯丽一鸣 Kay Ke:对,然后。

柯丽一鸣 Kay Ke:你们都不用打卡对吧?

柯丽一鸣 Kay Ke:我们没有打卡这个东西。

柯丽一鸣 Kay Ke:对,甚至有些人他可能家里有些事情啊,比如说其实这边有研究员,他们正在生小孩。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:他们就在家里就是可以直接待很久,但大家也会,就他也会有,就是继续他的工作。

柯丽一鸣 Kay Ke:就是相对而言是一种比较自由的氛围,让你决定什么样的工作方式是最适合你的。

柯丽一鸣 Kay Ke:同时公司也可能也希望就是大家变成了一个团队以后,可以拧到一起发挥作用。

张小珺那你们会有例会这种吗?

柯丽一鸣 Kay Ke:啊,最早是有的,就刚刚来公司的时候,这个例会。

柯丽一鸣 Kay Ke:给我这个夜猫子带来了带来了非常大的困扰。

柯丽一鸣 Kay Ke:因为例会是每天早上10点钟到公司,大家轮流说一句话,自己在干什么。

柯丽一鸣 Kay Ke:因为当时公司就20个人。

柯丽一鸣 Kay Ke:哦。

柯丽一鸣 Kay Ke:但是当时我就跟 ceo 说。

柯丽一鸣 Kay Ke:怎么10点这么早啊?

柯丽一鸣 Kay Ke:我们能不能改到下午?

柯丽一鸣 Kay Ke:然后他就很震惊的看着我说,他们最早是8点,后面推到9点,然后推到10点,怎么我还嫌10点也早?

柯丽一鸣 Kay Ke:对。

柯丽一鸣 Kay Ke:然后呢?

柯丽一鸣 Kay Ke:后来的话,随着公司,我觉得人数增加,就管理方法可能是需要改变。

柯丽一鸣 Kay Ke:所以现在的话就没有这种呃就是每天都有例会,只是有一些就是研究的会啊,和每个课题自己组组织的一些会。

柯丽一鸣 Kay Ke:现在多少人了?

柯丽一鸣 Kay Ke:现在我的体感可能是大概70个人吧。

柯丽一鸣 Kay Ke:体感。

柯丽一鸣 Kay Ke:体感。

柯丽一鸣 Kay Ke:因为我也没有就天天在那数我们公司有多少人。

柯丽一鸣 Kay Ke:你们有几层楼啊?

柯丽一鸣 Kay Ke:哎,我们现在还在我们最初的那栋楼里待着。

柯丽一鸣 Kay Ke:哦。

柯丽一鸣 Kay Ke:这栋楼我觉得真的是。

柯丽一鸣 Kay Ke:第一它是非常有创业氛围的。

柯丽一鸣 Kay Ke:就是这栋楼它比较的朴素,本来,然后我们来了以后就把所有的这个硬件软件啊都带进来了。

柯丽一鸣 Kay Ke:但是另外一方面就现在人实在有点太多了,这个楼里真的有点坐不下。

柯丽一鸣 Kay Ke:我们,这东西可以播吗?

柯丽一鸣 Kay Ke:就是我们的会议室里面有一个二氧化碳检测器。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:这个二氧化碳检测器在这个会议室里面人超过大概三四个人以后,有的时候就会突然一下跳成红色警戒。

柯丽一鸣 Kay Ke:然后我们这个时候就没办法,就会把这个门打开,然后接着干。

柯丽一鸣 Kay Ke:你可以。

柯丽一鸣 Kay Ke:说明该换办公室了。

柯丽一鸣 Kay Ke:哎,确实非,大家都非常期待能不能换到一个新的办公室,但在旧金山。

柯丽一鸣 Kay Ke:在创业氛围如此浓厚的情况下,没时间。

柯丽一鸣 Kay Ke:呃,我觉得挺难找到一个非常适合我们这样公司的一个办公室,因为我们也有一些硬件的这个元素,我们有自己的呃办公室里是有机器人的,你还有一些什么用电用网的一些需求。

柯丽一鸣 Kay Ke:就是找到一个非常合适的地方,没有那么简单。

柯丽一鸣 Kay Ke:你们的组织和文化是什么样的呀?

柯丽一鸣 Kay Ke:嗯,我觉得现在还没有一个章程去非常详细的规定它,但是可以看到

柯丽一鸣 Kay Ke:公司现在发展了快有两年了,它是有一些自发性的一些文化的因素在里面的。

柯丽一鸣 Kay Ke:它整体而言,我虽然也没有在其他创业公司待过,但感觉我这个应该就是我想象中的创业氛围吧。

柯丽一鸣 Kay Ke:你看这个

柯丽一鸣 Kay Ke:大家都比较踊跃的去做一些自己觉得非常重要的事情,然后同时嗯尽可能的,就毕竟创业嘛,就是你们都是有一些股份,然后也是有一些 stick 在这个公司里面,你是希望公司变得很好,即使有的时候不是你的。

柯丽一鸣 Kay Ke:就是氛围内的事,你也会去想要去做好。

柯丽一鸣 Kay Ke:然后同时我们公司比较特殊的,因为是比较开放的研究氛围,所以是,就我们,我和另外一个人会组织一下读书会啊。

柯丽一鸣 Kay Ke:和一些交流会啊,就是可能。

柯丽一鸣 Kay Ke:读书会。

柯丽一鸣 Kay Ke:就比如说就是嗯,比如说我们现在想做一个项目,哎,比如说这个派06星,派06星其实是去过两次这个读书会的。

柯丽一鸣 Kay Ke:就首先一次就是给大家讲一讲我们现在想要探索这个问题,这个问题以前的人的发表和东西都做到什么地步了。

柯丽一鸣 Kay Ke:然后我们觉得它的应用就是会有一两个人主讲,然后其他人可以问问题啊,或者会甚至质疑啊,都是可以的。

柯丽一鸣 Kay Ke:就是

柯丽一鸣 Kay Ke:看怎么样能让大家尽量地在这个课题上感到同样的激情,然后同时有几个人主要去负责去做,然后做到后面快成熟之前,其实又上了一次读书会,给大家交流一下,现在做到这个地步了,你们觉得怎么样?

柯丽一鸣 Kay Ke:然后有一些比较天马行空的读书会,比如说

柯丽一鸣 Kay Ke:Cloud Agent 出来了,然后就疯狂的就在读书会里面说到底谁是我们公司最能用 Cloud Agent 的人?

柯丽一鸣 Kay Ke:赶紧让他上台讲一讲就怎么用,然后大家就可以抄他的作业。

柯丽一鸣 Kay Ke:就是这种分享。

柯丽一鸣 Kay Ke:能抄到什么?

柯丽一鸣 Kay Ke:抄到什么?

柯丽一鸣 Kay Ke:就是我确实在,就是我当时正在埋头干一些别的事情,就没有怎么关注到,然后他们跟我们介绍了一下,就他们怎么用这个 cloud agent 我都听完以后哇,惊了。

柯丽一鸣 Kay Ke:我就说哇,这个确实是生产力的飞跃式进步。

柯丽一鸣 Kay Ke:就这大概最近两周,我就是把自己的整个工作的这条流程都改了一下,就觉得哇,现在

柯丽一鸣 Kay Ke:跟一年前也完全不一样的一种工作思路了。

柯丽一鸣 Kay Ke:能工作到你之前工作的多少倍呀?

柯丽一鸣 Kay Ke:你的一天的工作量。

柯丽一鸣 Kay Ke:我觉得效果上来说。

柯丽一鸣 Kay Ke:嗯,我觉得应该有个三四倍吧。

柯丽一鸣 Kay Ke:但是研究嘛,就是一个不停的打一枪,看看这个子弹落在了哪里,调整这个子弹。

柯丽一鸣 Kay Ke:嗯,不,我觉得不是你疯狂的打枪就能够。

柯丽一鸣 Kay Ke:打中什么东西,还是需要一些人的 input 你们 ceo 的管理方式是什么样的呀?

柯丽一鸣 Kay Ke: ceo 的话是 Carol Houseman 她是

柯丽一鸣 Kay Ke:他其实在公司主管的方向并不是那么的侧重研究,因为研究方面的事情更多是由 Sergey 和 Chelsea 来负责。

柯丽一鸣 Kay Ke:所以我和他打的交道并没有那么多,他管了一些公司的基础架构。

柯丽一鸣 Kay Ke:你可以认为就是我们公司里面有很大的一部分工作。

柯丽一鸣 Kay Ke:是研究,但也有很大一部分工作是如何保障这个研究能够高效快速的进行下去。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:Carol 是有很,呃,主要是很多负责在这个方面上。

柯丽一鸣 Kay Ke:他就是 Sam Altman 那个角色,类似于,可能也会未来会做一些商业化,如果需要的话。

柯丽一鸣 Kay Ke:我就问他们,你们现在做人形吗?

柯丽一鸣 Kay Ke:你们现在要做什么商业化吗?

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:嗯,我当时感受到的氛围就是,确实我们不做人形,因为他们要说做人形我就不来了,你知道吧?

柯丽一鸣 Kay Ke:啊?

柯丽一鸣 Kay Ke:为什么?

柯丽一鸣 Kay Ke:很担心就是不同背景的人去做人形的。

柯丽一鸣 Kay Ke:比如说现在人形公司的

柯丽一鸣 Kay Ke:哦,做人形你就不来了?

柯丽一鸣 Kay Ke:神奇啊。

柯丽一鸣 Kay Ke:因为我觉得人形是一个非常值得研究的问题,但绝对不是我现在最想研究的问题。

柯丽一鸣 Kay Ke:为什么?

柯丽一鸣 Kay Ke:所以如果他们做人形。

柯丽一鸣 Kay Ke:我就会担心他们的研究重心就变成了如何做一个更好的人形机器人,而我的研究重心就是做更好的任务。

柯丽一鸣 Kay Ke:我个人是非常相信不需要人形就能做出很好的任务的,而且不需要人形就能使用派的角度出发。

柯丽一鸣 Kay Ke:更快地做出来。

柯丽一鸣 Kay Ke:比如说你看现在叠衣服什么的都是我们先做好了。

柯丽一鸣 Kay Ke:叠衣服叠盒子呀,还有包括像做咖啡啊,都是你先做好了,它不需要人去它就可以做。

柯丽一鸣 Kay Ke:而且我觉得有更多非常多的任务都是可以。

柯丽一鸣 Kay Ke:无穷无尽的任务等着我去做呢。

柯丽一鸣 Kay Ke:我要是把时间和精力都花在了,就是怎么样让人机机器人跑得更好上来说,它不是我这个人的工作重点。

柯丽一鸣 Kay Ke:就我觉得这是一个 taste 的问题。

张小珺那如果让任务更通用,你未来的硬件是多样化的吗?还是它可以统一到一个硬件上?我觉得也可能是,我觉得现在我们作为一家通用大模型公司,比较考究的其实就是它在不同的

张小珺:机械上的表现,它在不同的具身的上面的表现。就是你不追求未来的世界,所谓的机器人就是人形机器人那种统一的美感,对吗?

柯丽一鸣 Kay Ke:你你觉得它随便都可以。

柯丽一鸣 Kay Ke:我这个人最喜欢的就是宠物机器人,我有一个朋友他说他要创业创这个宠物机器人,我一听可来劲了,就恨不得,哎,要不是因为现在做的事情也是很想做的事情,我还不如加入他呢,因为我就会觉得

柯丽一鸣 Kay Ke:嗯,就每个人在机器人这个领域里面都是有非常多纷杂的线的。

柯丽一鸣 Kay Ke:什么宠物都想做,宠物实在是太可爱了。

柯丽一鸣 Kay Ke:我觉得这是人文的情绪价值嘛,就大家活在这个世界上的一些意义,我觉得陪伴是一个方向。

柯丽一鸣 Kay Ke:嗯。

张小珺哎,说了很久,派啊,你当时为什么加入派啊?

柯丽一鸣 Kay Ke:当时也是好凑巧啊,因为我其实整个博士期间一直坚定的以为我要想去当教授,但是一直很害怕当教授,因为教授要写好多这个什么。

画面说明

柯丽一鸣在演播室中讨论Pi的研究协作、组织结构与公司文化。

09. 为什么放弃剑桥教职(02:33:56-02:45:50)

场景 9

本节主旨为什么放弃剑桥教职

完整内容

柯丽一鸣 Kay Ke:funding proposal 就是基金申请。

柯丽一鸣 Kay Ke:我一听到这个 funding proposal 我就觉得,哎,我想解决问题,我不想搞这些事情,可能这也是我的还需要修炼的一个部分。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:但是当时切 gpt 横空出世。

柯丽一鸣 Kay Ke:我一拍大腿,决定,稳了!

柯丽一鸣 Kay Ke:我现在可以去当教授了,我不怕了!

柯丽一鸣 Kay Ke:我让切 gpt 帮我写这些,资金申请就可以了。

柯丽一鸣 Kay Ke:嗯,嗯,但是

柯丽一鸣 Kay Ke:在我其实经历了一整轮的教职面试

柯丽一鸣 Kay Ke:中间就有一些感触,很有意思。

柯丽一鸣 Kay Ke:因为我之前的研究其实没有很多大模型。

柯丽一鸣 Kay Ke:我虽然做了很多机器学习,包括各种机器学习方法的研究,但我用的模型都比较小。

柯丽一鸣 Kay Ke:这个跟我们实验室的氛围和我们当时能拿到的计算资源也是有一定的关系。

柯丽一鸣 Kay Ke:就大家可能说把这个任务做到就好,不要想太多,就是其他的事情。

柯丽一鸣 Kay Ke:所以当时注重的点没有那么多大模型。

柯丽一鸣 Kay Ke:在教职申请的过程中,我也是以一个更加偏向传统的一个故事。

柯丽一鸣 Kay Ke:在市场上找这个教职,然后能越来越感受到大家对于这个大模型的热情,就包括我自己其实也是非常大的好奇心。

柯丽一鸣 Kay Ke:然后又因为非常巧合的就是

柯丽一鸣 Kay Ke:Sergei 他有一个学生,就是阿比阿比谢克。

柯丽一鸣 Kay Ke:他呃毕业以后来到了华大,就是我就读的学校,并且成为了我的小老板。

柯丽一鸣 Kay Ke:哦,因为我们华大以前没有一个真正意义上,就是专门做 Robotic Learning for Manipulation 这个话题的人。

柯丽一鸣 Kay Ke:然后阿贝谢一来以后,我就说,哎呀,我做的跟你做方向好近啊,我们一定要天天交流。

柯丽一鸣 Kay Ke:然后我们就天天交流,然后顺便就是,呃,就成为了,也算是半个他的学生嘛,可以。

柯丽一鸣 Kay Ke:就一方面就是他也会用 funding 来支持我的项目,另外一方面我们的,我觉得我们的合作挺紧密,然后有很多相似的想法,就是跟我跟我老板的交流完全不一样,我老板更多的是像一个

柯丽一鸣 Kay Ke:就是 gan 这种对抗网络里面的一个 critique 他就说了,你现在生成了这个东西,但是你要达到更好这个标准才行。

柯丽一鸣 Kay Ke:而阿贝谢跟我的合作方式的话,就更加的是我们俩。

柯丽一鸣 Kay Ke:哎呀我有这个想法,哎呀我也有这个想法,我们把这个想法揉一揉,哎呀不行,再再再生出了三四个,又有了新想法。

柯丽一鸣 Kay Ke:然后哪种方式对研究更好啊?

柯丽一鸣 Kay Ke:我觉得都有是最好的。

柯丽一鸣 Kay Ke:我真的是黑猫白猫抓到老鼠就是好猫。

柯丽一鸣 Kay Ke:因为我觉得和我自己的导师那么多年的合作,让我有一种求真。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:的,就是非常强烈的求真,就是包括大家在

柯丽一鸣 Kay Ke:就我我在看别人的 paper 看别人发表的时候,也是会经常比较喜欢打破砂锅问到底的那种。

柯丽一鸣 Kay Ke:甚至有的时候我就自己做一遍,看看是什么样子的。

柯丽一鸣 Kay Ke:而 Abbie Shea 的话,给我一种她非常跳脱的一种

柯丽一鸣 Kay Ke:就创造力吧,就是确实之前想的时候,很多时候我一个人想,在洞穴里面待了一阵子。

柯丽一鸣 Kay Ke:但是如果要真的做成,我们得退一步,然后思考,然后到底发生什么情,然后去比较漫无目的的去慢想。

柯丽一鸣 Kay Ke:我觉得这两者结合是很好的。

柯丽一鸣 Kay Ke:但是因为当时阿贝谢是 Sergei 的学生,然后 Sergei 在联

柯丽一鸣 Kay Ke:创的时候,阿贝谢可能就跟他说了,就是

柯丽一鸣 Kay Ke:就是有这么一个人,他要毕业了,他是做这个的。

柯丽一鸣 Kay Ke:然后瑟吉就说可以去聊聊。

柯丽一鸣 Kay Ke:然后我本来也没想去聊聊,因为我听说了他要去创业,我说这好像跟我没什么关系。

柯丽一鸣 Kay Ke:但后来又转念一想,觉得瑟吉他毕竟是一个学术界里非常有影响力的教授,我去听一听,跟他第一次就是真的面对面,就要深入的去

柯丽一鸣 Kay Ke:交流一下,他到底在想什么也挺好的。

柯丽一鸣 Kay Ke:然后当时就是去朋友家玩,在湾区玩的路上,顺便去拍。

柯丽一鸣 Kay Ke:就当时他们刚成立一周内吧,我就去那边坐了一下,看了一下。

柯丽一鸣 Kay Ke:我不知道,那就是是,那是个面试。

柯丽一鸣 Kay Ke:他们没有人跟我说这是个面试,我就很,就那种啊哈,有这个人在这做这个啊,挺有意思的,你们在做什么?

柯丽一鸣 Kay Ke:然后他们后来给我的反馈是,就是他们是我觉得,就我,他们面试我的过程中感受到了莫大的阻力,因为我不停的在问他们,你们在干什么?

柯丽一鸣 Kay Ke:哦。

柯丽一鸣 Kay Ke:就他们。

柯丽一鸣 Kay Ke:哦,你是这样的?

柯丽一鸣 Kay Ke:是这样的吗?

柯丽一鸣 Kay Ke:对,可能也是一种求知吧。

柯丽一鸣 Kay Ke:所以当时我就特别好奇,我说,嗯,你们在做这个啊?

柯丽一鸣 Kay Ke:这个你讲哦,这个任务哦,是怎么想的呀?

柯丽一鸣 Kay Ke:我来多了解一下。

柯丽一鸣 Kay Ke:然后他们就他们想的是,我是来找你来面试的,应该是我来问你们,怎么变成了你问我们?

柯丽一鸣 Kay Ke:但当时就就是聊完了一下以后,觉得就没有接触之前,肯定是有很多猜想,但没有一个能确定。

柯丽一鸣 Kay Ke:然后聊过了以后,觉得哎,这帮人还是挺求真的。

柯丽一鸣 Kay Ke:我觉得学术界有很多发表,有的时候会让我这个实用主义派觉得有一些无奈吧。

柯丽一鸣 Kay Ke:就比如说你要做一个问题,想把它做得更好,你会说之前做

柯丽一鸣 Kay Ke:做不更好的一个原因是这个原因。

柯丽一鸣 Kay Ke:所以我们出了这个问题,有的时候它逻辑不一定那么通顺,所以你可能不认为。

柯丽一鸣 Kay Ke:但是我肯定是希望找一个和我的想法比较贴切的,然后我觉得当时和派顿交流以后,觉得大家还是非常求真,所以就他们就给了一个 offer 然后我也很莫名其妙,我就觉得确实挺好的,非常感谢。

张小珺但是我还是在找教职。offer有吸引力吗?

柯丽一鸣 Kay Ke:我觉得是一个机会吧,我觉得 offer 具体的内容并不是最重要的。

柯丽一鸣 Kay Ke:对当时的我来说,这个 offer 代表的是我能和一个已经曾经做过非常多成功工作的

柯丽一鸣 Kay Ke:一个团队,然后他们里面每个人和我交通都非常,和我的沟,嗯,交流沟通都挺愉快的。

柯丽一鸣 Kay Ke:和他们去共事,到达一个新的平台,可以做很多不同的事情,这个才是 offer 我觉得最重要的部分。

柯丽一鸣 Kay Ke:所以当时去了找教职的最后,就突然有些顿悟了吧,觉得我还得想一下自己究竟想做什么样的研究。

柯丽一鸣 Kay Ke:就之前的我可能会觉得

柯丽一鸣 Kay Ke:时机没有到,我应该先到一个地方去仔细的思考,带一些学生。

柯丽一鸣 Kay Ke:我非常期待将来有一天也许真的会学术界,带一帮和我们这些人想的完全不一样的人。

柯丽一鸣 Kay Ke:我觉得这个是最值得期待的一种发展和演化吧。

柯丽一鸣 Kay Ke:但我没想到就是这波来的还挺快的。

柯丽一鸣 Kay Ke:就他已经让我感觉到我得知道我们现在的这一个新的这种前沿能做到哪里,在做什么,我能怎么样去做它。

柯丽一鸣 Kay Ke:所以当时就是比较突然的。

柯丽一鸣 Kay Ke:就在毕业的时候辞掉了这个教职的 offer 就转身加入了 Palantir 是一个非常偶然的决定。

柯丽一鸣 Kay Ke:可以这么说,我当时我当时在毕业, c s d f

柯丽一鸣 Kay Ke:杰克的时候我老板都跟所有人宣布啊他要去当教授啦。

柯丽一鸣 Kay Ke:呃呃呃呃。

柯丽一鸣 Kay Ke:啊,你找到教职了是吧?

柯丽一鸣 Kay Ke:对对,我当时就是其实非常想去剑桥教职。

柯丽一鸣 Kay Ke:嗯,拿到剑桥教职,包括我自己也是心里非常感谢,我觉得剑桥的人文的这个属性和我个性非常的贴合。

柯丽一鸣 Kay Ke:我觉得在那里就可以又做研究又写小说。

柯丽一鸣 Kay Ke:在这里的话,写小说就是哎,晚上睡不着觉写两笔吧。

柯丽一鸣 Kay Ke:哦,那这个很有意思。

张小珺你为什么在最后一刻辞掉了剑桥,来了派?

柯丽一鸣 Kay Ke:嗯

柯丽一鸣 Kay Ke:这个和学术界的运作方式和工业界运作方式或多或少有一些关系。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:我在学术界,我觉得有一个比较大的问题,其实是你是学生,来来走走。

柯丽一鸣 Kay Ke:美国的学术界大概是5年,其实英国更短,3年

柯丽一鸣 Kay Ke:哦。

柯丽一鸣 Kay Ke:我当时就会想说,一个学生来,如果我想给他一个放手去做,做一些比较开创性的工作。

柯丽一鸣 Kay Ke:三年他够不够?

柯丽一鸣 Kay Ke:因为我当时你可以看到我是一个半道出家的博士生呀,我不像现在很多非常优秀的这个本科生,他们本科就做了非常多相关的研究,他们到

柯丽一鸣 Kay Ke:他们开始是读博士的时候,我觉得都已经非常了解自己的行业。

柯丽一鸣 Kay Ke:我觉得如果我要去招学生的话,我会非常喜欢这种学生。

柯丽一鸣 Kay Ke:但我也可能也会喜欢一些就是敢于就抛弃自己之前做的东西,去探索一个新的东西的学生。

柯丽一鸣 Kay Ke:而只给他三年,只给他五年,甚至。

柯丽一鸣 Kay Ke:是不是会时间不够?

柯丽一鸣 Kay Ke:然后一个学生来了,做了一个项目以后再走,可能你一个东西开了个头,我觉得这个

柯丽一鸣 Kay Ke:这种模式在现在这个环境下可能确实不一定能能做到我想做的一个东西。

柯丽一鸣 Kay Ke:同时呢,就是在工业界做的话,会有更多的

柯丽一鸣 Kay Ke:不管是算力、数据还有硬件的支持,你可以看到机器人它是一个非常多元化的。

柯丽一鸣 Kay Ke:就比如说我做的时候,我做了,其实我的 PhD 整整读了7年

柯丽一鸣 Kay Ke:第一年第二年你可以认为砍掉的话,跟我后面做的事情也没什么关系,但确实我觉得对我后面做的事情有帮助。

柯丽一鸣 Kay Ke:然后我开始搞真机,就搞真机这个事情就很麻烦。

柯丽一鸣 Kay Ke:就是我从开始想搭机器人,到这个机器人差不多能动。

柯丽一鸣 Kay Ke:大概三个月的时候是第一次,就是机器人差不多整体都跑通了。

柯丽一鸣 Kay Ke:然后六个月才真正把遥操纵这个玩意给全部定下来,都是我一个人做的,很慢。

柯丽一鸣 Kay Ke:在后续的做的火的过程中,肯定也有。

柯丽一鸣 Kay Ke:不可避免的,因为是个全站嘛,就这个站哪里坏了,你得自己上。

柯丽一鸣 Kay Ke:在学术界这种相对而言更加单打独斗,需要

柯丽一鸣 Kay Ke:需要比较大东西的东西,你就做不了。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:所以我觉得这个是派当时对我最大的吸引力,就是我其实没有真的在一个大公司的齐心协力的合作下去做,而我也确实承认,我觉得这是必要的。

张小珺:说到博士,我突然在想,博士是越快毕业越好吗?你看我读了7年,你问我这个问题。就是你说到7年,我在想这个问题。嗯。因为有人可能从第一天就会想我要几年毕业。

柯丽一鸣 Kay Ke:我觉得性跟性格有很大的关系吧。

柯丽一鸣 Kay Ke:我认识很快毕业的,也认识像我这样,我们华大的记录是9年

柯丽一鸣 Kay Ke:我刚进校第一天,我就认识了这个在学校待了8年的人,他是第9年毕业的。

柯丽一鸣 Kay Ke:但是我觉得和自己生活状态有关系。

柯丽一鸣 Kay Ke:我在读博求学期间做的很多项目我都非常喜欢。

柯丽一鸣 Kay Ke:嗯,所以没有觉得时间过得很慢。

柯丽一鸣 Kay Ke:你没有很焦虑,就为了毕业很焦虑。

柯丽一鸣 Kay Ke:没有为毕业很焦虑,也没有觉得就是我没有毕业是个什么样的一个事情。

柯丽一鸣 Kay Ke:就是可能更多的是比较纯粹的去想说我现在做了一个问题,上一个问题我学到了什么,下一个问题我想做什么,是一个很连贯,很很快乐的一个过程。

柯丽一鸣 Kay Ke:嗯,同时当时博士期间

柯丽一鸣 Kay Ke:单打独斗的项目有个好,就是你想休息了就可以休息,嗯,想干了就可以干,就你可以卷到半夜。

柯丽一鸣 Kay Ke:我我我就超级夜猫子,我当时就是一般是中午下午开始干活,然后干到晚上四五点。

柯丽一鸣 Kay Ke:因为可以免费停车。

柯丽一鸣 Kay Ke:然后只干完了还能去一个24小时的营业的炸鸡店吃两口炸鸡,就非常快乐那种生活。

柯丽一鸣 Kay Ke:同时也可以就是,就是觉得最近

柯丽一鸣 Kay Ke:好像做了一个角度非常深入,但是就是思维很迷茫。

柯丽一鸣 Kay Ke:我们去休息一下,我有一两个项目其实都是我在圣诞节度假的,就突然有一天突然灵光一现,就觉得要做这个。

柯丽一鸣 Kay Ke:有很大的自由度。

柯丽一鸣 Kay Ke:而我见到的很多就是三年四年就毕业的博士生,他们确实可能比金刚经上的我来说的话,要非常更加明确自己要想要做什么。

张小珺我的话更多的是尝试,换,一直到最近,可以说我的职业才真正的有一些稳定下来。嗯,你觉得在派工作和在 Google 工作的区别可能会是什么样?他们都在做机器人大脑。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:而派的人当然也是从 Google 出去的。

柯丽一鸣 Kay Ke:我没有在 Google 的研究部门工作过,我在那边做过软件的实习。

柯丽一鸣 Kay Ke:当时我还是一个本科生嘛,去了 Google 以后就觉得非常快乐,因为 Google 就像是。

柯丽一鸣 Kay Ke:一堆软件工程师为自己所搭的一个乐园。

柯丽一鸣 Kay Ke:我是在 Google 那边开始第一次学怎么写 TensorFlow 和就是大规模的一些神经网络的训练,因为之前都是手搓。

柯丽一鸣 Kay Ke:就是你会从头开始写一个什么 CNN 怎么怎么反推的,你会从头到尾都自己写。

柯丽一鸣 Kay Ke:然后到了 Google 才发现哦,有这个别人做好的一个库,我就调用这个库就行了。

柯丽一鸣 Kay Ke:哇,这么方便吗?

柯丽一鸣 Kay Ke:我赶紧学下怎么弄的。

柯丽一鸣 Kay Ke:嗯,所以我相信 Google 是有一个工程师的这种基因在里面,让我当时的我对它就非常的喜欢。

柯丽一鸣 Kay Ke:我觉得现在它还有体现,就是比

柯丽一鸣 Kay Ke:如说他们做的研究,他们做的多模态,他们做的这种 TPU 这种架构。

柯丽一鸣 Kay Ke:都是有着一种工程师的优化的思想在里面。

柯丽一鸣 Kay Ke:嗯,而在派的话,说到底它是一个创业公司,我可以非常轻松的跟我想聊的人开始聊天,可以 move fast。

柯丽一鸣 Kay Ke:可能你昨天有个想法,今天说一说,明天就变成了一个项目。

柯丽一鸣 Kay Ke:还有包括派06星,他的他的这个中间有一段就是突然一下非常大的转变,就是我们说我们要收 EVO data 了,我们现在

柯丽一鸣 Kay Ke:收的这个评测对它的量是这个量,但是如果我们想要达到我们想要的地方,可能需要这个量。

柯丽一鸣 Kay Ke:怎么样很快的给它排查,达到这个效果?

柯丽一鸣 Kay Ke:我觉得这个可能是我们比 Google 我想象中要做得快很多的地方。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:你说你现在的研究方向稳定下来,就是稳定到了强化学习

柯丽一鸣 Kay Ke:嗯,不一定是强化学习,而是做机器人,并且想怎么把机器人做得更好,而且是一个比较通用语境下的更好。

画面说明

张小珺坐在画面左侧提问,背景可见砖墙、绿植和书架。

10. 巴甫洛夫的狗:强化学习与行为(02:45:51-03:04:07)

场景 10

本节主旨巴甫洛夫的狗:强化学习与行为

完整内容

柯丽一鸣 Kay Ke:这个是比较稳定的方向,强化学习只是这个阶段的一种研究的重心,但我不觉得它是一个定义你研究生涯的一个东西。

柯丽一鸣 Kay Ke:你觉强化学习对于机器人来说意味着什么?

柯丽一鸣 Kay Ke:它解决的是本质的问题吗?

柯丽一鸣 Kay Ke:我觉得强化学习是一个非常本质的一类问题。

柯丽一鸣 Kay Ke:也就是说,一个人如何通过体验变得更好?

柯丽一鸣 Kay Ke:这个问题从

柯丽一鸣 Kay Ke:所以传统教科书上来说,解释强化学习其实就是解释这个巴甫洛夫的狗。

柯丽一鸣 Kay Ke:哎,这个狗它做了一个事情,你就给它一个奖励,它从此就知道这个事情是个好事情,我要多做。

柯丽一鸣 Kay Ke:就是通过这种奖励和惩罚的方式去。

柯丽一鸣 Kay Ke:让一个智能体做一个对你来说更好的一个动作。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:但强化学习呢,它嗯在算法上来说,我觉得是有一些东西,我包括每天都会

柯丽一鸣 Kay Ke:就感觉它跟我这个人进化,就是人的自我的提升和情况学习是有很多关系的。

柯丽一鸣 Kay Ke:就不管你是从一个非常具体的一个动作,比如说你是一个,就是假想象中啊,你是一个

柯丽一鸣 Kay Ke:想要学习攀岩或者游泳的一个人,然后你怎么样做得更好?

柯丽一鸣 Kay Ke:你就是不断地去做这件事情。

柯丽一鸣 Kay Ke:我觉得这个追求极致是强化学习一个非常强烈的一个因素,就是不停的去练。

柯丽一鸣 Kay Ke:同时呢,强化学习其实还有一个很重要的部分是探索。

柯丽一鸣 Kay Ke:探索我觉得它是可大可小的,可能是说我这个肌肉些微的往左移一下,我的表现,打网球的表现会更好,这是一种探索。

柯丽一鸣 Kay Ke:也可以说是我现在做的这个研究,我想怎么把这个机器人做好。

柯丽一鸣 Kay Ke:我现在探索的是一个方向,我也可能将来会换一个方向,它也是一种探索。

柯丽一鸣 Kay Ke:嗯,我觉得它是不光是一个具体问题具体场景,其实也是一个通样。

柯丽一鸣 Kay Ke:通向通用的一条路。

柯丽一鸣 Kay Ke:比如说现在我觉得大语言模型里面应该有不少人都在使用强化学习来帮助提升他们的大语言模型,其实也是有一个大语言模型的基础上,让他不停的去试,去看,去给反馈,如何从这个反馈中得到更进一步的提高。

柯丽一鸣 Kay Ke:是一个很久的命题吧。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:同时我觉得强化学习,嗯,具体的技术也有可能,也有很多是可以讲的部分。

柯丽一鸣 Kay Ke:如果你有兴趣,我们也可以多深入一下。

柯丽一鸣 Kay Ke:我觉得强化学习是有几个模块的。

柯丽一鸣 Kay Ke:就是每一个强化学习系统都是把这些模块拼起来,其中一个模块可能就是这个啊探索模块。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:就是如果你想要做一件更好的事情。

柯丽一鸣 Kay Ke:你得做一些你以前没做的事情。

柯丽一鸣 Kay Ke:你怎么样选一个更有可能成功的事情去探索?

柯丽一鸣 Kay Ke:是探索模块。

柯丽一鸣 Kay Ke:我觉得这个方面其实咱咱们现在做的不是特别多,但它是一个永恒的命题。

柯丽一鸣 Kay Ke:是,你是选一个小的改动还是大的改动,包括你怎么改动,都是一个算法需要。

柯丽一鸣 Kay Ke:我觉得在最后的大模型态里面,它其实应该对于探索是有一个非常清晰的想法。

柯丽一鸣 Kay Ke:现在大模型可能还不具备这样一个。

柯丽一鸣 Kay Ke:非常主动的去探索的一个能力。

柯丽一鸣 Kay Ke:嗯,因为探索直接就影响到了,如果你选的好,你研究路线选的好,你可能做了这一个研究,就已经有很多好的事情发生。

柯丽一鸣 Kay Ke:如果你这个研究

柯丽一鸣 Kay Ke:呃,很不幸的就是选到了一些,就是比较难搞的一些东西,那你就要做很多,它就极度的影响到了你学习和进步的这个效率问题,所以是探索问题。

柯丽一鸣 Kay Ke:然后第二个我觉得强化学习比较有意思的问题就是归因。

柯丽一鸣 Kay Ke:就可能你要让你们家宠物做一个什么好事,就可能它做了一系列的事情,然后你最后给了它一个奖赏。

柯丽一鸣 Kay Ke:嗯,它其实是需要知道就到底哪个事情是

柯丽一鸣 Kay Ke:这一次得到好奖赏的一个决定性因素。

柯丽一鸣 Kay Ke:嗯,这个也是嗯,他零六星是有些探索的,就是你收集了这么多的这个部署的数据。

柯丽一鸣 Kay Ke:究竟哪一条部署数据里面的哪一个步骤你做得好,让你整条数据得到一个关键性的一个奖赏。

柯丽一鸣 Kay Ke:嗯,你可以看到在派06星里面,我们可能比较强调了这个 super 的一个速度和

柯丽一鸣 Kay Ke:质量。

柯丽一鸣 Kay Ke:所以从智能体的角度上来看,就是它做了很多事,做了做了不停的做了这么多次,然后我们设计这个算法帮助它从这么多次的经验中找到,就是

柯丽一鸣 Kay Ke:这条数据里面,其他都是垃圾,但这个地方是精华,你以后多做这个精华。

柯丽一鸣 Kay Ke:所以这个归因,我觉得是强化学习的一个,就像人的这种总结反思一样,是一种可以长期持有的能力,就不管是在微观上。

柯丽一鸣 Kay Ke:这一步骤再做改一下就会更好,还是宏观上来说有这么一些策略,其实这个策略是最好的。

柯丽一鸣 Kay Ke:嗯,然后同时强化学习也有着,嗯,我觉得有一个本源性问题是我们其实呃教科书上不怎么讲的,就是这个。

柯丽一鸣 Kay Ke:问题的定义

柯丽一鸣 Kay Ke:你可以看到在这个大语言模型里面,你要什么问题,你一般都用口述给他抛出了一个问题。

柯丽一鸣 Kay Ke:可以说你的这个问题涵盖了很多,他需要知道,就是他这个你的这个问题就定义了他这个任务。

柯丽一鸣 Kay Ke:而在机器人界,目前还没有这种清晰的一个联系,包括这个 VLA 模型也只是开了一个头,说我想让你叠衣服。

柯丽一鸣 Kay Ke:其实你可以千千万万不同一种方式叠衣服,对不对?

柯丽一鸣 Kay Ke:你怎么知道他要你叠衣服到底是要叠成什么样子?

柯丽一鸣 Kay Ke:嗯,在课本里强化学习是要用一个奖励函数。

柯丽一鸣 Kay Ke:去抓住这个东西,可能这个奖励函数就设计成了一个,哎,如果你真的按照它的意思给了,它就给你一个很高的奖赏,就给你一块肉,奖励你这个狗狗做得好。

柯丽一鸣 Kay Ke:如果你做得不好,它就给你一个惩罚。

柯丽一鸣 Kay Ke:但实际上设计实用的来说,设计这个奖励函数是非常难的。

柯丽一鸣 Kay Ke:因为之前有人做过很多,就是在模拟器里做强化学习,比如说用强化学习去打这个超级马里奥。

柯丽一鸣 Kay Ke:你有一个分数对不对?

柯丽一鸣 Kay Ke:你就优化这个分数就好了嘛,这是一个现成的奖励函数。

柯丽一鸣 Kay Ke:但实际上,即使是这样的情况下,它有可能会,我们就说就是 abuse 就滥用这个奖励,它就发现了。

柯丽一鸣 Kay Ke:有一个 bug 就超级马里奥一个 bug 有了这个 bug 以后,强化学习就发现了,就疯狂地做这个 bug 它就会跳一个小人,然后直接通关了所有的关卡,并且触发奖励函数达到最大值。

柯丽一鸣 Kay Ke:哎,我把奖励函数给你优化出来了。

柯丽一鸣 Kay Ke:你有,还有什么可说的?

柯丽一鸣 Kay Ke:我已经做到你想要我做的事情了。

柯丽一鸣 Kay Ke:但实际上这个奖励函数一开始设计的就不对。

柯丽一鸣 Kay Ke:所以我觉得强化学习的一个工作目标吧,也是一个很重要的事情,其实就是

柯丽一鸣 Kay Ke:把人想让它做的事情和机器能够理解的这种奖励函数紧密地结合在一起。

柯丽一鸣 Kay Ke:同时也希望这样一个设计是可以泛化,可以鲁棒的。

柯丽一鸣 Kay Ke:谭杰也提到强化学习需要奖励信号,但是很难写奖励函数,这个你们有什么发现吗?

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:怎么能给一个任务写清晰的奖励函数?

柯丽一鸣 Kay Ke:我觉得就是在我看来,它不是一个写奖励函数的问题,而是向智能体传达你让它做什么的问题。

柯丽一鸣 Kay Ke:奖励函数可能更多的是一种表现方式。

柯丽一鸣 Kay Ke:比如说你看现在的 NLP 他们之前应该也有是有人探索过,就怎么给它写一个价值函数,就做了这个好就是好,就是更高的分,做了那个不好就是更低的分。

柯丽一鸣 Kay Ke:但其实有一段时间在

柯丽一鸣 Kay Ke:在自然语言中的强化学习最有用的东西就是可验证的一个任务。

柯丽一鸣 Kay Ke:这个可验证的任务是可以独立于一个所谓奖励函数存在,它就是一个

柯丽一鸣 Kay Ke:要你写编程,你这个编程能跑能跑的话,它就是非常确定的知道它是好。

柯丽一鸣 Kay Ke:我觉得是传递好坏不一定需要奖励函数。

柯丽一鸣 Kay Ke:嗯,而且我相信就传递好坏的这个任务的话。

柯丽一鸣 Kay Ke:是需要一些,就是人的这种 common sense 这种潜知识啊,或者说通用知识啊。

柯丽一鸣 Kay Ke:同时也是一个,我觉得是一个非常 flexible 问题吧。

柯丽一鸣 Kay Ke:就我个人比较相信,就是好的奖励函数是可以因地制宜的,它也不一定是一个奖励函数的一个形式。

柯丽一鸣 Kay Ke:在存在,更多的就是你给了这个模型的信息和表达去让它理解。

柯丽一鸣 Kay Ke:嗯,诶,我前两天聊了一个嘉宾,他是做 AI for MAP。

柯丽一鸣 Kay Ke:他们核心想优化的就是呃模型的可验证性。

柯丽一鸣 Kay Ke:嗯,这个会不会对?

柯丽一鸣 Kay Ke:我觉得是,是有启发的。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:对,因为机器人它也有一个很好玩的问题,就是咱们也没有那么多的任务是非常清晰的。

柯丽一鸣 Kay Ke:说成功和失败都非常简单,跳出来。

柯丽一鸣 Kay Ke:你可以呃比如说就是这个杯子放在另外一个桌子上,也许是的。

柯丽一鸣 Kay Ke:但这也是一个非常限定的,就是你当到了一个限定的环境以后,你可能就比较容易写。

柯丽一鸣 Kay Ke:写出这个奖励函数,而你在一个非常通用的层面,你其实很难写出一个通用的函数。

柯丽一鸣 Kay Ke:或者你的任务比较难,比如说像叠衣服这种任务,叠衣服叠得好不好?

柯丽一鸣 Kay Ke:老师,我都不怎么叠衣服,所以我在叠衣服的这个任务设计过程中,我就有一个比较清晰的,就是因为我从来不叠衣服,所以我可以很纯粹的从机器人任务的角度来说设计这个东西。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:但是设计出来的每个人观点也是不一样的。

张小珺你刚刚提到 Chelsea 对于一些任务的设计很有 common sense 对,我觉得她有非常 sharp 的 intuition 呃,能不能再举个例子啊?

柯丽一鸣 Kay Ke:就比如说叠衣服这个东西是有很多不同的策略对不对?

柯丽一鸣 Kay Ke:你人来叠,你可以把它从两边叠成这个,或者你也可以就是四四方方的叠。

柯丽一鸣 Kay Ke:我我我甚至用语言都很难描述这不同的方式是怎么在叠,但你可以想象它有不同的叠法。

柯丽一鸣 Kay Ke:那么哪一些叠法,甚至包括这个叠法放机器人身上,哪一个是好的?

柯丽一鸣 Kay Ke:嗯,我觉得有一些人确实是能够很快速的,嗯,直觉性的搞明白。

柯丽一鸣 Kay Ke:就这个点跟那个。

柯丽一鸣 Kay Ke:哦。

柯丽一鸣 Kay Ke:点是有差距的。

柯丽一鸣 Kay Ke:哦。

柯丽一鸣 Kay Ke:或者说或者说像我们会经常看一些,就是机器人中间做的任务,就会就会去。

柯丽一鸣 Kay Ke:要斩钉截铁说,这个任务我觉得可以做,虽然看起来很难。

柯丽一鸣 Kay Ke:我觉得乔西有很强的这样的东西,或者说他也会觉得就是这个数据好。

柯丽一鸣 Kay Ke:这种直觉来源于什么?

柯丽一鸣 Kay Ke:我觉得思考是有的,然后理解也是有的,但是也有可能就是和每个人看问题的一些

柯丽一鸣 Kay Ke:看重的东西吧。

张小珺嗯,你觉得 VLA 会是一个终极的架构吗?

柯丽一鸣 Kay Ke:它会怎么演化在未来?

柯丽一鸣 Kay Ke:我觉得这种 interactive 的方式是可能可以的,尤其是在我天天成为了 Claude Code 的重度用户以后。

柯丽一鸣 Kay Ke:我以前是有一点怀疑,我说我这个人比较内向嘛,就没有那么喜欢说话。

柯丽一鸣 Kay Ke:有很多事情是不是不用说话的表达会是更好的表达?

柯丽一鸣 Kay Ke:而且包括说话有很多时候,比如说,就是我想让你帮我把我家的这个厨房收拾一下,它没有办法 capture 我所有的意思。

柯丽一鸣 Kay Ke:就是我可能说的是,你把垃垃圾倒一下呀,然后这边橱柜就关起来呀,或者这样。

柯丽一鸣 Kay Ke:或者那样的一些单纯用语言嗯无法捕捉到的重点。

柯丽一鸣 Kay Ke:但是我发现了这些 cloud agents 就改变了我对这种交互方式的想象,就是你是可以说话,它可能

柯丽一鸣 Kay Ke:捕捉不了所所有的重点。

柯丽一鸣 Kay Ke:但你也可以用说话给它提供更多的 context 让它自己去搜索或者制定计划。

柯丽一鸣 Kay Ke:就是说话确实是一个非常强的逻辑思维和推理,而我也越来越觉得逻辑思维推理对机器人是很重要的,所以我觉得

柯丽一鸣 Kay Ke:VLA 中的 L 还是有很大作用的。

柯丽一鸣 Kay Ke:只是 VLA 现在的这个架构可能还是比较原始的一个架构。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:它虽然有这个 language,但它并没有很多的去探索,就是 language 和动作的一些非常细微的事情。

柯丽一鸣 Kay Ke:比如说 language 的层面,更多的都是叠这个衣服,他也没有很详细的描述说这个衣服叠的时候,你要用两只手,在这个步骤怎么怎么样。

柯丽一鸣 Kay Ke:我觉得这都是未来的探索方向,就是可能

柯丽一鸣 Kay Ke:嗯,会有一些更加,呃,就不光是从输出端是动作啊,或者加一些 video 啊,或者加一些 auxiliary loss 在输入端可能也会给它更多的 context 使它能像现在的大语言模型一样,就 take in much context。

张小珺:嗯,我们刚刚其实也讨论了一点数据问题,我想继续就这个话题再深入地讨论一下。嗯,你刚才说过你们其实 BAT 的算是甄姬数据。

张小珺:是一部分。是,呃,真机数据占很重要的一部分。是。那硅谷其他的这些 Frontier Lab 他们在数据的选择上有什么不一样吗?真机数据是一个共识吗?

柯丽一鸣 Kay Ke:我不太清楚别人有没有共识,或者是怎么想的。

柯丽一鸣 Kay Ke:我只能从我接收到的信息来看的话。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:嗯,比较明显的有一些人觉得我们可以把。

柯丽一鸣 Kay Ke:这个模拟系列的东西做得更好,做得更有用。

柯丽一鸣 Kay Ke:我觉得这也是一个非常值得探索的区域。

柯丽一鸣 Kay Ke:可能如果他们现在的工作重点是这个的话,他们可能就对春季数据没有,相对而言没有那么看重了。

柯丽一鸣 Kay Ke:或者说也有一些人觉得我们就用一些呃人手直接收的嘛,像这种乌密的这个数据,就是人可以非常自然的在自己生存的这个空间中去收很多数据,而且它的效率

柯丽一鸣 Kay Ke:就速度可能比你非要搞一个机器人进他们家,然后再说要轻松快一些。

柯丽一鸣 Kay Ke:我觉得这也是大家不同的想法吧,就是他有一个重点。

柯丽一鸣 Kay Ke:嗯,但是可能因为我是甄姬数据的信仰派,所以会觉得

柯丽一鸣 Kay Ke:就以后肯定还是要征集数据,因为你都你都部署了,你可以收征集数据了,那为什么不用呢?

柯丽一鸣 Kay Ke:所以我觉得对征集数据的如何用来更好的研究应该是不会停止的。

柯丽一鸣 Kay Ke:当然,我也不觉得征集数据更实用。

柯丽一鸣 Kay Ke:我觉得就不光是使用,而且是最后当你真的做完了这个问题的时候,你机器人真的进到人家里以后,你就是会有很多真机数据了呀。

柯丽一鸣 Kay Ke:嗯,我相信这个是我们共同想要的一个未来,所以这个未来里就是会有很多真机数据的。

张小珺你觉得什么样的数据是好数据啊?

柯丽一鸣 Kay Ke:现在这个定义也没有很很统一。

柯丽一鸣 Kay Ke:对,我觉得它不是一个学术能够清晰的解决的一个问题,我觉得

柯丽一鸣 Kay Ke:是有一些不同的维度的吧。

柯丽一鸣 Kay Ke:比如说嗯这个数据它做的是什么任务?

柯丽一鸣 Kay Ke:这个任务你看啊,如果我这个任务就是在空中再挥挥手,这可能就没有什么意思。

柯丽一鸣 Kay Ke:但如果这个任务是跳舞,或者说随着这个这个胳膊要怎么怎么动,它是一个更有意义的任务。

柯丽一鸣 Kay Ke:所以我觉得这个

柯丽一鸣 Kay Ke:是维度之一,就是任务本身,或者说叠衣服啊、叠箱子啊、还有拿水杯,这都是不同的类别的任务。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:同时呢,就是在做任务过程中,我觉得是有一个叫做动作的质量的。

柯丽一鸣 Kay Ke:这个可能就是就是如果

柯丽一鸣 Kay Ke:机器人能做成这样,我不就觉得它做完了,它做的极端了,它降到了奥林匹克运动员那种表现,就已经超越人体极限了。

柯丽一鸣 Kay Ke:这个是运动的质量,你也可能收到一条质量不那么好的数据,可能就是

柯丽一鸣 Kay Ke:为了拿这个杯子,先晃晃悠悠晃晃悠悠的再去拿,呃,可能就没有那么好,所以这种动作质量也是一个维度。

柯丽一鸣 Kay Ke:同时我觉得就是动作的覆盖度吧,就从一个数据集。

柯丽一鸣 Kay Ke:就刚才可能讲的是具体一条一两条数据,从一个数据集的角度上来说的话,你收了。

柯丽一鸣 Kay Ke:拿水杯的这个人物的那么多条数据,它的这个覆盖度到底有多少?

柯丽一鸣 Kay Ke:它有多少不同的场景?

柯丽一鸣 Kay Ke:它有多互相之间的不同?

柯丽一鸣 Kay Ke:就比如说刚才说的泛化里的每一条。

柯丽一鸣 Kay Ke:维度,其实可能都是你说说出去的时候就可以考虑到的一个,就覆盖度的一个维度。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:然后最后嘛,我觉得嗯就是数据提供的是一种信息。

柯丽一鸣 Kay Ke:如何能够在一团数据里挖掘更多的信息?

柯丽一鸣 Kay Ke:包括不限于,就是我收到了这个拿水杯的数据,我是怎么拿这个水杯的,这个水杯在哪,这水杯长什么样,其实它都是一个隐藏在里面的信息。

柯丽一鸣 Kay Ke:如果我们有一些标签。

柯丽一鸣 Kay Ke:在这些信息之上的话,我们也可以就这些标签再进行一些学习。

柯丽一鸣 Kay Ke:所以我觉得就数据集,它的标签标注也是非常重要。

柯丽一鸣 Kay Ke:嗯嗯,有一种说法是说通用大模型团队更关心在基础能力层面。

张小珺实现 zero shot 就是零样本的泛化,也就是在没有见过具体任务的情况下,它仍然能 work 而不是说我我只要我见过这个数据我才知道。

张小珺而机器人或应用导向的团队往往更关注某个具体场景,具体本体,具体任务能不能跑通。这两类需求本身是完全不一样的。

柯丽一鸣 Kay Ke:你同意这个观点吗?

柯丽一鸣 Kay Ke:嗯,我觉得是相辅相成,就确实这两个工作的重心可能乍一看没有什么关系,但我觉得互相之间是可以

柯丽一鸣 Kay Ke:相辅相成,因为对,就就是怎么抽象的说呢?

柯丽一鸣 Kay Ke:就是我觉得机器人在研究方面是有两个很大的主题的。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:一个就是他的表现究竟如何做到完满,还有一个就是如何在一个全新未知的领域下做出一个像模像样的东西。

柯丽一鸣 Kay Ke:可能这就对应着你刚才所说的一个具体场景场景下的优化做到完美和一个 zero shot 零样本泛化到一个全新环境。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:而我在实际做的过程中呢,时常会感觉到。

柯丽一鸣 Kay Ke:如果你能在一个场景中做的完满,你可能可以在其实更多的场景都达到更好的效果。

柯丽一鸣 Kay Ke:这些东西都会帮助你做一个更高质量的模型,而更高质量的模型它不只是在你这两个任务上表现的更好。

柯丽一鸣 Kay Ke:它在很多相关或者相似性的问题上,它也会表现得更好。

柯丽一鸣 Kay Ke:就具体的这种表现得更好,是可以提升模型整体的能力的。

柯丽一鸣 Kay Ke:对,这个是我比较坚信的。

柯丽一鸣 Kay Ke:嗯,在这样的一个过程中呢,你可以说就是对具体任务的具体表现的研究是可以可以受,可以使这个大模型的整体研究受益。

柯丽一鸣 Kay Ke:同时呢,我觉得就大模型在新的任务、新的环境下的表现,如果能够稳步提升到一个差不多的情况的话,你也可以马上开始。

柯丽一鸣 Kay Ke:用一些就是更具体的提升手段。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:我觉得这两个就是互相之间,啊,左脚踩右脚踩右脚,看看能不能上天吧。

柯丽一鸣 Kay Ke:啊,这个是左脚和右脚。

张小珺:一个通用的能力,zero shot 能力,一个是具体的任务。对。嗯,你觉得哪个角可能现在跑得快一点?嗯,我觉得

柯丽一鸣 Kay Ke:像在派这样的公司还是很均衡的在发展的,因为它是一个非常本源的一个研究型公司,它是希望把研究路上的重要的问题都解决了。

柯丽一鸣 Kay Ke:怎么提高这种 Zero shot 能力啊?

柯丽一鸣 Kay Ke:因为具体场景可能是通过强化学习。

柯丽一鸣 Kay Ke:那肌肉少能力呢?

柯丽一鸣 Kay Ke:嗯,我觉得比较明显的一些回答可能是像架构呀,架构研究、预训练研究是很重要的。

柯丽一鸣 Kay Ke:OK。

柯丽一鸣 Kay Ke:同时数据也是很重要的。

柯丽一鸣 Kay Ke:你可以看,比如说像这些具体场景的数据,其实也是能够提升这些大模型的能力的。

柯丽一鸣 Kay Ke:在架构上,有人觉得嗯下一代架构可能是世界模型。

柯丽一鸣 Kay Ke:我觉得现在世界模型也没有一个说法说它就一定长什么样。

柯丽一鸣 Kay Ke:大家应该都是在探索,就不停的在探索价格到底应该长什么样。

柯丽一鸣 Kay Ke:嗯,我每次聊机器人都觉得机器人还好早啊。

柯丽一鸣 Kay Ke:觉得

柯丽一鸣 Kay Ke:离我们真正想造的这种星辰大海确实还有一些距离。

柯丽一鸣 Kay Ke:但是能够每天,每个月都感到一些稳步的提升,这种感觉我觉得在做研究里其实很难得的。

柯丽一鸣 Kay Ke:你是哪一年加入的派啊?

柯丽一鸣 Kay Ke:就是。

柯丽一鸣 Kay Ke:25年

柯丽一鸣 Kay Ke:24年

柯丽一鸣 Kay Ke:24年

柯丽一鸣 Kay Ke:派是24年3月创的嘛,我是3月跟他们聊了,然后6月我毕业就去了。

张小珺:你觉得24年25年过去这两年,每一年在机器人领域最重要的提升是什么呀?我不好说在机器人领域的提升吧,我相信肯定有很多其实很重要工作,只是我现在不知道而已。

画面说明

柯丽一鸣近景讨论强化学习、反馈与行为塑造。

11. 机器人研究的前沿展望(03:04:07-03:15:27)

场景 11

本节主旨机器人研究的前沿展望

完整内容

柯丽一鸣 Kay Ke:很常见在研究中,只是我自己的体感的话,我确实觉得派的主要脉络从能力泛化到表现上来说,这条路每次我们走的时候都有一些新的发现、新的提升,是以前

柯丽一鸣 Kay Ke:是,对一些我觉得领域需要回答的关键问题,给了一份,就是第一版的答卷吧。

柯丽一鸣 Kay Ke:嗯,我相信其实我们做的很多事情也是会不停的在回顾,再进一步提升。

柯丽一鸣 Kay Ke:帮我导航到

柯丽一鸣 Kay Ke:我其实确实觉得有一些我们做的事情也许已经有一些商业化的价值了。

柯丽一鸣 Kay Ke:这个是以前的我可能觉得还有些遥远,但现在感觉其实还挺近的。

柯丽一鸣 Kay Ke:比如说工厂吗?

柯丽一鸣 Kay Ke:这个倒不一定是工厂吧,就是工厂是一种可控环境的一个代表。

柯丽一鸣 Kay Ke:对,因为你可以通过控制环境来让它更适配你现在能做到哪里。

柯丽一鸣 Kay Ke:我觉得这是一个比较自然的一种应用场景。

张小珺:我不太清楚这里面的商业价值究竟有多少,只是从表现的情况上来说的话,我觉得是有应用的可能性的。嗯,有什么样的任务是24年初做不了,24年底可以做的?25年初做不了,25年底可以做的?

柯丽一鸣 Kay Ke:我觉得二四年初的时候,你跟别人说你要叠一个衣服,而且把它们还垒成一一堆,而且这个衣服还,因为衣服是你很难控制的一个东西。

柯丽一鸣 Kay Ke:嗯,二四年初,反正我当时觉得叠衣服是我非常想做的一个东西,但我是不知道能不能做出来。

柯丽一鸣 Kay Ke:然后包括当时就搞箱子呀,还有甚至包括就是在那里做那个呃呃桌上清理。

柯丽一鸣 Kay Ke:桌上清理是真的搞了很多,就是我们觉得他做不了的东西,去试他究竟能不能做。

柯丽一鸣 Kay Ke:当时就已经发现了,其实很多。

柯丽一鸣 Kay Ke:没见过的东西,他也能做。

柯丽一鸣 Kay Ke:所以当时就已经有很清晰的一种之前的不确定性逐渐变成了一个看得到的成功。

柯丽一鸣 Kay Ke:并不并不能说保证百分百成功,但是它是有成功的可能性。

柯丽一鸣 Kay Ke:我觉得这个进步非常的重要。

柯丽一鸣 Kay Ke:然后25年,嗯,就是首先我们自己做的是派05和派06的信都是在25年做的嘛,一个是进到 Airbnb 里去,一个是

柯丽一鸣 Kay Ke:就是对具体的部署任务要求它的表现提升到一个就是纯靠数据收集很难达到的一个地方。

柯丽一鸣 Kay Ke:我觉得都验证了一些,就不管是说你要多少个 Airbnb 才能在下一个中特得到一个好的初始成果。

柯丽一鸣 Kay Ke:嗯,还是说你部署的时候到底

柯丽一鸣 Kay Ke:能不能?

柯丽一鸣 Kay Ke:因为我们是从一个很实用的角度来考虑问题的。

柯丽一鸣 Kay Ke:我们在比如说做 folding task 做这个叠衣服 task 中,我们不是说就是我们收了10小时的叠衣服数据。

柯丽一鸣 Kay Ke:然后就去硬做强化学习

柯丽一鸣 Kay Ke:我们是真的把这个东西做到了,我们觉得收数据已经,就再收更多数据都没得搞了的情况下,再开始想说我们用这个强化学习的方法去搞,能不能再进一步。

柯丽一鸣 Kay Ke:我觉得这个 frontier。

柯丽一鸣 Kay Ke:是通过做这样的项目摸得更清楚了。

柯丽一鸣 Kay Ke:然后别的公司我觉得也有很多很有意思的事情啊,比如说之前看他们的发布。

柯丽一鸣 Kay Ke:就感觉他们的这种空间的理解和空间的认知,而且他们也不是一个单独的 Roblox 的模型,有有的是一个更多模态大模型的一个能力。

柯丽一鸣 Kay Ke:这种嗯这种感受就是哇,这个

柯丽一鸣 Kay Ke:就这种空间能力显然对 robotics 是非常重要,其实他们现在没有一个特别呃特别特别的一个 task 来来展现它,我也相信他们将来可能会有一些发展。

柯丽一鸣 Kay Ke:还有可能之前因为做强化学习,也会关注一些就非常具体的强化学习的项目啊。

柯丽一鸣 Kay Ke:嗯,比如说别人都在用强化学习做一些什么非常具体的问题,就不管是在这个制造业啊,还有组装啊,这些问题我觉得都是很有启发。

张小珺:你对2026年在机器人领域的预期是什么?有什么可以值得期待的?

柯丽一鸣 Kay Ke:预期吗?

柯丽一鸣 Kay Ke:我觉得肯定今年能有更多,就是令人比较惊叹的 demo 出来。

柯丽一鸣 Kay Ke:但是 demo 本身,就是看是一回事,就是了解背后的到底是什么进步是另外一回事。

柯丽一鸣 Kay Ke:我觉得今年肯定有。

柯丽一鸣 Kay Ke:就不管是就是人形来做操控性的任务,其实我觉得是挺成熟的一种,可可以开可以开始探索的一种应用了。

柯丽一鸣 Kay Ke:然后其次就是在模型方面,我觉得模型架构应该大家都会。

张小珺就是有一些大的变化吧。你觉得嗯机器人领域应该跟自动驾驶领域去对标,还是应该跟大模型领域去对标?

柯丽一鸣 Kay Ke:我觉得更像大模型。

柯丽一鸣 Kay Ke:就我其实觉得自动驾驶有比我们难有比我们简单的地方。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:比我们难的地方在于自动驾驶的 stick。

柯丽一鸣 Kay Ke:它的潜在危害因子是很大的,如果你做错了一个决策,你那可是人命啊,就是是很严肃的一个问题。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:所以它对于表现完满的这个要求。

柯丽一鸣 Kay Ke:是极度的高。

柯丽一鸣 Kay Ke:我觉得在我们这个领域,就我们日常生活的一些任务,或者说工厂任务的这种商业化道路上。

柯丽一鸣 Kay Ke:我们其实都不需要那么一个级别的完美,所以我觉得这个是自动驾驶比我们要难得多的一个部分。

柯丽一鸣 Kay Ke:他们是真的得有一个非常强有力的保证。

柯丽一鸣 Kay Ke:嗯,而相对的,我觉得他们比我们来说比较简单的部分。

柯丽一鸣 Kay Ke:你看自动驾驶的话,它这个控制系的问题其实是几乎没有的呀。

柯丽一鸣 Kay Ke:就是我在这个车子上面跑,可能现在还有,就跑一些雨雪天啊,这个路路道路泥泞啊,这种问题是一个控制系的一个

柯丽一鸣 Kay Ke:底层控制问题,他们更多的问题都是在决策方面,就是你下面要怎么开。

柯丽一鸣 Kay Ke:同时他们的决策的空间,我觉得相对而言

柯丽一鸣 Kay Ke:呃,复杂度要稍微小一些吧,不像,你看我们在这个操纵系的这个任务里面,经常谈到的就是我不仅要就是操纵这个多关节的一个比较复杂的机械臂去完成一个任务。

柯丽一鸣 Kay Ke:它要达到这个,我想让它达到一个地方,这个就是一个操作性的问题了,已经。

柯丽一鸣 Kay Ke:就你可能就是载重了以后,或者是摩擦力导致的,你可能不能完美的去呃贴合你想要它造的地方,所以这种操作性问题是比它难难一点。

柯丽一鸣 Kay Ke:同时它在决策方面的话,呃,你要叠这个衣服,你这种手腕的转,你到底怎么转,到底想怎么转,

柯丽一鸣 Kay Ke:它有很多这种复杂的。

柯丽一鸣 Kay Ke:特别不一样的一些动作在里面,你都得能够搞定。

柯丽一鸣 Kay Ke:所以我觉得这是它的难点和不难的点。

柯丽一鸣 Kay Ke:而跟大模型相比呢,我觉得大模型是,它和我们异曲同工之妙就是大模型它可以瞎说。

柯丽一鸣 Kay Ke:嗯,他稍微犯犯错,大家都很习惯了嘛,你就是会胡说八道,对吧?

柯丽一鸣 Kay Ke:我们不会全信你的。

柯丽一鸣 Kay Ke:所以他的这个完满,我觉得是,不需要做的像自动驾驶那么的严苛。

柯丽一鸣 Kay Ke:同时呢,在这个呃探索方面,我觉得他们,就是你看,把他们当成一个智能体,他们的这个动作空间是输出每个字符,也可以是说输出一种策略。

柯丽一鸣 Kay Ke:就他们的动作空空间也是一个高度抽象化的,就所以需要很多多样性的一个动作空间。

柯丽一鸣 Kay Ke:所以我觉得对于我们现在的机器人来说,我们是在两者之间的。

柯丽一鸣 Kay Ke:嗯,但同时

柯丽一鸣 Kay Ke:就可能目前的发展阶段和大模型更加贴合一些吧。

柯丽一鸣 Kay Ke:我觉得自动驾驶现在发展的挺好的呀,都已经跑上了嘛。

柯丽一鸣 Kay Ke:所以他们更多的就是在如何,就是就是。

柯丽一鸣 Kay Ke:就是体会完美,并且降低成本。

柯丽一鸣 Kay Ke:就其实在高度就是这种策略规划上面的问题,就是从 A 点到 B 点,好像也不需要太多的说什么,C 点到 D 点就不行了这种。

柯丽一鸣 Kay Ke:机器人和自动驾驶谁是谁的子集啊?

柯丽一鸣 Kay Ke:嗯,在我看来一直是一个比较平行化的问题,因为它是有两个问题的特性。

柯丽一鸣 Kay Ke:嗯,就是以往的这种路径规划和控制的话。

柯丽一鸣 Kay Ke:可能更贴合现在有某些自动驾驶公司的一个路径吧,可以看作是它的一个应用。

柯丽一鸣 Kay Ke:但现在因为我们已经不再用这种范式了,转到另外一种新的范式的探索,我觉得就有一点平行空间的感觉。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:对,但是互相之间是能学习的,因为也有人在用机器学习做自动驾驶,我们也会从他的这个他的这个部署的这个体验中得到一些灵感吧。

柯丽一鸣 Kay Ke:就比如说他们如果跑了这么多台车,然后拿到了这么一个数字。

柯丽一鸣 Kay Ke:那他们想要再提升安全性,他们是怎么做的?

柯丽一鸣 Kay Ke:那他们的一些基础架构,包括自动驾驶界,其实对于模拟器用的应该是很多的,而我们机器人,尤其是操纵器,还没有这么一个。

柯丽一鸣 Kay Ke:可以跟它对等的模拟器的出现,这个是不是有一些启示意义?

柯丽一鸣 Kay Ke:自动驾驶的模拟器是谁在做?

柯丽一鸣 Kay Ke:我觉得首先几家公司,头部公司应该都有自己的。

柯丽一鸣 Kay Ke:都有自己的模拟器。

柯丽一鸣 Kay Ke:同时也有那么一两家就是公开的,专门做这个的。

张小珺:公司,你可以就付费使用。而且自动驾驶的数据量好大。是的,所有机器人公司都在争夺的一个北极星指标是谁能够做出第一个出货的,进入家庭的机器人。

柯丽一鸣 Kay Ke:这是一个隐形的,大家在争夺的方向,对吗?

柯丽一鸣 Kay Ke:我觉得是一个隐形的方向,因为家中的问题非常的多和复杂。

柯丽一鸣 Kay Ke:所以如果你不,你你觉得你 lost 了你的方向,你就想一想我们现在机器人还能不能做家装这个问题。

柯丽一鸣 Kay Ke:应该有很多问题都是做不到的,你怎么把它做到,就是一种。

柯丽一鸣 Kay Ke:很自然而然的一种想的,研究的一种方法。

柯丽一鸣 Kay Ke:家中的问题呢,它有好几个难的维度吧,我觉得第一个是它的环境的复杂性。

柯丽一鸣 Kay Ke:嗯,就是确实是没有两个人的家和卧室是完全一样的。

柯丽一鸣 Kay Ke:你必须要泛化性过了一个很强的泛化性的保障,才有可能就是到了一个新的卧室也能够。

柯丽一鸣 Kay Ke:比如说我们之前做过一个叠被子,就我们承认我们叠被子不是百分百,不是说你到

柯丽一鸣 Kay Ke:一个新的家都能够叠,就就是因为这个,每一个新的环境的复杂度在那。

柯丽一鸣 Kay Ke:同时呢,就是家中的任务的动作复杂性很高,因为人在家中其实承担的这个家务啊,他的各种各样边边角角的东西啊,我觉得

柯丽一鸣 Kay Ke:就是我列一箩筐可能都列不完,就咱们在这坐个,谈个两个小时,可能都都都没给它彻底,给它写清楚。

柯丽一鸣 Kay Ke:嗯,我们就是这些动作,加上这个环境,就已经是给它从这个机器人表现方面提了很高的要求了。

柯丽一鸣 Kay Ke:同时呢,嗯,它还需要就是家用机器人如果做一个产品商用化来存在的话,它对于硬件的稳定性和人交互的安全性也是有很高的要求。

柯丽一鸣 Kay Ke:嗯,就是硬件的话。

柯丽一鸣 Kay Ke:我不知道现在有哪家公司的硬件是能够在一个人家里跑个一个月,而且不光是就站那站一个月开机,而且是做了各种各样任务。

柯丽一鸣 Kay Ke:一个月,然后可能有一些,比如说我平时走路有时候还会给桌子腿绊一下呢,就这些损伤,他该怎么样去承担,去稳定?

柯丽一鸣 Kay Ke:然后并且就是如果你在一个人的环境中和人互动的话,也有很多危险。

柯丽一鸣 Kay Ke:或者说你这个,就是这个可能就是我看特斯拉 Optimus 擎天柱,我看的最害怕就是。

柯丽一鸣 Kay Ke:他要是在我家里摔了,就我该花多少钱修我家地板呢?

柯丽一鸣 Kay Ke:或者他摔在我身上,我岂不是就是那个什么了?

柯丽一鸣 Kay Ke:我我我好害怕呀!

柯丽一鸣 Kay Ke:所以我看到这样的话,我就会觉得其实我们距离

柯丽一鸣 Kay Ke:一个优秀的 form factor 一个真正的巨神可以在人身边工作巨神还是有一点距离。

柯丽一鸣 Kay Ke:嗯,那是不是长小点比较好?

柯丽一鸣 Kay Ke:我觉得小就是比如说像吕树的这种,季万的这个,就小孩一样的身高。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:啊,确实就是给我一种他没有那么大的威胁性。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:然后可能他也轻一点就轻。

柯丽一鸣 Kay Ke:就是整个机子轻了以后,它能做的事情,它的耗电量还包括安全性,我觉得都是瞬间就有很大提升。

柯丽一鸣 Kay Ke:但是

柯丽一鸣 Kay Ke:就是小的话,其实他们也会有一些其他的问题吧。

柯丽一鸣 Kay Ke:比如说它这个人形的一个很大的说法就是说你人可以做的事情,其实小了以后,你有些人做事情你都做不了了,那你还怎么用这些人的数据,也是另外一个话题了。

张小珺:你看今年的春晚,宇树非常的火,中国的机器人非常火。你在大洋彼岸怎么看中国的机器人的发展?你觉得它跟美国的趋势相同和不同是什么?嗯,觉得在一两年前想看到这种级别的 demo 就只是想想而已,能看到它真的把它做出来还是非常激动的。

画面说明

柯丽一鸣用手势辅助说明机器人、多模态模型空间理解

12. 中国机器人产业(03:15:28-03:24:02)

场景 12

本节主旨中国机器人产业

完整内容

柯丽一鸣 Kay Ke:我觉得它能够做出来,就是有算法提升,也有硬件实力在里头。

柯丽一鸣 Kay Ke:我觉得这种硬件实力可能是现阶段看中美的产业对比的话,最直观的感到中国在这上面是有

柯丽一鸣 Kay Ke:领导力、统治力的。

柯丽一鸣 Kay Ke:嗯,就是很难想象有一家机器人公司,它组装好一台机器人,然后这里面没有一个零件是中国的,我觉得是不太可能,真的。

柯丽一鸣 Kay Ke:嗯,我觉得中国有产业链制造业的这个优势实在是太大,而且到现在

柯丽一鸣 Kay Ke:我都不知道美国人要是追的话该怎么追。

柯丽一鸣 Kay Ke:嗯,同时呢,就是因为这个硬件迭代,就可能他拿着现有的算法,距离商业落地端已经有。

柯丽一鸣 Kay Ke:就也是有一些优势的。

柯丽一鸣 Kay Ke:还有什么不同吗?

柯丽一鸣 Kay Ke:或者相同?

柯丽一鸣 Kay Ke:我觉得像派这样公司还是比较独特的,我都不好说它是一个中美的不同,还是怎么,就是它是一个呃很偏向研究。

柯丽一鸣 Kay Ke:的一家公司,就是暂时情况下,我们应该是完全不考虑商业化,因为觉得那可能是一个 destruction 分心。

柯丽一鸣 Kay Ke:这个其实也是有一些历史原因吧,我不知道。

柯丽一鸣 Kay Ke:历史原因是什么?

柯丽一鸣 Kay Ke:嗯,就是 Peter Thiel,他不是 Circa ① line 的导师嘛。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke: Peter Thiel 他是有过两次创业经历的,一次他非常成功的做了一个给学生作业打分的一个。

柯丽一鸣 Kay Ke:现在基本美国大学都在用,我上大学也用这套系统。

柯丽一鸣 Kay Ke:哦。

柯丽一鸣 Kay Ke:然后同时呢,他还创立了一家机器人创业公司叫 Coherent 他在2015年还是16年就创立了这么一个公司,说要做机器人的。

柯丽一鸣 Kay Ke:通用的机器学习的一套方案。

柯丽一鸣 Kay Ke:而他们公司在发展过程中,嗯,可能在某个时间点开始就比较深耕这个物流啊、仓储啊、机器人。

柯丽一鸣 Kay Ke:从大模型开发的角度上来看,从回头来看,会觉得这其实是对他们开发大模型的一个分心。

柯丽一鸣 Kay Ke:就因为这个投入,虽然肯定是做出了很多成果,但是在大模型这边就觉得

柯丽一鸣 Kay Ke:因为过早的去商业化而失去了,就是这种通用泛化性,反而把精力放在了很多这种商业化的相关事情上,没有真的去追溯本源的问题。

柯丽一鸣 Kay Ke:所以派,我觉得是有受到这段经历的影响,就是比较地强调说我们不要太想这种商业化的事情,不要,就是为了

柯丽一鸣 Kay Ke:就是挣钱,或者说去把这个商业闭环打通,去做很多可以,可能说对研究没有帮助的事情。

柯丽一鸣 Kay Ke:大家还是很纯粹的说,我们要做一个研究,把它表现做的最好。

柯丽一鸣 Kay Ke:商业化的事情可以后面再想。

柯丽一鸣 Kay Ke:我觉得这个和我听说的一些中国公司的逻辑是不太一样的,就是中国公司可能从这个商业逻辑上来说,更强调实用主义和商业的这个回本吧。

张小珺但即使在美国对派单的公司

张小珺在硬件上投入不够,或者在硬件上没有优势的话,长期来看会不会成为一个问题啊?嗯,我觉得这看你是怎么理解硬件的投入和表现的吧。

柯丽一鸣 Kay Ke:我觉得

柯丽一鸣 Kay Ke:我们没有无限的钱,所以我们在每个方面都投入不够。

柯丽一鸣 Kay Ke:你知道那个 OpenAI 它现在融了多少钱吗?

柯丽一鸣 Kay Ke:我们每天看这个钱就觉得好眼红哦,我们也想有这么多的投入,我们有这么多投入以后,我们软件变得更好,算法变得更好,算力变得更好,数据变得更好,哪都好。

柯丽一鸣 Kay Ke:所以不够是没有止境的。

柯丽一鸣 Kay Ke:我觉得都可以投更多。

柯丽一鸣 Kay Ke:相对而言的话,可能就是现在的产业优势在硬件方面是在中国,它有很强大的供应链。

柯丽一鸣 Kay Ke:你可以定制一个机器人,它有很多的电机的选择呀,机器人的形态选择啊,都是有。

柯丽一鸣 Kay Ke:比较成熟的一个方案的。

柯丽一鸣 Kay Ke:所以这个是它的优势。

柯丽一鸣 Kay Ke:我觉得大家其实也都有在看,就怎么样弄一个最适合自己的机器人的硬件吧,我觉得这其实大家都在做。

柯丽一鸣 Kay Ke:只是

柯丽一鸣 Kay Ke:因为缺少了产业链制造业的这一环,可能

柯丽一鸣 Kay Ke:在做的过程中,它的迭代速度会变慢啊。

柯丽一鸣 Kay Ke:或者有些事情可能如果你做得更快,有更多就是可供你取舍的机器也会不一样。

柯丽一鸣 Kay Ke:我觉得这个确实是对迭代的研究的迭代速度肯定是会产生影响。

柯丽一鸣 Kay Ke:但同时另外一方面,硬件毕竟不是一个解决的问题,就它是一个相对而言可能没有软件那么严重的问题,因为现在你搭一个硬件是可以搭起来的,你想让它做一件有意义的事很难,所以这是软件的最大的问题。

柯丽一鸣 Kay Ke:而硬件的话属于你搭起来是可以搭起来,动也可以动。

柯丽一鸣 Kay Ke:但是不是说你已经把硬件做完了呀,就还是有发展的空间。

柯丽一鸣 Kay Ke:我觉得这个其实创新永远是未知数,你不知道有没有可能他做出了一个

柯丽一鸣 Kay Ke:就是很简单的一种硬件,它非常适合现在的算法。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:没人说得清。

张小珺你觉得硬件的劣势更好抹平,还是软件的劣势更好抹平?

柯丽一鸣 Kay Ke:过去几年的发展来看,都好抹平。

张小珺:大家永远都是在卷。嗯,对中国团队来说,它其实 follow派就好了呀,因为你们很多论文都是公开的。是的,我觉得我们有很多论文是公开的。Google 不一定是公开的,对吧?

柯丽一鸣 Kay Ke:就算公开了,你想追上 Google 你还得先训一个像 Gemini 这样尺寸的大模型出来,这已经是一个 bar 了。

柯丽一鸣 Kay Ke:我觉得同样的逻辑也适用于像 Palantir 这样的公司。

柯丽一鸣 Kay Ke:随着公司不断的积累,他最后就算告诉他怎么做的,你不一定有那么多东西可以查,可以去。

柯丽一鸣 Kay Ke:呃,

柯丽一鸣 Kay Ke:呃,就是可以去给它 match 上。

柯丽一鸣 Kay Ke:但是竞争永远都是存在的,我相信肯定就还是有人能够给它 match 上。

柯丽一鸣 Kay Ke:然后,嗯,

柯丽一鸣 Kay Ke:硬件方面的话,我觉得其实你看美国现在的产业链,你会觉得这个硬件哎,简直就是不知道该怎么说了,你只能寄希望于创新了。

柯丽一鸣 Kay Ke:你们公司其他人会很关注中国机器人的发展吗?

柯丽一鸣 Kay Ke:我觉得都很关注,这是一个不可忽视的一个部分。

柯丽一鸣 Kay Ke:再比如说你们最近会讨论关于中国的什么话题呢?

柯丽一鸣 Kay Ke:比如说宇树春晚那个表演,我们就在这个公司的群里面发了呀,大家就会讨论啊,说这个东西可能是怎么做的呀,甚至最近的读书会,我还想说要不要请一些这方面的专家的朋友来给我们讲一讲,因为我们

柯丽一鸣 Kay Ke:不怎么做人形,也不怎么做这个 local motion 问题也可以请他来教一教我们这个东西里面发展是怎么样的。

柯丽一鸣 Kay Ke:我觉得这些都是都是大家会不停的去看到更新更好的东西。

柯丽一鸣 Kay Ke:然后去学习,看看有没有启发,可不可以用到我们现在做的事情上面。

柯丽一鸣 Kay Ke:不管是派还是其他公司,应该都是一样的。

柯丽一鸣 Kay Ke:他们是怎么做的?

柯丽一鸣 Kay Ke:你们从外部视角看。

柯丽一鸣 Kay Ke:他们是怎么做的吗?

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:这个确实最近有几篇新的论文出来,可能可以解释他们的一些做法。

柯丽一鸣 Kay Ke:嗯,我不知道你知不知道,嗯,石冠亚是一个 CMU 的教授。

柯丽一鸣 Kay Ke:他之前在华大读博士后的时候和他成为了朋友,从他身上学到了很多 local motion 的一些东西。

柯丽一鸣 Kay Ke:他们组最近发了这个 OmniTarget 我们可以从早期发展稍微梳理一下,大概是在1819年那会我稍微关注过一下他们是怎么做的。

柯丽一鸣 Kay Ke:很多时候呢是希望他走路,然后走路可能有一个步态,所以你就是把它分成可以可以简单粗暴地分为一个 high level 高层的告诉你我大概想要你变成这个样子,和 low level 去执行我怎么样变成这个样子。

柯丽一鸣 Kay Ke:步态的话可以是一个走路,可以是一个后空翻,可以是一个跳舞。

柯丽一鸣 Kay Ke:而执行端的话,它呃以前可能就是不停的去控制,现在的话可能可以配合强化学习

柯丽一鸣 Kay Ke:来达到你想要的这个步态。

柯丽一鸣 Kay Ke:嗯。

张小珺强化学习很重要。强化学习在 local motion 界确实取得了相当大的成功。嗯,你觉得美国对于硬件的投入够吗?重视度够吗?

柯丽一鸣 Kay Ke:嗯,我觉得很多在美国的从业人员应该都会同意说我们的硬件还有很大改进空间。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:那特斯拉是怎么做到的呢?

柯丽一鸣 Kay Ke:特斯拉,首先它很神秘啊,我们其实并不清楚它的硬件里面的技术细节。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:它不会和我们说这些事情。

柯丽一鸣 Kay Ke:你说的是机器人是吧?

柯丽一鸣 Kay Ke:对。

柯丽一鸣 Kay Ke:它车,它还有车呀,就是它在美国硬件做得很好。

柯丽一鸣 Kay Ke:对,是有一个笑话,我不知道是不是真的,只是一个笑话,说特斯拉最牛逼的工厂是在上海开的,产量就是高。

柯丽一鸣 Kay Ke:相对而言,确实它是已经有一部分制造业的吧。

柯丽一鸣 Kay Ke:我觉得这个和这和美国教育体系也是有关系的呀,你看它的教育里面的专业和就业途径。

柯丽一鸣 Kay Ke:他这个产业的以往的缺失,也导致了他这个专业就不会火,没有那么多人学,那就缺失了一批人才,那他怎么样去弥补这个事情是很难的,不是一两年就可以投入回去的。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:我觉得他现在可能更多的是指望说很多移民是有这些类似的技能,他毕竟是一个

柯丽一鸣 Kay Ke:移民国家,可不可以通过就是

柯丽一鸣 Kay Ke:引进这些缺失的人才,补上一些产业链。

柯丽一鸣 Kay Ke:但美国这地方就是修个地铁站都得修个这么多年,它究竟能做成什么事情,我们也不好判断。

张小珺你觉得人工智能最后会拥有意识吗?

柯丽一鸣 Kay Ke:机器人会拥有意识吗?

柯丽一鸣 Kay Ke:好抽象的一个命题啊。

柯丽一鸣 Kay Ke:你知道每次当我看到什么,有一个机器人,它的意识觉醒了,它要毁灭人类,我都想说。

画面说明

张小珺柯丽一鸣隔桌对谈,画面展示完整演播室环境。

13. 机器人能否成为一个种族(03:24:04-03:30:25)

场景 13

本节主旨机器人能否成为一个种族

完整内容

柯丽一鸣 Kay Ke:这里真的很希望有人给我解释一下意识是怎么诞生的,因为我们只是一些就是生物学小白,但是会去听一些这种科普啊,就很想非常想搞明白怎么样就从一些

柯丽一鸣 Kay Ke:这个物理啊、化学啊,这堆东西里面,突然就诞生了意识这么一个,我都不知道它是怎么代表出来的一个东西。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:我觉得如果我们认为机器人产生的意识是像

柯丽一鸣 Kay Ke:人类这样的意识的话,我其实是有点悲观的。

柯丽一鸣 Kay Ke:我想说,就是这这真的有可能吗?

柯丽一鸣 Kay Ke:但是如果你把意识定义得很宽泛,就比如说我现在跟 AI 聊聊天。

柯丽一鸣 Kay Ke:哎,他给我的感觉是他像个人,他就够了的话,那你也不能说他没有意识。

柯丽一鸣 Kay Ke:嗯,但是也许在将来,就大家可能更期待是一种

柯丽一鸣 Kay Ke:我也不知道它太智能了嘛,所以它显得像有意识,就真的真的是对我来说讲不清的一个话题。

柯丽一鸣 Kay Ke:但是是科幻小说非常好的一个素材。

柯丽一鸣 Kay Ke:机器人种族会是什么样的呀?

柯丽一鸣 Kay Ke:嗯,我觉得机器人种族可有意思了。

柯丽一鸣 Kay Ke:我其实一直很想做的就是机器人可以造自己。

柯丽一鸣 Kay Ke:我觉得这个是机器人发展的一个可能会是一个里程碑吧,因为它就像一个种族是有延续性的。

柯丽一鸣 Kay Ke:是可以通过自我的一种繁殖。

柯丽一鸣 Kay Ke:我觉得机器人能够组装造自己就是一种繁殖的体现,所以这也是我非常想做的一个课题。

柯丽一鸣 Kay Ke:嗯,也是我当时去找教主的时候,我就说我是非常想做这件事情的。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:嗯,机器人的种族我觉得第一,我我非常喜欢就是机器人哪里坏了就可以修。

柯丽一鸣 Kay Ke:你看我之前这个呃攀岩摔了以后,就是因为这个某一个部位受伤,就得在家待着很久,而机器人就可以。

柯丽一鸣 Kay Ke:换掉呗,换掉,然后可以拆,然后可以改变形态。

柯丽一鸣 Kay Ke:我觉得这是一种非常自由自在的一种存在方式。

柯丽一鸣 Kay Ke:然后机器人。

柯丽一鸣 Kay Ke:想咋样就咋样。

柯丽一鸣 Kay Ke:对,想咋样就咋样,甚至你可以就是像特修斯的船那个希腊故事一样。

柯丽一鸣 Kay Ke:我把这个机器人从头到脚都换成了另外一个零件,甚至模型也可以换。

柯丽一鸣 Kay Ke:还是原来那个机器人吗?

柯丽一鸣 Kay Ke:其实在我们公司的发展过程中,就是有这种,啊,本来是有编号的,就是这是一个机器人,它的编号是这个。

柯丽一鸣 Kay Ke:然后通过不断地修和改,它已经完全不是原来那个它了。

柯丽一鸣 Kay Ke:它好像跟那个原来它的唯一联系就是它们编号是一样的,但是这里头全都换掉了。

柯丽一鸣 Kay Ke:我们就说,我要不要给它起一个新的名字呀?

柯丽一鸣 Kay Ke:不然好好复杂,还经常要说这个机器人在某个时间点前是这么个东西,后面是这么个东西。

柯丽一鸣 Kay Ke:嗯,机器人种族我觉得也许是会成为机器人种

柯丽一鸣 Kay Ke:族的一个伦理的。

柯丽一鸣 Kay Ke:就是之前什么,我的上一辈做的这个事情跟我没有关系,因为我们已经从头到脚都没有一个零件是一样的机器人了。

柯丽一鸣 Kay Ke:然后这个伦理审查委员会就来看这个机器人是不是真的从头到脚里面每一个零件。

柯丽一鸣 Kay Ke:都是换新的的。

张小珺:嗯。你觉得机器人种族是人族的延续吗?机器人会是人类做最后一件事情吗?最后一件事情?

柯丽一鸣 Kay Ke:我确实希希望我们做的很多事情是可以提升生产力使得

柯丽一鸣 Kay Ke:你可以做了很多原来需要人做的事情,然后你一个人就可以做。

柯丽一鸣 Kay Ke:但是我相信人类的创造力是无穷的。

柯丽一鸣 Kay Ke:我不觉得我们活着是为了提升生产力我觉得我们活着更多的是

柯丽一鸣 Kay Ke:爱与死吧,是文学作品中永恒的话题。

柯丽一鸣 Kay Ke:我觉得即使是在一个生产力高度发达的年代,应该也有人想要做一些不一样的东西,想去探索。

柯丽一鸣 Kay Ke:一个还没有做出来东西该怎么做,所以我不觉得机器人会是最后一个造物。

柯丽一鸣 Kay Ke:但是延续,我确实觉得一个比较浪漫的想法是,虽然我们的生命是很短暂的,只有100年,放在

柯丽一鸣 Kay Ke:就人类历史放在宇宙历史上就是微小到不值得一提。

柯丽一鸣 Kay Ke:但是是不是有可能造出一个东西,它可以看到宇宙的尽头?

柯丽一鸣 Kay Ke:看到宇宙的尽头。

柯丽一鸣 Kay Ke:嗯,嗯,我不知道这个时间跨度是多大。

柯丽一鸣 Kay Ke:但是可能我们活不到那个时候了。

张小珺Machine learning 这种方法,机器学习这种方法来训练机器人。因为你也说到它跟上一代人非常的不一样,它是一个黑盒。你觉得在这种训练机器人价值观背后,让你对

柯丽一鸣 Kay Ke:与人和机器人有什么新的感悟没有?

柯丽一鸣 Kay Ke:嗯,它是黑盒,但是它因为是从一个数据出来的东西。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:它是。

柯丽一鸣 Kay Ke:有限制的,它是 bounded by the objective that you define 它是一个很数学化的一个东西。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:所以它虽然是一个。

柯丽一鸣 Kay Ke:它是预期的。

柯丽一鸣 Kay Ke:对,它是一个过程无法理解的黑盒,但是。

柯丽一鸣 Kay Ke:它是在数学角度上可以解释的一个东西。

柯丽一鸣 Kay Ke:嗯,我觉得在训练机器人的过程中。

柯丽一鸣 Kay Ke:有什么感悟的话,可能一方面

柯丽一鸣 Kay Ke:就是一方面会觉得

柯丽一鸣 Kay Ke:确实就是能够发挥我这个特别想偷懒的天性吧。

柯丽一鸣 Kay Ke:如果一件事情可以让机器人来带我做,我会想方设法让这个机器人来帮我做。

柯丽一鸣 Kay Ke:嗯,这不就挺好的,就是你有个智能体,它也许还没有到完全体。

柯丽一鸣 Kay Ke:它已经可以做一些事情,我就想办法是要把这个事情给利用起来,来提升我的生产力,可以让我少干点活。

柯丽一鸣 Kay Ke:我觉得这个是我对于人类文明的偷懒。

柯丽一鸣 Kay Ke:我我我甚至可以暴论一下,是不是偷懒就是人类文明一个本质的追求,就提升生产力和偷懒是一个东西。

柯丽一鸣 Kay Ke:然后其他的话,我觉得在很多时候,在我现在的工作中是没有什么人文的存在。

柯丽一鸣 Kay Ke:或者说因为我每天讲的是一些非常物理化的、科幻化的一个东西。

柯丽一鸣 Kay Ke:我也会感觉,就是我会和一些其他搞人文的,就小说创作啊、艺术创作一些朋友聊天,他们也会很好奇,问问这个机器人的这个进展。

柯丽一鸣 Kay Ke:我也会很自己,作为一个用户的好奇吧,是不是有一天我们创造出了这些智能体啊,它也能够进行某种意义上来说超越它的,就是离开了它的创作者,就是我们。

柯丽一鸣 Kay Ke:的一些创作

张小珺:那天会发生什么

柯丽一鸣 Kay Ke:我不知道,也许他会搞一个二维码,然后他们每个人都觉得二,每个机器人都觉得这个二维码美极了。

柯丽一鸣 Kay Ke:然后你在这里看了以后,就有一种不明所以的感觉。

张小珺当机器人有一天实现了,你准备去干嘛?

柯丽一鸣 Kay Ke:写小说吧。

柯丽一鸣 Kay Ke:回家写小说,做一个游戏,创造一个非常能贴合我的喜好的一个故事,把它分享给别人,看看有没有其他人喜欢这个东西。

画面说明

柯丽一鸣近景讨论机器人自我组装、复制和生产力扩张。

14. 没有写完的故事(03:30:26-03:46:04)

场景 14

本节主旨没有写完的故事

完整内容

柯丽一鸣 Kay Ke:诺贝尔文学奖看看,冲击一下啊。

柯丽一鸣 Kay Ke:你现在脑子里有这样的一个故事吗?

柯丽一鸣 Kay Ke:嗯,我觉得构思小说确实是一直没有停止过的,写不写出来是另外一回事,哎,拖更是经常有的,但是

柯丽一鸣 Kay Ke:就构思一些故事,不管是和我们现在生活非常贴切,还是说非常天马行空的想象,真的机器人解决以后的社会形态是一直都有存在的。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:就包括就是生产力极大的爆炸以后。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:一个人就假设在现在这个年代就有生产力极大爆炸的话。

柯丽一鸣 Kay Ke:哎。

柯丽一鸣 Kay Ke:那确实就可能就家里就终于不用被前来看望的爸妈吐槽说你家里怎么这么乱这么脏,就可以就不想干的事情都可以丢给别人干,丢给别的机器人去干。

柯丽一鸣 Kay Ke:然后也可能会,就是比如说现在在艺术创作中,比如说朋友会去做一些小手工艺品。

柯丽一鸣 Kay Ke:就我觉得可能就更多的是你有这个概念,然后你可以把这些执行端的事情全部。

柯丽一鸣 Kay Ke:交给机器人来完成。

柯丽一鸣 Kay Ke:我觉得这些也是一个方向。

柯丽一鸣 Kay Ke:然后可能更远一些的生产力爆炸。

柯丽一鸣 Kay Ke:哎,可能有个资源以后,自己可以造一个城堡。

柯丽一鸣 Kay Ke:就打呢,到哪个乡村去隐居。

柯丽一鸣 Kay Ke:你看网上有一些古堡拍卖啊,才几万美金。

柯丽一鸣 Kay Ke:这个就可以买一个什么200年没有修过的古堡。

柯丽一鸣 Kay Ke:你现在没有人买是因为太太麻烦了,要修,要找很多专业。

柯丽一鸣 Kay Ke:我觉得就有一个很有意思的特点,可能是现代社会里面很多工种是一个特殊的工种,你花了很多你作为人的这个时间去锻炼一个技能。

柯丽一鸣 Kay Ke:然后你有很多的知识,但机器人或者人工智能,它作为一个大模型或者通用的一个东西啊,它是可以随时的切换。

柯丽一鸣 Kay Ke:比如说将来可能修房子就真的就是有两个修房子机器人,它们什么都能做,让它们可以互相配合。

柯丽一鸣 Kay Ke:就把现在需要找不同工种能完成的这个事情给干掉了。

柯丽一鸣 Kay Ke:可能我们现在做研究也是有一点类似的吧,你以前可能做研究要找一个专门的这个 a 人负责这个东西,他可能有些

柯丽一鸣 Kay Ke:洞察力,但是你现在就问同一个模型,它可以达到。

柯丽一鸣 Kay Ke:所以我觉得将来就是如果每个人都有可支配的一些,就是这种通用生产力,而且每一个

柯丽一鸣 Kay Ke:具体的任务,他又都是专家级别的话,那就是真的能够到达生产力爆炸,能够做很多现在想都不敢想的一些事情,可以创造更好的游戏和小说喽。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:你喜欢的小说的世界观是什么样的呀?

柯丽一鸣 Kay Ke:有两类吧。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:第一类是在一个完全不同的科幻环境下探索的一些人与人之间的关系。

柯丽一鸣 Kay Ke:第二类是一个拿着一个魔幻的题材,但是把它放到了我们现代的生活之中。

柯丽一鸣 Kay Ke:呃,举个例子的话,可能第一类之前看过一个

柯丽一鸣 Kay Ke:修真小说,但是是在宇宙里搞科技发展。

柯丽一鸣 Kay Ke:嗯,就很抽象,这个这个命题,这讲出来我都觉得好像很乱七八糟的样子,但它其实探索的其实是一个

柯丽一鸣 Kay Ke:嗯,就是女主角作为这个穿越者来到了这么一个未来的世界,感受到这未来世界的这个社会制度以后,她想要改变这个制度,她做的很多事情。

柯丽一鸣 Kay Ke:我觉得这个是和我们非常遥远,但是在未来也许有一天某一个人就会有这样的一种 struggle 一种困境,一种英雄的旅程。

柯丽一鸣 Kay Ke:什么样的社会制度?

柯丽一鸣 Kay Ke:把它改写成什么样的社会制度?

柯丽一鸣 Kay Ke:嗯,在他那个社会制度里,它有很多性别对立的元素存在。

柯丽一鸣 Kay Ke:嗯,就是男性和女性的分工完全不一样。

柯丽一鸣 Kay Ke:女性的分工呢,是因为她们所拥有的一些,就天生就有一个,就自己的一个宇宙空间。

柯丽一鸣 Kay Ke:所以她们被塑造成了一种类似,看起来似乎是女尊的一种世界里。

柯丽一鸣 Kay Ke:但实际上女主不觉得这是一个好的世界,毕竟她也是从我们这个世界出去,她可能天生就就不认同这种世界观。

柯丽一鸣 Kay Ke:但在那个已经成型的社会观里面,每个人生来要做什么事情。

柯丽一鸣 Kay Ke:都是从小到大的细节、教育、观点、社会塑造非常强烈的。

柯丽一鸣 Kay Ke:他想要反抗这样的社会塑造,他想要创造一个大家就可以自由选择的一种东西。

柯丽一鸣 Kay Ke:他在这里如何就是召集盟友,就是让大家愿意追随他,和他一起做这个事业,是一个很有意思的旅程。

柯丽一鸣 Kay Ke:嗯,然后嗯

柯丽一鸣 Kay Ke:另外一些的话,就是这种类似的这种科幻小说,我看的还挺多的,就是非常喜欢这种,然后

柯丽一鸣 Kay Ke:另外一类的话,我觉得就是魔幻主义吧。

柯丽一鸣 Kay Ke:比如说看这个现代社会打工人怎么又兼职武林盟主,就是有一种就是两种完全不同的世界观的碰撞,一方面

柯丽一鸣 Kay Ke:是一个你生活息息相关的,好的地方你都能理解,痛的地方你也能感受到。

柯丽一鸣 Kay Ke:另外一方面是一个你可能小时候非常喜欢的那种,跟我们八竿打不着的一种。

柯丽一鸣 Kay Ke:完全不同的世界,但是在一部作品里面把两部世界融合在一起,让你感受到他们之间的一些共通性,还是挺有意思的。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:比如说我之前因为经常打游戏打网游然后网游里面可能是需要组队的就担任了一份一段时间的这个队长去负责这个组队啊、沟通啊、还有处理一些鸡毛蒜皮的事情或者说团队的时候

柯丽一鸣 Kay Ke:进度遇到了问题,你需要去安抚啊,或者说给大家打鸡血啊,这其实跟现代公司的这些项目管理是有非常多异曲同工之妙的。

柯丽一鸣 Kay Ke:你是虚无主义的信仰者吗?

柯丽一鸣 Kay Ke:嗯,我觉得是。

柯丽一鸣 Kay Ke:怎么理解虚无主义?

柯丽一鸣 Kay Ke:我觉得我很难在看到一个具体的意义的陈述的时候认同它。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:人活着是为了什么?

柯丽一鸣 Kay Ke:我觉得是一个无解的命题。

柯丽一鸣 Kay Ke:所以当别人可能会试图说服我说某个东西很有意义的时候,我要是想要打破砂锅问到底,我就会能够得出一个结论,就是其实没有什么意义。

张小珺:所以这是我虚无主义的一个部分。那人活着的意义是什么呢?就,没有意义。我觉得不需要回答这个问题。嗯,那每天激励你过每一天的内心的那个动力是什么呀?

柯丽一鸣 Kay Ke:嗯,我觉得从某个意义上来说我是很幸福的,因为我在做自己最想做的事情。

张小珺所以你是没有预期,也没有目标?

柯丽一鸣 Kay Ke:我还挺喜欢乔布斯之前的讲话。

柯丽一鸣 Kay Ke:人生有可能是有很多点,当你在走过的时候,它们看上去毫不相关。

柯丽一鸣 Kay Ke:但也许有一天它们是可以连起来的线

柯丽一鸣 Kay Ke:我并不觉得我走的每一个点需要一个马上就能阐述的清楚的目标来驱动。

柯丽一鸣 Kay Ke:但是在某种意义上来说,现在我的人生的图景走到

柯丽一鸣 Kay Ke:今天已经能看出一些奇奇怪怪的点连成了一条线,形成了我这个人的历程。

柯丽一鸣 Kay Ke:你能对未来有某些点的预测吗?

柯丽一鸣 Kay Ke:点的预测。

柯丽一鸣 Kay Ke:嗯,就未来时空的一些可能性的预测。

柯丽一鸣 Kay Ke:我的这个人的点的预测。

柯丽一鸣 Kay Ke:哦,我就非常想做一些,就我比较

柯丽一鸣 Kay Ke:感兴趣的课题啊,并且希望把它们做成一个,就是五年前我想都不敢想的东西。

柯丽一鸣 Kay Ke:我觉得如果能做到这个,我会非常快快乐。

柯丽一鸣 Kay Ke:所以这是我在接下来5~10年的一个期望。

柯丽一鸣 Kay Ke:也有可能就是技术发展得非常快,我也想开始做一些更加落地的项目,因为觉得这个东西好玩。

柯丽一鸣 Kay Ke:我觉得

柯丽一鸣 Kay Ke:预期是无穷的,但是最后随着时间的推延,你会把这些东西收敛到一个更加确定的道路上。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:所以我很难现在给你一个,我以后要去做这个,我反而都是哦,如果做这个就会很好。

张小珺:这种思想是更多的。嗯。就在工作中,我们是非常确定的啊,夏博做这个。那我们进入最后的一些问题。嗯,好。嗯,我们会请每一位嘉宾推荐一。

张小珺一本人生之书,要真的对你的人生有过非常重要的影响,你会推荐哪一个?

柯丽一鸣 Kay Ke:嗯

柯丽一鸣 Kay Ke:觉得有非常多的书都影响到了我,但是现在可能偶尔会思考的这本是Distinct吧。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:社会的品味。

柯丽一鸣 Kay Ke:它是一个法国哲学家写的一本,关于这个社会的阶层和每个阶层的这个喜好。

柯丽一鸣 Kay Ke:就包括人生活中的衣食住行方方面面,他认为是有很多是经由现在的社会所塑造的。

柯丽一鸣 Kay Ke:我为什么推荐这本书是因为

柯丽一鸣 Kay Ke:嗯,我觉得就是通过看这本书,让我对于我所喜好的一些东西和我有多少喜欢是我自己喜欢,有多少喜欢是社会的塑造的喜欢。

柯丽一鸣 Kay Ke:产生了更多的认知。

柯丽一鸣 Kay Ke:而在现在这个社会,在硅谷,嗯,我觉得是充斥着一种对于生产力的崇拜的。

柯丽一鸣 Kay Ke:嗯,就是

柯丽一鸣 Kay Ke:也许我们没有这个书中所描写的那个社会的那种旧式贵族的啊打这个球呀,骑这个马呀,是一种更高贵的运动。

柯丽一鸣 Kay Ke:在那个年代,他们可能会追求一些我们现在不太认同的,就是价值观,什么是更好,什么是更,嗯,什么是没有那么好。

柯丽一鸣 Kay Ke:但我们现在其实我觉得也是有一种新的

柯丽一鸣 Kay Ke:价值观,甚至我觉得这个价值观也只是一个变化中的缩影。

柯丽一鸣 Kay Ke:我觉得这是我的人文主义的东西在告诉我,虽然我是在工作中这么热衷的去优化生产力,虽然整个硅谷

柯丽一鸣 Kay Ke:他已经放弃了什么对衣服啊,对穿着啊,对这些讲究。

柯丽一鸣 Kay Ke:他讲究的是什么效率,讲究的是这个精简,讲究的是创造。

柯丽一鸣 Kay Ke:他

柯丽一鸣 Kay Ke:何尝不是这个社会价值观的一个部分呢?

柯丽一鸣 Kay Ke:你小时候想离开家乡,想远离家乡,然后。

柯丽一鸣 Kay Ke:我觉得是非常好奇。

张小珺:外面的世界有什么?来到外面的世界,那在今天此刻,你在硅谷。因为今天的硅谷其实是同质化的,它是高度竞争的。高度竞争的是。

柯丽一鸣 Kay Ke:你有什么想反抗的吗?

柯丽一鸣 Kay Ke:我时常觉得,哦,这是一个很有意思的点。

柯丽一鸣 Kay Ke:小时候搞竞赛吧,会学到一些算法。

柯丽一鸣 Kay Ke:贪心算法和动态规划算法是两个常被放在一起比较的东西。

柯丽一鸣 Kay Ke:贪心算法呢,就是说我在每一个时间点上,我都要做最优化的。

柯丽一鸣 Kay Ke:一个决策,我要做当下的最好。

柯丽一鸣 Kay Ke:而动态规划算法呢就会告诉你,就是如果你有一些全局的视角,你就会发现每一步都做最好的决策,并不能让你达到全局的最优解。

柯丽一鸣 Kay Ke:我是非常的喜欢这个

柯丽一鸣 Kay Ke:逻辑的信息的。

柯丽一鸣 Kay Ke:所以很多时候我觉得就像塞翁失马焉知祸福吧。

柯丽一鸣 Kay Ke:一时的成功失败

柯丽一鸣 Kay Ke:还有优化还有没有做到极致,其实并不能代表着长期最后的结果。

柯丽一鸣 Kay Ke:毕竟我们没有一个人有着全能全知的视角,所以即使是在追求优化的道路上。

柯丽一鸣 Kay Ke:我有的时候觉得,就做了9分留1分是可以的。

柯丽一鸣 Kay Ke:而我自己的这种求学路程啊,各种各样的东西啊,可能也在很多人看来就是从来不把事情做到最后。

柯丽一鸣 Kay Ke:我觉得也许机器人会是我第一次觉得我们得把这个事情做到最后。

柯丽一鸣 Kay Ke:但之前的那么多没有做到最后的东西,才让我走上了今天这条路。

柯丽一鸣 Kay Ke:我觉得这个和硅谷这种很多

柯丽一鸣 Kay Ke:时候很多人都是从很早之前就走上了同一条路,一直在上面竞争,是有一些本质性的不太一样的。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:一个全球范围内你喜欢的食物。

张小珺:西红柿炒蛋。我们希望在这个人工智能快要来的时候,留下一些人类的日常生活的印记。一个全球范围内你喜欢的地点。

柯丽一鸣 Kay Ke:地点吗?

柯丽一鸣 Kay Ke:我

柯丽一鸣 Kay Ke:我非常喜欢爱丁堡,这是我在英国留学的短暂的半年里应该是最喜欢的城市了。

柯丽一鸣 Kay Ke:嗯,可能以前的我因为比较喜欢一个人待着呀,而且而且其实现在大都市很多时候是一样的。

柯丽一鸣 Kay Ke:就没有那么地感受到我走入了一个完全不同的物理空间。

柯丽一鸣 Kay Ke:我整个人的状态都会发生如此大的改变。

柯丽一鸣 Kay Ke:因为爱丁堡这个城市有非常多的古建筑,也保存得非常好,并且它也没有那么多,就是

柯丽一鸣 Kay Ke:大都市的那种喧嚣感吧,就它甚甚至有点像旅游城市,大家都是去看那个古堡的。

柯丽一鸣 Kay Ke:但是在那种城市有一种慢下来的感觉,有一种就是思考人

柯丽一鸣 Kay Ke:就是历史这么沉重的一个东西,放在你的眼前,然后你在这个转瞬的一瞬间,你想做一个非常大的一个动态的一个变化。

柯丽一鸣 Kay Ke:但是就在这些沉重历史面前,这个动态的变化究竟最后会去哪里?

柯丽一鸣 Kay Ke:你是不知道的,只是站在陈承志的,在,只是站在这个历史的遗迹,这个地方,能感到一种

柯丽一鸣 Kay Ke:就一种很安很安稳的感觉吧,所以是我非常喜欢的一个地点。

柯丽一鸣 Kay Ke:一个少有人知道,但是非常重要的知识点。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:我可以讲一些,就是

柯丽一鸣 Kay Ke:生理知识相关的吗?

柯丽一鸣 Kay Ke:啊,可以。

柯丽一鸣 Kay Ke:对,这个是我上大学的时候和朋友聊天才发现的,就是。

柯丽一鸣 Kay Ke:女性朋友们可能有一些误解,觉得嗯就是有一个叫处女膜这个东西,它会在就是第一次

柯丽一鸣 Kay Ke:的时候会破裂会流血,就变成了一个就是大家非常相信的一个真理了。

柯丽一鸣 Kay Ke:但其实在医学方面,它是有一个医学的名称。

柯丽一鸣 Kay Ke:叫做阴道瓣。

柯丽一鸣 Kay Ke:它并不是意味着你的这个第一次体验,也并不一定会流血。

柯丽一鸣 Kay Ke:这是一个我当时和朋友沟通,我们也是恶补了一下这些生理知识,才发现我们对于自己的身体构造

张小珺:有着这么多的缺失。在你看来影响机器人进程的论文。

柯丽一鸣 Kay Ke:好多论文啊,切 gpt 也极大的影响了机器人的进程呢。

柯丽一鸣 Kay Ke:嗯,真的有太多论文,我觉得很难,就是以一个吧,我觉得

柯丽一鸣 Kay Ke:从数发展上来看的话,最近影响很多,就包括这一代模型的奠基,比如说像 diffusion policy 啊,这种就扩散式的。

柯丽一鸣 Kay Ke:还有之前就是 Transformer ACT 这样子开始用这个 Transformer 架构做,还包括更早,我觉得有很多对模仿学习强化学习的本源性研究,都研究,都影响到了,就是现在大家在做什么。

柯丽一鸣 Kay Ke:嗯。

张小珺基于你当下的认知,一个关键的重要的 fact 是什么?

柯丽一鸣 Kay Ke:我觉得其实我们进入家中不一定是以产品的形式,是更多一些探索形式。

柯丽一鸣 Kay Ke:没有那么的远吧?

柯丽一鸣 Kay Ke:你是说机器人进入家中?

柯丽一鸣 Kay Ke:对,比我一开始想象的可能要近一些。

张小珺:我们工作室叫语言即世界工作室。当你第一次听到这个名字的时候,你在想什么?

柯丽一鸣 Kay Ke:语言即世界,我可能下意识的就是把它诠释成了语言就是全世界。

柯丽一鸣 Kay Ke:然后我就会有一些跳跃的想到,这不就是缸中之脑吗?

柯丽一鸣 Kay Ke:就是咱们其实生活在一个

柯丽一鸣 Kay Ke:由所有感官连接的一个东西,就是你你所有感官就掌控着你对这个所世界所有的认知。

柯丽一鸣 Kay Ke:完全也可以想象我们活在一个巨大的模拟器里嘛,你的眼睛、鼻子、耳朵都都是插了一个信号源的。

柯丽一鸣 Kay Ke:这个信号源想给你输什么就输什么。

柯丽一鸣 Kay Ke:因为现在研究期间,研究期的话,大家会说就是呃大语言模型,它是一个纯语言交互的,就之前的那那代,纯语言交互的话,它是不是不能理解真实世界?

柯丽一鸣 Kay Ke:不能够把它所听到的一个概念而放到真实世界中,就是证明是一个水杯,这个水杯其实有很多物理性质都不能够 capture 不能够去捕捉,不能用语语用言语去描述。

柯丽一鸣 Kay Ke:我觉得也是。

柯丽一鸣 Kay Ke:这样的反思变相促成了多模态的研究吧。

柯丽一鸣 Kay Ke:嗯。

柯丽一鸣 Kay Ke:所以我们生活在一个巨大的模拟器里面吗?

柯丽一鸣 Kay Ke:如果模拟器就是世界的话,那好像模不模拟没有什么差别。

柯丽一鸣 Kay Ke:我是唯心主义。

画面说明

柯丽一鸣在访谈末段回答小说、事实、论文与“语言即世界”的快速问题。