cn/2024/12/22/baiwan/

[giscus[bot]]

cn/2024/12/22/baiwan/

https://hongtaoh.com/cn/2024/12/22/baiwan/

[hongtaoh]

@earfanfan 等你来吐槽。

[earfanfan]

忽然想到，郝糊涂的想法不就是以前列弛写《庄子》的时候提到的“物物而不物于物”，我还记得问过三水，三水的答案好像是该吃饭吃饭该吃面吃面，就行了。

[hongtaoh]

然而三水和我不在这个年龄范围内，却正好是处于学习能力很强的阶段，也是很有兴趣的那波人呐。

没把 90 后、80 后放进去是因为如果 30 后是最后几代，那之前的人肯定包括。

你提到的这些依然是在使用 AI 的层面，不是创造 AI。使用这些工具和我在文中提到的用 ChatGPT 做海报和 PPT 没有任何区别。百万 AI 的目标应该是让学生有能力独立研发出类似 coze 和 qanything 的平台和工具，而不是单纯做使用者、调包侠、调参师。

不要误解我，我没有轻视这些工具和使用这些工具的用户，我自己都还远未达到我想让我未来的学生达到的水平。

我在这里写下的第一句话，你要记得哦，等到你真的开始做这个项目的时候，我应该已经积攒了不少在工业界鼓捣 AI 的经验了，说不定将来能对这个项目有用。

寡人尽量。我很怕给别人承诺，我怕我忘了。如果我非要说「一定」，那我压力就很大了，因为我真的有可能忘，未来五年我要每天提醒自己才能做到不忘。

讲真，我真的觉得你一定会不会失败。

凡姐好像 ChatGPT。它也是这么鼓励我的。

你很想要财富和女人，将来你一定会得到的。

扑哧，你这个跳跃有点大。你从哪看出来我「很想要」，而且是财富+女人。凡姐是在感受能量吗？

[earfanfan]

你提到的这些依然是在使用 AI 的层面，不是创造 AI。使用这些工具和我在文中提到的用 ChatGPT 做海报和 PPT 没有任何区别。百万 AI 的目标应该是让学生有能力独立研发出类似 coze 和 qanything 的平台和工具，而不是单纯做使用者、调包侠、调参师。

不要误解我，我没有轻视这些工具和使用这些工具的用户，我自己都还远未达到我想让我未来的学生达到的水平。

今年有一天我溜达到 COS 论坛去翻到了一个帖子，里面在讨论文档形式的优劣，益辉发言他相信未来一定是 html 的天下，我看到这里时用我的方式理解了他，我想到当时他在开发他的 R 包，其实最需要的并不是对某事物的多元认知，而是最需要相信他本来愿意相信的，这样才有信念继续去做想要做的事。这里我对你的理解也是类似，你也需要相信你相信的，将来就按照自己的想法去做就行。

寡人尽量。我很怕给别人承诺，我怕我忘了。如果我非要说「一定」，那我压力就很大了，因为我真的有可能忘，未来五年我要每天提醒自己才能做到不忘。

额，因为害怕忘记所以要每天提醒，这看起来很不健康的样子。或者你可以换个角度看待，这并不是一种只需要你来付出的单向承诺，而是一种双向的约定，你有记得的责任，而我也有提醒的义务。如果真的到了项目启动的那天，你会昭告天下，我会看到，那么我会溜达过来问你“喂，你忘记我的存在了吗？”，由于你本来就习惯向我说抱歉，你就会对我说“抱歉抱歉，我真的忘记了”，我会说“好吧，那现在想起来了么，让我也加入吧”，你会说“好嘞，俺们一起”，这样就行了。所以对待双向约定可以轻松很多，约定的时候就记在心里，下一秒就双双忘记，你也忘记，我也忘记，将来再说起的时候记得曾经有过这个约定就行了。

你从哪看出来我「很想要」，而且是财富+女人。凡姐是在感受能量吗？

俺干活去也，以后再与你细说。

[hongtaoh]

好的大耳朵凡凡，如果真有项目启动那一天，我如果还记得，会跟你说一声。大概率你也会从我的网站上看到。我感觉最起码是五年之后的事情了。

俺干活去也，以后再与你细说。

说的我好怕。财富的话我并没有太大的渴望。女人的话，更多的是为了满足没有满足的愿望，至于是不是发自内心真的想要，以及得到之后是不是会失去兴趣，我暂时不知道。

这里我对你的理解也是类似，你也需要相信你相信的，将来就按照自己的想法去做就行。

可能是吧。如果一件事自己都不相信，那做起来会很困难。

[earfanfan]

我感觉最起码是五年之后的事情了。

我接受，俺明白。本口头投资者对你这个项目发起者没有撒要求，你就好好活着，爱护好自己的身体和心灵就行了，反正来日方长，皆有可能。

[earfanfan]

@yufree

三水，你好，俺们呼唤你，快来看看俺们的幻想。

我是不介意世界上出现另一个我的，但世界也许很介意。

我刚瞅了瞅你写的世另我，为撒世界会介意？另外你只投喂了104篇自己写的博客，也就是说如果问的问题是超出你的博客内容的，AI 可能会有幻觉使用“通用”能力去回答，那么它始终不会是你。ps，我对 AI 的理解很浅，我理解的“通用能力”是指 AI 本身训练了几十 TB 的语料形成的能力。

[earfanfan]

又及，三水，其实我觉得现在的 AI 和 “人类重生”还有很长的距离。我觉得，人类凭借五感（视觉、听觉、嗅觉、味觉、触觉）来感知和识别世界上的信息，运用大脑做加工处理和分析，运用语言文字来传递信息，而现在的大语言模型会受限于语言文字本身的模糊特性，无法确保“信息”的百分百传递。真正的“人类重生”也许还要更加突破想象力一点，更遥远的 AI 可以跳出人类语言的框架束缚，自己去自然界里寻找新的启发，只是你我未必看得到。

[yufree]

这个项目我现在没法评价，总感觉后面会出现非transformer的构架，不过人能理解到构架基本也到头了，里面的细节理解可能超出生理限制了。
我用的lora微调，本质上就是用一个小矩阵给原来参数加权而不是直接重调所有参数，所以超出博客内容部分权重自然继承了原有模型。不过这里的问题在于人的语言个性其实很难定义，大部分内容是趋同的，你问一些原则性问题大多数人都是复读机而已，所以我不担心这玩意是不是我，因为我本身也是各种复读机叠加后的一种。104篇大概1M文本量，而微调是有效果的，本质上应该是我在通用语言模型上屏蔽或增强了一些参数的权重，这多少也算有了个性输入了。这个过程其实文本量质量要比大小更关键，例如一个人读了某一本书或某篇文章突然明白了很多事，书或文章本身文本量不必很大，但能起到激活参数作用就可以。建议你亲自动手去调几个3B或5B小模型感受一下，适当引导还是有效果的，最初的大文本量训练更像是九年义务教育，属于给参数初始化。
幻觉这个问题我现在更倾向于认为这是推理功能的初级表现，很多编出来的文献看题目我感觉确实应该有人做过了但现实却没有，是被完型填空进来的，那么是否有可能在某个平行宇宙里基于人类语言认知能力确实写过这样的文献呢？大语言模型给出的是他认为应该存在的，而现实世界不存在更多说明我们这个世界只是众多选择的一个，这些不同的世界背后共享一个理论上的语言认知能力。当然，单纯训练不足更有可能，后面的训练如果想更符合这个世界，是要给语言模型更多对外交互能力接口的。
数字重生不必要很精确，只要一部分人看不出区别就可以，考虑到人认知能力的方差，不会很遥远。现在语言模型接入自动化实验机械臂已经是现实，研究人员给出实验目的与收集到的样本，是可以自动生成实验设计来做实验出报告的，后面只需要让语言模型自己想有意思的科学问题然后给他限定实验资源，然后给他们记忆学习系统（也就是根据实验结果自动微调认知模型），他们是完全可以取代人类做科研的，只是人类的身份将从复读机变成传声筒而已。

[hongtaoh]

@earfanfan

只是你我未必看得到。

你肯定能看到。我估计用不了 30 年，世界上满大街都是人形机器人。

大语言模型给出的是他认为应该存在的，而现实世界不存在更多说明我们这个世界只是众多选择的一个

有一种看科幻小说的感觉。

后面只需要让语言模型自己想有意思的科学问题然后给他限定实验资源，然后给他们记忆学习系统（也就是根据实验结果自动微调认知模型），他们是完全可以取代人类做科研的

这一点我是完全同意的。昨天我还和朋友在讨论，我觉得再过几十年，arxiv 上的最新论文十有八九是人工智能写的。你提到的大模型推测这个世界应该存在但是不存在的论文，人工智能也许会去做。但目前我觉得应该只能做人文和理工科，至于社会科学，需要用人做实验以及做调查问卷，这个比较难。不过到了那个时候，人的地位也许比机器低，研究人类社会已经没有什么意义了。

[earfanfan]

@yufree

那么它始终不会是你。

三水你写的这些，我也刚刚好一字一句都看得明白。不过我在写下这一句时，所想的是另外一个方面。我觉得三水好像是那种从小到大都很理智的人，博客行文风格也是里里外外都很理智，可我真的莫名其妙地感觉到三水你的内心很柔软。这个柔软不好量化，额，就用对不起他们的方式来比喻一下吧。现在的我所感受到的是，倔强的郝糊涂很像是生活里没有生活的大木头，而迷茫的湘云很像是心里没有心的大石头，相比而言，总是很理智的三水却是生活里有生活、心里有心的一汪海水。以往我溜达到你的博客里留言的那些拍马屁的文字，都是我真心想要赞美你的话。正是因为我的出发点是 AI 没有人性，所以觉得三水 AI 始终不会是人类三水。

建议你亲自动手去调几个3B或5B小模型感受一下

以前我没有想过，不过以后我会记得要去这样尝试感受一下的。

幻觉这个问题我现在更倾向于认为这是推理功能的初级表现

我现在接触到的 RAG 项目也是明显觉得 AI 在推理和计算方面好像还差点火候，有时候会出现计算过程正确但最终结果错误的答案，有时候问某某标准会给出一个范围但答案不够完整，还有些时候我都怀疑 AI 是不是成精了非要坚持给出它想给出的答案，但那个答案又确实是我们所在的现实世界里不存在的，也就是三水你说的可能只存在于平行世界的。

这些不同的世界背后共享一个理论上的语言认知能力。

我明白你要表达的展开来讲的话就是，不同的世界可能会出现不同的语言，每个世界里的“人”要运用那些语言去传递信息，但传递的信息在刨除了语言这种载体后本质上的内容可能是一样的，就比如数学和物理学上的那些经典定理，像是牛顿三定律、万有引力那些。如果再科幻地想象一下，说不定只是我们这些地球上的人类才用语言文字来传递信息呢，在更高维度的世界里，还有更厉害的形式更高效的信息载体。

后面的训练如果想更符合这个世界，是要给语言模型更多对外交互能力接口的。

我有这样想过，在人类的五感当中视觉和听觉更发达是因为不需要实际接触就能看见和听见，人们可以轻易地根据看见和听见的事物划分标准，有了标准就会有好坏差异，这样原先充满了不确定性的世界就可以借由一些确定性的标准作为工具来进行衡量，人类才开始发现世界上存在的规律，并利用掌握的规律来发展自身、谋求生存。换句话说，另外三种感官需要实际接触才能评判，而语言本身传递的其实是虚空的信息，好像很难像发展视觉和听觉的路子那样建立统一标准、划分好坏差异。等等，难道从环境科学的角度来看，嗅觉、味觉、触觉也是可以量化的么？

又另，我想象不出来符合世界是要符合世界的什么，不过如果是贴合人类特色的话，我想到每个人的认知总是受限于自身的经验知识，而……而我们国家的 AI 有时候竟然也给我一种意识形态领域也有限制的感觉，唉，扯远了。

不过这里的问题在于人的语言个性其实很难定义，大部分内容是趋同的，你问一些原则性问题大多数人都是复读机而已，所以我不担心这玩意是不是我，因为我本身也是各种复读机叠加后的一种。

道理是这个道理，我也认同，不过你每次提到复读机我都会觉得有点莫名其妙的搞笑。

[earfanfan]

说到复读机、传声筒、二极管这几个词，我刚问了一下比我小十岁的堂妹依依，我问“依依，你知道复读机吗”，依依反问“是真的复读机还是指人是复读机啊”。原来依依小时候从没见过真的复读机，只见过手机里自带的会说话的汤姆猫，但她也知道“人是复读机”这种说法，当然她只在教材上看到过传声筒，也没见过真的，二极管倒是见过，不过她统统都知道把人比作这些物体的说法。

我好像知道为撒每次三水说人是复读机而已会被戳中笑点了，因为我小时候见过真正的复读机，所以这个词语在我脑中出现时总会浮现出它的外形，进而闪现出将人类身体和复读机外形结合的画面。

再说到传声筒，这好像是更古老的发明，但是又被当今时代的人们赋予了新的意象，哈哈，人类的创造还挺有趣的，在语言上将传声筒的形与象分离，再将象与新的意结合，这样的话好像可以创造出有限的新意象，又给人无限的幻想的感觉。