Posts under category 文字

增材与去材:生物智能与人工智能的演化分野

Human:

我有一个想法,有关生物智能和人工智能。

生物

生物智能是增材制造的过程,思考人类的发育过程:

  1. 从胚胎开始,细胞团逐步分化出不同的功能,大脑功能也是从混沌中逐步抽象出来的
  2. 在出生前,基因主要控制了大脑的分化
  3. 出生后,个体立即开始接受物理世界的大量刺激,大脑的发育开始被物理世界塑造,比如视觉的发育过程与视觉刺激是分不开的,刚出生的婴儿没有能力分辨深度线索,可能与尚未建立起良好分区的V1-V4枕叶皮层有关。出生后的短期内,大脑神经元的复制过程非常迅速,但新的神经元具有高度可塑性
  4. 在后期的发展过程中,大脑主要遵循着用进废退的发育规则,比如运动员们,他们与运动有关的大脑皮层面积更大、较普通人有更快的反应速度等,可能是优化了神经网络组织形式的结果。对于使用较少的部分甚至会进行部分剪枝,比如意外失去手臂的人,其有关皮层会代偿其他功能

    人工智能

    目前技术框架下的人工智能中,取得较高水平成果的是深度学习技术,思考人工深度模型训练的过程:

  5. 人工架设网络结构,规定好参数规模
  6. 依靠海量数据,结合反向传播让网络学习知识
  7. 学习知识的过程,也是重塑网络的过程,对于部分神经元之间的连接,其重要性会提升,体现在权重增加,但对于大多数神经元之间的连接,权重会降低到接近于0,甚至近期有的研究发现,在训练过程中尽量使权重为0,最终网络依然能体现出一定的智能。
  8. 因此对于人工神经网络,神经元之间的权重会造成巨大的浪费,这种浪费体现在训练过程、推理过程中,消耗了额外的储存(不管是RAM还是外部储存)、计算资源

两者对比

  1. 生物智能通过类似hebbian learning的规则逐步增加网络复杂度,甚至优化网络结构,类似于增材制造;人工神经网络则降低大部分神经元的连接权重,类似于去材制造
  2. 这似乎是目前人工智能无法自发进化的源头,但也可以理解,由于目前的技术水平没有一种材料,能达到要求:1)能够模拟神经元;2)能够自产生或生长
  3. 因此通向人工智能未来的道路可能在于找到一种结构,能在物理上实现上述需求,以实现神经元连接权重的增加

讨论

请问以上观点有没有客观事实上的纰漏?并发表你的看法

- Read More -

后LLM时代

目前阶段所谓的AI,能力强一些的无非是LLM。

早些年监督学习范畴下的AI已经在诸多领域,典型的如CV,发挥了巨大的作用。

LLM不过是将无监督学习与监督学习极好的融为一体。预训练阶段从海量预料中学习知识,微调阶段学会规则以回答问题。
假如有一个另一个宇宙的外星人降临地球,ta所在宇宙的物理规则甚至都与地球所处的宇宙不同,ta一定会首先学习地球环境中的方方面面,从基本的数学和物理规则学起,到一定程度后开始学习人类文明,包括语言和文字等,以上都属于无监督学习范畴。为了融入人类生活,ta需要学习人类的风俗习惯文化等,这属于监督学习的范畴。

当前llm的学习,除了训练者提供的数据(可能是文字、图片等多模态数据)之外,llm没有能力感知真实世界。

在后llm时代,AI的发展可能离不开认知科学、心理学甚至哲学的研究,类脑智能的研究能够从顶层规划AI的发展。
到那时强AI才会真正出现。
当然,也有可能像现阶段的文本LLM一样,数学家和计算机科学家们研究出来一套纯数字的算法,就能够实现具身学习。
尽管我一直觉得纯理工的人研究AI,一点情怀都没有,他们没有品味,但架不住他们研究的东西真的好用。

更好的路子可能是神经科学启发了理工科实现了某种算法,后来继续有数学推导推进。比如DNN借鉴了生物神经网络,但反向传播算法却是纯数学的。

20针ST link连接3针SWD

官网ST Link或其兼容型号下载器连接STM32板子使用20 pin的接口。
标准SWD接口是4 pin,部分开发板只给了3 pin。此时需要从板子上引一路3.3v给ST link 1号接口。

见图:

IMG_7838.jpeg

HCI

人机交互现有的手段主要是键盘,效率极低

无创脑机接口可能是新HCI的绝佳手段

可能不局限于文字输入,找到一个可实现的点即可做demo

可能可以与时空交互有关

@2024.04.06 18:30

收完了最后一个被试

这几天被试收到吐,一天重复不停的讲大几百字的实验指导语

现在所有的事情都戛然而止

怅然若失

吃饭时想到最近冒出的风声,说朝鲜闹饥荒,朝鲜中央的文件中暗示承认配给制失败。

从原始部落到奴隶制,从奴隶制到封建制,再到现在的资本主义和半资半社,每次迭代都经历过血与火

从现在到共产主义的转变还会这样吗?
资本主义会抱残守缺,要当滚滚车轮下的螳螂吗?
AGI会是共产主义到来的先导吗?

又胡乱想到,为什么想要实现不同的社会制度如此困难,配给制绝不应该连国民都喂不饱啊

是因为金家太腐败,还是因为这个世界牢牢掌握话语权的资产阶级对朝鲜设下了重重发展障碍,使其在夹缝中难以生存

世界急需再来一位毛主席。