🤖异或的挫败与注意力的胜利:AI如何理解语言

文章从人工智能的两大分支——符号主义与联结主义——展开,回顾了从感知机到多层感知机的发展历程,以及异或问题如何暴露出早期模型的局限,引发第一次 AI 寒冬。随后介绍了词嵌入、向量运算和注意力机制等关键技术如何推动联结主义的复兴,使大语言模型能够在高维“意义空间”中进行概率预测与生成。最后,结合对齐与强化学习,文章揭示了 ChatGPT 等现代 AI 在语言理解与生成上的核心原理。
异或的挫败与注意力的胜利:AI如何理解语言

Lazy loaded image大模型“不确定性”的真相:不是温度而已,关键在 batch invariance

LLM 推理“不确定性”的根因不在温度或“并发+浮点”,而在于 batch invariance 缺失:同一请求的数值会随拼批规模与切分策略改变。通过对 RMSNorm、Matmul、Attention 做 batch-invariant 改造(统一 KV 布局、固定 split-size 等),在 temperature=0 下可实现位级一致的可复现输出,代价是可接受的性能损失,为金融/法律等高确定性场景及 True On-Policy RL 奠定基础。
大模型“不确定性”的真相:不是温度而已,关键在 batch invariance

Lazy loaded image对于人工智能时代的巨大思考————请你宽容

本文从“宽容”作为人类社会精神底座出发,延伸探讨了AI发展中的两个核心问题:价值对齐与算法偏见**。当AI逐渐获得接近乃至超越人类的智能时,我们必须重新思考,我们在数据中灌输的价值观,是否配得上我们期望未来机器所体现的理性与善意。 📌 主要内容概览: 1. AI系统若无法对齐人类价值,将面临灾难性风险 ◦ 引用Anthropic提出的三种可能路径:乐观、中性、悲观 ◦ 强调“技术对齐问题”的严峻性,尤其在AI智能接近或超越人类的情境下 2. 人类的偏见与仇恨正在污染训练数据 ◦ 大模型学习的是人类语言、行为和价值的集合体 ◦ 如果我们对“平凡人”“弱势群体”都缺乏宽容,最终塑造的AI也将对他们无情——而那最终会反噬我们自己 3. 数据偏见是结构性的、难以完全根除的 ◦ 介绍经典文献: ▪ 《A Survey on Bias and Fairness in Machine Learning》 ▪ 《Weapons of Math Destruction》 ◦ 深入讨论偏见的来源、反馈循环与应对策略 4. “信息”≠“知识”,偏见的批判与防范需要真正的深度认知 ◦ 仅靠“收集技术资料”远远不够,AI PM 和开发者需要形成独立的伦理判断力与系统性思维
对于人工智能时代的巨大思考————请你宽容

Lazy loaded image找到自己想认真打磨的事情比什么都重要

📌 一、核心观点概括 • 信息 ≠ 知识:信息只是“快照”,知识是经过深度理解与体系化构建的“内化产物”。真正的知识不能靠刷短视频获取,而要靠长期实践和认知构建。 • “努力万能论”是误导:教育常用“努力”来掩盖体制对记忆与逻辑的单一偏好,但真正的人才培养应走“扬长避短”之路,而不是一刀切地补短板。 • 教育的公平不在于平均,而在于差异化赋能:每个人应有公平的发展机会,但不必走相同的道路。真正的公平是根据天赋差异,提供不同的资源支持。 🎯 二、教育制度深层批判 • 当今考试制度强化记忆与逻辑推演,实际剥夺了学生探索自我的机会,导致“多数人成为少数人的陪跑”。 • 素质教育改革口号与现实背离:提出越多,反而应试越严重,暴露出制度设计与执行之间的巨大张力。 • “刷题思维”掩盖了教学功底的匮乏:真正优秀的教育者应当以少胜多、化繁为简,而不是数量堆砌。 🚀 三、解决之道与个人思考 • 人生智慧在于扬长避短:不是靠“死磕短板”换来尊严,而是选择适合自己的土壤生长。 • 探索热爱与擅长的交集:天赋提供正反馈,热爱赋予抗挫力,二者结合才是持续成长的根基。 • 教育应回归育人本质:发现人的独特性,而非塑造流水线标准品,是未来教育的真正使命。
找到自己想认真打磨的事情比什么都重要

📱个人认为好用值得分享的插件、APPs(PC)

本篇文章推荐了 7多款我亲测高效、值得长期使用的工具,覆盖笔记整理、文件检索、翻译、截图、PDF 阅读、电子书阅读与AI辅助总结等多个维度: 1. Notion:跨平台笔记管理神器,云同步、不卡顿,适合做系统性知识整理。 2. Everything:超快的本地文件搜索工具,效率远胜系统自带搜索。 3. 有道翻译:不仅支持划词、截图翻译,还具备出色的OCR功能,适合重度阅读场景。 4. Snipaste:可将截图“钉”在屏幕上,是阅读论文、比对公式的绝佳利器。 5. UPDF:PDF阅读+批注+云同步,阅读论文与做读书笔记两不误。 6. NeatReader:epub 电子书阅读好帮手,简洁无广告,支持批注。 7. Glarity:基于 ChatGPT 的网页内容总结工具,可快速提取 YouTube 视频、网页、PDF 的关键信息,还能辅助翻译和提问。
个人认为好用值得分享的插件、APPs(PC)
在终点之前,请先活一次
少有人不可替代:从自我困境到突破之路

Lazy loaded imageWeapons of Math Destruction 阅读笔记

这本书由前华尔街数据科学家 Cathy O’Neil 撰写,通过多个社会领域(教育、招聘、信贷、司法等)的真实案例,揭示了黑箱算法模型如何在无形中加剧社会不平等,并进一步侵蚀民主制度。 作者提出“WMD(Weapons of Math Destruction)”概念,指那些具备三大特征的算法系统: • 不透明(Opacity) • 影响广泛(Scale) • 破坏性反馈循环(Damage) 这些系统往往将人类的偏见深深地嵌入模型中,对弱势群体的打击尤为严重,使穷人越穷、富人越富,形成数据歧视的死循环。
Weapons of Math Destruction 阅读笔记
软件工程师大概率是个过渡职业

Lazy loaded imageAnthropic co-founder: AGI predictions, leaving OpenAI, what keeps him up at night | Ben Mann

本视频采访了Anthropic的联合创始人Ben Mann,讨论了多项关于人工智能(AI)及其安全性、经济影响的议题。Ben提到,超智能(AGI)可能在2028年左右实现,而AI的进步并没有减缓,反而加速了。他离开OpenAI创立Anthropic的原因是觉得在OpenAI中AI安全问题没有得到足够重视,尤其是在超智能的对齐问题上。Ben分享了自己对AI带来失业率上升、经济结构变化的看法,并指出AI将重塑社会及职场,并对未来的人类角色提出了重要的思考。他还提供了未来AI时代中如何应对职业变动的建议,强调“使用工具”的重要性,并关注对孩子的教育,特别是好奇心和创造力的培养。 Highlights • 🤖 超智能的到来: Ben预计超智能(AGI)将在2028年左右到来,超智能的对齐问题至关重要,可能会影响整个人类社会。 • 🔍 离开OpenAI的原因: Ben与团队离开OpenAI是因为认为AI安全未得到充分重视,尤其是如何“把上帝关进盒子”这一超智能控制问题。 • 📉 AI对就业的影响: AI的发展可能会导致失业率上升,尤其是低技能职位会遭到取代。社会需要应对这些变化,并提前规划过渡期。 • 📈 AI加速进步: Ben强调AI的进步没有减缓,模型发布频率逐渐加快,每月或每季度更新一次,而不是像过去那样一年一次。 • 💼 AI与工作: 他提出“经济图灵测试”的概念,表示AI如果能取代一定比例的工作,将对全球经济产生深远影响。 • 🧑‍💻 未来职业建议: Ben建议使用AI工具的能力至关重要,尤其是能够灵活调整与AI交互方式,提高工作效率和创造力。 • 👶 教育与未来: 对孩子的教育需要强调好奇心、创造力和善良,这些素质将帮助他们在未来的AI时代中获得成功。
Anthropic co-founder: AGI predictions, leaving OpenAI, what keeps him up at night | Ben Mann
为什么我不再去人多的地方扎堆
盛溪
盛溪
盛溪的学习&生活博客
Announcement
🌟 欢迎来到盛溪的博客!🌟
大家好,我是盛溪。在这里,我将分享我的生活感悟、学习心得以及其他一些有趣的发现。希望我的文章能为你的生活带来一点启发和乐趣。
微信号: felix_windsor
📅 更新通知:
  • 我会定期更新博客,分享新的内容。
💬 互动环节:
  • 如果你有任何问题或想法,欢迎在评论区留言。我非常期待与你的互动!
📚 推荐阅读:
  • 不定期推荐一些我觉得有价值的书籍或资源,希望能对你有所帮助。
感谢你的访问和支持,希望你能常来逛逛!
盛溪敬上