这就是Chatgpt 阅读笔记2

type

status

date

slug

summary

玻尔兹曼分布

最佳思路是建立一个模型，让我们能够估计序列出现的概率

感觉更像是在测数的过程

为了明白离目标“有多远”，我们计算“损失函数”（有时也称为“成本函数”）。

按区域来改是不错的，未来的计算机架构还会变

ChatGPT的内部原理

神经网络是什么呢？

先有一个网络类型的层级结构，每一层干的事情就是权重与前项相加

也就是说有输入，

中间靠权重不断调整，

凑出输出

神经网络由多个层组成，每层通过加权输入、应用激活函数、输出特征，并将这些特征传递给下一层。训练的核心是通过前向传播生成输出，再通过反向传播调整权重，从而优化模型性能。

语言是如何生辰的，我们可以随着对chatgpt的深入了解从而对自我产生新的理解

深度计算规则

每一步都只是在网络中“向前馈送数据”，除非生成新的标记，否则它不会循环

chatgpt自己发现了判断一个句子是否有意义的

量子科学

有意义的人类语言实际上比我们所知道的更加结构化、更加简单，最终可能以相当简单的规则来描述如何组织这样的语言。

这句话是有很高含金量的

实践中成真

但是我认为看似没有意义的句子不代表它就是假的，或者说是完全没有意义的，这可能代表着在我们的这个世界是没有意义的，不为真，但是放到其他世界或者星球来说，这就不一定了。

更通用的形式化方法：计算语言

它已经学至大成

不要随便去碰AI，原因是什么呢？人工智能目前还没有很好的匹配场景的产品出现，最常用的Chatgpt每月20美刀这样的盈利模式，到现在为止也还是持续亏损状态。

简单说，人工智能目前最快也只能说是进入到了研究中快到产出的状态，也就是说，如果你目前不能做底层研发，你能做的事情其实是很少的，也就是为什么说AI现在这么卷。

不可否认的是，随着科技的进步，需要人来做的工作实际上是越来越少了，但是每次大量工作岗位涌现的时候，基本都是我们可以对新能量的掌控或者生产效率的极大提升，从生物力（马力），蒸汽动力，再到化石能源（煤炭）再到电能，等等，我们目前要瞄准的很大一个方向应该是核能，对核能的控制，会开启一波新的浪潮。

此外，我认为另外一个新兴的热点，与真正的发展引擎，应该是量子科学（量子计算），想要详细了解的可以参考臺大演講網張慶瑞教授的这次演讲“量子糾纏：由哲學到數學，再經科學到科技 | 111-2 人文與科技的對話”这才能让我们人类往前再迈一个更大的脚步。

应该增加对核能技术与量子科学的关注度，而不单单是AI，人工智能只是开启了新世界大门的一个引子。

简单的堆叠就可以迸发出相当强大的力量。

chatgpt 统计方法 wolframAlpha 符号方法

图中提到的统计方法和符号方法是人工智能领域中的两种主要方法论，它们分别代表了两种不同的研究路径和技术实现思路。

1. 统计方法

统计方法是一种基于概率和数据驱动的人工智能方法，它利用大量的历史数据，通过统计学和机器学习算法来学习模式和预测结果。现代深度学习（如 GPT 和其他神经网络）是统计方法的典型代表。

特点

核心思想：利用数据中隐藏的统计规律来完成任务。

主要工具：机器学习、深度学习、概率模型。

学习过程：模型通过大量数据进行训练，自动调整参数以最大化预测能力。

优点

数据驱动：能够利用海量数据自动发现复杂的模式。

高适应性：在语言处理、图像识别、推荐系统等领域表现卓越。

缺点

解释性差：模型通常被认为是“黑盒”，难以解释其内部工作原理。

对数据依赖性强：需要大量高质量数据，如果数据不足或质量差，效果会大幅下降。

符号化能力不足：难以进行基于逻辑推理的精确计算。

典型应用

GPT 使用统计方法，依赖语言模型（如 Transformer 架构）处理自然语言任务。

图像分类、语音识别等基于深度学习的任务。

2. 符号方法

符号方法是基于规则和逻辑的一种人工智能方法，它通过显式定义的规则、知识库和逻辑推理来解决问题。Wolfram|Alpha 和早期的专家系统是符号方法的典型代表。

特点

核心思想：用符号和逻辑表达知识，并基于推理规则得出结论。

主要工具：逻辑推理、知识表示、专家系统。

实现过程：开发者通过明确的规则和知识库描述问题域，系统根据这些规则进行逻辑推理。

优点

解释性强：每一步推理和结果都有明确的逻辑和依据，便于理解和验证。

精确性高：适合解决基于明确规则的复杂计算问题（如数学求解、定理证明）。

缺点

灵活性有限：需要人为定义规则，难以应对开放性或复杂问题。

扩展性差：规则的数量增加会导致推理效率下降，难以应对知识量极大的任务。

对数据学习能力弱：无法从数据中自动学习模式。

典型应用

Wolfram|Alpha 使用符号方法，通过符号计算和逻辑推理来回答数学问题、科学问题等。

早期的专家系统用于医疗诊断、故障检测等领域。

神经网络说到本质，是对人类大脑的再一次建模

我们通过不断调优搭建的神经网络，通过输入大量高质量数据文本，让网络通过前后向传播的方式不断调整自身的权重，通过不断地训练，使期待的输出与网络的输出调整到损失函数最小的各神经元地参数。

神经网络可以通过这样的学习方式，自己学习并掌握其中人类语言组织的“黑盒”规则和如何输出在人类世界中有意义的文本。

神经网络本质上是受到人类大脑启发的一种建模方法，尽管它无法完全模拟大脑的复杂性，但通过数学上的‘神经元’和‘权重’连接，能够处理大量数据并自动学习。

我们通过搭建和优化神经网络，输入大量高质量数据，通过前向传播计算预测结果，通过反向传播根据损失函数的误差调整权重。训练的目标是不断优化权重，使模型输出尽可能符合期待值，从而最小化损失函数。

在这一过程中，神经网络通过层层的非线性计算，自动学习并掌握输入数据中的复杂模式和规则。尽管其内在过程通常被称为‘黑盒’，但这一学习方式让神经网络能够生成符合人类语义的、有意义的输出文本。

搭建和优化神经网络，输入大量高质量数据

通过前向传播计算预测结果，通过反向传播根据损失函数的误差调整权重