Transformer 架构：2017 年那篇论文改变了什么
它解决了什么问题在 Transformer 之前，处理序列数据（如文本）的主流模型是 RNN（循环神经网络）及其变体 LSTM、GRU。RNN 有一…
作者：yaohaidong
共 517 片织锦
RAG 检索增强生成：给大模型接上外部知识库
要解决的问题大模型有两个固有局限：知识截止：模型的知识来自训练数据，训练完成后就不再更新。问它训练截止之后发生的事，它…
AI 幻觉是怎么产生的：从概率预测的角度理解
一个本质特征大语言模型的核心工作方式，可以简化为：根据前文，预测下一个最可能的词元（token）。它是一个极其复杂的概率模型…
模型量化：把大模型塞进手机里发生了什么
问题一个 70 亿参数（7B）的模型，如果用 FP16（半精度浮点，每参数 2 字节）存储，仅权重就需要约 14GB 显存。普通手机根本没…
RLHF：让模型"听话"的三个步骤
要解决的问题预训练模型的目标是"预测下一个词"，这与"给出对人类有用的回答"并不完全一致。一个纯粹的预训练模型可能：给出有…
CPU 和 GPU 的区别：为什么训练 AI 要用显卡
设计目标的差异CPU（中央处理器）追求的是低延迟：尽快完成单个复杂任务。GPU（图形处理器）追求的是高吞吐：同时完成大量简单…
x86、ARM 与 RISC-V：指令集架构之争
什么是指令集架构指令集架构（Instruction Set Architecture，ISA）是软件与硬件之间的接口约定：它定义了处理器支持哪些指令、…
一颗芯片是怎么造出来的：从沙子到处理器的主要工序
一、从沙子到硅锭芯片的基础材料是硅。原料是二氧化硅（沙子的主要成分），经过还原得到冶金级硅，再提纯为电子级多晶硅——纯度…
碳化硅与氮化镓：第三代半导体用在什么地方
代际划分第一代：硅（Si）、锗（Ge）——集成电路的基础；第二代：砷化镓（GaAs）、磷化铟（InP）——主要用于射频和光电子；第三代…
屏幕刷新率与触控采样率：两个常被混淆的参数
刷新率（Refresh Rate）定义：屏幕每秒更新画面的次数，单位是 Hz。60Hz 意味着每秒刷新 60 次，120Hz 则是 120 次。影响：画面…