Batch Size 与学习率：训练中的两个关键旋钮
Batch Size定义：每次参数更新时，用多少个样本计算梯度。Batch = 1：随机梯度下降（SGD），每次用一个样本；Batch = 全量：批…
作者：yaohaidong
共 517 片织锦
梯度消失与梯度爆炸：深层网络的老问题
问题训练神经网络用反向传播：从输出层开始，逐层向后计算梯度，用链式法则把误差传回前面的层。在深层网络中，梯度要连乘很多…
词嵌入 Word2Vec：让计算机理解词的含义
问题计算机处理文本，需要把词转成数字。One-Hot 编码：每个词一个独热向量（词汇表多大，向量就多长，只有一位是 1）。问题：…
注意力机制的直觉：让模型学会"看重点"
类比人阅读一句话时，不会对每个词平均用力。理解"它"指代什么时，我们会回头去找前文中的某个名词——这就是注意力。机制注意力…
什么是"涌现能力"：大模型的意外之喜还是幻觉
现象研究发现，某些能力在小模型上几乎不存在，但当模型规模超过某个阈值后，性能突然大幅提升。比如多步算术推理、代码生成、…
AI 在金融风控中的应用与边界
应用场景一、信贷风险评估基于用户的收入、负债、信用历史、行为数据，预测违约概率。传统方法是评分卡（基于逻辑回归的可解释…
指令微调：让模型从"续写"变成"听话"
预训练模型的行为一个纯预训练的语言模型，做的是续写——给它一段文字，它预测接下来最可能的内容。如果你输入"请解释什么是黑洞…
芯片的时钟树：让信号同时到达每个角落
问题芯片上有数百万甚至数十亿个触发器，它们需要在时钟信号的协调下同步工作。理想情况下，时钟信号应该同时到达所有触发器（…
什么是"良率"：从晶圆到芯片的成品率
定义良率（Yield）：一批晶圆上，功能正常的芯片占总数的比例。这是半导体制造中最核心的经济指标之一。为什么良率这么重要芯片…
SoC 是什么：把整个系统集成到一颗芯片
定义SoC（System on Chip，片上系统）：在一颗芯片上集成一个完整系统所需的各种功能模块。典型 SoC 包含什么以手机 SoC 为例：…