跳到内容目录
首页
/
笔记
/
大语言模型与系统
大语言模型与系统
LLM Systems
大语言模型及其系统。主要是课程 AIST5050 与 CSCI5540 的内容。
18 篇笔记
序
理论基础
Scaling Laws
优化与收敛
预训练
并行训练
自动并行
序列并行
多模态训练
后训练
对齐
异步训练
推理
推理与调度
缓存与分离
推测解码
智能体
协作与调度
执行环境
基础设施
计算内核
集群网络
容错
性能仿真