在这篇文章中，我们将讨论以下话题：
- 像专家一样调试
- 负载均衡器 vs. API 网关
- ChatGPT 时间线
- YouTube 上的视频内容上传
- CDN 入门指南
负载均衡器 vs. API 网关
首先，在讨论差异之前，让我们澄清一些概念。
- NLB（网络负载均衡器）通常部署在 API 网关之前，基于 IP 处理流量路由。它不解析 HTTP 请求。
- ALB（应用负载均衡器）基于 HTTP 头或 URL 路由请求，因此可以提供更丰富的路由规则。我们可以根据路由需求选择负载均衡器。对于规模较小的简单服务，一个负载均衡器就足够了。
- API 网关在应用层执行更多任务。因此它与负载均衡器有不同的职责。
下图显示了详细信息。通常，它们结合使用以提供可扩展和安全的架构。
选项 a：ALB 用于在不同服务之间分发请求。由于服务实现自己的速率限制、认证等，这种方法更灵活，但需要在服务层面做更多工作。
选项 b：API 网关负责认证、速率限制、缓存等，因此服务层面的工作较少。然而，与 ALB 方法相比，此选项灵活性较低。
问题：我们应该使用哪一个，负载均衡器还是 API 网关？
ChatGPT 时间线
一图胜千言。ChatGPT 似乎突然出现。但我们很少有人知道它是建立在数十年研究之上的。
下图显示了我们如何走到今天。
- 1950 年代：在这个阶段，人们仍然使用基于规则的原始模型
- 1980 年代：从 1980 年代开始，机器学习开始兴起并用于分类。训练是在小范围数据上进行的
- 1990 年代 - 2000 年代：从 1990 年代开始，神经网络开始模仿人脑进行标记和训练。通常有 3 种类型：
- CNN（卷积神经网络）：常用于视觉相关任务
- RNN（循环神经网络）：在自然语言任务中有用
- GAN（生成对抗网络）：由两个网络（生成和判别）组成。这是一个生成模型，可以生成看起来相似的新颖图像
- 2017：“Attention is all you need”代表了生成式 AI 的基础。Transformer 模型通过并行化大大缩短了训练时间
- 2018 - 现在：在这个阶段，由于 Transformer 模型的重大进展，我们看到各种模型在大量数据上训练。人类演示成为模型的学习内容。我们已经看到许多可以写文章、新闻、技术文档甚至代码的 AI 作者。这也具有巨大的商业价值，并掀起了全球旋风。
问题：AI 模型的下一个突破是什么？你能猜到吗？
YouTube 视频上传架构
YouTube 平均每分钟处理 500+ 小时的视频内容上传。它是如何管理的？
下图显示了 YouTube 在 2021 年发布的创新硬件编码。
传统软件编码
YouTube 的使命是将原始视频转码为不同的压缩率，以适应不同的观看设备——手机（720p）、笔记本电脑（1080p）或高分辨率电视（4k）。
创作者每分钟在 YouTube 上传大量视频内容。特别是在 COVID-19 大流行期间，随着人们待在家里，视频消费大大增加。基于软件的编码变得缓慢且昂贵。这意味着需要一种专门为视频编码/解码定制的专用处理大脑。
YouTube 的转码大脑 - VCU
就像 GPU 或 TPU 用于图形或机器学习计算一样，YouTube 开发了 VCU（视频转码单元）用于仓库级视频处理。
每个集群都有多个 VCU 加速服务器。每个服务器都有多个加速器托盘，每个托盘包含多个 VCU 卡。每张卡都有编码器、解码器等。[1]
VCU 集群生成具有不同分辨率的视频内容并将其存储在云存储中。
与之前的优化系统相比，新设计带来了 20-33 倍的计算效率提升。[2]
问题：为什么专用芯片比基于软件的解决方案快得多？
CDN 入门指南
本文由客座作者 Love Sharma 撰写。
CDN 是分布式服务器网络，有助于提高互联网上内容交付的性能、可靠性和安全性。
以下是整体 CDN 图解释：
- 边缘服务器位于比传统服务器更靠近最终用户的位置，这有助于减少延迟并提高网站性能
- 边缘计算是一种在更靠近最终用户的地方处理数据的计算类型，而不是在集中式数据中心。这有助于减少延迟并提高需要实时处理的应用程序的性能，例如视频流或在线游戏
- 云游戏是使用云计算为用户提供高质量、低延迟游戏体验的在线游戏
这些技术正在共同改变我们访问和消费数字内容的方式。通过为用户提供更快、更可靠和更身临其境的体验，它们正在帮助推动数字经济增长，为企业和消费者创造新机会。
本文为学习目的的个人翻译，译文仅供参考。
原文链接：EP48: Debugging Like A Pro。
版权归原作者或原刊登方所有。本文为非官方译本；如有不妥，请联系删除。