生成式 AI 技术栈

GenAI 指系统能够创建新内容，如文本、图像、代码或音乐，通过学习模式从现有数据。

关键构建块

  1. 云托管和推理

    • 提供商如 AWS、GCP、Azure 和 Nvidia 提供基础设施运行和扩展 AI 工作负载

  2. 基础模型

    • 核心 LLMs（如 GPT、Claude、Mistral、Llama、Gemini、Deepseek）训练在海量数据
    • 形成所有 GenAI 应用基础

  3. 框架

    • 工具如 LangChain、PyTorch 和 Hugging Face 帮助构建、部署和集成模型到应用

  4. 数据库和编排

    • 向量 DBs（如 Pinecone、Weaviate）
    • 编排工具（如 LangChain、LlamaIndex）管理记忆、检索和逻辑流

  5. 微调

    • 平台如 Weights & Biases、OctoML 和 Hugging Face 启用训练模型为特定任务或域

  6. 嵌入和标记

    • 服务如 Cohere、Scale AI、Nomic 和 JinaAI 帮助生成和标记向量表示供电搜索和 RAG 系统

  7. 合成数据

    • 工具如 Gretel、Tonic AI 和 Mostly AI 创建人工数据集增强训练

  8. 模型监督

    • 监控模型性能、偏见和行为
    • 工具如 Fiddler、Helicone 和 WhyLabs 帮助

  9. 模型安全

    • 帮助确保道德、安全和安全部署 GenAI 系统
    • 解决方案如 LLM Guard、Arthur AI 和 Garak 帮助

学习软件架构资源

资源可以分为不同类型：

软件设计书籍

  • DDIA
  • System Design Volume 1 & 2
  • Clean Architecture
  • Domain-Driven Design
  • Software Architecture: the Hard Parts

技术博客和新闻通讯

  • 阅读技术博客由公司如 Netflix、Uber、Meta 和 Airbnb
  • ByteByteGo 新闻通讯提供洞察到软件设计每周

YouTube 频道和架构资源

  • YouTube 频道如 MIT Distributed Systems、Goto Conferences 和 ByteByteGo 可以帮助软件架构和系统设计
  • Azure Architecture Center 和 AWS Architecture Blog 是其他重要资源

白皮书

  • 为更深洞察，阅读白皮书如 Facebook Memcache Scaling、Cassandra、Amazon DynamoDB、Kafka 和 Google File System

软件职业书籍

  • 软件架构师也需要发展整体技能
  • 书籍关于软件职业方面如 Pragmatic Programmer、The Software Architect Elevator、The Software Engineer’s Guidebook 和 Philosophy of Software Design 可以帮助

数据库索引类型

数据库索引是派生结构映射列值到行物理位置在表中。

主索引

  • 这个索引自动创建当主键定义在表上
  • 这种索引可以密集以及稀疏，虽然稀疏偏好在大数场景
  • 密集索引包含一个条目为每行在表
  • 稀疏索引包含条目为只一些行在表

聚簇索引

  • 聚簇索引确定行物理顺序在表中
  • 只有一个聚簇索引可以存在在表因为数据只能存储在一个顺序一次
  • 它伟大为范围查询、有序扫描和 I/O 效率

辅助索引

  • 非聚簇索引是单独结构保存一个或多个列副本与指针到实际行在表
  • 它不影响如何数据物理存储，并可以使用主索引定位记录

AI 代理学习路线图

AI 代理

  • 系统能够自主行动，反应到它环境，使用工具（API、互联网、代码等），并可以工作在人类指导下

构建 AI 代理工具

  • 工具如 Python、Jupyter、PyTorch 和 GitHub Copilot
  • 这些启用编码、实验和集成与 AI 库和 APIs

GenAI 基础模型

  • 熟悉大模型如 GPT、Gemini、LLaMa、DeepSeek 和 Claude 是必要
  • 这些模型提供基础智能代理可以使用为推理、生成和理解

AI 代理开发栈

  • 工具如 Langchain、AutoGen、Crew AI
  • 框架如 Semantic Kernel 和 Hugging Face 供电代理工作流
  • 这些组件管理任务、记忆和外部工具集成在代理管道

API 设计

  • 理解 API 设计方法如 REST、GraphQL、gRPC 和 SOAP 关键构建可互操作代理
  • 关键概念包括 HTTP 方法、状态码、版本控制、cookie、头部和缓存

AI 代理类型

  • 学习关于几种类型 AI 代理，如简单反射、基于模型反射、基于目标、基于效用和学习代理
  • 每个变化在复杂性

AI 代理系统架构

  • AI 代理可以操作为单代理、在多代理系统或人机协作
  • 架构取决于用例

MCP 服务器

MCP（模型上下文协议）是开放标准简化 AI 模型，特别是 LLMs，如何与外部数据源、工具和服务交互。MCP 服务器充当这些 AI 模型和外部工具之间桥梁。

12 个 MCP 服务器

  1. 文件系统
  2. GitHub
  3. Slack
  4. Google Maps
  5. Docker
  6. Brave
  7. PostgreSQL
  8. Google Drive
  9. Redis
  10. Notion
  11. Stripe
  12. Perplexity

本文为学习目的的个人翻译，译文仅供参考。

原文链接：EP171: The Generative AI Tech Stack。

版权归原作者或原刊登方所有。本文为非官方译本；如有不妥，请联系删除。