参考资料

• OWASP LLM Top 10
• Google SRE Workbook

生产工程（02） - AI 应用工程师是什么

读完后，你应能：

• 能设计 Prompt，让模型稳定完成任务，并用执行结果与正文成功条件验收。
• 能用 RAG 让模型回答企业私有知识，并用执行结果与正文成功条件验收。
• 能用 Agent 或工具调用，让模型能查数据库、调接口、执行流程，并用执行结果与正文成功条件验收。
• 能部署 AI 应用，记录日志，分析坏 case，持续优化效果。

目标：搞清楚 AI 应用工程师到底在做什么，它和前端、后端、算法工程师有什么区别，以及我们后面为什么要学 Python、LLM API、RAG、Agent 和工程化。

一、本篇先抓住什么

• AI 应用工程师的核心不是训练模型，而是把模型能力做成业务系统。
• 你要走的是“应用开发路线”，不是“算法研究路线”。
• 前端经验不是负担，反而能帮你把 AI 能力做得更好用。
• 当前阶段重点学 Python、LLM API、RAG、Agent 和工程化。
• 判断自己有没有学会，不看概念背了多少，看能不能讲清一个真实 AI 应用怎么跑。

二、一句话理解

AI 应用工程师不是训练大模型的人，而是把大模型能力接入真实业务系统、做成可用产品的人。

如果用前端视角类比：

• 算法/模型工程师更像“浏览器内核团队”：研究模型结构、训练方法、推理性能。
• AI 应用工程师更像“业务产品工程师”：调用模型能力，设计交互、接业务数据、处理异常、上线维护。
• 前端工程师负责用户看得见、用得顺。
• 后端工程师负责业务数据、权限、流程、稳定性。
• AI 应用工程师站在中间：懂模型能力边界，也懂产品和工程落地。

三、AI 应用工程师的核心任务

AI 应用工程师通常做这些事：

1. 把大模型接入业务系统
2. 设计 Prompt，让模型稳定完成任务
3. 用 RAG 让模型回答企业私有知识
4. 用 Agent 或工具调用，让模型能查数据库、调接口、执行流程
5. 做聊天 UI、流式响应、文件上传、知识库管理等产品功能
6. 处理模型幻觉、超时、错误格式、权限风险、成本过高等问题
7. 部署 AI 应用，记录日志，分析坏 case，持续优化效果

一句更工程化的话：

AI 应用工程师负责把“模型能力”包装成“稳定、可控、可交付的业务功能”。

四、它不等于 Prompt 工程师

Prompt 很重要，但 AI 应用工程师不能只会写提示词。

只会 Prompt，更多是“高级使用者”；能把 Prompt 放进系统、接数据、调工具、做权限、做评测、上线维护，才是“应用工程师”。

你至少要知道：

• 用户输入怎么传给模型
• 模型上下文怎么组织
• 模型输出怎么解析成 JSON
• 出错时怎么兜底
• 怎么让前端流式展示
• 怎么记录每次调用的 token、耗时、错误
• 怎么保护企业数据和用户权限

五、它不等于算法工程师

AI 应用工程师需要懂一些模型原理，但不以训练模型为主。

你要了解：

• 大模型为什么会有幻觉
• token 和上下文窗口是什么
• embedding 为什么能做语义检索
• RAG 为什么能补充私有知识
• 微调适合解决什么问题，不适合解决什么问题
• 本地部署和 API 调用有什么取舍

但前期不需要深挖：

• 从零实现 Transformer
• 手写反向传播
• 训练大规模模型
• 深入研究 CUDA、分布式训练
• 论文级模型结构创新

这些内容有价值，但不适合你当前“前端转 AI 应用工程师、尽快具备求职竞争力”的阶段。

六、一个真实 AI 应用长什么样

以“企业知识库问答系统”为例，它看起来只是一个聊天框，但背后有很多工程环节：

1. 用户上传制度文档、产品手册、FAQ
2. 后端解析文档，把内容切成小段
3. 调 embedding 模型，把文本转成向量
4. 存到向量数据库
5. 用户提问时，系统先检索相关文档片段
6. 把检索到的上下文和用户问题一起发给大模型
7. 大模型生成回答，并附上引用来源
8. 前端用流式响应展示回答
9. 系统记录日志、耗时、token、命中文档
10. 遇到回答错误时，人工分析并优化切分、检索、Prompt 或知识库

这就是典型 AI 应用工程，而不是单纯“问一下 ChatGPT”。

七、AI 应用工程师的能力模型

可以把能力拆成 6 层。

7.1 应用开发能力

这是地基。

你需要能写：

• Python 脚本
• FastAPI 接口
• 文件上传接口
• JSON 数据处理
• HTTP 请求
• 简单数据库读写
• 异步任务和流式响应

前端同学不用怕。你已经懂 HTTP、接口、状态、数据流，这部分迁移成本不高。

7.2 LLM 调用能力

你需要知道怎么用模型 API：

• chat completion
• system / user / assistant message
• temperature
• max tokens
• streaming
• structured output
• tool calling
• error handling

重点不是背参数，而是知道每个参数会如何影响产品体验。

7.3 Prompt 与结构化输出能力

Prompt 不是玄学，它更像“给模型写需求文档”。

好的 Prompt 通常包含：

• 角色
• 任务
• 背景
• 输入格式
• 输出格式
• 约束条件
• 示例
• 失败处理方式

在真实系统里，最重要的是让模型输出稳定可解析的结构，比如 JSON。

7.4 RAG 能力

RAG 是 AI 应用工程师的必修课。

RAG 解决的是：

大模型不知道企业内部知识，或者知道得不够新、不够准。

RAG 不是“把文档塞给模型”这么简单，它包括：

• 文档解析
• 文档切分
• embedding
• 向量存储
• 检索
• 重排
• Prompt 拼接
• 引用来源
• 评测和调优

很多 AI 应用岗位面试都会问 RAG，因为它最贴近企业落地。

7.5 Agent 与工具调用能力

Agent 解决的是：

模型不只是回答问题，还能决定下一步做什么，并调用工具完成任务。

比如用户说：

“帮我查一下这个客户最近三个月的订单，并总结异常。”

一个 Agent 可能会：

1. 判断需要查客户信息
2. 调客户查询接口
3. 调订单接口
4. 分析订单数据
5. 生成总结
6. 必要时给出后续操作建议

注意：真实业务里，Agent 不能无限自由发挥。它必须有权限、边界、日志和人工确认。

7.6 工程化能力

工程化决定一个 AI demo 能不能变成可上线系统。

你要逐步掌握：

• 鉴权
• 限流
• 超时
• 重试
• 缓存
• 日志
• token 成本统计
• 用户权限隔离
• 数据脱敏
• Prompt 注入防护
• 模型回答评测

很多人能做 demo，少数人能做生产系统。找工作时，后者更有竞争力。

八、常见岗位名称

你搜索岗位时，不一定只搜“AI 应用工程师”。还可以搜：

• 大模型应用开发工程师
• AI 应用开发工程师
• AIGC 应用开发工程师
• LLM 应用开发工程师
• RAG 工程师
• Agent 开发工程师
• AI 全栈工程师
• Python AI 应用开发
• 前端 AI 工程师
• AI 产品研发工程师

不同公司叫法不同，但核心能力大致相似。

九、和前端的关系

前端转 AI 应用开发不是从零开始。

你已经有这些优势：

• 懂用户交互
• 懂接口联调
• 懂状态管理
• 懂异步请求
• 懂组件化
• 懂错误态和加载态
• 懂产品体验
• 能快速做出可演示页面

AI 应用里大量体验都在前端：

• 聊天窗口
• 流式输出
• 文件上传
• 知识库管理
• 引用来源展示
• 消息重试
• 生成中断
• 多会话
• 人工确认
• 工具调用过程展示

很多纯后端或算法同学做出来的 AI 应用能跑，但不好用。你可以把“好用”做成自己的差异化。

十、学习边界：现在先别学什么

为了尽快进入 AI 应用工程师路线，以下内容可以先跳过或浅尝：

• 机器学习完整算法体系
• 深度学习完整理论
• 从零训练神经网络
• NLP 传统任务大全
• 图像生成工作流深挖
• 模型微调全流程深挖
• 多 Agent 框架大横评

它们不是没用，而是顺序靠后。

当前最重要的是：

1. 能写 Python 应用代码
2. 能调用大模型
3. 能做 RAG
4. 能做 Agent 工具调用
5. 能做前后端联调
6. 能部署和排查问题

十一、面试官可能怎么问

11.1 问题 1：AI 应用工程师和算法工程师有什么区别？

可以这样答：

算法工程师更偏模型训练、算法优化和推理性能；AI 应用工程师更偏把已有大模型能力接入业务系统，围绕 Prompt、RAG、Agent、工具调用、接口服务、权限、日志、成本和稳定性做产品化落地。AI 应用工程师需要懂模型能力边界，但重点是工程交付。

11.2 问题 2：你作为前端，转 AI 应用的优势是什么？

可以这样答：

AI 应用最后要被用户使用，前端经验能帮助我更好地设计聊天交互、流式输出、文件上传、引用来源展示、错误态、加载态和人工确认流程。同时前端本身熟悉 HTTP、异步状态和接口联调，迁移到 FastAPI、大模型 API 和 RAG 系统会比较顺。

11.3 问题 3：企业里最常见的大模型应用是什么？

可以这样答：

常见的是企业知识库问答、智能客服、工单助手、数据分析助手、文档总结、代码助手和办公自动化工作流。它们通常不是单纯调用模型，而是结合企业数据、权限、RAG、工具调用、日志和评测。

十二、自测清单

读完这篇，你应该能回答：

• AI 应用工程师到底做什么？
• 它和算法工程师的区别是什么？
• 为什么前端转 AI 应用有优势？
• RAG 解决什么问题？
• Agent 解决什么问题？
• 为什么工程化比 demo 更重要？
• 当前阶段哪些知识可以先跳过？

十三、学习建议

第一次读这篇，不需要记所有名词。

重点记住三句话：

1. AI 应用工程师是把模型能力产品化、工程化的人。
2. 你现在优先学应用开发，不优先学模型训练。
3. 前端经验可以迁移到 AI 产品交互、接口联调和项目展示。

如果你能用自己的话讲清楚“企业知识库问答系统背后有哪些步骤”，这篇就算过关。

十四、下一步

下一篇看：

02-前端转AI应用工程师路线.md

重点搞清楚：

• 前端背景怎么迁移
• 应该补哪些后端和 Python 能力
• 3 个月内怎么做出作品
• 简历应该往哪个方向包装

十五、总结

• 本篇先抓住什么：AI 应用工程师的核心不是训练模型，而是把模型能力做成业务系统。
• 一句话理解：AI 应用工程师不是训练大模型的人，而是把大模型能力接入真实业务系统、做成可用产品的人。
• AI 应用工程师的核心任务：把大模型接入业务系统 -> 设计 Prompt，让模型稳定完成任务 -> 用 RAG 让模型回答企业私有知识 -> 用 Agent 或工具调用，让模型能查数据库、调接口、执行流程
• 它不等于 Prompt 工程师：Prompt 很重要，但 AI 应用工程师不能只会写提示词。
• 它不等于算法工程师：token 和上下文窗口是什么
• 一个真实 AI 应用长什么样：用户上传制度文档、产品手册、FAQ -> 后端解析文档，把内容切成小段 -> 调 embedding 模型，把文本转成向量 -> 存到向量数据库