企业做 RAG 知识库,不能只看大模型。真正要跑起来,还需要文档存储、文本切分、向量化、向量数据库、检索服务、权限控制、日志监控和费用管理。少了任何一环,系统都可能变成“能演示,难上线”。

很多团队一开始会问:是不是买个模型 API,再接一个向量数据库就够了?如果只是内部试用,确实可以先这样做。但企业场景通常更复杂。文档来源多,权限不一样,更新频率不同,还要控制调用成本和数据边界。RAG 知识库的重点,不是把回答做得像聊天机器人,而是让模型基于企业自己的资料回答,并且回答过程可追溯、可管理。

下面按一套常见的 AWS 架构思路,把企业做 RAG 知识库需要的云服务拆开讲清楚。具体产品可按团队技术栈和预算调整,价格、可用区域和功能限制请以 AWS 官方最新说明和实际咨询为准。

为什么企业知识库更适合先做 RAG,而不是直接训练模型?

企业知识库的资料一直在变。制度文件、产品手册、合同模板、运维文档、客服话术,每周甚至每天都会更新。如果每次更新都去重新训练模型,流程重,费用也不好控。

RAG 的思路更适合这类场景。它不要求模型“记住”所有企业资料,而是在用户提问时,先从知识库里找出相关内容,再把这些内容交给大模型生成回答。这样做有几个好处:资料更新更快,答案来源更容易追踪,也能减少模型凭空编答案的风险。

如果你的需求是“让员工查制度、让客服查产品说明、让售前查方案资料”,RAG 通常比微调更合适。如果你要让模型长期学习某种固定表达风格,或者处理高度标准化的分类任务,才需要再评估微调或专门训练。

一套企业 RAG 知识库通常包含哪些云服务?

可以把 RAG 知识库拆成四层:数据层、检索层、模型层和应用层。每一层都对应不同的云服务。

数据层负责接收和保存原始文档。企业常见资料包括 PDF、Word、网页、Markdown、图片扫描件和工单记录。在 AWS 上,很多团队会用 Amazon S3 存放文档和中间处理结果,因为它适合保存大量非结构化文件,也方便和后续处理流程衔接。

检索层负责把文档变成可搜索的内容。这里会用到文本解析、切分、向量化和向量数据库。向量数据库保存的是文本片段的向量表示。用户提问后,系统把问题也转成向量,再找出最接近的内容片段。

模型层负责理解问题和生成回答。你可以选择托管模型服务,也可以自建模型推理服务。前者上线更快,运维压力小;后者控制力更强,但要考虑 GPU、弹性伸缩、镜像管理和推理性能。

应用层负责对接业务系统。比如网页问答、企业 IM 机器人、客服后台、内部搜索入口。这里还要处理登录、权限、审计、反馈和人工纠错。很多企业 RAG 项目失败,不是模型不行,而是应用层没有把权限和流程设计好。

模型服务怎么选:托管模型还是自建推理?

模型选择会直接影响上线速度、费用结构和运维复杂度。企业做 RAG 知识库时,通常有两条路线。

一种是使用托管模型服务。以 AWS 生态为例,可以评估 Amazon Bedrock 这类托管式生成式 AI 服务。它适合希望快速接入大模型、不想自己维护推理集群的团队。你主要关注模型能力、区域支持、数据使用边界、调用费用和接入方式。

另一种是自建推理服务。你可以在云服务器或容器平台上部署开源模型,再通过 API 给知识库系统调用。这种方式适合对模型版本、私有化、推理参数有更强控制要求的团队。但要提前算清楚 GPU 实例、存储、带宽、运维人力和扩缩容成本。

如果你是刚开始验证 RAG,建议先用托管模型跑通流程。等检索质量、业务入口和权限体系稳定后,再判断是否有必要自建模型。很多团队过早投入 GPU 集群,最后发现瓶颈其实在文档清洗和检索策略上。

向量数据库怎么选:看规模,也看运维能力

向量数据库是 RAG 知识库的核心组件之一。它负责存储文本向量,并在用户提问时做相似度检索。选型时不要只看“能不能存向量”,还要看更新频率、过滤条件、权限隔离和运维方式。

如果知识库规模不大,更新不频繁,可以先选托管程度更高的方案,减少维护工作。比如在 AWS 架构里,团队可能会评估支持向量检索的托管搜索或数据库服务。这样做的好处是部署简单,监控和备份也更容易统一。

如果文档量大、检索并发高,或者需要复杂的召回策略,就要更认真评估向量索引类型、分片方式、元数据过滤能力和扩容方式。企业知识库经常需要按部门、项目、密级筛选内容。如果向量库只负责“找相似”,但不能按权限过滤,后面会很麻烦。

还有一个容易忽略的问题:向量数据库不是一次写入就结束。文档会更新、删除、改版。你需要设计文档 ID、分片 ID 和版本号。否则同一份资料多次入库后,旧内容和新内容一起被检索出来,回答就会混乱。

文档处理服务不能省:RAG 质量先看数据

RAG 的回答质量,很大程度取决于文档处理。原始文档如果格式混乱,模型再强也很难给出好答案。

常见流程是:先把文档上传到对象存储,再触发处理任务。处理任务会做格式解析、OCR、去噪、分段、标题识别和元数据提取。之后再调用嵌入模型,把文本片段转成向量,写入向量数据库。

切分策略很关键。切得太短,片段缺上下文;切得太长,检索不准,还会增加模型输入成本。更稳的做法是按标题、段落和语义边界切分,并保留来源、页码、章节、更新时间等元数据。后续生成答案时,可以把来源一并展示给用户。

如果资料里有大量扫描件、图片表格或复杂 PDF,还要评估 OCR 和版面解析能力。很多企业知识库的“答不准”,不是模型理解差,而是文件解析时表格、脚注、标题层级已经丢了。

应用服务怎么搭:别把 RAG 做成孤立工具

企业 RAG 知识库最终要给人用。应用层设计不好,技术栈再完整也很难落地。

常见入口包括内部网页、客服工作台、企业聊天工具、工单系统和 CRM。不同入口的回答风格也不同。员工自助查询可以给出较长解释,客服场景则更需要短答案、来源和可复制话术。

应用服务还要处理会话管理。用户可能连续追问:“这个政策适用于海外团队吗?”如果系统没有保存上下文,就很难理解“这个”指什么。但上下文也不能无限保存,否则会增加费用,还可能带来数据风险。企业通常需要设置会话轮数、上下文长度和敏感信息处理规则。

权限是上线前必须想清楚的事。不同部门能看到的文档不同,RAG 检索也要跟着权限走。不能让模型在回答里泄露用户本来没有权限查看的内容。比较稳的做法,是在文档入库时写入权限元数据,检索时先按用户身份过滤,再做相似度召回。

AWS 上可以怎样组合一套 RAG 架构?

一套常见的 AWS RAG 知识库架构,可以按下面的流程理解。

用户把企业文档上传到 Amazon S3。上传动作触发处理流程,处理服务解析文件、切分文本,并调用嵌入模型生成向量。向量和元数据写入向量数据库。用户提问时,应用服务先做身份校验,再把问题转成向量,到向量数据库里检索相关片段。系统把片段、问题和提示词一起交给大模型,最后返回答案和来源。

在计算层,轻量任务可以用托管函数或容器服务处理。长时间运行、并发较高的任务,可以放在容器平台或云服务器上。是否需要 GPU,取决于你是否自建嵌入模型或大语言模型。如果使用托管模型服务,通常不需要自己维护 GPU 推理节点。

在存储层,原始文件、中间文本、处理日志和回答记录最好分开保存。这样排查问题时更方便。比如用户说“答案不对”,你可以追到原文、切分片段、召回结果和最终提示词,而不是只看到一段模型回答。

在网络和安全层,要考虑 VPC、访问控制、密钥管理和日志审计。尤其是涉及合同、财务、人事资料时,不建议把所有服务都暴露在公网。具体配置要结合企业现有 AWS 账户、区域选择和合规要求来定。

费用主要花在哪里?采购前要先算这几笔账

RAG 知识库的费用不是单一的“模型费用”。采购前可以先按几类成本拆开看。

第一类是模型调用费用。它通常和输入、输出、嵌入生成次数有关。文档入库时会调用嵌入模型,用户提问时也会调用模型生成回答。问题越多、上下文越长,费用越高。具体计费方式以官方最新说明为准。

第二类是计算资源费用。如果你自建推理服务,GPU 或高规格 CPU 实例会成为主要成本。如果只是跑文档解析、队列任务和后端 API,普通计算资源可能就够用。这里不要一开始就按峰值采购,先看并发、延迟要求和业务时段。

第三类是存储和数据库费用。原始文档、向量索引、日志、备份都会占用资源。向量数据库还可能因为索引和副本带来额外开销。文档量越大,越要提前规划冷热数据和保留周期。

第四类是网络和运维成本。跨区域访问、外部系统调用、日志分析、监控告警都会产生费用或人力投入。很多预算超支不是因为模型单价高,而是因为没有限制上下文长度、没有清理历史数据,也没有区分测试环境和生产环境。

如果你负责 AWS 采购,建议在项目早期就把账户、充值和预算提醒一起规划。进化云提供 AWS 国际站账户注册、代充值、折扣代理和产品代购服务,可协助处理无需国际信用卡的付款场景。充值到账时间、折扣和具体费用以实际咨询确认为准。

不同企业该怎么选架构?

如果你只是做内部试点,目标是验证“员工能不能用自然语言查资料”,架构可以轻一点。对象存储、托管模型、托管向量检索、简单 Web 应用就能起步。重点放在文档质量、切分策略和答案来源展示上。

如果你要给客服或售前使用,就要更重视稳定性和权限。回答要短、准、可追溯,还要能记录反馈。错误答案会直接影响客户沟通,所以要加入人工确认、黑名单文档、提示词版本管理和回答审计。

如果你面对的是多部门、多区域的大型知识库,架构要从一开始就考虑隔离。不同业务线可以分知识库、分索引、分权限策略。不要把所有资料放进一个大库里再靠提示词约束,这种方式后期很难治理。

如果你的数据敏感度高,先确认哪些数据能进入模型调用链路,哪些数据必须留在私有环境。模型服务、日志、备份和人员权限都要纳入评估。RAG 不是天然安全,安全来自清晰的边界和可执行的控制。

上线前建议做一次小范围验证

企业 RAG 知识库不建议一上来就全量铺开。更稳的做法是选一个边界清楚的业务场景,比如产品手册查询、内部 IT 问答、客服知识库或政策制度检索。

验证时可以准备一组真实问题。不要只问文档标题里已有的简单问题,也要问跨章节、同义表达、时间相关和权限相关的问题。看系统能不能找对资料,能不能拒答不确定内容,能不能给出来源。

同时要记录三类结果:召回是否准确,答案是否可靠,费用是否可接受。召回不准,就先改文档切分和向量检索;答案不稳,再调提示词和模型;费用偏高,就限制上下文长度、缓存高频问题,或调整模型选择。

上线后也要留反馈入口。用户点“有帮助”或“无帮助”看起来简单,但它能帮助团队发现哪些文档缺失、哪些回答容易误导、哪些问题应该转人工处理。

企业做 RAG 知识库时,最容易踩哪些坑?

第一个坑是把文档全部丢进去,不做清洗。重复文件、过期版本、无标题扫描件都会影响检索。入库前要先定规则:哪些资料能进,谁负责更新,旧版本怎么处理。

第二个坑是只看模型,不看检索。RAG 的答案来自检索内容。召回片段错了,模型很可能顺着错误资料继续说。排查问题时,要先看召回结果,再看生成结果。

第三个坑是忽略权限。企业知识库不是公共搜索引擎。人事、财务、法务、客户合同等资料要有严格边界。权限最好在检索前生效,而不是指望模型自己判断能不能说。

第四个坑是没有费用上限。测试时调用量不大,看不出问题。一旦接入多个业务系统,调用次数、上下文长度和日志存储都会增长。建议给测试环境、生产环境分别设置预算提醒,并定期检查使用情况。

下一步该怎么做?

如果你正在规划企业 RAG 知识库,可以先列出三件事:知识来源有哪些,谁能看这些资料,预计每天有多少提问。把这三件事说清楚后,再选模型、向量数据库和计算资源,会少走很多弯路。

对已经使用或准备使用 AWS 国际站的团队,账户和付款方式也要提前安排。进化云可提供 AWS 账户注册、代充值、折扣代理和全系列产品代购服务,适合没有国际信用卡、需要统一采购或希望获得中文支持的团队。具体充值时间、折扣和产品费用,以实际咨询和 AWS 最新规则为准。

FAQ

企业做 RAG 知识库一定要用向量数据库吗?

大多数场景需要。向量数据库能按语义找资料,比普通关键词搜索更适合自然语言问答。但小规模试点也可以先用托管检索服务或简化方案验证效果。

RAG 知识库需要 GPU 服务器吗?

不一定。如果使用托管模型和托管嵌入服务,通常不需要自己维护 GPU。只有在自建大模型或嵌入模型时,才需要评估 GPU 实例。

AWS 上做 RAG 知识库费用高吗?

费用取决于模型调用量、文档规模、向量数据库、计算资源和日志存储。建议先做小范围验证,再根据真实调用量估算,具体价格以 AWS 官方最新说明和实际咨询为准。

没有国际信用卡可以使用 AWS 国际站吗?

可以通过服务商协助处理账户注册、代充值和产品代购等事项。进化云可提供相关支持,具体流程、到账时间和费用以实际确认为准。