Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

2025-05-25 0 46

Dify结合了后端即服务(BaaS)与LLMOps的理念,是一个开源的大语言模型(LLM)应用开发平台,旨在帮助开发者快速构建生产级生成式AI应用,让技术小白也能参与到AI应用的定义和数据运营过程中。

Dify还内置了构建LLM应用所需的核心技术栈,包括多种模型的支持、直观的Prompt编排界面、高效的RAG引擎、稳健的Agent框架以及灵活的流程编排,另外提供了易用的界面与API。

本教程将展示多个使用Dify实现的简易AI应用场景,并指导如何部署Dify开源版本,同时集成Amazon Bedrock中的Llama模型来实现这些功能。

一、Dify部分使用场景展示

1、对话型应用

通过Dify可以部署一个用于模拟面试的对话型应用。这一应用支持模拟面试,还可以在不同模型之间切换,开启模型对比,并微调模型参数,以便模拟不同的面试过程。

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

2、智能助手(Agent)

利用大语言模型的推理能力,智能助手能够自主完成复杂任务。我们构建了一个智能助手应用,该助手能够查阅雅虎股票信息和新闻频道内容,并向其提问。智能助手将展示思考过程,并给出问题的解答。

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

3、文本翻译

Dify 还可以利用大语言模型进行复杂的翻译,教程中展示了简单的单语种翻译场景,利用多个不同的变量,还可以进行更复杂的翻译需求。

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

4、文本生成

Dify还支持大语言模型进行复杂创作和翻译,利用多个变量和上下文,可以实现多场景的快速创作,添加提示词如下,并确认自动添加变量:

用优美的语言对目标人物或事件{{who}}进行描写,其中包含时间{{when}},地点{{where}},发生了什么{{what}}

然后在右侧输入变量的值,即可生成文本。

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

5、知识库应用

Dify支持通过本地上传的方式引入知识库,突破大语言模型在数据时效性和Token长度上的限制。我们创建了一个集成知识库的聊天应用,模型可以在知识库中查找内容并回答用户提出的问题。

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

此外还可以通过部署工作流等功能来实现更加复杂、定制化的AI需求。

二、Dify技术架构

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

三、部署Dify环境准备

Dify开源版本支持Docker Compose部署或本地部署,本教程将通过Docker Compose部署进行安装。为此需要准备一个Amazon EC2实例,并在Amazon Bedrock中启用所需模型的访问权限。

亚马逊云科技官网:点击访问(注册立享100+免费云服务

Amazon EC2是亚马逊云科技AWS)推出的一种云服务器,可以通过它租用和管理虚拟计算资源。它广泛应用于网站托管、数据处理、应用开发等场景。Amazon EC2提供免费12个月的试用方案,包含一定量的计算、存储和数据传输资源。详情可参阅:《亚马逊免费云服务器申请与使用教程》。

1、启用Bedrock模型访问权限

根据本教程中的第一步指南,设置并开通所需的Llama模型访问权限。务必同时启用对Amazon Titan所有模型的访问,因为Dify在验证模型使用权限时,会检查是否具有对amazon.titan-text-express-v1的访问权限。

2、启动Amazon EC2实例

登录AWS控制台,在搜索框中输入“EC2”,点击搜索结果中的“EC2”进入Amazon EC2控制台。

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

点击“启动实例”按钮,进入实例配置页面。

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

在启动实例页面中,按照以下设置配置EC2实例:

  • 名称:输入实例名称,如示例中的“Dify-Bedrock”;
  • 应用程序和操作系统映像:选择默认的 Amazon Linux,AMI 版本选择“Amazon Linux 2023 AMI”,架构选择默认的 64 位(x86);
  • 实例类型:选择 c7a.large;

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

  • 密钥对:选择“在没有密钥对的情况下继续”(不推荐)。如果您打算长期使用 Dify,可以点击右侧的“创建新密钥对”创建一个新的密钥对,以便通过 SSH 连接到 EC2 实例;

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

  • 网络设置:默认选择“创建安全组”,勾选“允许来自以下对象的 SSH 流量”,来源设为“任何位置 0.0.0.0/0”,并勾选“允许来自互联网的 HTTP 流量”;

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

  • 其他配置(如存储和高级详细信息)保持默认设置即可。

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

完成配置后,点击“启动实例”按钮,启动EC2实例。

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

实例启动成功后,页面会显示相关提示,点击链接即可连接到实例进行后续部署。

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

也可以在EC2控制台中选择实例进行连接。请注意,这里的公有IPv4地址将在稍后用于登录。

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

四、部署Dify

1、安装Docker环境

通过SSH连接到EC2实例后,按照以下步骤安装Docker环境:

sudo yum install -y docker
sudo curl -L https://github.com/docker/compose/releases/latest/download/docker-compose-$(uname -s)-$(uname -m) -o /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compose
sudo systemctl start docker
sudo systemctl enable docker

安装完成后,验证Docker是否安装成功:

docker-compose version

如果安装成功,输出结果类似如下:

Docker Compose version v2.29.1

2、安装并启动Dify

继续执行以下命令安装 Dify:

sudo yum install -y git
git clone https://github.com/langgenius/dify.git
cd dify/docker
sudo docker-compose up -d

几分钟后将看到类似的输出信息,表示Dify已成功部署。

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

3、查看进程信息

可以使用以下命令查看正在运行的 Docker 容器:

sudo docker ps

这时应该能看到类似的输出,表明Dify开源版本已经成功部署并运行。

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

五、Dify基本设置

1、设置管理员账号并登录

首先,通过浏览器访问http://{公有IPv4地址},进入Dify设置界面。

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

设置好管理员账号的邮箱、用户名和密码后,在登录界面输入邮箱和密码,即可进入Dify默认界面。

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

2、配置模型

点击右上角的用户名,选择设置。

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

在左侧菜单中找到模型供应商,选择Bedrock。

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

如果你使用第三方模型,请选择相应的模型并输入API及其他所需信息。然后即可跳转至构建应用部分。

输入Access Key / Secret Access Key,选择对应的AWS区域,在可用模型名称中输入 amazon.titan-text-express-v1,点击保存。如果跳转回模型选择页面,则保存成功。

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

要验证模型可用性,点击Bedrock下方的32 个模型(具体数量可能会有所变化),查看已获得访问权限的模型列表。

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

点击右上角的系统模型设置,将默认系统推理模型设置为Llama 2 Chat 70B,将Embedding模型设置为amazon.titan-embed-text-v2:0。

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

完成设置后,点击右上角的关闭按钮。至此Dify基础设置完成,可以开始使用了。

六、构建应用

1、对话型应用

点击创建空白应用创建一个新应用。

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

选择聊天助手,并为应用命名(例如:聊天机器人),然后点击创建。

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

在编排页面中,添加提示词,如下所示,并确认添加变量 jobName:

我想让你担任{{jobName}}面试官。我将成为候选人,您将向我询问{{jobName}}开发工程师职位的面试问题。我希望你只作为面试官回答。不要一次写出所有的问题。我希望你只对我进行采访。问我问题,等待我的回答。不要写解释。像面试官一样一个一个问我,等我回答。

点击左下角的+ 添加功能,打开对话开场白设置,添加以下开场白,并自动添加变量name:

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

你好,{{name}}。我是你的面试官,Bob。你准备好了吗?

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

此时可以开始聊天,并且可以点击右上角的模型名称切换不同模型,进行模型对比,以及微调模型参数。

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

2、智能助手 (Agent)

利用大语言模型的推理能力,智能助手可以自主进行目标规划、任务拆解、工具调用、过程迭代,并完成复杂任务。

点击创建空白应用创建新应用,选择Agent,为应用命名(例如:智能助手),然后点击创建。

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

可以点击右上角的模型名称来更换模型并微调参数。

在工具栏中点击添加,选择新闻和股票信息等功能。

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

3、文本生成 – 翻译助手

点击创建空白应用,创建新应用,选择文本生成,并为其命名(例如:翻译助手)。

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

添加提示词如下,并确认自动添加变量:

将内容翻译成:{{language}},仅仅翻译内容,禁止添加其他的内容。内容如下:{{query}}
输入文本和目标语言,点击提交即可开始翻译。

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

4、文本生成 – 写作助手

点击创建空白应用,创建新应用并命名为写作助手。

添加以下提示词,并确认自动添加变量:

用优美的语言对目标人物或事件{{who}}进行描写,其中包含时间{{when}},地点{{where}},发生了什么{{what}}

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

在右侧输入相应的变量值,点击生成即可得到写作文本。

5、知识库应用

由于LLM(大语言模型)的训练数据集通常有限且有时效性,且每次请求的上下文有长度限制,因此开发者通常需要利用嵌入(Embedding)技术来管理私有知识库。

在Dify中,你可以轻松管理并集成知识库,以便将最新、私有的上下文集成到 AI 应用中。支持的文档类型包括:TXT、Markdown、DOCX、HTML、JSONL、PDF 以及 CSV、Excel 等结构化数据。

点击界面上方的知识库标签,创建一个新的知识库。

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

选择导入已有文本,上传本地文件并点击下一步。

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

选择合适的向量化模型进行文本向量化处理。

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

等待向量化处理完成后,创建一个聊天应用并将刚才创建的知识库添加到应用的上下文中。

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

在聊天应用中添加提示词并提出问题,模型将在知识库中查找相关内容,并根据查询给出回答。

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

七、发布与监控

点击左侧的仪表盘图标即可打开发布与监控面板。

Dify部署教程:集成Amazon Bedrock开启生成式AI之旅

在面板的上方,可以看到可分享给用户的链接,包括支持iframe嵌入等多种方式。

面板下方则展示了该应用的使用报告。

八、清理

进入EC2控制台,停用或删除名为Dify-Bedrock 的 EC2实例(根据教程中的默认实例名)。

进入IAM控制台,删除相关用户和策略。

相关推荐:

《Amazon Bedrock Claude3打造专属AI Character应用教程》

《Amazon Bedrock深度集成DeepSeek-R1模型实操指南》

《重磅!AWS提供完全托管的DeepSeek-R1模型》

收藏 (0) 打赏

感谢您的支持,我会继续努力的!

打开微信/支付宝扫一扫,即可进行扫码打赏哦,分享从这里开始,精彩与您同在
点赞 (0)

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

快网idc优惠网 建站教程 Dify部署教程:集成Amazon Bedrock开启生成式AI之旅 https://www.kuaiidc.com/6490.html

相关文章

发表评论
暂无评论