Dify ai官网,LLMOps平台,提供AI 聊天机器人,代码转换器,SQL 生成器,新闻内容编写,创意脚本等
什么是Dify ai?
Dify 是一个易于使用的 LLMOps 平台,提供了多种应用程序类型和模板,包括 AI 聊天机器人、代码转换器、SQL 生成器、新闻内容编写、创意脚本等。团队使用 Dify,可以基于 GPT-4 等模型快速「开发+部署」 AI 应用程序并进行可视化操作,还可以将程序对外进行发布。Dify 这个名字来源于 Define 和 Modify 这两个词,Dify 可以理解为 Do it for you,代表了帮助开发人员不断改进其 AI 应用程序的愿景。
Dify ai官网: https://dify.ai
Dify ai githhub: https://github.com/langgenius/dify
帮助文档: https://docs.dify.ai/v/zh-hans/getting-started/install-self-hosted
什么是 LLMOps?
LLMOps(Large Language Model Operations)是一个涵盖了大型语言模型(如GPT系列)开发、部署、维护和优化的一整套实践和流程。LLMOps 的目标是确保高效、可扩展和安全地使用这些强大的 AI 模型来构建和运行实际应用程序。它涉及到模型训练、部署、监控、更新、安全性和合规性等方面。
下表说明了使用 Dify 前后开发 AI 应用的各环节差异:
步骤
未使用 LLMOps 平台
使用 Dify LLMOps 平台
时间差异
开发应用前&后端
集成和封装 LLM 能力,花费较多时间开发前端应用
直接使用 Dify 的后端服务,可基于 WebApp 脚手架开发
-80%
Prompt Engineering
仅能通过调用 API 或 Playground 进行
结合用户输入数据所见即所得完成调试
-25%
数据准备与嵌入
编写代码实现长文本数据处理、嵌入
在平台上传文本或绑定数据源即可
-80%
应用日志与分析
编写代码记录日志,访问数据库查看
平台提供实时日志与分析
-70%
数据分析与微调
技术人员进行数据管理和创建微调队列
非技术人员可协同,可视化模型调整
-60%
AI 插件开发与集成
编写代码创建、集成 AI 插件
平台提供可视化工具创建、集成插件能力
-50%
在使用 LLMOps 平台如 Dify 之前,基于 LLM 开发应用的过程可能会非常繁琐和耗时。开发者需要自行处理各个阶段的任务,这可能导致效率低下、难以扩展和安全性问题。以下是使用 LLMOps 平台前的开发过程:
数据准备:手动收集和预处理数据,可能涉及到复杂的数据清洗和标注工作,需要编写较多代码。
Prompt Engineering:开发者只能通过调用 API 或 Playground 进行 Prompt 编写和调试,缺乏实时反馈和可视化调试。
嵌入和上下文管理:手动处理长上下文的嵌入和存储,难以优化和扩展,需要不少编程工作,熟悉模型嵌入和向量数据库等技术。
Dify ai使用教程
应用监控与维护:手动收集和分析性能数据,可能无法实时发现和处理问题,甚至可能没有日志记录。
模型微调:自行处理微调数据准备和训练过程,可能导致效率低下,需要编写更多代码。
系统和运营:需要技术人员参与或花费成本开发管理后台,增加开发和维护成本,缺乏多人协同和对非技术人员的友好支持。
引入 Dify 这样的 LLMOps 平台后,基于 LLM 开发应用的过程将变得更加高效、可扩展和安全。以下是使用 Dify 进行 LLM 应用开发的优势:
数据准备:平台提供数据收集和预处理工具,简化了数据清洗和标注的工作,最小化甚至消除了编码工作。
Prompt Engineering:所见即所得的 Prompt 编辑和调试,可根据用户输入的数据进行实时优化和调整。
嵌入和上下文管理:自动处理长上下文的嵌入、存储和管理,提高效率和扩展性,无需编写大量代码。
应用监控与维护:实时监控性能数据,快速发现和处理问题,确保应用程序的稳定运行,提供完整的日志记录。
模型微调:平台提供一键微调功能,基于过去已标注的真实使用数据进行训练,提高模型性能,减少编程工作。
系统和运营:易用的界面,非技术人员也可参与,支持多人协同,降低开发和维护成本。与传统开发方式相比,Dify 提供了更加透明和易于监控的应用管理,让团队成员更好地了解应用的运行情况。
另外,Dify 将提供 AI 插件开发和集成的功能,使得开发者可以轻松地为各种应用创建和部署基于 LLM 的插件,进一步提升了开发效率和应用的价值。
- 我该如何“训练”一个基于我的内容的模型?
- 怎么让 AI 知道 2021 年以后的事情?
- 如何避免让 AI 跟用户胡说八道?
- 微调(Fine-tuning)和嵌入(Embedding)是什么意思?
我们塑造了工具,然后工具塑造了我们。——马歇尔·麦克卢汉(Marshall McLuhan)
- 看看这些由 Dify 创建的应用
- 在云端版中快速创建应用
- 安装 Dify 到你的服务器
可能只有少数公司有预算来构建和管理像 GPT-3 这样的大型语言模型 (LLM),但是将会有许多价值超过 10 亿美元的“第二层”公司建立起来下一个十年。 ——Sam Altman
安装
- CPU >= 1 Core
- RAM >= 4GB
docker-compose up -d
。- 启动后页面一直在 loading,查看请求提示 CORS 错误。这可能是由于切换了域名/网址,导致前端和服务端跨域,请将
docker-compose.yml
中所有的以下配置项改为新的域名: CONSOLE_URL
:控制台域名,如:http://localhost:8080
API_URL
:Service API 域名APP_URL
:Web APP 域名
- 安装时后无法登录,登录成功,但后续接口均提示 401。可能由于跨域导致 cookie 策略失效,可以按照以下策略配置:
- 默认策略适用于本地调试用,支持 HTTP/HTTPS 协议,但需要保证前端页面和接口同域。WEB_API_CORS_ALLOW_ORIGINS: ‘*’CONSOLE_CORS_ALLOW_ORIGINS: ‘*’COOKIE_HTTPONLY: ‘true’COOKIE_SAMESITE: ‘Lax’COOKIE_SECURE: ‘false’
- 跨域策略(请勿应在生产)由于 SameSite=None 必须配合 Secure=true,因此服务端必须为
https
协议才能实现跨域访问,可以用在服务端在远程并且提供https
协议支持,或者本地单独启动服务端和前端项目(localhost,但不同端口,实测可用,虽然提示 warning)。WEB_API_CORS_ALLOW_ORIGINS: ‘https://your-domain-for-web-app’CONSOLE_CORS_ALLOW_ORIGINS: ‘https://your-domain-for-console’COOKIE_HTTPONLY: ‘true’COOKIE_SAMESITE: ‘None’COOKIE_SECURE: ‘true’ - 生产策略由于部分第三方集成需要支持回调并带着 cookie 信息,因此不能使用最高的 Strict 策略,因此需要严格限制 CORS 域名,以及设置 cookie 策略为 SameSite=Lax Secure=true。WEB_API_CORS_ALLOW_ORIGINS: ‘https://your-domain-for-web-app’CONSOLE_CORS_ALLOW_ORIGINS: ‘https://your-domain-for-console’COOKIE_HTTPONLY: ‘true’COOKIE_SAMESITE: ‘Lax’COOKIE_SECURE: ‘true’
- 如何在国内环境中使用 OpenAI 代理服务器进行访问可以在
docker-compose.yaml
中的 api 和 worker 服务加一条 environments 记录OPENAI_API_BASE: ‘https://<your-openai-mirror-domain>/v1’
数据评估
本站ai导航提供的Dify ai都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由ai导航实际控制,在2023年5月17日 下午7:48收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,ai导航不承担任何责任。