LLM架构

评估方法衡量我们的系统性能如何。对每个摘要进行人工评估（人工审查）既费时又昂贵，而且不可扩展，因此通常会辅以自动评估。许多自动评估方法试图衡量人类评估者会考虑的文本质量。这些品质包括流畅性、连贯性、相关性、事实一致性和公平性。内容或风格与参考文本的相似性也可能是生成文本的重要质量。

下图包括用于评估LLM生成内容的许多指标，以及如何对其进行分类。

Dify与Ragflow：LLM应用程序开发的关键差异

使用大型语言模型（LLM）的应用程序开发随着Dify和Ragflow等平台的发展而显著发展。了解这两者之间的关键区别可以帮助开发人员根据自己的需求选择合适的工具。

数据准备

Dify通过提供数据收集和预处理的集成工具，在数据准备方面表现出色。这最大限度地减少了对大量编码的需求，使开发人员能够专注于更高级别的任务。相比之下，Ragflow可能需要在数据清理和注释方面进行更多的手动干预，这可能会减缓开发过程。

提示工程

Dify提供了一个所见即所得（WYSIWYG）界面，用于快速编辑和调试。此功能允许基于用户输入进行实时优化，使在没有深厚技术知识的情况下更容易细化提示。Ragflow虽然功能强大，但可能无法提供相同水平的用户友好的快速工程工具，这可能会导致新用户的学习曲线更陡峭。

嵌入和上下文管理

借助Dify，嵌入和上下文管理实现了自动化，从而增强了可扩展性和效率。开发人员不需要编写大量代码来管理长上下文，因为Dify可以无缝地处理这个问题。另一方面，Ragflow可能需要更多的手动编码来实现类似的结果，这可能会增加开发时间和复杂性。