在数字化浪潮的推动下，文档处理已成为信息时代不可或缺的一环。面对海量文档，如何高效、准确地提取信息，成为提升工作效率的关键。字节跳动开源的Dolphin，正是一款致力于解决这一难题的文档解析大模型。它以其轻量级、高效的特性，在文档解析领域崭露头角。
Dolphin的独特之处在于其两阶段解析方法：先解析结构，后解析内容。这种方法模拟了人类阅读文档的习惯，首先把握文档的整体布局，再深入理解具体内容。在第一阶段，Dolphin生成文档布局元素序列，识别文档中的标题、段落、表格、图片等元素，并按照自然阅读顺序排列。第二阶段，Dolphin以这些元素为锚点，并行解析内容，提取文本、公式、表格等信息。
Dolphin在性能上表现出色，在多种文档解析任务中，其性能甚至超越了GPT-4.1和Mistral-OCR等模型。更令人称道的是，Dolphin拥有322M的参数量，体积小巧，运行速度快，这使得它在资源受限的环境中也能发挥出色的性能。
Dolphin的主要功能涵盖了文档解析的各个方面，以下将详细介绍其核心功能：
1. 布局分析
Dolphin能够精准识别文档中的各种元素，如标题、图表、表格、脚注等，并按照自然阅读顺序生成元素序列。这一功能为后续的内容提取奠定了基础，确保了信息的完整性和准确性。
2. 内容提取
Dolphin可以将整个文档页面解析为结构化的JSON格式或Markdown格式，便于后续处理和展示。JSON格式便于程序读取和处理，Markdown格式则方便用户阅读和编辑。
3. 文本段落解析
Dolphin能够准确识别和提取文档中的文本内容，并支持多语言，如中文和英文。这使得Dolphin能够处理各种类型的文档，满足不同用户的需求。
4. 公式识别
Dolphin支持复杂公式的识别，包括行内公式和块级公式，并输出LaTeX格式。LaTeX是一种专业的数学公式排版语言，能够保证公式的清晰度和美观性。
5. 表格解析
Dolphin支持解析复杂的表格结构，提取单元格内容，并生成HTML格式的表格。HTML格式的表格可以在网页上直接显示，方便用户查看和使用。
6. 轻量级架构
Dolphin的模型参数量为322M，体积小巧，运行速度快，适合在资源受限的环境中使用。这使得Dolphin可以在各种设备上运行，如手机、平板电脑等。
7. 多种输入格式
Dolphin支持处理多种类型的文档图像，包括学术论文、商业报告、技术文档等。这使得Dolphin能够应对各种场景下的文档解析需求。
8. 多样化的输出格式
Dolphin支持将解析结果输出为JSON、Markdown、HTML等多种格式，便于与不同系统集成。这使得Dolphin可以与各种应用程序和服务无缝对接。
Dolphin的技术原理主要包括两个阶段：页面级布局分析和元素级内容解析。
1. 页面级布局分析
Dolphin使用Swin Transformer对输入的文档图像进行编码，提取视觉特征。Swin Transformer是一种高效的Transformer模型，能够捕捉图像中的长距离依赖关系。基于解码器，Dolphin生成文档元素序列，每个元素包含其类别（如标题、表格、图表等）和坐标位置。这一阶段的目标是按照自然阅读顺序生成结构化的布局信息。
2. 元素级内容解析
根据第一阶段生成的布局信息，Dolphin从原始图像中裁剪出每个元素的局部视图。然后，Dolphin使用特定的提示词（prompts）对每个元素进行并行内容解析。例如，表格用专门的提示词解析HTML格式，公式和文本段落共享提示词解析LaTeX格式。解码器根据裁剪后的元素图像和提示词，生成最终的解析内容。
Dolphin已经在GitHub和HuggingFace模型库上开源，并提供了在线体验Demo，方便开发者使用和研究。
- GitHub仓库：https://github.com/bytedance/Dolphin
- HuggingFace模型库：https://huggingface.co/ByteDance/Dolphin
- arXiv技术论文：https://arxiv.org/pdf/2505.14059
- 在线体验Demo：http://115.190.42.15:8888/dolphin/
Dolphin的应用场景非常广泛，可以应用于学术研究、商业办公、教育领域、技术开发和日常应用等。
1. 学术研究
Dolphin可以解析论文中的文本、公式和图表，助力文献整理和数据分析。研究人员可以利用Dolphin快速提取论文中的关键信息，提高研究效率。
2. 商业办公
Dolphin可以提取商业文档的关键信息，便于合同审查和报告生成。商务人士可以利用Dolphin快速了解合同条款和报告内容，减少人工阅读的时间。
3. 教育领域
Dolphin可以将教材和试卷数字化，支持在线学习和多语言教学。教师可以利用Dolphin将纸质教材转换为电子版本，方便学生在线学习。学生可以利用Dolphin进行多语言阅读，提高学习效率。
4. 技术开发
Dolphin可以解析技术文档，方便代码管理和技术交流。开发人员可以利用Dolphin快速查找技术文档中的关键信息，提高开发效率。
5. 日常应用
Dolphin可以快速处理日常文档，提高办公效率。用户可以利用Dolphin快速提取文档中的信息，如联系方式、地址等。
总而言之，Dolphin作为一款轻量级、高效的文档解析大模型，具有广泛的应用前景。随着技术的不断发展，Dolphin将在文档处理领域发挥越来越重要的作用。通过不断优化算法和扩展功能，Dolphin有望成为文档解析领域的领军者，为用户带来更加高效、便捷的文档处理体验。未来，我们可以期待Dolphin在更多领域得到应用，助力各行各业实现数字化转型。
