VLM解几何题总翻车？GEODPO从「看」入手：用结构化表示+DPO优化，让模型先看懂再推理

4 天前

AI资讯

7 阅读

标签内容：

VLM解几何题时常因空间“看”不准而失败，新框架GEODPO引入结构化几何表示与DPO优化，让模型先看懂再推理。

当前，VLM（视觉语言模型）在处理几何问题时，往往难以超越“看图说话”的阶段。尽管它们能够识别图像中的基本元素，但在面对复杂的几何结构、角度关系以及空间位置时，模型常因缺乏精确的几何表征而产生幻觉，导致推理失败。这种局限性不仅阻碍了VLM在教育辅导、工程设计等领域的应用，也暴露了单纯的端到端训练在处理结构化知识时的不足。

为了解决这一痛点，研究界开始探索将结构化信息引入VLM的路径。这不仅仅是简单的图像识别，而是让模型学会将视觉信号转化为几何实体。

视觉与几何的鸿沟：VLM的瓶颈

传统VLM大多基于2D图像进行特征提取，虽然在语义理解上表现出色，但在几何精度上却差强人意。几何问题的核心在于精确的空间关系——长度、角度、平行与垂直等，这些信息在常规的像素级特征中容易被模糊化。

具体来说，当前VLM解几何题的瓶颈主要体现在：

空间感知缺失：模型无法准确感知图形的深度和相对位置，导致无法判断两线是否相交或两三角形是否相似。
结构化信息丢失：将几何图形作为自然图像处理，忽略了其背后的数学定义和约束条件。
逻辑推理断裂：即使“看”到了图形，也无法将其转化为数学公式进行推导。

VLM解几何题总翻车？GEODPO从「看」入手：用结构化表示+DPO优化，让模型先看懂再推理

GEODPO框架的创新：结构化表示 + 偏好优化

GEODPO（Geometric Direct Preference Optimization）应运而生，它不再让模型盲目地从像素中学习几何，而是提供了一条“先结构化，后优化”的路径。

1. 引入结构化视觉表示

与传统VLM直接输入RGB图像不同，GEODPO引入了结构化的几何表示作为视觉输入的补充或替代。这意味着模型看到的不再仅仅是像素阵列，而是点、线、面以及它们之间的数学关系。

图元提取：在输入阶段，利用几何解析器提取图形中的关键图元（如顶点、边、圆）。
关系向量化：将这些图元转化为结构化的特征向量，明确标注它们之间的约束关系（如：A点在B点之间，线段AB垂直于CD）。
增强鲁棒性：这种表示方式让模型能够忽略光照、颜色等无关噪音，专注于几何本质。

2. DPO（直接偏好优化）的针对性应用

仅仅有好的表示还不够，GEODPO通过DPO技术，专门针对几何推理的“中间过程”进行优化。

偏好构建：构建包含正确推理路径和常见错误路径的偏好数据集。例如，对于同一个几何图形，一条是基于错误角度计算的路径（Rejected），一条是基于正确相似三角形推导的路径（Chosen）。
精细化对齐：DPO不仅优化最终答案，还对推理步骤中的逻辑链进行约束，迫使模型在“看”图时，就能偏向于关注正确的几何特征。