I. 执行摘要

本报告对 Cursor 编辑器 Agent 模式下 Claude 3.5 Sonnet、Claude 3.7 Sonnet、Claude 3.7 Sonnet Thinking、GPT-4o 和 o3-mini 这五种主要 AI 模型的性能进行了评估。分析表明，Claude 3.5 Sonnet 在代码生成准确性和上下文理解方面表现出色，使其成为复杂编码任务的首选。Claude 3.7 Sonnet 及其 “Thinking” 版本也提供了强大的功能，尤其是在理解整个代码库方面 1. GPT-4o 在速度和整体智能方面展现出强大实力，为需要快速响应的应用提供了有力的支持。o3-mini 虽然在成本效益方面具有优势，但在 Agent 模式下的性能表现不如其他几种模型稳定。对于优先考虑顶级性能和准确性的用户，建议选择 Claude 3.5 Sonnet、Claude 3.7 Sonnet 或 GPT-4o。对于预算有限的用户，o3-mini 可以作为一个经济实惠的选择，但需要注意其潜在的性能不一致性。

II. Cursor 编辑器 Agent 模式与 AI 模型集成简介

Cursor 是一款以人工智能为核心的代码编辑器，它基于 Visual Studio Code (VS Code) 构建，并在其基础上深度集成了 AI 功能，旨在优化开发流程并提升开发效率 2。与仅仅添加一些 AI 扩展的传统代码编辑器不同，Cursor 将 AI 功能深入嵌入到其核心操作中，从而提供智能代码建议、自然语言编辑和集成的调试工具等功能，以满足现代开发的需求 2。由于 Cursor 基于 VS Code，因此熟悉 VS Code 的用户可以轻松过渡并继续使用他们喜爱的扩展和设置 3.

Cursor 的 Agent 模式是编辑器内建的智能助手，旨在通过理解整个代码库、执行多文件编辑和运行终端命令来显著提高编码效率 2。Agent 模式的目标是自动化重复性任务并提供智能建议，使开发人员能够专注于解决复杂的难题 2。

在 Agent 模式中，AI 模型扮演着至关重要的角色。它们驱动着对代码库的理解、代码和命令的生成以及整体任务的完成能力。目前，Cursor Agent 模式主要支持五种 AI 模型：Claude 3.5 Sonnet、Claude 3.7 Sonnet、Claude 3.7 Sonnet Thinking、GPT-4o 和 o3-mini 3.

III. Cursor 编辑器 Agent 模式下可用的 AI 模型概述

• Claude 3.5 Sonnet:
• 由 Anthropic 开发，以其细致的理解能力和富有创意的输出而闻名 8。
• 被认为是一款强大的语言模型，擅长代码生成和理解复杂的指令 4。
• 在性能和速度之间取得了良好的平衡 8。
• 拥有较大的上下文窗口（20 万 tokens）4。
• 鉴于其智能性和处理上下文的能力，Claude 3.5 Sonnet 被认为是编码任务的有力竞争者。


• Claude 3.7 Sonnet:
• Anthropic 的最新模型之一，被认为是第一个能够理解整个代码库的 AI 模型 1.
• 在上下文中被认为是编码任务的强大竞争者 4.
• 拥有高达 12 万 tokens 的上下文窗口，能够处理大量信息 4.

• Claude 3.7 Sonnet Thinking:
• Cursor 中提供的 Claude 3.7 Sonnet 的一个特定版本 4.
• 与 Claude 3.7 Sonnet 共享其理解整个代码库的能力 1.
• 在 Cursor 中被视为一个单独的选项 12.
• 根据用户反馈，使用 “Thinking” 版本现在将消耗 2 个请求而不是 1 个 12.


• GPT-4o:
• OpenAI 最先进的语言模型，以其无与伦比的智能和理解能力而著称 8。
• 是 GPT-4 的更高效且更具成本效益的版本，专为编码任务而优化 13。
• 在各种基准测试中都展现出卓越的性能 14。
• 具备多模态能力 15。
• 由于其先进的功能和效率，预计 GPT-4o 在 Agent 模式下也会有良好的表现。

• o3-mini:
• OpenAI 的推理模型，针对 STEM（科学、技术、工程和数学）推理进行了优化，包括编码 16。
• 与之前的模型 o1 相比，以更快的响应速度而著称 16。
• 提供不同的推理强度选项（低、中、高）17。Cursor 被配置为使用“高”推理强度的模型 7。
• 与其他推理模型相比，具有成本效益 17。
• o3-mini 因其针对编码的优化和成本效益而在 Agent 模式下展现出潜力，但用户体验似乎有所不同。

IV. Cursor 编辑器 Agent 模式下各模型性能的深入分析

• Claude 3.5 Sonnet:
• 速度： 其运行速度是 Claude 3 Opus 的两倍 4，通常被认为速度快且高效 18。更快的速度使得在 Agent 模式下能够更快地进行迭代和完成任务。
• 编码任务的准确性： 擅长代码生成，目前通常被认为是**的编码模型 4。在一次内部的 Agent 编码评估中，解决了 64% 的问题 4，并在 HumanEval 等编码基准测试中取得了高分 4。高准确性意味着在 Agent 模式下，减少了手动修正的需求，AI 辅助更加可靠。
• 上下文理解： 是第一个能够理解整个代码库的 AI 模型 1，拥有 20 万 tokens 的大型上下文窗口，能够处理大量文档并保持连贯性 4。强大的上下文理解对于 Agent 模式自主执行多文件编辑和复杂任务至关重要。
• 处理多文件编辑和终端命令： Agent 模式通常默认使用 Claude 3.5 Sonnet，能够执行多文件编辑和运行终端命令 2。这表明 Claude 3.5 Sonnet 能够有效地驱动 Agent 模式的核心功能。
• 成本考量： 属于 Cursor 的高级请求，Pro 用户每月可获得 500 次快速高级请求 24。原始成本为每百万输入 tokens 3 美元，每百万输出 tokens 15 美元 4。虽然功能强大，但频繁使用可能会消耗有限的高级请求，如果使用量较大，则需要考虑成本。
• 用户反馈： 总体积极，用户推荐将其用于 Cursor 和 Agent 模式下的绝大多数任务 26。一些用户认为它是 Agent 模式下性能**的模型 26。积极的用户反馈表明 Claude 3.5 Sonnet 在实际应用中效果良好且令人满意。


• Claude 3.7 Sonnet:
• 速度： Claude 3.7 Sonnet 的运行速度是 Claude 3 Opus 的两倍 .
• 编码任务的准确性： 在编码能力方面表现出色，在 HumanEval 基准测试中取得了 92.0% 的高分 12.
• 上下文理解： 是第一个能够理解整个代码库的 AI 模型 1，拥有高达 12 万 tokens 的上下文窗口 4.
• 处理多文件编辑和终端命令： 可在 Agent 模式下使用 4.
• 成本考量： 属于 Cursor 的高级请求 24.
• 用户反馈： 用户普遍对其在 Cursor 和 Agent 模式下的性能表示满意 26.

• Claude 3.7 Sonnet Thinking:
• 速度： 与 Claude 3.7 Sonnet 类似，速度很快 .
• 编码任务的准确性： 具有与 Claude 3.7 Sonnet 相当的编码能力 12.
• 上下文理解： 同样能够理解整个代码库并处理长上下文 1.
• 处理多文件编辑和终端命令： 同样可在 Agent 模式下使用 4.
• 成本考量： 在 Cursor 中使用 “Thinking” 版本将消耗 2 个高级请求 12.
• 用户反馈： 一些用户发现它在处理复杂任务时非常有用 26.


• GPT-4o:
• 速度： 在初步测试中显示出高吞吐量（约 50 tokens/秒）27。高速度可以在 Agent 模式下带来更快的响应体验。
• 编码任务的准确性： 在 HumanEval 等基准测试中取得了高分 11，在通用语言任务和编码方面表现出色 14。这表明其在 Agent 模式下进行编码相关任务时具有良好的准确性。
• 上下文理解： 拥有较大的上下文窗口（GPT-4o mini 为 12.8 万 tokens，完整模型可能类似）22。对于 Agent 模式下理解大多数代码库来说，上下文窗口足够大。
• 处理多文件编辑和终端命令： 可在 Agent 模式下使用 3。能够驱动 Agent 模式的功能。
• 成本考量： 输入 tokens 的原始成本低于 Claude 3.5 Sonnet（每百万 tokens 0.04 美元 vs 3 美元），但输出 tokens 的成本相似（某些版本为每百万 tokens 0.04 美元 vs 15 美元，需要进一步明确）28。属于 Cursor 的高级请求 28。对于输入量大的任务，可能更具成本效益，但需要考虑输出成本。
• 用户反馈： 在提供的片段中，关于 GPT-4o 在 Cursor Agent 模式下的具体用户反馈有限。可能需要进一步研究以收集用户在这方面的具体体验。

• o3-mini:
• 速度： 与 o1 相比，性能更快（某些测试中快 24%）16。更快的响应时间可以改善 Agent 模式下的用户体验。
• 编码任务的准确性： 在中等推理强度下，其在数学、编码和科学方面的性能与 o1 相当 16，在竞争性编程基准测试中表现良好 20。然而，一些用户反馈表明，在 Cursor 中进行编码时，它的表现可能不如其他模型，在 ChatGPT 界面中的性能更好 7。虽然基准测试结果很有希望，但 o3-mini 在 Cursor Agent 模式下的实际性能可能不一致。
• 上下文理解： 拥有 20 万 tokens 的上下文窗口 17。大型上下文窗口应该足以满足大多数 Agent 模式的任务需求。
• 处理多文件编辑和终端命令： 可在 Agent 模式下使用 3。然而，一位用户报告说，它在 Agent 模式下无法实现更改，需要额外的步骤才能继续 31。与 Agent 模式功能的集成可能不如其他模型顺畅。
• 成本考量： 是 OpenAI 开发和发布的成本效益最高的推理模型 17。输入成本为每百万 tokens 1.10 美元，输出成本为每百万 tokens 4.40 美元 17。免费套餐的使用可能存在限制 32。与 Claude 3.5 Sonnet 和潜在的 GPT-4o 相比，成本显著降低，因此对成本敏感的用户很有吸引力。
• 用户反馈： 反馈不一。一些用户认为它在推理任务方面表现良好 7，而另一些用户则报告说，与 ChatGPT 相比，它在 Cursor 中的表现较差 7。还有报告称它在 Agent 模式下存在缺陷 31。用户对 o3-mini 在 Cursor Agent 模式下的体验似乎不如 Claude 3.5 Sonnet 稳定。

V. Cursor 编辑器 Agent 模式下 AI 模型性能比较矩阵

VI. 影响 Cursor 编辑器 Agent 模式下 AI 模型选择的因素

• 项目复杂性： 对于需要深入理解代码库和复杂多文件编辑的复杂项目，可能更倾向于选择具有强大推理能力和大型上下文窗口的模型，如 Claude 3.5 Sonnet、Claude 3.7 Sonnet 和 GPT-4o。Agent 模式处理复杂任务的能力直接取决于底层模型的功能。
• 预算限制： 如果成本是主要考虑因素，o3-mini 提供了一个更经济的选择，但应考虑其潜在的性能不一致性。成本与性能之间的权衡需要仔细评估。使用 Claude 3.7 Sonnet Thinking 版本会消耗更多请求，因此也应纳入预算考虑。
• 期望速度： 对于需要快速周转的任务，速度较快的模型（如 GPT-4o 和 o3-mini）可能更有优势。速度可以显著影响开发工作流程的效率。
• 特定的编码任务： 某些模型可能在特定类型的编码任务中表现更出色（例如，Claude 3.5 Sonnet 和 Claude 3.7 Sonnet 用于通用代码生成，o3-mini 用于与竞争性编程相关的任务）。了解每种模型在不同编码领域的优势可以提高特定任务的性能。
• 用户偏好和熟悉度： 开发人员可能基于过去使用不同模型的经验而有个人偏好。个人经验和舒适度可能在模型选择中发挥作用。
• 付费套餐和 API 密钥的获取： 获取 Cursor Pro 订阅以及使用个人 API 密钥以获得更具成本效益的解决方案的意愿 34 可能会影响模型的选择。利用自定义 API 密钥提供了更大的灵活性和潜在的成本节约，但某些 Cursor 功能可能存在限制 34。需要注意的是，OpenAI 的推理模型（o1、o1-mini、o3-mini）可能具有特殊的配置要求或与自定义 API 密钥的兼容性限制 34。此外，用户报告了在特定 Cursor 版本（如 0.47）中使用自定义 API 密钥时出现的问题 36。使用自定义 API 密钥允许用户利用 Cursor 未直接提供的模型或更有效地管理成本。然而，哪些模型支持自定义密钥的限制以及潜在的版本特定问题需要考虑。某些功能（如 Tab Completion）可能无法与自定义密钥一起使用，这也是一个重要的因素。
• Agent 模式功能的使用： 开发人员对特定 Agent 模式功能（如自主执行终端命令或多文件编辑）的依赖程度可能会倾向于选择在这些方面表现可靠且有效的模型。某些模型可能更适合充分利用 Agent 模式的全部潜力 40。

VII. 性能排行榜与建议

根据以上分析，针对在 Cursor 编辑器 Agent 模式下的使用，对五种 AI 模型进行如下性能排序：

1. Claude 3.7 Sonnet： 以其理解整个代码库的能力和强大的编码性能位居榜首。
2. Claude 3.5 Sonnet： 在代码生成准确性和上下文理解方面表现出色，尤其适合复杂的编码任务。
3. GPT-4o： 在速度和整体智能方面表现出色，适用于需要快速响应的应用。
4. o3-mini： 虽然成本效益高，但在 Agent 模式下的性能不如其他几种模型稳定，用户体验反馈不一。

针对不同的用户场景，提出以下建议：

• 对于优先考虑顶级性能和准确性，即使成本较高也在所不惜的用户：建议选择 Claude 3.7 Sonnet、Claude 3.5 Sonnet 或 GPT-4o。
• 对于需要利用 Claude 3.7 Sonnet 的独特 “Thinking” 功能来处理复杂推理任务的用户：可以选择 Claude 3.7 Sonnet Thinking，但需注意其更高的请求成本。
• 对于预算有限，寻求更经济实惠的选择，但愿意接受潜在性能不一致性的用户：可以考虑 o3-mini。
• 对于专注于特定类型任务（例如，竞争性编程）的用户：o3-mini 可能更适合。
• 对于重视性能和成本之间平衡的用户：Claude 3.5 Sonnet 和 Claude 3.7 Sonnet 在性能上都非常出色，但成本中等；GPT-4o 在速度上更快，成本与 Claude 相似。用户应根据具体需求进行权衡。

值得注意的是，Cursor 未来可能会更新和集成更多模型，这可能会影响当前的性能排名。

VIII. 结论

本报告对 Cursor 编辑器 Agent 模式下可用的主要 AI 模型的性能进行了全面的分析。分析表明，Claude 3.7 Sonnet 和 Claude 3.5 Sonnet 在准确性和上下文理解方面表现突出，而 GPT-4o 则在速度方面更具优势。o3-mini 虽然成本较低，但在 Agent 模式下的性能表现不如其他几种模型稳定。

选择合适的 AI 模型对于充分利用 Cursor 进行 AI 辅助编码至关重要。建议开发人员根据其项目的具体需求、预算限制和对速度与准确性的偏好来选择最合适的模型。此外，鼓励开发人员尝试不同的模型，以便找到最适合其个人需求和项目的方案。