如何评价 OpenAI DeepResearch 的开源平替Open DeepResearch?
Deep Research 的使用成本很贵，它的开源平替效果如何？ 1. Test-Time Compute（测试时计算）在深入了解 DeepSearch 和 DeepResearch 之前，我们得先搞明白一个概念：Test-Time Compute（测试时计算）。其实，很多功能的设计都是围绕着 Test-Time Compute 来展开的。
这个概念最早是 OpenAI 在去年 9 月发布的 “o1-preview” 模型中提到的。它的核心思想是，与其在模型的预训练和微调阶段投入大量资源，不如在推理阶段（Reasoning）集中精力进行高级处理。
Test-Time Compute（TTC）是指当一个 AI 模型在训练完成后，实际执行任务或生成回应时所需要的计算资源和时间。简单来说，就是模型在实际使用时的计算需求，而不是在训练阶段的需求。
Test-Time Compute（TTC）的几个关键点：
[*]推理过程：当你向模型输入问题或提示时，它会处理输入并生成回应。这个处理的计算成本就叫做 Test-Time Compute。
[*]推理阶段的扩展：一些先进的 AI 模型，比如 OpenAI 的 o1 系列，在推理过程中会根据需要动态增加思考时间。也就是说，它们可以在面对复杂问题时花更多时间思考，从而提高准确性，但也需要消耗更多的计算资源。
通过在推理阶段投入更多计算资源，o1 模型能够进行更深入的推理，从而提供更准确、更有深度的回答。o1 使用的是一步步思考的方式，也就是 Chain-of-Thought 方法，最终得出一个结论。因此，o1 模型在解决复杂问题时非常有优势。
举个例子，如果让模型执行类似 Chain-of-Thought（思维链）的“边思考边推理”过程，最终的输出质量可以显著提升。虽然这个过程会消耗更多时间，但随着大语言模型（LLM）越来越普及，用户也渐渐习惯了等待模型思考。只要结果足够好，大家也能接受稍长的等待时间。
想了解更多关于 Test-Time Compute 的内容，可以参考 Hugging Face 这篇文章：
https://huggingface.co/blog/Kseniase/testtimecompute#/
2. 什么是 DeepSearch
DeepSearch 可以理解为一种“高级的网页搜索代理”。传统的网页搜索代理通常只是用已有的搜索工具来收集信息，然后生成答案，它基本上只进行了一次搜索。而 DeepSearch 则在搜索过程中加入了“推理”这一环节。
简而言之，DeepSearch 的工作原理是不断地进行“搜索 → 推理 → 搜索 → 推理…”的循环，直到找到最合适的答案，或者达到 Token 限制为止。
下图展示了 DeepSearch 和传统网页搜索代理的处理流程对比。DeepSearch 的最大特点就是它通过多次搜索和推理的过程，最终得出更准确的答案。
3. 什么是 DeepResearch
另外，DeepResearch 可以看作是 DeepSearch 的一个典型应用案例。它的主要目标是“自动生成研究报告”。用户只需要提供一个主题，DeepResearch 就会首先规划出报告的大致章节结构。接着，针对每个章节，DeepResearch 会利用 DeepSearch 进行信息搜索和推理。最后，借助大语言模型（LLM）整理和整合这些信息，最终生成完整的研究报告。
4. DeepSearch vs DeepResearch
最后，我们来简单总结一下 DeepSearch 和 DeepResearch 之间的关系和区别。简单来说，DeepSearch 是一种即将成为主流的全新 AI 搜索方法，而 DeepResearch 则是基于 DeepSearch 的一种典型应用。 写研究报告通常是件非常耗时的事，但随着越来越多的 AI 服务推出 DeepResearch 功能，未来我们可能只需要短时间就能生成高质量的报告。
虽然 DeepSearch 的处理时间可能稍微长一些，但如果它能够通过深入的信息收集和推理，提供高质量的结果，相信用户是可以接受的。
另外，LangChain，Jina等最近也开源了他们自己实现的 DeepResearch，感兴趣的朋友可以通过以下链接尝试下。
[*]https://github.com/langchain-ai/open_deep_research?tab=readme-ov-file#/
[*]https://github.com/jina-ai/node-DeepResearch
[*]https://github.com/zilliztech/deep-searcher
引言：认识GPT Researcher的强大研究能力
GPT Researcher作为一款备受欢迎的开源AI研究报告生成工具，已经获得了广泛关注，我之前也在公众号文章中进行过全面介绍。本文将重点解析GPT Researcher最新推出的"Deep Research"（深度研究）功能。与当前火热的一系列"Open Deep Research"项目类似，这项创新功能能够对任何研究主题进行前所未有的广泛且深入的探索和分析。
同时，本文还将详细讲解如何自定义配置不同的大型语言模型（LLM）以及嵌入模型（Embedding Model），特别是如何配置OpenRouter API和VoyageAI等先进的AI模型服务来实现高效深度研究功能，解决模型访问限制问题。
GPT Researcher全面简介：AI驱动的自主研究助手
GPT Researcher是一个基于大型语言模型（LLM）的自主代理系统，能够对任何主题进行深入的本地和网络研究，并生成带有详细引用的专业报告。它的核心优势在于能够智能自动化整个研究过程，包括信息搜索、内容分析和报告生成，大大提高了研究效率和全面性。
GPT Researcher星标增长趋势
如上图所示，GPT Researcher作为GitHub上一个拥有上万星标的开源项目，已经成为众多研究人员、学者和内容创作者的得力助手。该工具的主要目标是通过人工智能辅助研究，使用户能够快速获取深入、全面且有可靠依据的专业信息。
GPT Researcher的性能评估：令人印象深刻的准确率
SimpleQA基准测试的卓越表现
GPT Researcher在最新的v3.2.3版本中展示了其强大的研究能力。根据官方发布的评估结果，GPT Researcher在OpenAI的SimpleQA数据集上实现了令人印象深刻的93%准确率。这一成绩超过了当前许多领先的研究工具，有力证明了其在事实性查询和信息检索方面的卓越性能。
SimpleQA是OpenAI发布的一个事实性问答基准测试数据集，专门用于评估语言模型回答简短、寻求事实的问题的能力。该数据集包含4,326个精心设计的问题，涵盖从科学技术到娱乐等广泛领域，为评估模型的事实准确性提供了高质量的标准。
项目的广泛应用价值
GPT Researcher的高准确率表现不仅证明了其强大的技术实力，还凸显了其在多个领域的广泛应用潜力：
[*]学术研究：研究人员可以利用GPT Researcher快速获取相关文献和数据，显著加速研究进程
[*]商业分析：企业可以使用它进行深度市场研究、竞争对手分析和行业趋势预测
[*]教育辅助：教师和学生可以获取准确的学习材料和高质量参考资源
[*]内容创作：作家和内容创作者可以获得可靠的背景信息和事实依据，提升内容质量
[*]决策支持：政策制定者和管理者可以基于全面且准确的信息做出更明智的战略决策
GPT Researcher的Deep Research功能详解：AI深度研究的新境界
随着AI社区中"深度研究"趋势的兴起，GPT Researcher推出了自己的开源深度研究功能Deep Research。该功能相当于一种先进的递归研究系统，能够以前所未有的深度和广度深入探索复杂研究主题。
在默认的探索深度和广度设置下，每次深度研究大约需要5分钟完成，使用o3-mini模型在"high"推理努力级别下的成本约为0.4美元，性价比极高。
Deep Research的工作原理：树状探索的智能研究模式
Deep Research采用了一种创新的树状探索模式，具有以下核心特点：
[*]广度（Breadth）：在每个层级，系统会智能生成多个搜索查询，以全面探索主题的不同方面
[*]深度（Depth）：对于每个分支，系统会递归地深入挖掘，精确跟踪线索并发现关键连接
[*]并行处理：高效利用异步/等待模式同时运行多个研究路径，大幅提升研究速度
[*]智能上下文管理：自动聚合和综合所有分支的发现，构建完整知识体系
[*]进度跟踪：实时更新研究在广度和深度维度上的进展，提供透明研究过程
可以将其想象为部署了一个高效AI研究团队，每个成员都在追踪自己的专业研究路径，同时协作构建对主题的全面深入理解。
Deep Research的工作流程：从核心到分支的递归探索
Deep Research的工作流程可以用下图来直观表示，从一个核心查询开始，然后智能分支到多个子查询，每个子查询又可以进一步分支，形成一个完整的递归研究网络。
Deep Research工作流程图
快速开始使用Deep Research：简单三步实现深度研究
以下是使用Deep Research功能的一个简短Python代码示例：
from gpt_researcher import GPTResearcher
from gpt_researcher.utils.enum import ReportType, Tone
import asyncio
async def main():
# 初始化研究器，启用深度研究模式
researcher = GPTResearcher(
query="AI Agent最新的发展是什么？",
report_type="deep",# 这会触发深度研究模式
)
# 执行研究
research_data = await researcher.conduct_research()
# 生成报告
report = await researcher.write_report()
print(report)
if __name__ == "__main__":
asyncio.run(main())整个研究过程只需三个简单步骤：
[*]初始化研究器：启用深度研究模式，可以根据具体需求配置研究员的各种参数
[*]执行研究：系统会通过多种智能方式，如高级搜索引擎查询获取信息，构建完整研究上下文
[*]生成报告：将研究的上下文和研究结果整合成专业报告，可以自定义报告的撰写格式和输出方式，如按照APA学术论文格式，用Markdown输出
Deep Research高级配置参数：定制你的研究深度和广度
Deep Research的基本行为可以通过几个关键参数进行灵活自定义：
[*]deep_research_breadth：每个层级的并行研究路径数量（默认：4）
[*]deep_research_depth：探索的深度级别数（默认：2）
[*]deep_research_concurrency：最大并发研究操作数（默认：4）
[*]total_words：生成报告的总字数（默认：2000）
这些参数可以通过环境变量或配置文件进行便捷设置：
环境变量方式：
export DEEP_RESEARCH_BREADTH=4
export DEEP_RESEARCH_DEPTH=2
export DEEP_RESEARCH_CONCURRENCY=4
export TOTAL_WORDS=2000配置文件方式： 建立如下的配置文件config.yaml：
deep_research_breadth: 4
deep_research_depth: 2
deep_research_concurrency: 4
total_words: 2000然后在代码中指定配置文件路径：
researcher = GPTResearcher(
query="你的研究查询",
report_type="deep",
config_path="path/to/config.yaml"# 在这里配置深度研究参数
)灵活的模型配置：多种AI模型支持与切换
GPT Researcher默认使用OpenAI的模型，但它支持多种开源和闭源的LLM和嵌入模型。可以通过更新SMART_LLM、FAST_LLM和EMBEDDING等环境变量轻松切换不同模型。
支持的LLM和嵌入模型：丰富的AI模型生态
当前支持的LLM包括： openai、anthropic、azure_openai、cohere、google_vertexai、google_genai、fireworks、ollama、together、mistralai、huggingface、groq和bedrock以及litellm。
当前支持的嵌入模型包括： openai、azure_openai、cohere、google_vertexai、google_genai、fireworks、ollama、together、mistralai、huggingface、nomic、voyageai和bedrock。
配置OpenAI：标准设置方法
下面是默认使用的OpenAI配置示例：
# 设置OpenAI API密钥
OPENAI_API_KEY=[你的密钥]
# 指定LLM
FAST_LLM="openai:gpt-4o-mini"
SMART_LLM="openai:gpt-4o"
STRATEGIC_LLM="openai:o3-mini"
# 指定嵌入模型
EMBEDDING="openai:text-embedding-3-small"配置自定义LLM：扩展模型支持
对于上述列表中不支持的LLM，如果符合OpenAI API的格式，就可以通过配置自定义LLM，走OpenAI的通路，通过指定openai:{your-llm}来实现：
# 设置自定义OpenAI API URL
OPENAI_BASE_URL="http://localhost:1234/v1"
# 设置自定义OpenAI API密钥
OPENAI_API_KEY="dummy_key"
# 指定自定义LLM
FAST_LLM="openai:your_fast_llm"
SMART_LLM="openai:your_smart_llm"
STRATEGIC_LLM="openai:your_strategic_llm"配置OpenRouter API解决o3-mini访问限制问题：突破使用障碍
大家可能发现，支持的LLM列表中没有OpenRouter，但是OpenRouter的API是可以基于OpenAI API格式访问的，所以可以使用上面的自定义方式来灵活实现。
对于Deep Research功能，官方推荐使用o3-mini模型以获得最佳性能。然而，OpenAI的o3-mini模型API有访问限制，需要Tier 3级别的账户才能使用，这对许多用户来说是一个实际障碍。这也是为什么本文推荐使用OpenRouter API的重要原因。
要配置OpenRouter API，可以按照以下简单步骤操作：
[*]在OpenRouter官方网站上注册并获取API密钥
[*]按如下方式建立.env文件，设置环境变量：
# 设置OpenRouter作为基础URL
OPENAI_BASE_URL="https://openrouter.ai/api/v1"
# 设置OpenRouter API密钥
OPENAI_API_KEY="your_openrouter_api_key"
# 指定要使用的模型（使用OpenRouter格式）
FAST_LLM="openai:openai/gpt-4o-mini"
SMART_LLM="openai:openai/o3-mini-high"
STRATEGIC_LLM="openai:openai/o3-mini-high"OpenRouter嵌入模型的局限性：需要寻找替代方案
虽然OpenRouter成功解决了o3-mini访问限制的问题，但它目前不提供OpenAI的嵌入模型。这意味着当你通过OpenRouter使用OpenAI的o3-mini时，你需要为嵌入模型寻找高质量的替代解决方案。这就是为什么我们需要引入VoyageAI作为专业嵌入模型提供者的关键原因。
VoyageAI简介：先进的嵌入模型提供商
VoyageAI提供尖端的嵌入和重排序模型。这些高级模型可以将非结构化和复杂数据（如文档、图像、音频、视频或表格数据）转换为密集的数值向量，精确捕获其语义含义。
VoyageAI的嵌入模型和重排序器在检索准确性方面处于最先进水平，在某些特定场景下甚至优于OpenAI的嵌入模型。它们作为模块化组件，可以无缝集成到RAG（检索增强生成）堆栈的其他部分，包括向量存储和生成式大型语言模型（LLM）。官方网站：https://www.voyageai.com/，需要注册申请API Key。
配置VoyageAI作为OpenAI嵌入模型的替代品：完美组合方案
当通过OpenRouter使用OpenAI的LLM（如o3-mini）时，我们可以使用VoyageAI的嵌入模型作为高质量的替代方案。这种创新组合可以让你在没有OpenAI Tier 3账户的情况下，仍然能够使用高性能的LLM和嵌入模型进行专业Deep Research。
要在GPT Researcher中配置这种组合，可以按照以下方式对.env文件进行设置：
# 设置OpenRouter作为基础URL
OPENAI_BASE_URL="https://openrouter.ai/api/v1"
# 设置OpenRouter API密钥
OPENAI_API_KEY="your_openrouter_api_key"
# 指定要使用的模型（使用OpenRouter格式）
FAST_LLM="openai:openai/gpt-4o-mini"
SMART_LLM="openai:openai/o3-mini-high"
STRATEGIC_LLM="openai:openai/o3-mini-high"
# 设置VoyageAI作为嵌入模型提供者
VOYAGE_API_KEY="your_voyage_api_key"
EMBEDDING="voyageai:voyage-3-lite"VoyageAI的嵌入模型选项：针对不同领域的专业模型
VoyageAI提供了多种专门的嵌入模型，可以根据具体研究领域选择最适合的专业模型，例如：
[*]voyage-3-lite：通用嵌入模型，适用于大多数研究场景
[*]voyage-code-2：针对代码和技术内容优化的专业模型
[*]voyage-law-2：针对法律领域优化的专业模型
下图是VoyageAI提供的文字嵌入模型的完整选择列表：
VoyageAI文字嵌入模型选择列表
总体上来讲，根据任务的复杂度选择，每个模型都有一些免费的额度供测试。
结论：AI辅助研究的未来之路
GPT Researcher的Deep Research功能代表了AI辅助研究领域的重要技术进步，通过创新的递归树状探索模式，能够对任何复杂主题进行前所未有的深入和广泛研究。虽然这一功能推荐使用o3-mini模型以获得最佳性能，但OpenAI的访问限制（需要Tier 3账户）可能会阻碍许多用户充分利用这一强大功能。
幸运的是，通过本文介绍的组合使用OpenRouter API和VoyageAI的方法，我们可以有效绕过这些技术限制，创建一个强大且经济实惠的研究环境。OpenRouter允许我们便捷访问OpenAI的高性能模型，如o3-mini，而VoyageAI则提供了高质量的嵌入模型，作为OpenAI嵌入模型的完美替代品。这种创新组合方案使得任何用户，无论是否拥有OpenAI的高级账户，都能充分利用GPT Researcher的Deep Research功能。
通过合理配置和使用GPT Researcher，研究人员、学者和内容创作者可以显著提高研究效率，获取更全面、更深入的专业信息，从而做出更明智的决策和创造更有价值的高质量内容。随着AI技术的不断发展，我们可以期待GPT Researcher等工具将继续革新研究方法，为知识探索和创新带来更多可能性。
页:
[1]