在学术研究领域，文献检索是一项复杂且至关重要的信息获取任务。研究人员必须具备处理复杂专业知识领域检索的能力，以满足细致的研究需求。然而，现有的学术搜索平台，如谷歌学术，往往难以应对这些复杂的研究查询。例如，对于运用UCB方法的非平稳强化学习的专业查询，需要更强大的计算和分析能力。此外，研究人员在撰写文献综述时，通常需要投入大量的时间和精力手动浏览庞大的学术数据库。
尽管已有诸多研究探讨了大型语言模型（LLMs）在学术论文检索和科学发现中的应用，但传统的搜索工具仍然难以满足复杂的专业研究需求。许多研究集中于通过优化框架和提示工程技术开发LLM代理，尽管AGILE RL框架等方法已显著提升了代理的综合能力，但仍未找到一种自主且精确的学术论文检索解决方案，这为研究留下了较大的空白。
近期，字节跳动研究院与北京大学的研究人员共同提出了PaSa，这是一种创新的基于LLM的论文搜索代理。PaSa能够自主执行复杂的搜索策略，包括工具调用、论文阅读和参考选择，旨在为复杂的学术查询生成全面且准确的结果。为了优化PaSa的性能，研究团队创建了AutoScholarQuery，一个包含35,000个细粒度学术查询的合成数据集，并建立了RealScholarQuery作为评估代理实际性能的基准。该系统利用强化学习技术来增强搜索能力，解决了现有学术搜索方法中的主要局限性。
PaSa系统由两个LLM代理组成：爬虫（Crawler）和选择器（Selector），它们协同工作以执行全面的学术论文搜索。爬虫首先分析用户的查询，生成多个精细的搜索查询以获取相关论文，并将这些论文加入专用的论文队列中。爬虫会对每篇排队的论文进行处理，识别和探索可能拓展研究范围的关键引用，并动态地将新发现的相关论文添加到列表中。随后，选择器将评估每篇论文是否符合原始查询要求。
实验结果显示，PaSa-7b在多个基准测试中表现卓越。在AutoScholarQuery测试集上，PaSa-7b相比PaSa-GPT-4o在召回率上提高了9.64%。面对基于谷歌的基准时，PaSa-7b的召回率提升幅度在33.80%到42.64%之间。在更具挑战性的RealScholarQuery场景中，PaSa-7b更是展现出30.36%的召回率提升和4.25%的精确度提升。
总体而言，PaSa的推出标志着学术论文搜索技术的一次重大进步，为学术研究的信息检索提供了有效的解决方案。通过结合大型语言模型和强化学习技术，PaSa极大地减少了研究人员在文献综述中花费的时间和精力，同时也为他们提供了一种高效的工具，以应对日益庞大和复杂的学术文献环境。
代码：https://github.com/bytedance/pasa
论文：https://arxiv.org/abs/2501.10120
划重点：
📄 PaSa是字节跳动与北京大学研究人员共同推出的一款智能学术论文搜索代理。
🤖 该系统由爬虫和选择器两个LLM代理组成，能够自主执行复杂的搜索策略。
🏆 实验结果表明，PaSa-7b在多个基准测试中均表现优于现有的搜索方法，显著提高了论文检索的效率和准确性。
暂无评论