3.1.1 原始文档 → 文本块
3 / 8To start, the documents in the corpus are split into text chunks. The LLM extracts information from each chunk for downstream processing. Selecting the size of the chunk is a fundamental design decision; longer text chunks require fewer LLM calls for such extraction (which reduces cost) but suffer from degraded recall of information that appears early in the chunk ( Liu et al.,, 2023 ; Kuratov et al.,, 2024 ) . See Section A.1 for prompts and examples of the recall-precision trade-offs.
首先,将语料库中的文档切分为文本块。大语言模型从每个文本块中提取信息,供后续步骤处理。文本块大小是一项基础设计决策:较长的文本块意味着此类抽取所需的模型调用更少,因此成本较低,但模型对文本块前部信息的召回表现会下降(Liu 等,2023;Kuratov 等,2024)。提示词以及召回率与精确率之间取舍的例子,见附录 A.1。
本节正文与示例对照,图表及其他章节请查阅原文。译文尚未经人工专业审校。
短块可能拆散什么关系?长块又可能遗漏什么信息?
划选正文也可以保存重点。笔记默认仅自己可见,确认公开后才进入共学社区。
分块涉及成本与信息保留的取舍。这里是论文的方法描述,具体长度与模型表现需要实际评测。