做RAG知识库问答时，对于本地文件，一定是需要将文件正确解析才能给LLM用的。
又由于LLM在训练时，是让它根据已有输入，预测下一个token。这天然就是一个序列化的任务。
也因此，在使用LLM时，为了效果更好，给到它的输入也最好是序列化的。
对于一个复杂排版的PDF，比如双栏或者三栏的论文，我们自然是希望有个工具，能将论文里的每个段落，都按照人类阅读的顺序解析出来。
这样的结果，再给到LLM，就相对不容易胡说八道了。
那问题来了，怎么定量的分析，看一个文档解析工具有没有把段落按人类可阅读和理解的顺序排列呢？
具体的逻辑在下面的这篇帖子里写得比较清楚了，觉得不清楚的，也可以留言讨论呀😁
PS. 上周提到的公开测试集标注，我们已经找了100份标得差不多了，这周就会把数据集放出来，期待能给大家一些帮助~
