书接上回,这次就来说说效果到底怎么样。 先说结论:不知道是bug还是啥原因,似乎kimi超长上下文并不能读取全部文件内容(测试的txt文件只有约20万字,远未达到上限)。 下面是过程: (1)我首先测试了一下它的基本能力,把书的前100字输出,这个基本准确,效果如图2 (字数不太准,不过这个也是LLM通病了) (2)随后测试了一下输出后200字,没想到问题在这么基础的阶段就出现了:它并不能看到后面的全部内容,而只能读到大约全文三分之一的地方(回答如图3,真正的结尾是图4)。 (3)为了进一步确认,又让它对总字数做了统计(图5),这个也不太对(真正字数见图6),而且也并非截止到1/3处的字数(图7) (4)第三条途径确认:我问了一个后面章节的简单问题它也完全不知道(图8),它认为作者没有参与到金融领域的工作,然而作者这本书都叫《宽客人生》,显然重心是在讲他投身金融领域的故事的。 总结一下:Kimi超长上下文虽然在接收超长文本的时候没有提示进行了截取,但在我的测试中似乎它实事上把长文给截断了,并且只读取了一部分 #kimi #月之暗面 #llm #上下文 #长文本