RAGなし場合の検索精度

LLMTest_NeedleInAHaystack

https://github.com/gkamradt/LLMTest_NeedleInAHaystack


  • OpenAI's GPT-4-128K
  • Anthropic's Claude 2.1 について、文章の長さと検索対象となる箇所の位置を変えて、正しく抽出出来ているかをテスト

文章が長くなり対象数が増えると、精度が下がる(特に前半)

2024/06/30 01:04