AIの評価
本パートの概要 これまでのパートでRAGの評価の重要性と、自動評価の代表的なライブラリであるRagasにおける計算方法の紹介を行ってきました。本パートでは、私(鈴木)がマニュアルでつけたスコアとRagasの評価の数値をの相関を取ることでRagasの評価値は私…
本パートの概要 前回のパートではRAGの自動での定量評価の有用性について述べさせていただきました。今回は、 RAGの一般的に用いられる評価指標 評価の代表的なライブラリであるRagasで上記評価指標の計算方法 に注目して紹介していきたいと思います! RAGの…
本ブログはこんな人におすすめ RAG (Retrieval Augmented Generation)を使ったアプリケーションを開発しているけど評価に関心のある人 LLM (Large Language Model)やRAGのハルシネーションをどう評価するのかに関心のある人 Ragas (RAGの評価ライブラリ:Ret…