Beatrust techBlog

Beatrust 株式会社の公式開発者ブログです。

AIの評価

RAGの評価:Ragasの有用性の評価

本パートの概要 これまでのパートでRAGの評価の重要性と、自動評価の代表的なライブラリであるRagasにおける計算方法の紹介を行ってきました。本パートでは、私(鈴木)がマニュアルでつけたスコアとRagasの評価の数値をの相関を取ることでRagasの評価値は私…

RAGの評価:RAGの計算指標とRagasでの計算方法

本パートの概要 前回のパートではRAGの自動での定量評価の有用性について述べさせていただきました。今回は、 RAGの一般的に用いられる評価指標 評価の代表的なライブラリであるRagasで上記評価指標の計算方法 に注目して紹介していきたいと思います! RAGの…

RAGの評価:評価の必要性と問題点

本ブログはこんな人におすすめ RAG (Retrieval Augmented Generation)を使ったアプリケーションを開発しているけど評価に関心のある人 LLM (Large Language Model)やRAGのハルシネーションをどう評価するのかに関心のある人 Ragas (RAGの評価ライブラリ:Ret…