導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。 今回は、RAGの要であるEmbeddingの性能を大きく低下させてしまう、文章の特性について解説します。 このブログで紹介している内容は以下の論文を元に作成しておりますので、詳細はそちらをご確認ください。RAGを構成してみたが、どうしても正解の文章を取ってこれない！そんなときはもしかするとこの論文で紹介されているような文章になってしまっているかもしれません。 サマリー Embeddingは、RAGの検索能力の根幹に関わる機能ですが、そのの性能や特性についてはあまり知られてはいません。実は、保管するテキストの文体や分割方法次第で最大90％程度、検索性能が下がってしまいます。 今回紹介する論文では、Embeddingの性能を著しく下げるテキストの特徴を調べ、その性質についてまとめています。特に「文章の位置」、「使用する単語」、「文章量」
本記事では、RAGの性能を高めるために「あえてノイズを注入する」手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 OpenAIがリリースした「Deep Research」[1]という機能が話題です。その中で、「AIが、全然関係ない思考を挟んでいる」という、興味深い報告がされています。[2] そして面白いのは、OpenAIが意図的にそうしている可能性が指摘されていることです。 そこで、この記事では、上記の根拠として挙げられている論文[3]について、日本語で簡単にまとめます。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合はこちらの記事もご参考下さい。 本題 ざっくりサマリー この論文は、RAGシステムにおいて、ノイズ（=無関係な文書）が与える影響を分析したものです。サ
本記事では、RAGの性能を高めるための「Agentic RAG」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 この記事は、「AIエージェント」をRAGに取り入れた手法である「Agentic RAG」のサーベイ論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合はこちらの記事もご参考下さい。 本題 ざっくりサマリー Agentic RAG は、RAGの新しい手法です。この論文では、「RAGにAIエージェントを使っている」とはどういう状態なのか、どんなパターンがあるのかまとめられています。クリーブランド・ステート大学の研究者らによって、2025年1月に発表された論文です。 最近、「AIエージェント」が注目されてい
IBM watsonx.ai DojoでRAGとして様々なファイルのフォーマットを使用するための変換ツールを紹介していただきました。 それが今回紹介するDoclingです😊 Doclingとは？ Doclingは、簡単にいうならば様々なドキュメントに対応したHTML、Markdown、JSONへのコンバートツールになります。 ds4sd.github.io 【Doclingの特徴】 一般的な文書フォーマット（PDF、DOCX、PPTX、XLSX、画像、HTML、AsciiDoc、Markdown）を読み取り、HTML、Markdown、JSON（埋め込み画像や参照画像付き）にコンバート可能 ページレイアウト、読み取り順序、表構造を含む高度なPDF文書理解の能力もつ DoclingDocumentを使用することで、統一性と表現性を実現 LangChain、LlamaIndex、Crew A
RAG（Retrieval Augmented Generation：検索拡張生成）を社内で活用する企業が増えている。エクサウィザーズが2024年12月に公開したレポートによれば、同社セミナー参加者の内、「RAGを業務で活用している」と回答した企業は22.1％に上った。同年5月に実施した調査では4.0％であったことから、短期間で大幅にRAG活用が進んでいる様子がうかがえる。 製造業に限って見ても、試験的な導入を超えてRAG活用を本格化させようとする動きは非常に活発化している。これは、生成AIの効果的な活用を推進する上で、社内に蓄積されたデータやナレッジの活用が極めて重要だと多くの企業が気付き、すでにアクションを起こしていることの表れであろう。 RAG以外にも生成AIの回答精度を高める新規技術が登場している。その意味で、今後もRAGが生成AI活用に欠かせない強力なツールであり続けられるのかま
既存RAGの課題、ハルシネーションやコンテキスト理解不足など 企業における生成AI活用では、情報の正確性が特に重視される。そのため、生成AIを利用する場合、検索拡張生成（RAG）の導入が一般的となっている。RAGとは、生成AIに外部データベースを接続することで、より正確な回答を生成する手法。RAGは特に文書要約やシンプルなクエリへの回答で優れたパフォーマンスを発揮するといわれている。 しかし、既存のRAGシステムには、いくつかの課題が存在する。課題は大きく4つに分類される。 第1の課題は、RAGだけでは情報の正確性が担保できないことだ。たとえば、営業担当者が商談の売上を問い合わせた場合、チャットログやメール、CRMなど、複数のデータソースが参照対象に含まれる。この場合、CRMが最も信頼できる情報源となるはずだが、RAGシステムは、自律的にそのことを判断できないため、古いメールから誤った情報
![AIエージェントの発展とRAGの新境地、「エージェンティックRAG」が注目される理由 | AMP[アンプ] - ビジネスインスピレーションメディア](https://cdn-ak-scissors.b.st-hatena.com/image/square/dc80dbf681bce7b94a93e773a47e80104858886e/height=288;version=1;width=512/https%3A%2F%2Fv17.ery.cc%3A443%2Fhttps%2Fampmedia.jp%2Fwp-content%2Fuploads%2F2024%2F11%2Fshutterstock_2453842259.jpg)
本記事では、現在流行している「RAG」技術について、2024年トレンドの振り返りと、2025年の予想をします。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 2024年は、RAGが大流行した年でした。この記事では、2024年の技術トレンドを振り返りつつ、2025年のRAGの進展を予想したいと思います。技術的トレンドはもちろん、普段、企業向けにRAGを提供している会社としての、僕の肌感覚も合わせて、お伝えできればと思います。 本題 ざっくりサマリー 結論として、RAGは、来年も変わらず流行し続けると予想します。 まず来年は、これまで以上に回答精度が向上するのは間違いないです。その理由は、LLMの価格低下トレンドと入力できるコンテキスト増大トレンドが、まだ続くためです。加えて、LLMが「視覚・音声」の入力手段を獲得したこと、ベクトルD
こんにちは、AWS re:Invent から帰国した a2 (@Atsuhiro_tim) です。すき家がサラダをつけても $5 で、その美味しさと安さに涙を流しています。 さて、AWS re:Invent 2024 のセッションカタログを見ると、今年も GenAI が猛威を振るっていたことがわかります。 昨年は Gen AI x 〇〇 が多かったのですが、今年は一歩進んで、 RAG x 〇〇 や Agent x 〇〇 が出てきました。RAG については機能リリースのニュースは認識していたものの、実際に触ることがなかったので、今回の re:Invent で Gen AI や RAG 関連のセッションに参加してきました。複数のセッションの学びをまとめてシェアしたいと思います。 参加したセッション： Explore generative AI use cases with LangChain
本記事は Algomatic で開催している 2024 年度 アドベントカレンダー の一枠として投稿しています！弊社員による投稿もよければご覧ください 🎄📅 コンペ概要投稿数：3,634件 参加人数：1,464人 トップスコア推移（https://signate.jp/competitions/1407/leaderboard#scoregraph）タスク概要著作権が切れた 7 作品の 小説データ を対象とする長文読解タスク 与えられた 質問に対して小説から該当する解答を生成 する GPT-4o が解答の正確性を分類 して最終スコアが LB に反映される なお LLM-as-a-Judge や人が作問している以上、表層レベルでの判定誤りが発生する可能性は許容しないといけない 正確性の分類（https://signate.jp/competitions/1407#evaluation よ
・機能の多様化&複雑化 ・生成AIに仕事の一部を任せる ・ハルシネーションは許されなくなっていく ・出力内容の評価も生成AIが行う ・人間は更なる精度向上を求める ・生成AIを使いこなす技術力と知識が必要 ・AIがAIを使う時代へ このように移り変わっていくフェーズが来ている、と個人的には感じました。 ここからは、前述した3つのトレンドについて、1つずつ掘り下げていきます。 LLMが生成した出力を、LLMで評価する 例えば「オンライン薬局のLLMマルチエージェントを支えるLLM Ops」というセッションでは、患者さんとメッセージをやり取りする薬剤師さんに対して、返信のレコメンド文をLLMに出力させるという取り組みをされていました。 このサービスにおけるミッションは「漢方をお客様に販売すること」なので、虚偽・不正確な情報が入っていては困ります。 LLMが生成したメッセージを薬剤師さんがチェッ
ガートナージャパンが「日本における未来志向型インフラ・テクノロジのハイプ・サイクル：2024年」発表。Web3やNFTは幻滅期、生成AIは過度な期待、汎用AIは黎明期 調査会社のガートナージャパンは、「日本における未来志向型インフラ・テクノロジのハイプ・サイクル：2024年」を発表しました。 ハイプサイクルとは ガートナーのハイプサイクルは、技術の登場から安定までを5つのステージに分けて説明したものです。5つのステージは、「黎明期」から始まり、「『過度な期待』のピーク期」「幻滅期」「啓発期」「生産性の安定期」まで。この途中で消えていく技術もあります。 米調査会社のガートナーはグローバルな視点で毎年「先進テクノロジのハイプ・サイクル」を発表していますが（今年もおそらく間もなく発表されると思われる）、今回発表されたのは日本において、未来志向型と捉えられるテクノロジやトレンドとなっている40のキ
IT Leaders トップ ＞ テクノロジー一覧 ＞ AI ＞ インタビュー ＞ 生成AIの業務活用のカギはRAG、AIはアルゴリズムから「World Model」へ─専門家が説く現状と将来 AI AI記事一覧へ [インタビュー] 生成AIの業務活用のカギはRAG、AIはアルゴリズムから「World Model」へ─専門家が説く現状と将来 米ガートナー バイスプレジデント アナリスト アンソニー・ムレン氏 2024年7月25日(木)田口 潤（IT Leaders編集部） リスト 生成AIが画期的な技術であることは論を要しない。だれもが簡単に利用でき、文書の作成や要約、翻訳、問い合わせへの回答、アイデア出し、表や図形・画像の自動作成など、さまざまな処理を高いレベルでこなしてくれる。半面、進化の最中にある技術であり、平気で間違えることもあって、業務で効果的に活用するのはそれなりに難しい。企業
G-gen の堂原と又吉です。当記事では、Amazon Web Services（AWS）、Microsoft Azure、Google Cloud（旧称 GCP）が提供するフルマネージドな RAG サービスの比較を行います。 はじめに 当記事について RAG とは 3社比較 前提条件 機能比較 料金シミュレーション 想定シナリオ AWS Azure Google Cloud 総評 AWS Azure Google Cloud 詳細の解説 Knowledge bases for Amazon Bedrock（AWS）の詳細 構成図 プロダクト一覧 Knowledge bases for Amazon Bedrock Amazon S3 Amazon OpenSearch Service できること 検索 対応データソース 料金 概要 基盤モデル利用料金 ベクトルデータベース料金 Azure
スライド概要 実務においてRAG（Retrieval-Augumented Generation）をたっぷり経験したhoxo-mの学びと現場のノウハウをまとめた
はじめに 自宅PC編 会社サーバ編 感想等 執筆者：佐藤友昭 ※ 「ディスアグリゲーテッドコンピューティングとは何か?」連載記事一覧はこちら はじめに 作業ログや検討メモ、参照した定型論文や書籍、ネット上の記事、視聴した講演やウェビナーのメモ等、日常を記録する情報は日々増えていく。これらの情報はできれば後に役立てたいと思うが、筆者の場合、なかなか上手くいかない。自分の外部記憶を紐解いてみると、記録したことすら忘れてしまっている項目が大半である。本稿では、ローカルLLMとRAGを用いて自分の外部記憶にいろいろと質問できるようにする方法を入門的に紹介する。決してベストプラクティス的な内容ではない。 自宅PC編 まずは、普段自宅で使用しているLinux PCを実験台として使えそうか試してみてから会社のサーバに適用してみることにする。 第一の要件は、ローカル環境で動作することである。情報の性質によ
IT Leaders トップ ＞ テクノロジー一覧 ＞ AI ＞ 新製品・サービス ＞ エクサウィザーズ、生成AIの回答品質を自社の運用で継続的に改善する「RAGOps」 AI AI記事一覧へ [新製品・サービス] エクサウィザーズ、生成AIの回答品質を自社の運用で継続的に改善する「RAGOps」 2024年5月13日(月)日川 佳三（IT Leaders編集部） リスト エクサウィザーズは2024年5月13日、AIシステム開発ツール「exaBase Studio」のテンプレートとして、AIの回答品質を自社の運用で継続的に改善する「RAGOps」を同年5月から提供すると発表した。品質が高い回答をキャッシュする一方で、品質が低い回答についてはオペレーターが回答を行う仕組みを提供する。入力した回答はデータベースに蓄積され、以降の回答に利用する。回答の品質が求められる用途で活用できるとしている。
前提 Difyのバージョンは Dify：0.6.11 Dify：0.6.13です。 今の最新バージョンで現状できないことをまとめてみました。 いろんな人がXでDifyでできることをあげていってくれていますが、あまりできないことをまとめている人はいなかったのでまとめた次第です。 「探索に時間を費やしたけど結局できなかった...」となる人が少なくなること祈って書いています。 ループ処理の制限 現在のDifyでは、特定の条件を満たすまでループを回す処理の実装が困難です。例えば、Self-RAGのような自己反復型のRAGの実装ができません。 一時的解決策 現状見つかっていないです。実装方法あったら教えてください。 モニタリングツール（LangSmith、Langfuse）との連携 (0.6.12からできるようになりました) できるようになったので、混乱を与えないため内容は削除しました。 AIモデル
![[Dify]現状Difyができないこと - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/f1164a938d6981c50224532779b4b49bc4e3f3f1/height=288;version=1;width=512/https%3A%2F%2Fv17.ery.cc%3A443%2Fhttps%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Fengineer-festa-ogp-background-074608b13b4bbe67c10ada41e7e2d292.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnMzLWFwLW5vcnRoZWFzdC0xLmFtYXpvbmF3cy5jb20lMkZxaWl0YS1pbWFnZS1zdG9yZSUyRjAlMkYzNzYxMTUlMkY3MzlkODBlNTk4NDBhNjdhMWJhMWJiZGQ0OTMwZTMxYzRkY2FhMmNlJTJGeF9sYXJnZS5wbmclM0YxNjEzMDMzODcyP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZmbT1wbmczMiZzPTdjMzdmMGQ0ZWJmNTU3MjA1NzY5NjVmN2QyM2Q2NTli%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Dfb76919694038b2b6f09094a6d54fcff%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCRGlmeSU1RCVFNyU4RiVCRSVFNyU4QSVCNkRpZnklRTMlODElOEMlRTMlODElQTclRTMlODElOEQlRTMlODElQUElRTMlODElODQlRTMlODElOTMlRTMlODElQTgmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyM0ZGRkZGRiZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtcGFkPTAmcz02ZWM1ZWZlNzcyNDkwYzFhOTM3N2E3YmIwZWVlNDQzMQ%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBodWRlYmFrb25vbmFrYSZ0eHQtY29sb3I9JTIzRkZGRkZGJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPWI2NTVlNmIzMjUzOTM5M2IwYzFiN2FjNjhkY2NmYmJm%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D87ecc2918a29f751fa6defec5252335a)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
