この記事の内容
実際に
Slackの スレッドから 構造化ナレッジへ :Snykに おける RAGの 導入
Snykの
Slackは、
そこで
データにまつわる課題を理解する
この
価値ある
情報の 特定:会話の ノイズの 中から 関連 データを 見つけるには、 慎重な 選別が 必要でした。 チャンク分割の
戦略:データを どのように 分割するかの 判断は 困難でした。 スレッドに よって 大きな 差が あり、 短時間に 投稿が 集中する チャンネルも あれば、 投稿が まばらなチャンネルも ありました。 日単位や ローリングウィンドウに よる チャンク分割など、 従来の 方法には 一貫性や 焦点が 欠けると いう 問題が ありました。 Slack IDの
解読:読みやすさを 確保する ため、 ユーザーIDや チャンネルIDを 意味の 分かる 名前に 変換する 必要が ありました。 Markdownへの
変換:当初、 スレッドを Markdownに 変換するのは 簡単に 思えました。 しかし、 生の Markdownには 絵文字や リアクション、 入れ子に なった 返信が 大量に 含まれ、 LLMを 混乱させる 可能性が ありました。
「なるほど!」の瞬間:中核となるQ&A構造
RAGシステムを
この
質問の
特定:#ask-productのように、 質問用に 明確に 設計された Slackチャンネルに 注目しました。 要約に
LLMを 活用:Googleの Gemini APIに Slackの スレッドを 渡し、 「明確な 質問と 包括的な 回答を 抽出してください」と いった プロンプトを 使用しました。 これに より、 RAGシステムで すぐに 利用できる 高品質で 構造化された データを 生成できました。 検索
戦略:効率的に 検索できるよう、 抽出した 質問のみを 埋め込みました。 ユーザーの クエリと 保存済みの 質問を 比較して 検索します。 重要なのは、 LLMに 渡すのは 質問そのものではなく、 最も 類似する 保存済み質問の 回答 (メタデータと して 保存)であると いう 点です。 これに より、 最も 関連性の 高い コンテキストを モデルに 渡すことができました。 フォールバックの
方法:価値ある スレッドの すべてが、 分かりやすい Q&A形式とは 限りません。 そのような 場合は、 より 広い 文脈を 保つために、 スレッドを 読みやすい Markdownの 要約に 整形しました。 継続的な
更新:新しい メッセージが 追加される たびに システムが 要約を 動的に 再生成し、 ナレッジベースを 常に 最新の 状態に 保ちます。
ソリューションの導入
Q&A構造を
Slack SDK:Slackから
メッセージを 直接 取得します。 Gemini API:スレッドを
構造化された Q&A、 または 要約した Markdownに 変換します。 Snowflake Cortex Search Service:構
造化された 出力を 保存し、 質問から 埋め込みを 作成します。 RAGアプリケーション:従業員が
クエリを 入力すると、 埋め込みを 作成して 保存済みの 質問と 意味的に 比較します。 関連する 回答を メタデータから 取得し、 文脈に 即した 正確な 応答を 生成します。

APIの先へ:エンジニアリングの現場から得た知見
最終的な
Q&Aを