新生兒照護 × 智慧問答

讓新手爸媽,
更安心地照顧寶寶。

整合新生兒衛教資料與 AI 檢索技術,打造更容易查詢照護資訊的智慧問答平台。

✦ 以衛教資料為依據,讓資訊查詢更有方向。
☾
✦
✧
·
♡Care with confidence陪伴每一次照護提問
✧ 衛教知識整合
♡ 對話脈絡延續
⌕
衛教知識檢索整合多來源衛教資料
✧
RAG 智慧問答檢索資料後生成回答
♡
多輪對話記憶延續同一段對話脈絡
OUR TEAM

以專業資料與技術,
支持新生兒照護。

靜宜大學|資料科學暨大數據分析與應用學系&嘉義基督教醫院

指導老師羅主斌 老師、張漢呈 老師
專題成員黃思涵、賴姵均、黃昱嘉、林采諼
專題名稱Baby Care 新生兒衛教智慧問答平台
BACKGROUND & MOTIVATION

讓衛教資訊,
更容易被找到與理解。

新生兒家長在照護過程中,可能需要查詢餵食、睡眠及日常照護等資訊。衛教內容分散於不同文件與影音來源時,查找相關資料可能較不方便。本專題因此嘗試整合多來源衛教資料,建立以檢索增強生成(RAG)為核心的智慧問答流程。

01

照護資訊需求持續存在

家長可能需要反覆查詢餵食、睡眠、清潔、臍帶護理及常見照護問題。

02

衛教資料來源較分散

紙本文件、醫院網站與影音教材需要分別查閱,增加尋找相關資訊的時間。

03

生成式 AI 仍需要資料依據

透過 RAG 先檢索衛教內容,再將相關資料提供給模型生成回答;此作法有助降低無依據回答風險,但不保證每次回答皆正確。

KNOWLEDGE SOURCES

從多種來源,
整理衛教知識。

依專題資料整理,知識庫包含醫療院所與政府衛教資訊,以及 YouTube 衛教影片字幕。簡報記載蒐集 20 多份衛教文件及多部影片。

+

嘉義基督教醫院

新生兒照護、母乳哺育及相關衛教內容。

⌂

國民健康署

孕產婦、新生兒與兒童健康促進相關資訊。

▶

YouTube 衛教影片

使用 YouTube Transcript API 取得字幕,轉為 TXT 文字資料。

▤

文件處理流程

PyPDFLoader 載入 PDF;文字切割設定約 500 字元、重疊 100 字元,再以 BGE-M3 向量化並存入 ChromaDB。

RESEARCH PURPOSE

本專題的
三項研究目的。

以新生兒衛教資訊查詢為出發點,規劃平台的服務方向。

01

即時衛教諮詢

協助新生兒家長線上取得照護相關資訊。

♡
02

衛教資料整合

集中整理衛教資料,提升資訊管理與查詢效率。

⌘
03

衛教需求分析

透過查詢紀錄與問題統計,作為規劃衛教服務的參考。

⌁
QUESTION & ANSWER PIPELINE

使用者提出問題後,系統如何回答?

從文字/語音輸入、問題改寫、混合檢索、排序,到模型生成與來源呈現,逐步說明問答流程。

進階 RAG 完整流程圖:使用者輸入問題、Query Rewriting、BM25 與向量多重檢索、BGE Reranker 重新排序、取得檢索資料、儲存本次對話紀錄、讀取對話記憶、整合提示詞、GPT-OSS 20B 生成回答、輸出新生兒衛教資訊,以及再次儲存對話記憶。
專題原始流程圖|進階 RAG(Advanced RAG)包含 11 個步驟,以及對話記憶的讀取與寫入循環。可點擊圖片開啟大圖。
01

使用者輸入問題

由 Streamlit 提供問答介面

文字輸入

輸入照護問題

例如新生兒餵食、睡眠、清潔或臍帶護理等衛教問題。

或
語音輸入

語音轉文字

使用 Streamlit 的 st.audio_input() 收音,再透過 Whisper Medium 轉成文字,供使用者確認後送出。

問題進入檢索流程↓
02

問題處理與候選資料檢索

先讓查詢更適合搜尋,再從衛教知識庫找出相關內容

2A|查詢整理

Query Rewriting

改寫或整理使用者問題,讓查詢內容更適合後續檢索。

→
2B|平行檢索

向量搜尋 + BM25

向量搜尋:透過 BGE-M3 的語意向量,在 ChromaDB 知識庫中尋找相近內容。
BM25:以關鍵字相關性找出候選文件。

→
2C|融合排序

RRF

將向量搜尋與 BM25 的檢索排名進行融合,整合不同檢索方式的結果。

→
2D|重新排序

BGE Reranker

再依問題與候選內容的關聯性重新排序,整理出較適合提供給生成模型的資料。

知識庫基礎 ChromaDB 儲存由衛教文件與影片字幕切割、經 BGE-M3 向量化後的內容;專題簡報記載向量搜尋曾設定取回 Top 5 相關內容。
將檢索到的衛教內容提供給模型↓
03

組合上下文並生成回答

由語言模型參考檢索結果產生回覆

檢索上下文

相關衛教資料

把檢索及排序後的候選內容作為回答依據,降低模型只依賴參數知識作答的情況。

+
LLM

Ollama + GPT-OSS 20B

接收使用者問題與檢索到的上下文,生成自然語言回答。

↓
輸出結果

顯示回答與資料來源

在問答介面呈現生成內容及參考來源,讓使用者能回頭查看相關衛教資訊。

↔

多輪對話狀態

LangGraph Checkpointer、MemorySaver 與 thread_id 用於延續同一段對話的上下文。這是對話狀態管理,不等於永久保存完整聊天歷史。

▤

查詢紀錄與管理儀表板

系統以 JSON 記錄查詢資料,管理端可透過 Streamlit Dashboard 查看總查詢量、每日查詢、近期紀錄、來源使用情形與常見內容。

說明:RAG 可讓回答參考檢索到的衛教內容,但不代表每次回答都必然正確,也不能取代醫療專業判斷。

SYSTEM FEATURES

系統功能特色

以衛教知識為基礎,結合檢索、生成與對話脈絡處理。

▤
KNOWLEDGE BASE

多來源衛教知識庫

整合 PDF 衛教文件、YouTube 影片字幕逐字稿及 TXT 衛教資料,經過文件載入、文字切割與向量化後供系統檢索。

⌕
ADVANCED RAG

進階檢索流程

結合 Query Rewriting、向量搜尋、BM25、RRF 與 Reranking,改善問題查詢與候選資料排序。

◌
CONVERSATION

對話記憶機制

使用 LangGraph Checkpointer 與 thread_id 保存、辨識對話狀態,讓同一段對話能延續前後文。

▥
EVALUATION

RAG 評估與比較

依專題簡報中的固定 10 題測試,比較不同檢索策略下回答內容與檢索證據的一致性。

SYSTEM ARCHITECTURE DIAGRAM

系統架構圖

將系統拆成「知識庫建置」與「使用者問答」兩條流程,並呈現管理端的查詢紀錄與統計功能。

新生兒衛教智慧問答系統整體架構:左側為 PDF、YouTube 字幕及 TXT 衛教資料的離線知識庫建置;中間為 LangChain AI Agent、Search Tool/Advanced RAG、Chroma Vector Database、GPT-OSS 20B 與回答安全檢查;右側為對話記憶功能及查詢紀錄與分析 Dashboard;上方為使用者與 Streamlit Web 介面。
專題原始系統架構圖|整體架構完整呈現知識庫離線建置、線上 AI 問答、對話記憶、管理儀表板及各模組關係。可點擊圖片開啟大圖。
A

知識庫建置流程

先把衛教內容整理成可檢索的知識資料

資料來源

衛教內容收集

嘉義基督教醫院衛教資料
國民健康署資料
YouTube 衛教影片字幕

→
文件處理

載入與文字切割

PDF 使用 PyPDFLoader
字幕整理為 TXT
約 500 字元切片、重疊 100 字元

→
向量化

BGE-M3 Embedding

將文字轉成向量表示
向量維度:1024

→
知識儲存

ChromaDB

保存向量化的衛教內容
供後續相似度檢索

B

使用者問答流程

從輸入問題到產生有資料依據的回答

使用者介面

Streamlit

輸入文字問題
或語音轉文字後確認

→
問題處理

Query Rewriting

改寫或整理查詢
讓問題更適合檢索

→
混合檢索

取得候選資料

Chroma 向量搜尋 + BM25
以 RRF 融合排序
再用 BGE Reranker 重新排序

→
回答生成

Ollama + GPT-OSS 20B

參考檢索到的衛教內容
生成回答並呈現來源

↔

多輪對話狀態

LangGraph Checkpointer、MemorySaver 與 thread_id 協助延續同一段對話的上下文;這是對話狀態管理,不等於永久保存完整聊天歷史。

▤

查詢紀錄與管理儀表板

以 JSON 記錄查詢資料,並在 Streamlit Dashboard 查看查詢量、近期紀錄、來源使用情形與常見內容。

語音輸入使用 Whisper Medium 進行語音轉文字。

RESEARCH RESULTS

以測試結果,
觀察檢索策略的差異。

專題簡報記錄了固定 10 題測試中的回答依據支持率。這是該組測試的結果,不代表所有問題或真實醫療情境的準確率。

※ 以下數值依據專題簡報;測試題數為 10 題,解讀時須留意樣本數限制。
回答依據支持率固定 10 題測試
Baseline77%
向量搜尋 + BM2599%
向量搜尋 + BM25 + RRF + Reranking100%

依簡報所述,結合語意搜尋與關鍵字搜尋,並加入排名融合與重新排序,有助於提升該組測試中回答內容與檢索證據的一致性。

NEXT STEPS

持續完善平台

依專題規劃,後續可朝以下方向擴充;這些項目不代表已經完成。

完善管理者與使用者系統完整對話紀錄保存新增圖資料庫回答時間統計使用者意見回報
EVALUATION METHODS

不只看回答,也檢視檢索品質

專題資料另記載以 20 題測試集進行 RAGAS 初步評估;此評估與上方固定 10 題的回答依據支持率屬不同測試呈現,不能直接合併比較。

Answer Correctness|回答正確性Answer Relevancy|回答相關性Context Precision|上下文精確率Context Recall|上下文召回率Faithfulness|忠實度Context Relevance|上下文相關性
♡
EXPLORE BABY CARE

想了解更多?

前往實際問答平台,體驗新生兒衛教資訊的查詢流程。

這是獨立的問答系統服務;GitHub Pages 僅負責介紹網站,不執行後端模型或資料庫。

前往問答平台

提醒 本平台為衛教資訊查詢與專題展示用途,不能取代醫師診斷、醫療處置或緊急醫療服務。如寶寶有急迫或嚴重症狀,請立即尋求專業醫療協助。