Publications-Theses
Article View/Open
Publication Export
-
Google ScholarTM
NCCU Library
Citation Infomation
Related Publications in TAIR
題名 基於大型語言模型的法律案由分類框架：融合法益分析與競合推理的方法
A Legal Cause-Oriented Classification Framework Based on Large Language Models: An Integrated Approach of Legal Interest Analysis and Concurrence Reasoning作者 李旻恆
Lee, Min-Heng貢獻者 劉昭麟
Liu, Chao-Lin
李旻恆
Lee, Min-Heng關鍵詞 法益分析
案由分類
大型語言模型
提示工程
多案由推理
法律資訊檢索
Legal Interest Analysis
Cause of Action Classification
Large Language Models
Prompt Engineering
Multi-cause Reasoning
Legal Information Retrieval日期 2025 上傳時間 2-May-2025 15:05:07 (UTC+8) 摘要 本研究提出一套結合法益分析與競合推理的法律案由分類框架（LCPF）， 應用大型語言模型（如GPT-4o）解決多案由刑事案件分類中的解釋性與準確性 挑戰。研究針對檢察官起訴書中常見的「傷害」與「竊盜」案由，建立起一套 結構化提示方法，將法益識別、法條競合分析與刑罰輕重比較納入推理流程。 透過單輪與多輪提示策略的設計，模型能更清楚辨識多重法益並正確分類主案 由。在800 筆實驗資料中，LCPF 於多輪提示下可將準確率提升至97-98%，並 在法益分析任務中展現出更高的召回率與F1分數。研究亦探討其在RAG 架構 中的擴展應用與實際系統實作，並邀請專家進行評估。結果證明LCPF 在法律 資訊處理領域具有高度可行性與實務應用潛力，為未來法律AI發展提供關鍵支撐。
This study proposes a Legal Cause-Oriented Prompt Framework (LCPF) that integrates legal interest analysis and concurrence reasoning to address the challenges of explainability and accuracy in multi-cause criminal case classification using Large Language Models (LLMs) such as GPT-4o. Focusing on common indictment cases involving "injury" and "theft," the framework utilizes structured prompting strategies to guide the reasoning process through legal interest identification, legal concurrence analysis, and penalty severity comparison. By designing both single-step and multi-step prompting methods, the model is able to more precisely recognize overlapping legal interests and accurately classify the primary charge. In experiments on 800 samples, LCPF achieved accuracy rates of up to 97–98% with multi-step prompts, and demonstrated superior recall and F1 scores in legal interest recognition tasks. The study further explores the extension of LCPF into Retrieval-Augmented Generation (RAG) systems and presents an implemented legal chatbot evaluated by domain experts. Results show that LCPF is both practical and effective in processing legal information, offering a promising direction for future legal AI applications by enhancing both interpretability and reliability in complex legal scenarios.參考文獻 [1] Chalkidis, I., Fergadiotis, M., Malakasiotis, P., Aletras, N., & Androutsopoulos, I. (2020). LEGAL-BERT: The muppets straight out of law school. arXiv preprint arXiv:2010.02559. [2] Han, X., Sun, T., Chen, P., & Kuang, K. (2022). Ptr: Prompt tuning with rules for text classification. AI Open, 3, 182–192. [3] Jiang, C., & Yang, X. (2023). Legal syllogism prompting: Teaching large language models for legal judgment prediction. In Proceedings of the Nineteenth International Conference on Artificial Intelligence and Law (pp. 417–421). [4] Katz, D. M., Bommarito, M. J., & Blackman, J. (2017). A general approach for predicting the behavior of the Supreme Court of the United States. PLoS ONE, 12(4), e0174698. [5] Kojima, T., Gu, S. S., Reid, M., Matsuo, Y., & Iwasawa, Y. (2022). Large language models are zero-shot reasoners. In Advances in Neural Information Processing Systems, 35, 22199–22213. [6] Medvedeva, M., Vols, M., & Wieling, M. (2018). Judicial decisions of the European Court of Human Rights: Looking into the crystal ball. In Proceedings of the Conference on Empirical Legal Studies (p. 24). [7] Medvedeva, M., & McBride, P. (2023, December). Legal judgment prediction: If you are going to do it, do it right. In Proceedings of the Natural Legal Language Processing Workshop 2023 (pp. 73–84). [8] Sartor, G., Palmirani, M., Rubino, R., & Pagallo, U. (2022). Thirty years of Artificial Intelligence and Law: The second decade. Artificial Intelligence and Law, 30(4), 521–557. 46 [9] Santosh, T. Y. S., Staliūnas, A., Medvedeva, M., & Wieling, M. (2022). Deconfounding legal judgment prediction for European court of human rights cases towards better alignment with experts. arXiv preprint arXiv:2210.13836. [10] Wei, J., Wang, X., Schuurmans, D., Bosma, M., Chi, E., Le, Q., & Zhou, D. (2022). Chain-of-thought prompting elicits reasoning in large language models. In Advances in Neural Information Processing Systems, 35, 24824–24837. [11] Yu, F., Quartey, L., & Schilder, F. (2022). Legal prompting: Teaching a language model to think like a lawyer. arXiv preprint arXiv:2212.01326. [12] 黃詩淳; 邵軒磊. 以人工智慧讀取親權酌定裁判文本: 自然語言與文字探勘之實踐. 2020, 49.1:196-224. [13] 黃詩淳; 邵軒磊. 酌定子女親權之重要因素: 以決策樹方法分析相關裁判. 臺大法學論叢, 2018, 47.1: 299-344. [14] 黃詩淳。人工智慧對民事程序之影響。臺灣人工智慧行動網，人工智慧與法律規範學術研究群，第十一次會議。2020年五月廿八日。 [15] 王道維：當AI 科技應用於司法審判—以量刑預測、民刑事見解資料庫及家事親權案件調解為例。中央研究院，公共性與AI 論壇（三十三）。2024 年，七月卅一日。http://ai.iias.sinica.edu.tw/when-ai-is-used-in-judicial-adjudication-minutes/ [16] 許澤天，《刑法分則》（第4版），臺北：新學林出版社，2022 [17] 林鈺雄，《新刑法總則》（第5版），臺北：元照出版社，2016。 [18] 謝淳達，〈利用詞組檢索中文訴訟文書之研究〉，臺北：國立政治大學資訊科學系碩士論文，2005。47 [19] 藍家樑，〈中文訴訟文書檢索系統雛形實作〉，臺北：國立政治大學資訊科學系碩士論文，2008。 [20] 曹錫璋，〈基於深度學習模型之判決書情境相似檢索技術〉，臺中：國立中興大學資訊科學與工程學系碩士論文，2021。 [21] 蔡聖偉，〈想像競合從重處斷與輕罪的併科罰金──評最高法院111 年度台上字第977 號刑事判決〉，收入《月旦法學雜誌》，202407（350 期），頁6-23。 描述 碩士
國立政治大學
資訊科學系
112753118資料來源 http://thesis.lib.nccu.edu.tw/record/#G0112753118 資料類型 thesis dc.contributor.advisor 劉昭麟 zh_TW dc.contributor.advisor Liu, Chao-Lin en_US dc.contributor.author (Authors) 李旻恆 zh_TW dc.contributor.author (Authors) Lee, Min-Heng en_US dc.creator (作者) 李旻恆 zh_TW dc.creator (作者) Lee, Min-Heng en_US dc.date (日期) 2025 en_US dc.date.accessioned 2-May-2025 15:05:07 (UTC+8) - dc.date.available 2-May-2025 15:05:07 (UTC+8) - dc.date.issued (上傳時間) 2-May-2025 15:05:07 (UTC+8) - dc.identifier (Other Identifiers) G0112753118 en_US dc.identifier.uri (URI) https://nccur.lib.nccu.edu.tw/handle/140.119/156808 - dc.description (描述) 碩士 zh_TW dc.description (描述) 國立政治大學 zh_TW dc.description (描述) 資訊科學系 zh_TW dc.description (描述) 112753118 zh_TW dc.description.abstract (摘要) 本研究提出一套結合法益分析與競合推理的法律案由分類框架（LCPF）， 應用大型語言模型（如GPT-4o）解決多案由刑事案件分類中的解釋性與準確性 挑戰。研究針對檢察官起訴書中常見的「傷害」與「竊盜」案由，建立起一套 結構化提示方法，將法益識別、法條競合分析與刑罰輕重比較納入推理流程。 透過單輪與多輪提示策略的設計，模型能更清楚辨識多重法益並正確分類主案 由。在800 筆實驗資料中，LCPF 於多輪提示下可將準確率提升至97-98%，並 在法益分析任務中展現出更高的召回率與F1分數。研究亦探討其在RAG 架構 中的擴展應用與實際系統實作，並邀請專家進行評估。結果證明LCPF 在法律 資訊處理領域具有高度可行性與實務應用潛力，為未來法律AI發展提供關鍵支撐。 zh_TW dc.description.abstract (摘要) This study proposes a Legal Cause-Oriented Prompt Framework (LCPF) that integrates legal interest analysis and concurrence reasoning to address the challenges of explainability and accuracy in multi-cause criminal case classification using Large Language Models (LLMs) such as GPT-4o. Focusing on common indictment cases involving "injury" and "theft," the framework utilizes structured prompting strategies to guide the reasoning process through legal interest identification, legal concurrence analysis, and penalty severity comparison. By designing both single-step and multi-step prompting methods, the model is able to more precisely recognize overlapping legal interests and accurately classify the primary charge. In experiments on 800 samples, LCPF achieved accuracy rates of up to 97–98% with multi-step prompts, and demonstrated superior recall and F1 scores in legal interest recognition tasks. The study further explores the extension of LCPF into Retrieval-Augmented Generation (RAG) systems and presents an implemented legal chatbot evaluated by domain experts. Results show that LCPF is both practical and effective in processing legal information, offering a promising direction for future legal AI applications by enhancing both interpretability and reliability in complex legal scenarios. en_US dc.description.tableofcontents 摘要 i Abstract ii 圖目錄 vi 表目錄 vii 第一章 緒論 1 第一節 研究背景 1 第二節 論文架構 5 第二章、相關研究 7 第一節 案由分類與法律判決預測 7 第二節 LLMs 與LJP 8 第三節 判決書檢索系統 9 第三章 研究方法 10 第一節 問題定義 10 第二節 法益分類與競合分析的價值 11 第三節 Legal cause-oriented prompt framework 13 第四節 Single-step vs. Multi-step Prompting 15 第四章 實驗 17 第一節 資料集 17 第二節 實驗設計 21 一、 提示方法設計 21 二、參數以及驗證設計 22 第三節 結果 23 一、起訴案由分類 23 二、 LCPF單輪以及多輪對話在法益分析的效果比較 26 第四節 討論 27 一、 準確率高的原因 27 二、其他案由是否適用？ 27 三、原實驗結果的錯誤分析 28 第五章 LCPF在法律應用中的擴展 32 第一節 動機 32 一、 法律資訊檢索的挑戰 32 二、 結合 LLMs 的法律資訊檢索 32 三、 運用 Streamlit 建立互動式系統 33 第二節 資料來源與預處理 33 第三節 系統框架 34 第四節 整體系統實作與結果 35 第五節 系統驗證與專家評估 36 一、驗證資料與方法 36 1. 測試資料與改寫方法 37 2. 法學專家評估方式 38 二、實驗結果與分析 39 第六章 結論 41 第一節 研究總結 41 第二節 研究問題與貢獻 41 第三節 研究限制 43 第四節 未來研究方向 43 第五節 整體總結 44 參考文獻 45 附錄 A：多階層分類實驗中使用之 Prompt 設計 48 A.1競合判斷提示 48 A.2 Chain-of-Thought 推理分類 48 A.3 三段論推理提示（LoT Prompt） 48 A.4 直接回答式分類（Direct Answer Prompt） 48 附錄 B：完整分類清單與實驗範例 50 B.1 個人法益 50 B.2 社會法益 51 B.3 國家法益 51 B.4 提示範例輸出 52 （一）競合提示示例 52 （二）Chain-of-Thought 推理示例（CoT Prompt） 52 （三）三段論推理示例（LoT Prompt） 52 （四）直接回答式分類示例（Direct Answer Prompt） 52 zh_TW dc.format.extent 5306204 bytes - dc.format.mimetype application/pdf - dc.source.uri (資料來源) http://thesis.lib.nccu.edu.tw/record/#G0112753118 en_US dc.subject (關鍵詞) 法益分析 zh_TW dc.subject (關鍵詞) 案由分類 zh_TW dc.subject (關鍵詞) 大型語言模型 zh_TW dc.subject (關鍵詞) 提示工程 zh_TW dc.subject (關鍵詞) 多案由推理 zh_TW dc.subject (關鍵詞) 法律資訊檢索 zh_TW dc.subject (關鍵詞) Legal Interest Analysis en_US dc.subject (關鍵詞) Cause of Action Classification en_US dc.subject (關鍵詞) Large Language Models en_US dc.subject (關鍵詞) Prompt Engineering en_US dc.subject (關鍵詞) Multi-cause Reasoning en_US dc.subject (關鍵詞) Legal Information Retrieval en_US dc.title (題名) 基於大型語言模型的法律案由分類框架：融合法益分析與競合推理的方法 zh_TW dc.title (題名) A Legal Cause-Oriented Classification Framework Based on Large Language Models: An Integrated Approach of Legal Interest Analysis and Concurrence Reasoning en_US dc.type (資料類型) thesis en_US dc.relation.reference (參考文獻) [1] Chalkidis, I., Fergadiotis, M., Malakasiotis, P., Aletras, N., & Androutsopoulos, I. (2020). LEGAL-BERT: The muppets straight out of law school. arXiv preprint arXiv:2010.02559. [2] Han, X., Sun, T., Chen, P., & Kuang, K. (2022). Ptr: Prompt tuning with rules for text classification. AI Open, 3, 182–192. [3] Jiang, C., & Yang, X. (2023). Legal syllogism prompting: Teaching large language models for legal judgment prediction. In Proceedings of the Nineteenth International Conference on Artificial Intelligence and Law (pp. 417–421). [4] Katz, D. M., Bommarito, M. J., & Blackman, J. (2017). A general approach for predicting the behavior of the Supreme Court of the United States. PLoS ONE, 12(4), e0174698. [5] Kojima, T., Gu, S. S., Reid, M., Matsuo, Y., & Iwasawa, Y. (2022). Large language models are zero-shot reasoners. In Advances in Neural Information Processing Systems, 35, 22199–22213. [6] Medvedeva, M., Vols, M., & Wieling, M. (2018). Judicial decisions of the European Court of Human Rights: Looking into the crystal ball. In Proceedings of the Conference on Empirical Legal Studies (p. 24). [7] Medvedeva, M., & McBride, P. (2023, December). Legal judgment prediction: If you are going to do it, do it right. In Proceedings of the Natural Legal Language Processing Workshop 2023 (pp. 73–84). [8] Sartor, G., Palmirani, M., Rubino, R., & Pagallo, U. (2022). Thirty years of Artificial Intelligence and Law: The second decade. Artificial Intelligence and Law, 30(4), 521–557. 46 [9] Santosh, T. Y. S., Staliūnas, A., Medvedeva, M., & Wieling, M. (2022). Deconfounding legal judgment prediction for European court of human rights cases towards better alignment with experts. arXiv preprint arXiv:2210.13836. [10] Wei, J., Wang, X., Schuurmans, D., Bosma, M., Chi, E., Le, Q., & Zhou, D. (2022). Chain-of-thought prompting elicits reasoning in large language models. In Advances in Neural Information Processing Systems, 35, 24824–24837. [11] Yu, F., Quartey, L., & Schilder, F. (2022). Legal prompting: Teaching a language model to think like a lawyer. arXiv preprint arXiv:2212.01326. [12] 黃詩淳; 邵軒磊. 以人工智慧讀取親權酌定裁判文本: 自然語言與文字探勘之實踐. 2020, 49.1:196-224. [13] 黃詩淳; 邵軒磊. 酌定子女親權之重要因素: 以決策樹方法分析相關裁判. 臺大法學論叢, 2018, 47.1: 299-344. [14] 黃詩淳。人工智慧對民事程序之影響。臺灣人工智慧行動網，人工智慧與法律規範學術研究群，第十一次會議。2020年五月廿八日。 [15] 王道維：當AI 科技應用於司法審判—以量刑預測、民刑事見解資料庫及家事親權案件調解為例。中央研究院，公共性與AI 論壇（三十三）。2024 年，七月卅一日。http://ai.iias.sinica.edu.tw/when-ai-is-used-in-judicial-adjudication-minutes/ [16] 許澤天，《刑法分則》（第4版），臺北：新學林出版社，2022 [17] 林鈺雄，《新刑法總則》（第5版），臺北：元照出版社，2016。 [18] 謝淳達，〈利用詞組檢索中文訴訟文書之研究〉，臺北：國立政治大學資訊科學系碩士論文，2005。47 [19] 藍家樑，〈中文訴訟文書檢索系統雛形實作〉，臺北：國立政治大學資訊科學系碩士論文，2008。 [20] 曹錫璋，〈基於深度學習模型之判決書情境相似檢索技術〉，臺中：國立中興大學資訊科學與工程學系碩士論文，2021。 [21] 蔡聖偉，〈想像競合從重處斷與輕罪的併科罰金──評最高法院111 年度台上字第977 號刑事判決〉，收入《月旦法學雜誌》，202407（350 期），頁6-23。 zh_TW
