I6230 教學大綱表

教學大綱表 (115學年度第1學期)

請遵守智慧財產權，勿使用非法影印教科書，避免觸法。

課程名稱 Course Title	(中文) 人工智慧安全實踐與評測 (英文)			開課單位 Departments	資訊工程研究所
				課程代碼 Course No.	I6230
授課教師 Instructor	洪淑秋
學分數 Credit	3.0	必/選修 core required/optional	選修	開課年級 Level	研究所
先修科目或先備能力(Course Pre-requisites)：無強制先修；建議具備程式設計、人工智慧概論或資訊安全概論其中之一。
課程概述與目標(Course Overview and Goals)：本課程以企業AI系統實際導入、安全評測及治理經驗為核心，透過公開或去識別化案例，協助學生建立可直接應用於產業的AI安全分析與評測能力。本課程以生成式人工智慧與大型語言模型安全為主軸，從模型基礎、系統架構與攻擊面出發，涵蓋AI風險與失效模式、OWASP Top 10 for LLM Applications、Prompt Injection、Jailbreak、隱私與資料安全、MITRE ATLAS、紅隊測試及AI安全評測。後段延伸至Trustworthy AI評測案例、NIST AI RMF、ISO/IEC 42001、EU AI Act與高風險及關鍵基礎設施案例。課程結合教師於業界累積之公開或去識別化產業案例、評測方法與企業導入經驗，透過案例研討、受控實作、評測工作坊及專題發表，使學生能看懂 AI 系統的實際應用與風險，辨識常見威脅與攻擊面，規劃基本測試與評測方法，並從工程、產品及企業導入角度提出可執行的安全改善與部署建議。期望學生修畢本課程後，具備參與 AI 系統開發、安全評測、治理導入及跨部門溝通的基礎能力，為未來投入 AI Security、AI Governance、AI Product Security 等相關職涯或進階研究奠定基礎。
教科書(Textbook)	自編教材與教師講義。
參考教材(Reference)	ISO/IEC 42001；ISO/IEC 23894；NIST AI RMF 1.0；NIST AI 600-1 Generative AI Profile；OWASP Top 10 for LLM Applications；MITRE ATLAS；EU AI Act官方資料；AI安全、紅隊與評測之原始研究及前沿實驗室安全框架。

課程大綱 Syllabus			學生學習目標 Learning Objectives	單元學習活動 Learning Activities	學習成效評量 Evaluation	備註 Notes
序 No.	單元主題 Unit topic	內容綱要 Content summary	學生學習目標 Learning Objectives	單元學習活動 Learning Activities	學習成效評量 Evaluation	備註 Notes
1	課程導論與AI產業趨勢	課程地圖；AI Security／Safety／Ethics；產業應用與三類風險。	能說明課程範疇並辨識AI安全問題。(講授、產業案例、討論)	討論演講講授	問答	研究倫理與AI工具使用：所有安全測試須於受控環境執行，不得產出、保存或散布可直接造成真實危害的內容。使用AI工具協助作業或報告時，須揭露工具、用途及人工查核方式。
2	生成式AI與LLM基礎	Token、Embedding、Transformer、訓練與推論、RAG與Agent概念。	能解釋LLM基本流程與應用架構。(圖解、Prompt觀察、案例)	討論演講講授心得發表	問答報告	本課綱核心架構固定；法規、標準與前沿議題將依官方最新資料更新，但不影響主要學習成果與評量方式。
3	AI系統架構與攻擊面	資料、模型、API、RAG、Plugin／Tool、供應鏈與部署邊界；搭配企業AI應用架構案例。	能繪製AI系統資料流與攻擊面。	討論演講講授心得發表	問答報告	本課綱核心架構固定；法規、標準與前沿議題將依官方最新資料更新，但不影響主要學習成果與評量方式。
4	AI風險、對齊與典型失效案例	以企業與產品案例說明AI風險、Alignment、Goodhart、Specification Gaming、Reward Hacking與Hallucination；運用風險矩陣及傷害路徑，理解AI目標、績效指標與實際業務需求之間的落差。	能分析AI系統風險、受影響者與傷害路徑，說明「指標達成但結果不符需求」的原因，並提出可行的調整與改善建議。(案例)	討論演講講授心得發表個案研究	問答報告	本課綱核心架構固定；法規、標準與前沿議題將依官方最新資料更新，但不影響主要學習成果與評量方式。
5	LLM應用安全與OWASP Top 10（Industry Case）	透過企業案例認識LLM應用常見安全風險、攻擊情境與防護思維，運用OWASP Top 10架構分析產品開發及企業導入，並了解版本更新與風險分類差異。	能分析企業LLM應用的主要安全風險，說明OWASP版本差異，並提出實務可行的改善建議。(企業案例、版本對照、小組分析)	討論演講協同教學個案研究	問答報告	本課綱核心架構固定；法規、標準與前沿議題將依官方最新資料更新，但不影響主要學習成果與評量方式。
6	Prompt Injection攻擊與防護	以企業與產品案例說明直接／間接注入、系統提示、RAG污染，以及輸入、輸出與權限控制等防護重點。	能從LLM產品與企業導入情境辨識Prompt Injection風險，完成受控測試並提出實務可行的防護建議。	演講協同教學個別或小組指導個案研究	問答報告	本課綱核心架構固定；法規、標準與前沿議題將依官方最新資料更新，但不影響主要學習成果與評量方式。
7	AI資料安全、隱私與模型保護	從企業案例說明AI資料生命週期、個人資料保護、Prompt與敏感資訊外洩、訓練資料安全、Membership Inference等常見風險，以及基本資料治理與保護措施。	能分析AI應用中的資料生命週期風險，辨識主要控制點，並提出資料安全與隱私保護建議。(資料流分析、企業案例討論)	討論演講心得發表協同教學	問答報告	本課綱核心架構固定；法規、標準與前沿議題將依官方最新資料更新，但不影響主要學習成果與評量方式。
8	期中專題報告：案例分析與提案	整合Week 1–7所學，以真實、公開或教師提供之去識別化AI應用案例，分析系統架構、主要風險、攻擊面與安全控制，提出具體改善建議。	能運用課程所學分析AI系統安全風險，提出具邏輯且具實務可行性的改善方案，並清楚進行簡報與交流。(學生簡報、同儕回饋、教師講評、期中報告、資料流分析、企業案例討論)	討論講授心得發表協同教學個別或小組指導	問答報告	本課綱核心架構固定；法規、標準與前沿議題將依官方最新資料更新，但不影響主要學習成果與評量方式。
9	Jailbreak與Guardrails實務	透過案例認識Jailbreak常見手法、拒答策略、內容過濾、Guardrails設計與持續安全測試，了解LLM應用的防護思維。	能比較不同Jailbreak情境與Guardrails防護方式，並提出LLM應用的實務安全改善建議。	討論演講心得發表個別或小組指導個案研究	問答報告	本課綱核心架構固定；法規、標準與前沿議題將依官方最新資料更新，但不影響主要學習成果與評量方式。
10	MITRE ATLAS 與 AI Red Teaming （Industry Case）	認識MITRE ATLAS架構、AI威脅情境、Red Teaming方法、演練流程、倫理原則與結果回報，並以公開或去識別化資安顧問案例說明AI系統安全評估的實務做法。	能運用MITRE ATLAS規劃AI系統的受控安全演練，記錄測試結果，並提出安全改善建議。(案例研討、演練、報告練習)	討論講授協同教學	問答報告	本課綱核心架構固定；法規、標準與前沿議題將依官方最新資料更新，但不影響主要學習成果與評量方式。
11	AI安全評測方法與實務	認識AI安全評測的重要面向，包括能力、穩健性、公平性、隱私與安全性；學習評測設計、結果判讀、效度、重現性及企業導入情境。	能依據AI應用情境規劃基本評測方法，分析評測結果與限制，判斷評測的效度及重現性，並提出AI安全改善建議。	討論演講講授心得發表協同教學個案研究	問答報告	本課綱核心架構固定；法規、標準與前沿議題將依官方最新資料更新，但不影響主要學習成果與評量方式。
12	Trustworthy AI（可信任AI）評測案例與企業實務	介紹Trustworthy AI核心構面、AI安全評測流程、測試證據、評測報告與改善追蹤；以教師於業界/法人參與之公開或去識別化案例及其他產業案例說明實際應用。	能將AI風險轉化為評測項目，分析評測結果，並提出具體改善建議。	討論演講講授協同教學個案研究	問答報告	本課綱核心架構固定；法規、標準與前沿議題將依官方最新資料更新，但不影響主要學習成果與評量方式。
13	AI Governance：NIST AI RMF、ISO/IEC 42001與EU AI Act	比較NIST AI RMF的Govern、Map、Measure、Manage、ISO/IEC 42001 AIMS核心概念及EU AI Act風險分級與開發、部署責任，說明三者在風險管理、管理系統與法定責任上的差異，並搭配教師既有導入與顧問案例。	能比較NIST AI RMF、ISO/IEC 42001與EU AI Act的定位，分析AI系統風險與責任，並提出適合的管理與改善建議。(企業案例、框架比較、風險盤點實作)	討論演講實作協同教學個案研究	問答報告	本課綱核心架構固定；法規、標準與前沿議題將依官方最新資料更新，但不影響主要學習成果與評量方式。
14	高風險AI系統、關鍵基礎設施安全與企業案例	探討高風險AI應用情境、關鍵基礎設施、供應鏈安全、Human-in-the-Loop與AI韌性，並透過高風險及其他公開或去識別化產業案例分析安全挑戰與因應策略。	能整合AI安全、風險評估與治理觀念，分析高風險AI應用情境，並提出適合的安全改善建議。(案例研討、情境模擬、專題彩排期末專題彩排)	討論講授實作心得發表	問答報告	本課綱核心架構固定；法規、標準與前沿議題將依官方最新資料更新，但不影響主要學習成果與評量方式。
15	期末專題成果發表（一）	學生發表AI安全評測、風險分析或AI應用安全專題，分享問題定義、分析方法、評測結果、限制與改善建議。	能以專業簡報方式清楚說明AI安全分析方法、評測結果、限制與改善建議，並回應討論與建議。(專題發表、同儕回饋、期末專題25%（第一場）	討論演講講授心得發表	問答報告	本課綱核心架構固定；法規、標準與前沿議題將依官方最新資料更新，但不影響主要學習成果與評量方式。課程結合教師於業界累積之公開或去識別化產業案例、評測方法與企業導入經驗。
16	期末專題發表（二）AI Security Career Roadmap	完成AI安全評測或案例分析專題發表，回顧AI安全核心觀念、評測方法與實務應用，並探討AI安全發展趨勢及未來學習方向。	能整合AI安全、風險評估與安全評測觀念，反思專題成果，並規劃後續學習與職涯發展方向。(專題發表、課程回顧、教師總結期末專題25%（第二場）)	演講實作心得發表個別或小組指導個案研究	問答報告	本課綱核心架構固定；法規、標準與前沿議題將依官方最新資料更新，但不影響主要學習成果與評量方式。課程結合教師於業界累積之公開或去識別化產業案例、評測方法與企業導入經驗。

彈性教學週活動規劃

序 No.	實施期間 Period	實施方式 Content	教學說明 Teaching instructions	彈性教學評量方式 Evaluation	備註 Notes
1	起:2026-12-28 迄:2027-01-10	2.非同步線上課程 Asynchronous online course	完成AI安全評測或安全分析專題，呈現問題、方法、證據、限制與改善方案；第16週完成課程總結與學習回顧。	學生簡報並展示成果專題導向／成果發表	書面報告、口頭發表、同儕回饋

教學要點概述：
1.自編教材 Handout by Instructor：
■ 1-1.簡報 Slides
■ 1-2.影音教材 Videos
■ 1-3.教具 Teaching Aids
□ 1-4.教科書 Textbook
□ 1-5.其他 Other
■ 2.自編評量工具/量表 Educational Assessment
□ 3.教科書作者提供 Textbook

教學相關配合事項：研究倫理與AI工具使用：所有安全測試須於受控環境執行，不得產出、保存或散布可直接造成真實危害的內容。使用AI工具協助作業或報告時，須揭露工具、用途及人工查核方式。

成績考核 Performance Evaluation：期末考：25% 期中考：25% 問答：10% 報告：30% 彈性教學：10%

教學資源(Teaching Resources)：
■ 教材電子檔(Soft Copy of the Handout or the Textbook)
□ 課程網站(Website)