I6270 教學大綱表

教學大綱表 (114學年度第2學期)

請遵守智慧財產權，勿使用非法影印教科書，避免觸法。

課程名稱 Course Title	(中文) 多模態生成式人工智慧 (英文)			開課單位 Departments	資訊工程研究所
				課程代碼 Course No.	I6270
授課教師 Instructor	蔡佳勝
學分數 Credit	3.0	必/選修 core required/optional	選修	開課年級 Level	研究所
先修科目或先備能力(Course Pre-requisites)：
課程概述與目標(Course Overview and Goals)：多模態生成式 AI 模型的運作方式就像人類利用各種感官來感知現實一樣。如同映照了大腦結合感官輸入以對世界形成細緻、全面的理解的能力，多模態生成式 AI 模型，透過全方位模態(Omnimodal AI)無縫感知多種輸入並同時生成輸出的能力，使其能夠以創新、變革的方式與世界互動，代表著 AI 領域的重大進步。本課程將認識生成式AI朝向多模態 AI 的轉變，這潛藏著更大範圍的應用和更複雜的使用案例的可能性。透過結合來自不同來源的不同類型內容（包括文字、圖像、音訊和影片）的優勢，多模態生成式 AI 模型能夠以更全面的方式理解數據，能夠處理更複雜的查詢，並減少不準確或誤導性的輸出。
教科書(Textbook)

課程大綱 Syllabus			學生學習目標 Learning Objectives	單元學習活動 Learning Activities	學習成效評量 Evaluation	備註 Notes
序 No.	單元主題 Unit topic	內容綱要 Content summary	學生學習目標 Learning Objectives	單元學習活動 Learning Activities	學習成效評量 Evaluation	備註 Notes
1	Introduction	多模態生成式人工智慧導論	多模態生成式人工智慧導論	講授
2	ChatGPT and BERT 語義判斷處理的方法	BERT到底解決了哪些問題	BERT到底解決了哪些問題	講授
3	自然語言處理 I	字與詞、檢索萃取、分類與精典結構	字與詞、檢索萃取、分類與精典結構
4	自然語言處理 II	tokenization, stopword , removal, stemming, lemmatization.	tokenization, stopword , removal, stemming, lemmatization.
5	Transformer的編碼器與解碼器	類神經網路的處理	類神經網路的處理
6	多模態數據與整合學習的方法 I	詞袋堆疊	詞袋堆疊
7	多模態數據與整合學習的方法 II	詞袋堆疊	詞袋堆疊
8	資料輸入與預處理 I	Ground truth	Ground truth
9	資料輸入與預處理 II	embeddings	embeddings
10	Midterm	Midterm	Midterm
11	特徵編碼	encoding	encoding
12	融合機制	融合機制	融合機制
13	生成建模	生成建模	生成建模
14	多模態學習與跨模態學習	語義對齊與映射	語義對齊與映射
15	模型壓縮與輕量化	剪枝等	剪枝等
16	案例討論(以及期末考)	案例討論(以及期末考)	案例討論(以及期末考)
17	彈性教學	倫理與自主學習	倫理與自主學習
18	彈性教學	倫理與自主學習	倫理與自主學習

彈性教學週活動規劃

序
No.

實施期間
Period

實施方式
Content

教學說明
Teaching instructions

彈性教學評量方式
Evaluation

備註
Notes

教學要點概述：
1.自編教材 Handout by Instructor：
■ 1-1.簡報 Slides
□ 1-2.影音教材 Videos
□ 1-3.教具 Teaching Aids
□ 1-4.教科書 Textbook
□ 1-5.其他 Other
□ 2.自編評量工具/量表 Educational Assessment
□ 3.教科書作者提供 Textbook

成績考核 Performance Evaluation：期末考：30% 其他評量：10% 報告：50% 彈性教學：10%

教學資源(Teaching Resources)：
□ 教材電子檔(Soft Copy of the Handout or the Textbook)
□ 課程網站(Website)
扣考規定：https://curri.ttu.edu.tw/p/412-1033-1254.php