編輯推薦:　　目前市面上有關(guān)深度學(xué)習(xí)介紹的書籍大多可分兩類，一類側(cè)重方法介紹，另一類側(cè)重實(shí)踐和深度學(xué)習(xí)工具的介紹。本書同時(shí)覆蓋方法和實(shí)踐。本書不僅從數(shù)學(xué)的角度闡述深度學(xué)習(xí)的技術(shù)與應(yīng)用，還包含可運(yùn)行的代碼，為讀者展示如何在實(shí)際中解決問題。為了給讀者提供一種交互式的學(xué)習(xí)體驗(yàn)，本書不但提供免費(fèi)的教學(xué)視頻和討論區(qū)，而且提供可運(yùn)行的Jupyter記事本文件，充分利用Jupyter記事本能將文字、代碼、公式和圖像統(tǒng)一起來的優(yōu)勢(shì)。這樣不僅直接將數(shù)學(xué)公式對(duì)應(yīng)成實(shí)際代碼，而且可以修改代碼、觀察結(jié)果并及時(shí)獲取經(jīng)驗(yàn)，從而帶給讀者全新的、交互式的深度學(xué)習(xí)的學(xué)習(xí)體驗(yàn)。
　　本書面向希望了解深度學(xué)習(xí)，特別是對(duì)實(shí)際使用深度學(xué)習(xí)感興趣的大學(xué)生、工程師和研究人員。本書不要求讀者有任何深度學(xué)習(xí)或者機(jī)器學(xué)習(xí)的背景知識(shí)，讀者只需具備基本的數(shù)學(xué)和編程知識(shí)，如基礎(chǔ)的線性代數(shù)、微分、概率及Python編程知識(shí)。本書的附錄中提供了書中涉及的主要數(shù)學(xué)知識(shí)，供讀者參考。
　　本書的英文版Dive into Deep Learning是加州大學(xué)伯克利分校2019年春學(xué)期“Introduction to Deep Learning”（深度學(xué)習(xí)導(dǎo)論）課程的教材。截至2019年春學(xué)期，本書中的內(nèi)容已被全球15 所知名大學(xué)用于教學(xué)。本書的學(xué)習(xí)社區(qū)、免費(fèi)教學(xué)資源（課件、教學(xué)視頻、更多習(xí)題等），以及用于本書學(xué)習(xí)和教學(xué)的免費(fèi)計(jì)算資源（僅限學(xué)生和老師）的申請(qǐng)方法在本書配套網(wǎng)站zh.d2l.ai上發(fā)布。讀者在閱讀本書的過程中，如果對(duì)書中某節(jié)內(nèi)容有疑惑，也可以掃一掃書中對(duì)應(yīng)的二維碼尋求幫助。

內(nèi)容簡(jiǎn)介:　　本書旨在向讀者交付有關(guān)深度學(xué)習(xí)的交互式學(xué)習(xí)體驗(yàn)。書中不僅闡述深度學(xué)習(xí)的算法原理，還演示它們的實(shí)現(xiàn)和運(yùn)行。與傳統(tǒng)圖書不同，本書的每一節(jié)都是一個(gè)可以下載并運(yùn)行的 Jupyter記事本，它將文字、公式、圖像、代碼和運(yùn)行結(jié)果結(jié)合在了一起。此外，讀者還可以訪問并參與書中內(nèi)容的討論。
　　全書的內(nèi)容分為3個(gè)部分：第一部分介紹深度學(xué)習(xí)的背景，提供預(yù)備知識(shí)，并包括深度學(xué)習(xí)基礎(chǔ)的概念和技術(shù)；第二部分描述深度學(xué)習(xí)計(jì)算的重要組成部分，還解釋近年來令深度學(xué)習(xí)在多個(gè)領(lǐng)域大獲成功的卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)；第三部分評(píng)價(jià)優(yōu)化算法，檢驗(yàn)影響深度學(xué)習(xí)計(jì)算性能的重要因素，并分別列舉深度學(xué)習(xí)在計(jì)算機(jī)視覺和自然語(yǔ)言處理中的重要應(yīng)用。
　　本書同時(shí)覆蓋深度學(xué)習(xí)的方法和實(shí)踐，主要面向在校大學(xué)生、技術(shù)人員和研究人員。閱讀本書需要讀者了解基本的Python編程或附錄中描述的線性代數(shù)、微分和概率基礎(chǔ)。

作者簡(jiǎn)介:　　阿斯頓.張（Aston Zhang），
　　美亞應(yīng)用科學(xué)家，美國(guó)伊利諾伊大學(xué)香檳分校計(jì)算機(jī)科學(xué)博士，統(tǒng)計(jì)學(xué)和計(jì)算機(jī)科學(xué)雙碩士。他專注于機(jī)器學(xué)習(xí)的研究，并在數(shù)個(gè)頂ji學(xué)術(shù)會(huì)議發(fā)表過論文。他擔(dān)任過NeurIPS、ICML、KDD、WWW、WSDM、SIGIR、AAAI 等學(xué)術(shù)會(huì)議的程序委員或?qū)徃迦艘约癋rontiers in Big Data 期刊的編委。

　　李沐（Mu Li），
　　美亞首席科學(xué)家（Principal Scientist），加州大學(xué)伯克利分校客座助理教授，美國(guó)卡內(nèi)基梅隆大學(xué)計(jì)算機(jī)系博士。他專注于分布式系統(tǒng)和機(jī)器學(xué)習(xí)算法的研究。他是深度學(xué)習(xí)框架MXNet 的作者之一。他曾任機(jī)器學(xué)習(xí)創(chuàng)業(yè)公司Marianas Labs 的CTO 和百度深度學(xué)習(xí)研究院的主任研發(fā)架構(gòu)師。他在理論、機(jī)器學(xué)習(xí)、應(yīng)用和操作系統(tǒng)等多個(gè)領(lǐng)域的頂ji學(xué)術(shù)會(huì)議（包括FOCS、ICML、NeurIPS、AISTATS、CVPR、KDD 、WSDM、OSDI）上發(fā)表過論文。

　　扎卡里.C. 立頓（Zachary C. Lipton），
　　美亞應(yīng)用科學(xué)家，美國(guó)卡內(nèi)基梅隆大學(xué)助理教授，美國(guó)加州大學(xué)圣迭戈分校博士。他專注于機(jī)器學(xué)習(xí)算法及其社會(huì)影響的研究，特別是在時(shí)序數(shù)據(jù)與序列決策上的深度學(xué)習(xí)。這類工作有著廣泛的應(yīng)用場(chǎng)景，包括醫(yī)療診斷、對(duì)話系統(tǒng)和產(chǎn)品推薦。他創(chuàng)立了博客“Approximately Correct”（approximatelycorrect.com）。

　　亞歷山大.J. 斯莫拉（Alexander J. Smola），
　　美亞副總裁/ 杰出科學(xué)家，德國(guó)柏林工業(yè)大學(xué)計(jì)算機(jī)科學(xué)博士。他曾在澳大利亞國(guó)立大學(xué)、美國(guó)加州大學(xué)伯克利分校和卡內(nèi)基梅隆大學(xué)任教。他發(fā)表了超過200 篇學(xué)術(shù)論文，并著有5 本書，其論文及書被引用超過10 萬(wàn)次。他的研究興趣包括深度學(xué)習(xí)、貝葉斯非參數(shù)、核方法、統(tǒng)計(jì)建模和可擴(kuò)展算法。

目錄:

對(duì)本書的贊譽(yù)

前言

如何使用本書

資源與支持

主要符號(hào)表

第1章深度學(xué)習(xí)簡(jiǎn)介1

1.1起源2

1.2發(fā)展4

1.3成功案例6

1.4特點(diǎn)7

小結(jié)8

練習(xí)8

第2章預(yù)備知識(shí)9

2.1獲取和運(yùn)行本書的代碼9

2.1.1獲取代碼并安裝運(yùn)行環(huán)境9

2.1.2更新代碼和運(yùn)行環(huán)境11

2.1.3使用GPU版的MXNet11

小結(jié)12

練習(xí)12

2.2數(shù)據(jù)操作12

2.2.1創(chuàng)建NDArray12

2.2.2運(yùn)算14

2.2.3廣播機(jī)制16

2.2.4索引17

2.2.5運(yùn)算的內(nèi)存開銷17

2.2.6NDArray和NumPy相互變換18

小結(jié)19

練習(xí)19

2.3自動(dòng)求梯度19

2.3.1簡(jiǎn)單例子19

2.3.2訓(xùn)練模式和預(yù)測(cè)模式20

2.3.3對(duì)Python控制流求梯度20

小結(jié)21

練習(xí)21

2.4查閱文檔21

2.4.1查找模塊里的所有函數(shù)和類21

2.4.2查找特定函數(shù)和類的使用22

2.4.3在MXNet網(wǎng)站上查閱23

小結(jié)24

練習(xí)24

第3章深度學(xué)習(xí)基礎(chǔ)25

3.1線性回歸25

3.1.1線性回歸的基本要素25

3.1.2線性回歸的表示方法28

小結(jié)30

練習(xí)30

3.2線性回歸的從零開始實(shí)現(xiàn)30

3.2.1生成數(shù)據(jù)集30

3.2.2讀取數(shù)據(jù)集32

3.2.3初始化模型參數(shù)32

3.2.4定義模型33

3.2.5定義損失函數(shù)33

3.2.6定義優(yōu)化算法33

3.2.7訓(xùn)練模型33

小結(jié)34

練習(xí)34

3.3線性回歸的簡(jiǎn)潔實(shí)現(xiàn)35

3.3.1生成數(shù)據(jù)集35

3.3.2讀取數(shù)據(jù)集35

3.3.3定義模型36

3.3.4初始化模型參數(shù)36

3.3.5定義損失函數(shù)37

3.3.6定義優(yōu)化算法37

3.3.7訓(xùn)練模型37

小結(jié)38

練習(xí)38

3.4softmax回歸38

3.4.1分類問題38

3.4.2softmax回歸模型39

3.4.3單樣本分類的矢量計(jì)算表達(dá)式40

3.4.4小批量樣本分類的矢量計(jì)算表達(dá)式40

3.4.5交叉熵?fù)p失函數(shù)41

3.4.6模型預(yù)測(cè)及評(píng)價(jià)42

小結(jié)42

練習(xí)42

3.5圖像分類數(shù)據(jù)集（Fashion-MNIST）42

3.5.1獲取數(shù)據(jù)集42

3.5.2讀取小批量44

小結(jié)45

練習(xí)45

3.6softmax回歸的從零開始實(shí)現(xiàn)45

3.6.1讀取數(shù)據(jù)集45

3.6.2初始化模型參數(shù)45

3.6.3實(shí)現(xiàn)softmax運(yùn)算46

3.6.4定義模型46

3.6.5定義損失函數(shù)47

3.6.6計(jì)算分類準(zhǔn)確率47

3.6.7訓(xùn)練模型48

3.6.8預(yù)測(cè)48

小結(jié)49

練習(xí)49

3.7softmax回歸的簡(jiǎn)潔實(shí)現(xiàn)49

3.7.1讀取數(shù)據(jù)集49

3.7.2定義和初始化模型50

3.7.3softmax和交叉熵?fù)p失函數(shù)50

3.7.4定義優(yōu)化算法50

3.7.5訓(xùn)練模型50

小結(jié)50

練習(xí)50

3.8多層感知機(jī)51

3.8.1隱藏層51

3.8.2激活函數(shù)52

3.8.3多層感知機(jī)55

小結(jié)55

練習(xí)55

3.9多層感知機(jī)的從零開始實(shí)現(xiàn)56

3.9.1讀取數(shù)據(jù)集56

3.9.2定義模型參數(shù)56

3.9.3定義激活函數(shù)56

3.9.4定義模型56

3.9.5定義損失函數(shù)57

3.9.6訓(xùn)練模型57

小結(jié)57

練習(xí)57

3.10多層感知機(jī)的簡(jiǎn)潔實(shí)現(xiàn)57

3.10.1定義模型58

3.10.2訓(xùn)練模型58

小結(jié)58

練習(xí)58

3.11模型選擇、欠擬合和過擬合58

3.11.1訓(xùn)練誤差和泛化誤差59

3.11.2模型選擇59

3.11.3欠擬合和過擬合60

3.11.4多項(xiàng)式函數(shù)擬合實(shí)驗(yàn)61

小結(jié)65

練習(xí)65

3.12權(quán)重衰減65

3.12.1方法65

3.12.2高維線性回歸實(shí)驗(yàn)66

3.12.3從零開始實(shí)現(xiàn)66

3.12.4簡(jiǎn)潔實(shí)現(xiàn)68

小結(jié)70

練習(xí)70

3.13丟棄法70

3.13.1方法70

3.13.2從零開始實(shí)現(xiàn)71

3.13.3簡(jiǎn)潔實(shí)現(xiàn)73

小結(jié)74

練習(xí)74

3.14正向傳播、反向傳播和計(jì)算圖74

3.14.1正向傳播74

3.14.2正向傳播的計(jì)算圖75

3.14.3反向傳播75

3.14.4訓(xùn)練深度學(xué)習(xí)模型76

小結(jié)77

練習(xí)77

3.15數(shù)值穩(wěn)定性和模型初始化77

3.15.1衰減和爆炸77

3.15.2隨機(jī)初始化模型參數(shù)78

小結(jié)78

練習(xí)79

3.16實(shí)戰(zhàn)Kaggle比賽：房?jī)r(jià)預(yù)測(cè)79

3.16.1Kaggle比賽79

3.16.2讀取數(shù)據(jù)集80

3.16.3預(yù)處理數(shù)據(jù)集81

3.16.4訓(xùn)練模型82

3.16.5k折交叉驗(yàn)證82

3.16.6模型選擇83

3.16.7預(yù)測(cè)并在Kaggle提交結(jié)果84

小結(jié)85

練習(xí)85

第4章深度學(xué)習(xí)計(jì)算86

4.1模型構(gòu)造86

4.1.1繼承Block類來構(gòu)造模型86

4.1.2Sequential類繼承自Block類87

4.1.3構(gòu)造復(fù)雜的模型88

小結(jié)89

練習(xí)90

4.2模型參數(shù)的訪問、初始化和共享90

4.2.1訪問模型參數(shù)90

4.2.2初始化模型參數(shù)92

4.2.3自定義初始化方法93

4.2.4共享模型參數(shù)94

小結(jié)94

練習(xí)94

4.3模型參數(shù)的延后初始化95

4.3.1延后初始化95

4.3.2避免延后初始化96

小結(jié)96

練習(xí)97

4.4自定義層97

4.4.1不含模型參數(shù)的自定義層97

4.4.2含模型參數(shù)的自定義層98

小結(jié)99

練習(xí)99

4.5讀取和存儲(chǔ)99

4.5.1讀寫NDArray99

4.5.2讀寫Gluon模型的參數(shù)100

小結(jié)101

練習(xí)101

4.6GPU計(jì)算101

4.6.1計(jì)算設(shè)備102

4.6.2NDArray的GPU計(jì)算102

4.6.3Gluon的GPU計(jì)算104

小結(jié)105

練習(xí)105

第5章卷積神經(jīng)網(wǎng)絡(luò)106

5.1二維卷積層106

5.1.1二維互相關(guān)運(yùn)算106

5.1.2二維卷積層107

5.1.3圖像中物體邊緣檢測(cè)108

5.1.4通過數(shù)據(jù)學(xué)習(xí)核數(shù)組109

5.1.5互相關(guān)運(yùn)算和卷積運(yùn)算109

5.1.6特征圖和感受野110

小結(jié)110

練習(xí)110

5.2填充和步幅111

5.2.1填充111

5.2.2步幅112

小結(jié)113

練習(xí)113

5.3多輸入通道和多輸出通道114

5.3.1多輸入通道114

5.3.2多輸出通道115

5.3.31x1卷積層116

小結(jié)117

練習(xí)117

5.4池化層117

5.4.1二維最大池化層和平均池化層117

5.4.2填充和步幅119

5.4.3多通道120

小結(jié)120

練習(xí)121

5.5卷積神經(jīng)網(wǎng)絡(luò)（LeNet）121

5.5.1LeNet模型121

5.5.2訓(xùn)練模型122

小結(jié)124

練習(xí)124

5.6深度卷積神經(jīng)網(wǎng)絡(luò)（AlexNet）124

5.6.1學(xué)習(xí)特征表示125

5.6.2AlexNet126

5.6.3讀取數(shù)據(jù)集127

5.6.4訓(xùn)練模型128

小結(jié)128

練習(xí)129

5.7使用重復(fù)元素的網(wǎng)絡(luò)（VGG）129

5.7.1VGG塊129

5.7.2VGG網(wǎng)絡(luò)129

5.7.3訓(xùn)練模型130

小結(jié)131

練習(xí)131

5.8網(wǎng)絡(luò)中的網(wǎng)絡(luò)（NiN）131

5.8.1NiN塊131

5.8.2NiN模型132

5.8.3訓(xùn)練模型133

小結(jié)134

練習(xí)134

5.9含并行連結(jié)的網(wǎng)絡(luò)（GoogLeNet）134

5.9.1Inception塊134

5.9.2GoogLeNet模型135

5.9.3訓(xùn)練模型137

小結(jié)137

練習(xí)137

5.10批量歸一化138

5.10.1批量歸一化層138

5.10.2從零開始實(shí)現(xiàn)139

5.10.3使用批量歸一化層的LeNet140

5.10.4簡(jiǎn)潔實(shí)現(xiàn)141

小結(jié)142

練習(xí)142

5.11殘差網(wǎng)絡(luò)（ResNet）143

5.11.1殘差塊143

5.11.2ResNet模型145

5.11.3訓(xùn)練模型146

小結(jié)146

練習(xí)146

5.12稠密連接網(wǎng)絡(luò)（DenseNet）147

5.12.1稠密塊147

5.12.2過渡層148

5.12.3DenseNet模型148

5.12.4訓(xùn)練模型149

小結(jié)149

練習(xí)149

第6章循環(huán)神經(jīng)網(wǎng)絡(luò)150

6.1語(yǔ)言模型150

6.1.1語(yǔ)言模型的計(jì)算151

6.1.2n元語(yǔ)法151

小結(jié)152

練習(xí)152

6.2循環(huán)神經(jīng)網(wǎng)絡(luò)152

6.2.1不含隱藏狀態(tài)的神經(jīng)網(wǎng)絡(luò)152

6.2.2含隱藏狀態(tài)的循環(huán)神經(jīng)網(wǎng)絡(luò)152

6.2.3應(yīng)用：基于字符級(jí)循環(huán)神經(jīng)網(wǎng)絡(luò)的語(yǔ)言模型154

小結(jié)155

練習(xí)155

6.3語(yǔ)言模型數(shù)據(jù)集（歌詞）155

6.3.1讀取數(shù)據(jù)集155

6.3.2建立字符索引156

6.3.3時(shí)序數(shù)據(jù)的采樣156

小結(jié)158

練習(xí)159

6.4循環(huán)神經(jīng)網(wǎng)絡(luò)的從零開始實(shí)現(xiàn)159

6.4.1one-hot向量159

6.4.2初始化模型參數(shù)160

6.4.3定義模型160

6.4.4定義預(yù)測(cè)函數(shù)161

6.4.5裁剪梯度161

6.4.6困惑度162

6.4.7定義模型訓(xùn)練函數(shù)162

6.4.8訓(xùn)練模型并創(chuàng)作歌詞163

小結(jié)164

練習(xí)164

6.5循環(huán)神經(jīng)網(wǎng)絡(luò)的簡(jiǎn)潔實(shí)現(xiàn)165

6.5.1定義模型165

6.5.2訓(xùn)練模型166

小結(jié)168

練習(xí)168

6.6通過時(shí)間反向傳播168

6.6.1定義模型168

6.6.2模型計(jì)算圖169

6.6.3方法169

小結(jié)170

練習(xí)170

6.7門控循環(huán)單元（GRU）170

6.7.1門控循環(huán)單元171

6.7.2讀取數(shù)據(jù)集173

6.7.3從零開始實(shí)現(xiàn)173

6.7.4簡(jiǎn)潔實(shí)現(xiàn)175

小結(jié)176

練習(xí)176

6.8長(zhǎng)短期記憶（LSTM）176

6.8.1長(zhǎng)短期記憶176

6.8.2讀取數(shù)據(jù)集179

6.8.3從零開始實(shí)現(xiàn)179

6.8.4簡(jiǎn)潔實(shí)現(xiàn)181

小結(jié)181

練習(xí)182

6.9深度循環(huán)神經(jīng)網(wǎng)絡(luò)182

小結(jié)183

練習(xí)183

6.10雙向循環(huán)神經(jīng)網(wǎng)絡(luò)183

小結(jié)184

練習(xí)184

第7章優(yōu)化算法185

7.1優(yōu)化與深度學(xué)習(xí)185

7.1.1優(yōu)化與深度學(xué)習(xí)的關(guān)系185

7.1.2優(yōu)化在深度學(xué)習(xí)中的挑戰(zhàn)186

小結(jié)188

練習(xí)189

7.2梯度下降和隨機(jī)梯度下降189

7.2.1一維梯度下降189

7.2.2學(xué)習(xí)率190

7.2.3多維梯度下降191

7.2.4隨機(jī)梯度下降193

小結(jié)194

練習(xí)194

7.3小批量隨機(jī)梯度下降194

7.3.1讀取數(shù)據(jù)集195

7.3.2從零開始實(shí)現(xiàn)196

7.3.3簡(jiǎn)潔實(shí)現(xiàn)198

小結(jié)199

練習(xí)199

7.4動(dòng)量法200

7.4.1梯度下降的問題200

7.4.2動(dòng)量法201

7.4.3從零開始實(shí)現(xiàn)203

7.4.4簡(jiǎn)潔實(shí)現(xiàn)205

小結(jié)205

練習(xí)205

7.5AdaGrad算法206

7.5.1算法206

7.5.2特點(diǎn)206

7.5.3從零開始實(shí)現(xiàn)208

7.5.4簡(jiǎn)潔實(shí)現(xiàn)209

小結(jié)209

練習(xí)209

7.6RMSProp算法209

7.6.1算法210

7.6.2從零開始實(shí)現(xiàn)211

7.6.3簡(jiǎn)潔實(shí)現(xiàn)212

小結(jié)212

練習(xí)212

7.7AdaDelta算法212

7.7.1算法212

7.7.2從零開始實(shí)現(xiàn)213

7.7.3簡(jiǎn)潔實(shí)現(xiàn)214

小結(jié)214

練習(xí)214

7.8Adam算法215

7.8.1算法215

7.8.2從零開始實(shí)現(xiàn)216

7.8.3簡(jiǎn)潔實(shí)現(xiàn)216

小結(jié)217

練習(xí)217

第8章計(jì)算性能218

8.1命令式和符號(hào)式混合編程218

8.1.1混合式編程取兩者之長(zhǎng)220

8.1.2使用HybridSequential類構(gòu)造模型220

8.1.3使用HybridBlock類構(gòu)造模型222

小結(jié)224

練習(xí)224

8.2異步計(jì)算224

8.2.1MXNet中的異步計(jì)算224

8.2.2用同步函數(shù)讓前端等待計(jì)算結(jié)果226

8.2.3使用異步計(jì)算提升計(jì)算性能226

8.2.4異步計(jì)算對(duì)內(nèi)存的影響227

小結(jié)229

練習(xí)229

8.3自動(dòng)并行計(jì)算229

8.3.1CPU和GPU的并行計(jì)算230

8.3.2計(jì)算和通信的并行計(jì)算231

小結(jié)231

練習(xí)231

8.4多GPU計(jì)算232

8.4.1數(shù)據(jù)并行232

8.4.2定義模型233

8.4.3多GPU之間同步數(shù)據(jù)234

8.4.4單個(gè)小批量上的多GPU訓(xùn)練236

8.4.5定義訓(xùn)練函數(shù)236

8.4.6多GPU訓(xùn)練實(shí)驗(yàn)237

小結(jié)237

練習(xí)237

8.5多GPU計(jì)算的簡(jiǎn)潔實(shí)現(xiàn)237

8.5.1多GPU上初始化模型參數(shù)238

8.5.2多GPU訓(xùn)練模型239

小結(jié)241

練習(xí)241

第9章計(jì)算機(jī)視覺242

9.1圖像增廣242

9.1.1常用的圖像增廣方法243

9.1.2使用圖像增廣訓(xùn)練模型246

小結(jié)250

練習(xí)250

9.2微調(diào)250

熱狗識(shí)別251

小結(jié)255

練習(xí)255

9.3目標(biāo)檢測(cè)和邊界框255

邊界框256

小結(jié)257

練習(xí)257

9.4錨框257

9.4.1生成多個(gè)錨框257

9.4.2交并比259

9.4.3標(biāo)注訓(xùn)練集的錨框260

9.4.4輸出預(yù)測(cè)邊界框263

小結(jié)265

練習(xí)265

9.5多尺度目標(biāo)檢測(cè)265

小結(jié)268

練習(xí)268

9.6目標(biāo)檢測(cè)數(shù)據(jù)集（皮卡丘）268

9.6.1獲取數(shù)據(jù)集269

9.6.2讀取數(shù)據(jù)集269

9.6.3圖示數(shù)據(jù)270

小結(jié)270

練習(xí)271

9.7單發(fā)多框檢測(cè)（SSD）271

9.7.1定義模型271

9.7.2訓(xùn)練模型275

9.7.3預(yù)測(cè)目標(biāo)277

小結(jié)278

練習(xí)278

9.8區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（R-CNN）系列280

9.8.1R-CNN280

9.8.2Fast R-CNN281

9.8.3Faster R-CNN283

9.8.4Mask R-CNN284

小結(jié)285

練習(xí)285

9.9語(yǔ)義分割和數(shù)據(jù)集285

9.9.1圖像分割和實(shí)例分割285

9.9.2Pascal VOC2012語(yǔ)義分割數(shù)據(jù)集286

小結(jié)290

練習(xí)290

9.10全卷積網(wǎng)絡(luò)（FCN）290

9.10.1轉(zhuǎn)置卷積層291

9.10.2構(gòu)造模型 292

9.10.3初始化轉(zhuǎn)置卷積層294

9.10.4讀取數(shù)據(jù)集295

9.10.5訓(xùn)練模型296

9.10.6預(yù)測(cè)像素類別296

小結(jié)297

練習(xí)297

9.11樣式遷移298

9.11.1方法 298

9.11.2讀取內(nèi)容圖像和樣式圖像 299

9.11.3預(yù)處理和后處理圖像 300

9.11.4抽取特征 301

9.11.5定義損失函數(shù) 302

9.11.6創(chuàng)建和初始化合成圖像 303

9.11.7訓(xùn)練模型 304

小結(jié)306

練習(xí)306

9.12實(shí)戰(zhàn)Kaggle比賽：圖像分類（CIFAR-10）306

9.12.1獲取和整理數(shù)據(jù)集 307

9.12.2圖像增廣 310

9.12.3讀取數(shù)據(jù)集 310

9.12.4定義模型 311

9.12.5定義訓(xùn)練函數(shù) 312

9.12.6訓(xùn)練模型 312

9.12.7對(duì)測(cè)試集分類并在Kaggle

提交結(jié)果313

小結(jié)313

練習(xí)313

9.13實(shí)戰(zhàn)Kaggle比賽：狗的品種識(shí)別（ImageNetDogs）314

小結(jié)320

練習(xí)320

第10章自然語(yǔ)言處理321

10.1詞嵌入（word2vec）321

小結(jié)325

練習(xí)325

10.2近似訓(xùn)練325

小結(jié)327

練習(xí)328

10.3word2vec的實(shí)現(xiàn)328

小結(jié)336

練習(xí)336

10.4子詞嵌入（fastText）336

小結(jié)337

練習(xí)337

10.5全局向量的詞嵌入（GloVe）337

小結(jié)340

練習(xí)340

10.6求近義詞和類比詞340

小結(jié)343

練習(xí)343

10.7文本情感分類：使用循環(huán)神經(jīng)網(wǎng)絡(luò)343

小結(jié)347

練習(xí)347

10.8文本情感分類：使用卷積神經(jīng)網(wǎng)絡(luò)（textCNN）347

小結(jié)353

練習(xí)353

10.9編碼器-解碼器（seq2seq）353

小結(jié)355

練習(xí)355

10.10束搜索355

小結(jié)358

練習(xí)358

10.11注意力機(jī)制358

小結(jié)361

練習(xí)361

10.12機(jī)器翻譯361

小結(jié)369

練習(xí)369

附錄A數(shù)學(xué)基礎(chǔ)370

附錄B使用Jupyter記事本376

附錄C使用AWS運(yùn)行代碼381

附錄DGPU購(gòu)買指南388

附錄E如何為本書做貢獻(xiàn)391

附錄Fd2lzh包索引395

附錄G中英文術(shù)語(yǔ)對(duì)照表397

參考文獻(xiàn)402

索引407