- ÇöÀç À§Ä¡
- home > ÄÄÇ»ÅÍ¡¤ICT¡¤¾îÇÐ > ÄÄÇ»ÅÍ¡¤IT µµ¼ > ÄÄÇ»ÅÍ°øÇÐ > µö ·¯´× Á¦´ë·Î Á¤¸®Çϱâ[Á¦ÀÌÆà]
ÀΰøÁö´É°ú µö ·¯´×ÀÇ ¿ø¸®¸¦ ¸í·áÇÑ ¼ö½Ä°ú ±×¸²À¸·Î ¼³¸íÇÑ Ã¼°èÀûÀÎ µö ·¯´× ±³°ú¼!
ÀÌ Ã¥Àº ÀΰøÁö´É ºÐ¾ß ÃÖÀϼ±¿¡ ÀÖ´Â ¿¬±¸ÀÚµéÀÌ ÀϺ» ÀΰøÁö´ÉÇÐȸÁö¿¡ °ÔÀçÇß´ø ÀڽŵéÀÇ ¿¬Àç¹°¿¡ ³»¿ëÀ» ´ëÆø º¸°ÇÏ¿© ¸¸µç Ã¥ÀÌ´Ù. Áö±Ý±îÁöÀÇ µö ·¯´× ¿¬±¸ ¼º°ú¸¦ ¼ö½Ä°ú ÇÔ²² ü°èÀûÀ¸·Î Á¤¸®ÇÏ¿´À» »Ó¸¸ ¾Æ´Ï¶ó ¾ÕÀ¸·Î ³²Àº °úÁ¦¸¦ ±¸Ã¼ÀûÀÎ »ç·Ê¿Í ÇÔ²² ¼¼úÇÏ¿´´Ù. ±âÃÊÆí¿¡¼´Â µö ·¯´×ÀÇ Àüü ±×¸²°ú ÇÔ²² ´ë±Ô¸ð ½Å°æ¸ÁÀ» ÇнÀÇÏ´Â µ¥ ÇÊ¿äÇÑ ³ëÇϿ츦 °£·«ÇÏ°Ô Á¤¸®ÇÏ¿´À¸¸ç, ÀÀ¿ëÆí¿¡¼´Â µö ·¯´×ÀÇ ÁÖ¿ä ÀÀ¿ë ºÐ¾ßÀÎ À̹ÌÁö ÀνÄ, À½¼º ÀνÄ, ÀÚ¿¬¾î 󸮿¡¼ µö ·¯´×ÀÌ ¾î¶»°Ô Àû¿ëµÇ°í ÀÖ´ÂÁö¿Í ÇÔ²² °¢ ºÐ¾ß¿¡ Æ¯ÈµÈ ÀÀ¿ë ±â¹ýÀ» ¼Ò°³ÇÏ¿´´Ù. ?
ÀÌ Ã¥Àº ÀΰøÁö´É ºÐ¾ß ÃÖÀϼ±¿¡ ÀÖ´Â ¿¬±¸ÀÚµéÀÌ ÀϺ» ÀΰøÁö´ÉÇÐȸÁö¿¡ °ÔÀçÇß´ø ÀڽŵéÀÇ ¿¬Àç¹°¿¡ ³»¿ëÀ» ´ëÆø º¸°ÇÏ¿© ¸¸µç Ã¥ÀÌ´Ù. Áö±Ý±îÁöÀÇ µö ·¯´× ¿¬±¸ ¼º°ú¸¦ ¼ö½Ä°ú ÇÔ²² ü°èÀûÀ¸·Î Á¤¸®ÇÏ¿´À» »Ó¸¸ ¾Æ´Ï¶ó ¾ÕÀ¸·Î ³²Àº °úÁ¦¸¦ ±¸Ã¼ÀûÀÎ »ç·Ê¿Í ÇÔ²² ¼¼úÇÏ¿´´Ù. ±âÃÊÆí¿¡¼´Â µö ·¯´×ÀÇ Àüü ±×¸²°ú ÇÔ²² ´ë±Ô¸ð ½Å°æ¸ÁÀ» ÇнÀÇÏ´Â µ¥ ÇÊ¿äÇÑ ³ëÇϿ츦 °£·«ÇÏ°Ô Á¤¸®ÇÏ¿´À¸¸ç, ÀÀ¿ëÆí¿¡¼´Â µö ·¯´×ÀÇ ÁÖ¿ä ÀÀ¿ë ºÐ¾ßÀÎ À̹ÌÁö ÀνÄ, À½¼º ÀνÄ, ÀÚ¿¬¾î 󸮿¡¼ µö ·¯´×ÀÌ ¾î¶»°Ô Àû¿ëµÇ°í ÀÖ´ÂÁö¿Í ÇÔ²² °¢ ºÐ¾ß¿¡ Æ¯ÈµÈ ÀÀ¿ë ±â¹ýÀ» ¼Ò°³ÇÏ¿´´Ù. ?
ÀúÀÚ: ¾Æ¼Ò È÷µ¥Å°, ¾ß½º´Ù ¹«³×Å°, ¸¶¿¡´Ù ½ÅÀÌÄ¡, ¿ÀÄ«³ëÇ϶ó ´ÙÀ̽ºÄÉ, ¿ÀīŸ´Ï ŸīÀ¯Å°, Äíº¸ ¿äŸ·Î, ´Ù´©½´Ä« º¼·¹°¥¶ó, Ä«¹Ì½Ã¸¶ Åä½ÃÈ÷·Î (ÁöÀºÀÌ), ½ÉÈ¿¼· (¿Å±äÀÌ)
1.
PART 1 ±âÃÊÆí_1
CHAPTER 1 °èÃþÇü ½Å°æ¸ÁÀ» ÀÌ¿ëÇÑ µö ·¯´×_3
1.1 ½ÃÀÛÇϸç 3
1.2 µ¥ÀÌÅͷκÎÅÍ ³»ºÎ Ç¥Çö ÇнÀÇϱâ 5
1.2.1 ³»ºÎ Ç¥ÇöÀÇ Á߿伺°ú ÇнÀ ±â¹ý 6
1.2.2 Ư¡ ¿£Áö´Ï¾î¸µ°ú Ç¥Çö ÇнÀ 7
1.3 °èÃþÇü ½Å°æ¸Á 10
1.3.1 ½Å°æ¸Á ¿¬±¸ÀÇ °èº¸ 10
1.3.2 °èÃþÇü ½Å°æ¸ÁÀÇ ¼ö¸®Àû ¸ðÇü 11
1.4 °èÃþÇü ½Å°æ¸ÁÀÇ ÇнÀ 13
1.4.1 ¿ÀÂ÷¼öÁ¤ ÇнÀ 14
1.4.2 ¿ÀÂ÷¿ªÀüÆÄ ÇнÀ 15
1.4.3 °æÀïÇнÀ 17
1.5 µö ´º·²³ÝÀ» ÀÌ¿ëÇÑ ½ÉÃþ Ç¥ÇöÇнÀ 18
1.5.1 ¿ÀÂ÷¿ªÀüÆÄ ÇнÀÀ» ÅëÇÑ ³»ºÎ Ç¥ÇöÇнÀ 19
1.5.2 µö ´º·²³ÝÀÇ ÇнÀ 20
1.6 ÇÕ¼º°ö ½Å°æ¸Á 21
1.7 ÀÚ±âºÎȣȱâ 24
1.7.1 ÀÚ±âºÎȣȱâ¿Í ÀÚ±âºÎȣȱâÀÇ ÇнÀ 24
1.7.2 ÀûÃþ ÀÚ±âºÎȣȱâ 25
1.7.3 Èñ¼Ò ÀÚ±âºÎȣȱâ 27
1.7.4 ÀâÀ½Á¦°Å ÀÚ±âºÎȣȱâ 28
1.8 Á¤¸® 28
Âü°í ¹®Çå 30
CHAPTER 2 µö º¼Ã÷¸¸ ¸Ó½Å_35
2.1½ÃÀÛÇϸç 35
2.2 Åë°èÀû ¸Ó½Å ·¯´×ÀÇ ¾ÆÀ̵ð¾î ¡ª µ¥ÀÌÅÍ »ý¼º ¸ðÇüÀÇ ÀçÇö 37
2.3 ¸¶¸£ÄÚÇÁ È®·üÀå°ú º¼Ã÷¸¸ ¸Ó½Å 40
2.3.1 ¸¶¸£ÄÚÇÁ È®·üÀå 40
2.3.2 º¼Ã÷¸¸ ¸Ó½Å 42
2.3.3 º¼Ã÷¸¸ ¸Ó½Å°ú È©ÇÊµå ³×Æ®¿öÅ©ÀÇ °ü°è 44
2.3.4 º¼Ã÷¸¸ ¸Ó½ÅÀÇ ÇнÀÀ» À§ÇÑ Áغñ 45
2.4 °¡½Ãº¯¼ö¸¸ ÀÖ´Â º¼Ã÷¸¸ ¸Ó½ÅÀÇ ÇнÀ 46
2.4.1 Ä𺤠- ¶óÀÌºí·¯ ¹ß»êÀ¸·ÎºÎÅÍÀÇ ÇнÀ¹æÁ¤½Ä À¯µµ¹æ¹ý 49
2.4.2 º¼Ã÷¸¸ ¸Ó½Å ÇнÀ¿¡ ´ëÇÑ ±¸Çö°ú Á¶ÇÕÀÇ Æø¹ß ¹®Á¦ 51
2.5 ºñ°¡½Ãº¯¼ö°¡ ÀÖ´Â º¼Ã÷¸¸ ¸Ó½ÅÀÇ ÇнÀ 53
2.5.1 ºñ°¡½Ãº¯¼ö°¡ ÀÖ´Â °æ¿ìÀÇ ÇнÀ¿¡ ´ëÇؼ 56
2.5.2 ºñ°¡½Ãº¯¼ö¸¦ µµÀÔÇÏ´Â ÀÇ¹Ì 57
2.6 º¼Ã÷¸¸ ¸Ó½Å¿¡¼ÀÇ ±Ù»ç ±â¹ý 59
2.6.1 ±é½º »ùÇøµ 60
2.6.2 Æò±ÕÀå ±Ù»ç 63
2.7 Á¦¾à º¼Ã÷¸¸ ¸Ó½Å 66
2.7.1 Á¶°ÇºÎ µ¶¸³¼º¿¡ ±âÃÊÇÑ Á¦¾à º¼Ã÷¸¸ ¸Ó½ÅÀÇ ¼ºÁú 67
2.7.2 Á¦¾à º¼Ã÷¸¸ ¸Ó½ÅÀÇ ÇнÀ 69
2.8 µö º¼Ã÷¸¸ ¸Ó½Å 71
2.8.1 µö º¼Ã÷¸¸ ¸Ó½ÅÀÇ »çÀüÈÆ·Ã 73
2.8.2 »çÀüÈÆ·Ã ÈÄÀÇ ÃÖ´ë¿ìµµÃßÁ¤¹ý¿¡ ±âÃÊÇÑ ÇнÀ 77
2.8.3 Á¦¾à º¼Ã÷¸¸ ¸Ó½ÅÀ» ÀÚ±âºÎȣȱâ·Î È°¿ëÇϱâ 79
2.8.4 µö º¼Ã÷¸¸ ¸Ó½ÅÀÇ ÀÌ¿ë¹ý 81
2.9 µö ºô¸®ÇÁ³Ý 83
2.9.1 µö ºô¸®ÇÁ³Ý¿¡ ´ëÇÑ »çÀüÈÆ·Ã ¹× Ãß·Ð 84
2.9.2 µö ºô¸®ÇÁ³Ý¿¡ ´ëÇÑ »çÀüÈÆ·ÃÀÇ Á¤´ç¼º 86
2.10 Á¤¸® 91
Âü°í ¹®Çå 92
CHAPTER 3 »çÀüÈƷðú ±× ÁÖº¯_95
3.1 ½ÃÀÛÇϸç 95
3.2 ÀÚÀ¯µµ°¡ ³ôÀº Åë°è ¸ðÇü¿¡ ´ëÇÑ ÇнÀÀÇ ¾î·Á¿ò°ú ÇØ°áÃ¥ 96
3.2.1 ÇнÀÀ» ¾î·Æ°Ô ÇÏ´Â ¿äÀÎ 96
3.2.2 ±âÁ¸ÀÇ ÇØ°á¹ý 98
3.2.3 »õ·Î¿î ÇØ°á¹ý 101
3.3 ÀÚ±âºÎȣȱ⸦ ÀÌ¿ëÇÑ ³»ºÎ Ç¥ÇöÇнÀ 104
3.3.1 ÀÚ±âºÎȣȱâ¿Í ÀÚ±âºÎȣȱâÀÇ ¼Õ½ÇÇÔ¼ö Á¤ÀÇ 104
3.3.2 Ãþ ´ÜÀ§ Ž¿åÇнÀÀ» ÅëÇÑ ÀÚ±âºÎȣȱâÀÇ »çÀüÈÆ·Ã 106
3.4 È®·üÀû ¸ðÇüÀ» »ç¿ëÇÑ »çÀüÈÆ·Ã 107
3.4.1 Á¦¾à º¼Ã÷¸¸ ¸Ó½Å 107
3.4.2 Áö¼öÇü Çϸð´Ï¿òÁ· 110
3.4.3 ´ëÁ¶Àû ¹ß»êÀ» ÀÌ¿ëÇÑ Áö¼öÇü Çϸð´Ï¿òÁ·ÀÇ ÇнÀ 114
3.4.4 ´ëÁ¶Àû ¹ß»ê¹ýÀÌ ÃÖÀûÈÇÏ´Â ¼Õ½ÇÇÔ¼ö 115
3.4.5 ´ëÁ¶Àû ¹ß»ê¹ý°ú ºñ½ÁÇÑ ÇнÀ ±ÔÄ¢À» °®´Â ¾Ë°í¸®Áò 123
3.4.6 ´ëÁ¶Àû ¹ß»êÀ¸·ÎºÎÅÍ ÆÄ»ýÇÑ ÇнÀ ±ÔÄ¢ 125
3.4.7 È®·üÀûÀÎ ¸ðÇüÀÇ »çÀüÈƷðú ÀÚ±âºÎȣȱâ ÇнÀÀÇ °ü°è 127
3.5 °áÁ¤Àû ¸ðÇüÀ» »ç¿ëÇÑ »çÀüÈÆ·Ã 128
3.5.1 ºñÁöµµ ÇнÀÀ» ÅëÇÑ °áÁ¤Àû ¸ðÇüÀÇ ÇнÀ 130
3.5.2 ÁöµµÇнÀ ¹æ½ÄÀ» ÀÌ¿ëÇÑ °áÁ¤Àû ¸ðÇüÀÇ ÇнÀ 133
3.6 Product of Experts ÇнÀ¹ýÀ¸·Î º» ´ëÁ¶Àû ¹ß»ê¹ý 134
3.7 Á¤¸® 136
Âü°í ¹®Çå 137
CHAPTER 4 ´ë±Ô¸ð µö ·¯´×À» ½ÇÇöÇϱâ À§ÇÑ ±â¼ú_141
4.1 ½ÃÀÛÇϸç 141
4.2 µö ·¯´×ÀÇ ÃÖÀûÈ 143
4.2.1 µö ·¯´×ÀÇ ±âº» ¿¬»ê 143
4.2.2 È®·üÀû °æ»çÇÏ°¹ý 145
4.3 ¼Óµµ Çâ»óÀ» À§ÇÑ ±â¹ý 146
4.3.1 ºÐ»êº´·Äó¸®: µð½ºÆ®ºô¸®ÇÁ 146
4.3.2 GPU¸¦ ÀÌ¿ëÇÑ ´ë±Ô¸ð ½Å°æ¸ÁÇнÀ 150
4.3.3 ÀÎÇǴϹêµåÀÇ ÀÌ¿ë 153
4.3.4 ÇнÀ¼ö·Å ¼Óµµ¸¦ Çâ»ó½ÃÅ°´Â ¹æ¹ý 154
4.4 °úÀûÇÕ ¾ïÁ¦: µå·Ó¾Æ¿ô 157
4.5 È°¼ºÈÇÔ¼ö 161
4.5.1 ReLU 161
4.5.2 MaxOut 162
4.6 ÇнÀ·üÀ» Á¶Á¤ÇÏ´Â ±â¹ý 163
4.6.1 AdaGrad 164
4.6.2 Adam 164
4.6.3 ÇÏÀÌÆÛÆĶó¹ÌÅÍÀÇ ÃÖÀûÈ 165
4.7 ±¸ÇöÀ» À§ÇÑ ±â¹ý 167
4.7.1 ±¸ÇöÀÌ ¿Ã¹Ù¸¥Áö È®ÀÎÇϱâ 167
4.8 Á¤¸® 168
Âü°í ¹®Çå 168
PART 2 ÀÀ¿ëÆí_171
CHAPTER 5 À̹ÌÁö ÀνÄÀ» À§ÇÑ µö ·¯´×_173
5.1 ½ÃÀÛÇϸç 173
5.1.1 ÇÕ¼º°ö ½Å°æ¸ÁÀÇ Àç¹ß°ß 174
5.1.2 ÈÄ¼Ó ¿¬±¸ 175
5.2 ÇÕ¼º°ö ½Å°æ¸Á 177
5.2.1 ±âº» ±¸Á¶ 177
5.2.2 ÇÕ¼º°öÃþ 178
5.2.3 Ç®¸µÃþ 181
5.2.4 ¿¹Á¦: ¼ýÀÚ Çʱâ ÀνÄÀ» À§ÇÑ ÇÕ¼º°ö ½Å°æ¸Á 182
5.2.5 ÇнÀ 184
5.2.6 ÄÜÆ®¶ó½ºÆ® Á¶Á¤°ú µ¥ÀÌÅÍ Á¤±ÔÈ 186
5.3 ÇÕ¼º°ö ½Å°æ¸ÁÀÇ µ¿ÀÛ 188
5.3.1 ÀϹݹ°Ã¼ ÀνÄÀÇ ¾î·Á¿ò 188
5.3.2 ÀϹݹ°Ã¼ ÀνÄÀÇ ±âÁ¸ ¹æ¹ý 189
5.3.3 ±âÁ¸ÀÇ ¹æ¹ý°ú ÇÕ¼º°ö ½Å°æ¸ÁÀÇ ºñ±³ 193
5.3.4 ³×Æ®¿öÅ© ±¸Á¶¿Í ÀÎ½Ä ¼º´É 195
5.3.5 ÇÕ¼º°ö ½Å°æ¸ÁÀÇ È®ÀåÀ» À§ÇÑ ½Ãµµ 197
5.4 ÇÕ¼º°ö ½Å°æ¸ÁÀÇ ³»ºÎ Ç¥Çö 198
5.4.1 ½Ã°¢È 198
5.4.2 ³ú½Å°æ°è¿ÍÀÇ °ü°è 199
5.4.3 ÀüÀÌÇнÀ 200
5.5 À̹ÌÁö Ư¡¿¡ ´ëÇÑ ºñÁöµµÇнÀ 201
5.5.1 ´ÜÃþ ÀÚ±âºÎȣȱ⸦ ÀÌ¿ëÇÑ ±¹¼ÒƯ¡ ÇнÀ 201
5.5.2 ´ÙÃþ ½Å°æ¸ÁÀ» ÀÌ¿ëÇÑ Æ¯Â¡ÇнÀ 204
5.6 Á¤¸® 208
Âü°í ¹®Çå 209
CHAPTER 6 À½¼º ÀνÄÀ» À§ÇÑ µö ·¯´×_213
6.1 ½ÃÀÛÇϸç 213
6.2 À½¼º ÀÎ½Ä 215
6.2.1 À½¼º ÀνĿ¡ »ç¿ëµÇ´Â ¸ðÇü 215
6.2.2 ´ë±Ô¸ð ¾îÈÖ ¿¬¼Ó À½¼º ÀÎ½Ä ½Ã½ºÅÛÀÇ ±¸¼º 219
6.3 À½¼º ÀνĿ¡¼ »ç¿ëµÇ´Â ½Å°æ¸Á 220
6.3.1 ½Ã°£ Áö¿¬ ½Å°æ¸Á 222
6.3.2 Àº´Ð ¸¶¸£ÄÚÇÁ ¸ðÇü°ú Á¶ÇÕÇÑ ½Å°æ¸Á: ÀýÃæÀû ¹æ½Ä 223
6.3.3 Àº´Ð ¸¶¸£ÄÚÇÁ¿Í Á¶ÇÕÇÑ ½Å°æ¸Á: ÅÄ´ý ¹æ½Ä 225
6.4 À½Çâ ¸ðÇüÀ» À§ÇÑ µö ·¯´×: »çÀüÈÆ·Ã 227
6.4.1 Á¦¾à º¼Ã÷¸¸ ¸Ó½ÅÀ» ÀÌ¿ëÇÑ »çÀüÈÆ·ÃÀ» Àû¿ëÇÑ µö ´º·²³Ý ¡ª Àº´Ð ¸¶¸£ÄÚÇÁ ¸ðÇü 227
6.4.2 ÀâÀ½Á¦°Å ÀÚ±âºÎȣȱ⸦ ÀÌ¿ëÇÑ »çÀüÈÆ·Ã 230
6.4.3 ½Äº°Àû »çÀüÈÆ·Ã 232
6.5 À½Çâ ¸ðÇüÀ» À§ÇÑ µö ·¯´×: ÇнÀ°ú ¸ðÇüÀÇ ÁøÀü 233
6.5.1 ¿¬¼Ó¿ ½Äº°ÇнÀ 233
6.5.2 ¼øȯ°áÇÕ ½Å°æ¸ÁÀ» ÀÌ¿ëÇÑ À½Çâ ¸ðÇü 238
6.5.3 Àå´Ü±â ±â¾ï 241
6.5.4 ¸ÖƼ½ºÆ®¸²/¸ÖƼŽºÅ© ÇнÀ 245
6.6 ¾ð¾î ¸ðÇü¿¡ ´ëÇÑ µö ·¯´× 246
6.6.1 ȸ±Í °áÇÕ ½Å°æ¸ÁÀ» ÀÌ¿ëÇÑ ¾ð¾î ¸ðÇü 247
6.7 Á¤¸® 249
Âü°í ¹®Çå 250
CHAPTER 7 ÀÚ¿¬¾î 󸮸¦ À§ÇÑ µö ·¯´×_253
7.1 ½ÃÀÛÇϸç 253
7.2 µö ·¯´×°ú ¾ð¾î ¸ðÇü 256
7.2.1 ½Å°æ¸Á ¾ð¾î ¸ðÇü 257
7.2.2 ±× ¿ÜÀÇ ¾ð¾î ¸ðÇü 260
7.3 ´Ü¾î ÀǹÌÇ¥Çö¿¡ ´ëÇÑ ÇнÀ 262
7.3.1 »óÇâ½Ä ÀǹÌÇ¥Çö ±¸Ãà ±â¹ý 262
7.3.2 ÇÏÇâ½Ä ÀǹÌÇ¥Çö ¿¹Ãø ±â¹ý 263
7.3.3 °èÃþÇü ¼ÒÇÁÆ®¸Æ½º¸¦ ÀÌ¿ëÇÑ °è»ê 268
7.3.4 ÀǹÌÇ¥ÇöÇнÀ ±â¹ý°ú ±× ¿ÜÀÇ ÁÖÁ¦ 270
7.4 µö ·¯´×°ú ÀÇ¹Ì ±¸Ãà 273
7.4.1 Æз¯ÇÁ·¹ÀÌÁî Ç¥Çö ÀνĿ¡ ´ëÇÑ ÀÀ¿ë 274
7.5 Á¤¸® 279
Âü°í ¹®Çå 280
PART 1 ±âÃÊÆí_1
CHAPTER 1 °èÃþÇü ½Å°æ¸ÁÀ» ÀÌ¿ëÇÑ µö ·¯´×_3
1.1 ½ÃÀÛÇϸç 3
1.2 µ¥ÀÌÅͷκÎÅÍ ³»ºÎ Ç¥Çö ÇнÀÇϱâ 5
1.2.1 ³»ºÎ Ç¥ÇöÀÇ Á߿伺°ú ÇнÀ ±â¹ý 6
1.2.2 Ư¡ ¿£Áö´Ï¾î¸µ°ú Ç¥Çö ÇнÀ 7
1.3 °èÃþÇü ½Å°æ¸Á 10
1.3.1 ½Å°æ¸Á ¿¬±¸ÀÇ °èº¸ 10
1.3.2 °èÃþÇü ½Å°æ¸ÁÀÇ ¼ö¸®Àû ¸ðÇü 11
1.4 °èÃþÇü ½Å°æ¸ÁÀÇ ÇнÀ 13
1.4.1 ¿ÀÂ÷¼öÁ¤ ÇнÀ 14
1.4.2 ¿ÀÂ÷¿ªÀüÆÄ ÇнÀ 15
1.4.3 °æÀïÇнÀ 17
1.5 µö ´º·²³ÝÀ» ÀÌ¿ëÇÑ ½ÉÃþ Ç¥ÇöÇнÀ 18
1.5.1 ¿ÀÂ÷¿ªÀüÆÄ ÇнÀÀ» ÅëÇÑ ³»ºÎ Ç¥ÇöÇнÀ 19
1.5.2 µö ´º·²³ÝÀÇ ÇнÀ 20
1.6 ÇÕ¼º°ö ½Å°æ¸Á 21
1.7 ÀÚ±âºÎȣȱâ 24
1.7.1 ÀÚ±âºÎȣȱâ¿Í ÀÚ±âºÎȣȱâÀÇ ÇнÀ 24
1.7.2 ÀûÃþ ÀÚ±âºÎȣȱâ 25
1.7.3 Èñ¼Ò ÀÚ±âºÎȣȱâ 27
1.7.4 ÀâÀ½Á¦°Å ÀÚ±âºÎȣȱâ 28
1.8 Á¤¸® 28
Âü°í ¹®Çå 30
CHAPTER 2 µö º¼Ã÷¸¸ ¸Ó½Å_35
2.1½ÃÀÛÇϸç 35
2.2 Åë°èÀû ¸Ó½Å ·¯´×ÀÇ ¾ÆÀ̵ð¾î ¡ª µ¥ÀÌÅÍ »ý¼º ¸ðÇüÀÇ ÀçÇö 37
2.3 ¸¶¸£ÄÚÇÁ È®·üÀå°ú º¼Ã÷¸¸ ¸Ó½Å 40
2.3.1 ¸¶¸£ÄÚÇÁ È®·üÀå 40
2.3.2 º¼Ã÷¸¸ ¸Ó½Å 42
2.3.3 º¼Ã÷¸¸ ¸Ó½Å°ú È©ÇÊµå ³×Æ®¿öÅ©ÀÇ °ü°è 44
2.3.4 º¼Ã÷¸¸ ¸Ó½ÅÀÇ ÇнÀÀ» À§ÇÑ Áغñ 45
2.4 °¡½Ãº¯¼ö¸¸ ÀÖ´Â º¼Ã÷¸¸ ¸Ó½ÅÀÇ ÇнÀ 46
2.4.1 Ä𺤠- ¶óÀÌºí·¯ ¹ß»êÀ¸·ÎºÎÅÍÀÇ ÇнÀ¹æÁ¤½Ä À¯µµ¹æ¹ý 49
2.4.2 º¼Ã÷¸¸ ¸Ó½Å ÇнÀ¿¡ ´ëÇÑ ±¸Çö°ú Á¶ÇÕÀÇ Æø¹ß ¹®Á¦ 51
2.5 ºñ°¡½Ãº¯¼ö°¡ ÀÖ´Â º¼Ã÷¸¸ ¸Ó½ÅÀÇ ÇнÀ 53
2.5.1 ºñ°¡½Ãº¯¼ö°¡ ÀÖ´Â °æ¿ìÀÇ ÇнÀ¿¡ ´ëÇؼ 56
2.5.2 ºñ°¡½Ãº¯¼ö¸¦ µµÀÔÇÏ´Â ÀÇ¹Ì 57
2.6 º¼Ã÷¸¸ ¸Ó½Å¿¡¼ÀÇ ±Ù»ç ±â¹ý 59
2.6.1 ±é½º »ùÇøµ 60
2.6.2 Æò±ÕÀå ±Ù»ç 63
2.7 Á¦¾à º¼Ã÷¸¸ ¸Ó½Å 66
2.7.1 Á¶°ÇºÎ µ¶¸³¼º¿¡ ±âÃÊÇÑ Á¦¾à º¼Ã÷¸¸ ¸Ó½ÅÀÇ ¼ºÁú 67
2.7.2 Á¦¾à º¼Ã÷¸¸ ¸Ó½ÅÀÇ ÇнÀ 69
2.8 µö º¼Ã÷¸¸ ¸Ó½Å 71
2.8.1 µö º¼Ã÷¸¸ ¸Ó½ÅÀÇ »çÀüÈÆ·Ã 73
2.8.2 »çÀüÈÆ·Ã ÈÄÀÇ ÃÖ´ë¿ìµµÃßÁ¤¹ý¿¡ ±âÃÊÇÑ ÇнÀ 77
2.8.3 Á¦¾à º¼Ã÷¸¸ ¸Ó½ÅÀ» ÀÚ±âºÎȣȱâ·Î È°¿ëÇϱâ 79
2.8.4 µö º¼Ã÷¸¸ ¸Ó½ÅÀÇ ÀÌ¿ë¹ý 81
2.9 µö ºô¸®ÇÁ³Ý 83
2.9.1 µö ºô¸®ÇÁ³Ý¿¡ ´ëÇÑ »çÀüÈÆ·Ã ¹× Ãß·Ð 84
2.9.2 µö ºô¸®ÇÁ³Ý¿¡ ´ëÇÑ »çÀüÈÆ·ÃÀÇ Á¤´ç¼º 86
2.10 Á¤¸® 91
Âü°í ¹®Çå 92
CHAPTER 3 »çÀüÈƷðú ±× ÁÖº¯_95
3.1 ½ÃÀÛÇϸç 95
3.2 ÀÚÀ¯µµ°¡ ³ôÀº Åë°è ¸ðÇü¿¡ ´ëÇÑ ÇнÀÀÇ ¾î·Á¿ò°ú ÇØ°áÃ¥ 96
3.2.1 ÇнÀÀ» ¾î·Æ°Ô ÇÏ´Â ¿äÀÎ 96
3.2.2 ±âÁ¸ÀÇ ÇØ°á¹ý 98
3.2.3 »õ·Î¿î ÇØ°á¹ý 101
3.3 ÀÚ±âºÎȣȱ⸦ ÀÌ¿ëÇÑ ³»ºÎ Ç¥ÇöÇнÀ 104
3.3.1 ÀÚ±âºÎȣȱâ¿Í ÀÚ±âºÎȣȱâÀÇ ¼Õ½ÇÇÔ¼ö Á¤ÀÇ 104
3.3.2 Ãþ ´ÜÀ§ Ž¿åÇнÀÀ» ÅëÇÑ ÀÚ±âºÎȣȱâÀÇ »çÀüÈÆ·Ã 106
3.4 È®·üÀû ¸ðÇüÀ» »ç¿ëÇÑ »çÀüÈÆ·Ã 107
3.4.1 Á¦¾à º¼Ã÷¸¸ ¸Ó½Å 107
3.4.2 Áö¼öÇü Çϸð´Ï¿òÁ· 110
3.4.3 ´ëÁ¶Àû ¹ß»êÀ» ÀÌ¿ëÇÑ Áö¼öÇü Çϸð´Ï¿òÁ·ÀÇ ÇнÀ 114
3.4.4 ´ëÁ¶Àû ¹ß»ê¹ýÀÌ ÃÖÀûÈÇÏ´Â ¼Õ½ÇÇÔ¼ö 115
3.4.5 ´ëÁ¶Àû ¹ß»ê¹ý°ú ºñ½ÁÇÑ ÇнÀ ±ÔÄ¢À» °®´Â ¾Ë°í¸®Áò 123
3.4.6 ´ëÁ¶Àû ¹ß»êÀ¸·ÎºÎÅÍ ÆÄ»ýÇÑ ÇнÀ ±ÔÄ¢ 125
3.4.7 È®·üÀûÀÎ ¸ðÇüÀÇ »çÀüÈƷðú ÀÚ±âºÎȣȱâ ÇнÀÀÇ °ü°è 127
3.5 °áÁ¤Àû ¸ðÇüÀ» »ç¿ëÇÑ »çÀüÈÆ·Ã 128
3.5.1 ºñÁöµµ ÇнÀÀ» ÅëÇÑ °áÁ¤Àû ¸ðÇüÀÇ ÇнÀ 130
3.5.2 ÁöµµÇнÀ ¹æ½ÄÀ» ÀÌ¿ëÇÑ °áÁ¤Àû ¸ðÇüÀÇ ÇнÀ 133
3.6 Product of Experts ÇнÀ¹ýÀ¸·Î º» ´ëÁ¶Àû ¹ß»ê¹ý 134
3.7 Á¤¸® 136
Âü°í ¹®Çå 137
CHAPTER 4 ´ë±Ô¸ð µö ·¯´×À» ½ÇÇöÇϱâ À§ÇÑ ±â¼ú_141
4.1 ½ÃÀÛÇϸç 141
4.2 µö ·¯´×ÀÇ ÃÖÀûÈ 143
4.2.1 µö ·¯´×ÀÇ ±âº» ¿¬»ê 143
4.2.2 È®·üÀû °æ»çÇÏ°¹ý 145
4.3 ¼Óµµ Çâ»óÀ» À§ÇÑ ±â¹ý 146
4.3.1 ºÐ»êº´·Äó¸®: µð½ºÆ®ºô¸®ÇÁ 146
4.3.2 GPU¸¦ ÀÌ¿ëÇÑ ´ë±Ô¸ð ½Å°æ¸ÁÇнÀ 150
4.3.3 ÀÎÇǴϹêµåÀÇ ÀÌ¿ë 153
4.3.4 ÇнÀ¼ö·Å ¼Óµµ¸¦ Çâ»ó½ÃÅ°´Â ¹æ¹ý 154
4.4 °úÀûÇÕ ¾ïÁ¦: µå·Ó¾Æ¿ô 157
4.5 È°¼ºÈÇÔ¼ö 161
4.5.1 ReLU 161
4.5.2 MaxOut 162
4.6 ÇнÀ·üÀ» Á¶Á¤ÇÏ´Â ±â¹ý 163
4.6.1 AdaGrad 164
4.6.2 Adam 164
4.6.3 ÇÏÀÌÆÛÆĶó¹ÌÅÍÀÇ ÃÖÀûÈ 165
4.7 ±¸ÇöÀ» À§ÇÑ ±â¹ý 167
4.7.1 ±¸ÇöÀÌ ¿Ã¹Ù¸¥Áö È®ÀÎÇϱâ 167
4.8 Á¤¸® 168
Âü°í ¹®Çå 168
PART 2 ÀÀ¿ëÆí_171
CHAPTER 5 À̹ÌÁö ÀνÄÀ» À§ÇÑ µö ·¯´×_173
5.1 ½ÃÀÛÇϸç 173
5.1.1 ÇÕ¼º°ö ½Å°æ¸ÁÀÇ Àç¹ß°ß 174
5.1.2 ÈÄ¼Ó ¿¬±¸ 175
5.2 ÇÕ¼º°ö ½Å°æ¸Á 177
5.2.1 ±âº» ±¸Á¶ 177
5.2.2 ÇÕ¼º°öÃþ 178
5.2.3 Ç®¸µÃþ 181
5.2.4 ¿¹Á¦: ¼ýÀÚ Çʱâ ÀνÄÀ» À§ÇÑ ÇÕ¼º°ö ½Å°æ¸Á 182
5.2.5 ÇнÀ 184
5.2.6 ÄÜÆ®¶ó½ºÆ® Á¶Á¤°ú µ¥ÀÌÅÍ Á¤±ÔÈ 186
5.3 ÇÕ¼º°ö ½Å°æ¸ÁÀÇ µ¿ÀÛ 188
5.3.1 ÀϹݹ°Ã¼ ÀνÄÀÇ ¾î·Á¿ò 188
5.3.2 ÀϹݹ°Ã¼ ÀνÄÀÇ ±âÁ¸ ¹æ¹ý 189
5.3.3 ±âÁ¸ÀÇ ¹æ¹ý°ú ÇÕ¼º°ö ½Å°æ¸ÁÀÇ ºñ±³ 193
5.3.4 ³×Æ®¿öÅ© ±¸Á¶¿Í ÀÎ½Ä ¼º´É 195
5.3.5 ÇÕ¼º°ö ½Å°æ¸ÁÀÇ È®ÀåÀ» À§ÇÑ ½Ãµµ 197
5.4 ÇÕ¼º°ö ½Å°æ¸ÁÀÇ ³»ºÎ Ç¥Çö 198
5.4.1 ½Ã°¢È 198
5.4.2 ³ú½Å°æ°è¿ÍÀÇ °ü°è 199
5.4.3 ÀüÀÌÇнÀ 200
5.5 À̹ÌÁö Ư¡¿¡ ´ëÇÑ ºñÁöµµÇнÀ 201
5.5.1 ´ÜÃþ ÀÚ±âºÎȣȱ⸦ ÀÌ¿ëÇÑ ±¹¼ÒƯ¡ ÇнÀ 201
5.5.2 ´ÙÃþ ½Å°æ¸ÁÀ» ÀÌ¿ëÇÑ Æ¯Â¡ÇнÀ 204
5.6 Á¤¸® 208
Âü°í ¹®Çå 209
CHAPTER 6 À½¼º ÀνÄÀ» À§ÇÑ µö ·¯´×_213
6.1 ½ÃÀÛÇϸç 213
6.2 À½¼º ÀÎ½Ä 215
6.2.1 À½¼º ÀνĿ¡ »ç¿ëµÇ´Â ¸ðÇü 215
6.2.2 ´ë±Ô¸ð ¾îÈÖ ¿¬¼Ó À½¼º ÀÎ½Ä ½Ã½ºÅÛÀÇ ±¸¼º 219
6.3 À½¼º ÀνĿ¡¼ »ç¿ëµÇ´Â ½Å°æ¸Á 220
6.3.1 ½Ã°£ Áö¿¬ ½Å°æ¸Á 222
6.3.2 Àº´Ð ¸¶¸£ÄÚÇÁ ¸ðÇü°ú Á¶ÇÕÇÑ ½Å°æ¸Á: ÀýÃæÀû ¹æ½Ä 223
6.3.3 Àº´Ð ¸¶¸£ÄÚÇÁ¿Í Á¶ÇÕÇÑ ½Å°æ¸Á: ÅÄ´ý ¹æ½Ä 225
6.4 À½Çâ ¸ðÇüÀ» À§ÇÑ µö ·¯´×: »çÀüÈÆ·Ã 227
6.4.1 Á¦¾à º¼Ã÷¸¸ ¸Ó½ÅÀ» ÀÌ¿ëÇÑ »çÀüÈÆ·ÃÀ» Àû¿ëÇÑ µö ´º·²³Ý ¡ª Àº´Ð ¸¶¸£ÄÚÇÁ ¸ðÇü 227
6.4.2 ÀâÀ½Á¦°Å ÀÚ±âºÎȣȱ⸦ ÀÌ¿ëÇÑ »çÀüÈÆ·Ã 230
6.4.3 ½Äº°Àû »çÀüÈÆ·Ã 232
6.5 À½Çâ ¸ðÇüÀ» À§ÇÑ µö ·¯´×: ÇнÀ°ú ¸ðÇüÀÇ ÁøÀü 233
6.5.1 ¿¬¼Ó¿ ½Äº°ÇнÀ 233
6.5.2 ¼øȯ°áÇÕ ½Å°æ¸ÁÀ» ÀÌ¿ëÇÑ À½Çâ ¸ðÇü 238
6.5.3 Àå´Ü±â ±â¾ï 241
6.5.4 ¸ÖƼ½ºÆ®¸²/¸ÖƼŽºÅ© ÇнÀ 245
6.6 ¾ð¾î ¸ðÇü¿¡ ´ëÇÑ µö ·¯´× 246
6.6.1 ȸ±Í °áÇÕ ½Å°æ¸ÁÀ» ÀÌ¿ëÇÑ ¾ð¾î ¸ðÇü 247
6.7 Á¤¸® 249
Âü°í ¹®Çå 250
CHAPTER 7 ÀÚ¿¬¾î 󸮸¦ À§ÇÑ µö ·¯´×_253
7.1 ½ÃÀÛÇϸç 253
7.2 µö ·¯´×°ú ¾ð¾î ¸ðÇü 256
7.2.1 ½Å°æ¸Á ¾ð¾î ¸ðÇü 257
7.2.2 ±× ¿ÜÀÇ ¾ð¾î ¸ðÇü 260
7.3 ´Ü¾î ÀǹÌÇ¥Çö¿¡ ´ëÇÑ ÇнÀ 262
7.3.1 »óÇâ½Ä ÀǹÌÇ¥Çö ±¸Ãà ±â¹ý 262
7.3.2 ÇÏÇâ½Ä ÀǹÌÇ¥Çö ¿¹Ãø ±â¹ý 263
7.3.3 °èÃþÇü ¼ÒÇÁÆ®¸Æ½º¸¦ ÀÌ¿ëÇÑ °è»ê 268
7.3.4 ÀǹÌÇ¥ÇöÇнÀ ±â¹ý°ú ±× ¿ÜÀÇ ÁÖÁ¦ 270
7.4 µö ·¯´×°ú ÀÇ¹Ì ±¸Ãà 273
7.4.1 Æз¯ÇÁ·¹ÀÌÁî Ç¥Çö ÀνĿ¡ ´ëÇÑ ÀÀ¿ë 274
7.5 Á¤¸® 279
Âü°í ¹®Çå 280
µö ·¯´× Àü¹®°¡¸¦ À§ÇÑ ÄÞÆÑÆ®ÇÑ ±âº»¼!
µö ·¯´×ÀÇ ¿ø¸®¸¦ ÀÌÇؽÃÅ°´Â ÇÙ½É ¼ö½Ä°ú ±×¸², °£°áÇÑ Çؼ³ÀÌ µ¸º¸À̴ å!
ÀΰøÁö´É°ú µö ·¯´×ÀÇ ¿ø¸®¸¦ ¸í·áÇÑ ¼ö½Ä°ú ±×¸²À¸·Î ¼³¸íÇÑ Ã¼°èÀûÀÎ µö ·¯´× ±³°ú¼!
ÀÌ Ã¥Àº ÀΰøÁö´É ºÐ¾ß ÃÖÀϼ±¿¡ ÀÖ´Â ¿¬±¸ÀÚµéÀÌ ÀϺ» ÀΰøÁö´ÉÇÐȸÁö¿¡ °ÔÀçÇß´ø ÀڽŵéÀÇ ¿¬Àç¹°¿¡ ³»¿ëÀ» ´ëÆø º¸°ÇÏ¿© ¸¸µç Ã¥ÀÌ´Ù. Áö±Ý±îÁöÀÇ µö ·¯´× ¿¬±¸ ¼º°ú¸¦ ¼ö½Ä°ú ÇÔ²² ü°èÀûÀ¸·Î Á¤¸®ÇÏ¿´À» »Ó¸¸ ¾Æ´Ï¶ó ¾ÕÀ¸·Î ³²Àº °úÁ¦¸¦ ±¸Ã¼ÀûÀÎ »ç·Ê¿Í ÇÔ²² ¼¼úÇÏ¿´´Ù. ±âÃÊÆí¿¡¼´Â µö ·¯´×ÀÇ Àüü ±×¸²°ú ÇÔ²² ´ë±Ô¸ð ½Å°æ¸ÁÀ» ÇнÀÇÏ´Â µ¥ ÇÊ¿äÇÑ ³ëÇϿ츦 °£·«ÇÏ°Ô Á¤¸®ÇÏ¿´À¸¸ç, ÀÀ¿ëÆí¿¡¼´Â µö ·¯´×ÀÇ ÁÖ¿ä ÀÀ¿ë ºÐ¾ßÀÎ À̹ÌÁö ÀνÄ, À½¼º ÀνÄ, ÀÚ¿¬¾î 󸮿¡¼ µö ·¯´×ÀÌ ¾î¶»°Ô Àû¿ëµÇ°í ÀÖ´ÂÁö¿Í ÇÔ²² °¢ ºÐ¾ß¿¡ Æ¯ÈµÈ ÀÀ¿ë ±â¹ýÀ» ¼Ò°³ÇÏ¿´´Ù.
´ë»ó µ¶ÀÚ ¹× ÁÖ¿ä ³»¿ë
ÀΰøÁö´É Çаú ´ëÇпø»ý
°ü·Ã ¾÷°è ¿¬±¸ÀÚ³ª ¿£Áö´Ï¾î
±âÃÊÆí
1Àå µö ·¯´× °³¿ä
2Àå º¼Ã÷¸¸ ¸Ó½Å
3Àå ´ëÁ¶Àû ¹ß»ê
4Àå µö ·¯´×ÀÇ ´ë±Ô¸ð ±¸Çö
ÀÀ¿ëÆí
5Àå À̹ÌÁö ÀνÄ
6Àå À½¼º ÀνÄ
7Àå ÀÚ¿¬¾î ó¸®
µö ·¯´×ÀÇ ¿ø¸®¸¦ ÀÌÇؽÃÅ°´Â ÇÙ½É ¼ö½Ä°ú ±×¸², °£°áÇÑ Çؼ³ÀÌ µ¸º¸À̴ å!
ÀΰøÁö´É°ú µö ·¯´×ÀÇ ¿ø¸®¸¦ ¸í·áÇÑ ¼ö½Ä°ú ±×¸²À¸·Î ¼³¸íÇÑ Ã¼°èÀûÀÎ µö ·¯´× ±³°ú¼!
ÀÌ Ã¥Àº ÀΰøÁö´É ºÐ¾ß ÃÖÀϼ±¿¡ ÀÖ´Â ¿¬±¸ÀÚµéÀÌ ÀϺ» ÀΰøÁö´ÉÇÐȸÁö¿¡ °ÔÀçÇß´ø ÀڽŵéÀÇ ¿¬Àç¹°¿¡ ³»¿ëÀ» ´ëÆø º¸°ÇÏ¿© ¸¸µç Ã¥ÀÌ´Ù. Áö±Ý±îÁöÀÇ µö ·¯´× ¿¬±¸ ¼º°ú¸¦ ¼ö½Ä°ú ÇÔ²² ü°èÀûÀ¸·Î Á¤¸®ÇÏ¿´À» »Ó¸¸ ¾Æ´Ï¶ó ¾ÕÀ¸·Î ³²Àº °úÁ¦¸¦ ±¸Ã¼ÀûÀÎ »ç·Ê¿Í ÇÔ²² ¼¼úÇÏ¿´´Ù. ±âÃÊÆí¿¡¼´Â µö ·¯´×ÀÇ Àüü ±×¸²°ú ÇÔ²² ´ë±Ô¸ð ½Å°æ¸ÁÀ» ÇнÀÇÏ´Â µ¥ ÇÊ¿äÇÑ ³ëÇϿ츦 °£·«ÇÏ°Ô Á¤¸®ÇÏ¿´À¸¸ç, ÀÀ¿ëÆí¿¡¼´Â µö ·¯´×ÀÇ ÁÖ¿ä ÀÀ¿ë ºÐ¾ßÀÎ À̹ÌÁö ÀνÄ, À½¼º ÀνÄ, ÀÚ¿¬¾î 󸮿¡¼ µö ·¯´×ÀÌ ¾î¶»°Ô Àû¿ëµÇ°í ÀÖ´ÂÁö¿Í ÇÔ²² °¢ ºÐ¾ß¿¡ Æ¯ÈµÈ ÀÀ¿ë ±â¹ýÀ» ¼Ò°³ÇÏ¿´´Ù.
´ë»ó µ¶ÀÚ ¹× ÁÖ¿ä ³»¿ë
ÀΰøÁö´É Çаú ´ëÇпø»ý
°ü·Ã ¾÷°è ¿¬±¸ÀÚ³ª ¿£Áö´Ï¾î
±âÃÊÆí
1Àå µö ·¯´× °³¿ä
2Àå º¼Ã÷¸¸ ¸Ó½Å
3Àå ´ëÁ¶Àû ¹ß»ê
4Àå µö ·¯´×ÀÇ ´ë±Ô¸ð ±¸Çö
ÀÀ¿ëÆí
5Àå À̹ÌÁö ÀνÄ
6Àå À½¼º ÀνÄ
7Àå ÀÚ¿¬¾î ó¸®