µö·¯´× ±â¹Ý °´Ã¼ ÀÎ½Ä ±â¼ú µ¿Çâ Trends on Object Detection Techniques Bas
µö·¯´× ±â¹Ý °´Ã¼ ÀÎ½Ä ±â¼ú µ¿Çâ Trends on Object Detection Techniques Based on Deep Learning°¡. R-CNN
R-CNN[16]Àº Èĺ¸ ¿µ¿ª(Region Proposal)À» »ý¼ºÇÏ°í À̸¦ ±â¹ÝÀ¸·Î CNNÀ» ÇнÀ½ÃÄÑ ¿µ»ó ³» °´Ã¼ÀÇ À§Ä¡¸¦ ã¾Æ³½´Ù. R-CNNÀÇ °´Ã¼ ÀÎ½Ä °úÁ¤Àº (±×¸² 1)°ú °°ÀÌ Å©°Ô ¼¼ ´Ü°è·Î ÀÌ·ç¾îÁø´Ù. ù°, ÀÔ·ÂµÈ ¿µ»ó¿¡¼ ¼±ÅÃÀû Ž»ö(Selective Search) ¾Ë°í¸®Áò[22]À» ÀÌ¿ëÇÏ¿© Èĺ¸ ¿µ¿ªµéÀ» »ý¼ºÇÑ´Ù. µÑ°, »ý¼ºµÈ °¢ Èĺ¸ ¿µ¿ªµéÀ» µ¿ÀÏÇÑ Å©±â·Î º¯È¯ÇÏ°í, CNNÀ» ÅëÇØ Æ¯Â¡(feature)À» ÃßÃâÇÑ´Ù. ¼Â°, ÃßÃâµÈ Ư¡À» ÀÌ¿ëÇÏ¿© Èĺ¸ ¿µ¿ª ³»ÀÇ °´Ã¼¸¦ SVM(Support Vector Machine)À» ÀÌ¿ëÇÏ¿© ºÐ·ùÇÑ´Ù. ù ¹ø° ´Ü°è¿¡¼ »ý¼ºµÈ Èĺ¸ ¿µ¿ªÀÇ À§Ä¡´Â Á¤È®ÇÏÁö ¾Ê±â ¶§¹®¿¡, ÃÖÁ¾ÀûÀ¸·Î ȸ±Í ÇнÀÀ» ÅëÇØ °´Ã¼ÀÇ ¿µ¿ª ¹Ú½º À§Ä¡¸¦ ´õ Á¤È®È÷ º¸Á¤ÇÑ´Ù. R-CNNÀ» PASCAL VOC 2010 µ¥ÀÌÅͼ¿¡ Àû¿ëÇÑ °á°ú, ¾à 53.7%ÀÇ mAP(Mean Average Precision)¸¦ ±â·ÏÇÏ¿© ±âÁ¸ÀÇ °´Ã¼ °ËÃâ ¹æ¹ýµé¿¡ ºñÇØ Å« ÆøÀÇ ¼º´É Çâ»óÀ» º¸¿´´Ù.
(±×¸² 1) R-CNNÀÇ °´Ã¼ ÀÎ½Ä ½Ã½ºÅÛ[Ãâó] Y. Yang et al., ¡°Aerial Target Tracking Algorithm Based on Faster -CNN Combined with Frame Differencing,¡± Aerospace, vol. 4, no. 2, 2017, pp. 32:1-32:17, doi:10.3390/aerospace4020032, CC BY 4.0.
³ª. Fast R-CNN
R-CNNÀº CNN, SVM, ȸ±ÍÀÇ ÇнÀ ´Ü°è°¡ ¸ðµÎ ºÐ¸®µÇ¾î ÀÖ°í, ¼öõ °³ÀÇ Èĺ¸ ¿µ¿ª¿¡¼ °¢°¢ÀÇ CNNÀ» ÇнÀÇØ¾ß ÇϹǷΠÈÆ·ÃÇÏ´Â µ¥¿¡ ¸¹Àº ½Ã°£ÀÌ ¼Ò¿äµÈ´Ù. À̸¦ º¸¿ÏÇϱâ À§ÇÏ¿© Fast R-CNN[17]Àº (±×¸² 2)¿Í °°ÀÌ ÇϳªÀÇ ÀÔ·Â ¿µ»ó¿¡ ´ëÇØ ÇϳªÀÇ CNNÀ» ÇнÀÇÑ´Ù. ÇнÀµÈ CNNÀ» ÅëÇØ »ý¼ºµÈ Feature mapÀ» ÅëÇÕ(Pooling)ÇÏ¿© Ư¡À» ÃßÃâÇÑ´Ù. ¶ÇÇÑ, ºÐ·ù±âÀÇ ¼Õ½Ç°ú ¿µ¿ª ¹Ú½º ȸ±ÍÀÇ ¼Õ½ÇÀ» ÇÕÇÏ¿© µ¿½Ã¿¡ ÈƷýÃÅ´À¸·Î½á ÈÆ·Ã ´Ü°è¸¦ ´Ü¼øÈÇÏ¿´´Ù. ºÐ·ù±â·Î´Â ±âÁ¸ÀÇ SVM ´ë½Å Softmax¸¦ »ç¿ëÇÏ¿´´Âµ¥, Fast R-CNN¿¡¼´Â Softmax¸¦ Àû¿ëÇÏ¿´À» ¶§ ¼º´ÉÀÌ ´õ ¿ì¼öÇÏ´Ù´Â °ÍÀ» º¸¿©ÁÖ¾ú´Ù. ÀÌ·¯ÇÑ °³¼±À» ÅëÇØ Fast R-CNNÀº R-CNNº¸´Ù ´õ ³ôÀº mAP¸¦ º¸À̸ç ÈƷÿ¡ ¼Ò¿äµÇ´Â ½Ã°£À» Å©°Ô °¨¼Ò½Ãų ¼ö ÀÖ¾úÀ½À» È®ÀÎÇÏ¿´´Ù.
(±×¸² 2) Fast R-CNNÀÇ °´Ã¼ ÀÎ½Ä ½Ã½ºÅÛ[Ãâó] Y. Yang et al., ¡°Aerial Target Tracking Algorithm Based on Faster -CNN Combined with Frame Differencing,¡± Aerospace, vol. 4, no. 2, 2017, pp. 32:1-32:17, doi:10.3390/aerospace4020032, CC BY 4.0.
´Ù. Faster R-CNN
Fast R-CNN¿¡¼´Â Èĺ¸ ¿µ¿ªÀ» »ý¼ºÇÏ´Â ¾Ë°í¸®ÁòÀÌ CNN ¿ÜºÎ¿¡¼ ¼öÇàµÈ´Ù. ÇÏÁö¸¸, ÀÌ·¯ÇÑ ±¸Á¶´Â ¼Óµµ Ãø¸é¿¡¼ ºñÈ¿À²ÀûÀ̸ç, ¾Ë°í¸®ÁòÀ» ÇнÀÀ» ½Ãų ¼ö ¾ø´Ù´Â ´ÜÁ¡ÀÌ ÀÖ´Ù. Faster R-CNN[18]Àº Èĺ¸ ¿µ¿ªÀ» »ý¼ºÇÏ´Â µ¥¿¡ ¼±ÅÃÀû Ž»ö ¾Ë°í¸®ÁòÀ» ÀÌ¿ëÇÏÁö ¾Ê°í, (±×¸² 3)°ú °°ÀÌ Feature MapÀ» ÃßÃâÇÏ´Â CNNÀÇ ¸¶Áö¸· Ãþ(Layer)¿¡ Èĺ¸ ¿µ¿ªÀ» »ý¼ºÇÏ´Â º°µµÀÇ CNNÀÎ ¿µ¿ª Á¦¾È ³×Æ®¿öÅ©(RPN: Region Proposal Network)À» Àû¿ëÇÏ¿´´Ù. RPNÀº Fast R-CNN¿¡¼ CNNÀÇ Ãâ·ÂÀÎ Feature MapÀ» ÀÔ·ÂÀ¸·Î ¹Þ¾Æ °´Ã¼ÀÇ À§Ä¡¸¦ ÃßÁ¤ÇÏ¿© Èĺ¸ ¿µ¿ªÀ» Ãâ·ÂÇÏ´Â ³×Æ®¿öÅ©´Ù. CNN¿¡¼ ÃßÃâµÈ Feature MapÀ» RPN¿¡¼ ÃßÁ¤µÈ Èĺ¸ ¿µ¿ªÀ¸·Î Àß¶ó³»¾î °´Ã¼¸¦ ÀνÄÇÑ´Ù. ÀÌ¿Í °°ÀÌ Feature MapÀ» ÃßÃâÇÏ´Â CNN °úÁ¤°ú Èĺ¸ ¿µ¿ªÀ» »ý¼ºÇÏ´Â °úÁ¤À» ÀÏ·ÃÀÇ ³×Æ®¿öÅ©·Î ±¸¼ºÇÔÀ¸·Î½á, °°Àº Á¶°Ç¿¡¼ Fast R-CNNº¸´Ù ÈÆ·Ã ½Ã°£À» 10¹è Á¤µµ °¨¼Ò½ÃÅ°¸é¼ mAP ¶ÇÇÑ Çâ»ó½ÃÄ×´Ù.
(±×¸² 3) Faster R-CNNÀÇ °´Ã¼ ÀÎ½Ä ½Ã½ºÅÛ[Ãâó] K. Kim et al., ¡°Probabilistic Ship Detection and Classification Using Deep Learning,¡± Appl. Sci., vol. 8, no. 6, 2018, 936:1-936:17, doi:10.3390/app8060936, CC BY 4.0.
¶ó. R-FCN
R-FCN[19]Àº À§Ä¡ Á¤º¸¸¦ Æ÷ÇÔÇÏ°í ÀÖ´Â Score MapÀ» ÀÌ¿ëÇÏ¿© ¹°Ã¼ÀÇ À§Ä¡¸¦ Á¤È®ÇÏ°í È¿À²ÀûÀ¸·Î ã¾Æ³½´Ù. ÀÌ Score MapÀº CNNÀ» ÅëÇØ ÃßÃâµÈ Feature MapÀ¸·ÎºÎÅÍ ¾ò¾îÁö¸ç, °¢ Score MapÀº ÀÔ·ÂµÈ ¿µ»ó ³» ƯÁ¤ À§Ä¡ÀÇ Á¤º¸¸¦ Æ÷ÇÔÇÑ´Ù. À̸¦ ÀÌ¿ëÇÏ¿© ƯÁ¤ À§Ä¡¸¶´Ù ºÐ·ù °á°ú¸¦ ¾ò¾î³»°í, ÀÌ °á°ú¸¦ Á¾ÇÕÇÏ¿© ÃÖÁ¾ÀûÀ¸·Î ƯÁ¤ À§Ä¡ ³»ÀÇ °´Ã¼¸¦ ºÐ·ùÇÑ´Ù. ƯÁ¤ À§Ä¡°¡ ã°íÀÚ ÇÏ´Â °´Ã¼¸¦ Æ÷ÇÔÇÒ °æ¿ì Score MapÀÇ ¹ÝÀÀÀÌ Ä¿Áö´Â ¹Ý¸é, ±×·¸Áö ¾ÊÀº °æ¿ì ±× ¹ÝÀÀÀÌ ÀÛ¾ÆÁø´Ù. R-FCN¿¡¼ÀÇ Score MapÀº À§Ä¡ Á¤º¸¸¦ Æ÷ÇÔÇÏ°í ÀÖÀ¸¸é¼ ÈÆ·ÃÀÌ ¿ä±¸µÇÁö ¾Ê´Â´Ù´Â ÀåÁ¡ÀÌ ÀÖ´Ù. R-FCN¿¡ PASCAL VOC 2007 µ¥ÀÌÅͼÂÀ» Àû¿ëÇÏ¿© ½ÇÇèÇÑ °á°ú, Faster R-CNNº¸´Ù ÈÆ·Ã ½Ã°£ÀÌ 3¹è Á¤µµ ºü¸£¸ç, mAP°¡ ¾à 0.2% ´õ ³ôÀº °ÍÀ¸·Î ³ªÅ¸³µ´Ù.
¸¶. YOLO
YOLO[20]´Â °´Ã¼ ÀÎ½Ä ¹®Á¦¸¦ ÇϳªÀÇ È¸±Í ¹®Á¦·Î Á¢±ÙÇÏ¿© ÀüüÀûÀÎ ±¸Á¶¸¦ °£¼ÒÈÇÔÀ¸·Î½á ÈÆ·Ã ¹× °ËÃâ ¼Óµµ¸¦ Å©°Ô Çâ»ó½ÃÄ×´Ù. ÀÔ·ÂµÈ ¿µ»óÀº CNNÀ» °ÅÃÄ ÅÙ¼(Tensor) ÇüÅ·ΠÃâ·ÂµÈ´Ù. ÀÌ ÅÙ¼´Â ¿µ»óÀ» °ÝÀÚ ÇüÅ·Π³ª´©¾î °¢ ±¸¿ªÀ» Ç¥ÇöÇÏ°Ô µÇ¸ç, À̸¦ ÅëÇØ ÇØ´ç ±¸¿ªÀÇ °´Ã¼¸¦ ÀνÄÇÑ´Ù. ÀÌ¿Í °°ÀÌ YOLO´Â °ü½É ¿µ¿ªÀ» ÃßÃâÇϱâ À§ÇÑ º°µµÀÇ ³×Æ®¿öÅ©°¡ ÇÊ¿äÇÏÁö ¾ÊÀ¸¸ç, ÀÏ·ÃÀÇ Ãß·Ð °úÁ¤À» ÅëÇØ °´Ã¼¸¦ ÀνÄÇÑ´Ù. PASCAL VOC 2007°ú 2012 µ¥ÀÌÅͼÂÀ¸·Î ½ÇÇèÇÑ °á°ú, ÃÊ´ç 155ÀåÀÇ ¿µ»óÀ» ÈÆ·ÃÇÏ¿© Faster R-CNNº¸´Ù ¿ùµîÈ÷ ºü¸¥ ÈÆ·Ã ¼Óµµ¸¦ º¸¿´´Ù. ÇÏÁö¸¸ ÀÎ½Ä Á¤È®µµ´Â Faster R-CNNº¸´Ù ´Ù¼Ò ¶³¾îÁö¸ç, ƯÈ÷ ÀÛÀº ¹°Ã¼¸¦ ÀνÄÇÏ´Â µ¥¿¡ ¾î·Á¿òÀ» º¸¿´´Ù.
¹Ù. SSD
SSD[21]´Â Èĺ¸ ¿µ¿ªÀ» »ý¼ºÇϱâ À§ÇÑ RPNÀ» µû·Î ÈƷýÃÅ°Áö ¾Ê°í ´Ù¾çÇÑ Å©±âÀÇ Feature MapÀ» ÀÌ¿ëÇÏ¿© °´Ã¼¸¦ ÀνÄÇÑ´Ù. CNN ¸ðµ¨·ÎºÎÅÍ ¾òÀº Feature MapÀº (±×¸² 4)¿Í °°ÀÌ ÇÕ¼º°ö Ãþ(Convolution Layer)ÀÌ ÁøÇàµÊ¿¡ µû¶ó Å©±â°¡ ÁÙ¾îµé°Ô µÈ´Ù. SSD´Â ÀÌ °úÁ¤¿¡¼ ÃßÃâµÈ ¸ðµç Feature MapµéÀ» Ãß·Ð °úÁ¤¿¡ »ç¿ëÇÏ¿© °´Ã¼¸¦ ÀνÄÇÑ´Ù. ¾èÀº ±íÀÌ¿¡¼ ÃßÃâµÇ¾î Å©±â°¡ Å« Feature MapÀº ÀÛÀº ¹°Ã¼µéÀ» °ËÃâÇÒ ¼ö ÀÖ°í, ±íÀº ±íÀÌ¿¡¼ ÃßÃâµÇ¾î Å©±â°¡ ÀÛÀº Feature MapÀº Å« ¹°Ã¼µéÀº °ËÃâÇÒ ¼ö ÀÖ´Ù. SSD´Â RPNÀ» Á¦°ÅÇÔÀ¸·Î½á Faster R-CNNº¸´Ù ÈÆ·Ã ¼Óµµ¸¦ Çâ»ó½ÃÄ×À¸¸ç, ´Ù¾çÇÑ Å©±âÀÇ Feature MapÀ» ÀÌ¿ëÇÏ¿© YOLOº¸´Ù Á¤È®ÇÏ°Ô °´Ã¼¸¦ ÀνÄÇÒ ¼ö ÀÖ´Ù. PASCAL VOC 2007 µ¥ÀÌÅͼÂÀ¸·Î ½ÇÇèÇÑ °á°ú, Faster R-CNNº¸´Ù ¾à 3% ³ôÀº mAP¸¦ º¸¿´°í, ÃÊ´ç 22ÀåÀÇ ¿µ»óÀ» ó¸®ÇÏ¿© YOLOº¸´Ù ºü¸¥ °ËÃâ ¼Óµµ¸¦ º¸¿´´Ù.
(±×¸² 4) SSDÀÇ °´Ã¼ ÀÎ½Ä ½Ã½ºÅÛ[Ãâó] Modified from T. Tang et al., ¡°Arbitrary-Oriented Vehicle Detection in Aerial Imagery with Single Convolutional Neural Networks,¡± Remote Sens., vol. 9, no. 11, 2017, pp. 1-17, doi:10.3390/rs9111170, CC BY 4.0.
°´Ã¼ ÀνÄÀ» À§ÇÑ CNN ¸ðµ¨ÀÇ ¹ßÀü µ¿Çâ
óÀ½À¸·Î ±íÀº CNN ±¸Á¶¸¦ ½ÃµµÇß´ø AlexNetºÎÅÍ ´õ ±íÀº ±¸Á¶·ÎÀÇ ¹ßÀü °úÁ¤
°¡. AlexNet
AlexNet[9]Àº 8°³ÀÇ ÃþÀ¸·Î ÀÌ·ç¾îÁø CNN ±¸Á¶·Î, ÀÌÀüº¸´Ù ±Ô¸ð°¡ Å©°í ±íÀº CNNÀ» »ç¿ëÇÏ¿´´Ù. ÀÌ·Î ÀÎÇØ ¹ß»ýµÇ´Â °úÀûÇÕ(Over-Fitting) ¹®Á¦¸¦ ¹æÁöÇϱâ À§ÇÑ ¹æ¹ýÀ» Á¦½ÃÇÏ¿´°í, ºü¸¥ ¿¬»êÀ» À§ÇØ 2°³ÀÇ ±×·¡ÇÈó¸®ÀåÄ¡(GPU: Graphics Processing Unit)¸¦ »ç¿ëÇÏ¿´´Ù. AlexNetÀº (±×¸² 5)¿Í °°ÀÌ 5°³ÀÇ ÇÕ¼º°ö Ãþ°ú 3°³ÀÇ ¿ÏÀüÇÏ°Ô ¿¬°áµÈ Ãþ(Fully-Connected Layer)À¸·Î ÀÌ·ç¾îÁø 2°³ÀÇ CNNÀÌ º´·ÄÀûÀ¸·Î ±¸¼ºµÇ¾î ÀÖ¾î, 2°³ÀÇ GPUÀ» ÀÌ¿ëÇÏ¿© °¢ CNNÀ» ÇнÀÇÑ´Ù. È°¼º ÇÔ¼ö(Activation Function)·Î´Â ±âÁ¸¿¡ »ç¿ëµÇ´ø ½Ö°î źÁ¨Æ®(Hyperbolic Tangent)³ª ·ÎÁö½ºÆ½ ȸ±Í(Logistic Regression)°¡ ¾Æ´Ñ ReLU(Rectified Linear Unit)À» »ç¿ëÇÏ¿© ÇнÀ ¼Óµµ¸¦ ¾à 6¹è Çâ»ó½ÃÄ×´Ù. °úÀûÇÕÀ» ¹æÁöÇϱâ À§ÇØ ÀÔ·Â ¿µ»óÀ» ÀÓÀÇ·Î À߶󳻰ųª Çȼ¿ÀÇ ¹à±â¸¦ Á¶Á¤ÇÏ´Â µ¥ÀÌÅÍ °¡°ø ¹æ¹ýÀ» ÀÌ¿ëÇÏ¿´À¸¸ç, ¿ÏÀü¿¬°á Ãþ¿¡ Dropout[23]À» Àû¿ëÇÏ¿´´Ù. AlexNetÀº ILSVRC-2012¿¡¼ ³ôÀº ÀÎ½Ä Á¤È®µµ¸¦ ±â·ÏÇϸç 1À§¸¦ Â÷ÁöÇß´Ù.
(±×¸² 5) AlexNetÀÇ ±¸Á¶[Ãâó] HE Haiwei et al., ¡°Interchange Recognition Method Based on CNN,¡± Acta Geodaetica et Cartographica Sinica. 2018;47(3):385-395 DOI: 10.11947/j.AGCS.2018.20170265 CC BY-NC-ND.
³ª. ZFNet
AlexNet ÀÌÈÄ·Î ¿µ»ó ºÐ·ùÀÇ Á¤È®µµ¸¦ Çâ»ó½ÃÅ°±â À§ÇÑ ±íÀº ±¸Á¶ÀÇ CNN ¸ðµ¨µéÀÌ µîÀåÇÏ¿´´Ù. ÇÏÁö¸¸ ÀÌ ¸ðµ¨µéÀÇ ¼º´ÉÀÌ ¿Ö Çâ»óµÇ¾ú´ÂÁö, ±×¸®°í ¾î¶»°Ô ´õ Çâ»ó½Ãų ¼ö ÀÖ´ÂÁö¿¡ ´ëÇÑ ÀÌÇØ°¡ ºÎÁ·Çß´Ù. ZFNet[11]ÀÇ ÀúÀÚ´Â ÀÌ ¹®Á¦Á¡À» ÁöÀûÇϸç CNN ¸ðµ¨ ³»ºÎÀÇ ÃþµéÀ» ½Ã°¢ÈÇÏ´Â ¹æ¹ýÀ» Á¦½ÃÇÏ¿´À¸¸ç, À̸¦ ÀÌ¿ëÇÏ¿© AlexNetÀ» °³¼±ÇÑ ¸ðµ¨ÀÎ ZFNetÀ» ¼Ò°³ÇÏ¿´´Ù. CNN ³»ºÎÀÇ ÇÑ ÃþÀ» ½Ã°¢ÈÇϱâ À§ÇØ, ÃþÀÇ ¹ÝÀÀÀ» ÀÔ·Â ¿µ»óÀÇ Å©±â·Î ¸ÅÇÎ(Mapping)ÇÏ¿©¾ß ÇÑ´Ù. ÇϳªÀÇ ÃþÀº ÇÕ¼º°ö, È°¼º, ÅëÇÕÀÇ ¼¼ °¡Áö °úÁ¤À¸·Î ÀÌ·ç¾îÁ® Àֱ⠶§¹®¿¡, À̸¦ °¢ Ãþ¸¶´Ù ¿ªÀ¸·Î ¼öÇàÇÏ¿©, ÀÔ·Â ¿µ»óÀÇ Å©±â·Î ¸ÅÇνÃŲ´Ù. ZFNetÀÇ 5°³ÀÇ ÇÕ¼º°ö Ãþ Áõ ¾èÀº Ãþ¿¡¼´Â ¼±À̳ª ¸ð¾ç µîÀÇ ´Ü¼øÇÑ Æ¯Â¡µéÀÌ ÃßÃâµÇ°í, ±íÀº Ãþ¿¡¼´Â °´Ã¼ÀÇ ÇüÅÂ¿Í °¡±î¿î Ư¡µéÀÌ ÃßÃâµÈ´Ù. ÇÕ¼º°ö ÃþÀ» ½Ã°¢ÈÇÏ¿© ¾ò¾î³½ Á¤º¸¸¦ ÀÌ¿ëÇÏ¿© AlexNetÀÇ Ãʱâ ÃþÀ» ¼öÁ¤ÇÏ¿© ZFNetÀ» ±¸¼ºÇÏ¿´°í, ÀÌ´Â AlexNetº¸´Ù ³ôÀº ºÐ·ù Á¤È®µµ¸¦ º¸¿´´Ù.
´Ù. VGG
VGG[12]´Â CNNÀÇ Ãþ ±íÀÌ¿¡ µû¸¥ ¼º´ÉÀÇ º¯È¸¦ ¿¬±¸¸¦ ÅëÇØ Á¦¾ÈµÇ¾úÀ¸¸ç, ¸ðµ¨ÀÇ ±¸Á¶¿¡¼ ÃþÀÇ ±íÀ̸¦ Á¦¿ÜÇÑ ¸ðµç Á¶°ÇÀ» °øÆòÇÏ°Ô Çϱâ À§ÇØ 5¹øÀÇ ÅëÇÕÀ» »ç¿ëÇÏ°í ¸ðµç ÇÊÅÍÀÇ Å©±â¸¦ 3À¸·Î ¼³Á¤ÇÏ´Â µî °¢ ¸ðµ¨ÀÇ ¼³Á¤À» µ¿ÀÏÇÏ°Ô »ç¿ëÇÏ¿´´Ù. ¸ðµ¨ÀÇ ±íÀÌ´Â 11°³ºÎÅÍ 19°³ »çÀÌ¿¡¼ ÃÑ 5°³ÀÇ ¸ðµ¨À» »ç¿ëÇÏ¿© ½ÇÇèÇÏ¿´´Ù. VGG ¸ðµ¨Àº ÇÊÅÍÀÇ Å©±â¸¦ 3À¸·Î ¼³Á¤ÇÏ°í ¹Ýº¹ÀûÀ¸·Î »ç¿ëÇÏ¸é ´õ Å« Å©±âÀÇ ÇÊÅÍÀÇ ¿ªÇÒÀ» ÇÒ ¼ö ÀÖ´Ù´Â Á¡À» °Á¶ÇÏ¿´À¸¸ç, ÀÌÈÄ¿¡ °³¹ßµÈ ¸¹Àº ¸ðµ¨¿¡¼ ÇÊÅÍÀÇ Å©±â¸¦ 3À¸·Î »ç¿ëÇÏ°Ô µÇ¾ú´Ù. ºñ·Ï ILSVRC-2014¿¡¼ 2À§¸¦ ´Þ¼ºÇßÁö¸¸, ¸Å¿ì °£´ÜÇÑ ±¸Á¶¿¡ ºñÇØ ¿ì¼öÇÑ ¼º´ÉÀ» º¸¿© ¿©ÀüÈ÷ ÁÖ¸ñ¹Þ´Â ¸ðµ¨ÀÌ´Ù.
¶ó. GoogLeNet
CNNÀÇ ¼º´ÉÀ» Çâ»ó½ÃÅ°±â À§ÇÑ °¡Àå Á÷°üÀûÀÎ ¹æ¹ýÀº ±¸Á¶¸¦ ±í°Ô ÇÏ´Â °ÍÀÌ´Ù. ÇÏÁö¸¸, ±íÀº CNN ±¸Á¶¿¡¼´Â °úÀûÇÕÀ̳ª ±â¿ï±â °ªÀÇ ¼Ò½Ç(Vanishing Gradi-ent) ¹®Á¦°¡ ÀϾ °¡´É¼ºÀÌ ³ô¾ÆÁö°í, ¿ä±¸µÇ´Â ¿¬»ê·®ÀÌ ±Þ°ÝÇÏ°Ô Áõ°¡ÇÑ´Ù. ÀÌ·¯ÇÑ ¹®Á¦´Â CNNÀÇ ¹Ðµµ¸¦ ³·°Ô(Sparse) ÇÔÀ¸·Î½á ÇØ°áÇÒ ¼ö ÀÖÁö¸¸, ¿¬»ê·® Ãø¸é¿¡¼´Â ¹Ðµµ°¡ ³ôÀº(Dense) ±¸Á¶°¡ È¿°úÀûÀÌ´Ù. Goog-LeNet[14]ÀÇ ÀúÀÚ´Â À§ÀÇ µÎ °¡Áö ±¸Á¶ÀÇ ÀåÁ¡À» ÀûÀýÈ÷ Æ÷ÇÔÇÏ´Â Inception ¸ðµâÀ» °³¹ßÇÏ¿© Àû¿ëÇÏ¿´´Ù. Inception ¸ðµâÀº (±×¸² 6)°ú °°ÀÌ ¿©·¯ Å©±âÀÇ ÇÕ¼º°ö Ãþ°ú ÅëÇÕ Ãþ(Pooling Layer)ÀÌ º´ÇàÇÏ°Ô ¼öÇàµÇ°í ±× °á°ú¸¦ ÇÕħÀ¸·Î½á ´Ù¾çÇÑ Æ¯Â¡À» ÃßÃâÇÒ ¼ö ÀÖ´Ù. ÀÌ ±¸Á¶´Â ¿©·¯ Å©±âÀÇ ÇÕ¼º°öÀ» ¼öÇàÇϱ⠶§¹®¿¡ ¿¬»ê·®ÀÌ ¸¹ÀÌ ¿ä±¸µÈ´Ù. À̸¦ ÇØ°áÇϱâ À§ÇØ Å©±â°¡ 1ÀÎ ÇÕ¼º°öÀ» ÀÌ¿ëÇÏ¿© Â÷¿øÀ» °¨¼Ò½ÃÅ°´Â º´¸ñ(Bottleneck) ±¸Á¶¸¦ ±¸¼ºÇÏ¿´´Ù. GoogLeNetÀº Inception ¸ðµâ 9°³·Î ÀÌ·ç¾îÁø CNN ¸ðµ¨·Î, ILSVRC-2014¿¡¼ VGG¸¦ Á¦Ä¡°í 1À§¸¦ Â÷ÁöÇÏ¿´´Ù. ÀÌÈÄ GoogLeNet ÆÀÀº Ãʱ⠸ðµ¨À» °³¼±ÇÏ¿© Inception V2, V3[24]¸¦ ¹ßÇ¥ÇßÀ¸¸ç, GoogLeNet¿¡ ResNetÀ» °áÇÕÇÑ Inception ResNet[25]À» ¼±º¸À̸ç Áö¼ÓÀûÀ¸·Î °³¼±ÇØ¿Ô´Ù.
(±×¸² 6) GoogLeNetÀÇ Inception ¸ðµâ[Ãâó] Modified from M. Peng et al., ¡°NIRFaceNet: A Convolutional Neural Network for Near-Infrared Face Identification,¡± Inform., vol. 7, no. 4, 2016, pp. 1-14, doi:10.3390/info 7040061, CC BY 4.0.
¸¶. ResNet
¿µ»ó °´Ã¼ ÀνÄÀ» À§ÇÑ CNNÀº ´õ ±íÀº ³×Æ®¿öÅ© ±¸Á¶¸¦ ±¸ÇöÇÔÀ¸·Î½á ¼º´ÉÀÌ Çâ»óµÇ¾î¿Ô´Ù. ÇÏÁö¸¸, ±íÀÌ°¡ ¼ö¹é, ¼öõ °³·Î Áõ°¡ÇÏ°Ô µÇ¸é ¿ÀÈ÷·Á Á¤È®µµ°¡ ¶³¾îÁö´Â ¹®Á¦°¡ ¹ß»ýÇÑ´Ù. ResNet[13]Àº ÀÌ ¹®Á¦¸¦ ÇØ°áÇϱâ À§ÇÏ¿© ÀÜÂ÷ ÇнÀ(Residual Learning)À̶ó´Â ¹æ¹ýÀ» Àû¿ëÇÏ¿´´Ù. ÀÜÂ÷ ÇнÀÀº ƯÁ¤ ÃþÀÌ ´Ü¼øÈ÷ Ãâ·ÂÀ» ÇнÀÇÏ´Â °ÍÀÌ ¾Æ´Ï¶ó ÀԷ°ú Ãâ·ÂÀÇ Â÷À̸¦ ÇнÀÇÏ¿© ÀÛÀº º¯È¿¡ ´ëÇØ ¹Î°¨ÇÏ°Ô ¹ÝÀÀÇÒ ¼ö ÀÖµµ·Ï ÈÆ·ÃÇÏ´Â ¹æ¹ýÀÌ´Ù. ÀԷ°ú Ãâ·ÂÀÇ Â÷À̸¦ ÇнÀÇÏ°Ô ÇÏ´Â °ÍÀº µ¡¼ÀÀ¸·Î¸¸ ±¸ÇöµÇ¾î Ãß°¡ÀûÀÎ ¸Å°³º¯¼öµµ ¿ä±¸µÇÁö ¾Ê¾Æ °è»ê»óÀÇ È¿À²¼ºµµ À¯Áö½Ãų ¼ö ÀÖ´Ù. ResNetÀº ÀÜÂ÷ ÇнÀÀÇ °³³äÀ» 34°³ÀÇ ÃþÀ¸·Î ±¸¼ºµÈ VGG¿¡ Àû¿ë½ÃŲ ¸ðµ¨ÀÌ´Ù. ÀÜÂ÷ ÇнÀÀÌ Àû¿ëµÇÁö ¾ÊÀº µ¿ÀÏÇÑ VGG ¸ðµ¨ÀÇ °æ¿ì Ãþ¼ö¸¦ 18°³¿¡¼ 34°³·Î Áõ°¡½ÃÄ×À» ¶§ Á¤È®µµ°¡ °¨¼ÒÇßÁö¸¸, ÀÜÂ÷ ÇнÀÀ» Àû¿ëÇÑ VGG ¸ðµ¨, Áï ResNet ¸ðµ¨ÀÇ °æ¿ì´Â ÃþÀÌ Áõ°¡ÇÔ¿¡ µû¶ó Á¤È®µµ ¶ÇÇÑ Áõ°¡ÇÏ´Â °ÍÀ» ½ÇÇèÀ» ÅëÇØ È®ÀÎÇÏ¿´´Ù.
¹Ù. DenseNet
AlexNetÀÇ µîÀå ÀÌÈÄ·Î ¸¹Àº ¸ðµ¨ÀÌ ¼º´É Çâ»óÀ» À§ÇØ ±íÀ̸¦ Áõ°¡½ÃÄ×°í ResNetÀÇ µîÀåÀ¸·Î ±íÀÌ°¡ Áõ°¡ÇÏ¸é¼ ¹ß»ýÇÏ´Â ¹®Á¦µéÀ» ÇØ°áÇÏ¿´´Ù. ÇÏÁö¸¸, ResNet ÀÌÈÄ·Î ¸ðµ¨ÀÇ ±¸Á¶ ÀÚüÀÇ º¯Èº¸´Ù´Â ¼º´É Çâ»ó¸¸À» À§ÇÑ ¿¬±¸°¡ ÁøÇàµÇ¾ú´Ù. ¶ÇÇÑ, ResNet°ú À̸¦ ÀÀ¿ëÇÑ ¸¹Àº ¸ðµ¨Àº ƯÁ¤ ÃþµéÀÌ ÃÖÁ¾ Ãâ·Â¿¡ ±â¿©ÇÏ´Â Á¤µµ°¡ Àû°Å³ª ¾ø¾îÁö´Â ¹®Á¦¸¦ °¡Áö°í ÀÖ¾ú´Ù. DenseNet[15]Àº ResNet ¸ðµ¨ÀÇ ±¸Á¶¿¡ º¯È¸¦ ÁÖ¾î, ResNetÀÇ ÃþÀÌ Ãâ·Â¿¡ ±â¿©ÇÏÁö ¾Ê´Â ¹®Á¦¸¦ ÇØ°áÇÏ¿© ¼º´ÉÀ» Çâ»ó½ÃÄ×´Ù. DenseNet Àº ¸ðµç ÃþÀÌ ResNetÀÇ ÀÜÂ÷ ÇнÀ ¹æ¹ýÀ¸·Î ¿¬°áµÇ¾îÀÖ´Â ±¸Á¶´Ù. ¸ðµç ÃþÀÇ Ãâ·ÂÀº °¢°¢ÀÇ ÈÄ¼Ó ÃþÀÇ ÀÔ·ÂÀ¸·Î µé¾î°£´Ù. ¶ÇÇÑ, ResNet°ú´Â ´Ù¸£°Ô ÇÕ ¿¬»êÀ» ÇÏ´Â ±¸Á¶°¡ ¾Æ´Ñ ÀÔ·ÂÀÌ ÁßøµÇ´Â ±¸Á¶·Î, ¿¹¸¦ µé¾î L ¹ø° ÃþÀº L(L+1)/2°³ÀÇ ÀÔ·ÂÀ» °®´Â´Ù. DenseNet Àº ½ÇÇèÀ» ÅëÇؼ ResNetº¸´Ù ´õ ÀûÀº ¸Å°³º¯¼ö¸¦ °¡Áö±â ¶§¹®¿¡ ´õ ºü¸¥ ÇнÀÀ» ÇÒ ¼ö ÀÖ°í Çâ»óµÈ ¼º´ÉÀ» ³ªÅ¸³½´Ù´Â °ÍÀ» Áõ¸íÇÏ¿´´Ù.
|