कम्प्युटर भिजनको लागि छवि एनोटेसनको लागि अन्तिम गाइड: अनुप्रयोगहरू, विधिहरू, र कोटीहरू

अब, प्रत्येक विधिलाई विस्तृत रूपमा सम्बोधन गरौं।

छवि वर्गीकरण

छवि वर्गीकरण भनेको सम्पूर्ण छविलाई यसको सामग्रीको आधारमा लेबल वा श्रेणी तोक्ने प्रक्रिया हो। उदाहरणका लागि, यदि तपाईंसँग कुकुरमा मुख्य केन्द्रित छवि छ भने, छविलाई "कुकुर" को रूपमा लेबल गरिनेछ।

छवि एनोटेसनको प्रक्रियामा, छवि वर्गीकरण प्रायः वस्तु पत्ता लगाउने वा छवि विभाजन जस्ता थप विस्तृत एनोटेसनहरू अघि पहिलो चरणको रूपमा प्रयोग गरिन्छ, किनकि यसले छविको समग्र विषय बुझ्न महत्त्वपूर्ण भूमिका खेल्छ।

उदाहरणका लागि, यदि तपाईं स्वायत्त ड्राइभिङ अनुप्रयोगहरूको लागि सवारी साधनहरू एनोटेट गर्न चाहनुहुन्छ भने, तपाईंले "वाहनहरू" को रूपमा वर्गीकृत छविहरू छान्न सक्नुहुन्छ र बाँकीलाई बेवास्ता गर्न सक्नुहुन्छ। यसले थप विस्तृत छवि एनोटेसनको लागि सान्दर्भिक छविहरू संकीर्ण गरेर धेरै समय र प्रयास बचत गर्दछ।

यसलाई क्रमबद्ध गर्ने प्रक्रियाको रूपमा सोच्नुहोस् जहाँ तपाईंले छविको मुख्य विषयवस्तुको आधारमा विभिन्न लेबल गरिएका बक्सहरूमा छविहरू राख्दै हुनुहुन्छ, जुन तपाईंले थप विस्तृत एनोटेसनको लागि प्रयोग गर्नुहुनेछ।

मुख्य बिन्दुहरू:

• प्रत्येक वस्तुलाई स्थानीयकरण गर्नुको सट्टा सम्पूर्ण छविले के प्रतिनिधित्व गर्छ भनेर पत्ता लगाउनु यसको विचार हो।
• छवि वर्गीकरणका लागि दुई सबैभन्दा सामान्य दृष्टिकोणहरूमा पर्यवेक्षित वर्गीकरण (पूर्व-लेबल गरिएको प्रशिक्षण डेटा प्रयोग गरेर) र पर्यवेक्षित वर्गीकरण (स्वचालित रूपमा कोटीहरू पत्ता लगाउने) समावेश छन्।
• धेरै अन्य कम्प्युटर दृष्टि कार्यहरूको लागि आधारको रूपमा सेवा गर्दछ।

वस्तु खोज

छवि वर्गीकरणले सम्पूर्ण छविलाई लेबल तोक्छ भने, वस्तु पत्ता लगाउनेले वस्तुहरू पत्ता लगाएर र तिनीहरूको बारेमा जानकारी प्रदान गरेर यसलाई एक कदम अगाडि बढाउँछ। वस्तुहरू पत्ता लगाउनुको अलावा, यसले प्रत्येक बाउन्डिङ बक्समा वर्ग लेबल (जस्तै, "कार," "व्यक्ति," "रोक चिन्ह") पनि तोक्छ, जसले छविमा रहेको वस्तुको प्रकारलाई संकेत गर्दछ।

मानौं तपाईंसँग कार, पैदल यात्री र ट्राफिक संकेतहरू जस्ता विभिन्न वस्तुहरू भएको सडकको छवि छ। यदि तपाईंले त्यहाँ छवि वर्गीकरण प्रयोग गर्नुभयो भने, यसले छविलाई "सडक दृश्य" वा यस्तै केहिको रूपमा लेबल गर्नेछ।

यद्यपि, वस्तु पत्ता लगाउनाले एक कदम अगाडि बढ्नेछ र प्रत्येक कार, पैदल यात्री र ट्राफिक चिन्ह वरिपरि बाउन्डिङ बक्सहरू कोर्नेछ, अनिवार्य रूपमा प्रत्येक वस्तुलाई अलग गर्नेछ र प्रत्येकलाई अर्थपूर्ण विवरणको साथ लेबल गर्नेछ।

मुख्य बिन्दुहरू:

• पत्ता लगाइएका वस्तुहरू वरिपरि बाउन्डिङ बक्सहरू कोर्छ र तिनीहरूलाई वर्ग लेबल प्रदान गर्दछ।
• यसले तपाईंलाई बताउँछ कि कुन वस्तुहरू अवस्थित छन् र तिनीहरू छविमा कहाँ छन्।
• वस्तु पत्ता लगाउने केही लोकप्रिय उदाहरणहरू समावेश छन् R-CNN, फास्ट R-CNN, YOLO (तपाईं मात्र एक पटक हेर्नुहोस्), र SSD (एकल शट डिटेक्टर)।

विभाजन

छवि विभाजन भनेको छविलाई धेरै खण्डहरू वा पिक्सेलहरूको सेटहरूमा विभाजन गर्ने प्रक्रिया हो (जसलाई सुपर-पिक्सेल पनि भनिन्छ) ताकि तपाईंले मूल छवि भन्दा बढी अर्थपूर्ण र विश्लेषण गर्न सजिलो कुरा प्राप्त गर्न सक्नुहुनेछ।

त्यहाँ 3 मुख्य प्रकारका छवि विभाजनहरू छन्, प्रत्येक फरक प्रयोगको लागि हो।

1. सिमेन्टिक विभाजन

   यो कम्प्युटर भिजनको आधारभूत कार्यहरू मध्ये एक हो जहाँ तपाईं छविलाई धेरै खण्डहरूमा विभाजन गर्नुहुन्छ र प्रत्येक खण्डलाई अर्थपूर्ण लेबल वा वर्गसँग सम्बद्ध गर्नुहुन्छ। छवि वर्गीकरणको विपरीत, जहाँ तपाईंले सम्पूर्ण छविमा एकल लेबल तोक्नुहुन्छ, अर्थपूर्ण विभाजनले तपाईंलाई छविको प्रत्येक पिक्सेलमा वर्ग लेबल तोक्न दिन्छ, त्यसैले तपाईंसँग छवि वर्गीकरणको तुलनामा परिष्कृत आउटपुट हुन्छ।

   सिमान्टिक सेग्मेन्टेसनको लक्ष्य भनेको पिक्सेल स्तरमा प्रत्येक वस्तु, सतह वा क्षेत्रको सीमाना वा रूपरेखा बनाएर दानेदार स्तरमा छवि बुझ्नु हो।

   मुख्य बिन्दुहरू:

   • वर्गका सबै पिक्सेलहरू सँगै समूहबद्ध भएकाले, यसले एउटै वर्गका विभिन्न उदाहरणहरू बीच भेद गर्न सक्दैन।
   • सबै पिक्सेलहरूलाई लेबल गरेर तपाईंलाई "समग्र" दृश्य दिन्छ तर व्यक्तिगत वस्तुहरूलाई अलग गर्दैन।
   • धेरै जसो अवस्थामा, यसले पूर्ण रूपले कन्भोलुसनल नेटवर्कहरू (FCNs) प्रयोग गर्दछ जसले इनपुटको रूपमा समान रिजोल्युसनको साथ वर्गीकरण नक्सा आउटपुट गर्दछ।

2. उदाहरण विभाजन

   उदाहरण विभाजनले वस्तुहरूको पहिचान गरेर मात्र नभई प्रत्येक वस्तुको सीमाहरूलाई सटीक रूपमा विभाजन र रूपरेखा बनाएर अर्थपूर्ण विभाजनभन्दा एक कदम अगाडि बढ्छ, जुन मेसिनले सजिलै बुझ्न सक्छ।

   उदाहरण विभाजनमा, प्रत्येक वस्तु पत्ता लगाइएमा, एल्गोरिदमले एक बाउन्डिङ बक्स, एक वर्ग लेबल (जस्तै, व्यक्ति, कार, कुकुर), र पिक्सेल-वार मास्क प्रदान गर्दछ जसले त्यो विशिष्ट वस्तुको सही आकार र आकार देखाउँछ।

   यो सिमान्टिक सेग्मेन्टेसनको तुलनामा बढी जटिल छ, जहाँ लक्ष्य भनेको एउटै प्रकारका फरक वस्तुहरू छुट्याएर प्रत्येक पिक्सेललाई श्रेणीको साथ लेबल गर्नु हो।

   मुख्य बिन्दुहरू:

   • प्रत्येकलाई एक अद्वितीय लेबल दिएर व्यक्तिगत वस्तुहरू पहिचान र छुट्याउँछ।
   • यो स्पष्ट आकार भएका गणनायोग्य वस्तुहरू, जस्तै मानिसहरू, जनावरहरू र सवारी साधनहरूमा बढी केन्द्रित छ।
   • यसले प्रति वर्गमा एउटा मास्क प्रयोग गर्नुको सट्टा प्रत्येक वस्तुको लागि छुट्टै मास्क प्रयोग गर्दछ।
   • मास्क R-CNN जस्ता वस्तु पत्ता लगाउने मोडेलहरूलाई थप विभाजन शाखा मार्फत विस्तार गर्न प्रयोग गरिन्छ।

3. Panoptic विभाजन

   प्यानोप्टिक विभाजनले सिमेन्टिक विभाजन र उदाहरण विभाजनको क्षमताहरू संयोजन गर्दछ। प्यानोप्टिक सेग्मेन्टेसन प्रयोग गर्ने सबैभन्दा राम्रो भागले छविको प्रत्येक पिक्सेलमा सिमान्टिक लेबल र इन्स्ट्यान्स ID प्रदान गर्दछ, तपाईंलाई एकै पटक सम्पूर्ण दृश्यको पूर्ण विश्लेषण प्रदान गर्दछ।

   प्यानोप्टिक सेग्मेन्टेसनको आउटपुटलाई सेग्मेन्टेसन नक्सा भनिन्छ, जहाँ प्रत्येक पिक्सेललाई सिमेन्टिक क्लास र इन्स्ट्यान्स आईडी (यदि पिक्सेल कुनै वस्तु इन्स्ट्यान्ससँग सम्बन्धित छ भने) वा शून्य (यदि पिक्सेल कुनै इन्स्ट्यान्ससँग सम्बन्धित छैन भने) लेबल गरिएको हुन्छ।

   तर केही चुनौतीहरू पनि छन्। यसको लागि मोडेलले दुवै कार्यहरू एकैसाथ गर्न र अर्थशास्त्र र उदाहरण भविष्यवाणीहरू बीचको सम्भावित द्वन्द्वहरू समाधान गर्न आवश्यक छ, जसको लागि थप प्रणाली स्रोतहरू आवश्यक पर्दछ र समय सीमाहरूसँग अर्थशास्त्र र उदाहरणहरू दुवै आवश्यक पर्ने ठाउँमा मात्र प्रयोग गरिन्छ।

   मुख्य बिन्दुहरू:

   • यसले प्रत्येक पिक्सेलमा सिमान्टिक लेबल र उदाहरण ID प्रदान गर्दछ।
   • सिमान्टिक सन्दर्भ र उदाहरण-स्तर पत्ता लगाउने मिश्रण।
   • सामान्यतया, यसले साझा ब्याकबोनको साथ छुट्टै अर्थ र उदाहरण विभाजन मोडेलहरूको प्रयोग समावेश गर्दछ।

   यहाँ सिमेन्टिक सेग्मेन्टेसन, इन्स्ट्यान्स सेग्मेन्टेसन, र प्यानोप्टिक सेग्मेन्टेसन बीचको भिन्नतालाई सुझाव दिने एउटा सरल उदाहरण छ: