X
تبلیغات
وکیل جرایم سایبری

FER: Facial Expression Recognition

تبدیل الگوی باینری محلی ( Local binary pattern)

الگوریتم الگوی باینری محلی  (LBP) در سال 1994 ابداع گردید. الگوریتم LBP یکی از قویترین الگوریتم های استخراج ویژگی در علم بینایی ماشین است و همچنین یکی از روش هایی است که به طور وسیعی در تحقیقات مربوط به چهره و بازیابی چهره به کار رفته است.  الگوهای باینری محلی روشی  موثر برای توضیح کارای بافت ها است که  می توان از آن برای اندازگیری استخراج ویژگی های بافت های مجاور در تصاویر استفاده نمود. مزیت استفاده از این روش این است که اپراتور الگوهای باینری محلی دارای تغییر ناپذیری چرخش و تغییر ناپذبری سطح خاکستری بالایی بوده و می توان با استفاده از این روش بر مشکلات عدم تعادل در تغییر موقعیت، چرخش و نور افکنی، غلبه نمود. علاوه بر این  اپراتور LBP دارای محاسبات بسیار ساده ای است. شکل زیر نشان دهنده یک مثال از استخراج  ویزگی ها  توسط LBP برای FER  است.در این مثال  این روش استفاده شده شامل 3 مرحله اصلی است. یک تصویر چهره به دو بلوک مختلف  غیر هم پوشانی شده تقسیم شده است. بعد از تقسیم برای هر بخش هیستوگرام FER به کار گرفته شده است. در نهایت هیستوگرام های بلوک های FER داخل یک بردار تکی نشان داده شده توسط کد LBP ادغام  شده اند. در مقالات قبلی، ما کارایی  اپراتور LBP را با روش های کاهش ابعاد مختلفی در وظایف FER مورد بررسی و مقایسه قرار داده ایم. در سالهای  اخیر، انواع مختلفی از اپراتورهای FER را می توان  در مقالات یافت. اما امروزه انواع مختلفی از LBP های معمول شامل الگوهای باینری محلی حجیم LBP ،(VLBP) بر روی طرح های سه گوشه (LBP-TOP)،  الگو های وابسته محلی (LBP-TOP)، الگوهای سنتی محلی  (LTP) و بسیاری از موارد دیگر است. در سال های اخیر، لی و سایر همکارانش الگو های باینری محلی بلوک های چند گانه چند نوعی (P-MLBP) را برای FER سه بعدی تمام خودکار پیشنهاد نمودند. P-MLBP از تقسیم نا منظم مبتنی بر ویژگی برای نشان دادن دقیق حالات چهره و همچنین ادغام  عمق و بافت اطلاعات مدل های سه بعدی برای بهبود ویژگی های چهره استفاده نمودند.

شکل1

الگوی دودویی  محلی (LBP) اپراتور بافت ساده و بسیار کار آمد است که عددهای هر تصویر را با آستانه محاسبه هر پیکسل نشان می دهد و نتیجه را به عنوان عدد دودویی در نظر می گیرد. با توجه به قدرت تبعیض آمیز و سادگی  محاسباتی، اپراتور بافت LBP در برنامه های کاربردی مختلف به یک رویکرد رایج تبدیل شده است. این را می توان به عنوان یک رویکرد متحد به مدل های آماری و ساختاری سنتی تجزیه و تحلیل بافت مشاهده شده است. شاید مهمترین ویژگی  اپراتورLBP در برنامه های کاربردی در دنیای واقعی ، توانی آن در تغییرات خاکستری تک رنگ است که باعث ایجاد تغییرات نور می شود. یکی دیگر از ویژگی های مهم، سادگی محاسباتی آن است که امکان تجزیه و تحلیل تصاویر را در تنظیمات زمان واقعی به چالش کشیدن امکان می دهد.

شکل 2: توصیف عبارات صورت با الگوهای باینری محلی

ایده اصلی برای توسعه اپراتور LBP  این است که بافت سطحی را می توان  با دو روش مکمل توصیف کرد: الگوهای فضایی محلی و مقایسه کردن مقیاس خاکستری. اپراتور اصلی LBP (OJALA و همکارانش در سال1996 ) بر چسب ها را برای پیکسل های تصویر با آستانه  محدوده 3*3  هر پیکسل با ارزش مرکزی و با توجه به نتیجه به عنوان یک  عدد دودویی می سازد. هیستوگرام  این 256=2^8 بر چسب های مختلف می تواند به عنوان یک توصیفگر بافت استفاده می شود. این  اپراتور با استفاده از روش مقایسه کردن ساده محلی استفاده شده و عملکرد بسیار خوبی را در تقسیم بندی بافت بدون نظارت ارائه داد (Ojala & Pietikainen 1999). پس از این بسیاری از روش های مرتبط برای تقسیم بافت و بافت رنگ طراحی شده است. اپراتور LBP برای استفاده از همسایگی های مختلف انداز گیری شد (Ojala و همکارانش 2002) با استفاده از همسایگی دایره ای و مقادیر دو قطبی بین مقادیری در مختصات پیکسل  غیر عدد صحیح به هر شعاع و تعداد پیکسل ها در همسایگی اجازه می دهد.  واریانس  مقیاس خاکستریهمسایگی محلی می تواند به عنوان اندازه گیری مقایسه کردن  مکمل استفاده شود. در زیر، علامت (P,R) برای همسایگی های پیکسل  مورد استفاده قرار می گیرد که به معنی  نقطه های  نمونه گیری P در یک دایره شعاع R است. برای  مثال، برای محاسبه LBP به شکل 3 مراجعه کنید.

شکل 3: نمونه ای از محاسبات LBP

توسعه دیگری برای  اپراتور اصلی ، که به اصطلاح تعریف الگوهای یکنواخت هست، که می تواند برای کاهش طول بردار ویژگی و از یک توصیفگر چرخش غیر مجاز استفاده شود. این افزونه از این واقعیت الهام گرفته شده است که برخی از الگو های باینری بیشتردرتصاویر بافت از دیگران به نمایش در می آیند. یک الگوی دودویی حاوی بیش از دو انتقال بیتی به صورت دایره ای متقاطع می شود. به عنوان مثال، الگوهای 00000000(0 انتقال)، 01110000 (2 انتقال) و 11001111(2 انتقال) یکنواخت هستند، در حالی که الگوهای 11001001(4 انتقال) و 01010010(6 انتقال) نیستند. در محاسبه بر چسب های LBP الگوهای یکنواخت استفاده می شود به طوری که یک بر حسب جداگانه برای هر یک از الگوی یکنواخت وجود دارد و تمام الگوهای غیر یکنواخت با یک بر چسب واحد بر چسب گذاری می شوند. به عنوان مثال، هنگام استفاده از (R,8) همسایگی Ojala و همکارانش (2002) در آزمایش های خود با تصاویر بافتی متوجه شدند که الگوهای یکنواخت در هنگام استفاده از همسایگی (8,1) و حدود70 درصد درهمسایگی (16،2)، کمی کمتر از 90 در صد از همه الگوها را تشکیل می دهند. هر کد بندی (کدLBP) را می توان به عنوان یک میکروفون  در نظر گرفت. ابتدای محلی که توسط این ها کد گذاری می شوند شامل انواع مختلف لبه های منحنی، نقاط، مناطق مسطح و غیره می باشد. نماد زیر برای اپراتورLBP استفاده می شود : P, R^U2   

LBP این شاخص نشان دهنده استفاده از اپراتور در همسایگی (P،R) است Superscript U2 برای استفاده از تنها الگوهای یکنواخت و بر چسب گذاری همه الگوهای  باقیمانده با یک بر چسب واحد است. پس از تصویر LBP دارای بر چسب FL تصویر (X,Y) به دست آمده است. هیستوگرام LBP را می توان به صورت زیر تعریف کرد:

که در آن n تعداد برچسب های مختلف تولید شده توسط اپراتورLBP  است و I { A } است . 1 اگر A درست باشد و 0 اگر A اشتباه باشد. هنگامی که تصویر تکه هایی که هیستوگرام های مورد نظر باید مقادیر مختلفی داشته باشند، اندازه های مختلفی دارند، هیستوگرام ها باید برای توصیف یکپارچه سازی نرمال شوند:

توضیحات صورت با استفاده از LBP

در روش LBP برای طبقه بندی بافت، وقایع کد LBP در تصویر به یک هیستوگرام  جمع آوری می شوند. سپس طبقه بندی با محاسبه ی شباهت  های هیستوگرام ساده انجام می شود. با این حال، با توجه به یک روش مشابه برای نمایش تصویر چهره، در نتیجه از دست دادن اطلاعات  بافت را در حالی که مکان های خود را حفظ می کنند تدوین کنند. یک راه برای رسیدن به این هدف  این است که از توصیفگرهای  بافت LBP برای ساختن چندین توصیف محلی از چهره استفاده کنید  و آن ها را به یک توصیف جهانی تر کیب کنید. چنین تو صیف های محلی به تازگی به دست آورده است که با توجه  به محدودیت های  نمایندگی های کلی قابل فهم است. این روش مبتنی بر ویژگی های محلی در برابر تغییرات در ظاهر یا نور  نسبت به روش های جامع قوی تر است. روش اساسی برای توصیف چهره LBP پیشنهاد شده توسط  Ahonen  و همکارانش در سال( 2006) به شرح زیر است :

تصویر چهره به مناطق محلی تقسیم می شود و توصیفگر های بافت  LBP به طور مستقل از هر منطقه استخراج می شوند. سپس توصیفگر ها برای تشکیل یک توصیف جهانی چهره، به شکل  4 نشان داده شده اند.

شکل 4: توصیف چهره با الگوهای باینری محلی

این هیستوگرام به طور موثر  چهره را در سه سطح مختلف  نشان می دهد:

برچسب های LBP برای هیستوگرام حاوی اطلاعات در مورد الگوهای در سطح پیکسل هستند، برچسب ها در یک منطقه ی کوچک به منظور جمع آوری اطلاعات در سطح منطقه و هیستوگرام های منطقه برای ساختن یک توصیف جهانی از چهره به یکدیگر متصل  می شوند. لازم به ذکر است که هنگام استفاده از روش های مبتنی بر هیستوگرام، مناطق نیازی به مستطیلی نیستند. آن ها نیازی به اندازه و شکل ندارند و لزوما باید تمام تصویر را پوشش دهند. همچنین ممکن است بخشی از مناطق همپوشانی داشته باشد. روش توصیف چهره دو بعدی به دامنه ی فضایی و زمانی گسترش یافته است(Zahao & Pietikainen 2007) . شکل 1 توضیح بیان صورت با استفاده از LBP-TOP  را نشان می دهد. عملکرد مناسب تشخیص بیان چهره با این روش بدست آمده است. از زمان انتشار توضیح چهره مبتنی بر، LBP روش شناسی در حال حاضر موقعیتی ثابت در تحقیقات و برنامه های کاربردی تجزیه و تحلیل صورت داشته است. یک مثال قابل توجه این است که سیستم تشخیص چهره غیر قابل تصوری پیشنهاد شده توسط Li و همکارانش در سال 2007، ترکیب  تصویر برداری NIR  با ویژگی های LBP و یادگیری. Adaboost ژانگ و همکارانش در سال 2005، استخراج ویژگی های LBP  از تصاویر گرفته شده توسط فیلتر کردن یک تصویر صورت با 40 فیلتر گابور از مقیاس ها  و جهت های مختلف ، نتایج برجسته  ارائه شده است. Hadid  و Spatiotemporal  برای تشخیص چهره و جنس از توالی های ویدئویی استفاده کردند، در حالی که ژائو و همکارانش در سال 2009 رویکرد گفتار بصری به دست آوردند عملکرد پیشرو بدون تقارن خطا لب های متحرک به تصویب رسید.

پیشرفت های اخیر

موفقیت LBP از سال 2011 ادامه داشته است. تعداد زیادی از انواع جدید LBP پیشنهاد شده است، برای مثال اپراتور Median Robust Extended Local Binary Pattern(MRELBP)  لوئی و همکارانش در سال2016. یک ارزیابی تجربی گسترده از توصیفگرهای LBP مختلف و بافت های عمیق توسط لوئی و همکارانش در سال 2016 ارائه شده است. استحکام اپراتور های بافت در برابر چالش های طبقه بندی متفاوت شامل تغییر در چرخش، مقیاس، روشنایی، دیدگاه، تعداد کلاس ها، انواع مختلف تخریب تصویر و محاسبات پیچیدگی می باشد. بهترین عملکرد کلی برای MRELBP زمانی به دست می آید که تمایز، قابلیت اطمینان و پیچیدگی محاسباتی مورد توجه قرار گیرد. پس از این مطالعه، طبقه بندی انواع LBP همراه با ارزیابی تجربی گسترده (لوئی و همکارانش 2017) ارائه شده است.

نظرات (0)
امکان ثبت نظر جدید برای این مطلب وجود ندارد.