تحليل رفتار تعاملی انسان در دوربين های نظارتی

نام دانشجو: علی عباس زاده
تاريخ دفاع: 30/11/92

چکيده

در اين پايان نامه قصد داريم به بررسی سيستم‏های شناسايی رفتار انسان، بخصوص رفتارهای تعاملی در تصاوير ويدئويی پرداخته وسپس روش جديدی را ارائه کنيم. تمرکز اصلی اين پايان نامه بر روی استخراج ويژگی بوده که به ارائه دو روش پيشنهادی خواهد پرداخت. در روش پيشنهادی اول برای کاهش ابعاد داده و نيز برای درک بهتر لبه ها و تغييرات جزئی تصاوير از ضرايب موجک استفاده شده است. ضرايب موجک باند HH هر يک از فريم های ويدئو ورودی ، محاسبه شده و به صورت بلوک های مکانی-زمانی، بعنوان ورودی مرحله اول از يک سيستم سه مرحله ای استخراج ويژگی اعمال می شوند. اين سه مرحله شامل دو مرحله تحليل زيرفضای مستقل( ISA ) و يک مرحله ميانی تحليل مولفه های اصلی PCA می باشد. در روش پيشنهادی دوم نيز از ساختاری سلسله مراتبی استفاده مي­کنيم. در اين روش ابتدا بلوک های فريم های ورودی به شبکه ISA اعمال مي­شود، پس از يادگيری ويژگی ها توسط شبکه اول ISA ، خروجی های شبکه به يک آبشار ISA- SOM اعمال می شوند تا ويژگی های نهايی را توليد کنند. در اين روش برای همخوانی بيشتر بين مراحل ساختار پيشنهادی، از شبکه SOM استفاده شده است تا ساختاری تماما غيرخطی داشته باشيم. در نهايت در هر دو روش شبکه RBF عمل شناسايی را انجام می دهد. نتايج شناسايی بدست آمده بر روی دادگان مختلفی همچون UT (95%)، هاليوود (54.11%) و KTH (94.5%) حاکی از برتری اين روش نسبت به روش های ارائه شده تا کنون می باشد.

واژه‌هاي كليدي: شناسايي رفتار تعاملی انسان، تحليل زيرفضای مستقل، شبکه عصبی خود سازمانده، ضرايب موجک

--

Student: Ali Abbaszadeh

Abstract

In this dissertation we study human behavior recognition systemsand then propose two new methods. The main focus of this thesis is on feature extraction which is the basis of our two proposed methods. In the first method in order to reduce feature dimension and better understanding of the edges and small changes, wavelet coefficients are used. Wavelet coefficients of HH band of each input video framesare calculatedand in the form of spatial –temporal blocks, are input to the first stage of a three-step feature extraction procedure. These three stages contains of two stages of independent subspace analysis (ISA) and one middle stageof principal component analysis. In the second proposed method a hierarchical structure is also used. In this method first, input frame blocks are applied to an ISA network. After feature learning by the first ISA, outputs of ISA are applied to a cascade of SOM -ISA to produce final features. In this method for more compatibility between stages of the proposed structure, SOM is used to have a fully nonlinearstructure. Finally in both methods, RBF performsclassification and action recognition. Obtained results on different datasets such as UT (95%), hallywood (54.11%) and KTH (94.5%), indicate the superiority of these methods over other methods which have been introduced so far.

Keywords: Human interactive behavior recognition, Independent Subspace Analysis, ISA,Self-Organizing Map, SOM, Wavelet coefficients.