تشخیص حرکت انسانی با استفاده از روش‌های یادگیری عمیق به همراه تلفیق‌های با ناظر

نوع مقاله : مقاله پژوهشی

نویسندگان

1 گروه آموزشی مهندسی کامپیوتر نرم افزار- دانشکده فنی مهندسی دانشگاه شهرکرد- شهرکرد

2 گروه آموزشی مهندسی کامپیوتر نرم‌افزار- دانشکده فنی مهندسی- دانشگاه شهرکرد- شهرکرد

چکیده

با پیشرفت علم و گسترش روزافزون هوش مصنوعی، شناخت حرکات انسانی توسط رایانه‌ها به یک زمینه‌ی تحقیقاتی مهم تبدیل شده است. تشخیص حرکت به دلیل پیچیدگی حرکت انجام شده، شرایط آب و هوایی ناپایدار، شدت نور و تغییر زاویه دید دوربین با چالش‌های فراوانی روبه‌رو می‌باشد. برای نمایش حرکت، از دو نوع‌داده کارا و مفید ساختار اسکلتی بدن و ویدیو رنگی حاصل از دوربین کینکت استفاده می‌شود که در این مقاله مختصات اسکلت بدن علاوه بر دوربین کینکت با استفاده از روش‌های نوین یادگیری عمیق با دقت بالا تولید شده است. با استخراج ویژگی‌های تأثیرگذار از هر نوع‌داده به کمک روش‌های به‌روز ریاضیاتی و شبکه‌های عصبی، تشخیص حرکت با هر کدام از آن‌ها انجام می‌شود. هر یک از این نوع‌داده‌ها، به‌تنهایی قادر به ارائه‌ی اطلاعات خاص و متفاوت از حرکت انسان می‌باشند. در مرحله دوم این پژوهش، به هدف بهره‌گیری از ویژگی‌های هر دو نوع‌داده در کنار هم، از دو روش کارآمد تلفیق با نظارت MFA و BGLPCCA برای شناسایی حرکت انسانی استفاده می‌گردد. روش پیشنهادی پژوهش حاضر، چارچوبی برای تشخیص حرکت با یک نوع‌داده و چندین نوع‌داده است و دلیل برتری آن کسب مقدار صحت بالا در زمینه تشخیص حرکات انسانی می‌باشد.

کلیدواژه‌ها

موضوعات


عنوان مقاله [English]

Human Action Recognition using Deep Learning and Supervised Data Fusion Approach

نویسندگان [English]

  • mahsa mozafari vanani 1
  • reza rohani sarvestani 2
1 Educational deoartment of software computer engineering - Technical- Faculty- shahrekord university -shahrekord
2 Educational Department of Software Computer Engineering - Technical Faculty - Shahrekord University - Shahrekord
چکیده [English]

With the advancement of science and the increasing expansion of artificial intelligence, the recognition of human actions by computers has become an important research field. Action recognition faces numerous challenges due to the complexity of the actions, unstable weather conditions, varying light intensity, and changes in camera viewing angles. To display action, two types of useful data are used: skeletal body structure and color video obtained from Kinect cameras. In this article, body skeletal coordinates are generated with high accuracy using advanced deep learning methods in addition to Kinect cameras. By extracting influential features from each type of data using modern mathematical methods and neural networks, action recognition is performed with each of them. Each type of data alone is capable of providing specific and different information about human action. In the second stage of this research, efficient combination methods with MFA and BGLPCCA supervision are used to utilize the features of both types of data together for human action identification. The proposed method in this research provides a framework for detecting action with single and multiple types of data, and its superiority lies in achieving high accuracy in human action recognition.

کلیدواژه‌ها [English]

  • Human Action Recognition
  • Skeleton Body Structure
  • , RGB-Videos
  • Feature Extraction
  • Feature Fusion
  • Deep Learning