بازشناسی رفتار حرکتی بین دو فرد با استفاده از روش طبقه‌بندی ترتیبی دومرحله‌ای

نوع مقاله : مقاله پژوهشی

نویسندگان

1 دانشکده مهندسی برق، دانشگاه صنعتی سهند، تبریز، ایران

2 دانشگاه صنعتی سهند

10.22034/jasp.2023.53064.1200

چکیده

بازشناسی رفتار حرکتی انسان یکی از مهم‌ترین کاربردهای پردازش تصویر است که جذابیت بسیار زیادی در حوزه‌ی بینایی ماشین پیداکرده است. به دلیل پیچیدگی در تجزیه‌وتحلیل تصویر و ویدئو، الگوریتم‌های پیشنهادی مدرن کماکان از توسعه‌ی روش‌های بدون خطا و کاملاً تعمیم‌یافته فاصله دارند. این مقاله یک روش جدید مبتنی بر ژست‌های کلیدی سایه‌ی فریم به‌منظور تشخیص تعامل دو فرد ارائه می‌دهد. در روش پیشنهادی، از یک توصیفگر شکل مبتنی بر IMTF استفاده‌شده است که به دلیل توانایی این روش در جمع‌آوری داده‌ها از کلیت تصویر، توصیف تمام عیاری از کل شکل ارائه می‌دهد. این ویژگی برای استفاده در برنامه‌های برخط یا برون‌خط مانند تجزیه‌وتحلیل محتوای ویدئویی و نظارت ویدئویی، کارایی بسیار بالایی دارد. ایده‌ی اصلی بر این اساس است که یک طبقه‌بندی دومرحله‌ای بر پایه‌ی طبقه‌بند الگوکاوی (الگوبرداری) ترتیبی انجام گیرد؛ بنابراین، شکل نمای پیش‌زمینه افراد استخراج شده و با استفاده از ویژگی مثلث چند مقیاسی ثابت، هر فریم با یک واژه‌نامه‌ی تصویری از پیش تعریف‌شده از ژست‌های کلیدی مقایسه می‌شود. پس از این مرحله، هر فریم به‌عنوان یکی از کلاس‌های موجود برچسب‌گذاری می‌شود. خروجی این مرحله، یک توالی از برچسب‌ها است که به‌عنوان ورودی یک طبقه‌بند الگوی ترتیبی استفاده خواهد شد. نتایج به‌دست‌آمده (9/93% برای پایگاه داده‌ی SBU، 4/%92 برای پایگاه داده‌ی UT، 6/%86 برای پایگاه داده‌ی BIT و 9/86% برای پایگاه داده‌ی NTU)، بیان‌گر دقت و کارآمدی روش پیشنهادی بوده و راه‌حلی جذاب برای مسئله طبقه‌بندی توالی ارائه می‌دهد.

کلیدواژه‌ها

موضوعات


عنوان مقاله [English]

Recognition of two-person interaction using two-stage sequential pattern classification method

نویسندگان [English]

  • saman nikzad 1
  • Afshin Ebrahimi 2
1 ICT Research lab, Electrical Engineering Faculty, Sahand University of Technology, Tabriz, Iran
2 Sahand University of Technology
چکیده [English]

Human action recognition is one of the most important applications of image processing which has gained great attraction in computer vision. Because of the complexity in image and video analysis, state-of-the-art proposed algorithms are still far from developing error-free and fully generalized systems. This work presents a new method based on key-poses of frame silhouettes for the task of two-person interaction recognition. In the proposed algorithm, an IMTF-based shape descriptor which gives a perfect description of the shape due to its ability to collect data from the whole shape. The task is useful for offline or online applications such as video content analysis and video surveillance. The main idea is to perform a two-step classification based on a sequential pattern mining classifier. So, we extract the shape of the foreground silhouette of the persons and describe it using the invariant multiscale triangle feature to compare each frame with a pre-defined dictionary of key-poses. Then, each frame is labeled as one of the existing classes. The output of this step is a sequence of labels which is the input of a sequential pattern classifier. The obtained results (93.9% for SBU database, 92.4% for UT database, 86.6% for BIT dataset and 86.9% for NTU RGB+D dataset) indicate the accuracy and efficiency of the proposed method and provide an attractive solution to the problem of sequence classification.

کلیدواژه‌ها [English]

  • Interaction recognition
  • foreground silhouette
  • key-pose
  • sequential pattern classifier
  • pattern mining