تخمین عمق نگاه ناظر با استفاده از ردیابی سه‌بعدی چشم با روش یادگیری عمیق

نوع مقاله : مقاله پژوهشی

نویسندگان

1 دانشگاه تبریز

2 عضو هیات علمی دانشگاه تبریز

چکیده

در سال‌های اخیر با رشد فناوری‌های هوش مصنوعی، تحقیقات در زمینه برقراری ارتباط تعاملی بین انسان و کامپیوتر رشد فزاینده‌ای داشته است. روش‌های متعددی برای تعامل بین مغز انسان و ماشین ارائه شده‌اند. ردیابی خیرگی چشم با استفاده از بینایی ماشین و پردازش تصویر به علت مزایایی همچون غیرتهاجمی بودن و عدم استفاده از سیگنال‌های مضر رادیویی و مغناطیسی، ارزان بودن و قابل‌حمل بودن موردتوجه محققین قرار گرفته است. در این مقاله یک شیوه نوین برای تخمین عمق نگاه ناظر با استفاده از ردیابی سه‌بعدی چشم با روش‌های رگرسیون خطی و یادگیری عمیق ارائه شده است. برای دستیابی به اهداف تحقیق برای اولین‌بار یک مجموعه‌داده تهیه شد و در آن تعداد زیادی تصویر از چشم افراد با شرایط سنی و جنسی متنوع در حال نگاه به یک هدف متحرک در فاصله‌ها و شرایط روشنایی متفاوت ثبت شد. جهت افزایش دقت استخراج ویژگی‌های چشم از یک شبکه عصبی مبتنی بر یادگیری عمیق استفاده شد. با استفاده از ایده ره‌گیری تغییرات فیزیولوژیکی چشم ازجمله محل قرارگیری و اندازه مردمک و فاصله مردمک دو چشم و تغییر محل نقاط انعکاسی قرنیه در اثر تغییرات میزان روشنایی محیط و فاصله هدف از چشم و همچنین پدیده‌هایی مانند اختلاف‌منظر و تطابق که مغز برای تشخیص عمق از آن بهره می‌گیرد، برای تشخیص عمق نگاه ناظر استفاده شد. نتایج نشان دادند که با روش‌ رگرسیون خطی با دقت بالای 90 درصد و با روش یادگیری عمیق با دقت نزدیک به 93 درصد، عمق نگاه ناظر تخمین زده می‌شود.

کلیدواژه‌ها

موضوعات


عنوان مقاله [English]

Depth of Eye Gaze Estimation using 3D Eye Tracking using Deep Learning

نویسندگان [English]

  • Daryoush Faraji Mazraehkhalaf 1
  • Hadi Seyedarabi 1
  • Reza Afrouzian 2
1 University of Tabriz
2 university of Tabriz
چکیده [English]

Recently, with the growth of artificial intelligence technologies, research in the field of HCI has grown increasingly. Eye gaze tracking using machine vision and image processing has attracted the attention of researchers due to its advantages such as non-intrusive and no use of harmful radio and magnetic signals, cheapness, and portability. In this article, a new method for estimating the observer's gaze depth using 3D eye tracking with linear regression and deep learning methods is presented. A Valuable data set was prepared for the first time, and in it, a large number of images of the eyes of people, of various ages and genders in variable lighting conditions looking at a moving target at different distances, were recorded. A deep learning-based neural network was used to increase the accuracy of eye feature extraction. The idea of tracking the physiological changes of the eye, including the location and size of the pupil the distance between the pupils of the two eyes, and the change in the location of the reflective points of the cornea due to changes in the brightness of the environment and the distance of the target from the eye, also phenomena such as perspective difference and adaptation, was used to detect the observer's gaze depth. The results showed that the depth of the observer's gaze is estimated with the linear regression method with an accuracy of over 90% and with the deep learning method with an accuracy of nearly 93%.

کلیدواژه‌ها [English]

  • Eye gaze detection
  • gaze depth Estimation
  • deep learning
  • Convolutional neural network