تشخیص تصور گفتار کلمات بازی سنگ، کاغذ، قیچی با استفاده از سیگنال های EEG

نوع مقاله : مقاله پژوهشی

نویسندگان

1 دانشکده مهندسی برق و کامپیوتر - دانشگاه تبریز - تبریز - ایران

2 دانشکده مهندسی برق و کامپیوتر - دانشگاه برونل- لندن - انگلستان

چکیده

درک صحبت­های افراد بدون نیاز به بیان و تنها با استفاده از رمزگشایی سیگنالهای مغزی در هنگام تصور گفتار، یکی از بروزترین تحقیقات در زمینه هوش مصنوعی می­باشد. سومین مسابقه ملی واسط مغز و رایانه که توسط مرکز ملی نقشه برداری مغز ایران در سال 1399 برگزار گردید به دسته­بندی تصور گفتار برای سه کلمه سنگ، کاغذ و قیچی اختصاص یافت. در این مسابقه نویسندگان این مقاله با استفاده از تجزیه بسته­های موجک و الگوی مکانی مشترک و بکارگیری دسته­بندهای مختلف توانستند مقام دوم را کسب نمایند. دسته­بندهای ماشین بردار پشتیبان،                   k-نزدیک­ترین همسایه، جنگل تصادفی، رگرسیون لجستیک ، XGBoost و مدل یادگیری عمیق Dense را بصورت جداگانه برای هر فرد و همچنین بصورت همزمان برای تمامی افراد ارزیابی نمودیم و بهترین دقت میانگین 7/51% حاصل شد. در ادامه این مدل را با استفاده از روش اسپکتروگرام و شبکه عصبی کانولوشنی توسعه دادیم و توانستیم به دقت میانگین 5/76% دست یابیم. این دقت از بهترین دقت گزارش شده بر روی این مجموعه داده­ بسیار بهتر بوده است. همچنین عملکرد این مدل در مقایسه با پژوهش­های اخیر در این زمینه بر روی مجموعه داده­های مختلف، برتری دارد.

کلیدواژه‌ها

عنوان مقاله [English]

Decoding Speech Imagination for Words of Rock-Paper-Scissors Game using EEG Signals

نویسندگان [English]

  • Majid Moghaddari 1
  • Mina Zolfy Lighvan 1
  • Sebelan Danishvar 2
1 Faculty of Electrical and Computer Engineering, University of Tabriz, Tabriz, Iran
2 Department of Electronic and Computer Engineering, Brunel University, London, UK
چکیده [English]

Recognition of silent speech only by decoding brain signals is one of the latest research in the field of artificial intelligence. The 3rd Iranian national brain-computer interface competition, which was held by the National Brain Mapping Center of Iran in 2020, was dedicated to the classification of imagined speech for the three words of rock-paper-scissors game. In this contest, the authors introduced an approach based on wavelet packets decomposition and common spatial pattern and could win the second place. We evaluated some of the most famous classifiers including support vector machine, k-nearest neighbor, random forest, logistic regression, XGBoost and dense deep learning model separately for each subject and simultaneously for all subjects. The best average accuracy was 51.7%. Then we developed the model using spectrogram and convolutional neural network and achieved average accuracy of 76.5%. The accuracy was much better than the accuracy reported by other researchers on this dataset. Also, the performance of our model is superior to recent research in this field on different datasets.

کلیدواژه‌ها [English]

  • Speech imagination
  • Mental speech
  • Brain signals
  • Brain-computer interface
  • EEG

مراجع

[1] P.R. Roelfsema, D. Denys, P.C. Klink, Mind reading and writing: The future of neurotechnology, Trends in cognitive sciences 22 (2018)
[2] D. Dash, P. Ferrari, J. Wang, Decoding imagined and spoken phrases from non-invasive neural (MEG) signals, Frontiers in neuroscience 14 (2020).
[3] Y. Wang, M. Zhang, R. Wu, H. Gao, M. Yang, Z. Luo, G. Li, Silent speech decoding using spectrogram features based on neuromuscular activities, Brain Sciences 10 (2020) 442.
[4] A.R. Sereshkeh, R. Yousefi, A.T. Wong, T. Chau, Online classification of imagined speech using functional near-infrared spectroscopy signals, Journal of neural engineering 16 (2018) 016005.
[5] S. Martin, I. Iturrate, P. Brunner, J.d.R. Millán, G. Schalk, R.T. Knight, B.N. Pasley, Individual Word Classification During Imagined Speech Using Intracranial Recordings,  Brain-Computer Interface Research, Springer2019, pp. 83-91.
[6] A. Aleman, E. Formisano, H. Koppenhagen, P. Hagoort, E.H. De Haan, R.S. Kahn, The functional neuroanatomy of metrical stress evaluation of perceived and imagined spoken words, Cerebral Cortex 15 (2005) 221-228.
[7] L. Wang, X. Zhang, X. Zhong, Y. Zhang, Analysis and classification of speech imagery EEG for BCI, Biomedical signal processing and control 8 (2013) 901-908.
[8] T. Hernández-Del-Toro, C.A. Reyes-García, L. Villaseñor-Pineda, Toward asynchronous EEG-based BCI: Detecting imagined words segments in continuous EEG signals, Biomedical Signal Processing and Control 65 (2021) 102351.
[9] C. Cooney, A. Korik, R. Folli, D. Coyle, Evaluation of Hyperparameter Optimization in Machine and Deep Learning Methods for Decoding Imagined Speech EEG, Sensors 20 (2020) 4629.
[10] M. Jiménez-Guarneros, P. Gómez-Gil, Standardization-refinement domain adaptation method for cross-subject EEG-based classification in imagined speech recognition, Pattern Recognition Letters 141 (2021).
[11] N. Hamedi, S. Samiei, M. Delrobaei, A. Khadem, Imagined Speech Decoding From EEG: The Winner of 3rd Iranian BCI Competition (iBCIC2020),  2020 27th National and 5th International Iranian Conference on Biomedical Engineering (ICBME), IEEE, 2020.
[12] https://nbml.ir/FA/scientific-tournament/102640/ (accessed 13 October 2020.
[13] Makoto's preprocessing pipeline, https://sccn.ucsd.edu/wiki/Makoto's_preprocessing_pipeline (accessed 25 September 2019.
[14] T. Fushiki, Estimation of prediction error by using K-fold cross-validation, Statistics and Computing 21 (2011) 137-146.
[15] H. Ramoser, J. Muller-Gerking, G. Pfurtscheller, Optimal spatial filtering of single trial EEG during imagined hand movement, IEEE transactions on rehabilitation engineering 8 (2000) 441-446.
[16] M. Moghaddari, M.Z. Lighvan, S. Danishvar, Diagnose ADHD disorder in children using convolutional neural network based on continuous mental task EEG, Computer Methods and Programs in Biomedicine 197 (2020).

فایل ها

هم رسانی

ارجاع به این مقاله

آمار