NeuralCipher Araştırma özeti
Kaynak özetin Türkçe makine çevirisi. Klinik kullanım öncesinde özgün yayınla karşılaştırılmalı; hekim incelemesi değildir. cc by
Bu makale, ses (konuşma), görsel (yüz) ve entegre multimodal işitsel-işitsel verilerden duygu tanıma için nöral ağları (SNN'ler) karıştırmaya dayanan biyomimetik bir çerçeve ve yeni beyinden ilham alan AI (BIAI) modellerini tanıtıyor. eXCube2 adı verilen geliştirilmiş çerçeve, bir insan beyin şablonuna göre mekansal olarak yapılandırılmış üç boyutlu bir SNN kullanır. EXCube2 içinde geliştirilen BIAI modelleri, beyinden ilham alan öğrenme kurallarını kullanarak spatio ve spektrtro-temporal veriler üzerinde eğitilebilir. Bu tür modeller verideki kalıpları ortaya çıkarmak açısından açıklanabilir ve yeni verilere uyarlanabilir. eXCube2 modelleri yazılım sistemleri olarak uygulanır ve duygusal durumları ifade eden konuların konuşma ve video verileri üzerinde test edilir. SNN yapısı için bir beyin şablonunun kullanılması, ses girdilerinin beyinden ilham alan tonotopik ve stereo haritalamasını, görsel verilerin topografik haritalanmasını ve her iki modalitenin kombine kullanımını sağlar. Bu yeni yaklaşım sadece AI tabanlı duygu tanımayı insan algısına yaklaştırmakla kalmaz, aynı zamanda mevcut AI sistemlerinden daha yüksek doğruluk ve daha iyi açıklanabilirlik ile sonuçlanır. Bu, benchmark veri kümeleri üzerinde yapılan deneylerle, tek modaliteli verilerde %80'in üzerinde sınıflandırma doğruluğu elde ederek ve multimodal görsel-işitsel veriler kullanıldığında ve bir "bilmiyorum" çıktısı sunulduğunda% 90'a ulaşarak gösterilmiştir. Makalede, önerilen eXCube2 çerçevesinin, farklı kökenlerden insanların duygusal durumlarını tanımak gibi zorlu sorunları çözmek için diğer ses, görsel ve görsel-işitsel verilere olası uygulamaları tartışılıyor; beyin durumu teşhisi (örneğin, Parkinson hastalığı, Alzheimer hastalığı, DEHB, demans); zamanla tedaviye yanıtın ölçülmesi; çevrimiçi müşterilerin memnuniyet yanıtlarının değerlendirilmesi; insan-robot etkileşimi; chatbotlar; ve etkileşimli bilgisayar oyunları. BIAI'nin SNN tabanlı uygulaması ayrıca nöromorfik yongaların ve platformların kullanılmasını sağlayarak, güç tüketiminin azalmasına, daha küçük cihaz boyutuna, daha yüksek performans doğruluğuna ve daha iyi uyarlanabilirliğe ve açıklanabilirliğe yol açar.
Özgün kaynak özetini okuyun
This paper introduces a biomimetic framework and novel brain-inspired AI (BIAI) models based on spiking neural networks (SNNs) for emotion recognition from audio (speech), visual (face), and integrated multimodal audio-visual data. The developed framework, named eXCube2, uses a three-dimensional SNN that is spatially structured according to a human brain template. The BIAI models developed in eXCube2 are trainable on spatio- and spectro-temporal data using brain-inspired learning rules. Such models are explainable in terms of revealing patterns in data and are adaptable to new data. The eXCube2 models are implemented as software systems and tested on speech and video data of subjects expressing emotional states. The use of a brain template for the SNN structure enables brain-inspired tonotopic and stereo mapping of audio inputs, topographic mapping of visual data, and the combined use of both modalities. This novel approach not only brings AI-based emotion recognition closer to human perception, but also results in higher accuracy and better explainability than existing AI systems. This is demonstrated through experiments on benchmark datasets, achieving classification accuracy above 80% on single-modality data and 90% when multimodal audio-visual data are used and a “don’t know” output is introduced. The paper further discusses possible applications of the proposed eXCube2 framework to other audio, visual, and audio-visual data for solving challenging problems, such as recognizing emotional states of people from different origins; brain state diagnosis (e.g., Parkinson’s disease, Alzheimer’s disease, ADHD, dementia); measuring response to treatment over time; evaluating satisfaction responses from online clients; human–robot interaction; chatbots; and interactive computer games. The SNN-based implementation of BIAI also enables the use of neuromorphic chips and platforms, leading to reduced power consumption, smaller device size, higher performance accuracy, and improved adaptability and explainability.
Bilimsel değerlendirme
Araştırma sorusu
Sorunun kapsamı orijinal çalışma üzerinden değerlendirilir.
Yöntem ve örneklem
Çalışma tasarımı ve örneklem için kaynak makaleyi kontrol edin.
Temel bulgular
Bu kayıt için editoryal olarak onaylanmış bulgu özeti henüz yayımlanmadı.
Sınırlılıklar
Sonuçların genellenebilirliği, yanlılık ve klinik anlamı ayrıca incelenmelidir.
Bibliyografik veriden yöntem, örneklem veya klinik sonuç çıkarımı yapılmaz.