SCIENTIFIC HUB

Araştırmanın izini sürün.

SCIENTIFIC LITERATURE · MED

SARN: 3D El Poz Tahmini için Kaydırılmış Dikkat Regresyon Ağı.

SARN: Shifted Attention Regression Network for 3D Hand Pose Estimation.

Makine çevirisi · Editoryal inceleme bekliyor

Bioengineering (Basel) · 2023-01-17

DOI: 10.3390/bioengineering10020126PMID: 36829620

Open accessresearch-article; Journal ArticleKaynağa git ↗

Araştırma özeti

Kaynak özetin Türkçe makine çevirisi. Klinik kullanım öncesinde özgün yayınla karşılaştırılmalı; hekim incelemesi değildir. cc by

El pozu tahmini (HPE) elin fonksiyonel değerlendirmesi sırasında ve potansiyel rehabilitasyonda önemli bir rol oynar. İşlevsel görevler sırasında elin pozunu uygun ve doğru bir şekilde tahmin etmek bir meydan okumadır ve bu HPE'nin uygulanmasını sınırlar. Bu makalede, HPE'yi gerçekleştirmek için kaydırılmış bir dikkat gerileme ağının (SARN) yeni bir mimarisini önermekteyiz. Bir derinlik görüntüsü göz önüne alındığında, SARN ilk olarak derinlik görüntüsündeki noktalar ile elin pozunu belirleyen bir grup el anahtar noktası arasındaki mekansal ilişkileri tahmin eder. Daha sonra SARN, her el tuş noktasının 3D konumunu çıkarmak için bu mekansal ilişkileri kullanır. Önerilen yöntemin etkinliğini doğrulamak için, 3D el pozlarının üç açık kaynaklı veri kümesi üzerinde deneyler yaptık: NYU, ICVL ve MSRA. Önerilen yöntem, el anahtar noktalarında 7.32 mm, 5.91 mm ve 7.17 mm ortalama hata, yani öngörülen ve yer gerçeği el anahtar noktaları arasındaki Öklid mesafesi ile son teknoloji performansını elde etti. Ek olarak, SARN'ın el hareketi tanımadaki fizibilitesini test etmek için, Parkinson hastalarına uygulanan nörolojik muayenelerin önemli bir bileşeni olan parmak vuruş testine dayanarak 17 sağlıklı denekten 26K derinlik görüntüsü içeren bir el hareketi veri seti oluşturuldu. Her görüntü işaret parmağı ve başparmak uçları ile not edilmiştir. Bu veri kümesi için önerilen yöntem, el anahtar noktalarında ortalama 2.99 mm hata ve üç göreve özgü metrikte karşılaştırılabilir performans elde etti: iki parmak ucunun göreceli hareketinin mesafesi, hızı ve ivmesi. Açık kaynaklı veri kümeleri üzerindeki sonuçlar, önerilen yöntemin etkinliğini gösterdi ve parmakla dokunarak veri setimizdeki sonuçlar, işlevsel görev karakterizasyonundaki uygulamalar için potansiyelini doğruladı.

Özgün kaynak özetini okuyun

Hand pose estimation (HPE) plays an important role during the functional assessment of the hand and in potential rehabilitation. It is a challenge to predict the pose of the hand conveniently and accurately during functional tasks, and this limits the application of HPE. In this paper, we propose a novel architecture of a shifted attention regression network (SARN) to perform HPE. Given a depth image, SARN first predicts the spatial relationships between points in the depth image and a group of hand keypoints that determine the pose of the hand. Then, SARN uses these spatial relationships to infer the 3D position of each hand keypoint. To verify the effectiveness of the proposed method, we conducted experiments on three open-source datasets of 3D hand poses: NYU, ICVL, and MSRA. The proposed method achieved state-of-the-art performance with 7.32 mm, 5.91 mm, and 7.17 mm of mean error at the hand keypoints, i.e., mean Euclidean distance between the predicted and ground-truth hand keypoint positions. Additionally, to test the feasibility of SARN in hand movement recognition, a hand movement dataset of 26K depth images from 17 healthy subjects was constructed based on the finger tapping test, an important component of neurological exams administered to Parkinson's patients. Each image was annotated with the tips of the index finger and the thumb. For this dataset, the proposed method achieved a mean error of 2.99 mm at the hand keypoints and comparable performance on three task-specific metrics: the distance, velocity, and acceleration of the relative movement of the two fingertips. Results on the open-source datasets demonstrated the effectiveness of the proposed method, and results on our finger tapping dataset validated its potential for applications in functional task characterization.

Bilimsel değerlendirme

01

Araştırma sorusu

Sorunun kapsamı orijinal çalışma üzerinden değerlendirilir.

02

Yöntem ve örneklem

Çalışma tasarımı ve örneklem için kaynak makaleyi kontrol edin.

03

Temel bulgular

Bu kayıt için editoryal olarak onaylanmış bulgu özeti henüz yayımlanmadı.

04

Sınırlılıklar

Sonuçların genellenebilirliği, yanlılık ve klinik anlamı ayrıca incelenmelidir.

Bibliyografik veriden yöntem, örneklem veya klinik sonuç çıkarımı yapılmaz.