NeuralCipher Araştırma özeti
Kaynak özetin Türkçe makine çevirisi. Klinik kullanım öncesinde özgün yayınla karşılaştırılmalı; hekim incelemesi değildir. cc by
Bu makale, kısmi bir açıklama kullanarak tek bir RGB görüntüsünden gelen yeni ve zorlu bir problem-3D el pozu tahmini (HPE) ile ilgilenir. Çoğu HPE yöntemi, anahtar noktaların kısmen görünür olabileceği gerçeğini görmezden gelir (örneğin, oklüzyonlar altında). Buna karşılık, iki bağımlı dalı olan tek bir RGB görüntüsünden anahtar noktaların durumunu ve 3D el pozunu ortaklaşa tahmin eden derin öğrenme çerçevesi olan PA-Tran'ı öneriyoruz. Regresyon dalı, bir konvolüsyonel sinir ağından (CNN) gömülü bir dizi durum, konum ve görsel özellik göz önüne alındığında, bir dizi hedef anahtar noktasını tahmin etmek için eğitilmiş bir Transformer kodlayıcısından oluşur; sınıflandırma dalı, anahtar noktaların durumunu tahmin etmek için bir CNN benimser. PA-Tran'ın önemli bir fikri, eğitim sırasında gözlemlenen veya gözlemlenmeyen anahtar noktaların durumunu temsil etmek için bir ikili kodlama şeması kullanan seçici bir maske eğitimi (SMT) hedefidir. Ek olarak, etiket durumunu açıkça kodlayarak (gözlemlenmiş / gözlemlenmemiş), önerilen PA-Tran, yalnızca kısmi açıklama mevcut olduğunda durumu verimli bir şekilde ele alabilir. %50-100 arasında değişen ek açıklama yüzdesini araştırarak, kısmi ek açıklama ile eğitimin daha verimli olduğunu gösteriyoruz (örneğin, yaklaşık %85 ek açıklama kullanırken en iyi 6.0 PA-MPJPE elde etmek). Ayrıca, iki yeni veri seti sunuyoruz. APDM-Hand, belirli bir el görevi için tasarlanmış APDM sensör aksesuarları ile sentetik eller içindir. PD-APDM-Hand, Parkinson Hastalığı (PD) hastalarından kısmi notasyonla toplanan gerçek bir el veri kümesidir. Önerilen PA-Tran, hem önerilen veri kümeleri hem de daha genel bir el veri kümesi üzerinde değerlendirildiğinde daha yüksek tahmin doğruluğu elde edebilir.
Özgün kaynak özetini okuyun
This paper tackles a novel and challenging problem-3D hand pose estimation (HPE) from a single RGB image using partial annotation. Most HPE methods ignore the fact that the keypoints could be partially visible (e.g., under occlusions). In contrast, we propose a deep-learning framework, PA-Tran, that jointly estimates the keypoints status and 3D hand pose from a single RGB image with two dependent branches. The regression branch consists of a Transformer encoder which is trained to predict a set of target keypoints, given an input set of status, position, and visual features embedding from a convolutional neural network (CNN); the classification branch adopts a CNN for estimating the keypoints status. One key idea of PA-Tran is a selective mask training (SMT) objective that uses a binary encoding scheme to represent the status of the keypoints as observed or unobserved during training. In addition, by explicitly encoding the label status (observed/unobserved), the proposed PA-Tran can efficiently handle the condition when only partial annotation is available. Investigating the annotation percentage ranging from 50-100%, we show that training with partial annotation is more efficient (e.g., achieving the best 6.0 PA-MPJPE when using about 85% annotations). Moreover, we provide two new datasets. APDM-Hand, is for synthetic hands with APDM sensor accessories, which is designed for a specific hand task. PD-APDM-Hand, is a real hand dataset collected from Parkinson's Disease (PD) patients with partial annotation. The proposed PA-Tran can achieve higher estimation accuracy when evaluated on both proposed datasets and a more general hand dataset.
Bilimsel değerlendirme
Araştırma sorusu
Sorunun kapsamı orijinal çalışma üzerinden değerlendirilir.
Yöntem ve örneklem
Çalışma tasarımı ve örneklem için kaynak makaleyi kontrol edin.
Temel bulgular
Bu kayıt için editoryal olarak onaylanmış bulgu özeti henüz yayımlanmadı.
Sınırlılıklar
Sonuçların genellenebilirliği, yanlılık ve klinik anlamı ayrıca incelenmelidir.
Bibliyografik veriden yöntem, örneklem veya klinik sonuç çıkarımı yapılmaz.