Yapay zekâ ile Parkinson tespiti iddialarını değerlendirmek

Araştırma görevi ile tanı koymak farklıdır

Bir yapay zekâ sistemi ses, yazı, görüntü veya hareket verisinden belirli örüntüleri ayırmayı öğrenebilir. Araştırmada Parkinson tanısı bulunanlarla sağlıklı karşılaştırmaları ayırmak, yeni başvuran bir kişiye klinikte güvenilir tanı koymakla aynı görev değildir. NINDS, Parkinson değerlendirmesinin klinik bağlamını açıklar. FDA'nın iyi makine öğrenmesi ilkeleri ise veri temsilini, bağımsız testi ve insanla sistemin birlikte performansını ele alır. Bu çerçeve bir ürüne onay verildiğini göstermez. Bir makale başlığındaki yüksek doğruluk, kişisel tanıyı veya doktor değerlendirmesinin gereksizliğini kanıtlamaz. Önce modelin hangi amaç ve kullanıcı için geliştirildiği açıkça anlaşılmalıdır.

Eğitim verisi ve test verisi neden ayrılır?

Modelin öğrenme sırasında gördüğü verilerle sınanması, yeni kişilere ilişkin performansı olduğundan iyi gösterebilir. Aynı kişinin farklı kayıtlarının eğitim ve test tarafına dağılması da bilgi sızıntısına yol açabilir. Bu nedenle yalnız kayıt sayısı değil bağımsız kişi sayısı ve ayrım yöntemi sorulmalıdır. Ayrımın model geliştirmeden önce nasıl yapıldığı önemlidir. Birden fazla merkezde toplanmış veri bulunması tek başına dış doğrulama yapıldığını göstermez; hangi kısmın hangi amaçla kullanıldığı açıklanmalıdır. Teknik ayrıntılar anlaşılmazsa araştırmanın bu sorulara açık yanıt verip vermediğine bakılabilir. Şeffaf yöntem bilgisi, çok yüksek bir başlık oranından daha değerlidir; sonuçların nerede geçerli olabileceğini gösterir.

Dış doğrulama gerçek koşula yaklaştırır

Bir sistem geliştirildiği gruptan farklı kişilerde sınandığında genellenebilirliği hakkında daha güçlü bilgi edinilebilir. Dil, yaş, hastalık evresi, kayıt cihazı ve başka hastalıklar performansı etkileyebilir. Türkçe konuşan kişilerde kullanılacak bir ses sistemi yalnız başka dilde kayıtlarla değerlendirilmişse bu sınır açıkça belirtilmelidir. Laboratuvarda temiz kaydedilen ses, evde gürültülü ortamda alınan kayda eşit değildir. Sağlıklı kişilerle yapılan karşılaştırma da benzer belirtiye sahip farklı hastalıkları ayırma sorununu yanıtlamayabilir. Dış doğrulamanın hangi klinik soruya ne ölçüde yaklaştığı sorgulanmalıdır. 'Yeni veride çalıştı' cümlesi, verinin nereden ve hangi seçimle geldiği bilinmeden yeterli bir açıklama sayılmaz.

Yanlış pozitif ve yanlış negatif

Yanlış pozitif, sistemin araştırılan durum yokken var gibi sonuç vermesini; yanlış negatif ise durum varken gözden kaçırmasını anlatır. İki hata farklı sonuçlar doğurabilir. Gereksiz kaygı ve inceleme ile gecikmiş değerlendirme aynı risk değildir. Tek bir toplam doğruluk değeri bu dengeyi gizleyebilir. Ayrıca test edilen grupta hastalığın ne kadar sık bulunduğu, bir sonucun kişisel anlamını etkiler. Bu nedenle dengeli bir araştırma grubunda bildirilen oranlar genel tarama ortamına doğrudan taşınamaz. Kişi, modelin belirsiz sonucu nasıl gösterdiğini ve bir sonraki adımın ne olduğunu sormalıdır. Sistem çıktısı tek başına tanı, tedavi başlangıcı veya mevcut tedaviyi kesme talimatı olarak kullanılmamalıdır.

Klinik yarar sadece model puanı değildir

Bir sistemin belirli veriyi doğru sınıflaması, bakımın gerçekten iyileştiğini göstermeye yetmez. Hekime ek bilgi sağlıyor mu, yanlış yönlendirmeyi azaltıyor mu, hastanın günlük sonucuna katkı sunuyor mu? Bu sorular için farklı değerlendirmeler gerekebilir. FDA'nın şeffaflık ilkeleri de kullanıcıya temel bilgi ve sınırlılıkların açıklanmasını ele alır. İnsanın modelle birlikte nasıl çalıştığı önemlidir. Kullanıcıların çıktıya aşırı güvenmesi veya uyarıları anlamaması uygulama sonucunu değiştirebilir. Modelin yalnız kendi başına başarı göstermesi, klinik iş akışında güvenle kullanılacağını garanti etmez. Bu nedenle teknik çalışma, ürün kullanımı ve klinik fayda kanıtı birbirinden ayrı okunmalıdır.

Veri ve ürün durumu açık olmalı

Kişisel ses, video ve hareket kayıtları mahrem bilgiler içerebilir. Kayıt yüklemeden önce kimlerin erişeceği, saklama süresi ve paylaşım koşulları anlaşılmalıdır. Bir açık kaynak deposunun bulunması ürünün klinik olarak doğrulandığı anlamına gelmez. Aynı şekilde bir araştırma makalesi ile kullanım izni veya düzenleyici durum farklı bilgilerdir. Bu bilgiler ülkeden ülkeye ve üründen ürüne değişebilir; kaynağı kontrol edilmeden onay iddiası aktarılmamalıdır. Model sürümü ve kullanım amacı da belirtilmelidir. Güncellenen bir yazılımın performansının önceki sürümle aynı olduğu varsayılmaz. Değişimlerin izlenmesi ve hangi sınırların sürdüğünün açıklanması güvenilir değerlendirme için gereklidir; teknoloji adı tek başına yeterli değildir.

Bir haberi değerlendirmek için kısa çerçeve

Başlıktan sonra şu sorular sorulabilir: 'Kimlerde sınandı?', 'Bağımsız test var mı?', 'Hangi hatalar yapıldı?', 'Hekime veya hastaya gösterilmiş gerçek fayda ne?', 'Benim dilim ve kullanım koşulum için kanıt var mı?' Cevapların bulunmaması kesin olarak sistemin değersiz olduğunu göstermez ama iddianın kapsamını sınırlar. Kaynak okumak kişisel tanı almaktan farklıdır. Belirti yaşayan kişi, çevrimiçi bir puanla rahatlamak veya korkmak yerine uygun sağlık değerlendirmesine başvurmalıdır. Yapay zekâ araştırması Parkinson'u anlamada araç olabilir; bu platformdaki bilgi de bir tanı sistemi değildir. En yararlı yaklaşım, teknik başarıyı kişinin güvenliği ve gerçek bakım ihtiyacıyla birlikte tartmaktır.

Kaynaklar

FDA — Good Machine Learning Practice for Medical Device Development https://www.fda.gov/medical-devices/artificial-intelligence-enabled-medical-devices/good-machine-learning-practice-medical-device-development-guiding-principles
FDA — Transparency for Machine Learning-Enabled Medical Devices https://www.fda.gov/medical-devices/artificial-intelligence-enabled-medical-devices/transparency-machine-learning-enabled-medical-devices-guiding-principles
NINDS — Parkinson's Disease https://www.ninds.nih.gov/current-research/focus-disorders/parkinsons-disease-research/parkinsons-disease-challenges-progress-and-promise

İçerik nasıl hazırlandı?

Yapay zekâ desteğiyle hazırlanmış kaynaklı bilgilendirme; hekim değerlendirmesi değildir.

Bu makale, özgün bir araştırmanın yerine geçmez. Araştırma sonuçları, kılavuz önerileri ve kişisel bakım kararları farklı değerlendirme düzeyleridir. Kişisel şikâyetler ve tedavi değişiklikleri için sağlık ekibinize danışın.