Clinical AI is Not (Yet) Trustworthy-But It Could Be.

Araştırma özeti

Kaynak özetin Türkçe makine çevirisi. Klinik kullanım öncesinde özgün yayınla karşılaştırılmalı; hekim incelemesi değildir. cc by

Sağlık bakımında güvenilir yapay zekaya (AI) artan vurgu, klinik uygulamada benimsenebilecek ve sürdürülebilecek yönetilebilir ve denetlenebilir sistemlere yönelik öngörüsel performans için optimize edilmiş modellerden uzaklaşmayı yansıtmaktadır. Bununla birlikte, birçok klinik yapay zeka uygulaması, etik, düzenleyici ve toplumsal hususları yetersiz tutarken teknik performansa ayrıcalık vermeye devam etmekte, sağlamlık, şeffaflık ve klinik evlat edinme konusunda endişelere yol açmaktadır. Bunu ele almak için, Güvenilir Yapay Zeka Değerlendirme Listesi (ALTAI) gibi yönetim çerçeveleri, yapay zeka yaşam döngüsü boyunca güven ile ilgili gereksinimlerin operasyonel hale getirilmesi için önerilmiştir. Ancak, bu çerçevelerin pratik kullanımına ilişkin kanıtlar sınırlı kalmaktadır. Bu Bakış Açısı'nda ALTAI uygulamasını, Parkinson hastalığının teşhisini ve bakımını, günlük cihazlardan türetilen öngörücü modeller ve dijital biyobelirteçler aracılığıyla desteklemeyi amaçlayan Horizon Europe AI-PROGNOSIS projesi içinde prosedürel bir yönetim çerçevesi olarak tanımlıyoruz. Yedi ALTAI gereksinimi (yani, insan ajansı ve gözetimi; teknik sağlamlık ve güvenlik; gizlilik ve veri yönetimi; şeffaflık; çeşitlilik, ayrım gözetmeme ve adalet; toplumsal ve çevresel refah; ve hesap verebilirlik) tasarım ve spesifikasyon, veri hazırlama, model geliştirme ve doğrulama, kullanıcı arayüzü ve kullanıcı deneyimi dağıtımı, dış potansiyel doğrulama ve kapsamlı yönetim ve iş akışı dahil olmak üzere proje içindeki AI yaşam döngüsünün önemli aşamalarına eşleştirildi. Bu gereksinimlerin pratikte nasıl algılandığını incelemek için, AI geliştiricileri ve AI-PROGNOSIS projesinde yer alan veri bilimcileri arasında yapılandırılmış bir iç anket gerçekleştirdik (n=10). Katılımcılar, 17 ALTAI alt etki alanının alaka düzeyini üç nokta önceliklendirme ölçeği kullanarak değerlendirdi. Teknik doğruluk, veri yönetimi ve gizlilik sürekli olarak son derece alakalı olarak derecelendirilirken, toplumsal etki en düşük önceliklendirmeyi aldı. Bu kalıp, teknik ekiplerin teslimat ve performans kısıtlamaları altında daha geniş toplumsal kaygıları önceliksizleştirme eğiliminde olduğu AI gelişiminde belgelenmiş bir gerginliği yansıtmaktadır. Bununla birlikte, bu çalışma ALTAI'nin onaylanmasından ziyade bağlama özgü bir vaka çalışması olarak yorumlanmalıdır. Küçük örneklem boyutu ve projeye özgü ayar genellenebilirliği sınırlamaktadır ve bu bulgular daha geniş klinik yapay zeka gelişiminin temsilcisi olarak düşünülmemelidir. Genel olarak, önceliklendirme boşluklarını açık bir şekilde yaparak ve yaşam döngüsü kontrol noktalarına multidisipliner incelemeyi yerleştirerek, bu vaka çalışması yapılandırılmış yönetişim çerçevelerinin uygulama gerginliklerini nasıl ortaya çıkarabileceğini ve sorumlu AI gelişimini nasıl destekleyebileceğini göstermektedir. Bu yaklaşımlar yukarıda belirtilen zorlukların hepsini çözmezken, güven ile ilgili hususları klinik AI projelerine entegre etmek için pratik rehberlik sağlarlar.

Özgün kaynak özetini okuyun

The growing emphasis on trustworthy artificial intelligence (AI) in health care reflects a shift away from models optimized for predictive performance toward governable and auditable systems that can be adopted and sustained in clinical practice. Nonetheless, many clinical AI applications continue to privilege technical performance while underaddressing ethical, regulatory, and societal considerations, leading to concerns around robustness, transparency, and clinical adoption. To address this, governance frameworks such as the Assessment List for Trustworthy Artificial Intelligence (ALTAI) have been proposed to operationalize trust-related requirements across the AI lifecycle. However, evidence on the practical use of these frameworks remains limited. In this Viewpoint, we describe the application of ALTAI as a procedural governance framework within the Horizon Europe AI-PROGNOSIS project, which aims to support Parkinson disease diagnosis and care through predictive models and digital biomarkers derived from everyday devices. The seven ALTAI requirements (ie, human agency and oversight; technical robustness and safety; privacy and data governance; transparency; diversity, nondiscrimination, and fairness; societal and environmental well-being; and accountability) were mapped to key stages of the AI lifecycle within the project, including design and specification, data preparation, model development and validation, user interface and user experience deployment, external prospective validation, and overarching management and workflow. To examine how these requirements were perceived in practice, we conducted a structured internal survey among AI developers and data scientists involved in the AI-PROGNOSIS project (n=10). Participants rated the relevance of the 17 ALTAI subdomains using a three-point prioritization scale. Technical accuracy, data governance, and privacy were consistently rated as highly relevant, whereas societal impact received the lowest prioritization. This pattern reflects a documented tension in AI development, where technical teams tend to deprioritize broader societal concerns under delivery and performance constraints. Nonetheless, this work should be interpreted as a context-specific case study rather than a validation of ALTAI. The small sample size and project-specific setting limit generalizability, and these findings should not be considered as representative of broader clinical AI development. Overall, by making prioritization gaps explicit and embedding multidisciplinary review across lifecycle checkpoints, this case study illustrates how structured governance frameworks can surface implementation tensions and support accountable AI development. While these approaches do not resolve all of the aforementioned challenges, they provide practical guidance for integrating trust-related considerations into clinical AI projects.

Bilimsel değerlendirme

Araştırma sorusu

Sorunun kapsamı orijinal çalışma üzerinden değerlendirilir.

Yöntem ve örneklem

Çalışma tasarımı ve örneklem için kaynak makaleyi kontrol edin.

Temel bulgular

Bu kayıt için editoryal olarak onaylanmış bulgu özeti henüz yayımlanmadı.

Sınırlılıklar

Sonuçların genellenebilirliği, yanlılık ve klinik anlamı ayrıca incelenmelidir.

Bibliyografik veriden yöntem, örneklem veya klinik sonuç çıkarımı yapılmaz.