NeuralCipher Araştırma özeti
Kaynak özetin Türkçe makine çevirisi. Klinik kullanım öncesinde özgün yayınla karşılaştırılmalı; hekim incelemesi değildir. cc by
BackgroundParkinson hastalığı (PD), heterojen motor ve motor dışı tezahürleri nedeniyle tanısal zorluklar sunar. Geleneksel makine öğrenimi (ML) yaklaşımları yapılandırılmış klinik değişkenler üzerinde değerlendirilmiştir. Bununla birlikte, yapılandırılmış klinik verilerin doğal dil temsillerini kullanan büyük dil modellerinin (LLM'ler) tanısal faydası az araştırılmıştır.ObjectiveBu çalışma, yapılandırılmış klinik verilerden türetilen doğal dil istemlerini kullanarak çoklu LLM'lerin tanısal sınıflandırma performansını değerlendirmeyi ve performanslarını geleneksel ML taban çizgileriyle karşılaştırmayı amaçladı.MethodlarParkinson'un İlerleme İşaretleyicileri Girişimi'nden (PPMI) çeşitli yapısal klinik değişkenleri yeniden formüle ettik ve bunları doğal dile yönlendirdik. Yüksek multikollineerliğe sahip değişkenler kaldırıldı ve Shapley katkılı açıklamalar (SHAP) tabanlı özellik sıralaması kullanılarak ilk 10 özellik seçildi. LLM performansı, birkaç atışlık tahrik edici, çift çıkışlı, ek olarak bir keşif bileşeni olarak post hoc açıklayıcı metin oluşturmasını ve ince ayar yapılmasını sağladı. Lojistik regresyon (LR) ve destek vektör makinesi (SVM) sınıflandırıcıları ML taban çizgisi olarak görev yaptı. Model performansı, hem test setinde F1 puanları hem de sınırlı boyutta geçici olarak bağımsız bir doğrulama seti (zamansal doğrulama seti) kullanılarak değerlendirildi ve stabiliteyi değerlendirmek için tekrarlanan çıktı üretimi gerçekleştirildi.Sonuçlar122 katılımcının test setinde, LR ve SVM, her biri 10 SHAP tarafından seçilen klinik değişken üzerinde eğitilmiş, 0.960'lık (doğruluk 0.975) bir makro ortalama F1 puan elde etti. Aynı değişkenlerden türetilen doğal dil istemi alan LLM'ler karşılaştırılabilir performansa ulaştı, en iyi birkaç atış konfigürasyonu 0.987'lik makro ortalamalı F1 puanlarına ulaştı (doğruluk 0.992). 31 katılımcının zamansal doğrulama setinde LR, makro ortalamada F1-skorunu 0.903 olarak korurken, SVM önemli bir performans düşüşü gösterdi. Buna karşılık, çoklu LLM'ler yüksek teşhis performansı sağladı, 0.968'e kadar makro ortalama F1 puanlarına ve PD için yüksek geri çağırmaya ulaştı. LLM koşulları boyunca tekrarlanan çıktı üretimi, genel olarak istikrarlı tahminler üretti ve nadir değişkenlik koşular arasında gözlendi. Çift çıkışlı tahrik altında, tanısal performans, genel olarak sabit kalırken az atışlı tahrike göre bir azalma gösterdi. Hafif modellerin denetlenen ince ayarı stabiliteyi geliştirdi ve GPT-4o-mini'nin test setinde 0.987 makro ortalamalı F1-skoruna ulaşmasını sağladı, küçük zamansal doğrulama setinde eşit olarak doğru tahminler gözlendi, bu da değerlendirmenin sınırlı örnek boyutu ve keşif niteliği göz önüne alındığında dikkatli bir şekilde yorumlanmalıdır. Birkaç model hem test hem de zamansal doğrulama veri kümeleri arasında LR ile karşılaştırılabilir tanı performansı elde ederken, çıktıları istemli formatlara, model seçimine ve sınıf dağılımlarına duyarlıydı. Tekrarlanan çıkış nesilleri arasındaki zaman zaman değişkenlik LLM'lerin stokastik doğasını yansıtıyordu ve hafif modeller istikrarlı genelleme için denetlenen ince ayar gerektiriyordu. Bu bulgular, mevcut LLM'lerin tabular klinik bilgileri ele almadaki yeteneklerini ve sınırlamalarını vurgular ve ihtiyatlı uygulama ve daha fazla araştırma gereğinin altını çizer.
Özgün kaynak özetini okuyun
BackgroundParkinson disease (PD) presents diagnostic challenges due to its heterogeneous motor and nonmotor manifestations. Traditional machine learning (ML) approaches have been evaluated on structured clinical variables. However, the diagnostic utility of large language models (LLMs) using natural language representations of structured clinical data remains underexplored.ObjectiveThis study aimed to evaluate the diagnostic classification performance of multiple LLMs using natural language prompts derived from structured clinical data and to compare their performance with traditional ML baselines.MethodsWe reformatted structured clinical variables from the Parkinson's Progression Markers Initiative (PPMI) dataset into natural language prompts and used them as inputs for several LLMs. Variables with high multicollinearity were removed, and the top 10 features were selected using Shapley additive explanations (SHAP)-based feature ranking. LLM performance was examined across few-shot prompting, dual-output prompting that additionally generated post hoc explanatory text as an exploratory component, and supervised fine-tuning. Logistic regression (LR) and support vector machine (SVM) classifiers served as ML baselines. Model performance was evaluated using F1-scores on both the test set and a temporally independent validation set (temporal validation set) of limited size, and repeated output generation was carried out to assess stability.ResultsOn the test set of 122 participants, LR and SVM trained on the 10 SHAP-selected clinical variables each achieved a macro-averaged F1-score of 0.960 (accuracy 0.975). LLMs receiving natural language prompts derived from the same variables reached comparable performance, with the best few-shot configurations achieving macro-averaged F1-scores of 0.987 (accuracy 0.992). In the temporal validation set of 31 participants, LR maintained a macro-averaged F1-score of 0.903, whereas SVM showed substantial performance degradation. In contrast, multiple LLMs sustained high diagnostic performance, reaching macro-averaged F1-scores up to 0.968 and high recall for PD. Repeated output generation across LLM conditions produced generally stable predictions, with rare variability observed across runs. Under dual-output prompting, diagnostic performance showed a reduction relative to few-shot prompting while remaining generally stable. Supervised fine-tuning of lightweight models improved stability and enabled GPT-4o-mini to achieve a macro-averaged F1-score of 0.987 on the test set, with uniformly correct predictions observed in the small temporal validation set, which should be interpreted cautiously given the limited sample size and exploratory nature of the evaluation.ConclusionsThis study provides an exploratory benchmark of how modern LLMs process structured clinical variables in natural language form. While several models achieved diagnostic performance comparable to LR across both the test and temporal validation datasets, their outputs were sensitive to prompting formats, model choice, and class distributions. Occasional variability across repeated output generations reflected the stochastic nature of LLMs, and lightweight models required supervised fine-tuning for stable generalization. These findings highlight the capabilities and limitations of current LLMs in handling tabular clinical information and underscore the need for cautious application and further investigation.
Bilimsel değerlendirme
Araştırma sorusu
Sorunun kapsamı orijinal çalışma üzerinden değerlendirilir.
Yöntem ve örneklem
Çalışma tasarımı ve örneklem için kaynak makaleyi kontrol edin.
Temel bulgular
Bu kayıt için editoryal olarak onaylanmış bulgu özeti henüz yayımlanmadı.
Sınırlılıklar
Sonuçların genellenebilirliği, yanlılık ve klinik anlamı ayrıca incelenmelidir.
Bibliyografik veriden yöntem, örneklem veya klinik sonuç çıkarımı yapılmaz.