Tether führt medizinische KI-Modelle ein, die auf Telefonen laufen und größere Systeme schlagen

Inhaltsverzeichnis Die AI Research Group von Tether hat QVAC MedPsy veröffentlicht, eine neue Reihe medizinischer Sprachmodelle, die für die Ausführung auf Smartphones und Edge-Geräten entwickelt wurden. Die Modelle sind für den Datenschutz konzipiert und sorgen dafür, dass sensible Gesundheitsdaten lokal bleiben. Erste Benchmark-Ergebnisse zeigen, dass die kleineren Modelle weitaus größere Konkurrenten übertreffen. Dies markiert einen Wandel in der Art und Weise, wie medizinische KI-Systeme strukturiert und eingesetzt werden können. QVAC MedPsy gibt es in zwei Versionen: einem 1,7-Milliarden- und einem 4-Milliarden-Parametermodell. Beide wurden in acht medizinischen Benchmark-Suiten getestet, die klinisches Wissen, Expertenmeinungen und reale Szenarien abdeckten. Die Ergebnisse waren deutlich konkurrenzfähiger gegenüber Modellen, die um ein Vielfaches größer waren. Das 1,7-Milliarden-Modell erzielte in sieben geschlossenen Benchmarks einen Wert von 62,62. Dieser Wert übertraf den MedGemma-4B von Google um mehr als 11 Punkte, obwohl er weniger als halb so groß war. Auf HealthBench Hard übertraf das gleiche Modell auch MedGemma 27B, das fast sechzehnmal größer ist. Die 4-Milliarden-Version erzielte bei denselben sieben Benchmarks einen Wert von 70,54. Es übertraf MedGemma-27B-Text und andere Modelle um fast das Siebenfache seiner Größe. Die Leistung blieb bei den HealthBench-, HealthBench Hard- und MedXpertQA-Bewertungen stark. Paolo Ardoino, CEO von Tether, ging direkt auf die Effizienz ein. „Unser 4-Milliarden-Modell übertraf die Ergebnisse von Modellen, die fast siebenmal so groß waren, und verbrauchte dabei bis zu dreimal weniger Token pro Antwort“, sagte er. Die Token-Effizienz ist eines der praktischsten Ergebnisse dieser Version. Das 4-Milliarden-Modell generiert Antworten in rund 909 Token. Vergleichbare Systeme verbrauchen etwa 2.953 Token pro Antwort, wodurch sich die Ausgabelänge um das 3,2-fache verringert. Das 1,7-Milliarden-Modell erfordert durchschnittlich etwa 1.110 Token pro Antwort, gegenüber 1.901 bei ähnlichen Systemen. Kürzere Ausgaben bedeuten schnellere Reaktionszeiten und geringere Rechenkosten. Das ist im realen Gesundheitswesen wichtig, wo sowohl Geschwindigkeit als auch Kosten die Akzeptanz beeinflussen. Beide Modelle sind im quantisierten GGUF-Format für den lokalen Einsatz verfügbar. Die Q4_K_M-Versionen sind etwa 1,2 GB bzw. 2,6 GB groß. Diese Größen machen die Modelle praktisch für mobile Geräte und Krankenhaussysteme vor Ort. Die Leistungssteigerungen ergeben sich aus einem stufenweisen Nachtrainingsprozess. Es kombiniert eine umfassende medizinische Überwachung, Daten zum klinischen Denken und verstärktes Lernen bei schwierigeren Fällen. Um diese Ergebnisse zu erzielen, war keine zusätzliche Modellskalierung erforderlich. Medizinische KI ist seit langem auf eine Cloud-Infrastruktur angewiesen, um sensible Daten aus der Ferne zu verarbeiten. QVAC MedPsy ändert dies, indem es starke Leistung vollständig auf dem Gerät verfügbar macht. Für Gesundheitsdienstleister, die unter strengen Datenschutzbestimmungen arbeiten, eröffnet dies neue Einsatzmöglichkeiten, bei denen der Cloud-Zugriff eingeschränkt oder eingeschränkt ist.