Tether запускает модели медицинского искусственного интеллекта, которые работают на телефонах и превосходят более крупные системы

Оглавление Исследовательская группа AI компании Tether выпустила QVAC MedPsy, новую линейку моделей медицинского языка, созданную для работы на смартфонах и периферийных устройствах. Модели предназначены для развертывания с приоритетом конфиденциальности, сохраняя конфиденциальные данные о здоровье локально. Первые результаты тестов показывают, что модели меньшего размера превосходят гораздо более крупных конкурентов. Это знаменует собой сдвиг в том, как можно структурировать и развертывать медицинские системы искусственного интеллекта. QVAC MedPsy поставляется в двух версиях: модель с 1,7 миллиардами и 4 миллиардами параметров. Оба были протестированы с использованием восьми наборов медицинских тестов, охватывающих клинические знания, экспертные рассуждения и реальные сценарии. Результаты были особенно конкурентоспособными по сравнению с моделями, во много раз превышающими их размер. Модель с населением 1,7 миллиарда человек набрала 62,62 балла в семи закрытых тестах. Этот результат превзошел Google MedGemma-4B более чем на 11 пунктов, несмотря на то, что он вдвое меньше. На HealthBench Hard та же модель превзошла MedGemma 27B, которая почти в шестнадцать раз больше. Версия на 4 миллиарда набрала 70,54 балла по тем же семи тестам. Он превосходил MedGemma-27B-text и другие модели почти в семь раз. Результаты остались высокими по оценкам HealthBench, HealthBench Hard и MedXpertQA. Генеральный директор Tether Паоло Ардоино напрямую коснулся вопроса эффективности. «Наша 4-миллиардная модель почти в семь раз превысила результаты моделей, используя при этом в три раза меньше токенов на ответ», — сказал он. Эффективность токенов — один из наиболее практичных результатов этого выпуска. Модель 4 миллиардов генерирует ответы примерно в 909 токенах. Сопоставимые системы используют примерно 2953 токена на ответ, что сокращает длину вывода в 3,2 раза. Модель 1,7 миллиарда в среднем использует около 1110 токенов на ответ по сравнению с 1901 для аналогичных систем. Более короткие выходные данные означают более быстрое время отклика и меньшие затраты на вычисления. Это имеет значение в реальных медицинских учреждениях, где скорость и стоимость влияют на внедрение. Обе модели доступны в квантованном формате GGUF для локального развертывания. Версии Q4_K_M примерно 1,2 ГБ и 2,6 ГБ соответственно. Эти размеры делают модели практичными для мобильных устройств и больничных систем. Повышение производительности достигается за счет поэтапного посттренировочного процесса. Он сочетает в себе широкий медицинский контроль, данные клинического обоснования и обучение с подкреплением в более сложных случаях. Для достижения этих результатов не потребовалось никакого дополнительного масштабирования модели. Медицинский ИИ уже давно зависит от облачной инфраструктуры для удаленной обработки конфиденциальных данных. QVAC MedPsy меняет эту ситуацию, предоставляя высокую производительность полностью на устройстве. Для поставщиков медицинских услуг, работающих в соответствии со строгими правилами конфиденциальности, это открывает новые возможности развертывания, при которых доступ к облаку ограничен или ограничен.