Алгоритм HARP позволяет уменьшить потери в ходе процесса квантования (предоставления весов модели меньшим числом битов). Метод основан на математических преобразованиях, которые меняют способ предоставления данных, но не саму модель. Как пояснили разработчики, такие преобразования являются обратимыми, что позволяет избежать потери информации при сжатии:
«Когда вы поворачиваете фотографию, изображение остается тем же, меняется только угол зрения. Похожий процесс происходит и при сжатии нейросети. Эти преобразования обратимы, поэтому модель не теряет информацию. Алгоритм HARP использует не сплошные, а структурированные повороты — они состоят из множества маленьких блоков. Это позволяет применять их быстро и хранить без больших затрат памяти в отличие от полных матриц поворота, которые для больших моделей заняли бы слишком много места», — объяснил инженер-исследователь лаборатории фундаментальных исследований искусственного интеллекта МФТИ Артур Загитов «Известиям».
Новая разработка позволяет ускорить работу систем искусственного интеллекта в два раза. Алгоритм протестировали на языковых моделях Llama и Qwen, показав снижение ошибки на 12-15% при наиболее жестком двухбитном сжатии. По словам старшего исследователя лаборатории фундаментальных исследований искусственного интеллекта МФТИ Глеба Молодцова, метод HARP не требует повторного обучения нейросети, а лишь дополнительной калибровки.
Основатель компании «Интернет-Розыск» Игорь Бедеров считает, что технология HARP может стать инструментом технологического суверенитета, позволяя переводить нейросети с 16-битной точности на 2—4 бита. Это дает возможность эксплуатировать современные модели на менее мощном оборудовании. Эксперт НТИ по новым материалам и технологиям Евгений Вишневский отметил, что метод HARP встраивается в существующие инструменты сжатия, не требуя от разработчиков перестройки привычных рабочих процессов. По его мнению, технология востребована для запуска продвинутого искусственного интеллекта на закрытых серверах госорганов и компаний, а также на смартфонах, промышленных контроллерах и беспилотных системах, работающих без постоянного доступа к облачным ресурсам. Это делает передовые решения доступнее для среднего бизнеса и региональных команд разработчиков.
Ранее сообщалось, что в Минобороны РФ создали сервис для обучения военных нейросетей. Сервис обеспечивает доступ разработчикам в специализированное хранилище, предоставляющее подготовленные видеоматериалы результатов применения FPV-дронов и других беспилотников. К сервису подключено более 40 организаций, которые занимаются обучением нейросетей.
_6ad1f157d0816.jpg)
