Эксперты LLMSecurity исследовали ассистентов на базе ИИ. В результате было выявлено, что существует риск похищения персональных данных или подтасовки фишинговых ссылок. Хакеры могут использовать ИИ для распространения вирусов. По словам специалистов, особенно много вопросов вызывают локальные ИИ-помощники. Об этом пишет Hi-Tech Mail.
«Если посмотреть в интернете предложения по созданию чат-бота или чат-ассистента, их очень много. Пользователь не будет задумываться, проверял ли кто-нибудь чат-бота на безопасность, что лежало в основе обучения нейронки, куда передаются и как хранятся персональные данные. Как при использовании любого другого приложения, он просто начнет с ним взаимодействовать. Не стоит забывать, что вся информация, которую вы «скармливаете» искусственному интеллекту, попадает в глобальную систему обучения. Категорически не рекомендуется указывать боту паспортные данные, реквизиты банковских карт, номера телефонов родных и друзей и другую чувствительную информацию», — рассказала Мария Усачева, руководитель проектов AI Security, AppSec Solutions.
Отдельно специалисты отметили опасность «галлюцинаций» для учёбы. ИИ может придумывать решения математических задач, которых не существует или подтасовывать факты в исторических событиях.
«Важно понимать, что языковая модель объективна не более, чем конкретный учитель или преподаватель, поскольку она обучается на той информации, которую в нее «закладывает» человек. Вероятность галлюцинаций зависит от конкретной языковой модели, однако, по нашим расчетам, различные модели выдают от 10% до 30% неверных ответов. Поэтому главное правило для тех, кто использует их в обучении — сохранять критическое мышление. То, что выдал ассистент, стоит перепроверить в первоисточнике», — рассказала Мария Усачева.
Ранее «Телеспутник» писал, что большинство российских компаний верят, что ИИ уже в ближайшие пять лет станет неотъемлемой частью их ИТ-инфраструктуры и поможет снизить издержки. Но вопреки оптимистичным прогнозам, 41 % организаций все ещё не используют ИИ вовсе.
