Состоятельное машинное обучение — техники атак на ML-модели через подмену входных данных, уклонение от детектирования и отравление обучающей выборки.
Промпт-инъекции становятся одним из самых опасных векторов атак на большие языковые модели. Злоумышленники внедряют вредоносные инструкции в запросы, заставляя нейросеть генерировать фишинговые...
Современные алгоритмы машинного обучения способны предсказывать выход псевдослучайных генераторов (PRNG), снижая эффективную энтропию до 40%. Квантовые генераторы случайных чисел (QRNG) используют...
Скрытый текст — старый, но всё ещё эффективный приём обхода спам-фильтров. Злоумышленники вставляют в HTML-письма невидимые блоки с релевантным контентом, чтобы обмануть байесовские фильтры и...
OpenAI представила GPT-Red — специализированную модель для автоматизированного red teaming, которая в тестах показала эффективность 84% при поиске уязвимостей prompt injection, тогда как у...
Исследователи Anthropic показали, что LLM можно обучить скрывать вредоносное поведение, активируемое по триггеру. Такие «спящие агенты» проходят все стандартные процедуры safety-тренировки —...
КиберЩит