Угрозы ИИ при разработке программного обеспечения выявлены в новом исследовании
Джо Спраклен, докторант UTSA по информатике, возглавил исследование того, как большие языковые модели (LLM) часто генерируют небезопасный код.
Статья его команды, опубликованная на сервере препринтов arXiv, также была принята к публикации на USENIX Security Symposium 2025 — конференции по кибербезопасности и конфиденциальности. В многоинституциональном сотрудничестве приняли участие еще три исследователя из UTSA: докторант AHM Назмус Сакиб, научный сотрудник-постдокторант Равин Виджевикрама и доцент д-р Муртуза Джадливала, директор SPriTELab (Исследовательская лаборатория безопасности, конфиденциальности, доверия и этики в области вычислений).
Дополнительными соавторами были Аниндья Майта из Университета Оклахомы (бывший научный сотрудник UTSA) и Бимал Вишванат из Политехнического университета Вирджинии.
Галлюцинации в LLM возникают, когда модель производит контент, который фактически неверен, бессмыслен или совершенно не связан с задачей ввода.
Большинство текущих исследований до сих пор были сосредоточены в основном на галлюцинациях в классических задачах генерации и прогнозирования естественного языка, таких как машинный перевод, реферирование и разговорный ИИ.
Исследовательская группа сосредоточилась на феномене пакетной галлюцинации, который возникает, когда магистр права создает или рекомендует использовать стороннюю программную библиотеку, которая на самом деле не существует.
Упаковочные галлюцинации становятся интересной областью исследований потому, что нечто столь простое — одна повседневная команда — может привести к серьезным рискам безопасности.
«Для этого не требуется запутанного стечения обстоятельств или какой-то непонятной вещи», — сказал Спраклен. «Просто набрать одну команду, которую большинство людей, работающих с этими языками программирования, набирают каждый день.
Это все, что нужно. Это очень прямолинейно и очень просто». «Он также вездесущ», — добавил он. «Вы можете сделать очень мало с вашим базовым языком программирования Python.
Вам потребовалось бы много времени, чтобы написать код самостоятельно, поэтому универсально полагаться на программное обеспечение с открытым исходным кодом , чтобы расширить возможности вашего языка программирования для выполнения конкретных задач».
Степень магистра права становится все более популярной среди разработчиков, которые используют модели искусственного интеллекта для помощи в сборке программ. По данным исследования, до 97% разработчиков программного обеспечения включают генеративный ИИ в свой рабочий процесс, а 30% кода, написанного сегодня, генерируется с помощью ИИ.
Кроме того, многие популярные языки программирования, такие как PyPI для Python и npm.
ДГТУ и «Группа Астра» создадут учебно-научный проект по разработке отечественного программного обеспечения Донской государственный технический университет и российская технологическая компания «Группа Астра» запустят... …
Интернет и Игры 22:30, июня 7, 2024 | cnews.ru
Интернет-магазин лицензионного программного обеспечения . Отличное программное обеспечение предлагает Софтлайн, интернет-магазин имеет большой каталог с сотнями наименований. В наличии и другие предложения …
Общие новости 21:26, октября 29, 2024 | smolensk-i.ruСША запретят оказывать России услуги в сфере программного обеспечения и IT Соединённые Штаты ввели запрет на предоставление услуг в сфере программного обеспечения лицам из Российской Федерации. Об этом заявил американский Ми …
Наука и Технологии 02:42, июня 13, 2024 | news.rambler.ru
IBM близка к покупке разработчика облачного программного обеспечения HashiCorp IBM близка к сделке по покупке поставщика облачного программного обеспечения HashiCorp, пишет Reuters со ссылкой на источник, знакомый с ситуацией.Ак …
Экономика и Финансы 07:00, апреля 24, 2024 | finam.ru
США заявили о новых ограничениях на поставки программного обеспечения в РФ и Белоруссию В Минторге Соединенных Штатов отметили, что также ввели экспортные ограничения в отношении четырех структур в Китае …
Экономика 21:30, июня 12, 2024 | tass.ru
США запретили оказывать услуги в сфере программного обеспечения и IT в России Власти США ввели запрет на предоставление услуг в сфере IT и программного обеспечения на территории России, сообщается в документе Министерстве финан …
Общие новости 19:54, июня 12, 2024 | regnum.ru
США запретили оказывать ряд услуг в сфере программного обеспечения и IT в России Министерство финансов США сообщило, что в рамках расширения санкций Соединенные Штаты запрещают предоставление услуг в сфере программного обеспечения …
Общие новости 19:06, июня 12, 2024 | kommersant.ru
Microsoft представила новые инструменты для разработки программного обеспечения, связанного с ИИ Microsoft рассказала о новых инструментах, призванных побудить программистов встраивать технологии, ориентированные на искусственный интеллект, в про …
Экономика и Финансы 21:30, мая 22, 2024 | finam.ru
Открытие кода программного обеспечения для умных часов Pebble Watch Эрик Мигиковски (Eric Migicovsky), основатель компании Pebble Technology, объявил об открытии недостающего исходного кода программного обеспечения Pe …
Интернет и Игры 14:26, ноября 27, 2025 | opennet.ru
Исследование Microsoft показывает, что модели ИИ все еще испытывают трудности с отладкой программного обеспечения Модели искусственного интеллекта от таких компаний, как OpenAI и Anthropic, а также других ведущих лабораторий становятся всё более востребованными в …
Наука и Технологии 00:26, апреля 13, 2025 | itzine.ru Samsung Galaxy A12 получает первое обновление программного обеспечения в 2024 году Samsung начала выпускать первое обновление программного обеспечения для Galaxy A12 в 2024 году. Это обновление включает патч безопасности за май 2024 …
Гаджеты 18:42, мая 31, 2024 | gagadget.com Владелица Tesla оказалась заперта в автомобиле при температуре 46°C из-за обновления программного обеспечения Пользовательница TikTok пожаловалась, что в жаркий день она оказалась запертой в своем автомобиле Tesla, пока тот завершал обновление программного об …
Это интересно 08:06, апреля 19, 2024 | incrussia.ru
«Швабе» и «РТ-Техприемка» представили проект создания российского программного обеспечения для оптического проектирования Холдинги «Швабе» и «РТ-Техприемка» госкорпорации «Ростех» презентовали совместный проект разработки ПО для... …
Интернет и Игры 16:30, мая 27, 2024 | cnews.ru
Пользователи «Ред ОС» 8 получили дополнительные инструменты обеспечения информационной безопасности с помощью программного комплекса «Сакура» Пользователи отечественной операционной системы «Ред ОС» 8 от компании «Ред Софт» могут усилить защиту рабочих... …
Интернет и Игры 16:48, мая 27, 2024 | cnews.ru Сеть SubQuery создает более доступное и надежное цифровое будущее на основе децентрализованного промежуточного программного обеспечения /div> Чтобы произвести революцию в пространстве Web3, SubQuery Network стремится предложить разработчикам DApp сочетание эффективности централизованн …
Крипто 19:54, апреля 22, 2024 | cryptobrokers.ru Программного обеспечения хватило для ареста // Обвиняемым в хищении средств на контракт для спецсвязи ФСО меру пресечения избрали заочно Как стало известно “Ъ”, Басманный суд Москвы заочно арестовал бывшего проректора по информационным технологиям Регионального финансово-экономического …
Происшествия 03:54, мая 2, 2024 | kommersant.ru
Колосков рассказал об исследовании РФС по возможному расширению РПЛ Почетный президент Российского футбольного союза (РФС) Вячеслав Колосков высказался о возможном расширении российской премьер-лиги (РПЛ). …
Футбол 00:30, мая 1, 2024 | sport-express.ru Селфи-палка помогла палеонтологам в исследовании вымерших ихтиозавров Неожиданное открытие сделал учёный из Института имени А. А. Борисяка РАН. Фото с сайта Ammonit.ru Николай Зверьков, посетивший Музей естествознания в …
Наука 01:48, апреля 25, 2024 | versiya.info
Власти Южной Осетии и "Руснефтегаз" договорились об исследовании месторождений нефти Как отметили в правительстве республики, в рамках соглашения в ближайшее время начнут геологоразведочные работы …
Экономика 22:42, апреля 26, 2024 | tass.ru Прямая линия с Владимиром Путиным-2025. Итоги четвертого часа: ипотека, MAX, угрозы Калининграду, послание потомкам // Путин: угрозы блокады Калининграда приведут к невиданной эскалации конфликта 19 декабря проходит совмещенная прямая линия и пресс-конференция с Владимиром Путиным. Президент России традиционно отвечает на вопросы журналистов и …
Политика 00:26, декабря 20, 2025 | kommersant.ru Острая воспроизводственная необходимость // Регионы недостаточно информируют граждан о бесплатном исследовании репродуктивного здоровья В регионах «недостаточно серьезно» относятся к проекту диспансеризации граждан репродуктивного возраста. К такому выводу пришел Росздравнадзор, изучи …
Общество и Регионы 04:36, июня 10, 2024 | kommersant.ru
Галина Данилина («Рексофт»): «Бизнес ожидает от маркетинга активного участия в исследовании рынка и поиске новых ниш» За последние два года «Рексофт» прошел большую трансформацию, превратившись из компании разработчика заказного ПО в одну из крупнейших компаний на ИТ …
Наука и Технологии 07:26, октября 12, 2024 | ict-online.ru Создана мобильная игра, которая позволяет каждому человеку буквально принять участие в исследовании океанских глубин FathomVerse — это новая мобильная игра, доступная в App Store и Google Play, которая призвана вдохновить новую волну исследователей океана. FathomVer …
Это интересно 23:06, мая 20, 2024 | incrussia.ru