The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"AI-модель Claude Mythos не продемонстрировала особых достижений при поиске уязвимостей в Curl"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"AI-модель Claude Mythos не продемонстрировала особых достижений при поиске уязвимостей в Curl"  +/
Сообщение от opennews (??), 12-Май-26, 13:28 
Дэниел Cтенберг (Daniel Stenberg), автор утилиты для получения и отправки данных по сети curl, подвёл итог применения AI-модели Claude Mythos для анализа уязвимостей в кодовой базе Curl. По мнению Дэниела, анонсированные компанией Anthropic прорывные возможности AI-модели Claude Mythos в области поиска уязвимостей, из-за которых компания ограничила доступ к модели, являются скорее маркетинговым приувеличением, так как при проверке кода Curl модель не показала существенных преимуществ по сравнению с AI-продуктами от других производителей...

Подробнее: https://www.opennet.ru/opennews/art.shtml?num=65428

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по ответам | RSS]

1. Сообщение от Аноним (1), 12-Май-26, 13:28   +7 +/
У меня появляется смутная надежда, что ИИ таки улучшит качество кода. Разгребет 100500 багов на которые все давно плюнули. Пару лет поколбасит, а потом - браузер что не течет, не падает и не тормозит. Ось в которой все просто работает. Документы что открываются везде и всюда в одном и том же виде. Прикладухи что делают то что от них ожидается и так как от них ожидается. И тут я проснулся.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #2, #27, #44, #46

2. Сообщение от 12yoexpert (ok), 12-Май-26, 13:30   –1 +/
> У меня появляется смутная надежда

ты попался на удочку маркетологов

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #6, #11, #13, #22, #30, #38

3. Сообщение от Аноним (3), 12-Май-26, 13:33   +1 +/
> По мнению Дэниела, анонсированные компанией Anthropic прорывные возможности AI-модели Claude Mythos в области поиска уязвимостей [...] являются скорее маркетинговым приувеличением, так как при проверке кода Curl модель не показала существенных преимуществ по сравнению с AI-продуктами от других производителей.

Эмм... А то, что в Curl просто мало уязвимостей - это Дэниэл не допускает? Ну, типа, большинство из них уже раньше закрыли.

Или здравый смысл не работает, когда речь идет о ИИ?

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #7, #45

4. Сообщение от Аноним (4), 12-Май-26, 13:36   +3 +/
>что позволило исправить 200-300 ошибок

Маркетинг такой маркетинг. Так 200 или 300?

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #21

5. Сообщение от Хру (?), 12-Май-26, 13:42   +2 +/
Так что же получается - культура разработки на Си - возможна??? И дело значить не в кривом языке, а в немотивированных программистах, хреновой алгоритмической подготовке и нежелании пользоваться современными инструментами?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #8, #9, #31, #34

6. Сообщение от НяшМяш (ok), 12-Май-26, 13:43   +5 +/
Маркетологи врут в том, что уже сейчас всё идеально и можно пользоваться везде. Но в реальности прогресс инструментов очевиден. Какой-то год назад вот эти все чатгопоты даже в интернете искать не умели, потом их научили искать бред. А сейчас ему можно задать вполне конкретный вопрос, он понимает из какой области и идёт искать ответ. Я вот таким образом неожиданно узнал, что у майкрософтовского SSTP есть спецификация - на невинный вопрос как это устроено он пошёл сходил прямо в спеку и вывалил мне тонну интересной инфы.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2

7. Сообщение от Аноним (7), 12-Май-26, 13:44   +7 +/
Та ладно! Он же сишник и пишет libcurl/curl на Си. Как так нет уязвимостей, если софт написан на Си? Или когда адвокат вайбкодеров пытается объяснить почему Claude ничего не смог, то можно и сишников назвать хорошими программистами?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #3 Ответы: #12, #18, #26, #28

8. Сообщение от НяшМяш (ok), 12-Май-26, 13:45   +1 +/
Просто Дэниел Стенберг не настоящий сишник - инструментами какими-то пользуется. Ещё скажите у него компьютер современный. Настоящий сишник кодит на своём коредвадуо в терминале без подсветки синтаксиса.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5 Ответы: #19

9. Сообщение от Аноним (3), 12-Май-26, 13:46   –2 +/
> Си
> пользоваться современными инструментами

Это взаимоисключающие понятия.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5 Ответы: #10

10. Сообщение от Хру (?), 12-Май-26, 13:48   +/
Эт почему? Нельзя в 2026 году написать современный инструмент на С89? :)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #9 Ответы: #14, #37

11. Сообщение от Аноним (11), 12-Май-26, 13:49    Скрыто ботом-модератором+/
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2

12. Сообщение от Аноним (3), 12-Май-26, 13:50   +2 +/
> Он же сишник и пишет libcurl/curl на Си. Как так нет уязвимостей, если софт написан на Си?

Так он как бы и сам не это намекает, не? Он же не говорит "Claude не нашел дыр потому, что у нас их нет". Он говорит "Claude не нашел дыр, потому что он слабенький".

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #7

13. Сообщение от Аноним (11), 12-Май-26, 13:50   +/
> не продемонстрировала особых достижений

Функции CURL-а пока актуальны и их не требуется пока выявлять.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2

14. Сообщение от Аноним (3), 12-Май-26, 13:53   +/
> Эт почему?

Это потому, что посмотри на год его создания и, самое главное, как сильно он с тех пор развился.

> Нельзя в 2026 году написать современный инструмент на С89? :)

Ты говорил о "пользоваться". Написать-то и на brainfuck можно при желании.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #10 Ответы: #23, #24, #25, #35

15. Сообщение от q (ok), 12-Май-26, 13:53   +2 +/
Тысячи глаз на протяжение десятилетий: находили уязвимости в curl.
Аффтар curl: исправлял, вылизывал код на протяжение десятилетий.

Claude Mythos: находит еще одну уязвимость, которую тысячи глаз проморгали.
Аффтар curl: "Чет как-то не впечатлился... Это все обман чтобы набрать классы..."

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #20, #42

17. Сообщение от Аноним (17), 12-Май-26, 13:55   +/
Доступ к модели GPT-5.5-Cyber предоставляется только исследователям безопасности после выборочного одобрения заявок.

Хм.. поиграются с уязвимостями предлагают только своим :)

Ответить | Правка | Наверх | Cообщить модератору

18. Сообщение от Аноним (3), 12-Май-26, 14:01   +/
> когда адвокат вайбкодеров пытается объяснить почему Claude ничего не смог,

Чел, почему Claude "не смог", объясняется прямым текстом в статье. Они на протяжении месяцев натравливали другие ИИ и в целом закрыли 60 дыр за год. А ПОСЛЕ запустили Claude и обнаружили, что он почти ничего не нашел! Абсолютно никакой логической и временной связи между этими двумя событиями Дэниэл, очевидно, не видит.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #7

19. Сообщение от Аноним на удаленкеemail (?), 12-Май-26, 14:05   –1 +/
Знавал я такого. Только он асемблеревщик и к Си у него отношение как к чему то слишком уж разжеванному, для дураков. И работает он на Windiws XP. Вот вот в 2020 году пересел на неё с 98 виндоус. Человек работает в компании и ей он нужен. Его немного пайтон развратил так что он на ассемблер не хотел смотреть, но потом все же освоил работу на трез языках. ))). И да он не пенсионер. Ему что-то около 40 было тогда.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #8

20. Сообщение от Аноним (3), 12-Май-26, 14:05   +/
> Аффтар curl: "Чет как-то не впечатлился... Это все обман чтобы набрать классы..."

В англоязычных инетах тоже выпали с этой логики автора Curl. Похоже, у некоторых людей здравый смысл просто отключается, когда речь заходит об ИИ.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #15 Ответы: #36

21. Сообщение от Аноним (3), 12-Май-26, 14:08   +/
>> что позволило исправить 200-300 ошибок
> Так 200 или 300?

А это и не важно. Главное, что ПОСЛЕ этого Claude ничего не нашел - а значит, по логике автора Curl, он ни на что не годен.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #53

22. Сообщение от Аноним (22), 12-Май-26, 14:12    Скрыто ботом-модератором+3 +/
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2

23. Сообщение от Аноним на удаленкеemail (?), 12-Май-26, 14:15    Скрыто ботом-модератором+/
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14

24. Сообщение от Аноним на удаленкеemail (?), 12-Май-26, 14:15    Скрыто ботом-модератором+1 +/
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14

25. Сообщение от Аноним на удаленкеemail (?), 12-Май-26, 14:16    Скрыто ботом-модератором+/
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14

26. Сообщение от Аноним (26), 12-Май-26, 14:30   +1 +/
>> А то, что в Curl просто мало уязвимостей - это Дэниэл не допускает?
> Или когда адвокат вайбкодеров пытается объяснить почему Claude ничего не смог, то можно и сишников назвать хорошими программистами?

Ты ведь совсем не уловил посыла того комментария, не так ли?

Тебе же риторическим вопросом "А то, что в Curl просто мало уязвимостей - это Дэниэл не допускает?" сказано, что даже сам автор curl не допускает, что в его коде нет дыр.

Я хз, где ты там увидел, чтобы сишников называли "хорошими программистами".

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #7

27. Сообщение от Bob (??), 12-Май-26, 14:30   +/
в Firefox так и сделали, curl и так вылизан
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

28. Сообщение от Bob (??), 12-Май-26, 14:31   +/
Так вылизали уже почти полностью.

Это же не код рыжего браузере перелопачивать

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #7

29. Сообщение от Тудасюда (?), 12-Май-26, 14:36   +/
Так это же хорошо. Хватит кормить ленивых зажравшихся программистов, которые ни за что не несут ответственность, "яйца лижут" и имитируют бурную деятельность, переставляя бесчисленное количество раз кнопочки. Особенно это полезно в области СПО, где вообще на все "болтыЛОЖИЛИ".
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #32

30. Сообщение от 3yoexpert (?), 12-Май-26, 14:50   +/
По-крайней мере, истинно то, что только люди не дочитывают сообщения до конца, прежде чем отвечать
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2

31. Сообщение от Аноним (4), 12-Май-26, 14:50   –1 +/
>Так что же получается - культура разработки на Си - возможна???

Нет, не получается.
>и нежелании пользоваться современными инструментами?

Да, например rust-ом.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5

32. Сообщение от Аноним (11), 12-Май-26, 14:51   +/
> Хватит кормить ленивых зажравшихся программистов

Теперь они создают ИИ и кушают ещё больше. Обещая, что вот-вот - и наступит рай.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #29

33. Сообщение от Аноним (33), 12-Май-26, 14:52    Скрыто ботом-модератором+/
Ответить | Правка | Наверх | Cообщить модератору

34. Сообщение от Аноним (4), 12-Май-26, 14:57   +/
>Так что же получается - культура разработки на Си - возможна???

Не понимаю, как у вас это может уживаться с этим
>Ручная проверка показала, что только одна из 5 проблем приводит к уязвимости
>из которых 12 были уязвимостями
>Всего в этом году в Curl было выявлено около 60 уязвимостей

Код кишит уязвимостями, а вы про культуру разработки вещаете.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5 Ответы: #39

35. Сообщение от Sm0ke85 (ok), 12-Май-26, 14:58   –1 +/
>Это потому, что посмотри на год его создания и, самое главное, как сильно он с тех пор развился.

Ну и что я там должен увидеть, чего быть не должно???? Ты там один в комнате...?)))

>Ты говорил о "пользоваться". Написать-то и на brainfuck можно при желании.

Ты б мысль развил, а не в буквах различия искал, прям интересно на твой винегрет в голове глянуть... ахахах))))

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14 Ответы: #41, #51

36. Сообщение от Аноним (36), 12-Май-26, 15:00   +/
> Похоже, у некоторых людей здравый смысл просто отключается, когда речь заходит об ИИ.

Здравый смысл потерян уже на этой строчке "Тысячи глаз на протяжение десятилетий: находили уязвимости в curl.", нет никаких "тыща глаз", нету бл*ть, нетууууу!!!!

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #20

37. Сообщение от Аноним (4), 12-Май-26, 15:21   +/
>Нельзя в 2026 году написать современный инструмент на С89? :)

Можно и на ассемблере, разрешаю. Будете?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #10

38. Сообщение от pashev.ru (?), 12-Май-26, 15:32   +/
И забыл теоремы Гёделя )
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2

39. Сообщение от Хру (?), 12-Май-26, 15:33   +/
Может уживаться! Вот список CVE за все годы, на который ссылается Дэниел: https://curl.se/docs/security.html

Последний High severity - https://curl.se/docs/CVE-2023-38545.html
И еще один UAF в 2026 как Medium: https://curl.se/docs/CVE-2026-3805.html и пара overread и integer overflow в сторонних либах.

175 тысяч строк кода - это одна сторона медали. Вторая сторона - следование чертовски запутанным спекам IETF которые и читать-то - боль.

А вот в 2026 году основной источник проблем - это уже не тривиализированные проблемы языка а таки логические ошибки.

А так - кишит, конечно... Но вот какой язык защищает от логических ошибок? Гонки еще отлавливать статически можно через callpath graphing, но ежу понятно что ллмки делают это лучше. Они для этого спроектированы - отлавливать паттерны во входном потоке.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #34 Ответы: #40, #50

40. Сообщение от Аноним (4), 12-Май-26, 15:44   +/
>А вот в 2026 году основной источник проблем - это уже не тривиализированные проблемы языка а таки логические ошибки.

И вот классический пример такой ошибки, которая спокойно находится типами https://habr.com/ru/articles/522208/
>Но вот какой язык защищает от логических ошибок?

Зачем вы задаёте вопрос, если всё равно в следующей теме будете задавать его повторно? ATS. Idris, Lean 4 вам крайне в этом помогут.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #39 Ответы: #55

41. Сообщение от Аноним (4), 12-Май-26, 15:46   +/
>Ну и что я там должен увидеть, чего быть не должно?

А что вы там увидите? Хотя-бы алгебраические типы увидите? Или опять будете UB при разыменновывании нулевого указателя получать?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #35

42. Сообщение от Аноним (42), 12-Май-26, 15:46   +1 +/
>находит еще одну уязвимость, которую тысячи глаз проморгали.

Начнём с того, что этой "тысячи глаз" никогда не было. Никто не проводил аудит кода. И ещё вопрос, как ты запоёшь, когда после ИИ начнут находить уязвимости?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #15 Ответы: #43, #49

43. Сообщение от q (ok), 12-Май-26, 16:02   +/
Никак не запою, ибо ИИ нередко допускает ошибки. Но важнее то, что он свои же ошибки уже может замечать прямо в процессе генерации ответа ("Wait...") -- и это без режима thinking. Я этого не наблюдал каких-то год или два назад. А вообще, очевидно, будущее за архитектурами, где одна модель генерирует ответ, а вторая его проверяет — никто не заявляет, что ИИ должен ограничиваться ровно одним вызовом ровно одной модели.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #42 Ответы: #54

44. Сообщение от тоже Анонимemail (ok), 12-Май-26, 16:16   +/
> ИИ таки улучшит качество кода

ИИ в теме новости сейчас занят тем, что ищет каверны в сваях. О которых жильцы домов ни разу в жизни не слышали, и исправление проблем заметить просто физически не смогут.

К работе программ через задницу, неоптимальным алгоритмам, просто кривым рукам и особым взглядам создателей на порядок работы, неумению в интерфейсы, профайлинг etc - короче, к тем проблемам, которые собственно, портят кровушку юзеру, все эти победоносные ИИ-конвейеры никакого отношения не имеют.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

45. Сообщение от тоже Анонимemail (ok), 12-Май-26, 16:20   +1 +/
> Или здравый смысл не работает, когда речь идет о ИИ?

Видимо, нет, раз возникают такие вопросы.
Новый ИИ разрекламировали, как прорыв и качественно лучший инструмент, чем те, что были.
Дэниел проверил именно после тех, что были - никакого прорыва не обнаружил, только об этом и пишет.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #3 Ответы: #47

46. Сообщение от Аноним (46), 12-Май-26, 16:23   +/
ИИ может улучшить качество кода. Но только если менеджеры и директора этого захотят. А они не захотят. Иначе они бы уже сейчас выделяли время на повышение качества и зрелости продукта (хрен с ним с кодом). Мало мозгов, мало денег, много васьков, которые за счет своего здоровья не позволяют этому качеству рухнуть ниже уровня базовой работоспособности.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

47. Сообщение от Аноним (47), 12-Май-26, 16:25   +/
> Дэниел проверил именно после тех, что были - никакого прорыва не обнаружил, только об этом и пишет.

Вот именно, что после.

Какой "прорыв" он ожидал после того, как (цитата) "за последние 8-10 месяцев код Curl проверялся при помощи AI-сервисов AISLE, Zeropath и OpenAI Codex Security, что позволило исправить 200-300 ошибок, из которых 12 были уязвимостями"?

Л - логика.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #45 Ответы: #52

48. Сообщение от Сладкая булочка (?), 12-Май-26, 16:27   +/
Ну вот, чтд. Более-менее нормальный код и не шмогла. Давайте еще проверок замутите, сделайте блог аналог PVS, где будете выкладывать проверку открытых проектов.
Ответить | Правка | Наверх | Cообщить модератору

49. Сообщение от Аноним (47), 12-Май-26, 16:28   +/
> Начнём с того, что этой "тысячи глаз" никогда не было. Никто не проводил аудит кода

Как при этом на протяжении десятков лет в curl находились и закрывались CVE - загадка.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #42

50. Сообщение от Аноним (50), 12-Май-26, 16:34   +/
>Но вот какой язык защищает от логических ошибок?

Практика исправления ошибок на си и хаскеле защищает.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #39

51. Сообщение от Аноним (47), 12-Май-26, 16:35   +/
>> Это потому, что посмотри на год его создания и, самое главное, как сильно он с тех пор развился.
> Ну и что я там должен увидеть, чего быть не должно????

Например, практически полное отсутствие  развития по сравнению с 70-ми годами.

> Ты там один в комнате...?)))
> твой винегрет в голове глянуть...
> ахахах))))

Бедняжка пытается в ad hominem. 🥲

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #35

52. Сообщение от тоже Анонимemail (ok), 12-Май-26, 16:37   +1 +/
> Какой "прорыв" он ожидал

См. новость: "анонсированные компанией Anthropic прорывные возможности AI-модели Claude Mythos в области поиска уязвимостей".
Ребята били себя пяткой в грудь, что их ИИ не просто ищет уязвимости, а прям сильно лучше всех ищет уязвимости. Проверка на практике показала, что никакого "сильно лучше" не случилось.


Ответить | Правка | Наверх | Cообщить модератору
Родитель: #47

53. Сообщение от тоже Анонимemail (ok), 12-Май-26, 16:38   +/
> значит, по логике автора Curl, он ни на что не годен.

Врать не надо по интернету. Передергивать не надо по интернету...

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #21

54. Сообщение от Аноним (7), 12-Май-26, 16:40   +/
Что-то на вайбкодерском.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #43

55. Сообщение от Хру (?), 12-Май-26, 16:49   +/
Вы меня с каким-то другим комментатором путаете :) Я только в этой теме (зачем-то) решил пообщаться. И рад, что попал на умного человека.

Про формальную верификацию знаю конечно, а вот как Lean используется в программировании?
Он же вроде для доказательства теорем. Поделитесь опытом?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #40 Ответы: #57

56. Сообщение от Аноним (-), 12-Май-26, 16:50   +/
> при проверке кода Curl модель не показала существенных преимуществ по сравнению с AI-продуктами от других производителей.

А он юморист. Сложно найти то - чего нет. Ибо он так то security aware и сажает довольно мало багов. Так что гамнюк жирно потроллил AI агентов - прося их найти то не знаю что, подя туда не знаю куда :). Логично что они справляются не очень хорошо, все вместе.

Вот если вы на код рубистов из GitLab их бы напустили, там можно было бы посчитать уже кто лучше :))

Ответить | Правка | Наверх | Cообщить модератору

57. Сообщение от Хру (?), 12-Май-26, 16:52   +/
И насчет статьи с Хабра - вот не далее как в начале месяца пробежала дырка в андроидовом adbd, как раз не учитывавшая что -1 != 0 .
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #55

58. Сообщение от Аноним (58), 12-Май-26, 16:54   +/
Знаете, лет так 5-10 назад было модно прогонять код опесоурсных проектов через новый статический анализатор и радостно показывать, сколько ошибок найдено.

Ну так вот, придумали ещё один статический анализатор. Можно сказать, реально полезная вещь получилась.

Правда, есть одно но: подозреваю, что нынешний ИИ конечно нашёл какое-то количество багов, но точно так же, как классический статический анализатор работающий по правилам и эвристикам - отсутствие замечаний от него вовсе не означает, что ошибок в коде нет.

Ответить | Правка | Наверх | Cообщить модератору


Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2026 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру