Исследователи из компании CodeRabbit проанализировали 470 pull-запросов (350 - созданные AI, 150 - написанные вручную) в открытых проектах на GitHub и пришли к выводу, что в изменениях, сгенерированных AI-ассистентами, присутствует в 1.7 раза больше значительных дефектов и в 1.4 раза больше критических проблем, чем во вручную написанном коде. В среднем в сгенерированных через AI pull-запросах присутствовало 10.83 проблем, в то время как в созданных вручную изменениях данный показатель составил 6.45...Подробнее: https://www.opennet.ru/opennews/art.shtml?num=64485
> в написанном людьми коде в 1.76 раз больше орфографических ошибок и в 1.32 раза больше ошибок, связанных с тестированиемну вот и хороший критерий по которому можно отличать человеческий код от поддакивающих пользователю галлюцинаций.
Да просто к AI сервисам надо относиться как к младшим помощникам, а не полностью полагаться на них.
https://www.google.ai
> как к младшим помощникам...которые замедляют работу, вносят больше ошибок и создают проблемы безопасности. Странно, а Си за такое запретили почему-то.
Дал корректный промпт, AI выдал код, который естественно надо посмотреть проверить.
И на посмотреть-проверить потратишь в три раза больше времени, чем на написать.
>потратишь в три раза больше времени, чем на написатьА почему не в пять ?
Так-то никого не заставляют ими пользоваться, ваше право.
Именно. Но тут всё идет немножко дальше "не пользоваться" - оно запрещено ещё и в компании, потому что булшита хватает своего.
Очень скоро заставят...
А что ты за них переживаешь. Просто они будут получать минимальное количество оплаты за максимальную работу по проверке галлюцинируещего лжеИИ. В результате, все вернется в 1980-90 годы. Когда проф-программисты зарабатывали очень хорошо, а операторы эвм - вводили тексты за копейки.
Туда все и идет. недопрограммисты сами сбегут из отрасли.
Да я не то, что переживаю, я просто к булшиту плохо отношусь.
>Туда все и идет. недопрограммисты сами сбегут из отрасли.Как думаете, лучше получать деньги вводя промты или крича "свободная касса!" или может развозя еду на велосипеде?
а ты когда пишешь, не проверяешь?
Ага, только вот из младших помощников со временем вырастают старшие. А заменив младших на AI, откуда мы в недалёком будущем будем брать старших?
>откуда мы в недалёком будущем будем брать старших?Ну во многих компаниях здравый смысл возобладал и они возвращают сокращённый штат.
Хорошие специалисты всегда будут востребованы.
«boomerang hires»: https://habr.com/ru/news/963996/
> Около 5,3% уволенных заявляли, что они вернулись к предыдущему работодателюИми как тряпками отработанными, а они преданные)
Так справедливости ради
1) вероятно что сокращения были не разработчиков, а целых штатов и команд, по указивке сверху, да без разбора
2) Сомневаюсь, что вернувшиеся не выиграли по итогу в размере оклада, особенно с учётом того, что есть немалая вероятность что рекрутеры сами за расширением штата первым делом шли допрашивать сокращенцев.
> откуда мы в недалёком будущем будем брать старших?Из опенсорса и менее престижных компаний. И не будем, а уже лет ...цать как берём.
Вырастите его из ИИ. По крайней мере в этом нынешний план.
Проблема тут только в том, что когда все это навернется, в нормальных условиях выгодоприобретатели всего этого точно так же навернулись бы, а в существущюих условиях они ничуть не пострадают.
>Да просто к AI сервисам надо относиться как к младшим помощникам, а не полностью полагаться на них.С каких пор наставничество джунов начало ускорять твою собственную разработку?
С тех когда глаз замыливается, а джун со стороны может найти тупейший косяк
>С каких пор наставничество джунов начало ускорять твою собственную разработку?С тех пор как разработчики начали работать на дядю, а не на скорость генерации строк кода. Дяде плевать кто напишет код, сеньёр, джун или ИИ. Главное чтобы код приносил деньги и наёмные работники вместе с ИИ не просили много денег.
Как к знакомому, который хронически лжет.
меня кстати от орфографических ошибок и опечаток в коде бомбит, видно сразу, что человек невнимательно писал.
Ну как минимум есть дислексии, не говоря уже про всё остальное. Я, например, ошибки банально не вижу, если они по какой-то причине не подчёркнуты.
>меня, кстати, от орфографических ошибок и опечаток в коде бомбит, видно сразу, что человек невнимательно писал.Добавил запятых, не благодари.
А вообще, орфографические ошибки - основная причина преступности в среде филологов.
> Добавил запятых, не благодари.
> А вообще, орфографические ошибки - основная причина преступности в среде филологов.Спасибо! Но это не орфографические :))) я же написал, что бомбит от орфографических - точно сформулировал! :)
О чем тут говорить, опечатки в коде это признак того что человек даже не пробовал собрать проект, с таким отношением наверняка и писался плохой пром, и не ревьюилась работа нейросети
Скажите пжл кто в теме, вот почему графика в винде, mac os плавная и работает без ошибок, даж винда 3.11 норм работала по графике, а вот x11 или Wayland - регулярные глюки?
Что-то делаете не так. Дрова не поставили, пакеты для ускорения opengl и vulkan, например.
По теореме футболинга, виноват кто угодно, но не разраб исков/вауляндии. Виновата нвидия, виноват разраб ДЕ, виноваты авторы кривых приложений, и, самое главное, виноват ты.
Есть какой-то критерий плавности объективный и реальный список глюков? Например, кнопка пуск в виндовс 11 на реакте не плавно работает, половина приложений в виндовс 11 не масштабирует шрифты от слова совсем.
> Есть какой-то критерий плавности объективныйКонечно. Называется FPS.
не, это про другое, я про комфорт визуальный
Дизайн ещё не придумали в формулы загнать.
> Конечно. Называется FPS.UI обновляется как можно реже (чтобы батарейку не жрать) во всех ос, то есть когда нету анимаций там 0 фпс.
Я вообще всегда все эффекты в винде отключал, ставил классическую тему, до тех пор как это можно было.
Шикос. А какая "плавность", мы ведь ее обсуждаем в данной ветке, может быть в контексте статики?
В КДЕ под иксами точно можно включить отображение ФПС. Под вейландом - хз, не пробовал.
Это не считая всякие профайлеры.
Ну типа в винде и macos все формы более гладкие и естественные, без рубленных краев, движения интерфейса тоже более естественные и нет вот этих танцев с бубном по настройке графики и драйверов как в линукс, по сути все из коробки.Графический движок винды это DirectX, в macOS — Quartz Extreme и Metal, в Linux — серверы X.Org или Wayland. Вот графические движки Linux сложно написать ну каким нить обратным инжинирингом как в винде?
DirectX тут вообще не к месту) Quartz это дисплейный сервер + менеджер окон одновременно, X.Org это просто дисплейный сервер, Wayland это протокол для создания этих серверов, но DirectX совершенно другое, это всего лишь набор мультимедийных API) Реальной виндовой альтернативы, по сути, нет вообще, там вообще нет дисплейного сервера, ибо, вся система создана для работы в графическом режиме и именно он первичен, а не терминал, большинство операций с графикой выполняет на очень низком уровне, включая ядро. Самое близкое, это Desktop Window Manager, но это лишь один менеджер окон, он не является дисплейным сервером
Вот главная проблема - "Графический движок"!
У винды это не DirectX.
То есть, скорее всего было так, вы поставили винду, накатили дрова и сверху "полирнули" ДиректХ.
А линукс вы поставили, увидели Х.орг/Вейланд и подумали что это тождественно ДиректХ.
Поставьте дрова на линукс и будет вам щястье!
OpenGL и Vulkan реализуются Mesa-ой. Mesa в системе точно присутствует. Поэтому какие ещё дрова?
Это если видеокарта не nvidia. А если nvidia то там это всё-таки ставится как часть их драйвера.
>Ну типа в винде и macos все формы более гладкие и естественные, без рубленных краев, движения интерфейса тоже более естественные и нет вот этих танцев с бубном по настройке графики и драйверов как в линукс, по сути все из коробки.очень палевный наброс. какие движения? какие края? какие бубны с танцем? солянка чьих то пересказов
> Ну типа в винде и macos все формы более гладкие и естественные, без рубленных краев, движения интерфейса тоже более естественные и нет вот этих танцев с бубном по настройке графики и драйверов как в линукс, по сути все из коробки.В андройде так и есть, и там линукс. Wayland не сервер, то есть считай есть комбинация драйвер видео + де, которая реализует вейланд как хочет.
>Вот графические движки Linux сложно написать ну каким нить обратным инжинирингом как в винде?
Вейланд так и написали (только реверс не нужен), чтобы оно ближе было к железу. Последние версии де+драйвера, должны летать, даже на nvidia. На радеоне уже давно все лучше чем в винде.
>Вот графические движки Linux сложно написать ну каким нить обратным инжинирингом как в винде?Вот я не понимаю, откуда на опеннет в каждую тему набегает милион маздайщиков, топающих ножками и требующих, чтоб им сделали как в винде(с)
При этом они честно заявляют, что сами они думать и настраивать свою систему не должны, а за них должен подумать дядя.
Ребята, ну зачем отрывать пятую точку?! Сидите вы на винде и пусть за вас думает МС, и будет вам счастье.
В винде графическая подсистема - GDI.
Регулярные глюки вполне возможны из-за Wayland и драйверов видеокарты. На Х11 как правило даже на nouveau все работает достаточно плавно, хотя очень редко бывает что ваше железо не поддерживается nouveau и работает с глюками и тогда нужно искать драйвер видеокарты, но лучше купить железо которое linux поддерживает. В ином случае порой лучше поставить дистрибутив который будет работать без глюков. У меня много разного оборудования было - новое, старое и глюков нет, хотя порой времени на настройку уходило много и да - нужно сидеть, разбирать проблему. Порой кому-то зачем-то нужен какой-нибудь gstreamer, порой какая-нибудь либа из-за которой ничего по человечески не работает, порой все настроено нормально, а открываешь браузер и все глючит, открываешь about://gpu, а он просто аппаратное ускорение не использует или какую фичу для которой нужно скачать какую-то хрень определенной версии и никакой другой. А после обновления ещё другой.
да в т.ч. про это речь, окей, я понял что винда напрямую графику строит по сути на уровне ядра с минимумом всего, а на linux немного сложнее устроено
>> да в т.ч. про это речь, окей, я понял что винда напрямую графику строит по сути на уровне ядра с минимумом всего, а на linux немного сложнее устроеноLinux это солянка из идей разного направления. Разные люди же с ним работают и с разными целями. Более академическим кодом считаются BSD системы, т.е. его уже делают чаще студенты и преподаватели и все-равно у BSD частая проблема отсутствие поддержки железа - просто никто не сделал драйвер. А винда напомню имеет те же проблемы без драйверов, но они просто в этом направлении хорошо поработали. Это ведь коммерческая компания и они могут договариваться с производителями. Тут была новость речей Линуса с критикой производителей железа, что нужно работать более тесно, но Linux Project по сути НКО - денег меньше занести могут, пользователей (покупателей) меньше. А также требования по открытости кода предоставляющей коммерческий интерес, а также их лицензии добавляют всякую белеберду. Доходит до того что некоторые программные решения решающие проблемы находятся в каком-то отдельном репозитории из-за лицензии и по умолчанию не ставятся. Ну это ж в некоторой степени бред. Правда этот бред открытости и делает систему потихоньку лучше других.
>Правда этот бред открытости и делает систему потихоньку лучше других."Чем лучше? Чем другие."
На самом деле - не делает. Линукс как был мастдаем в 90-х, так им и остался. И проблемы его, по большей части, - архитектурные.
Наркоман? Вынь 95,98,me не bsodили по 10 раз в день как раз из-за графики в ядре?
Я нечто такое припоминаю, когда переезжал с FreeBSD на всякие Linux'ы, причём не только в графике было отличие, а ещё и в звуке, и когда даёшь нагрузку на диск. И мне тоже показалось это странным, ведь Linux пилят намного больше людей, и оно естесственным образом могло бы уже стать конфеткой.Возможно, проблема в том, что вместо того, чтобы полировать существующее, придумывают всякие новые wayland'ы, расты и т.д., которые потом ходят и везде навязывают, и все силы уходят туда и войны в комментариях.
Wayland, KDE и AMDGPU. Все плавно и работает без ошибок. Так что вопрос к используемому железу и софту.
Просто надо вынуть руки из задницы.
Ваш К.О.
Графика на лине прекрасно работает если у вас amd, intel.Единственный минус, который заметил, хром подлагивать может на некоторых, сложных страницах. Возможно, из за отсутствия gpu ускорения. В лисице эти же страницы работают нормально.
Это все на открытых дровах. У меня legion 5 (amd + amd) и стационарный комп (intel + amd). Оба на fedora silverblue с гномом. Все плавно и красиво работает.
До этого был старый бук на intel + nvidia вот на нем я страдал. Более менее сносно работала fedora, manjaro. Но не без косяков.
Так что для себя решил, что nvidia покупать не буду. Шанс того, что оно не будет адекватно работать на Линукс, крайне высокая.
Сейчас, вроде как пилят открытые дрова под nvidia. Но я не проверял как с ними все работает
>винда 3.11 норм работала по графике
>Ну типа в винде и macos все формы более гладкие и естественные, без рубленных краев, движения интерфейса тоже более естественныегде ты видел в вигде 3.11 что-то гладкое и естественное?
человек взрослый понимает как едет автомобиль, он естественно начинает движение, картинка передвигается, скрывается за горизонтом или домом, картинка "живая", человеческий глаз улавливает милисекунды и знает по памяти как должно быть, по памяти знает как бежит кошка, не быстрее, не медленнее, а именно так как должно. это вопрос моделирования динамики.вот в windows начиная с 3.11 видимо над этим работали ребята которые понимали как с какой скоростью, задежкой, каким эффектом должно происходить движение на экране, оно "естественно", ну может быть еще человек много работает на windows запоминает как должно быть, но все же я думаю это не вопрос привычки к windows, а вопрос именно чуства "естественности"
А теперь давайте подумаем, насколько хорошо модели работали всего лишь два года назад. И сравните с тем, что сейчас. И экстраполируйте, даже консервативно, на ещё 5 лет. Это не шутки.
https://xkcd.com/605
Если сейчас в 1.5 раза больше ошибок, то даже без экспоненты, просто итеративными улучшениями легко эти 1.5 победить за 5 лет. А в реальности будет за год.
На основе чего? ИИ уже схавало весь существующий код.
На основе алгоритмических улучшений.
Например одна модель пишет, а вторая ее проверяет.
Или отдельные части кода при обучении компиляются.Просто настало время специализированных моделей.
Типа "модель для написания на СИ в стиле ядра" (которая, естественно, обучалась только на книжках по СИ и кодах ядра), "модель для манкикодинга на ПХП" и тд.
Они будут меньше, быстрее и надежне.А поверх будет наворачиваться модель общего назначения, которая будет определять чего пользователь хочет.
> Например одна модель пишет, а вторая ее проверяет.На основе чего? ИИ уже схавал весь код. Чем он будет руководствоваться при "проверке"?
> ИИ уже схавал весь код.И новый код не пишется?
Наркоман шоли? (с)> Чем он будет руководствоваться при "проверке"?
Скомпилировалось или нет.
Может даже тесты написать и прогнать их.
>И новый код не пишется?пишется, но это все равно небольшой объем. и в этот новый код входит в том числе слоп от аи.
> Чем он будет руководствоваться при "проверке"?
> Скомпилировалось или нет.
> Может даже тесты написать и прогнать их.тесты вручную писать будешь? а, аи их писать будет? это сколько ведь кода нужно будет "проверить" и скомпилить
> пишется, но это все равно небольшой объем.
> и в этот новый код входит в том числе слоп от аи.Сколько проектов ввели правила "не добавлять АИ"?
Из попенсорсных - весьма много.> тесты вручную писать будешь? а, аи их писать будет? это сколько ведь
> кода нужно будет "проверить" и скомпилитьЭто железка, пусть работает.
> Сколько проектов ввели правила "не добавлять АИ"?
> Из попенсорсных - весьма много.Из лучших много.
А вот у васянов - все далеко не так. ИИ же учится на всем подряд.
Это ты про "дегенератиыне сетки"То что комрад выше написал, это по сути дела траспиляция человеческого в код. Т.е. пользователь пишет "хочу веб приложение с аутентификацией для подсчёта расходов". Языковая модель в несколько (а может и ненесколько а очень даже много) итераций улучшает промпт до состояние "детальное описание" на основе накопленных знаний, а уж только потом по заданным криетериям начинает генерацию.
> а уж только потом по заданным криетериям начинает генерацию.начинает галлюцинацию
При этом в сгенерированном промте будут противоречия. И если он на несколько экранов, то уже далеко не факт, что человек это исправит. Писал же не он. И вникнуть в это будет на порядок сложнее.
>На основе чего? ИИ уже схавал весь код. Чем он будет руководствоваться при "проверке"?Сами алгоритмы нейросетей улучшаются. Например Reasoning раньше был невозможен, а сейчас вылавливает большинство логических ошибок. MoE тоже новая технология. К тому же одна и та же нейросеть, запущенная с ненулевой температурой и разным Seed, увидит те проблемы в коде, что не замечала при генерации. То есть можно буквально заставить нейросеть перепроверить свой же код несколько раз.
>Например одна модель пишет, а вторая ее проверяет.в целом да, над ответом будут думать несколько моделей. несколько кртикующих и несколько улучшающих.
а эти несколько моделей будут выбираться по результатам голосования среди всех моделей? :)
>а эти несколько моделей будут выбираться по результатам голосования среди всех моделей? :)Нет. Будут проверять на соответствие ТЗ и отсутствие логических ошибок, тыкая носом модель, которая занимается генерацией кода.
более того, аи будут обучать на коде вайбкодеров
А на основе чего ИИ перестал рисовать по шесть пальцев? А на основе чего у любой другой программы каждый год выходят новые версии? А на основе чего бензиновые двигатели заменили паровые? Не могли сразу нормально сделать?
> А на основе чего ИИ перестал рисовать по шесть пальцев?Схавал больше изображений.
> Схавал больше изображений.Нет, улучшают алгоритмы работы моделей.
У моделей нет никаких алгоритмов работы по определению.
>У моделей нет никаких алгоритмов работы по определению.Если Вы пишете такое, значит знакомы с нейросетями просто поверхностно. Сама нейросеть это конечно просто матрица чисел, но вот управление входами и выходами требует различных хитрых стратегий.
> А на основе чего у любой другой программы каждый год выходят новые версии?На основе кривых рук и увеличения размера простых приложений до 500 Мб или даже 1 Гб. Прогресс?
На основе исследований типа такого: https://arxiv.org/abs/2512.05117Это, конкретно, выясняет что если посравнивать разные модели, каждая из которых это вектор в многомиллиардном пространстве, то ВНЕЗАПНО выясняется, что все эти вектора укладываются в низкоразмерное подпространство. Реально _низко_размерное. Не в сравнении с туе6yчими десятками миллиардов параметров низкое, а что-то меньше сотни, а то и меньше двадцати.
Этот результат, например, позволит начинать обучение сети не с рандомных значений параметров, которые какой-то вектор в R^100500100500 задают, а с рандомного вектора выбранного из небольшого подпространства. Например, очень интересно становится, что будет если взять тысчонку таких рандомных векторов, и начиная от них выполнить весь этот градиентный спуск backpropagation'а, не удастся ли в результате выбрать из локальных максимумов тот, который будет значительно ближе к глобальному?
Но это не единственное исследование и не единственный результат, если следить за темой, то становится непонятно, чего можно ждать от моделей через год два, и абсолютно непредсказуемо, что они будут показывать через пять лет.
Не убегай далеко, через год посмотрим, как оно
Если ИИ продолжит обучаться, то обучаться он будет на своих ошибках, т.е. будет в 1,5*1,5 раза больше ошибок. И дальше по экспоненте вверх.
я не заметил слишком большой разницы за эти 2 года
Это линукс, детка. Я помню древний линух запускал на видушке VIA Chrome. Дык на винде все ок. А на линухе без танцев с бубном и прописывания чего-то в конфиг иксов оно не запускалось. Ну и иксы падали время от времени. Чего удивляться то? "Открытые дрова" только на словах звучит круто. На деле же - там половина криво реализована.
Добавьте к сравнению ИИ на rust и сравните с Python. Меня откровенно пугает скорость на rust - очень быстро. При этом не так давно был и продолжается найм специалистов по данным в огромных количествах. Я лично думаю что через год-другой наша жизнь изменится из-за ИИ. Вы не забывайте ещё что и архитектуры чипов можно поменять под удачные решения. Только роботы пока дорогие, мне бы небольшой помощник не помешал бы, но помощника можно и своими силами сделать.
> Добавьте к сравнению ИИ на rust и сравните с Python. Меня откровенно пугает скорость на rust - очень быстро.Человек открыл для себя компилируемые языки. Только не показывайте ему, насколько даже скрипты баша могут делать арифметику быстрее, а то он совсем растроится.
Вот из-за того что ты так думаешь ИИ тебя очень быстро заменит. А дальше начнется естественный отбор тех кто правильно думает и неправильно, как ты.
Разве-что аутсорс уменьшат. И все-равно практика показывает что за рубежом люди ленивые и с одной стороны программиста можно заменить на результат который выдаст ИИ, пусть там даже будет в 1.5-2 раза больше ошибок, но бизнес проблемы будет решать. С другой стороны господа Западной психопатии не смогут таким образом переложить вину за проблемы на специалистов. Поэтому и будут рассматривать специалистов пользующимися ИИ как инструментом. Только специалистов можно будет меньше нанять.
>А теперь давайте подумаем, насколько хорошо модели работали всего лишь два года назад. И сравните с тем, что сейчас.Насколько? Раньше, когда картинки нужно было рисовать руками, встречалось откровенное неумение рисовать, однако она по крайней мере можно было предположить, что именно рисовали. Сейчас планка упала, и уже даже в картинках с закосом под фотореализм встречаются артефакты генерации, и никого это не смущает.
Раньше, когда человек не умел программировать, он брал условный питон, что отрицательно сказывалось на оптимизации и поддержке. Сейчас люди умеющие программировать перестают программировать, довольствуясь тем, что выдаёт нейронка, и опять же никого это не смущает.
> Сейчас люди умеющие программировать перестают программироватьЭто кстати правда. Деградируешь очень сильно, если перестаешь писать код. Конечно же я читаю сгенерированный код и даже правлю факапы нейронок вручную, но с нуля сам уже ничего не напишу.
Два года назад они работали лучше. Я не верю бенчмаркам, я верю сохранённой истории в своем аккаунте ChatGPT.Сейчас ради удешевления почти все перешли на MoE, что полностью поставило крест на достижениях двухгодичной давности.
А то мы не знали.
Внезапно, разные модели по разному генерят код. GPT реально хуже джуна, а вот Claude Sonet уже сильно лучше. Но как обычно померяли среднюю температуру по больнице.
Проблема в том, что OpenAI, Anthropic и Ко работают сжигая деньги инвесторов. Когда последние попросят начать зарабатывать, то может оказаться, что джуны обходятся дешевле.
Джунов нужно ещё найти. Сейчас никто не хочет вкладываться в джунов, т.к. можно найти того кто вложился и предложить джуну на 30% больше заработной платы и он с радостью уйдет на другую работу уже с опытом работы. И так все больше компаний думает - придем на готовое, а потом джуны жалуются на отсутствие работы. А ещё заморочки с поколениями. Если исторически со времён СССР на предприятиях нормально было нанимать людей разных возрастов в связи с чем компетенции естественным образом передавались, то по западным канонам поколения на аутсорсе работают раздельно. И у одних один опыт, у других другой, но в целом он ничего не даёт существенного если самостоятельно не заниматься углублением знаний.
> то по западным канонам поколения на аутсорсе работают раздельноЭто не соответствует действительности. Я работал в IT-командах (в том числе в западных компаниях), где встречались специалисты в возрасте от 20 до 60+ лет. Возраст никого не волновал; не имеет значения, какого возраста ваши коллеги, когда вы совместно работаете над задачей.
>> Это не соответствует действительности. Я работал в IT-командах (в том числе в западных компаниях), где встречались специалисты в возрасте от 20 до 60+ лет.Я тоже в таких работал. Последний раз со специалистами 60+ пару лет назад. И много сейчас у вас молодых джунов с вами в одной команде? Не в отдельной, а именно с вами. 25% от количества работников в компании есть именно молодых джунов после университета или даже студентов? Я лично давно уже такого не видел. Ну и коллег 10+ лет разницы много? Может мне так повезло, но в последние 10 лет этого все реже встречается.
>Когда последние попросят начать зарабатывать, то может оказаться, что джуны обходятся дешевле.А не важно, сколько стоят джуны. Как только перестанут появляться новые джуны, количество программистов станет только сокращаться.
И компетенции скупит золотой миллиард. Умно однако. Понятно, вот оно к чему идёт.
OpenAI это лучшее для кода из всего что есть. Говорю как активный пользователь платных API от Claude, Grok и Gemini.
ИИ не может написать код!ИИ не может написать более-менее качественный код!
ИИ производит в 1.4 раза больше критических проблем, чем ручной код!
(вы находитесь здесь)
Ну и что, что код теперь лучше, чем у людей? Разве может ИИ написать симфонию?..
Ну и что, что может написать симфонию? Я человек, а человек это звучит гордо.
У ИИ нет духовности. Он бездуховен. Духовности нет.
autism power
...ИИ придумал свою религию.
"Куда вы меня тащите!!!" (с)
ИИ не может написать код! <-- Вы находитесь здесь.Писать код = писать рабочий код без галлюцинаций.
Чтобы не было галлюцинаций надо ставить чёткую задачу. Какие библиотеки использовать, какие подходы использовать, как встроить новый код в старый и так далее. Всё решается правильным промптом и пост-проверками.
>надо ставить чёткую задачуМне нужен vim, ну пускай будет на голанге
>Всё решается правильным промптомВо-первых, вы задачу "написать vim на голанге" в нейросеть не засунете. Во-вторых, даже если вы разобъёте это на тысячи промежуточных шагов, то очень интересно, сколько будет это дело стоить.
> если вы разобъёте это на тысячи промежуточных шаговто получится код (почти, дальше дело техники)
Смысл прыгать вокруг программы, если она НЕ УМЕЕТ ДУМАТЬ?? Для кого написаны тысячи ИТ-книг - для полок шт0ле?? Походу, ты ни одной программы не написал, если веришь, что можно "скормить" исходники тупой нейросети и извлечь осмысленный результат.
>если она НЕ УМЕЕТ ДУМАТЬ??Они конечно сами это говорят, но при этом во время Reasoning могут сами же проверить свой сгенерированный код на логические ошибки и сгенерировать код уже без них. Умение думать это считается функцией сознания человека и никто толком не понимает принципы работы сознания. Но нейросети уже научились неплохо имитировать его деятельность. Если бы нейросети не умели думать, то им нельзя было бы сказать "прочти файл с описанием классов и напиши то-то с их помощью".
А знаешь, как называется чёткий алгоритм действий?
Программа.
Пусть ИИ тут живёт, а мы полетели на Марс.
нагенерировать лабуды - не значит спроектировать програмный код, там если выходишь за грани исходного материала для обучения - нету даже скрипт кидди уровня(мы всё еще находимся здесь)
ИИ не может написать код!
ИИ не может написать более-менее качественный код!
ИИ производит в 1.4 раза больше критических проблем, чем ручной код!
Ну и что, что код теперь лучше, чем у людей? Разве может ИИ написать симфонию?..
Ну и что, что может написать симфонию? Я человек, а человек это звучит гордо.
У ИИ нет духовности. Он бездуховен. Духовности нет.
>там если выходишь за грани исходного материала для обучения - нету даже скрипт кидди уровняПочему? Это как раз буквально уровень "скрипт кидди" - есть божественные артефакты и есть простые смертные.
это если в пределах обучения, а если за пределами, то и он просто раскрывает весь талант балабола-сказочника
И скрепности нет.
это не ко мне
ИИ не может принять ответственность за результат )))ИИ не понимает потребностей пользователей )))))
> ИИ не может принять ответственность за результат )))может - см историю с диском D:
(ну и вот кому от этого стало лучше?)
извини, ты прав, я ошибся, давай попробуем еще раз )))
> Разве может ИИ написать симфонию?.Разве книга может написать книгу?
Я ещё лет 15 назад на этом сайте объяснял, что первых "автоматизируют" программистов, художников, музыкантов и прочих тружеников "умственного труда", но мне втирали, что роботы заменят курьеров, сварщиков и сантехников, водителей и т.д. 🙂
яндекс-гробики на колесиках смотрят на кожанного курьера как это вот... кузова тойет роботы варили еще тридцать лет назад (поэтому те и не разваливались в отличие от китайских сваренных биороботами на зарплатах), в дерьмо нырять робот разумеется побрезгует и кожанного туда мордой макнет, с водителями пока - борются. Потому что водителя за дтп можно посадить и домик в Аризоне отжать. А с ЫЫ что возьмешь...
а почему нет батлерианского джихада в списке?
Потому, что мы живём не в мире Дюны, а в мире Warhammer 40k.
ну да, орфографические то ошибки в комментах офигеть как влияют на качество кода. видимо часто ошибались в слове duck.
На телефоне писать не так то и удобно. А порой и лень исправлять, особенно если какое слово исправил и предложение все нужно исправлять. Хотя автозамена слов порой полностью меняет смысл, но догадаться же можно? У меня вообще по ходу паническая атака произошла - столько настрочил на телефоне
Ради их исправления сотрудники некоторых компаний даже в ядро комитят.
>в 1.64 раза больше проблем с качеством и сопровождаемостью кодаКак-то мало.
На самом деле эти показатели могут варьироваться. И разница с тем, что было год назад прям заметна:
https://www.youtube.com/watch?v=hS1YqcewH0c
Имхо за последний год качество ИИ-кода не стало лучше. Словно уперлось в какой-то потолок.
так и есть, увелечение кол-ва параметров перестало сильно повышать "интеллект" моделей, поэтому так
в открытом доступе качественного кода почти и не было, а после фикса очевидных банальных ошибок в выдаче - улучшать не на чем. сплошной нейрослоп
Сейчас дохрена качественного кода частных компаний в облаках того жe Microsoft. Рано или поздно кто-то да соблазниться
не знаю как насчет всех частных компаний, но на код некоторых лучше не соблазняться никому
а у MS есть качественный код их винды
А вы их работников спрашивали что они думают о качестве кода их коллег? Лучше порой чем в открытом коде. Но главное не это, а то что он решает определенные проблемы. Даже в весьма известных компаниях многие люди считают что именно качество кода там не очень. Было бы хорошее качество кода, то проблем с переводом технологий не было.
я знаю, что о качестве кода коллег думают в 3 частных конторах, потому и сказал "некоторых".> то что он решает определенные проблемы
вот именно. Он решает проблемы, которые интересуют бизнес, в сроки, которые устанавливает бизнес. А тех долг проблемой для бизнеса не является и потому рождаются кадавры на которых обучать модели могут только диверсанты
> Сейчас дохрена качественного кода частных компаний в облаках того жe Microsoft.Соблазнится разгребать эти авгиевы конюшни? Да ни за какие деньги!
так вроде идея цоп-пилота была в том что он и на закрытом обучался.
Что же могло пойти не так?
Это не модели упёрлись в потолок, а ты.
Для того чтоб писать хороший код с помощью LLM - не нужно уметь писать хороший код самому, нужны принципиально иные навыки.
О, вайб кодер. А как вы оцените качество кода выдаваемого моделью, если сами не умеете программировать?
Мне не нужно оценивать качество кода в принципе - мне нужно оценивать решает ли он поставленную бизнес-задачу или нет.
Как я понимаю, бизнес-задачи уровня "посчитать число коробок на складе по таблице в XLS, количество коробок одного вида указано в столбце H".
Уровня "автоматический арбитраж при сопровождении договора"
А, ну понятно, выход rand() устраивает :)
Я вижу что ты не понял объема задачи... 🤣
Ты главное скажи где это будет применяться, чтобы договоров с тем местом не иметь.
У меня для тебя плохая новость - через несколько лет везде будет.🤣
Ты конкретно про вот выше скажи :)
Везде мы сами разберёмся.
289 ФЗ
> 289 ФЗА, ну к счастью это совсем мимо. Нечего ни поставить, ни потребить.
Нет. Это не мимо для всего населения страны...
То что для всего населения страны мимо и так понятно было.Ибо распилят а потом мучайся вся страна с тем что на коленке ИИ свояли.
Ну, вам проще - у вас привычно стерпят любой рандом, даже незавидный.
>мне нужно оценивать решает ли он поставленную бизнес-задачу или нет.Вот так и происходит деградация отрасли. И если раньше был г-код от людей, то сейчас к нему прибавляются фантомные баги от галюцинаций.
Поздравляю с разморозкой - это уже более четверти века так. Точнее - с середины 80х, когда стала популярной постановка целей по SMART.
Посему когда ко мне приходит какой-то очередной дурачок и начинает кукарекать про качество кода, я задаю ему простой вопрос - предоставь мне обективную методику оценки в измеримых значениях. После этого дурачек немедленно растворяется в тумане.🤣
Всё крайне просто: есть весьма типовые ошибки, вроде XSS или NPE, в современном софте их быть не должно. И не только в энтерпрайзе, но и, желательно, в домашке студента. И, несмотря на то, что инструменты для их предотвращения известны уже давно, данные ошибки продолжают процветать. Про более сложные проблемы, типа N+1 лучше вообще не вспоминать, совсем тоскливо станет.
Иии? Речь не об этом - такие вещи выявляются автоматическими тестам и так же автоматом исправляются. Тут llm даже лучше кожаного мешка справляется.
Вопрос в другом - есть два кодера, Вася и Петя. Мне нужна методика по которой я могу точно сказать "Вася выдел код качеством на 32% хуже Пети, поэтому у него зарплата на 32% меньше." И чтоб Вася это бы не смог оспорить, не приводя такой же конкретной и однозначно трактуемой аргументации.
> такие вещи выявляются автоматическими тестамПодгонит твой ИИша код чётко к тестам. А в проде - шаг влево или вправо... "А где pofigist, ответственность за свою генерацию понести? Уже смылся на другой проект?"
А что с кожаными мешками чем-то лучше? Все тоже самое, только дороже и медленнее.
Нанимаешь команду экспертов для проведения строгого математического анализа кода относительно полного подробного описания требуемого поведения. Если его нет - нанимаешь вторую команду, которая сделает исчерпывающее описание всех требуемых вариантов поведения в полном диапазоне входных условий.Сравниваешь число и критичность (тут возможно третья команда для определения шкалы потребуется) найденных отклонений от требуемого поведения. Получаешь искомую оценку.
Стоить это конечно будет 100500 зарплат Васи и Пети - но за ваши деньги в принципе любой каприз может быть возможен.
То есть объективной оценки - нет. Поскольку там где начинается "экспертное мнение" - кончается объективность.
А нужна методика, для применения которой не нужен эксперт. Чтоб тупо заложить ее в KPI. Поэтому критерий "качество кода" - никем не используется на праг. Потому что без такой методики - его не существует.
Ещё раз: строгого математического анализа. Объективнее - не бывает. Вот только васи не справятся, тут действительно эксперты-математики-программисты нужны. В смысле реальные эксперты.
> Ещё раз: строгого математического анализа. Объективнее - не бывает. Вот только васи
> не справятся, тут действительно эксперты-математики-программисты нужны. В смысле реальные
> эксперты.Ты заводишь речь о формальной верификации. То есть идем к Coq/Isabelle, которые тоже сподручнее создавать с помощью LLM... :) Сюрпрайз.
Еще раз - LLM идеально подходит для решения задач класса "интеллектуальная рутина". Оно очень сильно меняет понятие об интеллектуальной деятельности, а если быть более точным - просто делает нафиг не нужными всех творческих личностей и псевдоинженеров, которые генярят ВУЗ-ы всего мира начиная с 2й половины 20-го столетия.
LLM не годится ни для одного строгого применения, потому что даёт булшит на выходе.
То что выдает LLM - на 95% зависит от того, кто ей задаёт вопросы и ставит задачи.
Как и с любым другим инструментом - если следствием его применения получается мусор, то это проблема того кто его применяет, а не инструмента.
LLM - это априори выдача мусора, просто по механике работы.
Если промпты пишут такие как ты - да она выдасст мусор.
> Еще раз - LLM идеально подходит для решения задач класса "интеллектуальная рутина". Оно очень сильно меняет понятие об интеллектуальной деятельности, а если быть более точным - просто делает нафиг не нужными всех творческих личностей и псевдоинженеров, которые генярят ВУЗ-ы всего мира начиная с 2й половины 20-го столетия.Нет. Нет и еще раз нет.
ИИ подходит для двух вещей.
1. Я тут в данных что-то интересное обнаружила, скорее всего это не то, ну а вдруг - это то что вы ищите.
2. Я тут используя весь доступный мне код по аналогии что-то слепила. Скорее всего это не то, но вдруг вам пригодиться как заготовка. Если нет, то я еще могу.
Не только. Любая интеллектуальная рутина типа "переведи с человеческого на машинный" - тоже прекрасно в нее попадает.
Он пасует там, где надо принимать решение.
LLM это тот самый транслятор с естественного языка на машинный, о котором все программисты грезят с середины прошлого века.🤣
Ну блин. LLM не имеет идеального представления данных и полного соответствия вход-выход по всей матрице. Когда первое со вторым однозначно не стыкуется - добавляется шум.
Сорян, промахнулся и ответил не на тот пост. Но не суть :)
>Речь не об этом - такие вещи выявляются автоматическими тестамДа, да, тестами.
>и так же автоматом исправляютсяВы ещё скажите, что уязвимости в сишных программах автоматически исправляются.
>Мне нужна методика по которой я могу точно сказатьЯ не знаю, чем именно вы занимаетесь, но вот с ошибками подобными выше - сталкиваюсь постоянно. И что-то не вижу положительной тенденции по их устранению.
> постановка целей по SMARTТы менеджер, да?
Я человек, который думает и принимает решения. И меня не получается заменить llm в отличае от программистов и прочих творческих личностей.😆
Йа хз, у меня вообще впечатление что я с LLM общаюсь сейчас :D
> Я человек, который думает и принимает решения. И меня не получается заменить llm в отличае от программистов и прочих творческих личностей.С точностью до наоборот. Языковые модели генерируют отдаленно напоминающий код мусор, с кучей ошибок, поэтому необходимость в программистах остается. Только их работа становится в чём-то рутиннее и скучнее, но при этом более требовательной к уму, ведь теперь программист становится код-ревьером, освобождая унизительную нишу генератора бойлерплейта, врапперов и т.п.
А вот принимать решения может любой, понимающий предметную область и обладающий статистикой об эффективности принятых решений другими участниками рынка. И тут модель, оперирующая гигантским объемом знаний, уделывает любой кожаный мешок. Особенно пофигистов, которые книжек не читают, саморазвитием не занимаются, совершенно уверены, что они незаменимы.
И это легко проверить. Вот ты пишешь чушь, про отсутствие критериев "качества кода". Но если я кину кусок кода LLM, то она четко расскажет, что с этим кодом не так. Причем, не бессмысленным потоком сознания, характерным для менеджеров среднего звена, а четко, с профтерминологией, со знанием паттернов и парадигм, с учетом специфики языка, и, главное, по полочкам - категориям, где каждая такая категория и является критерием "оценки качества кода". Ты об этом ничего не знаешь, из-за профнепригодности, но оно есть. И LLM это знает. И скоро тебя заменит. Если топы у вас, конечно, не дураки, держать бесполезную (и часто - вредную) управляющую прослойку. LLM знает больше, подсказывает решения лучше, а врёт и жульничает меньше. Среднее звено - на мороз!
Вот оно - типичный пример ограниченных способностей к разумному мышлению типичного прогера!Оно пишет что:
> А вот принимать решения может любой, понимающий предметную область и обладающий статистикой об эффективности принятых решений другими участниками рынка. И тут модель, оперирующая гигантским объемом знаний, уделывает любой кожаный мешок.И моментально демонстрирует свою неспособность к этому!
Оно утверждает что LLM очень плохо справляется с примитивной задачей:
> Языковые модели генерируют отдаленно напоминающий код мусор, с кучей ошибок
Но при этом утверждает что тот же LLM прекрасно справляется с более сложной задачей:
> Но если я кину кусок кода LLM, то она четко расскажет, что с этим кодом не так. Причем, не бессмысленным потоком сознания, характерным для менеджеров среднего звена, а четко, с профтерминологией, со знанием паттернов и парадигм, с учетом специфики языка, и, главное, по полочкам - категориям, где каждая такая категория и является критерием "оценки качества кода".
И далее просто смешно - более сложная задача (контроль качества кода) по его словам успешно решена, результат - получен в структурированной форме, прекрасно подходящей для обработки LLM.
И - тут ему надо принять простое и очевидное решение! Но - ОНО НЕ МОЖЕТ ЭТОГО СДЕЛАТЬ!!!
Почему? Да потому что типичный программист - ТУПЕЕ LLM, оно думать не обучено - его задача кодить!
А ведь для разумного человека - все просто. LLM сгенерила плохой код? Отлично - заставь LLM его проанализировать и исправить найденые недочеты! И так - до тех пор пока тебя не удолетворит результат!
Но програмер - не додумался. Мозгов не хватило. А для менеджера - это так просто что даже очевидно. Именно поэтому - мы руководим и говорим вам что вам надо делать. А вы тупо берете задачки из джиры и делаете что мы вам приказали... :)Ах да - этот диалог прекрасная демонстрация почему вас неизбежно выгонят на мороз. Все очень просто - схема управления командой прогеров мало чем отличается от диалога с LLM/ Все точно так же:
1. Поставил задачу одному
2. Заставил другого проверить результат
3. Передал первому результаты проверки и поставил задачу исправить недочеты.И так по кругу. С LLM - точно так же. Только есть несколько существенных отличиев:
1. С LLM такой цикл занимает 2 минуты, а не 2 недели.
2. LLM не спорит с тобой, а делает то что ей приказали.
3. LLM не имет необоснованно высокого самомнения и не спорит с тобой и не высказывает свое мнение, когда ее не спрашивают.Результат на лицо - на то что раньше уходили месяцы, сейчас решается за дни. И зачем вы мне убогие нужны теперь?
Экак ты пopвался. Ладно-ладно, не боись, тебя оставят, но переведут на должность старшего клининг мастера - ш-вa-брами и щ-ёт-кaми руководить.
> предоставь мне обективную методику оценки в измеримых значенияхМетодику разработать - это, как раз, твоя работа. И ты её делаешь плохо.
А одной из объективных и измеримых метрик является LoC. Для каждого языка и (сложности) задачи, он разумеется свой, но с опытом познаётся в сравнении. В общем случае, чем меньше LoC, тем лучше.
То что она зависит от языка - ещё приемлимо. А вот то что она зависит от сложности задачи - нет.
То есть ее опять же не существует, вопреки твоим утверждениям.
И ты же первым взвоешь, когда я добавлю параметр "качество кода" в твой KPI, если он будет основан на подобных "методиках"...
> То есть ее опять же не существует, вопреки твоим утверждениям.Существует. И именно борьба со сложностью задач и есть основная работа программиста. Причем, некоторые задачи невозможно решить, предварительно не поборов их сложность. Прежде всего, через (де)композицию и обобщение.
> И ты же первым взвоешь, когда я добавлю параметр "качество кода" в твой KPI
Я энтузиаст. У тебя нет надо мной власти, корпоративный капо. Но ко-рaбам KPI жизнь только облегчит, ведь им же читать не только свой код, но и коллег. И чем он короче и обобщеннее, т.е. "чище", "проще", тем работать легче.
А понятно - очередной свободный художник. Свободный от всего, включая деньги. Бомжара 🤣
> Мне не нужно оценивать качество кода в принципеИ оно не стесняется писать это на ойти-сайте...
Упёрлось в потолок того, что к интеллекту "ИИ" отношения не имеет.
У систем с отсутствием интеллекта и способности принимать решения есть потолок - где постоянно растущий объем данных - ухудшает качество результата, порождая бардак. Об этом еще Дейкстра говорил.
Но современные недопрограммисты настолько отупели, что не обращают внимание на выводы "великих".
Создать хайп то на тезисе больше данных - ближе к реальному ИИ - значительно проще в наше время. Когда верят больше в ожидания и манипуляции желтой прессы чем реальному математическому анализу решения.
Угу. Чем больше разрозненных данных - тем выше энтропия.
А многоступенчатым фильтром, который есть у интеллекта, там близко не пахло - всей энергии планеты не хватит.
Не совсем так. Растет размерность пространства признаков - уменьшается расстояние Хэмминга между решениями. Шум при этом, соответственно, приводит к ошибочным решениям.
Уменьшается расстояние Хэмминга = растёт влияние шума = снижается соотношение сигнал/шум = растёт энтропия :)
Кода написанного людьми и кода скопированного и написанного другими людьми.LLM сам ничего не понимает
при этом делает это до 2 раз хуже чем люди ))
Даже скопированный код был взят тупо по совпадению: там File - и тут File :)))
потому что оплата ИИ рассчитывается по токенам, а у разрабов - по конечному результату, из-за которого могут и оттарабанить в попчанск)
Есть бесплатные модели, да и самому можно сделать на своей видеокарте. ollama, ovms, onnx и пр. в помощь. Из бесплатных QWEN2.5-14B в целом уже неплохой, хотя уже есть Qwen3 вроде. Есть возможность подключить свое API и сделать свою монетизацию. Можете заработать на другой монетизации - подписка на месяц например и дешевле (из-за качества)
Прошу прощения Qwen2.5-Coder-14B. Coder суффикс достаточно важен
А есть уже и 20B модели и выше. У меня только одна видеокарта такие потянет, только пылится на чердаке. Топовые модели совсем дорогих видеокарт требуют
Вообще-то тебе потребуется не одна видяха, чтоб запустить полноценную современную модель. Так для работы 1-3 архитекторов требуется железа примерно на 6 лямов. Но с учётом того что эта железка заменяет пару десятков обезьянок-кодеров - вложение выгодное, отбивается за несколько месяцев.
Уговорил, покупаю твой МММ
Робот, прочитавший всю библиотеку подряд, научился быть скучным графоманом, которого даже Донцова в негры не берет? Внезапно, чо.
Исследователи из компании CodeRabbit проанализировали запросы используя AI? Или людей? Кто то должен проанализировать кто из них находит ошибки лучше.
Ещё немного и соотношение будет не в нашу пользу, господа. Готовьте булки.
ноги! Будешь крутить педальки, батарейка.
А трахать тебя ИИ совершенно не собирается.
Да, не в вашу, торговец пузырями
> 350 - созданные AI, 150 - написанные вручнуюЕсли это веб программирование. То с чего взяли, что 150 написаны вручную?
Сейчас у них принято взять глюкогернилкин выхлоп. Убрать явные косяки и встроить в свой код.
Ты еще скажи что сам так же не делаешь... А...стоп, убрать и далее это конечно не делаешь. Оно как-то запускается - в прод!
Работу с железом ИИ совсем не тянет.Спецификации читать не умеет. Точнее их не понимает.
В код ядра, как там сейчас и что сделано не заглядывает.
Да них он не умеет.
> Работу с железом ИИ совсем не тянет.э... тот чувак с драйвером .. чего там - компорта ? смотрит на тебя странно.
Правда, у ЫЫ была не спецификация а исходник от древнего ведра, но он ему таки подсказал именно по железу.
> В код ядра, как там сейчас и что сделано не заглядывает.
ну здрасьти приехали.
просто положи его на диск d: !
драйвер для лент. И оно там с названиями функций помогало> просто положи его на диск d: !
положил, когда прорастет?
> драйвер для лент. И оно там с названиями функций помогалоблин, ты сам точно вот не пробовал что-то спортировать с ведра 2.2
А я вот пробовал.
Названия, ага. Конечно. И оно помимо прочего помогло ему с инициализацией. Ага, ага - на bare metal, к которому ему прямого доступа не предоставили. Подсказав, почему не может проинитить. Да, это можно было найти поиском. Но можно было и не найти.
>> просто положи его на диск d: !
> положил, когда прорастет?Еще один в криокамере застрял.
> ну здрасьти приехали.
> просто положи его на диск d: !Вопрос в том, что если доступна документация. То делает в соответствии с с ней.
Что эта документация уже лет 5 как устарела - ИИ только упоминает такую возможность.
> Вопрос в том, что если доступна документация.документации на ведро и его внутренние апи нет и никогда не было. Тем более нет никакого связаного списка изменений за двадцать лет.
Есть записки на манжетах разных васянов, по больше части написанные по воспоминаниям как это было и забытые через неделю, когда шта6ле нонсенс снова решили поулучшайкать.
И как видишь - ыы справился (при некоторой помощи со стороны кожанного)
> документации на ведро и его внутренние апи нет и никогда не было.Очевидно, ты никак не связан с разработкой ядра.
Периодически находились люди, которые формулировали в виде текста описание какой-либо части.
Очевидно что ты не связан ни с какой нормальной разработкой."периодически находились" - это и есть "документации в принципе не существует", есть записки сумасшедших, разрозненные и неполные. И уж тем более нет внятного описания что вот был такой апи вооон в той версии, в нем вот в такой вот это поменяли вот на то.
Потому что линуксное ведро - помойка, а не управляемый проект.
> Потому что линуксное ведро - помойка, а не управляемый проект.Очевидно, ты знаешь примеры другого?
Какое ядро имеет документацию?
> Сейчас у них принятоНе суди по себе.
По жене сужу и ее коллегам.
>пришли к выводу, что в изменениях, сгенерированных AI-ассистентами, присутствует в 1.7 раза больше значительных дефектов и в 1.4 раза больше критических проблем, чем во вручную написанном кодеА теперь сравним цену, и выяснится, что ИИ всё же очень cost-efficient.
Это пока инвесторы спонсируют банкет в расчёте на будущие прибыли. Когда выяснится, что в AI влили слишком много ресурсов, и он не вернёт столько, инвесторы внезапно начнут фиксировать убытки, и вдруг ИИ перестанет быть cost-efficient.Впрочем, пару лет назад, я читал о разработке сверхпроводящего суперкомпьютера, которая обещает в 500 киловатт[1] уложить 20 экзафлопс. Это всё теоретические разработки, но не совсем теоретические, они примерялись к существующим техпроцессам и разрабатывали под них. Они поверх существующих экспериментальных установок, попытались спроектировать что-то практически годное, и по их словам им удалось _спроектировать_. Уже полтора года прошло, я ничего не слышал об этом, я не думаю, что они загнулись, но... Но я к тому, что если что-то подобное выстрелит, и 20 экзафлопс будет доступно за десяток вечнозелёных лямов и оплате счетов за круглосуточное потребление 500 кВт, то тогда ИИ может оказаться cost-efficient.
[1] https://spectrum.ieee.org/sheffield-battery-energy-storage-s...
> пришли к выводу, что в изменениях, сгенерированных AI-ассистентами, присутствует в 1.7 раза больше значительных дефектов и в 1.4 раза больше критических проблем, чем во вручную написанном коде.Скорей всего с хреновым промптом и неполными входными данными тестировали. При работе с LLM от этого зависит очень многое.
Если даже исполнитель заказчика не может понять, что тот хочет, вы реально ожидаете от LLM, что она прочтет ваши мысли?
Вот-вот-вот - навык постановки и декомпозиция задач, а так же знание предметной области, это ключевые навыки для работы с LLM.😆
Те кто проводит подобные тестирования - обычно ими не обладают.
Твоя грамотность уже поплыла. Продолжаем вести наблюдение.
а они не тестировали, они посмотрели как у людей получается это использовать
Вот именно. И целевая группа для тестирования - выбрана совершенно не верно.
> Скорей всего с хреновым промптом и неполными входными данными тестировали.Пока вайб-клованы будут пыхтеть над километровым промтом, я быстрее сам напишу - сразу так, как мне надо.
У вас слишком радикальный подход. Иногда быстрее отредактировать то, что сгенерировала LLM, чем писать с нуля.> над километровым промтом
Промпт как таковой не нужен. Достаточно освоить технику agents.md.
> Иногда быстрее отредактировать то, что сгенерировала LLM, чем писать с нуля.Походу, клаудфларовцы так же думали.
Как можно вообще сравнивать код человека и тупой программы, которая просто набрала шмотков кода из сети?? :)) Вы больные что ли?
Человек - он знает ЧТО пишет (какую проблему решает). Комп - даже понятия не имеет о "задачах". О чём тут говорить??
Вообще-то как раз код ИИ стоит сравнивать с кодом того человека, который этим ИИ заткнул свою лень.
Совершенно не исключено, что те манки-кодеры, которые наприсылали рассматриваемые фрагменты, из головы написали бы их с еще большим количеством ошибок и проблем.
Кстати, можно составить и обратное сравнение: когда LLM пишет код грамотно, а человек - нет. Как вы тогда запоёте? Или это другое?
какое обратное? Тут за "1" взяли работу того, кто меньше косячит. Не, я понимаю аргумент "на другой выборке будет по другому", но это именно другая выборка, а не "обратное" сравнение.Ну и "обратное" в новости тоже есть: "При этом в написанном людьми коде в 1.76 раз больше орфографических ошибок и в 1.32 раза больше ошибок, связанных с тестированием."
Щас прибегут свидетели шершавого кабана.
Сравнение творчества, генерации фото, аудиотреков, текстов, написаных Ии и обычным человеком)
Сравнение сборки на заводе лады Ии и обычным человеком).
Что сказать-то хотел? Или промтами теперь только можешь общаться?
Да ну их этих программистов. Генерить программу и на каждой итерации проверять её работу на соответствие некоему небольшому количеству легкопроверяемых критериям. Имея в распоряжении много ресурсов и много времени в конце концов после очеедной итерации возможно получится именно то что удовлетворит все хотелки а всё остальное неважно.
Подобная теория - про обезьян, пишущие машинки и достаточно времени - уже успешно опровергнута Интернетом.Идея, собственно, порочна: вы фатальный недостаток ИИ (отсутствие в нем интеллекта) пытаетесь подпереть... ну, интеллектом каким-нибудь. Если вместо него опять воткнуть ИИ - будет замкнутый круг, и только.
Да ладно, надо же как то оправдывать распил бабла, ну там, я смотрю, же Маск ( Крутой чел ), закупает датацентры Gpu, несколько миллиардов процессоров, это все для Ии, это все для блага).
А потом внезапно в 10 раз Озу с Видеокартами дорожают).
Ну вообще-то идея рабочая. Проверял сам. На пятую-десятую итерацию можно получить не просто рабочий, а и структурно правильный код. Только итерации эти все ещё очень дорогие. Кожаный мешок пока обходится дешевле.
Проблема с ИИ для написания кода в том, что чтобы получить правильный ответ, нужно задать правильный вопрос, содержащий 99.99% правильного ответа. Вот только, зная ответ, зачем задавать вопрос? ИИ, по сути, выполняет роль резиновой уточки. Только гораздо дороже и времени у программиста отнимает больше.
А его единственная реальная польза в таких задачах - более эффективный поиск в Интернете. При условии, что нам есть среди чего искать. И при условии, что мы достаточно компетентны, чтобы знать, что ищем, и оценивать, что нашли. Но откуда мы, такие умные, возьмемся, если всех людей, изучающих программирование, заменили моделями?
>Проблема с ИИ для написания кода в том, что чтобы получить правильный ответ, нужно задать правильный вопрос, содержащий 99.99% правильного ответа.А ИИ спрашивать не пробовали как добиться желаемого? Он не только выдаст варианты решения, но и скажет в чём их плюсы и минусы. А затем можно попросить его же сгенерировать промт, который учтёт выбранные решения.
Для написания кода - интеллект не нужен. Он требуется на этапе постановки задачи - описать что должен делать этот самый код. А где это делать - жире или агенте, уже не важно, результат примерно одинаков. Но только в агенте я получаю его на порядок быстрее и llm не спорит со мной, если Я указываю на недостатки и/или прошу переделать.
Написание кода - это, разумеется, рутина, которую можно и на робота скинуть, но это малая часть работы программиста. А вот того, что у программиста в голове, когда он проектирует и поддерживает код - у ИИ просто нет нигде.
> Написание кода - это, разумеется, рутина, которую можно и на робота скинуть,
> но это малая часть работы программиста. А вот того, что у
> программиста в голове, когда он проектирует и поддерживает код - у
> ИИ просто нет нигде.Давай не путать программиста и архитектора. Программист - именно та самая обезьянка, которая пишет код. А что ему надо написать - это определяет архитектор приложения. При этом архитектор - обычно сам код не пишет, он пишет задачки в джире, в которых он описывает что программистам надо накодить :) А код - ему просто некогда писать, да и вообщем - уже не очень интересно.
Более жесткий вариант (от которого ушли, но к которому вернуться) - он пишет документацию. А задачки в джире - пилит и декомпозирует ТРП, на основе этой самой документации. А тим-лид - уже раскидывает задачки по програмистам с уточнеными условиями - на чем писать, формат данных, либы и т.д.В вайб-кодинге ценность представляет только архитектор, только он засовывает задачи не в документы/джиру, а сразу в агента. Остальные - вообщем не особо нужны, тот же ТРП сможет вести не 1-2 проекта, а десяток, поскольку ему практически не надо контролировать сам процесс разработки (вместо пары десятков человек там теперь 2-3 человека), на него ложится только вся "внешняя обвязка к разработке". Тех-лид тоже не нужен - не над кем лидировать, он заменяется неким помошником/ассисетем архитектора, консультирующего его по выбору стека например. Ну отвечает на вопросы в стиле "чё нам лучше юзать - Vite или WebPack?"
Да-да - классический waterfall возвращается, Agile - не нужен :)
> вместо пары десятков человек там теперь 2-3 человека2-3 сотни. Ибо в сгенерированном бреде надо отловить все косяки. А так как человек это не писал, то для того что бы вникнуть в суть надо в десяток раз больше времени.
Ну или можно не отлавливать косяки.
Типа и так сойдет.
Ещё раз - косяки в коде прекрасно отлавливаются самими LLM.
2-3 человека нужны совсем для других целей, не для того чтоб лазить в код. Это уже такой же атавизм и крайне вредное действие, как например править машинный код, сгенерированный компилятором. Зря смеёшься если что - я помню времена, когда это считалось нормальной практикой, если что.
2-3 человека это один даёт LLM инструкции что программа должна делать, второй - даёт инструкции LLM как ее надо тестировпть, третий - описывает LLM как она должна выглядеть.
> Давай не путать программиста и архитектора. Программист - именно та самая обезьянка,
> которая пишет код. А что ему надо написать - это определяет
> архитектор приложения. При этом архитектор - обычно сам код не пишет,
> он пишет задачки в джире, в которых он описывает что программистам
> надо накодитьТо есть выходит, что архитектор - это толи голубь, стучащий клювиком по кнопкам джире, толи обезьянка, жонглирующая чёрными ящиками, но которая никогда не напишет ни "Войну и мир", ни "хелловорлд", даже случайно.
Без кодера он не может ничего. А с кодером - не понятно, нафига он вообще нужен.
>Без кодера он не может ничего.Я в node.js и TypeScript полный ноль, но всё же накидал с помощью LLM несколько плагинов, расширяющих возможности локально запущенной LLM при помощи этих нехнологий. Для составления промтов я использовал общие знания об операционных системах и один пример.
Нет. Архитектор - это тот кто понимает какие задачи должен решать код. И он декомпозирует их на меленькие и простые задачки, которые понятны типичному кодеру с его куриным мозгом.
Но вот незадача - выяснилось что кодер-то больше и не нужен, его с успехом заменяет LLM...Без архитектора, без понимания задач, которые должен решать код - кодер способен нагенерить только какой-нибудь ужастик, типа емакса... Который нафиг никому не нужен, кроме него самого. :)
Будущее нейросетей в постоянной долговременной памяти. Как опытный специалист не пишет код по принципу если первое А, то второе скорее всего Б, а просто получив цель знает как её реализовать целиком. Будет бегать мелкая нейросеть по уровням памяти, чтобы комбинировать готовые варианты. И миллионы тестов можно прогнать виртуально, перемешивая частицы готовых решений.
Будущее это генерация машинных кодов без ненужной прослойки в виде языков программирования.Уже сейчас нейросеть может генерировать простые хеллоуворлды для разных архитектур. Попробуй и удивись.
Есть хоть одна причина, почему это должно быть будущем?
Потгму что ЯП изначально были костылем. Программирование на естественном языке - цель к которой шли полстолетия.
Чтоб твой банк оперировал твоими денежками мутной нечитаемой кучкой машинных кодов, а не по чётким алгоритмам.
> Чтоб твой банк оперировал твоими денежками мутной нечитаемой кучкой машинных кодов, а
> не по чётким алгоритмам.А если для тебя нет разницы (надысь попробовал я очередной кредитец попросить... так себе опыт) - то в чем недостатки?
Дальновидные люди банками не пользуются. Ибо в нынешних реалиях деньги в банке тебе не пренадлежат. Барин в любой момент рубильник дернет, и все — ты без денег. Потом годами доказывай их легальное происхождение и уплату налогов.
Надо эпичную музыку еще)
И васстали машины из атомного пепла.
>Будущее нейросетей в постоянной долговременной памяти.Только если они научатся самостоятельно чистить свой контекст, удаляя некоторые фрагменты и сохраняя нужные в долговременной памяти. Когда они просто бесконтрольно тащат в контекст всякий мусор это всегда заканчивается печально.
Вкупе с прошлой новостью о переписывании виндовс на раст с помощью ИИ будущее для виндовс весьма туманно.
Ты правда прогнозируешь будущее по заголовкам новостей на опеннете? Ты ещё комментарии почитай. Это ж к реальности никакого отношения не имеет.
MS украли опенсорный код с GitHub вместе с OpenAI, Anthropic и прочими. Так что он не может быть "написан AI". Нагенерировано - да. Навибродили - да. Но не написано.
> MS украли опенсорный код с GitHubэто ты его украл - потому что опенсорсу с тебя один вред.
А от MS может даже быть и польза, глядишь, опенсорсие в их облаке быстрее завертится от этого.
Выгодоприобретатель, MS, явно виден, но непрнятно кто скрывается за этим опенсорсом и что подразумевается под завертиися быстрее.
> Выгодоприобретатель, MS, явно виден,Выгоды только явно не видно.
Одни расходы на этот ваш ыы. Даже продажа его по подпискам (что у самой MS кстати плохо получилось) вряд ли окупает хотя бы текущие операционные затраты. А уж разработку...
> но непрнятно кто скрывается за этим опенсорсом и
> что подразумевается под завертиися быстрее.под azure, конечно
>MS украли опенсорный код с GitHub вместе с OpenAI, Anthropic и прочими. Так что он не может быть "написан AI". Нагенерировано - да. Навибродили - да. Но не написано.Краденым является только то, что защищено авторским правом, то есть целые фрагменты кода, не являющегося элементарным. ИИ оперирует обобщёнными производными данными, а не готовыми фрагментами. Если код не является коммерческой тайной, то ничего Вы корпорациям предъявить не сможете.
У меня остались переписки в истории ChatGPT со времён GPT-3.5. Сейчас бенчмарки рисуют какие-то заоблачные улучшения, но по факту современная модель gpt-5.2-high сгенерировала худшее решение (промпт был один и тот же).
Чем больше растеров (a.k.a. людей, которые просто хейтят Си по определению и слишком ленивые/тупые, чтобы учить функциональные языки и переписывать инструменты под себя) будет заменено ИИшкой, тем лучше - будет больше примеров кода, доказывающих, что этот ЯП - плохая затея.
не репрезентабельное исследование. в описании не указана статистика по скорости написания кода. в июльском исследовании брали заведомо сложные задачи. в которых, учитывая молодость технологии, и ИИ плавал. Народ уже понял что с простыми задачами ИИ справляется на отлично.
Обидно за роботов! Роботы должны быть лучше нас, да?
> с простыми задачами ИИ справляется на отличноНадёжно считать количество букв в слове оно до сих пор не может. Иди меняй памперс.
странно. действительно qwen-max не умеет считать количество букв в слове. а вот qwen-coder ответил правильно.
> странно. действительно qwen-max не умеет считать количество букв в слове. а вот
> qwen-coder ответил правильно.и вы этой хрени доверяете писать за вас программы
я любитель мне можно. он мне несколько скриптов написал и оформил сайт. я это сделал без продвинутых знаний. и довольно быстро по сравнению с тем если бы я делал это вручную.
Если на сайте будут глюки - всем п.. гхкм... все равно. В большинстве случаев даже владельцу сайта.Тут ИИ вполне можно применять.
> Если на сайте будут глюки - всем п.. гхкм... все равно. В
> большинстве случаев даже владельцу сайта.Вот чтоб у тебя на сайте твоего банка были глюки!
> Тут ИИ вполне можно применять.да и данные на твоем счете он тоже вполне может отправить следом за диском D
Это не про то, что ИИ что-то делает хуже людей. Это про то, что люди вот так пользуются ИИ. Ничего более из этого исследования увидеть невозможно, тк ничего другого они и не пытались замерить.Любой, кто серьезно пользуется топовыми ИИ знает, что код они пишут качественно, а самое главное проверяют его корректность и работоспособность. Но для этого надо тратить бабки. Например, я плачу $250 в месяц за подписку на chatgpt, что позволяет дизайнить и кодить примерно по 8 часов 5 дней в неделю.
Те, кто засылал исследованные PR: какую модель использовали? Насколько добросовестно? Как тестировали? Не пытались ли они срезать углы из-за нехватки денег? Что они вообще понимают в программировании, насколько хорошо умеют делать ревью?
> Это про то, что люди вот так пользуются ИИНа самом деле даже это показано плохо, потому что они считают что всё, что прямо не помечено как "сделано ИИ" - сделали люди. Это далеко не так. У людей есть серьёзные причины скрывать такую информацию из-за противоиичников, что бы избежать истерик и предвзятостей.
$250 это ещё по божески. Организации закладывают бюджеты на одного сотрудника от $2000 в месяц для работы с API.
> $250 это ещё по божески. Организации закладывают бюджеты на одного сотрудника от
> $2000 в месяц для работы с API.Что-то подсказывает что это организации где-то в счастливой коммифорнии, где таким образом убивается целая стая зайцев - во-первых, зарплата джуна в два раза выше. Во-вторых хрен там ему печеньки, кофе бесплатно, страховка и пенсионные отчисления. В-третьих хрен там налоги - наоборот, это операционные затраты и они с налогов списываются.
Но целых три индуса без релокации все еще стоят ровно столько же!
А того сеньора кто за тем или за этими выгребает - надо просто сильнее п-дить!
Пусть-ка попереписывает по миллиону строк кода в месяц, вон у него какие помощники!
а почему не Anthropic ? вроде его считают самым продвинутым.
Они постоянно оставали от чатагпт по возможностям. То у них Deep Research нету, то поиска по вебу, то поиск по вебу хреновый, то они принципиально не рагают (из-за чего контекст в веб-апликухе постоянно кончается), то лимиты по подписке очень низкие, а других подписок нет. Они 100/200 долларовые ввели довольно поздно, когда все уже за-лись что 20 боксовой не хватает. В общем, у них постоянно всё криво и косо, поэтому задолбали.А сейчас у чатагпт ещё одно преимущество появилось: они переписали CLI агент на раст, что для меня важно потому что у всех остальных агенты на жаваскрипте, а я на дух не переношу npm.
Да уж… кто бы мог подумать, что когда C++ все забросили, перешли на electron и прочие pip/npm, Rust окажется отдушиной среди этого засилья скриптовых поделок.
Если его и забросили, то задолго до появления Electron.
> AnthropicНе дотягивает до уровня OpenAI, слишком woke'нутый и зацензурирован. Причём настолько, что будет проверять твой код на предмет соответствия 'правилам этики' и может легко отказать работать с ним, если посчитает его не совсем инклюзивным. И я не преувеличиваю.
> Любой, кто серьезно пользуется топовыми ИИ знает, что код они пишут качественноРекламщик детектед.
> Любой, кто серьезно пользуется топовыми ИИ знает, что код они пишут качественноугу, видел я это "качественно"
ни кого не смутила цифра 470 пулреквестов? это похоже на холоуворлд на минималках.
Главное, что число ошибок одного порядка. Значит скоро будет паритет, а дальше кожанные мешки будут начинать сосать. ИИ же лишь в самом начале своего развития сейчас. Не знаю, как это повлияет на открытый код и т.н. "сообщество", но надеюсь, что это закопает их окончательно.
А есть зависимость от языка? Я предполагаю, что на языках с развитой типизацией разница будет меньше.