Исследователи из компании CodeRabbit проанализировали 470 pull-запросов (350 - созданные AI, 150 - написанные вручную) в открытых проектах на GitHub и пришли к выводу, что в изменениях, сгенерированных AI-ассистентами, присутствует в 1.7 раза больше значительных дефектов и в 1.4 раза больше критических проблем, чем во вручную написанном коде. В среднем в сгенерированных через AI pull-запросах присутствовало 10.83 проблем, в то время как в созданных вручную изменениях данный показатель составил 6.45...Подробнее: https://www.opennet.ru/opennews/art.shtml?num=64485
> в написанном людьми коде в 1.76 раз больше орфографических ошибок и в 1.32 раза больше ошибок, связанных с тестированиемну вот и хороший критерий по которому можно отличать человеческий код от поддакивающих пользователю галлюцинаций.
Да просто к AI сервисам надо относиться как к младшим помощникам, а не полностью полагаться на них.
https://www.google.ai
> как к младшим помощникам...которые замедляют работу, вносят больше ошибок и создают проблемы безопасности. Странно, а Си за такое запретили почему-то.
Дал корректный промпт, AI выдал код, который естественно надо посмотреть проверить.
меня кстати от орфографических ошибок и опечаток в коде бомбит, видно сразу, что человек невнимательно писал.
Ну как минимум есть дислексии, не говоря уже про всё остальное. Я, например, ошибки банально не вижу, если они по какой-то причине не подчёркнуты.
Скажите пжл кто в теме, вот почему графика в винде, mac os плавная и работает без ошибок, даж винда 3.11 норм работала по графике, а вот x11 или Wayland - регулярные глюки?
Что-то делаете не так. Дрова не поставили, пакеты для ускорения opengl и vulkan, например.
По теореме футболинга, виноват кто угодно, но не разраб исков/вауляндии. Виновата нвидия, виноват разраб ДЕ, виноваты авторы кривых приложений, и, самое главное, виноват ты.
Есть какой-то критерий плавности объективный и реальный список глюков? Например, кнопка пуск в виндовс 11 на реакте не плавно работает, половина приложений в виндовс 11 не масштабирует шрифты от слова совсем.
> Есть какой-то критерий плавности объективныйКонечно. Называется FPS.
не, это про другое, я про комфорт визуальный
Дизайн ещё не придумали в формулы загнать.
> Конечно. Называется FPS.UI обновляется как можно реже (чтобы батарейку не жрать) во всех ос, то есть когда нету анимаций там 0 фпс.
Я вообще всегда все эффекты в винде отключал, ставил классическую тему, до тех пор как это можно было.
Ну типа в винде и macos все формы более гладкие и естественные, без рубленных краев, движения интерфейса тоже более естественные и нет вот этих танцев с бубном по настройке графики и драйверов как в линукс, по сути все из коробки.Графический движок винды это DirectX, в macOS — Quartz Extreme и Metal, в Linux — серверы X.Org или Wayland. Вот графические движки Linux сложно написать ну каким нить обратным инжинирингом как в винде?
DirectX тут вообще не к месту) Quartz это дисплейный сервер + менеджер окон одновременно, X.Org это просто дисплейный сервер, Wayland это протокол для создания этих серверов, но DirectX совершенно другое, это всего лишь набор мультимедийных API) Реальной виндовой альтернативы, по сути, нет вообще, там вообще нет дисплейного сервера, ибо, вся система создана для работы в графическом режиме и именно он первичен, а не терминал, большинство операций с графикой выполняет на очень низком уровне, включая ядро. Самое близкое, это Desktop Window Manager, но это лишь один менеджер окон, он не является дисплейным сервером
Вот главная проблема - "Графический движок"!
У винды это не DirectX.
То есть, скорее всего было так, вы поставили винду, накатили дрова и сверху "полирнули" ДиректХ.
А линукс вы поставили, увидели Х.орг/Вейланд и подумали что это тождественно ДиректХ.
Поставьте дрова на линукс и будет вам щястье!
OpenGL и Vulkan реализуются Mesa-ой. Mesa в системе точно присутствует. Поэтому какие ещё дрова?
>Ну типа в винде и macos все формы более гладкие и естественные, без рубленных краев, движения интерфейса тоже более естественные и нет вот этих танцев с бубном по настройке графики и драйверов как в линукс, по сути все из коробки.очень палевный наброс. какие движения? какие края? какие бубны с танцем? солянка чьих то пересказов
> Ну типа в винде и macos все формы более гладкие и естественные, без рубленных краев, движения интерфейса тоже более естественные и нет вот этих танцев с бубном по настройке графики и драйверов как в линукс, по сути все из коробки.В андройде так и есть, и там линукс. Wayland не сервер, то есть считай есть комбинация драйвер видео + де, которая реализует вейланд как хочет.
>Вот графические движки Linux сложно написать ну каким нить обратным инжинирингом как в винде?
Вейланд так и написали (только реверс не нужен), чтобы оно ближе было к железу. Последние версии де+драйвера, должны летать, даже на nvidia. На радеоне уже давно все лучше чем в винде.
Регулярные глюки вполне возможны из-за Wayland и драйверов видеокарты. На Х11 как правило даже на nouveau все работает достаточно плавно, хотя очень редко бывает что ваше железо не поддерживается nouveau и работает с глюками и тогда нужно искать драйвер видеокарты, но лучше купить железо которое linux поддерживает. В ином случае порой лучше поставить дистрибутив который будет работать без глюков. У меня много разного оборудования было - новое, старое и глюков нет, хотя порой времени на настройку уходило много и да - нужно сидеть, разбирать проблему. Порой кому-то зачем-то нужен какой-нибудь gstreamer, порой какая-нибудь либа из-за которой ничего по человечески не работает, порой все настроено нормально, а открываешь браузер и все глючит, открываешь about://gpu, а он просто аппаратное ускорение не использует или какую фичу для которой нужно скачать какую-то хрень определенной версии и никакой другой. А после обновления ещё другой.
да в т.ч. про это речь, окей, я понял что винда напрямую графику строит по сути на уровне ядра с минимумом всего, а на linux немного сложнее устроено
>> да в т.ч. про это речь, окей, я понял что винда напрямую графику строит по сути на уровне ядра с минимумом всего, а на linux немного сложнее устроеноLinux это солянка из идей разного направления. Разные люди же с ним работают и с разными целями. Более академическим кодом считаются BSD системы, т.е. его уже делают чаще студенты и преподаватели и все-равно у BSD частая проблема отсутствие поддержки железа - просто никто не сделал драйвер. А винда напомню имеет те же проблемы без драйверов, но они просто в этом направлении хорошо поработали. Это ведь коммерческая компания и они могут договариваться с производителями. Тут была новость речей Линуса с критикой производителей железа, что нужно работать более тесно, но Linux Project по сути НКО - денег меньше занести могут, пользователей (покупателей) меньше. А также требования по открытости кода предоставляющей коммерческий интерес, а также их лицензии добавляют всякую белеберду. Доходит до того что некоторые программные решения решающие проблемы находятся в каком-то отдельном репозитории из-за лицензии и по умолчанию не ставятся. Ну это ж в некоторой степени бред. Правда этот бред открытости и делает систему потихоньку лучше других.
Наркоман? Вынь 95,98,me не bsodили по 10 раз в день как раз из-за графики в ядре?
Я нечто такое припоминаю, когда переезжал с FreeBSD на всякие Linux'ы, причём не только в графике было отличие, а ещё и в звуке, и когда даёшь нагрузку на диск. И мне тоже показалось это странным, ведь Linux пилят намного больше людей, и оно естесственным образом могло бы уже стать конфеткой.Возможно, проблема в том, что вместо того, чтобы полировать существующее, придумывают всякие новые wayland'ы, расты и т.д., которые потом ходят и везде навязывают, и все силы уходят туда и войны в комментариях.
Wayland, KDE и AMDGPU. Все плавно и работает без ошибок. Так что вопрос к используемому железу и софту.
руки из ж*пы у тебя потому что
А теперь давайте подумаем, насколько хорошо модели работали всего лишь два года назад. И сравните с тем, что сейчас. И экстраполируйте, даже консервативно, на ещё 5 лет. Это не шутки.
https://xkcd.com/605
Если сейчас в 1.5 раза больше ошибок, то даже без экспоненты, просто итеративными улучшениями легко эти 1.5 победить за 5 лет. А в реальности будет за год.
На основе чего? ИИ уже схавало весь существующий код.
На основе алгоритмических улучшений.
Например одна модель пишет, а вторая ее проверяет.
Или отдельные части кода при обучении компиляются.Просто настало время специализированных моделей.
Типа "модель для написания на СИ в стиле ядра" (которая, естественно, обучалась только на книжках по СИ и кодах ядра), "модель для манкикодинга на ПХП" и тд.
Они будут меньше, быстрее и надежне.А поверх будет наворачиваться модель общего назначения, которая будет определять чего пользователь хочет.
> Например одна модель пишет, а вторая ее проверяет.На основе чего? ИИ уже схавал весь код. Чем он будет руководствоваться при "проверке"?
> ИИ уже схавал весь код.И новый код не пишется?
Наркоман шоли? (с)> Чем он будет руководствоваться при "проверке"?
Скомпилировалось или нет.
Может даже тесты написать и прогнать их.
>И новый код не пишется?пишется, но это все равно небольшой объем. и в этот новый код входит в том числе слоп от аи.
> Чем он будет руководствоваться при "проверке"?
> Скомпилировалось или нет.
> Может даже тесты написать и прогнать их.тесты вручную писать будешь? а, аи их писать будет? это сколько ведь кода нужно будет "проверить" и скомпилить
> пишется, но это все равно небольшой объем.
> и в этот новый код входит в том числе слоп от аи.Сколько проектов ввели правила "не добавлять АИ"?
Из попенсорсных - весьма много.> тесты вручную писать будешь? а, аи их писать будет? это сколько ведь
> кода нужно будет "проверить" и скомпилитьЭто железка, пусть работает.
>Например одна модель пишет, а вторая ее проверяет.в целом да, над ответом будут думать несколько моделей. несколько кртикующих и несколько улучшающих.
а эти несколько моделей будут выбираться по результатам голосования среди всех моделей? :)
более того, аи будут обучать на коде вайбкодеров
А на основе чего ИИ перестал рисовать по шесть пальцев? А на основе чего у любой другой программы каждый год выходят новые версии? А на основе чего бензиновые двигатели заменили паровые? Не могли сразу нормально сделать?
> А на основе чего ИИ перестал рисовать по шесть пальцев?Схавал больше изображений.
> Схавал больше изображений.Нет, улучшают алгоритмы работы моделей.
> А на основе чего у любой другой программы каждый год выходят новые версии?На основе кривых рук и увеличения размера простых приложений до 500 Мб или даже 1 Гб. Прогресс?
Не убегай далеко, через год посмотрим, как оно
Если ИИ продолжит обучаться, то обучаться он будет на своих ошибках, т.е. будет в 1,5*1,5 раза больше ошибок. И дальше по экспоненте вверх.
я не заметил слишком большой разницы за эти 2 года
Это линукс, детка. Я помню древний линух запускал на видушке VIA Chrome. Дык на винде все ок. А на линухе без танцев с бубном и прописывания чего-то в конфиг иксов оно не запускалось. Ну и иксы падали время от времени. Чего удивляться то? "Открытые дрова" только на словах звучит круто. На деле же - там половина криво реализована.
Добавьте к сравнению ИИ на rust и сравните с Python. Меня откровенно пугает скорость на rust - очень быстро. При этом не так давно был и продолжается найм специалистов по данным в огромных количествах. Я лично думаю что через год-другой наша жизнь изменится из-за ИИ. Вы не забывайте ещё что и архитектуры чипов можно поменять под удачные решения. Только роботы пока дорогие, мне бы небольшой помощник не помешал бы, но помощника можно и своими силами сделать.
Вот из-за того что ты так думаешь ИИ тебя очень быстро заменит. А дальше начнется естественный отбор тех кто правильно думает и неправильно, как ты.
Разве-что аутсорс уменьшат. И все-равно практика показывает что за рубежом люди ленивые и с одной стороны программиста можно заменить на результат который выдаст ИИ, пусть там даже будет в 1.5-2 раза больше ошибок, но бизнес проблемы будет решать. С другой стороны господа Западной психопатии не смогут таким образом переложить вину за проблемы на специалистов. Поэтому и будут рассматривать специалистов пользующимися ИИ как инструментом. Только специалистов можно будет меньше нанять.
>А теперь давайте подумаем, насколько хорошо модели работали всего лишь два года назад. И сравните с тем, что сейчас.Насколько? Раньше, когда картинки нужно было рисовать руками, встречалось откровенное неумение рисовать, однако она по крайней мере можно было предположить, что именно рисовали. Сейчас планка упала, и уже даже в картинках с закосом под фотореализм встречаются артефакты генерации, и никого это не смущает.
Раньше, когда человек не умел программировать, он брал условный питон, что отрицательно сказывалось на оптимизации и поддержке. Сейчас люди умеющие программировать перестают программировать, довольствуясь тем, что выдаёт нейронка, и опять же никого это не смущает.
А то мы не знали.
Внезапно, разные модели по разному генерят код. GPT реально хуже джуна, а вот Claude Sonet уже сильно лучше. Но как обычно померяли среднюю температуру по больнице.
Проблема в том, что OpenAI, Anthropic и Ко работают сжигая деньги инвесторов. Когда последние попросят начать зарабатывать, то может оказаться, что джуны обходятся дешевле.
Джунов нужно ещё найти. Сейчас никто не хочет вкладываться в джунов, т.к. можно найти того кто вложился и предложить джуну на 30% больше заработной платы и он с радостью уйдет на другую работу уже с опытом работы. И так все больше компаний думает - придем на готовое, а потом джуны жалуются на отсутствие работы. А ещё заморочки с поколениями. Если исторически со времён СССР на предприятиях нормально было нанимать людей разных возрастов в связи с чем компетенции естественным образом передавались, то по западным канонам поколения на аутсорсе работают раздельно. И у одних один опыт, у других другой, но в целом он ничего не даёт существенного если самостоятельно не заниматься углублением знаний.
> то по западным канонам поколения на аутсорсе работают раздельноЭто не соответствует действительности. Я работал в IT-командах (в том числе в западных компаниях), где встречались специалисты в возрасте от 20 до 60+ лет. Возраст никого не волновал; не имеет значения, какого возраста ваши коллеги, когда вы совместно работаете над задачей.
>> Это не соответствует действительности. Я работал в IT-командах (в том числе в западных компаниях), где встречались специалисты в возрасте от 20 до 60+ лет.Я тоже в таких работал. Последний раз со специалистами 60+ пару лет назад. И много сейчас у вас молодых джунов с вами в одной команде? Не в отдельной, а именно с вами. 25% от количества работников в компании есть именно молодых джунов после университета или даже студентов? Я лично давно уже такого не видел. Ну и коллег 10+ лет разницы много? Может мне так повезло, но в последние 10 лет этого все реже встречается.
>Когда последние попросят начать зарабатывать, то может оказаться, что джуны обходятся дешевле.А не важно, сколько стоят джуны. Как только перестанут появляться новые джуны, количество программистов станет только сокращаться.
И компетенции скупит золотой миллиард. Умно однако. Понятно, вот оно к чему идёт.
ИИ не может написать код!ИИ не может написать более-менее качественный код!
ИИ производит в 1.4 раза больше критических проблем, чем ручной код!
(вы находитесь здесь)
Ну и что, что код теперь лучше, чем у людей? Разве может ИИ написать симфонию?..
Ну и что, что может написать симфонию? Я человек, а человек это звучит гордо.
У ИИ нет духовности. Он бездуховен. Духовности нет.
autism power
...ИИ придумал свою религию.
"Куда вы меня тащите!!!" (с)
ИИ не может написать код! <-- Вы находитесь здесь.Писать код = писать рабочий код без галлюцинаций.
Чтобы не было галлюцинаций надо ставить чёткую задачу. Какие библиотеки использовать, какие подходы использовать, как встроить новый код в старый и так далее. Всё решается правильным промптом и пост-проверками.
Пусть ИИ тут живёт, а мы полетели на Марс.
нагенерировать лабуды - не значит спроектировать програмный код, там если выходишь за грани исходного материала для обучения - нету даже скрипт кидди уровня(мы всё еще находимся здесь)
ИИ не может написать код!
ИИ не может написать более-менее качественный код!
ИИ производит в 1.4 раза больше критических проблем, чем ручной код!
Ну и что, что код теперь лучше, чем у людей? Разве может ИИ написать симфонию?..
Ну и что, что может написать симфонию? Я человек, а человек это звучит гордо.
У ИИ нет духовности. Он бездуховен. Духовности нет.
>там если выходишь за грани исходного материала для обучения - нету даже скрипт кидди уровняПочему? Это как раз буквально уровень "скрипт кидди" - есть божественные артефакты и есть простые смертные.
это если в пределах обучения, а если за пределами, то и он просто раскрывает весь талант балабола-сказочника
И скрепности нет.
это не ко мне
ИИ не может принять ответственность за результат )))ИИ не понимает потребностей пользователей )))))
> ИИ не может принять ответственность за результат )))может - см историю с диском D:
(ну и вот кому от этого стало лучше?)
извини, ты прав, я ошибся, давай попробуем еще раз )))
> Разве может ИИ написать симфонию?.Разве книга может написать книгу?
ну да, орфографические то ошибки в комментах офигеть как влияют на качество кода. видимо часто ошибались в слове duck.
На телефоне писать не так то и удобно. А порой и лень исправлять, особенно если какое слово исправил и предложение все нужно исправлять. Хотя автозамена слов порой полностью меняет смысл, но догадаться же можно? У меня вообще по ходу паническая атака произошла - столько настрочил на телефоне
Ради их исправления сотрудники некоторых компаний даже в ядро комитят.
>в 1.64 раза больше проблем с качеством и сопровождаемостью кодаКак-то мало.
Имхо за последний год качество ИИ-кода не стало лучше. Словно уперлось в какой-то потолок.
так и есть, увелечение кол-ва параметров перестало сильно повышать "интеллект" моделей, поэтому так
в открытом доступе качественного кода почти и не было, а после фикса очевидных банальных ошибок в выдаче - улучшать не на чем. сплошной нейрослоп
Сейчас дохрена качественного кода частных компаний в облаках того жe Microsoft. Рано или поздно кто-то да соблазниться
не знаю как насчет всех частных компаний, но на код некоторых лучше не соблазняться никому
а у MS есть качественный код их винды
А вы их работников спрашивали что они думают о качестве кода их коллег? Лучше порой чем в открытом коде. Но главное не это, а то что он решает определенные проблемы. Даже в весьма известных компаниях многие люди считают что именно качество кода там не очень. Было бы хорошее качество кода, то проблем с переводом технологий не было.
так вроде идея цоп-пилота была в том что он и на закрытом обучался.
Что же могло пойти не так?
Это не модели упёрлись в потолок, а ты.
Для того чтоб писать хороший код с помощью LLM - не нужно уметь писать хороший код самому, нужны принципиально иные навыки.
Кода написанного людьми и кода скопированного и написанного другими людьми.LLM сам ничего не понимает
при этом делает это до 2 раз хуже чем люди ))
потому что оплата ИИ рассчитывается по токенам, а у разрабов - по конечному результату, из-за которого могут и оттарабанить в попчанск)
Есть бесплатные модели, да и самому можно сделать на своей видеокарте. ollama, ovms, onnx и пр. в помощь. Из бесплатных QWEN2.5-14B в целом уже неплохой, хотя уже есть Qwen3 вроде. Есть возможность подключить свое API и сделать свою монетизацию. Можете заработать на другой монетизации - подписка на месяц например и дешевле (из-за качества)
Прошу прощения Qwen2.5-Coder-14B. Coder суффикс достаточно важен
А есть уже и 20B модели и выше. У меня только одна видеокарта такие потянет, только пылится на чердаке. Топовые модели совсем дорогих видеокарт требуют
Робот, прочитавший всю библиотеку подряд, научился быть скучным графоманом, которого даже Донцова в негры не берет? Внезапно, чо.
Исследователи из компании CodeRabbit проанализировали запросы используя AI? Или людей? Кто то должен проанализировать кто из них находит ошибки лучше.
Ещё немного и соотношение будет не в нашу пользу, господа. Готовьте булки.
ноги! Будешь крутить педальки, батарейка.
А трахать тебя ИИ совершенно не собирается.
> 350 - созданные AI, 150 - написанные вручнуюЕсли это веб программирование. То с чего взяли, что 150 написаны вручную?
Сейчас у них принято взять глюкогернилкин выхлоп. Убрать явные косяки и встроить в свой код.
Ты еще скажи что сам так же не делаешь... А...стоп, убрать и далее это конечно не делаешь. Оно как-то запускается - в прод!
>пришли к выводу, что в изменениях, сгенерированных AI-ассистентами, присутствует в 1.7 раза больше значительных дефектов и в 1.4 раза больше критических проблем, чем во вручную написанном кодеА теперь сравним цену, и выяснится, что ИИ всё же очень cost-efficient.
> пришли к выводу, что в изменениях, сгенерированных AI-ассистентами, присутствует в 1.7 раза больше значительных дефектов и в 1.4 раза больше критических проблем, чем во вручную написанном коде.Скорей всего с хреновым промптом и неполными входными данными тестировали. При работе с LLM от этого зависит очень многое.
Если даже исполнитель заказчика не может понять, что тот хочет, вы реально ожидаете от LLM, что она прочтет ваши мысли?
Как дети себя ведёте ,а ну закрыли варежку и марш к бабушке