The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Проект GNU GMP заблокировал доступ с IP-адресов Microsoft из-за DoS-аттаки, opennews (??), 17-Июн-23, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


214. "Проект GNU GMP заблокировал доступ с IP-адресов Microsoft из..."  +/
Сообщение от Аноним (214), 19-Июн-23, 03:26 
> 2. Mercurial это самое питоние на мощном dedicated-сервере не вывозит даже сотню ждобов.

Питоннетормозит, конечно, а меркуриал особо-не-тормозящее нечто - но это не повод устроить себе CI за счет чужого сервера который на это не подписывался. Если вы хотите такое пижонство, извольте кешировать/миррорить апстрим, синхрясь с ним лишь изредка. И свое зеркало там можете грузить в хвост и гриву.

Ответить | Правка | К родителю #108 | Наверх | Cообщить модератору

219. "Проект GNU GMP заблокировал доступ с IP-адресов Microsoft из..."  +/
Сообщение от Аноним (220), 19-Июн-23, 10:23 
> синхрясь с ним лишь изредка.

За можно и не изредка, большую часть нагрузки с их сервера зеркало уберёт, так как качаться будут только изменения и только когда они есть.

Ответить | Правка | Наверх | Cообщить модератору

221. "Проект GNU GMP заблокировал доступ с IP-адресов Microsoft из..."  +/
Сообщение от YetAnotherOnanym (ok), 19-Июн-23, 11:10 
> качаться будут только изменения и только когда они есть.

Что-то мне подсказывает, что гений, настроивший ci/cd на клонирование для каждого билда и синхронизацию настроит так, чтобы каждые 5 минут выкачивать полный архив.

Ответить | Правка | Наверх | Cообщить модератору

227. "Проект GNU GMP заблокировал доступ с IP-адресов Microsoft из..."  +/
Сообщение от Аноним (-), 19-Июн-23, 12:35 
> За можно и не изредка, большую часть нагрузки с их сервера зеркало
> уберёт, так как качаться будут только изменения и только когда они есть.

А вот кандидат на баню нарисовался. Для тех кто в танке еще раз:
- Со своими зеркалами можешь делать все что хочешь, хоть 200 раз в секунду апдейты чекай.
- Но вот запросы на внешние сервера изволь rate-limit'нуть, иначе тебя лимитнут уже банхаммером по тыкве и/или внезапной кончиной халявы.

Доскер как бы очень прозрачно намекнул некоторым господам что вывих мозга, вместе с пофигизмом и оборзением в отношении апстрима - легко вправляется банхаммером. Извольте задействовать мозг когда что-то с внешними серверами делаете.

Ответить | Правка | К родителю #219 | Наверх | Cообщить модератору

231. "Проект GNU GMP заблокировал доступ с IP-адресов Microsoft из..."  +/
Сообщение от Аноним (246), 19-Июн-23, 13:20 
По-хорошему нужно адаптивно делать. Цель-то какая? Чтобы тестировать на самом свежем коде. К сожалению времена появления коммитов на сервере не хранятся и запросить их или хотя-бы хинт для периода поллинго нельзя. Если бы хранились, то можно было бы посчитать статистику и подобрать частоту поллинга такую, чтобы 90% изменений были подхвачены по одному изменению, а не дожидаясь пачки.

Идеальный вариант вообще чтобы их CI дёргал хуки. Я так с авторами проектов, в которых участвую договорился. У них на GitHub пайплайн делает новую версию, и дёргает мой хук. Стартует пайплайн моего проекта и пересобирает докер.

Ответить | Правка | Наверх | Cообщить модератору

232. "Проект GNU GMP заблокировал доступ с IP-адресов..."  +/
Сообщение от arisu (ok), 19-Июн-23, 13:48 
> К сожалению времена появления коммитов на сервере не хранятся и запросить
> их или хотя-бы хинт для периода поллинго нельзя.

а я-то думал, что DVCS — они умеют выкачивать не каждый раз весь репозиторий, а только новые коммиты… и стоит это очень дёшево, положить таким сервер намного сложнее. но это, конечно, вариант для лохов: что, ещё и локальные копии репозиториев держать? да ну его! лучше каждый раз выкачивать полностью самый последний тарбол — чо там, сервер проекта потерпит, и автор потерпит. пусть вообще в ножки кланяется за то, что его проектом кто-то пользуется.

впрочем, тут понятно: это надо сесть и по уму всё сделать, а не просто вайпать контейнер и полностью населять заново, вытаскивая всё из внешних источников. зато потом можно показательно обижаться на то, что тебя нафиг забанили по подсетке.

Ответить | Правка | Наверх | Cообщить модератору

239. "Проект GNU GMP заблокировал доступ с IP-адресов..."  +/
Сообщение от Аноним (246), 19-Июн-23, 14:46 
>и стоит это очень дёшево

Как видите, и тут находятся противники поллинга, даже если он дешевле полного выкачивания. С хуками вариант оптимальнее. Ещё бы оптимаььнее было, если бы дёргать хуки - это был функционал самого по хостинга, который каждый мог бы сам прилепть свой хук на чужой проект, не беспокоя автора.

Ответить | Правка | Наверх | Cообщить модератору

247. "Проект GNU GMP заблокировал доступ с IP-адресов..."  +/
Сообщение от arisu (ok), 19-Июн-23, 14:59 
> Как видите, и тут находятся противники поллинга, даже если он дешевле полного
> выкачивания.

да как-то не заметил. по-моему, протестуют как раз против выкачивания срезов и тарболов.

> С хуками вариант оптимальнее.

однако с хуками надо по каждому апстриму бегать и уговаривать.

> Ещё бы оптимаььнее было, если бы
> дёргать хуки - это был функционал самого по хостинга, который каждый
> мог бы сам прилепть свой хук на чужой проект, не беспокоя
> автора.

это и сейчас можно сделать, простым скриптом у себя, локально. и скомандовать удалённый апдейт, например (который опционально вытащит из локального кэша репы же). но тут у многих начинаются корчи, потому что это же *свои* интернеты теперь тратить, а не халявные чужие.

я, собственно, за нужными мне вещами так и слежу.

Ответить | Правка | Наверх | Cообщить модератору

258. "Проект GNU GMP заблокировал доступ с IP-адресов..."  +/
Сообщение от Аноним (246), 19-Июн-23, 15:24 
>это и сейчас можно сделать

Нет, нельзя. Это будет тот же саммый поллинг. Для этого придётся либо с малым интервалом крутить  CI-пайплайн на хостинге. Либо у себя на компе. И да, тебя забанят за поллинг раз в секунду. Когда же хостинг сохранит у себя список хуков и подёргает их сам, после успеха пайплайна в чужом проекте в master, то будет достигнута даже большая точность, при этом экономя ресурсы и сервера, и всех заинтересованных лиц.

Ответить | Правка | Наверх | Cообщить модератору

251. "Проект GNU GMP заблокировал доступ с IP-адресов Microsoft из..."  +/
Сообщение от Аноним (-), 19-Июн-23, 15:06 
> По-хорошему нужно адаптивно делать.

По хорошему надо понимать что грузить апстрим - плохая идея. И танцевать от этой печки. Иначе вам выпишут баню, адаптивную или не очень, если вы начнете создавать проблемы перфоманса и доступности. Это стандартная админская реакция.

> Цель-то какая? Чтобы тестировать на самом свежем коде.

Для этого, реалистично, достаточно клонить репу 1 раз в пару часов. Даже если бот пискнет регрессией через 2 часа, кодер врядли был прикован перед монитором и сильно быстрее чинить не подорвется. А на сотни джобов на кучу разных серваков или что там у вас это как-нибудь с своего миррора уже реплицируйте.

И даже так как я понимаю это какие-то совершенно левые кадры которые даже к ffmpeg никак не относятся. От них вообще какая-то отдача в те проекты была?

> К сожалению времена появления коммитов на сервере не хранятся и запросить
> их или хотя-бы хинт для периода поллинго нельзя. Если бы хранились,

Эм, не знаю как у hg а в git время комита прописано в комите. Это не значит что чекать каждую секунду репу отличная идея, за это вам отличный бан в репу будет. Даже если серв тянет, вы на этом глобусе не одни. А вон тот васян который в отличие от вас прислал патч - полезней в 20 раз чего доброго. Так что его доступ к серваку не менее важен.

> то можно было бы посчитать статистику и подобрать частоту поллинга такую,
> чтобы 90% изменений были подхвачены по одному изменению, а не дожидаясь пачки.

Я думаю что чаще раза в час соваться в апстрим - хамство. Даже если за этот интервал будет несколько комитов, это переживаемо. Реально жирные баги кодеры сами у себя починят влет, а всякая экзотика не так уж все нагибает чтобы на этот счет супер-оперативно дергаться.

> Идеальный вариант вообще чтобы их CI дёргал хуки. Я так с авторами
> проектов, в которых участвую договорился. У них на GitHub пайплайн делает
> новую версию, и дёргает мой хук. Стартует пайплайн моего проекта и
> пересобирает докер.

На лично мой вкус некоторые пережрали CI хайпа. Для большого проекта типа ffmpeg или linux kernel это столь ресурсоемко, что де-факто мало кто захочет такую нагрузку хостить. Как максимум вы можете поставить свой парк серверов и на этом хостить. Или явно договориться с кем-то об этом. Если вы попробуете этот номер без предварительных договорерностей, это здорово выезжает за fair usage ресурсов и весьма высокорисковое занятие. Независимо от того насколько благая там у вас мотивация была. Докеру вот пришлось таких господ вразумлять банхамером. И гитлабу тоже. Адаптивными типа. Подобрали параметры банхамера когда инфраструктура еще не напрягается, а кто превышает это получает в тыкву, и инфраструктура адаптируется сбросив агрессивную нагрузку :)

Ответить | Правка | К родителю #231 | Наверх | Cообщить модератору

261. "Проект GNU GMP заблокировал доступ с IP-адресов Microsoft из..."  +/
Сообщение от Аноним (246), 19-Июн-23, 15:33 
>Эм, не знаю как у hg а в git время комита прописано в комите

Это время когда этот коммит сделали, а не когда его на сервер запушили. Времена запушенных - это уже надстройки хостингов, и в лучшем случаи их сейчас можно через скрейп веб-интерфейса получить. А в худшем их вообще нет.

>Для этого, реалистично, достаточно клонить репу 1 раз в пару часов

Клонить после каждого коммита, прошедшего проверки, в master. Строить нативный пакет для дистра, его заливать в репозиторий на GitLab Pages. (если бинарный пакет строится апстримом и доступен на их CI - то брать его). Триггерить пайплайн перестройки докера, берущий построенный пакет. После переделки образа - триггерить пайплайны тестирования зависимых проектов. У меня - так.

>На лично мой вкус некоторые пережрали CI хайпа

За счёт Micro$oft/GitLab inc. - почему бы и нет?

Ответить | Правка | Наверх | Cообщить модератору

277. "Проект GNU GMP заблокировал доступ с IP-адресов Microsoft из..."  +/
Сообщение от Аноним (-), 19-Июн-23, 20:17 
> Это время когда этот коммит сделали, а не когда его на сервер
> запушили. Времена запушенных - это уже надстройки хостингов, и в лучшем
> случаи их сейчас можно через скрейп веб-интерфейса получить. А в худшем
> их вообще нет.

Лично я просто ставлю синк не чаще чем раз в час-два. Как говорит старая шутка из чтива про BOFH, "в конечном итоге реальное время не так уж важно". И плюс-минус час там ничего особо не решит, особенно учитывая что сотни конфиг на билдовку имеют тенденцию после очередного пинка пахать часами и врядли кто вообще заметит большую разницу.

> Клонить после каждого коммита, прошедшего проверки, в master.

Любую идею можно довести до маразма. Это именно тот случай. Линуксоиды намного лучше придумали: syzbot чекает лишь изредка (пинать ЭТО на каждый комит опухнуть можно), но найдя траблу - он запоминает детали лажи и потом шпарит там git bisect, на автомате, до проблемного коммита. Это и никого не грузит - и выдает проблемный комит на выходе. Этим нормальные кодеры и инфраструктурщики от додиков с безмозглым камланием на парадигмы и отличаются. То же самое, только нагрузки в 1000 раз меньше. И даже может успешно жить с проектом где fuzzing никогда не заканчивается в силу объемистости начинания (у вас такой случай вообще не предусмотрен by design).

И еще, "прошедший проверки комит" вообще попахивает булшитом для DVCS, между прочим.

> Строить нативный пакет для дистра, его заливать в репозиторий на GitLab Pages.

Булшит бинго какое-то, имхо. Такие люди как вы превращают опенсорс в УГ, типа корпоративного булщита, только еще и бесплатно. Сами так и прогайте, имхо.

> (если бинарный пакет строится апстримом и доступен на их CI - то брать его).

Апстрим мог и не билдить под вот именно мои системы и их версии, вот это как повезет.

> За счёт Micro$oft/GitLab inc. - почему бы и нет?

Потому что им это надоест и они сделают вам неудобно. Если кто вдруг не заметил - GitLab как раз и вкатил жесткие лимиты для CI - так что половине проектов которые я знаю пришлось selfhosted делать резко и внезапно, т.к. все джобы отвалились. Как-то так это все и заканчивается.

Ответить | Правка | Наверх | Cообщить модератору

305. "Проект GNU GMP заблокировал доступ с IP-адресов Microsoft из..."  +/
Сообщение от Аноним (305), 20-Июн-23, 13:45 
>То же самое, только нагрузки в 1000 раз меньше.

Не то же самое. Добавили новую фичу, мне что ждать, пока она появится?

>в конечном итоге реальное время не так уж важно".

Вон Дебиану не важно. У них пакеты на годы устаревшие. Такие, что современный софт с ними не собирается и не линкуется - в них нет API, которое в современном софте считается "было всегда, а у кого нет - тот сам виноват, мы вставили лишние ifdefы".

>Апстрим мог и не билдить под вот именно мои системы и их версии, вот это как повезет.

В большинстве случаев позиция апстрима это "нам не нужно". Софт собирается, тестируется и выкидывется. Поэтому и приходится делать свои пайплайны отдельно для сборки пакетов.

>Булшит бинго какое-то, имхо. Такие люди как вы превращают опенсорс в УГ, типа корпоративного булщита, только еще и бесплатно. Сами так и прогайте, имхо.

Вот снесёшь себе /usr один раз - тогда дойдёт, что софт в обход пакетов ставиться должен только если это настолько нужно, что ты готов систему взять и снести всю прямо сейчас ради ътого. Если апстрим сопровождают дебилы, этого не понимающие, а в дистр пакет пропихнуть - большая проблема, потому что им это тоже не очень нужно. Что прикажешь делать? Репозитории в GitLab CI - это не очень безопасно, зато довольно удобно и действительно сокращает время и мнимизирует трату электроэнергии на сборку - один и тот же бинарный пакет я могу поставить в различные образы докера, один на убунту, другой на дебиан, прекрасно встанет и будет работать.

Ответить | Правка | Наверх | Cообщить модератору

307. Скрыто модератором  +/
Сообщение от arisu (ok), 20-Июн-23, 14:14 
Ответить | Правка | Наверх | Cообщить модератору

322. Скрыто модератором  +/
Сообщение от Аноним (-), 22-Июн-23, 02:20 
Ответить | Правка | Наверх | Cообщить модератору

325. Скрыто модератором  +/
Сообщение от arisu (ok), 22-Июн-23, 12:33 
Ответить | Правка | Наверх | Cообщить модератору

329. Скрыто модератором  +/
Сообщение от Аноним (-), 25-Июн-23, 05:22 
Ответить | Правка | Наверх | Cообщить модератору

330. Скрыто модератором  +/
Сообщение от arisu (ok), 25-Июн-23, 11:03 
Ответить | Правка | К родителю #329 | Наверх | Cообщить модератору

321. "Проект GNU GMP заблокировал доступ с IP-адресов Microsoft из..."  +/
Сообщение от Аноним (-), 22-Июн-23, 02:19 
> Не то же самое. Добавили новую фичу, мне что ждать, пока она появится?

Что за суперфича в ffmpeg без которой и часу прожить нельзя? И почему вы ее не накодили еще год назад? А лучше - пять. Если не десять. Ну и роботам так то похрен, подождут если надо. А пялиться на список комитов каждый час - обсессия какая-то.

На что я фанат ффмпега, и - тадам - его билдовки - часто и много - но каджый час? А смысл?! И каждый комит это делать вообще смысла мало: там периодически влетают явно фэйловые комиты с быстрофиксами через полчаса..пару часов. И смысл ТАКОЕ билдовать? Сотни спама вывалить на то что и так все знали уже? Погреть сервера заведомо фэйловыми джобами? Или что? Первое анноит народ, второе стоит кому-то денег, так что самая реальная перспектива - отхватить люлей за такое "благодетельство" от апстрима и причастных.

> Вон Дебиану не важно. У них пакеты на годы устаревшие.

Они устаревшие - в stable. А в SID каком - камикадзите наздоровье!

Зато в stable я могу сегодня именно порисовать печатку в CAD как планировал - вместо ВНЕЗАПНОГО отскребания кад-пакета или какой-нибудь системной либы от асфальта, что совсем не было частью плана. Свежак имеет свои минусы - может ВНЕЗАПНО сломаться. И насколько сие хотелось огрести на ВОРКСТЕЙШНЕ где я свои проекты ворочаю - большой вопрос.

> Такие, что современный софт с ними не собирается и не линкуется -

Хз, ffmpeg вот собирается и линкуется. Я проверял. Полчаса назад работало. Хотя несколько наиболее интересных либ я мануально билданул из апстрима, но это половина смысла: я тестирую ffmpeg + эти либы в связке, в привязке к моим задачам и интересам.

> в них нет API, которое в современном софте считается "было всегда, а
> у кого нет - тот сам виноват, мы вставили лишние ifdefы".

Разработчики ffmpeg не склонны к hype driven development. Так что изумительно билдуется в моем stable дебиане.

> В большинстве случаев позиция апстрима это "нам не нужно". Софт собирается, тестируется
> и выкидывется. Поэтому и приходится делать свои пайплайны отдельно для сборки пакетов.

Лично мне похрен у кого какие пайплайны под их причуды - до тех пор пока они ведут себя культурно и не долбят сотнями запросов в день чужие сервера. А если от вас нагрузка больше чем от остальных даунстримов вместе взятых, вылетите в момент. Как имеющий админские регалии в нескольких проектах грю.

> Вот снесёшь себе /usr один раз - тогда

Во первых, скорее всего это будет виртуалка или контейнер. Ну я спишу их в утиль да новую из темплейта скрою, займет может минуту. И?

Во вторых, даже если все же долетит до "master world", я матюкнусь, плюхнусь в машину времени, вернусь в точку пространства и времени где /usr еще был и через 2 минуты все будет как раньше.

> готов систему взять и снести всю прямо сейчас ради ътого.

У меня были иные идеи на этот счет и я посмотрев на разные технологии тоже скрафтил себе небольшой межзвездный крейсер, с нормальными силовыми щитами, держащими недружественный пыщ приличного масштаба.

> Что прикажешь делать?

Могу предложить аннигилировать. Годится?

> Репозитории в GitLab CI - это не очень безопасно,

Судя по недавним новостям и правда не шибко безопасно, когда с сервака любой файл могут с314ть это чревато весьма забавными вещами.

> могу поставить в различные образы докера, один на убунту, другой на
> дебиан, прекрасно встанет и будет работать.

Да ставьте. Мне то что? Но если это пригрузит кому-то сервер они в своем праве вас - того. Не создавайте другим проблем, тогда их не создадут вам.

Ответить | Правка | К родителю #305 | Наверх | Cообщить модератору

269. "Проект GNU GMP заблокировал доступ с IP-адресов Microsoft из..."  +/
Сообщение от Аноним (265), 19-Июн-23, 17:52 
429 вернуть, конечно, тяжело. Надо банить сразу в итерике. Локалхостные васяны никогда не изменятся.
Ответить | Правка | К родителю #227 | Наверх | Cообщить модератору

272. Скрыто модератором  +/
Сообщение от arisu (ok), 19-Июн-23, 18:58 
Ответить | Правка | Наверх | Cообщить модератору

323. "Проект GNU GMP заблокировал доступ с IP-адресов Microsoft из..."  +/
Сообщение от Аноним (-), 22-Июн-23, 02:58 
> 429 вернуть, конечно, тяжело. Надо банить сразу в итерике. Локалхостные васяны никогда
> не изменятся.

Банхаммер по репе эффективнее и доходчивее обучает хайпующих тупиц решивших поиграть в девопсов с пофигом кто за шоу платит хорошим манерам в сети. Особенно когда их еще потом бонусом линчевать весь гитхаб на вас волком смотрит.

На мой вкус таким wannabe-девопсам вообще для острастки следовало бы блочить их акаунты, если майки не хотят чтобы их айпишники в фаеры залетали для вообще всей толпы.

Ответить | Правка | К родителю #269 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру