forum.opennet.ru

"Проект по добавлению в GCC поддержки распараллеливания проце..."

Форум Разговоры, обсуждение новостей
Версия для распечатки	Пред. тема \| След. тема

Исходное сообщение

[ Отслеживать ]

Подсказка: Второй уровень иерархии тем в форуме реализован через вкладку "Показ ключевых тем".

. "Проект по добавлению в GCC поддержки распараллеливания проце..."	+1 +/–
Сообщение от Аноним (90), 16-Сен-19, 11:45
> Вся суть многопоточной, а не многопроцессной компиляции в том, чтобы родственные нити > выполнялись на одном или соседних ядрах с общим кэшем инструкций и > данных - так уменьшается вероятность перезагрузки кэшей и в разы ускоряется > доступ к данным. Простите за такую подробность, но процессор это не виртуальная машина Джавы, он ничего не знает про процессы. Если образ одного и того же исполняемого файла отображается в разные адресные пространства, то физические страницы с кодом должны быть везде одни и те же, соответственно и кеш инструкций когерентен. Что касается данных, я не просто возьму из головы некие "разы", а поделю 1000мб, которые процесс компилятора занял в памяти под AST (где Т означает не последовательно расположенные данные, а дерево), на объём кэша, и скажу, что вероятность не изменилась.
Ответить \| Правка \| Наверх \| Cообщить модератору

Оглавление

Проект по добавлению в GCC поддержки распараллеливания проце..., opennews, 15-Сен-19, 10:44 [смотреть все]

Это всё, что надо знать про данные исследования Сферические теоретические кони , Онаним, 15-Сен-19, 10:44 (1) //
- Множество процессов компиляции неэффективно по памяти, Аноним, 15-Сен-19, 11:30 (7) //
  - Зато более эффективно по процессору, а память можно докупить, Аноним, 16-Сен-19, 16:30 (94) //
    - И процессор можно докупить Видимо только время нельзя докупить , Аноним, 18-Сен-19, 16:37 (101)
  - Память ныне стоит сущие копейки Городить при этом какой-то огород, перепахивая , Онаним, 21-Сен-19, 11:51 (103) //
    - То есть, никто не понимает, что разрабы пытаются удешевить по времени, танкисты, Алексей Михайлович, 24-Сен-19, 14:36 (106)
      - Штопрастите , Онаним, 24-Сен-19, 20:39 (108)
- Купи им 9900K, Аноним, 15-Сен-19, 11:53 (12) //
  - Компиляция, тем более распараллеленная гораздо лучше пойдет на R9 3950X , Аноним, 16-Сен-19, 07:50 (87) //
    - Вот да И даже никакого дорогостоящего перепахивания компилятора не потребуется , Онаним, 21-Сен-19, 11:51 (104)
- В Сях нужно не парралелить, а кешировать заголовки, Аноним, 15-Сен-19, 13:56 (29)
- Студни-хипсторы решили помучить поциента перед его окончательной кончиной Шланг , Анонец, 15-Сен-19, 14:01 (30) //
  - Шланг смотреть с улыбкой не может, у него те же болячки У него так же делается , Аноним, 15-Сен-19, 14:48 (43) //
    - а чем это плохо не модно Или нужно еще сильнее дергать головки у диска - что б, Аноним, 16-Сен-19, 13:27 (93)
      - Это плохо лишними сисколлами и отсутствием нормального интерпроцессного взаимоде, Алексей Михайлович, 24-Сен-19, 14:37 (107)
- Например, для целей CI, когда время сборки оказывается более существенным, чем п, Michael Shigorin, 15-Сен-19, 20:24 (74) //
  - Тоже сразу возник вопрос про связь с make -j Пока кажется, что параллелизация ч, Аноним, 15-Сен-19, 21:17 (80) //
    - Да нет никакой связи с make -j кроме чистой детерминированности процесса сборки , iZEN, 16-Сен-19, 00:08 (82)
      - Простите за такую подробность, но процессор это не виртуальная машина Джавы, он , Аноним, 16-Сен-19, 11:45 (90)
        
        Зато новый планировщик знает об особенностях архитектуры процессора и какую нить, iZEN, 16-Сен-19, 20:42 (97)
  - Системы с общей памятью потоки и т д хороши далеко не для всех задач Задачи , Ю.Т., 16-Сен-19, 07:02 (85)
  - А при чём тут CI и цели Тут речь идёт о внутреннем распараллеливании сборки одн, Онаним, 21-Сен-19, 11:54 (105)
Потоки Многоядерные системы В 2019 Да не это бред какой-тоЕсли бы они сущесто, Аноним, 15-Сен-19, 11:13 (2) //
- Интересно как мы так раньше всю жизнь компилировали что сабж был не нужен , Аноним, 15-Сен-19, 12:04 (15) //
  - Медленно, Илья, 15-Сен-19, 18:00 (66)
- Кто о чём а вшивый о бане Анониму видимо невдамёк, что Hurd забросили сразу пос, Аноним, 15-Сен-19, 14:50 (46) //
  - А что там у реакт ОС , Аноним, 15-Сен-19, 15:25 (54) //
    - Да, но пока нет , Аноним, 16-Сен-19, 06:37 (84)
Интересно, как оно грузит ядра Ибо если все 4 8 ядра на все 100 , но ускоряет с, Андрей, 15-Сен-19, 11:16 (3) //
- Судя по тексту в статье распараллелили не все этапы компиляции, Аноним, 15-Сен-19, 11:32 (8)
- man Закон Амдала Да уж наверняка не выгодно, но на настольных компах на это осо, pda, 15-Сен-19, 12:00 (14)
- Так это оптимизация не энергозатрат, а времени выполнения , Michael Shigorin, 15-Сен-19, 20:26 (75)
- Грузить ЦП на 100 всегда выгодно, Аноним, 16-Сен-19, 10:08 (88) //
  - Вы не правы По крайней мере на процессорах Intel серии U это не так из-за терма, Аноним, 16-Сен-19, 19:13 (96) //
    - Я говорю про нормальные процессоры, а не обрезки, максимум которых - просмотр ют, Аноним, 17-Сен-19, 10:40 (98)
      - Какой Ютуб очнитесь это текстовые стратегии и консольный режим для терминалов из, Аноним, 18-Сен-19, 16:40 (102)
Несмотря на распараллеливание в make Co я, похоже, знаю, почему им пришлось взят, Андрей, 15-Сен-19, 11:20 (4) //
- Свопить на оптан , Аноним, 15-Сен-19, 11:26 (6) //
  - Оптан стоит денег, медленнее сам по себе, кэш промахи при -jX стремятся к 100 , Аноним, 15-Сен-19, 13:30 (24) //
    - По сравнению с терабайтом RAM, это хоть как-то вариант , Аноним, 15-Сен-19, 14:49 (44)
      - И где тот оптан на терабайт , Аноним, 15-Сен-19, 15:39 (55)
        
        Тут https www amazon com Intel-Optane-905P-960GB-XPoint dp B07CVNS851В россии, Stax, 15-Сен-19, 19:58 (71)
        
        Ага, спасибо Тогда у меня следующий вопрос сколько ангелов уместится на булаво, Аноним, 16-Сен-19, 11:52 (91)
- Ога Но при этом один уберфайл скомпилится гораздо быстрее, чем куча мелких , vitalif, 15-Сен-19, 11:34 (9) //
  - Как не сделали Сделали и без компилятора даже https github com sakra cotire, Аноним, 15-Сен-19, 11:54 (13)
  - 100 КБ файл с шаблончиками - 1 ГБ ОЗУ10 МБ уберфайл - 100 ГБ ОЗУНе, не выйдет , Андрей, 15-Сен-19, 12:39 (18)
  - Не сможешь делать инкрементальную сборку, т е даже при незначительном изменении, all_glory_to_the_hypnotoad, 15-Сен-19, 17:16 (63)
- Ничего удивительного, шаблоны могут в рекурсии , Аноним, 15-Сен-19, 14:43 (38)
- Пример шаблона ф студию У меня всего 4Gb, компилирую проекты на 20Gb спокойно , Аноним, 15-Сен-19, 14:52 (47) //
  - Например, установите или скомпилируйте сами библиотеку https github com ukoe, Андрей, 15-Сен-19, 16:16 (58)
Надеюсь, это не включат по умолчанию Бывают проекты на нескольких языках, мне н, Аноним, 15-Сен-19, 11:24 (5) //
- Если ко времени выпуска впрод этот gcc м симтемой сборки будет крутится на однос, Анонимный селебрити, 15-Сен-19, 11:48 (11) //
  - упрётся в память, компиляция плохо кэшируется, user, 15-Сен-19, 17:04 (61)
Главное в этой инициативе - чтобы компилятор был NUMA-aware Т е не начал парал, InuYasha, 15-Сен-19, 11:36 (10) //
- Главное они из существующего компилятора сделают такое УГ что единственным спосо, Аноним, 15-Сен-19, 12:05 (16) //
  - А Rust, кроме своих, ещё начится компилировать исходники C, C , Go, Fortran , Аноним, 15-Сен-19, 14:48 (41)
  - а ещё лет через сорок до растоманов дойдёт, что их УГ можно было собирать пар, Michael Shigorin, 15-Сен-19, 20:31 (76) //
    - Это ты к чему Раст собирает параллельно столько, сколько я с ним вожусь, то ест, Ordu, 15-Сен-19, 23:43 (81)
    - Он и собирает параллельно При сборке firefox сначала порождается процессов скол, Аноним, 16-Сен-19, 11:58 (92)
- Главное - чтобы оно выключалось А лучше - чтобы не попало в gcc вообще Уж что-, CrazyAlex, 15-Сен-19, 15:20 (53)
GCC в прошлом Модные парни уже давно перешли на MUSL LLVM CLANG, Аноним, 15-Сен-19, 12:29 (17) //
- Ничего против clang не имею Но вот его баг в актуальной версии 8 0 с двойным выз, Llvm, 15-Сен-19, 12:58 (19) //
  - s деструктивных деструкторов , Llvm, 15-Сен-19, 13:00 (20)
- Давно systemd собирается с MUSL , Аноним, 15-Сен-19, 13:25 (22) //
  - не позорься со своим системд Такие вещи даже страшно вслух произносить нормисы , Аноним, 15-Сен-19, 13:29 (23) //
    - Экий ты шустрик в переобувке Я позорюсь с твоим Модные парни , Аноним, 15-Сен-19, 13:38 (25)
      - Дело не в переобувки А в сути - почему люди добровольно отказываются от Поеттер, Аноним, 15-Сен-19, 13:52 (27)
        
        А в чём дело Теперь ты меня спрашиваешь, почему MUSL не поддерживается в system, Аноним, 15-Сен-19, 14:39 (37)
        Поттеринг его забросил, и как только это случилось он стал конфеткой Сейчас он , Аноним, 15-Сен-19, 14:55 (50)
      - Конечно если речь не о прод серверах там до сих пор на убунте 16 04 сидят или к, Аноним, 15-Сен-19, 13:55 (28)
        
        У кого-то прод серверы на венде и им норм , Аноним, 15-Сен-19, 14:35 (36)
        
        Кому и кобыла невеста , Аноним, 15-Сен-19, 18:32 (68)
    - Реклама uselessd Действительно Шёл 2019 год, а ненужнод не может в Musl , Аноним, 15-Сен-19, 14:54 (49)
      - Но оно же умерло вскоре после рождения, еще лет 5 назад , Stax, 15-Сен-19, 20:04 (72)
- Как запилить тулчейн musl clang и кросскомпилить под i586 Так и не нашел гайдов, Лох, 15-Сен-19, 13:52 (26) //
  - Простой 32-битный чрут не выручит часом , Michael Shigorin, 15-Сен-19, 20:33 (77)
- Модно, стильно, молодёжно , Аноним, 15-Сен-19, 14:49 (45)
А почему нет новостей как Столман отжигает в своем репертуаре , Аноним, 15-Сен-19, 13:13 (21) //
- Потому что ты эту новость не написал , Аноним, 15-Сен-19, 14:07 (31)
- Подсказка https www opennet ru announce_news shtml, Аноним, 15-Сен-19, 14:08 (32)
- Он уже _ИЗВИНИЛСЯ_ перед сжв https stallman org archives 2019-jul-oct html 14_, лексус торнварцс, 15-Сен-19, 14:43 (39)
- А может быть, Столман это поддержит , Аноним, 15-Сен-19, 14:53 (48)
Дядя типереча тормознутые исходники на C будут быстро компилится , Аноним, 15-Сен-19, 14:34 (35)
Из серии Давно пора , Корец, 15-Сен-19, 14:48 (42)
В итоге оптимальным вариантом будет что-то вроде сочитания gcc -j N и make -j M , nm0i, 15-Сен-19, 16:00 (57) //
- Идеальным вариантом по-прежнему будет make -j N просто хотя бы из-за большого ко, all_glory_to_the_hypnotoad, 15-Сен-19, 17:22 (64) //
  - То есть в большинстве случаев использования компилятора , Ordu, 15-Сен-19, 18:20 (67)
  - Кстати, а вот make-овый jobserver как раз может скумекать, когда собирает _одну_, Michael Shigorin, 15-Сен-19, 20:39 (78) //
    - make чаще собирает одну цель когда линкует, а не компилирует Проблема решается , all_glory_to_the_hypnotoad, 15-Сен-19, 21:05 (79)
      - новый стандарт - ненужен , пох., 17-Сен-19, 18:43 (100)
Т е , забив четыре потока, компиляция ускорится всего в полтора раза Почему не п, Anonimous, 15-Сен-19, 16:35 (59) //
- я когда генту впервые пилил ставил -j30 и норм работает, Аноним, 15-Сен-19, 17:03 (60) //
  - надеюсь не на hdd а то сложно предстаить какой там треск стоял , Аноним, 15-Сен-19, 19:34 (70) //
    - На HDD Никакой не стоял Средний объём исходника и какой это объём данных и IOP, Аноним, 16-Сен-19, 01:53 (83)
и в мейк файл MAKEOPTS -j256, Аноним, 15-Сен-19, 17:08 (62)
Надеюсь в апстрим не примут Всё замечательно параллелится мейком, усложнение ко, Аноним, 15-Сен-19, 18:59 (69)
Берешь 16 ядерный проц и ssd диск ставишь make -j16 и все быстро , а если у тебя, Griggorii, 16-Сен-19, 07:25 (86) //
- Рекомендуется -j n 1 , Аноним, 16-Сен-19, 10:36 (89)
- Так то да Можно рискуть еще активизировать funroll-loops 03, а лучше выставить , Аноним, 16-Сен-19, 16:53 (95)
- На Intel R Core TM i7-2600 CPU 3 40GHz 4 ядра даблтред gcc 9 2 в полном , Аноним, 17-Сен-19, 13:03 (99)

Форумы | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру