The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги | ]

01.05.2017 06:22  Релиз ядра Linux 4.11

После двух месяцев разработки Линус Торвальдс представил релиз ядра Linux 4.11. Среди наиболее заметных изменений: поддержка журналирования в программном RAID 4/5/6, новый тип сокетов SMC-R, встроенная реализация SipHash, системный вызов statx(), поддержка протокола Opal для работы самошифруемыми накопителями, раздельные буферы с историей прокрутки для консолей.

В новую версию принято около 12 тысяч исправлений от 1500 разработчиков, размер патча - 39 Мб (изменения затронули 12479 файлов, добавлено 530154 строк кода, удалено 232358 строк). Около 48% всех представленных в 4.11 изменений связаны с драйверами устройств, примерно 20% изменений имеют отношение к обновлению кода специфичного для аппаратных архитектур, 14% связано с сетевым стеком, 4% - файловыми системами и 5% c внутренними подсистемами ядра.

Основные новшества:

  • Дисковая подсистема, ввод/вывод и файловые системы
    • В реализации RAID 4/5/6 на базе подсистемы MD появилась поддержка журналирования, защищающая от потери данных в случае пропадании питания или краха. Реализация подготовлена компанией Facebook. Журнал ведётся на отдельном носителе (SSD или NVRAM). Все данные вначале отражаются в журнале, после чего разносятся по дискам, входящим в RAID-массив. В ситуации неожиданного отключения питания, даже если RAID находился в деградированном состоянии или данные были записаны лишь на часть дисков, повреждений удастся избежать, так как вся информация о транзакции отражена в журнале;
    • Для файловой системы ext4 реализована новая ioctl-команда EXT4_IOC_SHUTDOWN, которая позволяет убедиться, что раздел остановлен и нет необходимости в сбросе данных, остающихся в оперативной памяти. Возможность подготовлена по аналогии с командой XFS_IOC_GOINGDOWN;
    • В файловой системе CIFS реализована поддержка шифрованного доступа к разделам с использованием протокола SMB3;
    • В многоуровневой системе очередей (multiqueue), рассчитанной на организацию многопоточного доступа к данным на многоядерных системах, появилась поддержка подключения планировщиков ввода/вывода. В настоящее время для multiqueue пока портирован только планировщик deadline, ведётся портирование планировщика ввода/вывода BFQ, который ожидается в ядре 4.12;
    • Добавлена возможность работы с накопителями, соответствующими спецификации Opal, которая определяет механизм шифрования хранимых данных, позволяющий не допустить утечку информации в случае попадания носителя информации не в те руки. Поддержка Opal добавлена только для поддерживающих данную технологию NVME-контроллеров. Пользователям предоставлены команды для настройки, блокирования при переходе в спящий режим и разблокирования SED-накопителей (Self-Encrypting Drives);
    • В F2FS, развиваемой компанией Samsung высокопроизводительной файловой системе для Flash-накопителей, включена по умолчанию опция inline_xattr, обеспечивающеая inline-хранение в inode атрибутов xattr. Для отключения предложена опция монтирования "noinline_xattr". Добавлен отдельный поток для асинхронного выполнения команд "discard";
    • В OverlayFS обеспечена поддержка многопоточного копирования содержимого обычных файлов (ранее операции копирования выполнялись последовательно, что было узким местом в производительности);
    • Отключена поддержка NFSv4 по UDP, которая была в неработоспособном виде и расходилась со спецификацией. Также по умолчанию отключены метки безопасности для NFS (для активации при экспорте следует явно указывать security_label), так как данная возможность имеет смысл только при установке на сервере и клиенте похожих правил SELinux;
  • Виртуализация и безопасность
    • Для использования с ядром портирован GCC-плагин structleak, разработанный проектом Grsecurity и выполняющим принудительную инициализацию структур, передаваемых в пространство пользователя для блокирования возможных утечек информации;
    • В ядро встроена реализация алгоритма SipHash, предоставляющего более безопасный и быстрый метод хэширования;
    • В Xen добавлена поддержка загрузки гостевых систем в режиме PVH, комбинирующем элементы режимов паравиртуализации (PV) для ввода/вывода, обработки прерываний, организации загрузки и взаимодействия с оборудованием, с применением полной виртуализации (HVM) для ограничения привилегированных инструкций, изоляции системных вызовов и виртуализации таблиц страниц памяти;
    • Для KVM реализован драйвер PTP, позволяющий получить доступ из гостевой системы к часам реального времени хост-системы, что даёт возможность использовать Chrony для высокоточной синхронизации часов хоста и гостевой системы;
    • Добавлен интерфейс /sys/kernel/security/lsm, через который можно узнать список активных LSM-модулей;
    • Добавлена реализация алгоритма шифрования AES, обеспечивающая фиксированное время выполнения для защиты от атак, пытающихся определить характер данных на основе изменения времени обработки операции;
    • Реализация генератора псевдослучайных чисел переведена с хэширования MD5 на использование безопасного и быстрого алгоритма поточного шифра ChaCha20 при формировании энтропии для целочисленного вывода get_random_int и get_random_long;
    • Добавлен sysctl для загрузки правил AppArmor непривилегированным пользователем для нового namespace;
  • Сетевая подсистема
    • Реализован новый тип сокетов "SMC-R" (Shared Memory Communications over RDMA, RFC-7609), предназначенный для организации похожих на TCP каналов связи поверх транспорта RDMA (Remote Direct Memory Access). Протокол разработан компанией IBM и позволяет без внесения изменений (загрузив библиотеку через LD_PRELOAD) адаптировать уже написанные для TCP приложения для работы в сетях RoCE (RDMA over Converged Ethernet);
    • Добавлен модуль "psample" для выборки сетевых пакетов, проходящих через сетевой интерфейс, для дальнейшего отсеивания фильтром-классификатором;
    • В сетевой подсистеме теперь применяется SipHash вместо MD5 для генерации номеров последовательности и вместо SHA1 для syncookies;
    • В TCP-стеке включён по умолчанию механизм определения потери пакетов RACK, который в отличие от штатного метода определения факта потери пакета, отталкивается от времени передачи, а не последовательности прихода пакетов. Суть работы RACK в том, что при получении ACK-подтверждения для пакета, любые неподтверждённые пакеты, отправленные как минимум на RTT (round-trip time) раньше подтверждённого пакета, считаются потерянными и потребуют повторной отправки. Новый алгоритм уже протестирован в инфраструктуре Google и предложен для утверждения в качестве стандарта IETF (draft-ietf-tcpm-rack-01);
    • Для TCP-сокетов добавлена новая опция TCP_FASTOPEN_CONNECT, которую можно использовать в качестве альтернативного метода включения режима Fast Open на стороне клиента;
    • Параметры tcp_max_syn_backlog, tcp_tw_recycle и tcp_max_tw_buckets теперь могут раздельно выставляться для разных пространств имён;
    • Добавлен драйвер "ipvtap" для создания сетевых интерфейсов Ipvlan, для управления которыми можно применять инструменты, рассчитанные на работу с устройствами TAP;
  • Память и системные сервисы
    • Добавлен системный вызов statx() с реализацией более эффективного и функционального варианта stat(), возвращающего расширенную информацию о файле, включая время создания файла и специфичные для файловых систем флаги;
    • Реализованы раздельные буферы прокрутки для VGA-консолей. Ранее для всех консолей применялся один общий буфер прокрутки, что приводило к очистке всей не вмещающейся на экран истории после переключения на другую консоль. После внесения изменения просмотр истории прокрутки стал похож на работу с историей в tmux и screen. По умолчанию возможность отключена, так как наблюдаются проблемы с совместимостью с утилитами (например, clear_console), завязанными на очистку буфера после каждой смены консоли. Для включения следует передать при загрузке параметр "vgacon.scrollback_persistent=1" или собрать ядро с опцией "VGACON_SOFT_SCROLLBACK_PERSISTENT_ENABLE_BY_DEFAULT=y";
    • Проведена существенная оптимизация системы подкачки (swap), изначально рассчитанной на работу с дисковыми накопителями. Подкачка теперь адаптирована для работы с носителями SSD, отличающимися очень низким постоянным временем доступа;
    • Инструментарий perf теперь может быть собран с использованием компилятора Clang;
    • Добавлена реализация команды "perf ftrace", предоставляющая основанный на perf интерфейс для фреймворка отслеживания вызова функций (ftrace);
    • Добавлена возможность использования технологии разгона процессоров Turbo Boost Max 3.0 на системах без поддержки HWP (Hardware P-States). Turbo Boost Max позволяют увеличить производительность однопоточных приложений за счёт завышения тактовой частоты, при удержании допустимых границ мощности и температуры;
    • Модуль для обеспечения сжатия LZ4 заменён на новую реализацию, демонстрирующую более высокую производительность;
    • Из-за проблем с безопасностью удалена поддержка механизма /proc/timer_stats, предоставляющего статистику о работе таймера, которая приводит к утечке информации о процессе;
    • Для устройств PCI Express добавлена поддержка дополнительных режимов энергосбережения ASPM L1, определённых в спецификции PCIe 3.1, что позволяет добиться перехода на более глубокие уровни сна;
    • Реализована поддержка средств управления энергопотреблением APST (Autonomous Power State Transitions), которые позволяют на 20-30% снизить потребление энергии SSD-накопителями на базе технологии NVME. Поддержка APST пока не включена по умолчанию, так как для некоторых накопителей наблюдаются проблемы со стабильностью;
  • Оборудование
    • В DRM-драйвер (Direct Rendering Manager) Nouveau интегрирована начальная реализация системы регулирования энергопотребления (power budget). Переработана поддержка режима, обеспечивающего загрузку заверенных цифровой подписью блобов с прошивками NVIDIA, которые требуются для активации средств 3D-ускорения в Maxwell (серия GeForce-900) и более новых GPU. Необходимые прошивки уже добавлены в набор linux-firmware, но работа пока не доведена до конца, поэтому поддержка использования подобных прошивок появится только в ядре 4.12;
    • В драйвере AMDGPU появилась предварительная поддержка технологии виртуализации ввода-вывода SR-IOV (Single Root Input/Output Virtualization), поддерживаемой в профессиональных картах FirePro. Добавлены PCI-идентификаторы для чипов POLARIS12;
    • В драйвер для GPU Intel добавлены PCI-идентификаторы видеоподсистемы ещё не поступившей в продажу SoC Gemini Lake (GLK), идущей на смену Apollo Lake. Включено сжатие фреймбуфера для чипов gen9 и новее. Реализована возможность загрузки HuC-прошивок, содержащих компоненты для обеспечения кодирования видео. Добавлена поддержка вывода звука через DP MST (DisplayPort Multi-Stream Transport). Добавлен интерфейс на базе подсистемы perf для сбора метрик о производительности драйвера i915. Представлены новые sysctl dev.i915.oa_max_sample_rate и dev.i915.perf_stream_paranoid. Для систем на базе Baytrail и Cherrytrail включена поддержка режима вывода звука HDMI LPE, если не определён контроллер HDaudio;
    • Добавлена подсистема TinyDRM, предоставляющая компоненты для упрощения разработки драйверов для простых LCD-дисплеев, которые подключаются через медленные шины, такие как SPI и MIPI-DBI;
    • Добавлена поддержка графической подсистемы и контроллера управления памятью SoC Aspeed AST2500;
    • Добавлена поддержка звукового кодека Realtek ALC1220, применяемого на многих материнских платах AMD Ryzen и Intel Kaby Lake (Core-i 7xxx), а также кодеков Nuvoton NAU85L40, Allwinner SUN8I и интерфейса Intel HDMI LPE;
    • Добавлена поддержка новых ARM-плат, включая Banana Pi M64, HiSilicon Kirin960/Hi3660/HiKey960, SolidRun MACCHIATOBin, Broadcom BCM958712DxXMC NorthStar2, NXP LS1012a, а также систем на баз Allwinner H2+ и V3;
    • Добавлен новый звуковой драйвер и V4L2-драйвер камеры для SoC BCM2835 (используется в Raspberry Pi).

Дополнение: Латиноамериканский Фонд свободного ПО оперативно сформировал вариант полностью свободного ядра 4.11 - Linux-libre 4.11-gnu, очищенного от элементов прошивок и драйверов, содержащих несвободные компоненты или участки кода, область применения которых ограничена производителем. В новом выпуске очищен от блобов код для поддержки криптоакселераторов Cavium, а также драйверы для GPU Rockchip, Ethernet-контроллеров Netronome NFP 4000/6000 и сенсорных экранов Silead. В список расширений, в которых могут поставляться блобы, добавлены ".out" и ".nffw". Обновлён код чистки блобов в драйверах для GPU AMD и Intel, в загрузчике прошивок Qualcomm, кодеках Chips&Media, беспроводных драйверах Atheros ath10k, wil6210 и Intel iwlwifi, в звуковых драйверах для Intel Skylake.

  1. Главная ссылка к новости (https://lkml.org/lkml/2017/4/3...)
  2. OpenNews: Релиз ядра Linux 4.10
  3. OpenNews: Релиз ядра Linux 4.9
  4. OpenNews: Релиз ядра Linux 4.8
  5. OpenNews: Релиз ядра Linux 4.7
  6. OpenNews: Релиз ядра Linux 4.6
Лицензия: CC-BY
Тип: Интересно / Программы
Ключевые слова: linux, kernel
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Ajax/Линейный | Раскрыть все сообщения | RSS
 
  • 1.1, Аноним (-), 07:04, 01/05/2017 [ответить] [показать ветку] [···]    [к модератору]
  • +/
    Что-то Linux-Libre отстаёт в этот раз. http://linux-libre.fsfla.org/pub/linux-libre/releases/4.11-gnu/ пока нет.
     
     
  • 2.37, Аноним (-), 12:37, 01/05/2017 [^] [ответить]    [к модератору]
  • –2 +/
    Что-то Linux-nothing-works отстаёт в этот раз.
     
     
  • 3.91, Олег (??), 21:33, 01/05/2017 [^] [ответить]    [к модератору]
  • +/
    А еще там появилась поддержка вот этого ТВ тюнера
    https://www.kaa.org.ua/en/22-articles/61-evromedia-usb-full-hybrid-full-hd.htm
     
     
  • 4.101, Аноним (-), 00:54, 02/05/2017 [^] [ответить]    [к модератору]
  • +/
    Уя! А это крутой девайс? Или он пока тоже "ундер констрикшон" как и сайт с мутным сертификатом?
     
  • 1.3, Аноним (-), 07:06, 01/05/2017 [ответить] [показать ветку] [···]    [к модератору]
  • –22 +/
    Все ближе и ближе для декстопа, хотя сами окружения декстопа куча несвязанных компонентов с оверхеодм на диске как Quartz
     
     
  • 2.56, омоним (?), 14:36, 01/05/2017 [^] [ответить]    [к модератору]  
  • +5 +/
    Набор слов.
    Как нет тут и приближения к десктопам
     
     
  • 3.59, Аноним (-), 15:16, 01/05/2017 [^] [ответить]    [к модератору]  
  • –1 +/
    > Как нет тут и приближения к десктопам

    Ноутбуки - новая цель :).

     
     
  • 4.61, Perf (?), 15:45, 01/05/2017 [^] [ответить]    [к модератору]  
  • –1 +/
    Тут только надо понять, где будут сами ноутбуки лет через пять
     
     
  • 5.64, th3m3 (ok), 16:55, 01/05/2017 [^] [ответить]    [к модератору]  
  • +3 +/
    И где они будут? Никуда не денутся. На одних смартах - ещё не скоро будем сидеть.
     
  • 5.68, _ (??), 17:52, 01/05/2017 [^] [ответить]    [к модератору]  
  • +6 +/
    А что изменится через пять лет? У людей вместо рук отрастут тентакли? :)
     
     
  • 6.115, Аноним (-), 11:34, 02/05/2017 [^] [ответить]    [к модератору]  
  • +2 +/
    Продажи и доля ноутов снижается уже который год подряд. Растут продажи смартов и планшетов.
     
     
  • 7.155, Evtomax (??), 10:00, 06/05/2017 [^] [ответить]     [к модератору]  
  • +1 +/
    Производительность ноутов и стационарников последние несколько лет растёт черепа... весь текст скрыт [показать]
     
  • 5.112, Аноним (-), 10:55, 02/05/2017 [^] [ответить]    [к модератору]  
  • +2 +/
    Работать в местах где нужно работать а не "развлекаться"
     
     
  • 6.128, Аноним (-), 19:30, 02/05/2017 [^] [ответить]    [к модератору]  
  • +/
    Работать на рабочих местах с типичной для рабочих мест ОС :)
     
  • 1.4, Дима (??), 07:44, 01/05/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Что там с baytrail? Звук, сенсор и индикация батареи теперь работают? Или все еще нет?
     
     
  • 2.39, Анон999999 (?), 12:42, 01/05/2017 [^] [ответить]    [к модератору]  
  • –2 +/
    Давно работают!
     
     
  • 3.98, Злюка (?), 23:54, 01/05/2017 [^] [ответить]    [к модератору]  
  • +2 +/
    Да, всё работает - огонь. Ну, вот, разве что только это:
    https://bugzilla.kernel.org/show_bug.cgi?id=109051
     
     
  • 4.148, soarin (ok), 19:05, 03/05/2017 [^] [ответить]    [к модератору]  
  • +/
    > here's a big huge *UCK YOU for being A *UCKING ***HOLE!!

    Во. Процесс по решению проблемы как идет. В лучших традициях линукс сообщества :D

     
  • 2.57, Stax (ok), 14:49, 01/05/2017 [^] [ответить]     [к модератору]  
  • +1 +/
    В китайских bay trail и cherry trail обожают ставить сеть на базе рилтека 8723BS... весь текст скрыт [показать]
     
     
  • 3.73, Дима (??), 18:27, 01/05/2017 [^] [ответить]    [к модератору]  
  • +/
    У меня вот сенсор и аккум не завелись на планшете, но то было сырое 4.11. Надеюсь на свежачке ситуация будет получше. Или может вовсе стоит подождать ядер 4.12 - 4.15?
     
     
  • 4.100, Stax (ok), 00:30, 02/05/2017 [^] [ответить]     [к модератору]  
  • +1 +/
    Очень зависит от конкретного датчика в конкретном планшете Обычно всякие Dell и... весь текст скрыт [показать]
     
     
  • 5.103, Аноним (-), 00:58, 02/05/2017 [^] [ответить]    [к модератору]  
  • +/
    У меня в iPad все датчики работают.


     
     
  • 6.123, Stax (ok), 13:17, 02/05/2017 [^] [ответить]    [к модератору]  
  • +2 +/
    У вас iPad на платформе Intel с кучей оборудования на шинах I2C и SDIO? Потому что мы тут вообще-то такой кейз обсуждаем..
     
     
  • 7.130, Дима (??), 20:25, 02/05/2017 [^] [ответить]    [к модератору]  
  • +/
    Спасибо за ответ! Теперь понятно хоть куда копать, если не заработает. Как ядра > 4.11 появятся в оф. репо, буду экспериментировать.
     
  • 1.5, turbo2001 (ok), 07:44, 01/05/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +9 +/
    Можно глупый вопрос? Хардварные рейды еще покупают? Если да, то почему?

    ЗЫ Я админ локалхоста, поэтому правда не знаю и мне интересно.

     
     
  • 2.9, llolik (ok), 08:18, 01/05/2017 [^] [ответить]    [к модератору]  
  • +11 +/
    > Хардварные рейды еще покупают? Если да, то почему?

    Покупают. Потому что это надёжность, значительно большая производительность и устойчивость к нагрузкам. Ну это всё, если мы рассматривает полноценный хардварный RAID-контроллер, а не какой-нибудь встроенный в материнку fake-raid.

     
     
  • 3.13, Аноним (-), 08:57, 01/05/2017 [^] [ответить]    [к модератору]  
  • +1 +/
    давай посмеемся - найди мне HW raid который выдаст на RAID6 в конфигурации 8+2 из 40 дисков - скорость 8-9Gbyte/s, а linux mdraid6 это может..
     
     
  • 4.16, qwerty123 (??), 09:39, 01/05/2017 [^] [ответить]    [к модератору]  
  • +10 +/
    > давай посмеемся - найди мне HW raid который выдаст на RAID6 в
    > конфигурации 8+2 из 40 дисков - скорость 8-9Gbyte/s, а linux mdraid6
    > это может..

    деятелей, пытающихся хранить деловые даннные на таких конструкциях, стараюсь не допускать в апппаратные комнаты.

     
     
  • 5.62, ананим.orig (?), 16:38, 01/05/2017 [^] [ответить]     [к модератору]  
  • +5 +/
    Гонору бы по-меньше и было бы хорошо Пока не стали считать сколько у вас там а... весь текст скрыт [показать]
     
  • 5.89, пох (?), 21:03, 01/05/2017 [^] [ответить]     [к модератору]  
  • –3 +/
    они может write-only то что автор скромно умолчал, что за fs у него поверх эт... весь текст скрыт [показать]
     
  • 5.108, iCat (ok), 07:29, 02/05/2017 [^] [ответить]    [к модератору]  
  • +/
    > деятелей, пытающихся хранить деловые даннные на таких конструкциях, стараюсь не допускать в апппаратные комнаты.

    Сударь, а у вас всех контроллеров HW-RAID по паре?
    Завидую...

     
     
  • 6.145, пох (?), 14:50, 03/05/2017 [^] [ответить]     [к модератору]  
  • –1 +/
    а зачем по паре Их либо две-три пары и все как минимум в hot standby конструкци... весь текст скрыт [показать]
     
     
  • 7.152, iCat (ok), 02:10, 04/05/2017 [^] [ответить]    [к модератору]  
  • –1 +/
    > ...сотни ящиков и десятки стоек...
    > ...прискачет курьер и привезет в пакетике новый...

    ...и опять нет повода не позавидовать...


     
  • 4.31, Аноним (-), 12:07, 01/05/2017 [^] [ответить]    [к модератору]  
  • +6 +/
    >из 40 дисков

    И сколько выйдет, если разбить эту конфигурацию на 2 части? А если на три? На четыре? А что если нужен хотспэйр?

    Нет, я очень рад, что у вас все работает и вас все устраивает. Только не надо мерятся МПХ без постановки задачи, ладно? А то получается, что у вас единственно верная задача для всех случаев жизни, ее все знают и все поголовно только ее и решают.

     
  • 4.44, grsec (ok), 13:07, 01/05/2017 [^] [ответить]    [к модератору]  
  • +/
    > скорость 8-9Gbyte/s,

    Это у вас какая-то бытовая потребность. Вы не в теме про фичу аппаратных рейдов.

     
  • 4.113, Аноним (-), 10:58, 02/05/2017 [^] [ответить]    [к модератору]  
  • +/
    И что из этого, сколько он при этом отберёт у системы ресурсов при работе БД? Как перенесёт вырубание питания? как закешит и "где" данные при массовой записи от СУБД?
     
  • 3.15, anonblmous (?), 09:13, 01/05/2017 [^] [ответить]    [к модератору]  
  • +7 +/
    А это ничего, что в "хардварных" рейдах унутре свой проц, своя оперативка и свой софт, писанный секретными индусами?
    И закрытые дрова, приколоченные гвоздями к полутора версиям редхата и зюзи.
    И если почитать changelog от какого-нито такого аппаратного рейда, то иногда волосья на голове шевелятся.
     
     
  • 4.17, qwerty123 (??), 09:47, 01/05/2017 [^] [ответить]     [к модератору]  
  • –10 +/
    код линукс подсистем в 1 2 недалеко от кривого индусского написали, как-то раб... весь текст скрыт [показать]
     
     
  • 5.19, jh (?), 10:08, 01/05/2017 [^] [ответить]    [к модератору]  
  • +1 +/
    когда аппаратный рейд поломается, высока вероятность что придется искать такой же контроллер чтобы прочитать данные
     
     
  • 6.82, Онаним (?), 20:25, 01/05/2017 [^] [ответить]     [к модератору]  
  • +/
    Матери с SATA port multiplier ами хватает Raid Reconstructor для определения оч... весь текст скрыт [показать]
     
  • 6.149, Михрютка (ok), 21:51, 03/05/2017 [^] [ответить]     [к модератору]  
  • –1 +/
    это если у вас нет второго контроллера, который работает в параллель с первым, н... весь текст скрыт [показать]
     
  • 5.20, anonblmous (?), 10:10, 01/05/2017 [^] [ответить]    [к модератору]  
  • +7 +/
    > код линукс подсистем в 1/2 недалеко от кривого индусского.

    Его хотя бы шансы есть посмотреть и поправить (что может не хватить времени или квалификации - вопрос отдельный).
    С прошивкой "аппаратного рейда" - жри, что дают, деньги неси, целуй вендора в #опу.

    >> И закрытые дрова, приколоченные гвоздями к полутора версиям редхата и зюзи.
    > необходимо таки подбирать оборудование по целям и качеству.

    Внезапно, не все в ынтырпрайзе работают. Не поверите - есть еще средний и малый бизнес, где бюджета на ангар с тестовыми серваками нету.

    >> И если почитать changelog от какого-нито такого аппаратного рейда, то иногда волосья
    >> на голове шевелятся.
    > "какие-нить" не покупайте.

    Можно подумать, другие есть.


     
  • 4.21, Аноним (-), 10:30, 01/05/2017 [^] [ответить]    [к модератору]  
  • +/
    Наверное, стоит покупать аппаратные контроллеры RAID, которые не требуют каких-то внешних драйверов и выглядят для системы как стандартное SATA, SAS, SCSI устройство.
     
     
  • 5.22, anonblmous (?), 10:38, 01/05/2017 [^] [ответить]     [к модератору]  
  • +3 +/
    А что, риск нарваться на кривую прошивку от этого пропадет ... весь текст скрыт [показать]
     
     
  • 6.70, _ (??), 18:17, 01/05/2017 [^] [ответить]     [к модератору]  
  • +5 +/
    Да проще всё - сдохнет карта, и вдруг окажется что чтобы прочитать данные тебе н... весь текст скрыт [показать]
     
     
  • 7.144, PnDx (ok), 14:34, 03/05/2017 [^] [ответить]     [к модератору]  
  • +1 +/
    Просто оставлю это здесь Старенький LSI MegaRAID SAS 9260-8i Mfg Date 08 31 ... весь текст скрыт [показать]
     
     
  • 8.146, пох (?), 14:57, 03/05/2017 [^] [ответить]     [к модератору]  
  • +/
    у вас задача как-то выпала из описания вы ж не под бонии его собирали В случае... весь текст скрыт [показать]
     
     
  • 9.147, PnDx (ok), 18:54, 03/05/2017 [^] [ответить]     [к модератору]  
  • –1 +/
    Бюджетные 3 8230 6k x86-гипервизоры с DAS в небольшом телекоме Запись, ка... весь текст скрыт [показать]
     
  • 7.150, Михрютка (ok), 22:31, 03/05/2017 [^] [ответить]     [к модератору]  
  • –2 +/
    господи, да как же надоели вы с этой песней, товарищи строители хранилищ из овна... весь текст скрыт [показать]
     
  • 4.30, Аноним (-), 11:58, 01/05/2017 [^] [ответить]     [к модератору]  
  • +1 +/
    Следует также прибавить невыносимо отвратительные софты для управления и монитор... весь текст скрыт [показать]
     
     
  • 5.33, Survolog (?), 12:14, 01/05/2017 [^] [ответить]    [к модератору]  
  • +1 +/
    Всегда на mdadm с умилением смотрел. Из чего-то удобнее только btrfs вспоминается.
     
  • 5.63, ананим.orig (?), 16:49, 01/05/2017 [^] [ответить]     [к модератору]  
  • +/
    После появления в lvm2 поддержки raid5 6 итд тоже стал не востребован А так д... весь текст скрыт [показать]
     
  • 4.47, Аноним (-), 13:25, 01/05/2017 [^] [ответить]     [к модератору]  
  • +1 +/
    Какой ещё свой код Кому надо заморачиваться Там унутре тот же linux с тем же M... весь текст скрыт [показать]
     
     
  • 5.52, Аноним (-), 13:53, 01/05/2017 [^] [ответить]    [к модератору]  
  • +1 +/
    Вот сразу видно кто хардварных раид контроллеров и в глаза не видел.
     
     
  • 6.83, Онаним (?), 20:27, 01/05/2017 [^] [ответить]    [к модератору]  
  • +1 +/
    Иди сначала initramfs из прошивки контроллера выковыряй, потом будешь всем рассказывать как его там нет.
     
     
  • 7.93, Аноним (-), 23:07, 01/05/2017 [^] [ответить]    [к модератору]  
  • +1 +/
    Пример контроллера с линуксом внутри в студию.
     
     
  • 8.125, Zulu (?), 18:14, 02/05/2017 [^] [ответить]    [к модератору]  
  • –1 +/
    Areca.
     
     
  • 9.135, пох (?), 21:24, 02/05/2017 [^] [ответить]    [к модератору]  
  • –1 +/
    ну труп же ж.
    К тому же линукс там был, вероятнее всего, только в интерфейсе (отдельно ужасном).

     
  • 5.88, пох (?), 20:59, 01/05/2017 [^] [ответить]     [к модератору]  
  • –3 +/
    эта areca вроде десять лет уже банкрот Где вы еще линyпс-то нашли есть один... весь текст скрыт [показать]
     
  • 3.32, Аноним (-), 12:12, 01/05/2017 [^] [ответить]    [к модератору]  
  • +3 +/
    HW не безопасны. Полетит и информацию будет не восстановить, т.к. формат не стандартизирован, а такой же можно и не найти.
     
     
  • 4.48, Аноним (-), 13:25, 01/05/2017 [^] [ответить]    [к модератору]  
  • +/
    Ну так делай бекапы! RAID это не система резервного копирования.
     
     
  • 5.53, Аноним (-), 13:54, 01/05/2017 [^] [ответить]    [к модератору]  
  • +/
    > Ну так делай бекапы! RAID это не система резервного копирования.

    Бекапы не панацея.

     
  • 5.71, _ (??), 18:21, 01/05/2017 [^] [ответить]    [к модератору]  
  • +/
    Поднять из бэкапа многия терабайты ... это от недели и больше. К тому времени твои клиенты уже будут у твоих конкурентов. Поэтому покупайте контроллеры парами. :-\
     
     
  • 6.86, пох (?), 20:46, 01/05/2017 [^] [ответить]     [к модератору]  
  • +1 +/
    причем - _сразу_ ох какие занимательные приколы были у lsi megaraid чуть друго... весь текст скрыт [показать]
     
  • 6.109, iCat (ok), 07:45, 02/05/2017 [^] [ответить]     [к модератору]  
  • +2 +/
    3-2-1 Минимум три копии данных Минимум на двух независимых носителях Минимум оди... весь текст скрыт [показать]
     
  • 5.117, Аноним (-), 12:28, 02/05/2017 [^] [ответить]    [к модератору]  
  • +1 +/
    Бэкапы в любом случае делать надо. HW - это просто дополнительная точка отказа в системе.
     
  • 4.126, Zulu (?), 18:16, 02/05/2017 [^] [ответить]    [к модератору]  
  • –1 +/
    > стандартизирован, а такой же можно и не найти.

    RAID купил, саппорт не купил.

     
     
  • 5.136, пох (?), 21:30, 02/05/2017 [^] [ответить]     [к модератору]  
  • +/
    саппорт купил, а он тебе и говорит человечьим голосом - а это у вас от того, чт... весь текст скрыт [показать]
     
     
  • 6.151, Михрютка (ok), 23:40, 03/05/2017 [^] [ответить]     [к модератору]  
  • –1 +/
    будет точно так же, вы думали, в рай попали единственно в случае покупки поддер... весь текст скрыт [показать]
     
  • 2.10, anomymous (?), 08:19, 01/05/2017 [^] [ответить]    [к модератору]  
  • –2 +/
    В основном из-за плохой производительности на запись у софтрейдов. Как загоните CPU на в 100% iowait - сразу поймёте, почему.
     
     
  • 3.11, anomymous (?), 08:19, 01/05/2017 [^] [ответить]    [к модератору]  
  • +/
    > на в 100% iowait

    На записи в 100% iowait

     
     
  • 4.12, Аноним (-), 08:38, 01/05/2017 [^] [ответить]    [к модератору]  
  • +/
    особенно NVme
     
  • 3.14, Аноним (-), 08:58, 01/05/2017 [^] [ответить]     [к модератору]  
  • +1 +/
    на скорости 9Gbyte s в случае linux md raid 6, упираемся в pagecache - а не в IO... весь текст скрыт [показать]
     
     
  • 4.18, qwerty123 (??), 09:49, 01/05/2017 [^] [ответить]     [к модератору]  
  • –3 +/
    превращаете материнскую плату для unix в плату для raid контроллера ... весь текст скрыт [показать]
     
     
  • 5.23, Аноним (-), 10:42, 01/05/2017 [^] [ответить]     [к модератору]  
  • +4 +/
    А почему бы и нет, если рассмотреть следующую конструкцию В Linux есть модуль д... весь текст скрыт [показать]
     
     
  • 6.27, Аноним (-), 11:24, 01/05/2017 [^] [ответить]    [к модератору]  
  • +7 +/
    Потом увольняетесь, а пришедшие админы ох.евают от данного цирка и проклинают вас.
     
     
  • 7.35, PSV (?), 12:16, 01/05/2017 [^] [ответить]    [к модератору]  
  • +4 +/
    Слабаки!

    ps уже задолбали рассуждения о нанятых для экономии в качестве админов домохозяйках

     
     
  • 8.50, Аноним (-), 13:32, 01/05/2017 [^] [ответить]     [к модератору]  
  • +1 +/
    Ну почему же Если тут админ ничего не задокументировал, то последователям в люб... весь текст скрыт [показать]
     
  • 7.36, SysOps (?), 12:33, 01/05/2017 [^] [ответить]    [к модератору]  
  • +/
    ну такие как вы в будущем и без работы будут
     
  • 7.72, _ (??), 18:26, 01/05/2017 [^] [ответить]     [к модератору]  
  • +1 +/
    Мне на неосиляторов 100500 колограмовый прибор покласть Бизнесс платит за реш... весь текст скрыт [показать]
     
     
  • 8.90, ыы (?), 21:11, 01/05/2017 [^] [ответить]     [к модератору]  
  • +1 +/
    такие идеи есть только у админов локалхоста в нормальных фирмах ни такого отнош... весь текст скрыт [показать]
     
     
  • 9.106, . (?), 03:58, 02/05/2017 [^] [ответить]     [к модератору]  
  • –1 +/
    Найди такие буквы в оригинальном посте, дятлушка Плач был о том что мол сложн... весь текст скрыт [показать]
     
  • 9.153, Аноним (-), 07:55, 04/05/2017 [^] [ответить]     [к модератору]  
  • –2 +/
    А как ты узнаешь, что фирма нормальная Есть нормальные фирмы , где отдельные о... весь текст скрыт [показать]
     
  • 8.114, пох (?), 11:17, 02/05/2017 [^] [ответить]     [к модератору]  
  • –1 +/
    бизнесу, обычно, не нужно одноразовое решение, которое, когда ломается а того х... весь текст скрыт [показать]
     
  • 7.77, SomeUser (?), 19:40, 01/05/2017 [^] [ответить]     [к модератору]  
  • –3 +/
    Это ещё что Один заказчик соорудил конструкцию из дискового массива сделал в... весь текст скрыт [показать]
     
  • 6.49, Аноним (-), 13:31, 01/05/2017 [^] [ответить]     [к модератору]  
  • +/
    И получаем ровно то же, что продаётся под названием hardware RAID ... весь текст скрыт [показать]
     
     
  • 7.54, anonblmous (?), 14:16, 01/05/2017 [^] [ответить]     [к модератору]  
  • +5 +/
    только с открытой прошивкой, что, КМК, немаловажно ... весь текст скрыт [показать]
     
     
  • 8.85, Аноним (-), 20:41, 01/05/2017 [^] [ответить]    [к модератору]  
  • +2 +/
    И в несколько раз дороже, что тоже немаловажно.
     
  • 6.92, neit95 (ok), 22:11, 01/05/2017 [^] [ответить]    [к модератору]  
  • –1 +/
    >В Linux есть модуль для прямого соединения материнок по PCI-Express.

    А можно по подробнее? Что-то не нашёл такого.

     
     
  • 7.124, Anon123 (?), 14:04, 02/05/2017 [^] [ответить]    [к модератору]  
  • +1 +/
    https://www.kernel.org/doc/Documentation/ntb.txt
    и
    https://github.com/jonmason/ntb/wiki
     
  • 6.111, Аноним (-), 09:51, 02/05/2017 [^] [ответить]    [к модератору]  
  • +/
    Я как админ в прошлом и владелец бизнеса в настоящем вышвырнул бы за шиворот без выходного пособия за такое "решение". Свой сумрачный гений надо в локальной сети применять, а не в бизнесе.
     
     
  • 7.116, Аноним (-), 11:36, 02/05/2017 [^] [ответить]    [к модератору]  
  • +1 +/
    Думаешь от того что скучно такие решения придумывают, чаще мы хотим такого но денег не дадим.
     
     
  • 8.137, пох (?), 21:38, 02/05/2017 [^] [ответить]     [к модератору]  
  • +/
    включая зарплату гусару-без-мотора в принципе, он в месяц все же подороже дешев... весь текст скрыт [показать]
     
  • 6.120, Аноним (-), 12:48, 02/05/2017 [^] [ответить]     [к модератору]  
  • +1 +/
    Вы только что описали плату аппаратного RAID контроллера на ширпотребных компон... весь текст скрыт [показать]
     
  • 2.29, Аноним (-), 11:55, 01/05/2017 [^] [ответить]    [к модератору]  
  • +17 +/
    Админы делятся на две категории, те кто верит в волшебные свойства хардварных рейдов и те кто уже нет.
     
     
  • 3.131, anomymous (?), 20:26, 02/05/2017 [^] [ответить]    [к модератору]  
  • +1 +/
    Основное волшебное свойство заключается в том, что при записи на софтовый RAID6 из 12 дисков вы получите 12x наборов данных по шине.
     
     
  • 4.132, anomymous (?), 20:29, 02/05/2017 [^] [ответить]     [к модератору]  
  • +1 +/
    P S Не понимающим, почему 12, советую предположить типовую для потоковой записи... весь текст скрыт [показать]
     
  • 2.81, пох (?), 20:25, 01/05/2017 [^] [ответить]     [к модератору]  
  • –4 +/
    ну вот потому что линукс в 2017м году от Р X сделал лог в raid 456 А в каком... весь текст скрыт [показать]
     
     
  • 3.95, Аноним (-), 23:18, 01/05/2017 [^] [ответить]     [к модератору]  
  • +/
    Этими линуксными поделками как раз пользуются те кто уже походил по граблям с по... весь текст скрыт [показать]
     
  • 3.127, Zulu (?), 18:20, 02/05/2017 [^] [ответить]     [к модератору]  
  • +/
    ха-ха Адаптек и работающий в одной фразе прошивка меняется одной командой П... весь текст скрыт [показать]
     
     
  • 4.138, пох (?), 22:54, 02/05/2017 [^] [ответить]     [к модератору]  
  • +/
    не все адаптеки одинаково полезны, да которую приходится брать хз где, ага, пот... весь текст скрыт [показать]
     
     
  • 5.154, Zulu (?), 17:25, 05/05/2017 [^] [ответить]     [к модератору]  
  • –1 +/
    Почему это хз где , ясно где На MyOracleSupport Не буду ж я прямо с адаптеком... весь текст скрыт [показать]
     
  • 2.118, Аноним (-), 12:33, 02/05/2017 [^] [ответить]    [к модератору]  
  • +2 +/
    Хардварный разве что позволяет винду на raid 0 поставить. Всё остальное реализуется софтварным, который и быстрее, и мониторится удобнее и восстанавливается проще.
     
     
  • 3.133, anomymous (?), 20:32, 02/05/2017 [^] [ответить]     [к модератору]  
  • –1 +/
    Удобнее - да Проще - да Быстрее - увы, нет ... весь текст скрыт [показать]
     
  • 2.156, anonimous (?), 00:18, 16/05/2017 [^] [ответить]     [к модератору]  
  • +/
    покупают один винт в raid-е один поток на его обработку если у вас вафельница ... весь текст скрыт [показать]
     
     ....нить скрыта, показать (80)

  • 1.8, postfactum (?), 08:06, 01/05/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    > планируется портирование cfq, noop

    Нет.

     
  • 1.24, Аноним (-), 10:49, 01/05/2017 [ответить] [показать ветку] [···]     [к модератору]  
  • +3 +/
    Джвадцать лет ждал Ещё бы отдельные наборы виртуальных консолей для каждой физи... весь текст скрыт [показать]
     
     
  • 2.45, Аноним (-), 13:09, 01/05/2017 [^] [ответить]    [к модератору]  
  • +5 +/
    Идею им подкинь, девелоперы могут не догадываться что кому-то такое нужно. Я бы не догадался.
     
  • 1.25, Аноним (-), 11:14, 01/05/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    > Отключена поддержка NFSv4 по UDP, которая была в неработоспособном виде

    Разве UDP не использовался в NFS по умолчанию?

     
     
  • 2.43, h31 (ok), 13:00, 01/05/2017 [^] [ответить]    [к модератору]  
  • +/
    В NFSv3 и более старых.
     
     
  • 3.66, Stax (ok), 17:18, 01/05/2017 [^] [ответить]    [к модератору]  
  • +1 +/
    Если точнее, в v2 и более старых, а начиная с v3 UDP поддерживался, но рекомендуется TCP.
     
  • 2.60, zanswer CCNA RS (?), 15:25, 01/05/2017 [^] [ответить]     [к модератору]  
  • +3 +/
    Использовался, но это не эффективно, поэтому в NFSv4 перешли по умолчанию к TCP,... весь текст скрыт [показать]
     
     
  • 3.84, пох (?), 20:38, 01/05/2017 [^] [ответить]     [к модератору]  
  • –5 +/
    дело не в неэффективно Дело в отсутствии вменяемых программистов А они ушли ... весь текст скрыт [показать]
     
     
  • 4.96, Аноним (-), 23:19, 01/05/2017 [^] [ответить]    [к модератору]  
  • +2 +/
    > дело не в "неэффективно". Дело в отсутствии вменяемых программистов. А они ушли
    > вместе с sun, и тот кусок кода уже лет десять никто
    > не трогает.

    Экий бред сумасшедшего.

     
  • 1.26, Sunderland93 (ok), 11:18, 01/05/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    То есть можно будет включить blk-mq, чтобы он работал для SSD, и встроенный в него Deadline для HDD? Круто если так
     
     
  • 2.78, Аноним (-), 19:52, 01/05/2017 [^] [ответить]    [к модератору]  
  • +/
    blk-mq это не то, не думаю что потребительские продукты поддерживают multi queue. вообще не знаю, не читал пока что это такое ;)
     
  • 1.28, IdeaFix (ok), 11:46, 01/05/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    1. structleak
    2. раздельные буферы с историей прокрутки для консолей

    Годно. Даже не знаю что меня больше радует....

     
  • 1.34, DeerFriend (?), 12:15, 01/05/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    > Для KVM реализован драйвер PTP

    Теперь ntp сервер можно будет поднимать в виртуалке?

     
     
  • 2.38, Andrey Mitrofanov (?), 12:40, 01/05/2017 [^] [ответить]     [к модератору]  
  • +1 +/
    Ну, вам, видать, и ntpdate - сервер драйвер PTP, позволяющий получить дос... весь текст скрыт [показать]
     
     
  • 3.41, DeerFriend (?), 12:56, 01/05/2017 [^] [ответить]    [к модератору]  
  • –1 +/
    Вопрос был в том, можно ли тем же chrony, который имеет доступ к часам хост системы, раздавать время другим хостам, или это пока влажные мечты?
     
     
  • 4.42, Andrey Mitrofanov (?), 12:58, 01/05/2017 [^] [ответить]     [к модератору]  
  • +/
    Тем крони, который _берёт_ время с часов хоста , раздавать другим виртуалкам Е... весь текст скрыт [показать]
     
  • 4.67, Stax (ok), 17:23, 01/05/2017 [^] [ответить]     [к модератору]  
  • +2 +/
    Chrony - это штука для NTP и никакого отношения к этому не имеет NTP нужен для ... весь текст скрыт [показать]
     
  • 2.110, бедный буратино (ok), 07:55, 02/05/2017 [^] [ответить]    [к модератору]  
  • –1 +/
    > Теперь ntp сервер можно будет поднимать в виртуалке?

    не только. ещё смотреть РТР

     
  • 1.40, Игорь (??), 12:52, 01/05/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Все, что связано с сетевым стеком мне понравилось, остальное на любителя)

    Linus Torvalds, thank you very much.

     
     
  • 2.46, Аноним (-), 13:11, 01/05/2017 [^] [ответить]    [к модератору]  
  • +/
    Согласен. Поджскажите если не сложно - как можно с SMC-R поиграться?
     
     
  • 3.58, Шкурка_от_головки (ok), 15:12, 01/05/2017 [^] [ответить]    [к модератору]  
  • +/
    Для начала надо приобрести RoCE-железо
     
     
  • 4.65, Аноним (-), 17:14, 01/05/2017 [^] [ответить]    [к модератору]  
  • +/
    Вот тут https://en.wikipedia.org/wiki/RDMA_over_Converged_Ethernet
    "the protocol can also be used on a traditional or non-converged Ethernet network"
     
     
  • 5.94, Шкурка_от_головки (ok), 23:08, 01/05/2017 [^] [ответить]    [к модератору]  
  • +/
    Да, действительно, должно работать на обычных NIC'ах
     
  • 1.51, Аноним (-), 13:52, 01/05/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    "Модуль для обеспечения сжатия LZ4 заменён на новую реализацию, демонстрирующей более высокую производительность;" На какую? Ткните носом, пожалуйста.
     
     
  • 2.79, Аноним (-), 19:54, 01/05/2017 [^] [ответить]     [к модератору]  
  • +/
    в zswap вроде использовался, но не по умолчанию ммм в initramfs возможно, но н... весь текст скрыт [показать]
     
     
  • 3.80, Аноним (-), 20:22, 01/05/2017 [^] [ответить]    [к модератору]  
  • +/
    Я не об этом. Я хочу увидеть тесты. Насколько увеличилась производительность?
     
     
  • 4.119, Andrey Mitrofanov (?), 12:44, 02/05/2017 [^] [ответить]     [к модератору]  
  • +/
    https duckduckgo com q lz4 high performance benchmark икс три ы м м в http... весь текст скрыт [показать]
     
  • 2.87, Necrogrinder (ok), 20:50, 01/05/2017 [^] [ответить]    [к модератору]  
  • +/
    Я так понял на LZ4 fast перешли

    https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/commit/?id=

     
  • 2.121, Andrey Mitrofanov (?), 12:51, 02/05/2017 [^] [ответить]     [к модератору]  
  • +1 +/
    На какую - другую реализацию написано здесь https lwn net Articles 7131... весь текст скрыт [показать]
     
  • 1.55, Аноним (-), 14:33, 01/05/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +1 +/
    Maxwell - это девятисотая серия, а не тысячная, поправьте. Для них ускорение уже работает. Для Паскалей - только с ядром и месой из гита.
     
  • 1.129, Аноним (-), 19:32, 02/05/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • –2 +/
    Херову тучу ошибок ACPI уже замели под ковёр или так и цветёт в системных логах?
     
     
  • 2.139, Аноним (-), 02:29, 03/05/2017 [^] [ответить]    [к модератору]  
  • +/
    пруф?
     
  • 2.140, llolik (ok), 10:09, 03/05/2017 [^] [ответить]    [к модератору]  
  • +2 +/
    А всё от того, что ACPI-таблицы редко когда нормально заполнены. Всё больше или криво левой пяткой или какой-то собственный дикий колхоз. За всеми в рамках одного ядра не уследишь.
     
     
  • 3.142, Аноним (-), 12:44, 03/05/2017 [^] [ответить]     [к модератору]  
  • +/
    Что интересно, у меня на последних ядрах на Core2Duo ни одного разрыва по acpi в... весь текст скрыт [показать]
     
     
  • 4.143, llolik (ok), 13:36, 03/05/2017 [^] [ответить]    [к модератору]  
  • +1 +/
    > этом всё нормально работает канеш.

    ACPI вообще глюкодром адовый. Проблема в одном месте (в кривом DSDT, например) может быть обойдена/обкостылена где-нибудь в другом месте (в BIOS, в kernel, в драйвере, даже в юзерспейсе где-нибудь). И в результате, вроде как, всё работает, но в dmesg, например, дикий вой ACPI ERROR: ***. Или глючит, от сочетания всего этого, но как-то по другому.
    ЗЫ. Это не только к linux относится, это везде так.

     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor