Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Выпуск GNU Diffutils 3.4 с поддержкой цветного вывода, opennews (?), 09-Авг-16, (0) [смотреть все] На самом деле все эти утили безбожно устарели Например sort Казалось бы - напи, Лютый жабист_ (?), 08:29 , 09-Авг-16, (1) –19 // На 1С перепиши , Аноним (-), 08:46 , 09-Авг-16, (3) +11 // А по делу что скажете Медленнее в сотни раз, зато православно , Лютый жабист_ (?), 08:53 , 09-Авг-16, (4) +1 // По делу на это говорят patches welcome , Аноним (-), 21:53 , 12-Авг-16, (80) Ещё из того что вызывает недоумение в 2016-м году Argument list too long у больш, Лютый жабист_ (?), 08:58 , 09-Авг-16, (5) –4 // Ты реально дурачек если незнаешь что это, anonymous (??), 09:03 , 09-Авг-16, (7) +7 Пусть я буду дурачком, но вы бы не могли пояснить , Horekk (?), 09:27 , 09-Авг-16, (11) Общая длина аргументов командной строки ограничивается ядром ОС Вот почитайте дл, Аноним (-), 09:49 , 09-Авг-16, (15) +5 Интересно, почему тогда ls home xml 124 wc -lпрекрасно работает, а grep -Ri, Лютый жабист_ (?), 10:11 , 09-Авг-16, (17) –8 ты будешь удивлен, но это не grep пишет, anonymous (??), 10:14 , 09-Авг-16, (19) +6 А мы не будем удивлены - он честно написал что жабист Поэтому он дуб и не поним, Аноним (-), 21:57 , 12-Авг-16, (81) Потому что в первом случае у команд по одному аргументу Содержимое каталога из , Crazy Alex (ok), 10:25 , 09-Авг-16, (21) +8 Потому что в пером случае длинный список файлов едет в wc через пайп, и обе кома, anonymous (??), 16:53 , 09-Авг-16, (48) Откройте для себя xargs, Мяут (ok), 19:07 , 09-Авг-16, (52) +2 По делу скажу, что вы нас обманываете , Sabakwaka (ok), 09:45 , 09-Авг-16, (13) +8 И ведь врёте Ну или кой-чего протеряли , Michael Shigorin (ok), 09:49 , 09-Авг-16, (14) +5 Представь себе, максимальный размер argv и env - ограничен Для безразмерных в, Аноним (-), 22:12 , 12-Авг-16, (82) Зачем Уже есть git diff Он умеет и с цветом и даже сравнение файлов совсем без, Аноним (-), 22:17 , 12-Авг-16, (84) Очень мило единичный пример с одной старой утилитой вы хоть в багтрекер отписа, Anon15 (?), 09:02 , 09-Авг-16, (6) +5 // если пользоваться старым и проверенным , нынешним программистам будет не за что, анонко (?), 09:05 , 09-Авг-16, (8) +6 присоединяюсь к - завязывай с наркотой Если прога на жабе гигабайт сортирует з, . (?), 09:27 , 09-Авг-16, (12) +6 // Потому что даже у хороших дисков нынче 200mb s в идеально-сферическом вакууме Ги, Лютый жабист_ (?), 10:09 , 09-Авг-16, (16) –3 // Так, навскидку в fastutils какие-нибудь суровые красно-черные деревья, а в GN, Лютый жабист_ (?), 10:15 , 09-Авг-16, (20) –3 С каких пор пузырек стал разновидностью merge sort Или ты из я знаю ушу, кунг-, angra (ok), 10:28 , 09-Авг-16, (22) +2 _в идеально сферическом вакууме_ - это sustained read, в однозадачной системе И , . (?), 10:32 , 09-Авг-16, (24) +2 а, стоп У него жаба же Ну да, ну да , . (?), 10:41 , 09-Авг-16, (26) +2 Слышь, борец за права С, ты вообще в курсе, что в С the minimum size for short , angra (ok), 11:12 , 09-Авг-16, (31) сам-то умнее тебе слово minimum увеличить sizeof short sizeof int si, Аноним (-), 20:18 , 09-Авг-16, (53) –1 ТруЪ-восьмибитный процессор с 32-битным short-ом Wat , Аноним (-), 22:53 , 09-Авг-16, (60) Я так понимаю, что дальше первого предложения ты не прочитал и сразу бросился ст, angra (ok), 00:01 , 10-Авг-16, (62) Слушай, вот, блин, честно так и было Я не шучу Поздно было, хотелось спать Са, Аноним (-), 20:10 , 10-Авг-16, (77) –1 В ранних стандартах си много странностей А вменяемые типы с известными размерам, Аноним (-), 22:19 , 12-Авг-16, (85) А у хороших SSD и пара гигов в секунду бывает Стоят они правда тоже хорошо , Аноним (-), 22:14 , 12-Авг-16, (83) у меня два гига на чтение, гиг на запись на лаптопе с одним ssd он не sata, да, й (?), 18:06 , 09-Авг-16, (49) –1 Я даже не поленился проверить 50kk строк с случайными 10-ти цифровыми значениям, angra (ok), 10:12 , 09-Авг-16, (18) +2   // Ну пи ит же как троцкий Или руки у него закручены восходящей спиралью вокруг т, Аноним (-), 10:29 , 09-Авг-16, (23) +2   env LC_ALL Cв данной задаче нам очень вряд ли нужны правильные collate sequence , . (?), 10:40 , 09-Авг-16, (25) –1   // Качайте оригинал, не страдайте фигнёй http guvm mvd ru upload expired-passpor, Лютый жабист_ (?), 11:29 , 09-Авг-16, (33) –1   Сделаем сишечке гандикапчик распаковал в TMPFS bla vault13 tmp time bzi, Лютый жабист_ (?), 11:40 , 09-Авг-16, (34) –3   С -n таки отработало за 43 сек Почти как жаба Но потребление ОЗУ по-прежнему, Лютый жабист_ (?), 11:43 , 09-Авг-16, (35) –3   Всё,вспомнил Задача была выделить дельту из последнего списка и недельной давно, Лютый (?), 13:58 , 09-Авг-16, (39) –1   Да-да, и не в лотерею, а в покер, и не выиграл, а проиграл , Аноним (-), 20:21 , 09-Авг-16, (54) +5   Вообще, мне уже очевидно, что в теме ни одного прогера кроме меня нет Пото, Лютый жабист_ (?), 12:01 , 10-Авг-16, (70) –3   Ты про hashmap ни словом не обмолвился И задачу про выделить дельту только в э, freehck (ok), 13:03 , 10-Авг-16, (72) +1   Во-первых, comm -3 Во-вторых, sort -u В-третьих, зачем Вы разговариваете с мебе, Andrey Mitrofanov (?), 15:14 , 10-Авг-16, (75) +2   О, спасибо Не знал про неё Уточнения ради я всегда использовал sort 124 uni, freehck (ok), 18:18 , 10-Авг-16, (76) +1   Ещё бы ты размер этого файла приложил А то может у тебя 2 гига - это в архиве , freehck (ok), 12:45 , 10-Авг-16, (71)   export LC_ALL Ctime sort list_of_expired_passports csv list_of_expired_passpor, Анонизмус (?), 14:22 , 09-Авг-16, (41) +1   При этом потребление памяти 3ГиБ, в пике , Анонизмус (?), 14:23 , 09-Авг-16, (42)   Не поверишь, но линух без них не работает И bsd Поэтому срочно перелезай на wi, Ананым (?), 10:59 , 09-Авг-16, (29) // Я правильно понимаю, что в твоем представлении без diff или sort ядро не запусти, angra (ok), 11:25 , 09-Авг-16, (32) –2 // В доказательство своих слов приведите хоть один полноценный дистр, работающий бе, Ананым (?), 16:29 , 09-Авг-16, (44) Нет, не правильно Речь не про ядро, а про систему Работать на голом ядре не лю, Ананым (?), 16:41 , 09-Авг-16, (47) Да легко - alpinelinux Они конечно там есть в репах, но без них отлично работае, angra (ok), 18:32 , 09-Авг-16, (50) –1 не поверите, но в busybox есть такие утилиты, которые sort и diff busybox 12, Ананым (?), 20:58 , 09-Авг-16, (57) +1 Ты похоже вообще потерял нить рассуждений Речь шла об устаревании _GNU реализац, angra (ok), 00:10 , 10-Авг-16, (63) –1 цепляние за термины есть утилита sort, выполняющая сортировку, и есть утилита di, Ананым (?), 00:26 , 10-Авг-16, (65) +1 Показываю на пальцах, можешь повторить mv usr bin sort root mv usr bin d, angra (ok), 02:22 , 10-Авг-16, (67) аллах с тобой, сто лет уже как он без них работает Без них не работало разьве чт, . (?), 14:15 , 09-Авг-16, (40) –3 // Аналогично предыдущему персонажу приведите пример полноценного дистра, работающ, Ананым (?), 16:32 , 09-Авг-16, (45) –2 ну хочешь - сделаю rm и он будет работать правда, что тогда такое полноценный, Аноним (-), 13:09 , 10-Авг-16, (73) –1 Продемонстрируйте вывод top ps Вообще-то sort занимает не более определенного , Stax (ok), 12:05 , 09-Авг-16, (36) +1 Товарищи модераторы, а почему я должен читать этого кретина , Аноним (-), 21:06 , 09-Авг-16, (58) +3 // Не читайте Имхо, такие комментарии надо оставлять хотя бы для того, чтобы ответ, freehck (ok), 13:12 , 10-Авг-16, (74) // А они и так режут Спасибо хоть такие как эти не режут, именно по той причине,, Аноним (-), 20:30 , 11-Авг-16, (78) как ща помню, как я 23 года назад жаловался на это, бедный буратино (ok), 09:15 , 09-Авг-16, (10) –1 // а на отсутствие каких именно изменений вы жаловались, если не секрет , Ананым (?), 11:00 , 09-Авг-16, (30) // тех, которые про цветной вывод D, Аноним (-), 20:23 , 09-Авг-16, (55) Да что вы слушаете этого Лютого наркомана_ Вот я на С написал утилиту, котора, кверти (ok), 16:08 , 09-Авг-16, (43) // Многие современные любители жаб, рубей и прочих новоявленных языков знают только, Ананым (?), 16:37 , 09-Авг-16, (46) +2 Но код этой мегаутилиты ты нам конечно не покажешь, ведь существует она только в, angra (ok), 18:40 , 09-Авг-16, (51) –1 // Вам бы, батенька, товарища Кнута почитать , Ананым (?), 20:44 , 09-Авг-16, (56) // Представь себе читал Давно только, не исключен вариант, что ты в это время еще , angra (ok), 00:15 , 10-Авг-16, (64) 0 те, кто кнута читал, алгоритмы не копипастят 1 те, кто кнута читал так давно, Ананым (?), 00:31 , 10-Авг-16, (66) +2 Предположим для смеху, что ты прав и я школьник, в жизни не видевший книг Кнута , angra (ok), 02:41 , 10-Авг-16, (68) Ты всё правильно говоришь, но, возможно, он ссылался на то место в первом кнуте,, Andrey Mitrofanov (?), 09:42 , 10-Авг-16, (69) Правильно цитировать так Да что вы слушаете этого Лютого наркомана_ Вот я на С, rshadow (ok), 23:20 , 09-Авг-16, (61) Пацаны наконец-то реализовали git diff , Sfinx (ok), 21:29 , 09-Авг-16, (59) –1 // Скорее built-in замену colordiff , Аноним (-), 20:48 , 11-Авг-16, (79) Там еще нету сравнения с тэгами бранчами ревизиями, так что им есть над чем пора, Аноним (-), 22:20 , 12-Авг-16, (86) 1,10,43,59

Сообщения

[Сортировка по времени | RSS]

	18. "Выпуск GNU Diffutils 3.4 с поддержкой цветного вывода"	+2 +/–
	Сообщение от angra (ok), 09-Авг-16, 10:12
	Я даже не поленился проверить. 50kk строк с случайными 10-ти цифровыми значениями, 500MB. То есть всего в половину меньше. С записью  результата в файл.     Command being timed: "sort -n data"     User time (seconds): 119.73     System time (seconds): 3.44     Percent of CPU this job got: 253%     Elapsed (wall clock) time (h:mm:ss or m:ss): 0:48.63     Maximum resident set size (kbytes): 2098020 Как видно ни о каком часе речи не идет. Потребление памяти как и жабы в 4 раза больше объема сортировки. Если без указания -n, то работает раза в три дольше.
	Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

	23. "Выпуск GNU Diffutils 3.4 с поддержкой цветного вывода"	+2 +/–
	Сообщение от Аноним (-), 09-Авг-16, 10:29
	Ну пи**ит же как троцкий. Или руки у него закручены восходящей спиралью вокруг туловища.
	Ответить | Правка | Наверх | Cообщить модератору

	25. "Выпуск GNU Diffutils 3.4 с поддержкой цветного вывода"	–1 +/–
	Сообщение от . (?), 09-Авг-16, 10:40
	> Я даже не поленился проверить. 50kk строк с случайными 10-ти цифровыми значениями, > 500MB. То есть всего в половину меньше. С записью  результата > в файл. > Как видно ни о каком часе речи не идет. Потребление памяти как > и жабы в 4 раза больше объема сортировки. Если без указания > -n, то работает раза в три дольше. env LC_ALL=C в данной задаче нам очень вряд ли нужны правильные collate sequence и вообще знание о том, восьмибитный это файл или нет. (кстати, это место у gnu sort действительно заслуживает анализа и, возможно - багрепорта. Я еще помню, когда и откуда мы его выдирали (не из gnu исходника ни разу), когда, разумеется, приходилось радоваться что хоть такой есть. Поддержку юникода туда добавили позже, и, почти уверен, сделали это плохо.) P.S. кажется, я понял откуда часы - у товарисча банковского работничка дерьмоноут с недостаточной памятью - сорт туда просто не уместился, и сортировал своп, а вот go в силу использования другого алгоритма как-то влез, на грани фола. Ну и соответственно сравнивает он скорость своего недодиска со скоростью оперативки. Виноват, конечно же, язык си.
	Ответить | Правка | К родителю #18 | Наверх | Cообщить модератору

	33. "Выпуск GNU Diffutils 3.4 с поддержкой цветного вывода"	–1 +/–
	Сообщение от Лютый жабист_ (?), 09-Авг-16, 11:29
	Качайте оригинал, не страдайте фигнёй. http://guvm.mvd.ru/upload/expired-passports/list_of_expired_... Ключ -n не сработает, т.к. там есть и паспорта СССР :))) [bla@vault13 /tmp]# hdparm -t /dev/md1 /dev/md1: Timing buffered disk reads: 956 MB in  3.00 seconds = 318.33 MB/sec #free               total        used        free      shared  buff/cache   available Mem:       32870168    14713236    12611568      456084     5545364    17234124 Swap:             0           0           0
	Ответить | Правка | Наверх | Cообщить модератору

	34. "Выпуск GNU Diffutils 3.4 с поддержкой цветного вывода"	–3 +/–
	Сообщение от Лютый жабист_ (?), 09-Авг-16, 11:40
	Сделаем сишечке гандикапчик :)))) распаковал в TMPFS [bla@vault13 /tmp]# time bzip2 -d list_of_expired_passports.csv.bz2 40.269u 0.436s 0:40.70 99.9%    0+0k 0+0io 0pf+0w Запустили... чё-то оно быстро отработало, всего 2.20 минуты. Похоже я с uniq попутал. time sort list_of_expired_passports.csv >list2 632.633u 4.176s 2:20.45 453.3%  0+0k 0+0io 0pf+0w Тем не менее, жрало в процессе больше 12ГБ под конец. Ну и повторюсь, java - 40 сек :)))) [bla@vault13 go]# ps axu | grep sort root     18756  621 30.7 11793172 10119724 pts/17 Rl+ 15:35   8:04 sort list_of_expired_passports.csv root     18781  0.0  0.0  11996  2348 pts/10   S+   15:36   0:00 grep sort
	Ответить | Правка | Наверх | Cообщить модератору

	35. "Выпуск GNU Diffutils 3.4 с поддержкой цветного вывода"	–3 +/–
	Сообщение от Лютый жабист_ (?), 09-Авг-16, 11:43
	С -n таки отработало за 43 сек. Почти как жаба :) Но потребление ОЗУ по-прежнему 12ГБ [bla@vault13 /tmp]# time sort -n list_of_expired_passports.csv > list3 173.216u 4.126s 0:42.99 412.4%  0+0k 448+0io 3pf+0w
	Ответить | Правка | Наверх | Cообщить модератору

	39. "Выпуск GNU Diffutils 3.4 с поддержкой цветного вывода"	–1 +/–
	Сообщение от Лютый (?), 09-Авг-16, 13:58
	Всё,вспомнил. Задача была выделить дельту из последнего списка и недельной давности. И как раз diff час тупил и жрал озу.
	Ответить | Правка | Наверх | Cообщить модератору

	54. "Выпуск GNU Diffutils 3.4 с поддержкой цветного вывода"	+5 +/–
	Сообщение от Аноним (-), 09-Авг-16, 20:21
	> Всё,вспомнил. Да-да, и не в лотерею, а в покер, и не выиграл, а проиграл.
	Ответить | Правка | Наверх | Cообщить модератору

	70. "Выпуск GNU Diffutils 3.4 с поддержкой цветного вывода"	–3 +/–
	Сообщение от Лютый жабист_ (?), 10-Авг-16, 12:01
	Вообще, мне уже очевидно, что в теме ни одного прогера кроме меня нет. :))) Потому что любой прогер бы первым делом спросил какая связь между hashmap и sort. Дело было с год назад, подумаешь детали не сразу вспомнились. Про задачу уже написал - выделать дельту из текущего списка и последнего. Сначала помаялся с ГНУтыми утилями (sort, diff), потом навелосипедил на жабе и было быстрее и по памяти экономичнее. В hash складывается весь первый файл, второй уже с хешем сравнивается. Кто мне не верит или сочиняет про sort ест 3ГБ, флаг ему в его красные гнутые глаза :)
	Ответить | Правка | Наверх | Cообщить модератору

	72. "Выпуск GNU Diffutils 3.4 с поддержкой цветного вывода"	+1 +/–
	Сообщение от freehck (ok), 10-Авг-16, 13:03
	Ты про hashmap ни словом не обмолвился. И задачу про "выделить дельту" только в этом своём последнем сообщении описал. Мне же вот вполне очевидно, что ты что-то можешь написать для jvm, но простейший shell-скрипт для тебя - адова работёнка. Твою задачу "выделать дельту из текущего списка и последнего" можно было бы спокойно решить одной строчкой на shell: diff <(sort file1 | uniq) <(sort file2 | uniq) Час твой скрипт работал, как же, как же. Выжрал 12 гигов рамы, конечно. :)
	Ответить | Правка | Наверх | Cообщить модератору

	75. "Выпуск GNU Diffutils 3.4 с поддержкой цветного вывода"	+2 +/–
	Сообщение от Andrey Mitrofanov (?), 10-Авг-16, 15:14
	> diff <(sort file1 | uniq) <(sort file2 | uniq) Во-первых, comm -3. Во-вторых, sort -u. В-третьих, зачем Вы разговариваете с мебелью??!! > Час твой скрипт работал, как же, как же. Выжрал 12 гигов рамы, > конечно. :)
	Ответить | Правка | Наверх | Cообщить модератору

	76. "Выпуск GNU Diffutils 3.4 с поддержкой цветного вывода"	+1 +/–
	Сообщение от freehck (ok), 10-Авг-16, 18:18
	>> diff <(sort file1 | uniq) <(sort file2 | uniq) > Во-первых, comm -3. О, спасибо. Не знал про неё. > Во-вторых, sort -u. Уточнения ради: я всегда использовал sort | uniq потому что мне не понятен алгоитм флага -u. В доке написано "without -c, output only the first of an equal run". Вы не могли бы как-то это пояснить? А то я ведь и рад воспользоваться, было бы только полное понимание того, что оно делает. > В-третьих, зачем Вы разговариваете с мебелью??!! Ну как сказать. Я прочитал огромный тред, поделал тесты, посооброжал. Захотелось оставить и свой вклад.
	Ответить | Правка | Наверх | Cообщить модератору

	71. "Выпуск GNU Diffutils 3.4 с поддержкой цветного вывода"	+/–
	Сообщение от freehck (ok), 10-Авг-16, 12:45
	Ещё бы ты размер этого файла приложил. А то может у тебя 2 гига - это в архиве? :) А вообще, врёшь ведь, и не краснеешь. Вот у меня как раз во время всяческих тестов появился один чисто текстовый лог-файл на 26 гигов. Я выдираю из него ровно один гиг. freehck@ws-kashin:~% ls -l 1gb-file.log                                   -rw-r--r-- 1 freehck freehck 1073741824 авг 10 12:37 1gb-file.log freehck@ws-kashin:~% /usr/bin/time -v sort 1gb-file.log > 1gb-file.sorted.log     ...     User time (seconds): 324.13     System time (seconds): 2.32     Percent of CPU this job got: 493%     Elapsed (wall clock) time (h:mm:ss or m:ss): 1:06.15     ...     Maximum resident set size (kbytes): 2044984     ... Абсолютно разнородные строки. Минута реального времени (хотя реальное время - плохая метрика). 2 гига на пике потребления памяти.
	Ответить | Правка | К родителю #34 | Наверх | Cообщить модератору

	41. "Выпуск GNU Diffutils 3.4 с поддержкой цветного вывода"	+1 +/–
	Сообщение от Анонизмус (?), 09-Авг-16, 14:22
	export LC_ALL=C time sort list_of_expired_passports.csv > list_of_expired_passports_s.csv real    0m44.701s user    1m19.532s sys    0m3.836s
	Ответить | Правка | К родителю #33 | Наверх | Cообщить модератору

	42. "Выпуск GNU Diffutils 3.4 с поддержкой цветного вывода"	+/–
	Сообщение от Анонизмус (?), 09-Авг-16, 14:23
	При этом потребление памяти 3ГиБ, в пике.
	Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема