Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Научные журналы на пути к требованию сопровождать все публик..., opennews (?), 21-Апр-12, (0) [смотреть все] Давно пора , YetAnotherOnanym (?), 20:57 , 21-Апр-12, (1) +4 // Ниже по тексту идет замер пиписек, на тему - Как я занимался научными исследова, pavlinux (ok), 21:16 , 22-Апр-12, (96) –7 // Грамотно набросил, малацца, получаешь 1 к всем известному скиллу , Аноним (-), 06:45 , 23-Апр-12, (118) +2 // Наброшу и я немногоФраза говорит о том, что писавший вообще научных статей не чи, efrfegv (?), 21:28 , 23-Апр-12, (168) Subscribe Join AAAS or Buy Access to This Article to View Full Text The content , XoRe (ok), 00:59 , 24-Апр-12, (175) Shining Light into Black BoxesA Morin1, J Urban2, P D Adams3, I Foster4, A , оплаченный аккаунт (?), 22:08 , 25-Апр-12, (187) Именно так Код пишется для себя, выкладывать такое в открытый доступ - ну, я да, Михаил (??), 20:57 , 21-Апр-12, (2) –8 // Если ты проводил эксперимент, в нем приняли участие трусы и носки и ты хочешь по, Аноним (-), 21:24 , 21-Апр-12, (5) +15 // Если бы вы занимались научной работой, то знали бы, что от такого кода толку для, Алексей (??), 22:10 , 21-Апр-12, (7) –5 // Вот именно, большая часть т н учёных занимаются бесполезной фигнёй, которая вря, Аноним (-), 22:29 , 21-Апр-12, (8) –6 М спорное утверждение Раз ты мало мальски продвинутый программер напиши мне с, alexxy (ok), 00:34 , 22-Апр-12, (27) Да, физика там о-го-го какая У типичного быдлокодера мозг вспухнет , Аноним (-), 02:06 , 22-Апр-12, (31) Я, будучи мало мальски вообще-то, это пишется через дефис, г-н учёный пр, Аноним (-), 03:43 , 22-Апр-12, (36) +11 Речь то как раз о том что исходники нужны Что облегчит жизнь многим кто занимае, alexxy (ok), 03:48 , 22-Апр-12, (37) +2 Один такой умник, продолжая ничего не понимать в предметной области, исправил о, пескарь (?), 04:13 , 22-Апр-12, (39) кстати, неплохо бы подумать и над таким вопросом разработчик openssl использовал, sashkan (ok), 18:16 , 22-Апр-12, (86) клёво вещать, не разбираясь, правда сразу ощущаешь себя умным , arisu (ok), 19:33 , 22-Апр-12, (92) если я не прав 8212 поправьте меня, пожалуйста , sashkan (ok), 16:00 , 23-Апр-12, (146) предлагаю сходить и лично посмотреть, что именно делалось в openssl и что 171 , arisu (ok), 16:19 , 23-Апр-12, (148) вы хотите сказать, что я не прав, и в оригинальном openssl не использовалось сод, sashkan (ok), 18:45 , 23-Апр-12, (161) мда 8230 , arisu (ok), 21:40 , 23-Апр-12, (173) –1 Только у дебилов которые игнорируют апдейты Остальным даже блеклист ключей прие, Аноним (-), 18:20 , 22-Апр-12, (87) +1 Неистово плюсую , skybon (ok), 03:57 , 27-Апр-12, (189) Эх, доживем ли мы до того случая когда торжественно запустят первый токомак или , mma (?), 06:13 , 22-Апр-12, (40) Вроде ИТЭР должен по энергии в плюс выходить , YetAnotherOnanym (?), 14:18 , 22-Апр-12, (65) Ну так ведь тем более открытый код - шанс решение проблемы , Гость (?), 05:56 , 23-Апр-12, (114) Нет проблем ТЗ в студию, пожалуйста , ФФ (ok), 11:18 , 23-Апр-12, (125) +1 В том то и проблема, что, по крайней мере, в Российской Федерации, чиновники не , Grem (??), 19:27 , 22-Апр-12, (91) +1 Ну вот мы и превратились в ресурсный придаток который нифига не может кроме как , Аноним (-), 19:43 , 22-Апр-12, (95) +2 А что вы раньше умели , efrfegv (?), 21:33 , 23-Апр-12, (170) –4 А раньше много чего умели СССР был огроменной империей Они летали в космос, ос, Аноним (-), 02:43 , 25-Апр-12, (183) Интересно, что бы выросло, если бы вместо клонирования продолжили развивать своё, Michael Shigorin (ok), 02:49 , 25-Апр-12, (184) +1 Г-н ученый, а можно вот про громадные деньги немного поподробнее Ну очень интер, efrfegv (?), 21:31 , 23-Апр-12, (169) +2 Удивительный вы человек Ну так выгоните тогда всех дармоедов А про код Его , ГансОвер (?), 18:49 , 24-Апр-12, (181) На сегодняшний день во многих областях китайцы передовики Я бы очень хотел увид, anonymous (??), 20:56 , 26-Апр-12, (188) О посторонних речи и не идет Да чем-бы дитя не тешилось Главное, чтобы потом, myhand (ok), 23:52 , 21-Апр-12, (19) +1 Хуже от этого будет, когда армия китайцев, которая итак плагиатит наши научные с, redwolf (ok), 21:00 , 23-Апр-12, (164) Если бы вы занимались научной работой, то знали бы, что публикация результатов н, mirr0r (ok), 00:00 , 22-Апр-12, (21) +3 Мало того, научный софт видывал или жутко уродливый, или весьма красивый -- с с, Michael Shigorin (ok), 22:32 , 22-Апр-12, (98) +2 что значит 171 уродливый 187 в большинстве случаев это фронтэнды, полагаю , arisu (ok), 08:12 , 23-Апр-12, (121) Какие к черту фронт-энды у научного кода , annulen (ok), 12:59 , 23-Апр-12, (132) прибитые гвоздями к бэкэндам обычно , arisu (ok), 16:20 , 23-Апр-12, (149) Скорее отсутсвующие Что-то более-менее приличное человечный формат входных фай, annulen (ok), 16:48 , 23-Апр-12, (152) +1 Ога и примерно же в этот момент частенько из программ исчезает физсмысл , Evgueni (?), 14:01 , 25-Апр-12, (186) +1 Внезапно, я прекрасно в курсе техник проведения экспериментов - в нормальных ВУЗ, Аноним (-), 00:05 , 22-Апр-12, (22) +1 Сторонние человеки разные бывают В НИИ, где я делал диплом, человек, писавший п, YetAnotherOnanym (?), 14:32 , 22-Апр-12, (66) +1 Делайте на совесть , Аноним (-), 22:35 , 21-Апр-12, (11) +2 Так думают только имбецилы Начнём с того, что компилятору положить на грязноту, Аноним (-), 03:30 , 22-Апр-12, (35) // Умные получается думают что закрытый код - это возможность собрать бинарь под , kurokaze (ok), 17:56 , 22-Апр-12, (83) +1 Ну наконец-то Очевидные вещи познали , Омский линуксоид (?), 21:00 , 21-Апр-12, (3) +2 // 171 помимо разоружения, следует продумать возможность действительного сотруд, robux (ok), 19:06 , 22-Апр-12, (90) +2 Я уж думал наши журнал Подумал нифига себе выросли со времен моей аспирантуры , o (?), 21:01 , 21-Апр-12, (4) // 99 всех научных статей это шлак Если завтра полностью отменят т н фундаментал, Аноним (-), 22:32 , 21-Апр-12, (9) –13 // Ты не прав , Аноним (-), 22:46 , 21-Апр-12, (14) +2 // Ты не прав, cosmonaut (ok), 23:23 , 21-Апр-12, (16) –4 Распределение ума по ученым сродни распределению Больцмана - для существования 1, Аноним (-), 23:07 , 21-Апр-12, (15) +5 // Современная наука не представляет уже той среды в которой могут получиться гении, Аноним (-), 23:37 , 21-Апр-12, (18) –1 А она и так не для прогресса который как раз по большей части и заключается в, Michael Shigorin (ok), 22:37 , 22-Апр-12, (101) Чтобы оценить гения - надо как минимум разбираться в вопросе и хорошо Конечно г, Аноним (-), 00:24 , 22-Апр-12, (24) +1 Вы просто уточнили и расширили часть высказывания на которое ответили , Аноним (-), 02:53 , 22-Апр-12, (32) –1 А вы вообще выступили Капитаном , Аноним (-), 17:12 , 22-Апр-12, (77) –1 Так точно , Аноним (-), 01:45 , 23-Апр-12, (106) Скорее информационный шум, из которого некоторым все-таки удается извлечь сигнал, annulen (ok), 13:02 , 23-Апр-12, (133) Да уже отменили, так что не переживайте так Ну да Вы ведь уже решили кто, что, , efrfegv (?), 21:40 , 23-Апр-12, (172) +1 Ни чего постыдного в научных решениях нет, даже если они написаны не совсем эфф, Alexey (??), 21:38 , 21-Апр-12, (6) +7 // Стыдится надо того, что прогресс свёлся к написанию никому не нужных статей и ра, Аноним (-), 22:33 , 21-Апр-12, (10) –2 // А подумать Очень просто и легко всё свести к одному знаменателю ни ума ни знан, Fomalhaut (?), 12:26 , 22-Апр-12, (51) Прогресс -- да ещё к кидалову вроде зверских гриппов и больших коллайдеров , , Michael Shigorin (ok), 22:41 , 22-Апр-12, (102) // Эй, а коллайдеру то за что Вполне себе научная машина, способная разгонять пучк, Аноним (-), 02:57 , 23-Апр-12, (109) За пиар пшика , Michael Shigorin (ok), 11:23 , 23-Апр-12, (126) Не думаю, что тут стоит винить ученых, пиар не их специализация Собственно, ник, Аноним (-), 03:15 , 24-Апр-12, (179) Потому что прибежит Вася Пупкин и расскажет астроному что тот мат , поскольку , nikos (??), 22:37 , 21-Апр-12, (12) +1 // Ну так пусть покажет класс и напишет лучше Можно сверяясь с астрономом и с его , Аноним (-), 00:30 , 22-Апр-12, (25) +2 Да Вроде Какбы Если ты что-то делаешь впервые, то ты это почти всегда делаешь, Какаянахренразница (ok), 22:42 , 21-Апр-12, (13) +1 // Покритиковал, исправил - все довольны С какой стати, если он кодер, а не химик , Аноним (-), 23:25 , 21-Апр-12, (17) // В соавторы хочет, mirr0r (ok), 00:14 , 22-Апр-12, (23) Внезапно - Ричард Баркер, отец CASE - метода - химик , Аноним (-), 22:09 , 22-Апр-12, (97) а Коливас ваще дантист и что , arisu (ok), 08:11 , 23-Апр-12, (120) Только выкладывания одних исходников мало Нужно выкладывать не только тексты пр, kwah (?), 23:53 , 21-Апр-12, (20) // Ну так вот это вот и может быть зарыто в дебрях сорца который не выдали вот ч, Аноним (-), 00:32 , 22-Апр-12, (26) Да мы рады выложить все наши экспериментальные данные Лишний бэкап нам не помеш, Evgueni (?), 06:56 , 22-Апр-12, (42) +3 // Это Ваше условие , YetAnotherOnanym (?), 14:36 , 22-Апр-12, (67) +4 // Да не 8212 это предсказание 9786 , Evgueni (?), 18:58 , 22-Апр-12, (88) неа, не получается предсказания с таким глаголом в повелительном наклонении , arisu (ok), 19:34 , 22-Апр-12, (93) +2 это приказ , arisu (ok), 16:06 , 22-Апр-12, (72) +2 // неизбежность, Evgueni (?), 18:59 , 22-Апр-12, (89) Не, в указанной форме слова - это приказ или пожелание , Аноним (-), 03:00 , 23-Апр-12, (110) Замечательно Осталось только выложить сорсы программного обеспечения Большого А, Аноним (-), 01:20 , 22-Апр-12, (28) –1 // Да пусть выдают А можно еще и коллайдер заодно , Аноним (-), 01:58 , 22-Апр-12, (30) http www scientificlinux org , Аноним (-), 03:08 , 22-Апр-12, (34) +1 // Это немного не то Хотя код никто специально не скрывает Он просто не применим , Evgueni (?), 06:57 , 22-Апр-12, (43) // Но они ведь именно на этом свой код создают и запускают А значит для вхождения , Аноним (-), 01:55 , 23-Апр-12, (107) Угу Очень сильно Там просто обычный дистрибутив GNU Linux общего применения , Evgueni (?), 21:02 , 23-Апр-12, (165) а зачем вот именно в данном случае зачем , arisu (ok), 16:07 , 22-Апр-12, (73) Слишком много людей узнает, сколько там было лажи Особенно если с историей, чт, Michael Shigorin (ok), 22:44 , 22-Апр-12, (103) // Тем не менее, другой такой же по масштабам машины просто нет , Аноним (-), 03:01 , 23-Апр-12, (111) Не лезли бы вы в те места, в которых не понимаете А ошибки безусловно есть везд, Evgueni (?), 21:05 , 23-Апр-12, (166) // Евгений, по HPC новости немного долетают Вылет из бюджета и сроков по этой час, Michael Shigorin (ok), 01:42 , 24-Апр-12, (178) И, что это означает Они делают то, что никто никогда не делал Или вы сторонник, Evgueni (?), 07:28 , 24-Апр-12, (180) Нуу во-первых, одной из публично заявленных целей было как раз _воспроизведение_, Michael Shigorin (ok), 00:10 , 25-Апр-12, (182) LCG GRID вообще-то _реальная_ новизна в большом объёме Так что не надо ля-ля Д, Evgueni (?), 06:21 , 25-Апр-12, (185) Осталось понять куда это выкладывать и зачем это редактору, рецензентам и тд Ст, Аноним (-), 01:21 , 22-Апр-12, (29) // Затем что без исходников они могут отправляться в РАЕН к Чудинову искать буковки, Аноним (-), 03:56 , 22-Апр-12, (38) +2   // Грамотное сочетание XML и zlib позволяет сохранить высокий уровень абстракции с, тоже Аноним (ok), 11:19 , 22-Апр-12, (48)   // 8230 затормозить даже хорошие алгоритмы отказ от xml 8212 это очень хороша, arisu (ok), 16:11 , 22-Апр-12, (74)   Нет, просто XML - это самое простое и легко поддерживаемое, что можно сделать О, тоже Аноним (ok), 12:43 , 23-Апр-12, (131) –1   Вы - вряд ли Но те мои программы, которые используют XML, потребляют считанные , тоже Аноним (ok), 17:35 , 23-Апр-12, (157)   я про блобы, заметь, ничего не говорил я говорил только про человекочитаемые фо, arisu (ok), 17:49 , 23-Апр-12, (159)   Для гигабайт бинарных данных , XoRe (ok), 01:12 , 24-Апр-12, (176) +1   Мужик, OSMщики уже вкурили как это удобно когда 250Gb данных - в XML Эти ср, Аноним (-), 17:20 , 22-Апр-12, (78)   Речь про поток данных с сисиди камеры, 320 мбит с, изображение динамичное, пиксе, Аноним (-), 12:29 , 22-Апр-12, (52)   // Сэр, алгоритмы тивы LZ4 LZO Snappy - могут все еще ать некое сжатие, а поток 15М, Аноним (-), 17:43 , 22-Апр-12, (79) –1   Я пробовал и эти в том числе на своих данных Скорость там в ущерб сжатию - что , Аноним (-), 18:13 , 22-Апр-12, (85) +1   Да, они ловят только откровенную рыхлость данных В принципе может помочь какой-, Аноним (-), 05:46 , 23-Апр-12, (112) +1   Ну, собственно, вот наглядный пример как далее будут развиваться события Достат, Аноним (-), 12:26 , 23-Апр-12, (129) +2   И, все-таки, спасибо за дискуссию - по крайне мере я понял, что шел в правильном, Аноним (-), 13:28 , 23-Апр-12, (139) +1   5 10 объёма , ФФ (ok), 11:29 , 23-Апр-12, (127) +1   Как-то научил его сначала не спользовать XML, потом fixed point форматам, пр, efrfegv (?), 21:43 , 23-Апр-12, (174)   проблема в том что код не всегда можно показать - часто используются куски чужог, зумм (?), 02:55 , 22-Апр-12, (33) +1 // И таки что в этом случае должны делать остальные - кто хочет повторить исследова, Aleks Revo (ok), 06:54 , 22-Апр-12, (41) +2 // Обычно это решается в частном порядке В своё время даже из китайцев удалось выт, Evgueni (?), 07:01 , 22-Апр-12, (44) +1 Постановить считать результаты обработки научных данных проприетарным ПО недосто, СуперАноним (?), 10:14 , 22-Апр-12, (47) +2 // А кто деньги на дополнительные процессоры и или GPU даст Печальная практика гово, phprus (ok), 11:42 , 22-Апр-12, (49) –1 // Ну вот враки Пример GROMACS пакет молекулярной динамики Собранный с intel-12 m, alexxy (ok), 12:20 , 22-Апр-12, (50) +1 Очевидно, что зависит от задачи, железа, и флагов компилятора, которые не все уд, annulen (ok), 13:08 , 23-Апр-12, (135) Во первых, нормальные люди пользуются OpenCL, потому что CUDA нвидия подогнала ч, Аноним (-), 17:46 , 22-Апр-12, (80) Нормальные люди использую CUDA, потому что с OpenCL придется городить кучу велос, annulen (ok), 13:10 , 23-Апр-12, (136) –1 Идите к черту, товарищ Практически весь научный софт, результаты которого счита, annulen (ok), 13:07 , 23-Апр-12, (134) // Пояснение для минусующих у ученых считается нормальным требовать денег за комме, annulen (ok), 13:22 , 23-Апр-12, (138) Вообще-то не надо говорить за всех учёных Они разные бывают , Evgueni (?), 21:09 , 23-Апр-12, (167) +3 Всё новое - хорошо забытое старое Моё мнение - учёный мир наконец-то начинает вы, iCat (ok), 08:51 , 22-Апр-12, (45) +3 Смерть проприетарщикам - воскликнул ОН И поднялись за ним толпы Где то, это уже, allvozdam (?), 12:33 , 22-Апр-12, (53) –3 Симптоматично, что призыв к открытию кода публикуют в журнале с платной подписко, Аноним (-), 12:45 , 22-Апр-12, (54) +2 // Бесплатный и открытый слова имеющие совершенно разное значение , Аноним (-), 13:05 , 22-Апр-12, (55) +3 // Никто и не спорит Вот только в отличие от софт команий, электронные издательств, Аноним (-), 13:07 , 22-Апр-12, (56) // В отличии от софт компаний они занимаются совсем другим видом деятельности Если, Аноним (-), 13:12 , 22-Апр-12, (57) +1 И какие же у них результаты труда По пунктам пожалуйста , Аноним (-), 13:41 , 22-Апр-12, (61) А Вы оплатите работу по анализу результативности работы научных журналов и систе, Аноним (-), 13:52 , 22-Апр-12, (62) +1 Хотя-бы агрегирование разрозненных наборов данных в 1 тематический поток Самому, Аноним (-), 17:48 , 22-Апр-12, (81) Просто удивительно, почему вам, делая то же самое не выполняя никаких полезных , тоже Аноним (ok), 13:12 , 22-Апр-12, (58) Кажется, я начинаю понимать откуда ветер дует Все данные, говорите, надо публик, Аноним (-), 13:37 , 22-Апр-12, (59) +1 // Кто вам сказал, что журнал обязан публиковать абсолютно все данные Это безумие, myhand (ok), 14:16 , 22-Апр-12, (64) // У статей есть supplementary materials, которые обычно можно скачать с сайта журн, annulen (ok), 13:11 , 23-Апр-12, (137) +1 А я ничего плохого не вижу в том, чтобы он был просто в references статьи Тыц , myhand (ok), 19:41 , 23-Апр-12, (162) Ссылки не постоянны файлы могут быть перемещены или удалены А актуальность ссы, Необъективный_ (ok), 12:38 , 27-Апр-12, (190) Если биолог или физик выложит свой код, профессиональные программисты отнесутся , umbr (ok), 13:52 , 22-Апр-12, (63) +3 // Секретное приложение может содержать не менее серьезный косяк или даже специальн, Аноним (-), 17:51 , 22-Апр-12, (82) +1 Большая часть комментаторов пытается рассуждать о том, о чем имеют слабое предст, Аноним (-), 14:50 , 22-Апр-12, (69) +1 // Хотел написать о том же, поддерживаю автора на все 100 По сути предлагают вмест, Аноним (-), 22:35 , 22-Апр-12, (99) –1 // Идиотизм это когда Вася Пупкин заявляет, что с помощью программы ВПСуперПупер v, Pilat (ok), 02:02 , 23-Апр-12, (108) +1 Зуб дадите , Аноним (-), 13:46 , 23-Апр-12, (140) Многие старые статьи сопровождались исходным кодом программы Восновном ФОРТРАН , gedeon (?), 16:36 , 22-Апр-12, (75) +2 Вроде бы данное требование это один из критериев 171 научности 187 8212 в, Преподаватель информатики (?), 16:44 , 22-Апр-12, (76) +1 Ничего, что вы никогда не сможете проверить методику эксперимента, пока сами не , Аноним (-), 06:19 , 23-Апр-12, (115) // Повторял тем проверял и не раз -- правда, относительно простые Сложный можно, Michael Shigorin (ok), 11:40 , 23-Апр-12, (128) Чудесно То есть, если я хочу сравнить свою поделку с проприетарным аналогом, я , Reyn (?), 14:34 , 23-Апр-12, (142) // Конечно Если фамилия не Бэбидж Хотя б девичья , Andrey Mitrofanov (?), 15:27 , 23-Апр-12, (143) +1 В нормальных публикациях описывается методология вычислений, что делает для любо, redwolf (ok), 21:38 , 23-Апр-12, (171) +1 Почему-то никто не вспомнил о том, что это тупо может помочь найти ошибку в расч, XoRe (ok), 01:26 , 24-Апр-12, (177) 1,2,3,4,6,20,28,29,33,45,53,54,63,69,75,76,115,142,171,177

Сообщения

[Сортировка по времени | RSS]

	38. "Научные журналы на пути к требованию сопровождать все публик..."	+2 +/–
	Сообщение от Аноним (-), 22-Апр-12, 03:56
	> Осталось понять куда это выкладывать и зачем это редактору, рецензентам и тд. Затем что без исходников они могут отправляться в РАЕН к Чудинову искать буковки на какашках. Без открытости нет никакой науки. > У меня например файлы ежедневно генерируются по несколько сотен гигабайт Был у меня бывший однокурсник из физтеха "с несколькими сотнями гигабайт в день"... Как-то научил его сначала не спользовать XML, потом fixed point форматам, префиксной и delta- компрессии и zlib. И внезапно вдруг стало "гигабайты в день", полгода экспериментов храняться на обычном винте. Хотя и сотни гигабайт в день нынче копейки, у меня одних торрентов в день сравнимо качается (25-50ГБ bdrip фильмец вечером посмотреть), данные стирать давно отвык. > Вот если бы обязать автора предоставлять читателям полный (в разумных пределах) исходный > материал по статье - это другое дело. Это и есть весь код и данные.
	Ответить | Правка | Наверх | Cообщить модератору

	48. "Научные журналы на пути к требованию сопровождать все публик..."	+/–
	Сообщение от тоже Аноним (ok), 22-Апр-12, 11:19
	Грамотное сочетание XML и zlib позволяет сохранить высокий уровень абстракции (с возможностью расширения и легким чтением из любых языков на любых платформах), при этом дает не такой уж большой оверхед по объему хранимой информации. Так что отказ от XML первым делом - не лучшая практика.
	Ответить | Правка | Наверх | Cообщить модератору

	74. "Научные журналы на пути к требованию сопровождать все..."	+/–
	Сообщение от arisu (ok), 22-Апр-12, 16:11
	> Грамотное сочетание XML и zlib позволяет …затормозить даже хорошие алгоритмы. отказ от xml — это очень хорошая практика. потому что xml — это double fail: машиной он читается с трудом, человеком тоже. тот же yaml, например, и глазами читается проще, и парзер для него проще. xml — это такой модный buzzword. технологически эта штука применима весьма в малом количестве случаев. зато пихают её везде, потому что «xml — это круто, бакланы!»
	Ответить | Правка | Наверх | Cообщить модератору

	131. "Научные журналы на пути к требованию сопровождать все..."	–1 +/–
	Сообщение от тоже Аноним (ok), 23-Апр-12, 12:43
	Нет, просто XML - это самое простое и легко поддерживаемое, что можно сделать. Отказ от него должен быть обоснованным, как и любая оптимизация. В качестве первого шага отказываться от широко поддерживаемых форматов и переходить на велосипедные блобы - порочный метод, и применяться он должен только по необходимости.
	Ответить | Правка | Наверх | Cообщить модератору

Часть нити удалена модератором

	157. "Научные журналы на пути к требованию сопровождать все..."	+/–
	Сообщение от тоже Аноним (ok), 23-Апр-12, 17:35
	Вы - вряд ли. Но те мои программы, которые используют XML, потребляют считанные килобайты, и утаптывать их в блобы - значит либо потерять обратную совместимость между версиями, либо поддерживать ее с куда большими усилиями, чем сейчас. Смысл?
	Ответить | Правка | К родителю #182 | Наверх | Cообщить модератору

	159. "Научные журналы на пути к требованию сопровождать все..."	+/–
	Сообщение от arisu (ok), 23-Апр-12, 17:49
	я про блобы, заметь, ничего не говорил. я говорил только про человекочитаемые форматы. xml таковым не является.
	Ответить | Правка | Наверх | Cообщить модератору

	176. "Научные журналы на пути к требованию сопровождать все..."	+1 +/–
	Сообщение от XoRe (ok), 24-Апр-12, 01:12
	> Нет, просто XML - это самое простое и легко поддерживаемое, что можно > сделать. Для гигабайт бинарных данных?
	Ответить | Правка | К родителю #131 | Наверх | Cообщить модератору

	78. "Научные журналы на пути к требованию сопровождать все публик..."	+/–
	Сообщение от Аноним (-), 22-Апр-12, 17:20
	> Грамотное сочетание XML и zlib позволяет Мужик, OSMщики уже вкурили как это "удобно" когда 250Gb данных - в XML :) Эти сраные абстракции в таком виде в жизни не сожрет ни 1 текстовый редактор, ибо не заточены текстовые редакторы на чушки в полтора терабайта. Распарсить сие займет адово количество времени. Сжатие - еще и сверху добавит. Плюнули чуваки и сделали иной формат выгрузки - бинарный и даже слегка задрюченный. Стало 16 гигз вместо 250... это меньше чем если ту 250Гб XML в непрерывном виде bzip2 пожать. Так что да. Гнать ссаными тряпками и сраной метлой из мест где более сотен кило данных ожидается.
	Ответить | Правка | К родителю #48 | Наверх | Cообщить модератору

	52. "Научные журналы на пути к требованию сопровождать все публик..."	+/–
	Сообщение от Аноним (-), 22-Апр-12, 12:29
	Речь про поток данных с сисиди камеры, 320 мбит/с, изображение динамичное, пикселизация очень важна. Я, конечно, не такой умный как вы, но эффективно упаковывать 12бит данные, рассчитывать ключевые кадры и дельта-кадры и записывать в таком виде все таки умудрился. В результате получилось около 15 мбайт/с. Дальнейшее сжатие всеми известными архиваторами дает эффект максимум порядка 20-30%, а занимает времени в разы больше чем сами эксперименты (по несколько часов в день). После обработки получается данных в десятки мегабайт, которые и хранятся. Хранить сами исходные файлы за сколь нибудь обозримый период времени не вижу смысла. Но раз редакция даст мне место под это - почему бы и нет, я с радостью закачаю и вам пару сотен гигабайт. Адресок только не забудьте предоставить.
	Ответить | Правка | К родителю #38 | Наверх | Cообщить модератору

	79. "Научные журналы на пути к требованию сопровождать все публик..."	–1 +/–
	Сообщение от Аноним (-), 22-Апр-12, 17:43
	> Дальнейшее сжатие всеми известными архиваторами дает эффект максимум порядка 20-30%, а > занимает времени в разы больше чем сами эксперименты Сэр, алгоритмы тивы LZ4/LZO/Snappy - могут все еще ать некое сжатие, а поток 15Мб/сек для них ну вообще не проблема. Они при сжатии в 10 раз больше на современном проце класса core2 прожуют спокойно, так что если данные хорошо шмутся - вариант. > Адресок только не забудьте предоставить. А вы как торенты раздвайте. Договориться с парой челов что они будут "бэкапы сервировать" наврядли большая проблема. При современных объемах HDD сотни гиг может простой Пупкин прихранить. А что такое сотня гб при майнстрим винчах на 1-2Tb? А адресом может быть вообще magnet link например - абстрактный идентификатор набора данных :). Просто пока вы снимки с CCD камер изучаете, другие парни двигали вперед другие области знаний, в том числе и о том как раздать сотни Гб тысячам людей без затрат ресурсов. Как-то так оказалось что в XXI веке ну совсем не проблема раздать 1000 людей файл в 100Гб. Для этого надо просто привлечь к раздаче их самих. Они же и бэкапом выступить могут, в принципе. Как видите, проблема в принципе решаема, если захотеть. На самом деле даже очень злые копирасы нынче под внутренние цели эти технологии юзают. Публично чертыхаясь, но внутри себя кантуя многогиговые чушки на кучи машин при помощи торентов :)
	Ответить | Правка | Наверх | Cообщить модератору

	85. "Научные журналы на пути к требованию сопровождать все публик..."	+1 +/–
	Сообщение от Аноним (-), 22-Апр-12, 18:13
	Я пробовал и эти в том числе на своих данных. Скорость там в ущерб сжатию - что толку что они прокачивают сотни мегабайт в секунду если неспособны их сжать хотя бы еще на 10%. После того как я сделал предварительное сжатие - отбросив незначащие биты, плюс примитивная дельта по кадрам, ни один из доступных под линукс алгоритмов не дал более 20% сжатия. Что, в принципе, неудивительно: изображения динамичные и шумные - без потерь хорошо не сжать. А чтобы хранить разумное время разумное количество данных требуется сжатие хотя бы в несколько раз. Просто у каждого своя специфика, кому то обязательно хранить огроменные массивы данных, кому-то после обработки они уже не нужны. Ну, например, какие нибудь спецы по крипто могут генерировать сумасшедшие по размерам таблицы нужные всего один раз. Или там результаты по молекулярной динамике - сохранил всю симуляцию, обработал и все, дальше саму симуляцию хранить без толку. Хотя спор по большому счету ни о чем - речь, как оказалось, все-таки идет про предоставление доступа к использованным сырцам, а не к обрабатываемым данным программами из этих сырцов. В этом плане все выглядит гораздо разумней, речь пойдет в среднем про несколько мегабайт. Правда, непонятно, что делать с проприетарным софтом типа Comsol.
	Ответить | Правка | Наверх | Cообщить модератору

	112. "Научные журналы на пути к требованию сопровождать все публик..."	+1 +/–
	Сообщение от Аноним (-), 23-Апр-12, 05:46
	> Я пробовал и эти в том числе на своих данных. Скорость там > в ущерб сжатию - что толку что они прокачивают сотни мегабайт > в секунду если неспособны их сжать хотя бы еще на 10%. Да, они ловят только откровенную рыхлость данных. В принципе может помочь какой-то тривиальный препроцессинг, типа дельта кодировария между сэмплами и/или расщепление разрядов отсчетов, так что хотя сами отсчеты не совпадают, после препроцессинга рыхлость сильно возрастет и простой лемпел-зив на ура скостит обнаруженную избыточность. Но это от природы данных зависит. В этом плане умные парни обитают в районе compression.ru - они могут дельно подсказать. > После того как я сделал предварительное сжатие - отбросив незначащие биты, > плюс примитивная дельта по кадрам, ни один из доступных под линукс > алгоритмов не дал более 20% сжатия. То что с камер обычно валится - имеет некий шум и прочая, что делает такой материалец не подарком для обычных lossless алгоритмов сжатия. Им надо точные совпадения, а с этим получается небогато. Однако есть ряд трюков с препроцессингом. При том ряд методов препроцессинга прост и быстр а результат куда удобнее для LZ-образных чем сразу влобешник с "датчика" с кучей шума. > Что, в принципе, неудивительно: изображения динамичные и шумные - без потерь > хорошо не сжать. А чтобы хранить разумное время разумное количество данных > требуется сжатие хотя бы в несколько раз. Может быть, вас устроят какие-то lossy данные или специфичные штуки типа huffYUV, ориентированные на нечто подобное? Особенно если после постпроцессинга. > Просто у каждого своя специфика, кому то обязательно хранить огроменные массивы данных, > кому-то после обработки они уже не нужны. А тут имхо есть риск нарваться на ситуацию когда осознаешь что обработка была кривая, а пересчитать уже опаньки - исходного материала то нет. Впрочем вам наверное виднее. > Ну, например, какие нибудь спецы по крипто могут генерировать сумасшедшие > по размерам таблицы нужные всего один раз. Ой, вон в торентах радужные таблицы на десятки и сотни гигз есть. Они нужны не 1 человеку и не 1 раз. А некоторые особо шустрые не только понасчитали но и продают даже. > Или там результаты по молекулярной динамике - сохранил всю > симуляцию, обработал и все, дальше саму симуляцию хранить без толку. А что будет если обнаружится что в обработке был баг? > Хотя спор по большому счету ни о чем - речь, как оказалось, > все-таки идет про предоставление доступа к использованным сырцам, а не к > обрабатываемым данным программами из этих сырцов. Ну да, сами данные по идее те кто воспроизводить эксперименты будут и сами добыть смогут. > В этом плане все выглядит гораздо разумней, речь пойдет в среднем про > несколько мегабайт. В современном мире нет никаких проблем раздать кусок в 100Гб данных толпе в 1000 человек, если уж такая задача есть. При том не требуется ни супер-серверов, ни архидорогих датацентров. > Правда, непонятно, что делать с проприетарным софтом типа Comsol. По уму - закaпывать. Потому что бред это собачий, когда бабло побеждает здравый смысл в ущерб всему остальному. Когда вы получаете выводы прогнав некие данные через некий черный ящик делающий "хзчто, но мамой клянусь что там все замечательно" - достоверность таких результатов под большим вопросом. В силу невозможности полноценной верификации: все упирается в неизвестность содержимого черного ящика и насколько он реально делал именно то что заявлено.
	Ответить | Правка | Наверх | Cообщить модератору

	129. "Научные журналы на пути к требованию сопровождать все публик..."	+2 +/–
	Сообщение от Аноним (-), 23-Апр-12, 12:26
	Ну, собственно, вот наглядный пример как далее будут развиваться события. Достаточно было заикнуться что у меня сотни гигабайт в день - как меня начали учить что не надо использовать xml, а надо в бинарном виде, с плавающей точкой, дельта компрессия и все такое на каком-то совершенно левом примере. Я пояснил что все это уже пройденный этап и даже объяснил откуда берется такой объем и почему его трудно сжать. Мне начали объяснять про новые алгоритмы сжатия, которые должны решить мою проблему. Которые, как я объяснил, не применимы в моем случае. Мне начали давать новые указания куда дальше копать, несмотря на то что текущая ситуация меня удовлетворяет почти полностью. Да и вносить изменения в программную часть уже после начала серии экспериментов нежелательно, неизменность условий эксперимента может нарушиться совершенно неочевидным или неожиданным способом. А после серии экспериментов и написания статьи я может быть переключусь совсем на другое и все эти оптимизации просто окажутся растратой времени. Например, полгода назад эта же установка генерировала килобайты в секунду потому что обходилась фотодиодом и возможно я еще вернусь к тому варианту. Или отброшу временное разрешение и разные входные условия как ненужное и начну интегрировать по 20-30 однотипных кадров в один, не теряя в пикселизации. Хотя и тут найдутся люди которые начнут учить как надо делать, хотя ни слова про что я делаю, как измеряю и зачем ещё не было произнесено. То есть, обратите внимание: про предметную часть ни слова еще не было произнесено! У кого нибудь еще есть сомнения почему авторам может не понравиться идея публикации исходных кодов? Дорогой мой анонимный брат! Ты очень умен с своей области. Не обижайся. Но не имея представления "зачем" не стоит лезть к незнакомым людям с советами "что" надо делать. Какими бы тупыми они не выглядели на первый взгляд.
	Ответить | Правка | Наверх | Cообщить модератору

	139. "Научные журналы на пути к требованию сопровождать все публик..."	+1 +/–
	Сообщение от Аноним (-), 23-Апр-12, 13:28
	И, все-таки, спасибо за дискуссию - по крайне мере я понял, что шел в правильном направлении и ничего существенного не упустил. То есть смысл публикации кода все-таки есть, если его обсуждение сведется не к тому какой же автор лошара, а к тому как этот код можно было бы быстро и эффективно улучшить. Аноним с сотней гигабайт
	Ответить | Правка | Наверх | Cообщить модератору

	127. "Научные журналы на пути к требованию сопровождать все публик..."	+1 +/–
	Сообщение от ФФ (ok), 23-Апр-12, 11:29
	>А что такое сотня гб при майнстрим > винчах на 1-2Tb? 5...10% объёма.
	Ответить | Правка | К родителю #79 | Наверх | Cообщить модератору

	174. "Научные журналы на пути к требованию сопровождать все публик..."	+/–
	Сообщение от efrfegv (?), 23-Апр-12, 21:43
	?> Как-то научил его сначала не спользовать XML, потом fixed point  форматам, префиксной и delta- компрессии и zlib. Я что-то упустил, он вроде до всего этого гуано был физиком, или все таки и тогда не уже был?
	Ответить | Правка | К родителю #38 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема