На состоявшемся заседании комитета FESCo (Fedora Engineering Steering Committee), отвечающего за техническую часть разработки дистрибутива Fedora Linux, утверждено (https://lists.fedoraproject.org/archives/list/devel@lis.../) добавление в пакетный менеджер DNF кода для отправки сведений, необходимых для более точной оценки пользовательской базы дистрибутива. Изменение планируется включить в состав выпуска Fedora 30. Разработчики учли связанные с сохранением приватности пожелания, высказанные при обсуждении изначально предложенной схемы (https://www.opennet.ru/opennews/art.shtml?num=49926) учёта пользователей. Вместо передачи уникального UUID-идентификатора решено (https://pagure.io/fesco/issue/2060) реализовать более простую схему (https://fedoraproject.org/wiki/Changes/DNF_Better_Counting) на основе счётчика времени установки и переменной с данными об архитектуре и версии ОС.
При обращении к зеркалам вместо UUID будет отправляться счётчик "countme", значение которого будет увеличиться каждую неделю. Cчётчик будет сбрасываться в "0" после первого успешного обращения к серверу и через 7 дней начнёт отсчитывать недели. Указанный счётчик позволит оценить как давно установлен используемый выпуск, чего достаточно для анализа динамики перехода пользователей на новые версии и выявления недолго живущих установок в системах непрерывной интеграции, тестовых системах, контейнерах и виртуальных машинах. В свою очередь передача переменной с данными о редакции ОС (VARIANT_ID из /etc/os-release) и архитектуре системы позволит разделять редакции, ответвления и спины. При желании пользователь сможет отключить отправку указанной информации.В настоящее время для расчёта числа установленных систем используется разделение на основе уникальных IP-адресов, что вносит достаточную большую погрешность в статистику, с учётом того, что большинство пользователей подключаются к сети с динамически выдаваемыми IP-адресами и пользуются ноутбуками, подключаемыми к разным беспроводным сетям. Большую путаницу также вносят не постоянно работающие облачные окружения.
Например, при оценке статистики на основе анализа IP-адресов в логах зеркал наблюдается (https://pagure.io/fesco/issue/2060#comment-550501) увеличение на 40% интенсивности запросов, связанных с Fedora 29, по сравнению с Fedora 28. Текущих сведений недостаточно для того, чтобы понять характер данных запросов, возможно это не реальное увеличение пользовательской базы, а одноразовые обращения в ходе работе какого-то крупного облачного сервиса. Предложенное изменение позволит реалистично оценить популярность дистрибутива и выработать отражающую реальную обстановку стратегию его развития.
URL: https://lists.fedoraproject.org/archives/list/devel@lis.../
Новость: https://www.opennet.ru/opennews/art.shtml?num=50101
Какой график красивый, хоть на стену вешай.>При желании пользователь сможет отключить отправку указанной информации.
Только после отправки? А вот оффтопик даже не установится, пока явно не разрешишь или не запретишь телеметрию.
А с чего ты взял, что он не отправляет телеметрию ещё во время установки?. Более того, по примеру Firefox мы знаем, что есть телеметрия, которая телеметрия, а есть телеметрия, которая не телеметрия. И отключить можно только телеметрию, которая телеметрия.
> А с чего ты взял, что он не отправляет телеметрию ещё во
> время установки?.А кто сказал, что отправляет? Местные фольгированные?
>А кто сказал, что отправляет? Местные фольгированные?Что собрано, не может быть не отправлено.
>>А кто сказал, что отправляет? Местные фольгированные?
> Что собрано, не может быть не отправлено.Так она и не собирает, пока не разрешишь. В чём проблема-то?
> А с чего ты взял, что он не отправляет телеметрию ещё во
> время установки?. Более того, по примеру Firefox мы знаем, что есть
> телеметрия, которая телеметрия, а есть телеметрия, которая не телеметрия. И отключить
> можно только телеметрию, которая телеметрия.неправда, ту телеметрию, которая не телеметрия, у нас тоже можно отключить, отключателем не-телеметрии. Правда, как обычно, уже после того, как мы о тебе все слили и без гарантий что завтра не включится еще какая-нибудь "ну совсем-совсем не телеметрия для отключивших не совсем телеметрию".
Но корпорация зла, конечно же, microsoft, не перепутай! Она отправляет телеметрию даже когда dvd просто лежит в конвертике! (Баба Маня с первого этажа сама видела!)
> А с чего ты взял, что он не отправляет телеметрию ещё во время установки?Че как маленький. Берешь дазассеблер, dnf.exe и в путь. Исходники же лично тебе недоступны.
> ещё во время установкиПри выдернутом сетевом интерфейсе? Ну ты гений.
то есть uuid показался им недостаточно информативным - давайте теперь сливать архитектуру, версию, время установки - все для безопастносте и в интересах пользователей, ну конечно же, а не потому, что уже раз начав собирать данные, уже очень трудно остановиться...P.S. но корпорация зла, конечно же, microsoft, смотри, не перепутай, мой йуный друг
> то есть uuid показался им недостаточно информативным - давайте теперь сливать архитектуру, версию,Архитектуру и версию в общем виде они и так знают, так как DNF обращается за обновлениями для конкретной архитектуры и версии дистрибутива. Речь о выделении редакций (Cloud, Workstation, Server и т.п.) и более точных данных о CPU.
> Архитектуру и версию в общем виде они и так знают, так какну да, естественно - но, как видим, показалось маловато.
Апетит приходит во время еды. А чо, сузе можно, бубунте можно, а мы тоже хотим красивые графики и кому-нибудь при случае продать доступ к базе.
https://www.opennet.ru/openforum/vsluhforumID3/116263.html#80
рано кое-кто радовался :-(
>>и более точных данных о CPUХеш индивидуального публичного ключа для TEE туда входит?
>давайте теперь сливать
>корпорация злаВ Linux нет телеметрии, в Linux есть сбор информации. В Linux нет корпораций, есть "поддерживающие GNU партнёры". В Linux нет пропихивания ненужного, в Linux есть дальновидная стратегия развития.
Некоторые не видят разницы. Товарищ Штольман, разъяснить на партсобрании! Так победимъ!
Ура, товарищи!
> В Linux нет телеметрии, в Linux есть сбор информации. В Linux нет корпораций, есть "поддерживающие GNU партнёры". В Linux нет пропихивания ненужного, в Linux есть дальновидная стратегия развития.ок, законспехтировал!
>Штольман
>Так победимъ!"лев щаранский", залогиньтесь.
>>Штольман
>>Так победимъ!
> "лев щаранский", залогиньтесь.Чини детектор.
> P.S. но корпорация зла...Любая кооперация - зло!
RH^w IBM не исключение.
> кооперацияотключи T9 :))
Ну почему же? Может, он анархист и антисоциал и против вообще любых объединений. Тут и не такое встретить можно.
>> кооперация
> отключи T9 :))Да, очепятался, обидно что поправить уже нельзя.
А кто не пьет (зачеркнуто) не сливает? Назови! Х-)
> Например, при оценке статистики на основе анализа IP-адресов в логах зеркал наблюдается увеличение на 40% интенсивности запросов, связанных с Fedora 29, по сравнению с Fedora 28.Я ж только лайв с флэшки посмотрел! Какие 40%?
если ты его не обновлял - ты, вероятно, не спалился.хотя хрен его знает, этих нынешних разработчиков...
> если ты его не обновлял - ты, вероятно, не спалился.
> хотя хрен его знает, этих нынешних разработчиков...Скорее всего, спалился. Проверял подключение к сети через Wi-Fi. :-)
Что в Федоре, что в Убунте, в системд до черта напихано служб, покопавшись в которых, можно найти стукачей. По крайней мере, тех, что на поверхности... Ну чем не вин10? :-\
Пока еще не сильно шуршит диском не заставляя переходить на ssd, но мы работаем над этим
Тенденцию и по IP адресам могут посмотреть. Также и с обновлением -
дата установки ни к чему. Начерта точность до десятков юзеров?
В общем шляпа какая-то, а не федора.
Какое-нибудь облако с большим пудом динамических IP сводит на нет всю статистику. Это как паркинг доменов превратил в мусор статистку о http-серверах. Реальных пользователей, которые руками установили Fedora на свой ПК или ноутбук, может оказаться 10%, а может и 90%. Сейчас разбор логов по IP - чёрный ящик, слишком большая погрешность.
> Какое-нибудь облако с большим пудом динамических IP сводит на нет всю статистику.наоборот, с него очень интересная статистика, позволяющая сразу оценить и разброс версий, и эффективность обновлений, и много чего еще - но это да, таки data mining, это уметь надо, хотя бы второй курс универа нужен - причем со специализацией в IT, а не gender studies.
> Это как паркинг доменов превратил в мусор статистку о http-серверах.
> Реальных пользователей, которые руками установили Fedora на свой ПК или ноутбук,
> может оказаться 10%, а может и 90%. Сейчас разбор логоввангую за 0.01
который в ближайшем будущем сведется к 0, если только ibm не успеет первой, сократив неэффективное подразделение, они умеют.
1 юзер на F29 точно естьи сваливать не собирается )
> шляпа какая-тоУгу. Красная.
>Угу. Красная.Черная шляпа. У IBM же темный стиль.
Не тёмный, а голубой. Вбей в поисковик - "голубой гигант". :)
Сперва - "голубой гигант", а потом уже и "Чёрный властелин"... )
> Начерта точность до десятков юзеров?Не до десятков, а в разы, а может быть и на порядки. Я ставлю linux на четыре устройства дома, и все эти устройства ходят в интернет с одним ip адресом, за которым сидит неизвестное мне число других линуксоидов. Я даже не знаю как оценить это количество с точностью до порядка. Ну, можно попробовать оценить максимальное количество одновременных соединений с устройства, и поделить количество ip портов у NAT'а провайдера на это количство соединений, и предположить что это то самое число пользователей -- вероятно провайдер именно так и оптимизирует использование своих ip'шников, распределяя пользователей по ним.
То есть ты замучаешься определять количество установок оглядываясь исключительно на ip, с которых приходят запросы на обновление.
> Тенденцию и по IP адресам могут посмотреть.
Что эта тенденция отражает? Что процесс обновления системы часто стал фейлится, и поэтому множество повторых запусков пакетного менагера? Что мода держать локальные репы для скачанных пакетов подошла к концу, и теперь каждое устройство качает из интернета? Может провайдеры каким-то образом кешировали запросы, а теперь прекратили? Не, вероятно все эти вещи можно как-нибудь выудить из данных, если как следует подумать, нагенерировать гипотез, проверить их статистикой... просто прогнать данные через всякие хитрые алгоритмы, чтобы методом тыка поискать особенности... Можно, наверное, но data scientist сегодня -- это очень дорогое удовольствие, они нужны всем, специалистов на рынке недостаточно, поэтому зарплаты они требуют себе выше крыши. А это значит что их привлекают к тем задачам, которые дают действительно большой выхлоп по деньгам, а не всяким там подсчётам количества установок, которое, судя по всему, и до миллиона не дотягивает.
> Я ставлю linux на четыре устройства дома, и все эти устройства_регулярные_ четыре захода за обновлениями как бы отследить несложно.
> Что эта тенденция отражает? Что процесс обновления системы часто стал фейлится, и
для этого надо иметь историю - если за обновлениями весь год ходили в час по чайной ложке, а сейчас одни и те же качаются каждые пять минут - да, точно.
> поэтому множество повторых запусков пакетного менагера? Что мода держать локальные репы
> для скачанных пакетов подошла к концу, и теперь каждое устройство качаетэто выглядит совершенно иначе, нежели фэйлящееся обновление.
Поверь человеку, по подобным признакам третьего порядка отслеживающему поведение сложной системы с непредсказуемыми вывертами в кишках.> наверное, но data scientist сегодня -- это очень дорогое удовольствие, они
ну наняли бы summer student, за еду - в конце-концов, им не кредит по этим данным выдавать (хотя и там лажают чудовищно, мне, например, дали в самый неподходящий момент, но предлагали какую-то фигню когда и впрямь могли на мне неплохо заработать)
> подсчётам количества установок, которое, судя по всему, и до миллиона не
> дотягивает.сейчас посчитают и выгонят всех на мороз, ага. Но вряд ли - скорее всего наоборот, это подошьют в папочку с "прибыльный товар, для продажи"
> _регулярные_ четыре захода за обновлениями как бы отследить несложно.А нерегулярные? А если ip меняется? А если на разных устройствах разные наборы софта стоят, а /etc/portage (ну точнее его аналог в федоре) один на всех (то есть любой пакет скачивается не более одного раза)? А если я иногда удаляю /etc/portage, чтобы он мне в процессе каких-нибудь манипуляций не мешал? (я пару раз так делал: /etc/portage на отдельном разделе, и если надо что-нибудь массивно подвигать, то это 20G места на отдельном разделе)*
> Поверь человеку, по подобным признакам третьего порядка отслеживающему поведение сложной системы с непредсказуемыми вывертами в кишках
Почему ты думаешь, что твои оценки поведения сложной системы верны? Ты как-то проверяешь свои выводы? Как давно ты этим занимаешься? Ну, в том смысле, что сложная система она такая, она может довольно долго вести себя хорошо, а потом вдруг -- хоп -- и все теории о её поведении насмарку. Многие люди говорят, что они могут работать с данными, но я не верю им. Человеческая психика имеет кучу когнитивных байесов и искажений, и среди них есть и Даннинг-Крюгер. Я работал и с учёными, которые казалось бы специализируются на сборе и обработке данных, и то как они работают, не всегда вызывает доверие к результатам. И так выходит не потому, что они злонамеренно подтасовывают что-то ради грантов, не, они совершенно искренне не видят где они переступают грань допустимого.
А и ещё один вопрос, твоя сложная система состоит из людей? Инженерные сложные системы -- это же детский лепет, по сравнению с социальными системами. Люди гораздо изобретательнее машин, и гораздо менее предсказуемы.
> ну наняли бы summer student, за еду - в конце-концов, им не кредит по этим данным выдавать
Я подозреваю, что количество установок Fedora -- это довольно важная статистика для RedHat'а, влияющая на капитализацию. Но чтобы она влияла, надо уметь отвечать за цифры. Пока изменения этих цифр в пределах того, что предсказуемо, никто не будет париться, и все будут доверять этим цифрам. Но если вдруг за год без видимых причин цифры скакнули на 40%, вопросы неизбежно возникнут. И если на эти вопросы будет отвечать студент, работающий за еду, то его ответам могут не поверить. И тут не очень важно даже, насколько его ответы близки к реальности, важно поверят ему или нет. И те, кто будет решать верить или нет, скорее всего далеки от data science, и судить они будут по косвенным признакам, а "студент", "работает за еду" -- это признаки того, что верить ему особо не стоит. Ну, я бы точно не поверил бы -- обработка данных требует опыта сбора и обработки данных, тут очень не помешает PhD и резюме с кучей success stories.
upd:
[*] а, ещё я иногда удаляю /usr/portage/distfiles -- скачанные архивы там копятся, и со временем 20Gb кончаются. Я видел где-то что-то про скрипты, которые удаляют только то, что заведомо не нужно уже, но так и не собрался разобраться. Поэтому я тупо делаю rm и удаляю всё.
> А нерегулярные? А если ip меняется?а какая разница? Нам же общее представление иметь надо, а не отслеживать пользователя (или нет ;-)
Нет, тут так не получится, точнее, это какой-то редкий извращенец, не отражающийся в статистике. Тут либо ставят локальное зеркало (дорого, геморройно, обычно даже ентер-прайсы так не делают - ну ее нафиг, хранить двадцать rpm'ок с каждой версией мазилы - для каждой версии дистрибутива) либо не парятся.> Почему ты думаешь, что твои оценки поведения сложной системы верны? Ты как-то проверяешь свои
> выводы?конечно - успел откатить апдейты - молодец, не успел, результат будет уже не в виде красивой картинки, а в виде аларма от сложившейся системы.
там суть-то в том что по этим признакам ищут потом проблему в обновлении, если она была. И раз, как правило, находят - значит смысл в сборе именно такой информации есть.
> Я подозреваю, что количество установок Fedora -- это довольно важная статистика для RedHat'а,
> влияющая на капитализацию.вряд ли (пока сдуру не начнут публиковать ежемесячно - потому что это спекулятивный рыночек, и влияет именно цифирь в отчете, а не реальное положение дел)
Важная - количество _покупок_ лицензий rhel. А они подсчитываются очень просто, и без всяких геморроев для пользователя. И без шансов манипулировать ей. Поэтому ее публиковать не будут ;-)> и со временем 20Gb кончаются
вот тебе для понимания масштабов трагедии:
linups:~> du -hs /srv/mirror/archive.ubuntu.com/
24G /srv/mirror/archive.ubuntu.com/
это a) убунта - у которой, кроме, почему-то, ведра, есть только одна версия любого пакета, а откат на предпоследнюю вообще не предусмотрен, в отличие от редхатоидов b) тут только основные репо без большей части дополнительных и только для двух lts (и не потому что мы используем эти две, а потому что жалко времени и места) c) только бинарники d) только одной архитектурыА зеркало чего-то типа давно мертвой opensuse 11.4 занимало 150G (в основном благодаря стапиццта копиям мазилы, громоптица и прочих ненужно).
>> А нерегулярные? А если ip меняется?
> а какая разница? Нам же общее представление иметь надо, а не отслеживать
> пользователя (или нет ;-)Представь что тебе приходят запросы на обновление раз в месяц. Но в чётные месяцы они приходят с ip x.x.x.x, а в нечётные с y.y.y.y. Сколько установок прячется за этими запросами? Две или одна?
> Нет, тут так не получится, точнее, это какой-то редкий извращенец, не отражающийся в статистике.
Откуда мы знаем, что он редкий? Мы не знаем. Мы *предполагаем*, что такое поведение редкость, и в своих предположениях мы опираемся на свой собственный опыт обновления своих систем. Может быть на опыт ещё нескольких участников. По-хорошему же, такие предположения неплохо бы проверить отдельным исследованием. А как это исследование провести? Именно data scientist'ы и называются scientist'ами. Они в своей работе опираются на научный опыт исследования систем, чётко разделяя в голове необоснованный предположения и подтверждённые гипотезы. Вон, если глянуть на mozilla, в их потугах на сбор статистики видны все эти эксперименты, типа взяли случайную выборку пользователей и собрали с них побольше данных. Очевидно для того, чтобы посчитать распространённость тех или иных явлений по выборке и распространить выводы на генеральную совокупность. Чтобы знать, какие явления редкость, а какие не очень. С тем чтобы потом иметь возможность делать обоснованные выводы о генсовокупности из гораздо более косвенных данных.
> там суть-то в том что по этим признакам ищут потом проблему в
> обновлении, если она была. И раз, как правило, находят - значит
> смысл в сборе именно такой информации есть.А false negative'ы не влияют? В смысле когда проблема есть, но мы принимаем решение, что проблем нет. Проблема проявилась через полгода после апдейта, когда какой-то невоспроизводимый багрепорт вдруг начал набирать голосов, и вдруг выяснилось что он воспроизводится у каждого второго пользователя (хотя два месяца назад назад никто не мог воспроизвести, кроме зарепортившего пользователя), и... и пойди теперь разберись из-за чего проблема взялась и как долго она была актуальна. А при ближайшем рассмотрении становится не ясно, как оно вообще могло работать.
Хотя может и нет, такое в разработке софта бывает, но если речь об обновлениях бинарного дистра, то я не вижу как оно может случиться.
>> Я подозреваю, что количество установок Fedora -- это довольно важная статистика для RedHat'а,
>> влияющая на капитализацию.
> вряд ли (пока сдуру не начнут публиковать ежемесячно - потому что это
> спекулятивный рыночек, и влияет именно цифирь в отчете, а не реальное
> положение дел)
> Важная - количество _покупок_ лицензий rhel. А они подсчитываются очень просто, и
> без всяких геморроев для пользователя. И без шансов манипулировать ей. Поэтому
> ее публиковать не будут ;-)Количество покупок лицензий несомненно важная статистика. А вот насчёт того что количество установок Fedora не важно -- я не уверен. Они могут например на основании этих установок предсказывать количество покупок лицензий в будущем. Или просто делать качественные предсказания, типа "популярность редхата растёт" или "популярность редхата падает". И эти предсказания повышают стоимость акций уже сейчас. Весь капитализм построен на таких пузырях, на вере инвесторов в то, что завтра будет лучше, так почему бы и здесь не надуть ещё один пузырь?
Помимо цифири в отчётах, влияет так же и всё остальное. Цены на акции построены на вере. Чем собственно забавны все эти биткоины -- они довели систему до абсурда, циферки стоят денег, потому что люди верят в то, что они стоят денег. С акциями то же самое, но всё же за акциями как правило стоит и что-то, что можно продать -- ну хотя бы здание штаб-квартиры. И именно поэтому все так озабочены сбором данных. Есть игроки типа фб и гугла, которые зарабатывают на этих данных, но для большинства же данные нужны, чтобы создать позитивный новостной фон, который будет поддерживать веру в миф об успешности. Пока вера будет жить, миф будет реальностью.
> А зеркало чего-то типа давно мертвой opensuse 11.4 занимало 150G (в основном
> благодаря стапиццта копиям мазилы, громоптица и прочих ненужно).Я представляю себе, я как-то поднимал зеркало генты (в смысле не кешировал то, что использовал, а выкачивал и поддерживал в актуальном состоянии вообще всё из официального репа) и да, там было под сотню гигов. И это было давно: я поддерживал его около года и всё это время объём постепенно рос. Собственно я прибил зеркало через год потому, что место на разделе кончилось, а в локалке никто так и не заинтересовался зеркалом. Я не удивлюсь, если сейчас такое зеркало будет кушать 200Gb или больше.
> Представь что тебе приходят запросы на обновление раз в месяц. Но в
> чётные месяцы они приходят с ip x.x.x.x, а в нечётные с
> y.y.y.y. Сколько установок прячется за этими запросами? Две или одна?очевидно - если оба раза качается примерно одно и то же - две. Если никогда не повторяется, или, редко, тут же повторяется(это обломилось почему-то скачивание) - одна.
Когда на самом деле не раз в месяц, а раз в секунду, там сложнее, но все еще можно разделять, просто ты получишь именно интегральную статистику, а не повод поторговать списком пользователей (адреса, знаешь ли, легко превращаются в имена и паспортные данные с помощью той же GA)> Откуда мы знаем, что он редкий? Мы не знаем. Мы *предполагаем*, что
из бритвы оккама, да.
Ну и из основного отличия науки от ненауки - научная теория позволяет делать правильные прогнозы, а если прогноз неправильный - мы либо вышли из граничных условий, либо теория неверна.>> там суть-то в том что по этим признакам ищут потом проблему в
>> обновлении, если она была. И раз, как правило, находят - значит
>> смысл в сборе именно такой информации есть.
> А false negative'ы не влияют? В смысле когда проблема есть, но мыну мы ж с программами работаем, а не с пользователем, к счастью - программа не может год скрывать что среднее время выполнения вот этого сценария увеличилось на 20%, а потом внезапно массовое обращение зарегистрировать.
> Количество покупок лицензий несомненно важная статистика. А вот насчёт того что количество
> установок Fedora не важно -- я не уверен. Они могут например
> на основании этих установок предсказывать количество покупок лицензий в будущем. Илиа вот для этого надо доказать наличие корелляции ;-)
А это summer student сделает неубедительно.> поэтому все так озабочены сбором данных. Есть игроки типа фб и
> гугла, которые зарабатывают на этих данных, но для большинства же данные
> нужны, чтобы создать позитивный новостной фон, который будет поддерживать веру в
> миф об успешности. Пока вера будет жить, миф будет реальностью.фиг знает - данные собирают какие-то совершенно чудесатые индусские конторы, и кто им платит за хостинг и электричество - весьма немалых денег - я решительно не понимаю (там есть ньюанс- датасборник не должен тормозить и влиять на функционал того из под кого он тырит - иначе выпилят мгновенно)
imho, это уже пузырь ради пузыря - то есть нико эти данные никогда не купит, ибо нафиг не нужны в таком количестве и качестве, но инвесторы несут бабки мешками, потому что модно и "как у гугля".
>> Представь что тебе приходят запросы на обновление раз в месяц. Но в
>> чётные месяцы они приходят с ip x.x.x.x, а в нечётные с
>> y.y.y.y. Сколько установок прячется за этими запросами? Две или одна?
> очевидно - если оба раза качается примерно одно и то же -
> две. Если никогда не повторяется, или, редко, тут же повторяется(это обломилось
> почему-то скачивание) - одна.Что значит "примерно одно и то же"? Ты можешь написать алгоритм, который сможет отличить "примерно одно и то же" от "совсем по разному"? По какому признаку ты будешь различать? Запишешь для каждого пакета в репозитории 1 если он установлен, 0 если он не установлен, получишь для каждого обновления вектора из 1 и 0, а потом будешь считать расстояние между ними? В какой метрике ты будешь считать расстояние? Какое расстояние должно быть, чтобы принять решение, что "примерно одно и то же"? И если у тебя есть ответы на эти вопросы, от откуда эти ответы взялись? Почему ты веришь в то, что они правильные?
Когда-то в середине XX столетия учёные считали, что компьютерное зрение -- это легко и просто. Надо лишь найти студента поумнее, и дать ему задачу написать программу компьютерного зрения. Ха-ха. Мы знаем чем это кончилось. Только сейчас (более чем через полвека с тех пор) у компьютеров стало получаться что-то похожее на зрение, но даже сейчас сложно сказать, когда компьютерное зрение превзойдёт человеческое. Через десять лет? Через пятьдесят?
Это иллюзия простоты, которая возникает из-за того, что основная работа по обработке информации выполняемая твоим мозгом, выполняется им незаметно для тебя. Ты получаешь результат -- "примерно одно и то же" или картинку окружающего мира в сознании, -- и ты не замечаешь никаких усилий, которые пришлось приложить, чтобы этот результат получить. Поэтому тебе кажется, что всё просто. Но за результатами, которые есть у тебя в психике, стоят десятки миллиардов нейронов, которые тренировались делать то, что они делают десятки лет. И не всё, что твоим нейронам даётся просто, будет просто реализовать алгоритмически.
>> Откуда мы знаем, что он редкий? Мы не знаем. Мы *предполагаем*, что
> из бритвы оккама, да.Философские бритвы довольно остры, ими порезаться можно нечаянно. Можно ведь просто заявить "у нас 200000 установок", это утверждение ничему не противоречит, оно вполне объясняет наблюдаемые данные, зачем выдумывать дополнительные сущности, считать ip'шники, тратить ресурсы?
Бритву Оккама применяют только после того, как были предприняты усилия по поиску свидетельств существования, и эти усилия оказались бесплодными.
> Ну и из основного отличия науки от ненауки - научная теория позволяет
> делать правильные прогнозы, а если прогноз неправильный - мы либо вышли
> из граничных условий, либо теория неверна.Как ты отличишь правильные прогнозы от неправильных в данном случае? Вот ты померял и сказал, у нас есть 200000 установок. Как узнать, правильно ли это или не правильно? А если ты не можешь проверить, то откуда ты знаешь, что твоя теория научна?
Плюс, ты ведь понимаешь, что наличие правильных прогнозов -- это не единственное необходимое свойство для научной теории? Есть ещё, например, отсутствие неправильных прогнозов, то есть если мы напряжёмся, подумаем головой как следует, и придумаем все прогнозы, которые возможно сделать с опорой на нашу теорию, то среди них не должно быть ошибочных. Но как ты можешь быть уверенным в том, что ты уже придумал все возможные прогнозы? Никак. Единственное что можно -- это сделать много прогнозов, и проверить их все. Если они все работают, то это вселяет некоторую уверенность. Ну и наконец основной критерий научности теории -- это то, что она может выстоять в научном диспуте. А в нём, я тебя заверяю, если ты откажешься проверять гипотезу "потому что бритва Оккама", то аудитория твоих слушателей просто встанет и пойдёт пить кофе, ожидая следующего докладчика. Ну, есть конечно шансы напороться на IRL-тролля, который начнёт развлекаться, задавая тебе много неудобных вопросов (я видел примеры такому), но в любом случае, про твою теорию забудут сразу, как только твоё время закончится.
>>> там суть-то в том что по этим признакам ищут потом проблему в
>>> обновлении, если она была. И раз, как правило, находят - значит
>>> смысл в сборе именно такой информации есть.
>> А false negative'ы не влияют? В смысле когда проблема есть, но мы
> ну мы ж с программами работаем, а не с пользователем, к счастью
> - программа не может год скрывать что среднее время выполнения вот
> этого сценария увеличилось на 20%, а потом внезапно массовое обращение зарегистрировать.Эмм... я не совсем понял к чему это... "Программа не может скрывать" -- она не может сообщить, вообще-то. Обновление можно рассматривать как сигнал от программы, но пользователь может настроить программу по разному, об этом выше уже говорили, а значит это сигнал от пользователя.
>> Количество покупок лицензий несомненно важная статистика. А вот насчёт того что количество
>> установок Fedora не важно -- я не уверен. Они могут например
>> на основании этих установок предсказывать количество покупок лицензий в будущем. Или
> а вот для этого надо доказать наличие корелляции ;-)
> А это summer student сделает неубедительно.Может быть. А может и нет: корреляция -- это штука, которую все как правило понимают. Ну или им кажется, что они понимают, а в данном случае нет разницы. В отличие от колмогоровской сложности, ANOVA с повторными измерениями, эйгенвекторов и прочей нечисти.
>> поэтому все так озабочены сбором данных. Есть игроки типа фб и
>> гугла, которые зарабатывают на этих данных, но для большинства же данные
>> нужны, чтобы создать позитивный новостной фон, который будет поддерживать веру в
>> миф об успешности. Пока вера будет жить, миф будет реальностью.
> фиг знает - данные собирают какие-то совершенно чудесатые индусские конторы, и кто
> им платит за хостинг и электричество - весьма немалых денег -
> я решительно не понимаю (там есть ньюанс- датасборник не должен
> тормозить и влиять на функционал того из под кого он тырит
> - иначе выпилят мгновенно)Во, вот это правильный анализ. Не "сбор данных == нарушение приватности", а надо вообще оценить чем компания занимается, на что она живёт, прикинуть бизнес модель и насколько в эту бизнес модель может вписаться акт продажи приватных данных гуглу или фейсбуку. Если мы глянем на RedHat то мы видим причины зачем им нужны данные от пользователей, мы видим причины отличные от желания продать данные гуглу, поэтому вот здесь как раз вылезает бритва Оккама: наше понимание реальности уже содержит причину для RedHat'а собирать данные, если мы добавим к нашему пониманию ещё и намерение RedHat'а продать данные гуглу, то это не позволит нам объяснить никаких других наблюдаемых фактов. Я отмечу -- это не повод отказываться проверить гипозету о том, что RedHat сливает данные гуглу (возможно есть или возможно получить какие-то факты, которые невозможно объяснить не принимая гипотезу о сливе?), но до того как эта проверка проведена, бритва Оккама -- это повод полагать, что RedHat скорее не сливает, чем сливает.
> imho, это уже пузырь ради пузыря - то есть нико эти данные
> никогда не купит, ибо нафиг не нужны в таком количестве и
> качестве, но инвесторы несут бабки мешками, потому что модно и "как
> у гугля".Задача не данные продать, задача-минимум -- создать видимость правильного бизнеса, то есть бизнеса, который не как слепой котёнок тычется во всё подряд, а который исследует рынок, и принимает обоснованные решения о том, в какую сторону двигаться дальше. Задача-максимум не просто создать видимость, а на самом деле принимать обоснованные решения. И да, если "модно" и "как у гугля" то это выглядит убедительнее.
> и выявления недолго живущих установок в системах непрерывной интеграции, тестовых системах, контейнерах и виртуальных машинах.Как? обьясните, плиз, недоперло
docker например
> Как? обьясните, плиз, недоперлочего до тебя недоперло - как выявлять? Оно сливает дату установки. Если дата с этого ip всегда сегодняшняя - это aws instance, который живет только пока нужен, а потом исчезает в воздухе, и пересоздается с шаблона когда снова потребуется.
А если дата каждый раз разная но месячной давности и больше - это нат-пул.
от докеров как раз не поможет - докер думает, что он установлен в момент создания образа, когда-то давно. Впрочем, а чо, их обновляет чтоль кто-то, вот смешные...
> При обращении к зеркалам вместо UUID будет отправляться счётчик "countme", значение которого увеличивается каждую неделю.А как они будут опеределять этот countme от кого ?
у тебя есть ip (несколько разных но всегда примерно похожие), у твоей системы есть тип релиза, архитектура и прочее, и аптайм у каждой системы - свой.
В общем, там хватит данных взять тебя за персональную задницу.
> тебя есть ip (несколько разных но всегда примерно похожие) ...Это я понимаю. Не понимаю зачем еще нужно было какой то коунт-тиме вводить ? И так же данных
полно.
это не тайм, это ми ;-)
ну стесняются они пока прямо аптайм в секундах сливать (как делает любимая убунточка), сливают с округлением до недели - у них и юзеров поменьше, их и с таким грубым округлением разделить получится.просто фиксировать дату установки нельзя - многие просто клонируют уже установленный образ, она будет одна и та же, не отражающая дату создания клона. Поэтому активируем таймер и тикаем их онлайн ;-)
почему не сделать как в дебиан, предлагать включать эту телеметрию при установке.
угу, чтоб каждый такой умный ее выключил и мы не получили ценной инфы для перепродажи? Нет уж, сделаем как в убунте - даже если заказать удаление пакета, мы сначала сольем, а потом удалим с уже установленного образа.
В IBM по дефолту ты везде должен вводить логин и пароль на любой чих. К этому и идут.
раньше Федорасты бислпатно тестили. А теперь их считают как баранов. Завтра им принудительно рекламу начнут показывать.
рекламу показывают со времен rh6, правда, это реклама самой федоры и ее друзей.Завтра начнут сливать уже персональные данные, окно овертона двигаем мы.
Перепись хомячков что ещё не платят за подписку IBM.
"Вместо передачи уникального UUID-идентификатора" можно отправить его хеш, не?
> "Вместо передачи уникального UUID-идентификатора" можно отправить его хеш, не?Нет, нельзя.
а в чем разница, кроме доп. нагрузки на проц?
Судя по графику, народу все больше и больше нравится Федора.
Жаль только, что этот вариант выдает больше данных о пользователе. За что боролись, как говорится.
Ой, теперь он и вас сосчитал...
А есть полный список дистрибутивов с телеметрией? Кто ещё кроме зюзи, федоры и убунты?
э... стесняюсь спросить - полного списка дистрибутивов БЕЗ телеметрии у вас не найдется? Маргинальщину типа слаквари (непригодной ни для какой работы) и генты (где телеметрию надо каждый день пересобирать из нового портаджа) сразу пропустим.
Вы так говорите, как будто телеметрия это что-то плохое. На самом деле, это единственный способ. позволяющий разработчикам узнать, что реально нужно пользователям. Или они должны ориентироваться по срачам на форумах?
> Вы так говорите, как будто телеметрия это что-то плохое. На самом деле,
> это единственный способ. позволяющий разработчикам узнать, что реально нужно пользователям.с тем же успехом они могли бы гадать на птичьем дерьме.
> Или они должны ориентироваться по срачам на форумах?
они вполне могут ориентироваться на число загрузок содержимого апдейтов, и для этого не надо сливать данные о пользователе и даже хранить их айпишники.
Если опять падает - значит, опять сделали какой-то мусор вместо "реально нужно пользователям". Но, учитывая что это 314дора, и дистрибутив со сроком жизни в пол-года пользователям никогда нужен и не был, могли бы и вообще не беспокоиться.ну это при условии веры в сказку. А при вере в желание заработать на продаже этих данных все становится на свои места.
Скан паспорта надо отсылать во время установки?
>Скан паспорта надо отсылать во время установки?nam dostatochno i togo chto vy zdes' napisali
https://fedoraproject.org/wiki/Legal:PrivacyPolicy
не удивлюсь если кейлогер и скриншоты делает
>не удивлюсь если кейлогер и скриншоты делаетБлагодарю. Интересно было почитать.
>Мы используем это исследование, чтобы понять, как привычки наших пользователей похожи или отличаются друг от друга
Уж сколько людей жалуются на выкрутасы разработчиков, а воз и ныне там.
>Однако вы должны понимать, что использование файлов cookie может быть необходимо для предоставления определенных услуг, и выбор отклонения файлов cookie приведет к снижению производительности и функциональности сайта.
Усердие в работе над своей продукцией и ее тестирование, делает эти продукты производ. и функциональными.
>Право на получение ваших личных данных в пригодном для использования электронном формате и передачу их третьему лицу
Майка специально подталкивает к переходу на Пингвин и Яблоко с ее ОС, ведь там, тоже самое будет в будущем. Введут такие стандарты, что хоть сколько нибудь совестливые, уйдут. Потом и там будет невыносимо. Но это хорошо. Потому-что вы должны не играть в игрушки, а искать зачем вы здесь.
Выбор за вами. Начать с начала или идти дальше.
О-о-о-ооо... Я посмотрел на эту политику конфиденциальности и у Мяты и у Фряхи. Посмотрите и того дистриб. которым Вы пользуетесь. Эти два сотрудничают с аналитикой гуогля.Wikipedia:
>Из-за своей повсеместности, Google Analytics вызывает некоторые проблемы конфиденциальности. Всякий раз, когда кто-то посещает веб-сайт, который использует Google Analytics, Google отслеживает это посещение по IP-адресу пользователя, чтобы определить приблизительное географическое местоположение пользователя.
>https://www.theregister.co.uk/2010/12/15/openbsd_backdoor_claim/В последнем абзаце статьи, самое интересное.
> В последнем абзаце статьи, самое интересное.
> "If OpenBSD w/all their auditing was backdoored where does that leave Linux, Windows, FreeBSD, OS X. Who thinks they stopped at the smallest dist?"Ответ прост: нет смысла бэкдорить то, что им является изначально.*
_________________________________
* Верно для 50% перечисленных осей.
> * Верно для 50% перечисленных осей.Я так понимаю, что цифра 50% основывается на комплексном анализе "оно или забэкдорено или нет"?
в первом приближении именно так.
БЛииииин, ну совсем...
Я тоже недавно заметил, что убунта начинает стучаться в разные места, как только стал радиоподключения тестировать. И как только это всё отключить?.. :(
>И как только это всё отключить?.. :(Как пример: "сосед по общаге снимает на видеокамеру как вы моетесь и фикалите а потом делится этим с друзьями". Вы съедите с этой комнаты? Поэтому меняйте ОС, ведь после обновления "стучалка" может вернутся.
> фикалите
> Вы съедите с этой комнаты?Это мне просто вырвало мозг.
> Как пример: "сосед по общаге снимает на видеокамеру как вы моетесь и
> фикалите а потом делится этим с друзьями". Вы съедите с этой комнаты?Съедет сосед. В больницу. Возможно с друзьями.
>Съедет сосед. В больницу. Возможно с друзьями.Да нет, Ordu правильно меня поправил. Я чуток ошибся, но посмеялся очень хорошо.
Конечно сосед по комнате, который снимает то что происходит в ванной ком. и туалете.