The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]



"Вышел Datanymizer, анонимайзер чувствительных данных"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Вышел Datanymizer, анонимайзер чувствительных данных"  +/
Сообщение от opennews (ok), 10-Фев-21, 09:02 
Доступен первый выпуск проекта...

Подробнее: https://www.opennet.ru/opennews/art.shtml?num=54560

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. "Вышел Datanymizer, анонимайзер чувствительных данных на лету"  –11 +/
Сообщение от Fracta1L (ok), 10-Фев-21, 09:02 
> Код проекта написан на языке Rust

Молодцы!

Ответить | Правка | Наверх | Cообщить модератору

17. "Вышел Datanymizer, анонимайзер чувствительных данных на лету"  –2 +/
Сообщение от Аноним (17), 10-Фев-21, 10:57 
че молодцы-то, опять память будет течь.
Раст уже можно считать именем нарицательным для обозначения текучей памяти
Ответить | Правка | Наверх | Cообщить модератору

20. "Вышел Datanymizer, анонимайзер чувствительных данных на лету"  –2 +/
Сообщение от Аноним (20), 10-Фев-21, 11:14 
Будьте добры статистику или иные пруфы, как для данной программы, так и для всех программ на данном языке в целом. В качестве бонуса можете указать на аналогичные решения на других языках без данных проблем
Ответить | Правка | Наверх | Cообщить модератору

25. "Вышел Datanymizer, анонимайзер чувствительных данных на лету"  –2 +/
Сообщение от заминированный тапок (ok), 10-Фев-21, 11:40 
https://stackoverflow.com/questions/55553048/is-it-possible-...
Ответить | Правка | Наверх | Cообщить модератору

27. "Вышел Datanymizer, анонимайзер чувствительных данных на лету"  +2 +/
Сообщение от Аноним (20), 10-Фев-21, 11:45 
Я не спрашивал, можно ли создать, я спрашивал статистику проявления данной проблемы для данной софтины и для всего софта в целом на этом языке, и, в качестве бонуса, попросил пример аналогичной программы на другом языке, избавленном от данного недостатка

Из вашего же пруфа я не могу сделать вывод, заключающийся в "раст - имя нарицательное для текущей памяти"

Ответить | Правка | Наверх | Cообщить модератору

32. "Вышел Datanymizer, анонимайзер чувствительных данных на лету"  –5 +/
Сообщение от заминированный тапок (ok), 10-Фев-21, 12:03 
> Я не спрашивал, можно ли создать, я спрашивал статистику проявления данной проблемы
> для данной софтины и для всего софта в целом на этом
> языке, и, в качестве бонуса, попросил пример аналогичной программы на другом
> языке, избавленном от данного недостатка
> Из вашего же пруфа я не могу сделать вывод, заключающийся в "раст
> - имя нарицательное для текущей памяти"

ты просил пруфы - тебе дали пруфы.

для C/C++ статистика есть, потому что с их помощью написаны петабайты реально используемого софта
от прошивок для марсоходов, до видехостингов с котиками и нагрузкой в миллионы просмотров за сутки

подозреваю для 1.5 клона утилиток, переписанных за 5 лет с CXX на раст, врядли ктото делал какую-то "статистику"

и да, "обёртки"-бингдинки Сишных API под Раст не в счёт.
хотя даже тут есть проблемы с безопасностью: https://dl.acm.org/doi/fullHtml/10.1145/3418898

Ответить | Правка | Наверх | Cообщить модератору

34. "Вышел Datanymizer, анонимайзер чувствительных данных на лету"  +/
Сообщение от Аноним (20), 10-Фев-21, 12:23 
> ты просил пруфы - тебе дали пруфы.

Я просил пруфы на статистику, из которой следует, что "раст - имя нарицательное для текущей памяти" , мне дали пруф на то, что в расте можно создать утечку памяти, ну тогда можно так же утверждать следующее:

"Си - имя нарицательное для битья памяти", а что, каждый сишник специально бьет память

"С++ - имя нарицательное для битья памяти и неадекватного синтаксиса", а что, каждый приплюснутый пишет нечитаемое нечто, и специально бьет память

"python - имя нарицательное для неадекватного синтаксиса", а что, тут вот match завезли, разве его можно читать?

"java - нарицательное имя для тормозов и неадекватного потребления памяти"

"php, js, perl - имена нарицательные для произведений макак"

> подозреваю для 1.5 клона утилиток, переписанных за 5 лет с CXX на раст, врядли ктото делал какую-то "статистику"

Тогда и утверждение "раст - имя нарицательное для текущей памяти" не имеет под собой основы

> и да, "обёртки"-бингдинки Сишных API под Раст не в счёт.
> хотя даже тут есть проблемы с безопасностью

Не имеет отношения к теме обсуждения

Ответить | Правка | Наверх | Cообщить модератору

36. "Вышел Datanymizer, анонимайзер чувствительных данных на лету"  +/
Сообщение от заминированный тапок (ok), 10-Фев-21, 12:28 
>[оверквотинг удален]
> "python - имя нарицательное для неадекватного синтаксиса", а что, тут вот match
> завезли, разве его можно читать?
> "java - нарицательное имя для тормозов и неадекватного потребления памяти"
> "php, js, perl - имена нарицательные для произведений макак"
>> подозреваю для 1.5 клона утилиток, переписанных за 5 лет с CXX на раст, врядли ктото делал какую-то "статистику"
> Тогда и утверждение "раст - имя нарицательное для текущей памяти" не имеет
> под собой основы
>> и да, "обёртки"-бингдинки Сишных API под Раст не в счёт.
>> хотя даже тут есть проблемы с безопасностью
> Не имеет отношения к теме обсуждения

ну, на c/c++ же такой же ярлык и навесили, почему бы на раст не навесить.
ведь несмотря на свою маркетигновую 'ультрасупербезопасность' в управлении памятью и вообще всем - точно так же и сам запросто может поплыть (даже без особых усилий)

Ответить | Правка | Наверх | Cообщить модератору

38. "Вышел Datanymizer, анонимайзер чувствительных данных на лету"  +/
Сообщение от Аноним (20), 10-Фев-21, 12:32 
Я и не вешаю, я пытаюсь получить пруфы на утверждение "раст - имя нарицательное для текущей памяти", в данный момент времени мне все равно на упомянутые выше языки с их ярлыками
Ответить | Правка | Наверх | Cообщить модератору

39. "Вышел Datanymizer, анонимайзер чувствительных данных на лету"  –1 +/
Сообщение от Аноним (39), 10-Фев-21, 12:51 
А я, кстати, согласен с этим утверждением. Все программы на расте текут, точно также как все программы на плюсах текут. Нужно просто помнить об этом, когда решишь притянуть очередную плюсовую зависимость в проект на си.
Ответить | Правка | Наверх | Cообщить модератору

61. "Вышел Datanymizer, анонимайзер чувствительных данных на лету"  +/
Сообщение от Аноним (61), 11-Фев-21, 20:12 
Главное не забыть что все программы на си тоже текут.
Ответить | Правка | Наверх | Cообщить модератору

62. "Вышел Datanymizer, анонимайзер чувствительных данных на лету"  +/
Сообщение от Аноним (39), 12-Фев-21, 00:03 
> Главное не забыть что все программы на си тоже текут.

Естественно, только в программах на си это хотя бы сразу видно. Си нагенерированное (bison и компания) у меня тоже текло постоянно, вот там это может быть проблема.

Ответить | Правка | Наверх | Cообщить модератору

42. "Вышел Datanymizer, анонимайзер чувствительных данных на лету"  +2 +/
Сообщение от helgi (??), 10-Фев-21, 15:34 
Разве есть язык, где нельзя сделать утечку памяти? На го я могу тоже так сделать.
Причем тут язык вообще?
Ответить | Правка | К родителю #32 | Наверх | Cообщить модератору

44. "Вышел Datanymizer, анонимайзер чувствительных данных на лету"  +/
Сообщение от Sw00p aka Jerom (?), 10-Фев-21, 17:27 
>Разве есть язык, где нельзя сделать утечку памяти?

ну для начала необходимо дать определение понятию "утечка памяти".

Ответить | Правка | Наверх | Cообщить модератору

50. "Вышел Datanymizer, анонимайзер чувствительных данных на лету"  +/
Сообщение от helgi (??), 10-Фев-21, 21:21 
Посмотрите в вики что ли. Определение этому давно дано.
Процесс неконтролируемого уменьшения объёма...
Ответить | Правка | Наверх | Cообщить модератору

51. "Вышел Datanymizer, анонимайзер чувствительных данных на лету"  –1 +/
Сообщение от Sw00p aka Jerom (?), 10-Фев-21, 22:03 
> Посмотрите в вики что ли. Определение этому давно дано.
> Процесс неконтролируемого уменьшения объёма...

процесс (алгоритм) может в любом случае исчерпать доступную память и притом, что имея полный контроль, разве это "утечка"?

В той же википедии написано "вовремя не освобождающих ненужные участки памяти" - что значить "вовремя"?

так что значить "утечка" ? Потеря контроля над участком памяти?

на вопрос "Разве есть язык, где нельзя сделать утечку памяти?" в той же вики написано - да есть, язык в котором нет понятия динамически выделяемой памяти.

>Причем тут язык вообще?

а при том, что программы пишутся на языках, и работают с памятью они же :)

Ответить | Правка | Наверх | Cообщить модератору

68. "Вышел Datanymizer, анонимайзер чувствительных данных на лету"  +/
Сообщение от Аноним (68), 13-Фев-21, 13:32 
нет успешных известных решений на расте не имеющих проблем на расте, такая формулировка устраивает?
Ответить | Правка | К родителю #27 | Наверх | Cообщить модератору

45. "Вышел Datanymizer, анонимайзер чувствительных данных на лету"  +/
Сообщение от Аноним (61), 10-Фев-21, 18:30 
>Раст уже можно считать именем нарицательным для обозначения текучей памяти

Тогда и C++ можно таким же считать, в управлении памятью у них все практически одинаково, кроме того что в раст сделать утечку чуть сложнее так как нет голых new delete.

Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору

55. "Вышел Datanymizer, анонимайзер чувствительных данных на лету"  +/
Сообщение от Аноним (55), 11-Фев-21, 07:13 
Actually, in a system programming language, you need to be able to create a memory leak, otherwise, for example in an FFI case, your resource would be freed after being sent for use in another language.
Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору

69. "Вышел Datanymizer, анонимайзер чувствительных данных на лету"  +/
Сообщение от Ordu (ok), 13-Фев-21, 15:40 
> Раст уже можно считать именем нарицательным для обозначения текучей памяти

Нет, ещё рано. Тебе надо ещё три с половиной недели форсить этот мем. Только после этого.

Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору

31. "Вышел Datanymizer, анонимайзер чувствительных данных на лету"  +/
Сообщение от Аноним (-), 10-Фев-21, 11:59 
Фоундейшон Вас ждет. Неумение программировать даст солидный изначальный карьерный буст !
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

33. Скрыто модератором  +/
Сообщение от Аноним (-), 10-Фев-21, 12:21 
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

40. Скрыто модератором  –3 +/
Сообщение от Fracta1L (ok), 10-Фев-21, 13:05 
Ответить | Правка | Наверх | Cообщить модератору

43. "Вышел Datanymizer, анонимайзер чувствительных данных на лету"  –1 +/
Сообщение от Аноним (43), 10-Фев-21, 17:08 
Первым делом заходим на страницу и открываем доки.

О госпади, что это за мутант? Это что за отложения дегенерата? В читываешься и понимашь.

> Код проекта написан на языке Rust

И этим всё сказано.

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

2. "Вышел Datanymizer, анонимайзер чувствительных данных"  +4 +/
Сообщение от Аноним (-), 10-Фев-21, 09:05 
Достойная поделка для write only языка
Ответить | Правка | Наверх | Cообщить модератору

10. "Вышел Datanymizer, анонимайзер чувствительных данных"  +1 +/
Сообщение от Аноним (10), 10-Фев-21, 10:16 
Любой язык - write-only, потому что копаться в исходниках большинства проектов = делать чужую работу желающих очень мало.
Ответить | Правка | Наверх | Cообщить модератору

14. "Вышел Datanymizer, анонимайзер чувствительных данных"  +/
Сообщение от Аноним (14), 10-Фев-21, 10:35 
почему write-only?
Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

26. "Вышел Datanymizer, анонимайзер чувствительных данных"  –1 +/
Сообщение от Аноним (26), 10-Фев-21, 11:42 
Язык для народности не читателей, а писателей.
Ответить | Правка | Наверх | Cообщить модератору

30. "Вышел Datanymizer, анонимайзер чувствительных данных"  +2 +/
Сообщение от Аноним (-), 10-Фев-21, 11:55 
Не ну прочитать в файлике строчку и заменить ею строчку в базе - это надо в топах постить, прямо над маскоидными высерами.

Если поднажать с наймом дириктаров, то к лету напишут хттп сервер. А там уже гуляй фантазия, главное не останавливаться с клонированием дирихтарского состава.

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

3. "Вышел Datanymizer, анонимайзер чувствительных данных"  +/
Сообщение от Аноним (3), 10-Фев-21, 09:17 
> SQL-дамп, в котором персональные данные скрыты или заменены несуществующими данными, похожими по формату на реальные.

Использовались ли оригинальные данные при создании замены? Типа хеш оригинала в любом виде?

Ответить | Правка | Наверх | Cообщить модератору

5. "Вышел Datanymizer, анонимайзер чувствительных данных"  –2 +/
Сообщение от Alex (??), 10-Фев-21, 09:49 
Какой ещё хеш?
Ты хоть документацию почитай.
Ответить | Правка | Наверх | Cообщить модератору

4. "Вышел Datanymizer, анонимайзер чувствительных данных"  +/
Сообщение от economist (?), 10-Фев-21, 09:24 
We also support ZH_TW (traditional chinese) and RU (translation in progress).
Ответить | Правка | Наверх | Cообщить модератору

6. "Вышел Datanymizer, анонимайзер чувствительных данных"  +/
Сообщение от Аноним (6), 10-Фев-21, 09:54 
анонимизирует данные на стороне сервера и передаст в тестовую среду уже чистый SQL-дамп, в котором персональные данные скрыты или заменены

Как он понимает какие данные скрыть?
Пароли тоже скроет? )

Ответить | Правка | Наверх | Cообщить модератору

8. "Вышел Datanymizer, анонимайзер чувствительных данных"  +/
Сообщение от blzz (?), 10-Фев-21, 10:09 
посмотрит страничку на гитхабе. там надо описать yaml-ом таблицы и поля в которых чуствительные данные. опишешь табличку с паролями - скроет пароли
Ответить | Правка | Наверх | Cообщить модератору

7. "Вышел Datanymizer, анонимайзер чувствительных данных"  –1 +/
Сообщение от Lex (??), 10-Фев-21, 09:58 
> в котором персональные данные скрыты или заменены несуществующими данными, похожими по формату на реальные

Угу, а потом ломай голову, почему при тестировании ломается, а на проде - нет или наоборот.. а потом окажется, что "умная система" просто подставила "похожие[по ее мнению]данные", которые заведомо неприемлемы для данных условий( тот же номер телефона. Заменит на хз что, а потом думай, почему тест системы рассылки проваливается, поскольку номер некорректен или относится не к той стране, в отношении которой активированы рассылки ).

Ответить | Правка | Наверх | Cообщить модератору

9. "Вышел Datanymizer, анонимайзер чувствительных данных"  –1 +/
Сообщение от Аноним (9), 10-Фев-21, 10:10 
>phone: format: +7##########

Как работает проект не читай - язвительные комментарии оставляй?

Ответить | Правка | Наверх | Cообщить модератору

12. "Вышел Datanymizer, анонимайзер чувствительных данных"  +/
Сообщение от Аноним (10), 10-Фев-21, 10:19 
Абсолютно. Вся эта защита приватности никому, кроме "защитников приватности", не нужна. Если у фирмы есть данные, значит ей их уже доверили. Если ей их уже доверили, то зачем анонимизация? Просто заставляем всех сотрудников подписать NDA - и всё.
Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору

16. "Вышел Datanymizer, анонимайзер чувствительных данных"  +3 +/
Сообщение от An O Nim (?), 10-Фев-21, 10:46 
У нас как-то dba приехал на машине в ноябре в шортиках. Типа тепло в машине ж. Спросили: где греться будешь, если в ДТП радиатор проткнут и двигатель встанет. Промолчал в ответ, понял косяк логики.
Ответить | Правка | Наверх | Cообщить модератору

54. "Вышел Datanymizer, анонимайзер чувствительных данных"  +/
Сообщение от Аноним (-), 11-Фев-21, 02:21 
> У нас как-то dba приехал на машине в ноябре в шортиках. Типа
> тепло в машине ж. Спросили: где греться будешь, если в ДТП
> радиатор проткнут и двигатель встанет. Промолчал в ответ, понял косяк логики.

Так себе пример - у нас вот в аптечке полагается иметь термоодеяло.

Ответить | Правка | Наверх | Cообщить модератору

19. "Вышел Datanymizer, анонимайзер чувствительных данных"  +4 +/
Сообщение от Аноним (20), 10-Фев-21, 11:08 
От того, что ты накажешь сотрудника по NDA, слитые данные не исчезнут. Очевидно, чтобы было меньше сливов, надо чтобы меньше людей имели к ним доступ, меньшее количество людей проще контролировать, меньшее количество людей проще обучить основам ИБ, и т.д.
Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

21. "Вышел Datanymizer, анонимайзер чувствительных данных"  +/
Сообщение от Lex (??), 10-Фев-21, 11:29 
Очевидно, что нормальные люди составляют энную тестовую базу, по которой потом код и гоняют
Ответить | Правка | Наверх | Cообщить модератору

22. "Вышел Datanymizer, анонимайзер чувствительных данных"  +5 +/
Сообщение от Аноним (20), 10-Фев-21, 11:31 
> составляют энную тестовую базу

данная софтина - один из способов ее получить

Ответить | Правка | Наверх | Cообщить модератору

35. "Вышел Datanymizer, анонимайзер чувствительных данных"  +/
Сообщение от Annoynymous (ok), 10-Фев-21, 12:27 
> Просто заставляем всех сотрудников подписать NDA - и всё.

Да! И хакеров, сливших базу, тоже заставим подписать NDA и проблема решена!

Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

15. "Вышел Datanymizer, анонимайзер чувствительных данных"  +1 +/
Сообщение от An O Nim (?), 10-Фев-21, 10:41 
> а потом ломай голову, почему при тестировании ...

Если хотите, то номер Вашего телефона, д.адр., карты и списки покупок в Спере отдадим тестировщикам и бизнес аналитикам в свободный доступ. Если не хотите, то применят этот или похожий инструмент.

Как-то тагг оно применяется.

Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору

23. "Вышел Datanymizer, анонимайзер чувствительных данных"  +2 +/
Сообщение от Lex (??), 10-Фев-21, 11:38 
Если у меня есть конкретный номер для тестирования или их список( для тестирования, чтобы посторонним людям неведомые сообщения не прилетали ), то зачем мне делать рассылку по случайным номерам ?
Равно как с номером карты и проч.

Просто у сколь-нибудь нормальных контор( даже из 3 человек, включая директора, дизайнера и программиста ) обычно есть какие-то конкретные данные, которые применяются для тестирования:

номер телефона, на который делается тестовая отправка сообщений - иначе как ты определишь корректность отправки сообщения и его содержимое, если там какой-нибудь код подтверждения итп
определенная карта( иногда даже того же директора мелкой конторы ), с которой делаются тестовые списания и суть тестирования - проверка работоспособности системы оплаты и выставления счета
и проч

Я не вижу реальных применений для сабжа.
Если реально требуются конкретные данные, то их нельзя чем-то рандомно заменить( даже имя-фамилию владельца карты ), а если нет - то можно просто скриптом нагенерировать.

Ответить | Правка | Наверх | Cообщить модератору

24. "Вышел Datanymizer, анонимайзер чувствительных данных"  +/
Сообщение от Lex (??), 10-Фев-21, 11:39 
п.с: а потом с той штукой будет как с тем "заблюриванием" лиц и текстов, которое "внезапно" оказалось возможным восстановить с помощью нейронки
Ответить | Правка | Наверх | Cообщить модератору

37. "Вышел Datanymizer, анонимайзер чувствительных данных"  +/
Сообщение от An O Nim (?), 10-Фев-21, 12:31 
Тестовые данные динамические. Вчерашние тестовые данные устроены не так, как сегодня зарелизили.  Можно выкидывать вчерашние тестовые эталонные данные. Нужно регулярно чем-то обновлять тестовый набор.

Причины разные. Например, из базы данных материал отдаёт функция, которая иногда меняется. Вчера отдавала один набор данных, сегодня - другой.

> Я не вижу реальных применений для сабжа.

А потому что не знаете в теме - не работали с сабжем никогда, работу не знаете. :))

Как организуются тесты, что когда тестируется, как конкретно тестируется, как часто какого объёма тесты. Просто - как пишутся тесты. Большая идустрия.

Ответить | Правка | Наверх | Cообщить модератору

57. "Вышел Datanymizer, анонимайзер чувствительных данных"  +1 +/
Сообщение от Ordu (ok), 11-Фев-21, 13:42 
Ты читал вообще про эту софтину, прежде чем рассуждать о "я не вижу применений"? Возьми и, анонимизируя базу, замени все номера телефонов в базе на тот, который удобен тебе. Правила анонимизации пишешь ты, что напишешь, то и получишь.

А теперь давай придумай какую-нибудь новую причину, почему эта утилита бесполезна. Ведь тебе так сложно принять идею, что кто-то кроме тебя может понимать, как надо создавать тестовую базу, да?

Ответить | Правка | К родителю #23 | Наверх | Cообщить модератору

18. "Вышел Datanymizer, анонимайзер чувствительных данных"  +1 +/
Сообщение от kissmyass (?), 10-Фев-21, 11:03 
Не знаю как в этой тулзе сделано, но просто анонимные данные всунуть не получится.
Если длина это не проблема, то всякие блобы, текстовые шаблоны, данные форматного ввода, хеши данных просто в некоторых случаях просто нереально воспроизвести без повторения логики приложения.

Самого волнует схема в которой приходится тащить базу с прода (даже если все доверенные).
Просто из-за размера копию прода для восстановления полного окружения можно тащить слишком долго.
Если база 1-2 гб так вроде пофиг, а если 1-2 TB то вот тут начинается цирк.

Кроме асинхронной репликаци на локальный тестовый сервер и в голову ничего не приходит.
А уже потом локально дампы с тестового сервера поднимать для тестов.

Может у кого еще какие идеи есть?

Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору

56. "Вышел Datanymizer, анонимайзер чувствительных данных"  +/
Сообщение от пох. (?), 11-Фев-21, 11:11 
ну зачем тебе полная копия? Банально рандомных 10% не хватит?

Заодно и утечка будет ограничена этими 10.

Ответить | Правка | Наверх | Cообщить модератору

58. "Вышел Datanymizer, анонимайзер чувствительных данных"  +/
Сообщение от kissmyass (?), 11-Фев-21, 17:05 
> ну зачем тебе полная копия? Банально рандомных 10% не хватит?
> Заодно и утечка будет ограничена этими 10.

для точного воспроизведения прода

ты не сможешь вытащить 10% и получить конситентный набор данных

Ответить | Правка | Наверх | Cообщить модератору

59. "Вышел Datanymizer, анонимайзер чувствительных данных"  +/
Сообщение от пох. (?), 11-Фев-21, 17:20 
Почему? У меня он будет вполне консистентным, просто урезанным. У прошлых dba было вообще без фантазии - раз в неделю делался снапшот базы, поднимался в виде нового инстанса, инстанс целиком в бэкап, бэкап на полку на случай ядерной войны, а из его базы удалялось рандомно примерно те самые 90%. (Посколько там, естественно, триггеры on delete, то достаточно было удалять из основных таблиц, все от них зависимое чистится автоматом.) Это недоразумение и использовалось в автотестах, до следующего снапшота.

Никто, вроде, не жаловался.

Ответить | Правка | Наверх | Cообщить модератору

60. "Вышел Datanymizer, анонимайзер чувствительных данных"  +/
Сообщение от kissmyass (?), 11-Фев-21, 19:12 
> Почему? У меня он будет вполне консистентным, просто урезанным. У прошлых dba
> было вообще без фантазии - раз в неделю делался снапшот базы,
> поднимался в виде нового инстанса, инстанс целиком в бэкап, бэкап на
> полку на случай ядерной войны, а из его базы удалялось рандомно
> примерно те самые 90%. (Посколько там, естественно, триггеры on delete, то
> достаточно было удалять из основных таблиц, все от них зависимое чистится
> автоматом.) Это недоразумение и использовалось в автотестах, до следующего снапшота.
> Никто, вроде, не жаловался.

каким образом решается какие строки из таблицы должны попасть в тестовый набор?

как насчет таблиц локализации (просто пример), если какую-то часть из строк не скопировать UI не поднимется

в реальной базе все намного сложнее и фиксить несуществующие проблемы из-за некорректного набора данных - мартышкиин труд


Ответить | Правка | Наверх | Cообщить модератору

63. "Вышел Datanymizer, анонимайзер чувствительных данных"  +/
Сообщение от пох. (?), 12-Фев-21, 18:35 
> каким образом решается какие строки из таблицы должны попасть в тестовый набор?

Да хоть просто delete from table where rowid % 10 <> 0
Если нет никаких оснований предполагать, что каждая десятая строчка какая-то волшебная. У нас нет, все одинаковые. Опять же это довольно легко проверить (если всплывет особое колдунство - кто-то получит кнута).

> как насчет таблиц локализации (просто пример), если какую-то часть из строк не скопировать UI
> не поднимется

понимется, просто только на арабском. Ну добавишь себе в методичку - эту таблицу не трогать. Чего ты вообще в нее полез?

В реальной базе все, наоборот, гораздо проще - есть две-три таблицы внутри инстанса, которые являются "главными". И которые, вместе со своими связанными таблицами, содержат 99.9% данных - на фоне десятка гигабайт имен-фамилий-телефонов клиентов, конечно же, очень нам нужна твоя таблица локализации.

Если что - эти данные из нее еще и удаляются иногда, вполне себе штатным порядком - мы не пейсбук, мы реально удаляем, если клиент расторг договор.

Ответить | Правка | Наверх | Cообщить модератору

65. "Вышел Datanymizer, анонимайзер чувствительных данных"  +/
Сообщение от kissmyass (?), 12-Фев-21, 20:19 
>[оверквотинг удален]
>> не поднимется
> понимется, просто только на арабском. Ну добавишь себе в методичку - эту
> таблицу не трогать. Чего ты вообще в нее полез?
> В реальной базе все, наоборот, гораздо проще - есть две-три таблицы внутри
> инстанса, которые являются "главными". И которые, вместе со своими связанными таблицами,
> содержат 99.9% данных - на фоне десятка гигабайт имен-фамилий-телефонов клиентов, конечно
> же, очень нам нужна твоя таблица локализации.
> Если что - эти данные из нее еще и удаляются иногда, вполне
> себе штатным порядком - мы не пейсбук, мы реально удаляем, если
> клиент расторг договор.

то что это работает для какой-то конкретной базы, вовсе не означает, что это рабочее универсальное решение,

в общем я в корне не согласен ))

Ответить | Правка | Наверх | Cообщить модератору

66. "Вышел Datanymizer, анонимайзер чувствительных данных"  –1 +/
Сообщение от пох. (?), 12-Фев-21, 20:31 
это работает для любой реляционной базы, если, конечно, ее используют по назначению, и приведя хоть приблизительно к нормальной форме.

Опишите задачу, где нельзя выделить основную таблицу и удалить из нее рандомно (хотя бы даже и по сложному критерию) - и которая при этом все еще реляционная БД.

У любителей nosql, вероятно, впрямь масса сложностей. Так им и надо!

Ответить | Правка | Наверх | Cообщить модератору

67. "Вышел Datanymizer, анонимайзер чувствительных данных"  –1 +/
Сообщение от СеменСеменыч777 (?), 12-Фев-21, 23:11 
> ты не сможешь вытащить 10% и получить конситентный набор данных

у вас там точно реляционная БД в третьей НФ ?

Ответить | Правка | К родителю #58 | Наверх | Cообщить модератору

11. "Вышел Datanymizer, анонимайзер чувствительных данных"  +1 +/
Сообщение от Иваня (?), 10-Фев-21, 10:17 
> написан на расте

Здрасьте и тут раст, а говорили, что никто и ничего не пишет на расте, ну разве что Hello World'ы.

Ответить | Правка | Наверх | Cообщить модератору

28. "Вышел Datanymizer, анонимайзер чувствительных данных"  +2 +/
Сообщение от Аноним (26), 10-Фев-21, 11:45 
Так это анонимайзер Hello World.
Ответить | Правка | Наверх | Cообщить модератору

64. "Вышел Datanymizer, анонимайзер чувствительных данных"  +/
Сообщение от пох. (?), 12-Фев-21, 18:36 
Врали, все пишут. Говорили что никто еще не дописал ничего круче хеловрота - ну так да, это таки он и есть.
Ответить | Правка | К родителю #11 | Наверх | Cообщить модератору

13. "Вышел Datanymizer, анонимайзер чувствительных данных"  +1 +/
Сообщение от КО (?), 10-Фев-21, 10:21 
Я как будто рекламу прочитал...
Да не, быть такого не может.
Ответить | Правка | Наверх | Cообщить модератору

29. "Вышел Datanymizer, анонимайзер чувствительных данных"  +2 +/
Сообщение от Аноним (-), 10-Фев-21, 11:50 
А, это эти

> curl -sSfL https://git.io/pg_datanymizer | sh -s

весну чуют

Ответить | Правка | Наверх | Cообщить модератору

46. "Вышел Datanymizer, анонимайзер чувствительных данных"  –1 +/
Сообщение от Дворец Путинаemail (?), 10-Фев-21, 18:55 
Опять мамкины смузихлёбы нахлебались смузи и давай писать на хрусте анонимайзеры и линтеры для своих hello world проектов
Ответить | Правка | Наверх | Cообщить модератору

47. "Вышел Datanymizer, анонимайзер чувствительных данных"  +/
Сообщение от Объясни нормальноemail (?), 10-Фев-21, 19:24 
Походу когда нормальную работу не доверяют, появляются такие пэт-прожэкты. Перед пацанами не стыдно?
Ответить | Правка | Наверх | Cообщить модератору

49. "Вышел Datanymizer, анонимайзер чувствительных данных"  +/
Сообщение от Дворец Путинаemail (?), 10-Фев-21, 19:45 
Видимо не стыдно. Они не побоялись добавить эти же статьи на православный лор:
https://www.linux.org.ru/news/opensource/16130747
https://www.linux.org.ru/news/opensource/16152251

Куда катится мир...

Ответить | Правка | Наверх | Cообщить модератору

48. "Вышел Datanymizer, анонимайзер чувствительных данных"  +/
Сообщение от Ананас (?), 10-Фев-21, 19:31 
Странно что для запуска еще не надо systemd.
Ответить | Правка | Наверх | Cообщить модератору

52. "Вышел Datanymizer, анонимайзер чувствительных данных"  +1 +/
Сообщение от Онаним (?), 10-Фев-21, 22:53 
Чем бы дитя не тешилось, лишь бы запросы в БД не писало.
Ответить | Правка | Наверх | Cообщить модератору

53. "Вышел Datanymizer, анонимайзер чувствительных данных"  +1 +/
Сообщение от Онаним (?), 10-Фев-21, 22:54 
// ни

В принципе оба проекта одинаковой полезности - выкрасить и выбросить.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2021 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру