The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

PostgreSQL Anonymizer 0.6, расширение для анонимизации данных в СУБД

10.03.2020 08:47

Доступен новый выпуск проекта PostgreSQL Anonymizer, предоставляющего дополнение к СУБД PostgreSQL, решающее задачу скрытия или замены конфеденциальных данных или сведений, представляющих коммерческую тайну. Данные могут скрываться на лету на основе специально определённых правил и списков пользователей, ответы на запросы которых необходимо анонимизировать. Код распространяется под лицензией PostgreSQL.

Например, при помощи рассматриваемого дополнения можно предоставить доступ к БД третьим лицам, например, сторонним сервисам бизнес-аналитики, автоматически вырезая для них такие данные, как номера телефонов и кредитных карт, или применяя более изощрённые методы, такие как подмена имён клиентов и компаний на фиктивную информацию. Кроме выполнения анонимизации при прямом подсоединении к СУБД предусмотрен режим создания анонимизированых SQL-дампов (предложена утилита pg_dump_anon).

PostgreSQL Anonymizer расширяет PostgreSQL DDL (Data Definition Language) и позволяет задавать стратегию анонимизации на уровне схемы, определяющей структуру таблицы. Предоставляется большой набор функций для обработки данных, подлежащих замене: рандомизация, замена на фиктивные значения, частичное скремблирование, перетасовка, зашумление и т.п. В новой версии добавлены функции для выявления идентификаторов, а также появился режим псевдонимизации, позволяющий генерировать привязываемые к исходным данным реалистичные фиктивные значения.

Дополнительно можно отметить развиваемую компанией Microsoft открытую платформу для выявления утечек конфиденциальной информации Presidio. Платформа позволяет выявлять или удалять в документах, тексте и изображениях информацию, содержащую персональные и конфиденциальные данные, такие как ФИО, номера телефонов, email, номера кредитных карт, криптокошельки, адреса, номера паспортов, финансовые данные и т.п. Поддерживается обработка различных хранилищ (от Amazon S3 до PostgreSQL) и форматов. Код написан на языке Go (есть вариант на Python) и распространяется под лицензией MIT.



  1. Главная ссылка к новости (https://www.postgresql.org/abo...)
  2. OpenNews: Google открыл код библиотеки для конфиденциальной обработки данных
  3. OpenNews: Google открыл систему для анализа наборов данных без нарушения конфиденциальности
  4. OpenNews: Анализ утечек конфиденциальных данных через репозитории на GitHub
  5. OpenNews: Проект по интеграции поддержки Tor в Firefox
  6. OpenNews: DoS-атаки для снижения производительности сети Tor
Лицензия: CC-BY
Тип: Программы
Короткая ссылка: https://opennet.ru/52512-anonymizer
Ключевые слова: anonymizer, privacy, postgresql
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (19) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, YetAnotherOnanym (ok), 10:07, 10/03/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +9 +/
    Картинка напомнила анекдот про девушку, которая в фотошопе наложила чёрные квадратики на своей фотке беструсофф и отправила её знакомому в формате psd.
     
  • 1.2, Аноним (2), 10:56, 10/03/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    Ну действительно, единственное применение видимо найдётся разве что у поклонников scp foundation. Так-то все наоборот пытаются как можно больше достоверной инфы о пользователях наворовать.
     
     
  • 2.3, Аноним (3), 11:17, 10/03/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Вот-вот. Пытаются надыбать как можно больше и продать. Для этого и система - чтобы выложить ненужные данные, затерев те, которыми можно торговать, в открытый доступ на торренты или ipfs, чтобы не забивать свои диски ими, вместо этого забив ими диски начинающих дейта-саентистов.
     
     
  • 3.5, Аноним (2), 11:26, 10/03/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Оставив себе только реальные данные? Осталось придумать, как потом выкачивать раздробленные куски с исчезающих нод. С торрентов данные достаточно быстро исчезают на самом деле, несмотря на десятки тысяч скачавших. С данными ещё хуже обычно.
     

  • 1.4, Джонни Дырявый (?), 11:19, 10/03/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Большой брат не дремлет...
     
     
  • 2.18, А (??), 01:39, 13/03/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Скорее - мелкое жульё.

    В банках тема актуальная. тестироваться на актуальных базах. Но - аноним чтобы.

     

  • 1.6, Аноним (6), 12:03, 10/03/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    В госсекторе сейчас такое очень популярно.
    ФСБ, ФСТЭК, персданные, фэзэ такой-то, фэзэ сякой-то.
    Лишь бы не дай бох реально полезной работой не заниматься.
     
     
  • 2.8, работа.ру (?), 16:28, 10/03/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Какой например?
     
     
  • 3.9, Аноним (9), 16:36, 10/03/2020 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Комментарии на opennet писать!
     
     
  • 4.10, Аноним (10), 18:06, 10/03/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Польза не в комментариях, а в комментариях на комментарии.
     
  • 2.11, letsmac (ok), 20:52, 10/03/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Какой госсектор? Для 1С тру и давно ждали.
     
     
  • 3.14, пох. (?), 07:01, 11/03/2020 [^] [^^] [^^^] [ответить]  
  • +/
    прости, а зачем вы давноджвали возможности раздавать содержимое 1сной базы хз кому?

     
     
  • 4.17, letsmac (ok), 12:39, 12/03/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Не хз кому, а подрядчикам. Там есть механизм обезличивания - но он довольно тупой.  
     
     
  • 5.20, Аноним (6), 06:59, 13/03/2020 [^] [^^] [^^^] [ответить]  
  • +/
    отделяйте перс данные от остального массива

    меньше костылей типа сабжа понадобится.

     
  • 2.12, Lex (??), 02:35, 11/03/2020 [^] [^^] [^^^] [ответить]  
  • +4 +/
    По субъективному ощущению - наоборот, маловато как-то к персданным внимания уделяют, в т.ч в плане законотворчества и наказаний за нарушения.
    Мб я хочу зайти на какие-нибудь Госуслуги и обнаружить там вкладку с перечнем всех тех, кому я давал разрешение на обработку персданных с возможностью в пару кликов эти разрешения отозвать, а так же - увидеть, каким конкретно "третьим" лицам мои данные были переданы по цепочке с возможностью отзыва.

    Но, горе бузинесмены всё ноют по поводу притеснений и усложнения жизни из-за контроля персданных и их сохранности.. не можешь их норм хранить - так нечего и лезть за ними.. ИМХО.

     
     
  • 3.13, пох. (?), 06:59, 11/03/2020 [^] [^^] [^^^] [ответить]  
  • –2 +/
    все норм - просто, как обычно, лоху с промытым мозгом никак не удается сообразит... большой текст свёрнут, показать
     
     
  • 4.21, Lex (??), 09:28, 14/03/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Дальше первых пары абзацев этот высер я, пожалуй, даже читать не буду, т.к видно, что это базируется на изначально неверных "аргументах".

    Лох здесь, похоже, только ты, т.к единственный изобличаешь видимых только тебе каких-то майоров( почему именно м., а не прапорщиков, маршалов.. али комбатов каких-нибудь ?:)

    Ну а, в случае с ценами - и вовсе, смешно. Ведь ценообразование в "рыночной" экономике - это максимальное удорожание при использовании любых поводов и оснований для этого.
    В любом случае, тех же операторов потихоньку ставят на место, ну а рост цен.. это то, чего не может не быть в экономике с не_нулевой инфляцией.

     
  • 3.19, Аноним (6), 06:58, 13/03/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    сам поработаешь в конторе которая вынуждена выполнять все эти бессмысленные указивки - поменяешь мнение.

    то что ты полазил на госуслугах и усомнился в кол-ве внимания персданным не показатель ничего.

    деятельность может быть нереально бурная, выхлопа ноль или около того. но за кулисами все уработаются.

    так собственно и происходит

     

  • 1.15, пох. (?), 07:19, 11/03/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    btw, про мсовскую хрень написан какой-то безграмотный бред.
    У нее нет никакого "варианта на пихоне", у нее сам анализатор целиком на пихоне. И вот его - можно поставить отдельно, без игогошной обвески для порчи документов - например, чтоб просто подключать полтора киловольта к стулу менеджера, попытавшегося поделиться с конкурентами.

    К сожалению, там же сказано, что он использует pre-trained model, так что с русскими документами вряд ли получится хорошо.

     
  • 1.16, blzz (?), 16:15, 11/03/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Маскирование данных часто требуется когда подгототавливать стенд или полигон для разработки, в системах когда разрабов много, они меняются в среднем раз в три года каждый,  и "имеют неограниченнй доступ к данным в бд" хотябы на полигонах и стейдже.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Слёрм
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2020 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру