The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Google открыл код библиотеки для конфиденциальной обработки данных

05.09.2019 22:52

Компания Google опубликовала исходные тексты библиотеки "Differential Privacy" с реализацией методов дифференциальной приватности, позволяющих с достаточно высокой точностью выполнять статистические операции над набором данных без возможности идентификации отдельных записей в нём. Код библиотеки написан на языке C++ и открыт под лицензией Apache 2.0.

Анализ с использованием методов дифференциальной приватности даёт возможность организациям производить аналитические выборки из статистических БД, не позволяя разделить данные и выделить из общей информации параметры конкретных лиц. Например, для выявления различий в уходе за больными, исследователям можно предоставить информацию, позволяющую сравнить среднее количество времени пребывания пациентов в больницах, но при этом сохраняющую конфиденциальность пациентов и не допускающую выделения сведений о них.

Предложенная библиотека включает реализацию нескольких алгоритмов для формирования агрегированной статистики на основе наборов числовых данных, включающих конфиденциальные сведения. Для проверки корректности работы алгоритмов предоставляется стохастический пробник. Алгоритмы позволяют выполнять над данными операции суммирования, подсчёта, вычисления средних значений, среднеквадратического отклонения, дисперсии и порядковой статистики, включая определение минимума, максимума и медианы. В состав также входит реализация механизма Лапласа, который может использоваться для вычислений, не охватываемых предопределёнными алгоритмами.

Библиотека использует модульную архитектуру, позволяющую расширять имеющуюся функциональность и добавлять дополнительные механизмы, агрегатные функции и средства управления уровнем конфиденциальности. На базе библиотеки для СУБД PostgreSQL 11 подготовлено расширение с набором анонимных агрегатных функций, использующих методы дифференциальной приватности - ANON_COUNT, ANON_SUM, ANON_AVG, ANON_VAR, ANON_STDDEV и ANON_NTILE.

  1. Главная ссылка к новости (https://developers.googleblog....)
  2. OpenNews: IBM, Google, Microsoft и Intel образовали альянс для развития открытых технологий защиты данных
  3. OpenNews: Компания Google представила инициативу Privacy Sandbox
  4. OpenNews: Google открыл систему для анализа наборов данных без нарушения конфиденциальности
  5. OpenNews: Опубликован Exonum, фреймворк для создания приватных блокчейнов
  6. OpenNews: Анализ утечек конфиденциальных данных через репозитории на GitHub
Лицензия: CC-BY
Тип: Программы
Ключевые слова: google, statistic, privacy
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (41) Ajax | 1 уровень | Линейный | Раскрыть всё | RSS
  • 1.2, Аноним (2), 23:22, 05/09/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +15 +/
    Гугл -- лучший друг приватности. Спасибо товарищу Брину за нашу приватную зрелость!
     
     
  • 2.23, Аноним (-), 13:32, 06/09/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Саказм?
     

  • 1.3, Аноним (3), 00:16, 06/09/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Библиотека, небось, сливает эти данные в гугель. Естественно, всё исключительно конфиденциально и обезличено. Эта мера для удобства пользователей!
     
     
  • 2.6, бублички (?), 01:40, 06/09/2019 [^] [^^] [^^^] [ответить]  
  • –6 +/
    конкретно твои персональные данные эта библиотека ежечасно сливает санитарам. с той лишь целью, чтоб когда ты вдруг в очередной раз под себя сходишь, у них красная лампочка загоралась
     
     
  • 3.28, гугль (?), 16:24, 06/09/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    это обезличенная библиотека. лампочка загорается не красная, а синяя, зеленая, или, к примеру, освещения.
    Или вообще не у санитаров, а у охраны.

    Причем не по одной, а сразу много лампочек, чтобы никто не мог узнать точно, где именно пациент обделался.

     
  • 2.47, Ананис (?), 13:01, 10/09/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Вот всё жду когда мамкины конспирологи таки найдут в исходниках неопровержимые доказательства причастности Брина к секте иллюминатов. Вот только "C++ для чайников" эти конспираторы все никак осилить не могут...
     

  • 1.4, Аноним (4), 00:22, 06/09/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +5 +/
    >Google
    >Privacy

    взаимоисключающие параграфы

     
  • 1.5, daemon (??), 00:24, 06/09/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    эвона как припекло, какой крепенький пиарчик...
     
     
  • 2.14, Andrey Mitrofanov_N0 (??), 08:49, 06/09/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > эвона как припекло, какой крепенький пиарчик...

    .
    .
    .
    Is Google’s surveillance OK because it’s… open? [...] This is openwashing of surveillance capitalism on proprietary GitHub (yes, they too gave the code to Microsoft!).
    http://techrights.org/2019/09/05/open-surveillance/

     

  • 1.11, Грусть (?), 08:03, 06/09/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Для чайников - что это? Примеси к данным, которые меняют индивидуальные данные, но не меняют статистику?
     
     
  • 2.12, Andrey Mitrofanov_N0 (??), 08:36, 06/09/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Для чайников - что это?

    Мозг тебе парят.  Это называется "пиар".

    > но не меняют статистику?

    Ты в современный новояз-то подтянись, а то прямс как не отсюда.

    *Privacy*: a GUI slider that gives user an illusion of discreetness
    http://techrights.org/2019/08/18/microsoft-truths/

    *ISP*: surveillance company that give bandwidth in exchange for your personal data (deeply-inspected packets)
    *Data mining*: interpretation of personal secrets and mental thoughts/beliefs based on publicly-stated information
    *Data portability*: facility for passing (copying) data from one surveillance datacentre to another, or from one spying company to another

    http://techrights.org/2019/08/18/day-and-age-of-1984/

    *Cloud*: server you don’t control or own
    *Smart*: surveillance
    *Big Data*: surveillance using “cloud” (see above)
    *Privacy*: GUI controls to give people a perception of control over data
    http://techrights.org/2019/08/13/2019-tech-glossary/

    Poke around…
    More openwashing by Google.
    It’s surveillance you can ‘tinker’ with…
    http://techrights.org/2019/09/05/open-surveillance/

    /*Summary*: We’re supposed to be feeling joyous and victorious because — good news, everybody! — even all the technology giants are nowadays claiming to have ‘opened up’/
    http://techrights.org/2019/09/01/monopoly-is-open/

     
  • 2.16, Crazy Alex (ok), 10:56, 06/09/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Примерно да. Конфиденциальные вычисления - это вообще занятная область.
     
     
  • 3.31, user (??), 17:04, 06/09/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Теоретически - да, занятная область. Но на практике ты им сливаешь информацию и дальше "мамой клянусь". У них обязанность (под угрозой тюрьмы) заботиться о прибыльности рекламного бизнеса, со всеми вытекающими.
     
     
  • 4.42, Crazy Alex (ok), 12:17, 07/09/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Вообще-то в том и суть, что не сливаешь, и оно trustless. Или боитесь, что они злобно добавили бэкдоры в математику? Ну так вот открытый код, и проверять он будет - сфера такая.
     

  • 1.13, Аноним (13), 08:41, 06/09/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Что мёртвому припарка. Для работы библиотеки ей требуется доступ к полным данным. Она лишь результат загрубляет.


    Выгода этой библиотеки - для Гугла. Гугл может продавать статистику по своим дейтасетам по запросу, лимитировав утечку данных. Такой этически допустимый (потому что дейтасет не покидает серверов гугла) DRM для дейтасетов. dataset-as-service.

    > This project uses bazel for building and dependency resolution

    сразу ффтoпкy. достали они уже всех своим базелем. Самая похабная система сборки, работающая по принципу самодостаточного контейнера, стартующая серверные процессы, поставляемая со своей java-машиной, а самое главное - пересобирающая всё дерево зависимостей. Если гуглу бабло не куда девать, кроме как на покупку железа, строительство дейтацентров для него и обогрев атмосферы, то многим домашним пользователям, которые не могут для сборки накупить машин, это неприемлимо. Видимо гугл так их подталкивает перенести сборку в облака и платить за них, авось гуглу и перепадёт.

     
     
  • 2.17, Crazy Alex (ok), 11:00, 06/09/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Видимо гугл открыл то, что у него было и что он писал под себя. Выяснять, удобно ли это использовать "домашнему пользователю", полагаю, им и в голову не приходило - и правильно, не их это задача. Собственно у "домашних пользователей" я как-то и задачи не могу придумать для этой штуки.

    Ну и классический пример использования тоже приведён - больница, данные пациентов (которые крайне жёстко охраняются, по крайней мере на Западе) и необходимость исследования статистики по ним.

     
     
  • 3.18, пох. (?), 11:40, 06/09/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Видимо гугл открыл то, что у него было и что он писал под себя.

    а вот например патчи ext4 - не открыл, да.

    "на тебе, Боже, что нахрен не гоже!"

    > Ну и классический пример использования тоже приведён - больница, данные пациентов
    > (которые крайне жёстко охраняются, по крайней мере на Западе) и необходимость исследования
    > статистики по ним.

    необходимость ли?

    Или неистовое жжение у дЭффехтивных?

     
     
  • 4.20, анонн (ok), 12:54, 06/09/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >> Видимо гугл открыл то, что у него было и что он писал под себя.
    > а вот например патчи ext4 - не открыл, да.

    Так все в порядке - GPLv2 это позволяет.
    Это ведь не проприетарно-подстилочная лицензия BSD, с которой гугл мог бы просто зажать код!

     
     
  • 5.22, пох. (?), 13:22, 06/09/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    хм, а какая лицензия этого не позволяет - просто написать свой кусок кода и никому его не показывать и бинарников тоже не давать? ;-)

    Главное ж - верить!
    "вот был бы линух гепеле3 - вот бы гугель-то немедлянно поделился!"

     
     
  • 6.37, Аноним (37), 19:58, 06/09/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >хм, а какая лицензия этого не позволяет - просто написать свой кусок кода и никому его не показывать и бинарников тоже не давать? ;-)

    AGPL: https://opensource.google.com/docs/using/agpl-policy/

     
  • 5.35, iPahcae6 (?), 19:24, 06/09/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    И, что самое главное, действительно позволяет.
    Ты обязан предоставить по первому требованию исходники которые правил только тем кто легально получил у тебя бинарники собранные из этих исходников, а до той поры пока ты используешь продукт только сам ты никому не обязан предоставлять изменения.
    А BSD позволяет и тех кто легально получил от тебя бинарники показать путь на мужской половой орган.
    В этом разница.
     
     
  • 6.38, анонн (ok), 20:22, 06/09/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > И, что самое главное, действительно позволяет.

    А тож я не знал! Спасибо за тонкий намек^W^W великодушное признание отсутствия лжи в моих заявлениях ...

    > Ты обязан предоставить по первому требованию исходники которые правил только тем кто легально получил у тебя бинарники собранные из этих исходников,

    Срок требования, правда, можно растянуть - от 6 лет "вот-вот уже почти скоро!" как в Тесле и до "После твоего возвласения из песего элотического похода, демон бледнолисый!" многих китайских производителей.

    > В этом разница.

    В современных реалиях облачных сервисов особой разницы нет: Амазон, Гугл, Азур, Оракля/ЕБИЭМ Клауды могут спокойно делать миллиарды, иногда милостиво бросая крошки со своего стола.
    Все, что не под AGPL - "подарок" добрым дядям из корпораций.

    А выше был обычный пятничный подкол обычных двойных стандартов местных пятничных лап4атых )))

     
  • 4.29, Аноним (29), 16:48, 06/09/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > а вот например патчи ext4 - не открыл, да.

    А что за патчи?

     
  • 4.43, Crazy Alex (ok), 12:23, 07/09/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Не "на тебе, Боже", а в рамках https://www.opennet.ru/opennews/art.shtml?num=51345 насколько я понимаю.

    Конечно необходимость. Есть тонна разнообразных лонгитюдных исследований, которые подобное используют.

     
  • 3.24, Аноним (24), 13:54, 06/09/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Больница - неудачный пример. differential privacy модели при адекватном privacy budget имеют отвратительное качество. В здравоохранении некачественность модели = смерти. Поэтому пациенты согласятся отдать данные в обмен на шансы выжить.
     
     
  • 4.44, Crazy Alex (ok), 12:27, 07/09/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Нормальный пример. Для широкомасштабных исследований (вида "люди, собирающие марки, болеют хреномой на Х% реже тех, кто марки не собирает"), например. Никаких немедленных плюшек для пациентов это не сулит, а получать приватные данные с десятков-сотен тысяч немного замучаешься.
     
  • 3.32, user (??), 17:09, 06/09/2019 [^] [^^] [^^^] [ответить]  
  • +/
    >гугл открыл то, что у него было и что он писал под себя

    Модный пример - Go с автоскачиванием всего. На кой это остальным - загадка.

     

  • 1.15, Аноним (15), 09:50, 06/09/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +5 +/
    Описываются функции для обработки наборов данных, а причем тут приватность, ANON_ в названиях функций и прочее? Нет, может там действительно какой-то ограниченный интерфейс, не позволяющий работать с отдельными элементами из набора данных, но набор-то данных я должен предоставить библиотеке, соответственно данные где-то в памяти будут храниться.

    В последнее время очень много маркетинга в программировании. Раст - безопасный язык, конфиденциальные функции для обработки данных, мы уважаем вашу приватность, поэтому прочитайте килотонну текста и натыкайте миллиард галочек в разных потайных местах, чтобы снизить поток утекающих данных на 10%. Вы владеете вашими данными, и мы уважаем это! Поэтому нажмите кнопку о согласии передачи владения ваших данных нам, чтобы мы тоже ими владели, продолжая уважать вашу приватность и конфеденциальность

     
     
  • 2.21, Аноним84701 (ok), 13:05, 06/09/2019 [^] [^^] [^^^] [ответить]  
  • +/
    > В последнее время очень много маркетинга в программировании. Раст - безопасный язык,

    "Последнее время" началось еще лет 20 назад, с выходом Java ;)
    Да и .NET тоже довольно активно пиарился, а вот рекламу Ржавчины в кино, по телеящику, журналах, плакатах, как и оплачиваемые Мозиллой конференции по Ржавчине я, наверное, пропустил.

     
  • 2.33, user (??), 17:20, 06/09/2019 [^] [^^] [^^^] [ответить]  
  • +/
    >В последнее время очень много маркетинга в программировании

    Да, ты начитался какой-то макулатуры.

    >Раст - безопасный язык, конфиденциальные функции для обработки данных

    Он не в этом смысле безопасный, он про типизацию и утечки памяти.

    >натыкайте миллиард галочек в разных потайных местах, чтобы снизить поток утекающих данных на 10%

    Диагноз подтвердился. По такой логике можно обвинить любого производителя кухонных ножей в убийствах. Судя по Британии, такие пациенты уже проникли во власть.

     
  • 2.40, Аноним (-), 02:44, 07/09/2019 [^] [^^] [^^^] [ответить]  
  • –3 +/
    >Раст - безопасный язык

    Хорошую вещь коррозией не назовут. :D Но, как говорится, в каждой шутке есть доля шутки. Если серьезно, то подобное название говорит о том, что сами разработчики относятся к своему творению с изрядной долей пренебрежения. А если сами разработчики свою разработку не любят, то остальным она и подавно нужна особо не будет. А продвигать как то надо. Вот маркетологи и стараются.

     

  • 1.19, IdeaFix (ok), 12:41, 06/09/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Регулярно от старших товарищей прилетает просьба "А отдайте ваши логи". Что-то они там анализируют и наверное дальше передают. Логи - продукт жизнедеятельности веб-сервера/прокси, который сам отдельно хранит данные сессиях и об юзерской активности (умные люди писали, знали что будут логи требовать), а тут еще один вариант, если я верно понял прочитав новость по диагонали.
     
     
  • 2.25, Аноним (24), 13:58, 06/09/2019 [^] [^^] [^^^] [ответить]  
  • +/
    >Регулярно от старших товарищей прилетает просьба "А отдайте ваши логи".

    А что у вас за сайт такой, что им регулярно интересуются те "товарищи", кто нам - не товарищи?

    >просьба

    Просьба подразумевает возможность отказа ....

     
     
  • 3.26, товарищ (?), 14:31, 06/09/2019 [^] [^^] [^^^] [ответить]  
  • +/
    > Просьба подразумевает возможность отказа ....

    подразумевает. Откажешься вступать в колхоз - нам не жалко. За деревней шлепнем, там и до кладбища волочь недалеко.

    от девяти-то грамм свинца республика не обеднеет?

     
     
  • 4.39, Онаним (?), 21:25, 06/09/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Не совсем понятно только, зачем в условиях такого счастья работать. Рабочих мест для квалифицированных, что-ли, мало в мире?
     
  • 3.41, IdeaFix (ok), 06:39, 07/09/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Госконтора... просят и свои старшие товарищи и министерские. И не смотря на в общем гражданскую направленность конторы (внимание, сейчас будет спойлер) проректор по общим вопросам и режиму у нас в чине полковника ФСБ :)

    Логи нужны им для вполне понятных целей - нужно понимать активность разных подразделений в потреблении профильного контента (гуглить ezproxy) ну и ловить утёкшие налево учетки, т.к. продавцы контента не любят, когда кто-то начинает работать на scihub.

    Отказать сложно, но можно отдать не логи, а уже посчитать и свести таблички так, как им надо, но в целом идея обезличивания логов интересна.

     

  • 1.27, manster (ok), 16:00, 06/09/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    закрытый код и конфиденциальная обработка данных - оксюморон какой-то
     
  • 1.30, user90 (?), 16:49, 06/09/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Чушь кокая-то! Особенно на фоне отрывочных новостей о Fuchsia.
     
  • 1.45, Аноним (-), 17:14, 07/09/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >Google открыл код библиотеки для конфиденциальной обработки данных

    "Google" и "конфиденциальность" - эти 2 слова по смыслу  несовместимы!

     
     
  • 2.46, Andrey Mitrofanov_N0 (??), 13:03, 08/09/2019 [^] [^^] [^^^] [ответить]  
  • +/
    >>Google открыл код библиотеки для конфиденциальной обработки данных
    > "Google" и "конфиденциальность" - эти 2 слова по смыслу  несовместимы!

    Гугль контролирует почту, поиск, интернет... и новояз!  Вы будете ассимилированы.  ><...<>

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Слёрм
    Inferno Solutions
    Hosting by Ihor
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2019 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру