The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Twitter открыл код библиотеки для выявления аномалий в наборах данных

06.01.2015 22:19

Twitter опубликовал новый открытый проект AnomalyDetection, представляющий собой пакет на языке R для автоматического выявления аномалий в статистических наборах данных. Поддерживается определение различных типов аномалий: локальные и глобальные отклонения, положительные (например, всплески трафика) и отрицательные (например, снижение числа запросов) изменения. Код опубликован под лицензией GPLv3.

Например, пакет позволяет выявить отклонения от нормы в потоке информации, поступающей от системы мониторинга или от различных сенсоров, в том числе можно фиксировать активность, связанную с деятельностью ботов и спамеров, или оценивать изменения параметров работы после перехода на новую версию ПО. Кроме того, пакет можно использовать для отслеживания заслуживающих внимания изменений метрик в различных областях, связанных с изучением событий в экономике и политике, например, определять события, вызывающие особый резонанс в обсуждениях и прессе.



  1. Главная ссылка к новости (https://blog.twitter.com/2015/...)
  2. OpenNews: Facebook, Dropbox, GitHub, Google и Twitter создали группу для улучшения открытых проектов
  3. OpenNews: Twitter ввёл в практику патентное соглашение, не допускающее патентных агрессий
  4. OpenNews: Twitter открыл код Typeahead.js, JavaScript-библиотеки для организации автодополнения ввода
  5. OpenNews: Twitter представил новый открытый JavaScript-фреймворк Flight
  6. OpenNews: Twitter открыл код Bower, пакетного менеджера для Web
Лицензия: CC-BY
Тип: Программы
Короткая ссылка: https://opennet.ru/41405-twitter
Ключевые слова: twitter, r
Поддержать дальнейшую публикацию новостей на OpenNET.


Обсуждение (24) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.2, pavlinux (ok), 00:25, 07/01/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Ипать, Твытыр научит нас считать первые и вторые производные!
    Да ещё и код открыли, щедрость просто не измерима!
     
     
  • 2.3, Васисуалий (?), 00:30, 07/01/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Градиенты . Скоро под GPLv3 !
     
  • 2.4, irinat (ok), 00:48, 07/01/2015 [^] [^^] [^^^] [ответить]  
  • +6 +/
    Ну давай, посчитай производные от шума.
     
     
  • 3.5, vi (ok), 01:09, 07/01/2015 [^] [^^] [^^^] [ответить]  
  • –3 +/
    > Ну давай, посчитай производные от шума.

    Какие у шума бывают аномалии?

     
     
  • 4.8, Аноним (-), 07:55, 07/01/2015 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Скачки характеристик спектральной плотности?
     
     
  • 5.9, vi (ok), 09:06, 07/01/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Скачки характеристик спектральной плотности?

    Вот, мы и посчитаем первую и вторую производную от этих скачков.

     
     
  • 6.12, Аноним (-), 11:55, 07/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Слабо посчитать производную от неизвестной функции, азданой набором значений? (не.. конечно можно функцию "условно получить", если знать магию матана, но это гораздо более сложная задача, чем посчитать производную.
     
     
  • 7.15, EHLO (?), 12:17, 07/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > Слабо посчитать производную от неизвестной функции, азданой набором значений? (не.. конечно
    > можно функцию "условно получить", если знать магию матана, но это гораздо
    > более сложная задача, чем посчитать производную.

    (y2 - y1)/(x2 - x1)

    Йа бохЪ матана.

     
     
  • 8.16, YetAnotherOnanym (ok), 12:44, 07/01/2015 [^] [^^] [^^^] [ответить]  
  • +2 +/
    А теперь, боженька, начни приближать x2 к x1 Что, результат скачет непредсказуе... текст свёрнут, показать
     
     
  • 9.17, EHLO (?), 12:59, 07/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Там где скачет, там и будет ономалия Йа КОъ МарьВанна, тебя же на пенсию прово... текст свёрнут, показать
     
     
  • 10.18, YetAnotherOnanym (ok), 13:11, 07/01/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    1 Не всегда 2 Не только ... текст свёрнут, показать
     
     
  • 11.20, EHLO (?), 13:21, 07/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Я принцип гражданину анониму показал Дальше man 7 matan ... текст свёрнут, показать
     
  • 4.22, irinat (ok), 17:51, 07/01/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >> Ну давай, посчитай производные от шума.
    > Какие у шума бывают аномалии?

    Производные хорошо работают только на гладких функциях, а реальные данные почти всегда обильно смазаны шумом. Из-за этого без предварительной регуляризации нет смысла считать производные — после первой же шум забьёт полезный сигнал начисто.

     
     
  • 5.27, pavlinux (ok), 02:33, 08/01/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Производные хорошо работают только на гладких функциях

    Преобразование Фурье, не, не слышал?
    (но опять же нах..я, когда полиномами 4-степени быстрее, ну или ваще куб. спалйн)

     
  • 2.7, Аноним (-), 04:08, 07/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    А что не так?
     
     
  • 3.13, YetAnotherOnanym (ok), 12:00, 07/01/2015 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Товарищ не понимает разницы между "понимать принцип в общих чертах" и "написать рабочий код, применимый для решения практических задач".
     
     
  • 4.24, all_glory_to_the_hypnotoad (ok), 20:16, 07/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    да он даже принцип не понимает.
     
  • 2.10, llolik (ok), 10:04, 07/01/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Вроде как, напрашивается вопрос: а от чего производные считать будем? Есть какая-то дифференцируемая функция?
    Задача "немного" сложней, чем с первого раза кажется.
     
  • 2.11, Владимир (??), 10:27, 07/01/2015 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Ну, там не вторые производные.
    https://github.com/twitter/AnomalyDetection/blob/master/R/detect_anoms.R
    основанный на
    http://www.itl.nist.gov/div898/handbook/eda/section3/eda35h3.htm

    Грубо говоря, это просто расчет стандартного отклонения по усовершенствованному алгоритму и определения выхода за него.
    Построение и вывода аналитически функции по шуму здесь нет, как и дифференцирования её.

     
     
  • 3.19, EHLO (?), 13:18, 07/01/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Ну, там не вторые производные.
    > https://github.com/twitter/AnomalyDetection/blob/master/R/detect_anoms.R
    > основанный на
    > http://www.itl.nist.gov/div898/handbook/eda/section3/eda35h3.htm
    > Грубо говоря, это просто расчет стандартного отклонения по усовершенствованному алгоритму
    > и определения выхода за него.
    > Построение и вывода аналитически функции по шуму здесь нет, как и дифференцирования
    > её.

    То есть это ещё элементарнее.

     
  • 2.14, Аноним (-), 12:15, 07/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    может быть этот код позволяет различать локальные/глобальные экстремумы?
     
  • 2.23, all_glory_to_the_hypnotoad (ok), 20:14, 07/01/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > Ипать, Твытыр научит нас считать первые и вторые производные!

    думаешь, с твоим уровнем образования и понимания темы эти уроки будут полезными?

     

  • 1.21, Программист (?), 13:24, 07/01/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Критерии Граббса, Диксона, Титьена-Мура и т.д., что-ли, освоили? Аномалии, блин. А шуму-то подняли.
     
  • 1.25, онаним (?), 20:35, 07/01/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Это конец. :D
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:
    При перепечатке указание ссылки на opennet.ru обязательно



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2021 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру