The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Twitter открыл код системы выявления аномалий"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Twitter открыл код системы выявления аномалий"  +/
Сообщение от opennews (ok) on 06-Янв-15, 23:42 
Twitter опубликовал (https://blog.twitter.com/2015/introducing-practical-and-robu...) новый открытый проект AnomalyDetection (https://github.com/twitter/AnomalyDetection), представляющий собой пакет на языке R для автоматического выявления аномалий в статистических наборах данных. Поддерживается определение различных типов аномалий: локальные и глобальные отклонения, положительные (например, всплески трафика) и отрицательные (например, снижение числа запросов) изменения. Код опубликован под лицензией GPLv3.

<center><a href="https://g.twimg.com/blog/blog/image/figure_localglobal_anoma... src="https://www.opennet.ru/opennews/pics_base/0_1420571938.png" style="border-style: solid; border-color: #e9ead6; border-width: 15px;max-width:100%;" title="" border=0></a></center>
<center><a href="https://g.twimg.com/blog/blog/image/figure_raw_residual_glob... src="https://www.opennet.ru/opennews/pics_base/0_1420571892.png" style="border-style: solid; border-color: #e9ead6; border-width: 15px;max-width:100%;" title="" border=0></a></center>


Например, пакет позволяет выявить отклонения от нормы в потоке информации, поступающей от системы мониторинга или от различных сенсоров, в том числе можно фиксировать активность, связанную с деятельностью ботов и спамеров, или оценивать изменения параметров работы после перехода на новую версию ПО.  Кроме того, пакет можно использовать для отслеживания заслуживающих внимания изменений метрик в различных областях, связанных с изучением событий в экономике и политике, например, определять события, вызывающие особый резонанс в обсуждениях и прессе.


<center><a href="https://raw.githubusercontent.com/twitter/AnomalyDetection/m... src="https://www.opennet.ru/opennews/pics_base/0_1420571824.png" style="border-style: solid; border-color: #e9ead6; border-width: 15px;max-width:100%;" title="" border=0></a></center>
<center><a href="https://raw.githubusercontent.com/twitter/AnomalyDetection/m... src="https://www.opennet.ru/opennews/pics_base/0_1420571861.png" style="border-style: solid; border-color: #e9ead6; border-width: 15px;max-width:100%;" title="" border=0></a></center>


URL: https://blog.twitter.com/2015/introducing-practical-and-robu...
Новость: https://www.opennet.ru/opennews/art.shtml?num=41405

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


2. "Twitter открыл код системы выявления аномалий"  +1 +/
Сообщение от pavlinux (ok) on 07-Янв-15, 00:25 
Ипать, Твытыр научит нас считать первые и вторые производные!
Да ещё и код открыли, щедрость просто не измерима!
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "Twitter открыл код системы выявления аномалий"  +1 +/
Сообщение от Васисуалий on 07-Янв-15, 00:30 
Градиенты . Скоро под GPLv3 !
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

4. "Twitter открыл код системы выявления аномалий"  +6 +/
Сообщение от irinat (ok) on 07-Янв-15, 00:48 
Ну давай, посчитай производные от шума.
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

5. "Twitter открыл код системы выявления аномалий"  –3 +/
Сообщение от vi (ok) on 07-Янв-15, 01:09 
> Ну давай, посчитай производные от шума.

Какие у шума бывают аномалии?

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

8. "Twitter открыл код системы выявления аномалий"  +5 +/
Сообщение от Аноним (??) on 07-Янв-15, 07:55 
Скачки характеристик спектральной плотности?
Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

9. "Twitter открыл код системы выявления аномалий"  +1 +/
Сообщение от vi (ok) on 07-Янв-15, 09:06 
> Скачки характеристик спектральной плотности?

Вот, мы и посчитаем первую и вторую производную от этих скачков.

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

12. "Twitter открыл код системы выявления аномалий"  +/
Сообщение от Аноним (??) on 07-Янв-15, 11:55 
Слабо посчитать производную от неизвестной функции, азданой набором значений? (не.. конечно можно функцию "условно получить", если знать магию матана, но это гораздо более сложная задача, чем посчитать производную.
Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

15. "Twitter открыл код системы выявления аномалий"  +/
Сообщение от EHLO on 07-Янв-15, 12:17 
> Слабо посчитать производную от неизвестной функции, азданой набором значений? (не.. конечно
> можно функцию "условно получить", если знать магию матана, но это гораздо
> более сложная задача, чем посчитать производную.

(y2 - y1)/(x2 - x1)

Йа бохЪ матана.

Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

16. "Twitter открыл код системы выявления аномалий"  +2 +/
Сообщение от YetAnotherOnanym (ok) on 07-Янв-15, 12:44 
> (y2 - y1)/(x2 - x1)
> Йа бохЪ матана.

А теперь, боженька, начни приближать x2 к x1. Что, результат скачет непредсказуемо при каждой итерации? Да, бывает. МарьВанна тебя предупреждала.

Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

17. "Twitter открыл код системы выявления аномалий"  +/
Сообщение от EHLO on 07-Янв-15, 12:59 
>> (y2 - y1)/(x2 - x1)
>> Йа бохЪ матана.
> А теперь, боженька, начни приближать x2 к x1. Что, результат скачет непредсказуемо
> при каждой итерации? Да, бывает. МарьВанна тебя предупреждала.

Там где скачет, там и будет ономалия. Йа КОъ.
МарьВанна, тебя же на пенсию проводили. Вяжи носки правнукам.

Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

18. "Twitter открыл код системы выявления аномалий"  +1 +/
Сообщение от YetAnotherOnanym (ok) on 07-Янв-15, 13:11 
> Там где скачет, там и будет ономалия. Йа КОъ.

1. Не всегда.
2. Не только.


Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

20. "Twitter открыл код системы выявления аномалий"  +/
Сообщение от EHLO on 07-Янв-15, 13:21 
>> Там где скачет, там и будет ономалия. Йа КОъ.
> 1. Не всегда.
> 2. Не только.

Я принцип гражданину анониму показал. Дальше man 7 matan.

Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

22. "Twitter открыл код системы выявления аномалий"  +1 +/
Сообщение от irinat (ok) on 07-Янв-15, 17:51 
>> Ну давай, посчитай производные от шума.
> Какие у шума бывают аномалии?

Производные хорошо работают только на гладких функциях, а реальные данные почти всегда обильно смазаны шумом. Из-за этого без предварительной регуляризации нет смысла считать производные — после первой же шум забьёт полезный сигнал начисто.

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

27. "Twitter открыл код системы выявления аномалий"  –1 +/
Сообщение от pavlinux (ok) on 08-Янв-15, 02:33 
> Производные хорошо работают только на гладких функциях

Преобразование Фурье, не, не слышал?
(но опять же нах..я, когда полиномами 4-степени быстрее, ну или ваще куб. спалйн)

Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

7. "Twitter открыл код системы выявления аномалий"  +/
Сообщение от Аноним (??) on 07-Янв-15, 04:08 
А что не так?
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

13. "Twitter открыл код системы выявления аномалий"  +2 +/
Сообщение от YetAnotherOnanym (ok) on 07-Янв-15, 12:00 
Товарищ не понимает разницы между "понимать принцип в общих чертах" и "написать рабочий код, применимый для решения практических задач".
Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

24. "Twitter открыл код системы выявления аномалий"  +/
Сообщение от all_glory_to_the_hypnotoad (ok) on 07-Янв-15, 20:16 
да он даже принцип не понимает.
Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

10. "Twitter открыл код системы выявления аномалий"  +1 +/
Сообщение от llolik (ok) on 07-Янв-15, 10:04 
Вроде как, напрашивается вопрос: а от чего производные считать будем? Есть какая-то дифференцируемая функция?
Задача "немного" сложней, чем с первого раза кажется.
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

11. "Twitter открыл код системы выявления аномалий"  +3 +/
Сообщение от Владимир email(??) on 07-Янв-15, 10:27 
Ну, там не вторые производные.
https://github.com/twitter/AnomalyDetection/blob/master/R/de...
основанный на
http://www.itl.nist.gov/div898/handbook/eda/section3/eda35h3...

Грубо говоря, это просто расчет стандартного отклонения по усовершенствованному алгоритму и определения выхода за него.
Построение и вывода аналитически функции по шуму здесь нет, как и дифференцирования её.

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

19. "Twitter открыл код системы выявления аномалий"  –1 +/
Сообщение от EHLO on 07-Янв-15, 13:18 
> Ну, там не вторые производные.
> https://github.com/twitter/AnomalyDetection/blob/master/R/de...
> основанный на
> http://www.itl.nist.gov/div898/handbook/eda/section3/eda35h3...
> Грубо говоря, это просто расчет стандартного отклонения по усовершенствованному алгоритму
> и определения выхода за него.
> Построение и вывода аналитически функции по шуму здесь нет, как и дифференцирования
> её.

То есть это ещё элементарнее.

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

14. "Twitter открыл код системы выявления аномалий"  +/
Сообщение от Аноним (??) on 07-Янв-15, 12:15 
может быть этот код позволяет различать локальные/глобальные экстремумы?
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

23. "Twitter открыл код системы выявления аномалий"  +/
Сообщение от all_glory_to_the_hypnotoad (ok) on 07-Янв-15, 20:14 
> Ипать, Твытыр научит нас считать первые и вторые производные!

думаешь, с твоим уровнем образования и понимания темы эти уроки будут полезными?

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

21. "Twitter открыл код библиотеки для выявления аномалий в набор..."  +/
Сообщение от Программист on 07-Янв-15, 13:24 
Критерии Граббса, Диксона, Титьена-Мура и т.д., что-ли, освоили? Аномалии, блин. А шуму-то подняли.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

25. "Twitter открыл код библиотеки для выявления аномалий в набор..."  +/
Сообщение от онаним on 07-Янв-15, 20:35 
Это конец. :D
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2022 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру