The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Релиз системы фильтрации спама Rspamd 1.4, opennews (??), 22-Ноя-16, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


12. "Релиз системы фильтрации спама Rspamd 1.4"  +/
Сообщение от vstakhovemail (ok), 22-Ноя-16, 18:51 
В редисе можно. Поддержки mysql нет и не планируется.
Ответить | Правка | Наверх | Cообщить модератору

16. "Релиз системы фильтрации спама Rspamd 1.4"  +/
Сообщение от Аноним (-), 22-Ноя-16, 19:05 
просто для понимания: в спамасс-не и том же амависе можно ВСЕ базы баесов, репутаций, скоров, правил погрузить в мускул и кое-что в редис. в амависе можно почти весь конфиг погрузить в мускул и лдап и заставить также спамасс-н брать все из мускула. это позволяет масштабировать нагрузку особо не парясь, что перл очень медленный по сравнению с чем-то там. У вас написано, что кое-что что-то там кладем в редис, но далеко не все ?
Ответить | Правка | Наверх | Cообщить модератору

17. "Релиз системы фильтрации спама Rspamd 1.4"  +1 +/
Сообщение от vstakhovemail (ok), 22-Ноя-16, 19:31 
> просто для понимания: в спамасс-не и том же амависе можно ВСЕ базы
> баесов, репутаций, скоров, правил погрузить в мускул и кое-что в редис.
> в амависе можно почти весь конфиг погрузить в мускул и лдап
> и заставить также спамасс-н брать все из мускула. это позволяет масштабировать
> нагрузку особо не парясь, что перл очень медленный по сравнению с
> чем-то там. У вас написано, что кое-что что-то там кладем в
> редис, но далеко не все ?

Просто для понимания: часть моих пользователей сканируют около сотни миллионов писем в сутки на кластере из десятков машин. И весь Rspamd писался ровно для таких конфигураций. Поэтому в Redis хранится ровно то, что нужно для таких конфигураций. Поэтому у этого "чего-то" есть вполне рациональное обоснование.

Ответить | Правка | Наверх | Cообщить модератору

19. "Релиз системы фильтрации спама Rspamd 1.4"  +1 +/
Сообщение от vstakhovemail (ok), 22-Ноя-16, 19:46 
Что сейчас есть в редисе:

* Веса для символов и настройки actions
* Статистика (bayes)
* Нечеткие хеши
* Бакеты рейтлимитов
* Токены грейлистинга
* IP репутация и кеш
* Кеш "тяжелых" проверок (antivirus, mx check etc)
* Нейросети (вектора обучения и сами веса)
* Настройки пользователей (индивидуальные правила, лимиты, веса, отключенные правила итп)
* Различные списки

Что не хранится в редисе:

* Конфиги (нет смысла, т.к. есть puppet/ansible/whatever)
* Правила (небезопасно, поэтому правила могут подгружаться только из подписанных json файлов, раздаваемых по http)
* Различные редко изменяемые списки (проще раздавать по http и мониторить)

Надеюсь, я ответил на ваш вопрос.

Ответить | Правка | Наверх | Cообщить модератору

25. "Релиз системы фильтрации спама Rspamd 1.4"  +1 +/
Сообщение от VitalVas (ok), 22-Ноя-16, 22:35 
> Что сейчас есть в редисе:
> * Настройки пользователей (индивидуальные правила, лимиты, веса, отключенные правила итп)

Вот с этого места немного подробней.
Как это можно конфикурить (на лету в том числе)?

Лимиты и отключения фильтров у меня сейчас хранится в sql хранилище - postgresql.
Связки с rspamd пока никакой нет.

Ответить | Правка | Наверх | Cообщить модератору

29. "Релиз системы фильтрации спама Rspamd 1.4"  +/
Сообщение от serh (?), 22-Ноя-16, 22:41 
спасибо.
поддерживается ли редис кластер ?
http://redis.io/topics/cluster-spec
Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

33. "Релиз системы фильтрации спама Rspamd 1.4"  +/
Сообщение от vstakhovemail (ok), 23-Ноя-16, 01:27 
> спасибо.
> поддерживается ли редис кластер ?
> http://redis.io/topics/cluster-spec

Нет, но пока не было случаев, когда это было бы критично. Это же касается и redis sentinel.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру