The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Syslog, ведение логов

   Корень / Администратору / Система / Syslog, ведение логов

----* Аудит системных пользователей (можно через Ansible)   Автор: ilya  [комментарии]
  Очень часто, на новом месте, хочется понимать всю картину (от слова совсем), кто какие ключи, какой пользователь, какой сервер и т.д. Простите за качество, но работает, суть в следующем, скрипт запускается на сервере (python2 без зависимостей), нагло грепает /etc/passwd /etc/shadow и пользовательские authorized_keys. В stdout выдает только тех пользователей у которых присутствует пароль и/или приватный ключ (читай могут войти удалённо):
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение
]
 
----* Настройка ротации логов MongoDB   Автор: linuxquestions.ru  [комментарии]
  По умолчанию MongoDB обычно не имеет настройки ротации логов. Это порой приводит к неприятным последствиям, особенно на арбитрах в реплике. Обычно их устанавливают на разного рода микроинстансы с минимальным количеством свободного места, так как основная задача арбитров следить за прохождением выборов и место под хранение данных им нужно минимальное.
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение
]
 
----* Отправка сообщений Syslog на почту   Автор: Jordan  [комментарии]
  Возникла необходимость рассылать некоторые уведомления из Syslog-a на почту. К сожалению такой функциональности по умолчанию в systlg не было. Порывшись в интернете нашел два способа решения проблемы.
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение
]
 
----* Скрипт генерации статистики для Free-SA   Автор: Linjan  [комментарии]
  Анализатор логов Squid Free-SA (http://free-sa.sourceforge.net/) значительно удобнее и быстрее SARG. Во FreeBSD его можно установить из портов (/usr/ports/www/free-sa/). Настраивается программа достаточно тривиально, достаточно использовать поставляемый в комплекте (после установки порта находится в /usr/local/etc/free-sa/) пример free-sa.conf.sample, поменяв там путь к логам Squid в директиве "log_file".
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение
]
 
----* Борьба с kernel panic в Linux-ядре 2.6.35 и выше   Автор: Аноним  [комментарии]
  Начиная с версии 2.6.35 в Linux-ядре появилась полезная функция "ramoops", позволяющая в случае краха сохранять информационный дамп состояния ядра в памяти для последующего анализа. Данные сохраняются только при мягкой перезагрузке, без очистки прошлого состояния памяти. Вкомпилировать данную функцию в ядро или загружать модулем "ramoops" - без разницы.
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение
]
 
----* Быстрый способ учета трафика на сетевых интерфейсах (доп. ссылка 1)   Автор: Gleb Poljakov  [комментарии]
  Дано: Почтовый сервер на базе Ubuntu 8.10 Четыре сетевых интерфейса
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение
]
 
----* Восстановление программного RAID в Debian Lenny   Автор: dimarem  [комментарии]
  Пришло сообщение, что отказал RAID:
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение
]
 
----* Временное ведение лога всех запросов к MySQL (доп. ссылка 1)   [комментарии]
 
Использование опций конфигурации log-slow-queries и general_log, позволяющих вести полный лог 
медленных или всех запросов, требует перезапуска mysql для включения или выключения ведения логов, 
что неудобно в ситуации, когда нужно проанализировать запросы только в текущий момент.
Для анализа запросов (не через локальный сокет) на лету можно воспользоваться сетевым сниффером.

Перехватываем и записываем срез трафика MySQL в файл:

   tcpdump -i eth0 port 3306 -s 1500 -w tcpdump.out

Выделяем из дампа SQL запросы, используя утилиту tshark из комплекта сниффера
Wireshark (http://www.wireshark.org/):

   tshark -r tcpdump.out -d tcp.port==3306,mysql -T fields -e mysql.query > query_log.out

Удаляем из полученного лога пустые и неинформативные строки:

   cat query_log.out | grep -vE "^(commit.*|autocommit.*|rollback.*|)$" | awk '{print $0 ";"}' > query_log_no_blank.out

Полученный лог удобно анализировать утилитой mysqlsla (http://hackmysql.com/mysqlsla)
 
----* Помещение данных о входящем трафике из ipcad в лог squid (доп. ссылка 1)   Автор: Забудкин Лев Мирославович  [комментарии]
  Чтобы анализаторы логов прокси сервера squid отображали данные о пересылках в обход прокси, например данные по почтовому или ssh трафику, можно сохранить данные о таких пересылках в логе squid.
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение
]
 
----* Быстрй перенос лог-файлов в MySQL   Автор: Alexey Lazarev  [комментарии]
  Наверняка, каждый сталкивался с задачей переноса лог-файлов из текстовых файлов в различные БД. И, наверняка, каждый столкнувшийся начинал писать собственные скрипты под это дело. Причем большинство виденных мной скриптов основывались на построчном чтении/переносе данных. Данный способ, конечно, хорош и имеет право на существование, но, к сожалению не очень быстр.
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение
]
 
----* Логгирование POST-запросов в apache (доп. ссылка 1)   Автор: mahoro  [комментарии]
 
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение
]
 
----* Хранение файлов конфигурации в RCS (доп. ссылка 1)   Автор: mahoro  [комментарии]
  Система управления версиями RCS пригодилась для сохранения резервных копий файлов конфигурации и нескольких Perl модулей, активная разработка которых уже завершена, но мелкие исправления и переделки еще бывают.
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение
]
 
----* Как вести лог блокировок в iptables и ipfw   [комментарии]
  Linux:
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение
]
 
----* Статистика сетевых соединений через syslog и iptables   Автор: umask  [комментарии]
  Часто недовольные пользователи приходят и просят дать им распечатку логов доступа в интернет. Отчасти это позволяет сделать squid, но только при прозрачном проксировании, да и то логи только по http-протоколу.
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение
]
 
----* Использование Sarg для анализа логов ISA 2004 Server   Автор: Жека  [обсудить]
  После долгого копания глюков sarg с ISA 2004 Server logs, были найдены следующие решения:
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение
]
 
----* Как послать в syslog что-нибудь из командной строки   Автор: mazaj  [комментарии]
 
   logger -sp <средство>.<уровень> -t <имя_процесса> "текст"
 
----* Как решить проблему с ведением логов у программ в chroot окружении   [комментарии]
 
Например, в postfix запущенном в chroot, через настройки в master.cf, при перезапуске syslogd 
перестают писаться логи qmgr, тем временем все остальные логи пишутся нормально.

Решение - необходимо создать дополнительный log сокет в chroot окружении:
   FreeBSD: "syslogd -l /var/spool/postfix/dev/log"
   Linux: "syslogd -a /var/spool/postfix/dev/log"
 
----* Почему syslogd в Linux потребляет слишком много процессорного времени.   [обсудить]
 
Для сохранности логов syslogd при записи каждой строки в лог выполняет вызов
fsync() для синхронизации
данных на диск. Например, при интенсивной записи почтовых логов syslog может
съесть половину времени CPU.

Отключить синхронизацию можно добавив "-" перед файлом лога, например:
   mail.*  -/var/log/maillog

При экспорте логов на удаленный сервер, рекомендуется вместо доменного имени хоста использовать IP.
 
----* Как в syslog организовать прохождение логов через программу-фильтр.   Автор: Gennady  [комментарии]
 
Сначала создаем pipe:
  mkfifo /path/to/pipe
Затем в /etc/syslog.conf пишем строчку типа:
  *.info                        |/path/to/pipe
Перезапускаем syslogd:
  kill -1 'cat /var/run/syslogd.pid'
И запускаем свою программу, которая будет читать с пайпа данные. 
 
----* Как организовать сохранение syslog логов на удаленном сервере.   [комментарии]
 
На сервере с которого поытаем логи (/etc/syslog.conf):
   mail.*   /var/log/maillog
   mail.*   @loger.host.ru
На удаленном FreeBSD сервере, принимающем логи syslog должен запускаться без опции -s 
(для некоторых версий нужно указать опцию -r),
удаленные хоcты ограничиваем через "-a ip1 -a ip2", рекомендую прикрыть доступ
к 514 UDP порту пакетным фильтром.
Пример /etc/syslog.conf:
   mail.*   /var/log/maillog_all   # логи со всех серверов
   +@   # +@ - выборка только для локального хоста
   mail.*   /var/log/maillog
   +relay1.host.ru
   mail.*   /var/log/maillog_relay1
   +relay2.host.ru
   mail.*   /var/log/maillog_relay2
   +*       # +* - отмена привязки к хосту
   !popa3d  # далее по логи по масте программы.
   *.*      /var/log/pop3log
 
----* Как пересылать логи с Cisco в syslog   Автор: LS  [комментарии]
 
На Cisco:
    router(config)# logging x.x.x.x
    router(config)# logging source-interface fastethernet 0/0
    router(config)# logging facility local0
В syslog.conf (syslogd нужно запускать с ключем -r):
    local0.* /var/log/cisco.log
 
----* Отправка логов из kubernetes в clickhouse   Автор: Аноним  [комментарии]
  Хочу поделится опытом отправки логов java-приложений, развернутых в kubernetes, в базу clickhouse. Для отправки используем fluent-bit, который настроим на отправку логов по http в формате json_stream.
...
[Слишком большой объем текста. Скрыт. Для просмотра см. продолжение
]
 

 Версия для печати





Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру