The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Линус Торвальдс занял нейтральную позицию в отношении systemd, opennews (??), 18-Сен-14, (0) [смотреть все] +1

Сообщения [Сортировка по времени | RSS]


176. "Линус Торвальдс занял нейтральную позицию в отношении system..."  +/
Сообщение от AlexAT (ok), 18-Сен-14, 23:40 
> бинарные логи

Только для нужд самого systemd. Его же утилитами читаемые. Остальное вы вольны вести, как душе угодно.

Ответить | Правка | К родителю #134 | Наверх | Cообщить модератору

209. "Линус Торвальдс занял нейтральную позицию в отношении system..."  –2 +/
Сообщение от Аноним (-), 19-Сен-14, 00:47 
> Только для нужд самого systemd. Его же утилитами читаемые. Остальное вы вольны
> вести, как душе угодно.

Gzip-нутые логи тоже читаются только соотв. утилитами. Но это не мешает их пайпить дальше.

А вот grep-ать 100500 гигз логов с мало-мальски озадаченной системы когда мне интересно что IP X делал с Y до Z с этой системой - как-то не очень, знаете ли. Потому что читать 100500 гигз для того чтобы выбросить все неподходящие записи как-то очень уж субоптимально. Так что если не только кривляться и выискивать недостатки - у поттеринговых конструкций есть и вполне технически обоснованные плюсы.

Ответить | Правка | Наверх | Cообщить модератору

231. "Линус Торвальдс занял нейтральную позицию в отношении system..."  –1 +/
Сообщение от iCat (ok), 19-Сен-14, 05:28 
> А вот grep-ать 100500 гигз логов с мало-мальски озадаченной системы когда мне
> интересно что IP X делал с Y до Z с этой
> системой - как-то не очень, знаете ли. Потому что читать 100500
> гигз для того чтобы выбросить все неподходящие записи как-то очень уж
> субоптимально. Так что если не только кривляться и выискивать недостатки -
> у поттеринговых конструкций есть и вполне технически обоснованные плюсы.

"Use power GNU and brain, Luke!"
awk, grep, или даже (о, боже!) настроенный сервер протоколирования.
Один только syslog-ng настроить - и получить прекрасно организованное пространство протоколов...

Ответить | Правка | Наверх | Cообщить модератору

237. "Линус Торвальдс занял нейтральную позицию в отношении system..."  +/
Сообщение от AlexAT (ok), 19-Сен-14, 08:35 
> Один только syslog-ng настроить - и получить прекрасно организованное пространство протоколов...

И чем этому мешает systemd?

Ответить | Правка | Наверх | Cообщить модератору

256. "Линус Торвальдс занял нейтральную позицию в отношении system..."  +2 +/
Сообщение от anonymous (??), 19-Сен-14, 09:42 
>> Один только syslog-ng настроить - и получить прекрасно организованное пространство протоколов...
> И чем этому мешает systemd?

Мешает, как минимум, неотключаемый journald, который при этом жрет память, как не в себя. Даже если задачи логирования с него убрать. При наличии большого количества виртуалок накладные расходы на систему с systemd больше, чем без.

Ответить | Правка | Наверх | Cообщить модератору

284. "Линус Торвальдс занял нейтральную позицию в отношении system..."  –1 +/
Сообщение от ноним (ok), 19-Сен-14, 14:54 
>>> Один только syslog-ng настроить - и получить прекрасно организованное пространство протоколов...
>> И чем этому мешает systemd?
> Мешает, как минимум, неотключаемый journald, который при этом жрет память, как не
> в себя. Даже если задачи логирования с него убрать. При наличии
> большого количества виртуалок накладные расходы на систему с systemd больше, чем
> без.

Это где же "не в себя"?


# cat /proc/`pidof systemd-journald`/status
Name:   systemd-journal
State:  S (sleeping)
Tgid:   11130
Ngid:   0
Pid:    11130
PPid:   1
TracerPid:      0
Uid:    0       0       0       0
Gid:    0       0       0       0
FDSize: 64
Groups:
VmPeak:    51236 kB
VmSize:    51232 kB
VmLck:         0 kB
VmPin:         0 kB
VmHWM:      9664 kB
VmRSS:      3608 kB
VmData:     8768 kB
VmStk:       136 kB
VmExe:       224 kB
VmLib:      3000 kB
VmPTE:       104 kB
VmSwap:     2284 kB
Threads:        1
...

И для rsyslog на другой машине под меньшей нагрузкой:


cat /proc/`pidof rsyslogd`/status
Name:   rsyslogd
State:  S (sleeping)
Tgid:   2382
Pid:    2382
PPid:   1
TracerPid:      0
Uid:    0       0       0       0
Gid:    0       0       0       0
Utrace: 0
FDSize: 64
Groups:
envID:  0
VPid:   2382
StopState:      0
VmPeak:   190544 kB
VmSize:   130228 kB
VmLck:         0 kB
VmHWM:     11116 kB
VmRSS:     10556 kB
VmData:   102588 kB
VmStk:       152 kB
VmExe:       348 kB
VmLib:      2436 kB
VmPTE:       108 kB
VmPTD:        28 kB
VmSwap:        0 kB
Threads:        4
...

Ответить | Правка | Наверх | Cообщить модератору

291. "Линус Торвальдс занял нейтральную позицию в отношении system..."  +/
Сообщение от Michael Shigorinemail (ok), 19-Сен-14, 16:51 
> Name:   systemd-journal
> VmSize:    51232 kB
> VmRSS:      3608 kB
> И для rsyslog на другой машине под меньшей нагрузкой:
> Name:   rsyslogd
> VmSize:   130228 kB
> VmRSS:     10556 kB

Сравнили journald с rsyslog, да.  Вот более уместное (x86_64):

grep kB /proc/`pidof syslogd`/status
VmPeak:     6524 kB
VmSize:     6388 kB
VmLck:         0 kB
VmPin:         0 kB
VmHWM:       832 kB
VmRSS:       220 kB
VmData:      208 kB
VmStk:       136 kB
VmExe:        32 kB
VmLib:      1872 kB
VmPTE:        32 kB
VmSwap:        0 kB


Ответить | Правка | Наверх | Cообщить модератору

320. "Линус Торвальдс занял нейтральную позицию в отношении system..."  +/
Сообщение от ноним (ok), 20-Сен-14, 08:29 
>[оверквотинг удален]
> VmLck:         0 kB
> VmPin:         0 kB
> VmHWM:       832 kB
> VmRSS:       220 kB
> VmData:      208 kB
> VmStk:       136 kB
> VmExe:        32 kB
> VmLib:      1872 kB
> VmPTE:        32 kB
> VmSwap:        0 kB

Сравнил с тем, что сейчас используется в основных дистрибутивах по-умолчанию. Да и по фишкам rsyslog далеко впереди.

Ответить | Правка | Наверх | Cообщить модератору

396. "Линус Торвальдс занял нейтральную позицию в отношении system..."  +1 +/
Сообщение от Michael Shigorinemail (ok), 21-Сен-14, 13:49 
> Сравнил с тем, что сейчас используется в основных дистрибутивах по-умолчанию.

Так по умолчанию или есть претензии?

> Да и по фишкам rsyslog далеко впереди.

Ну так с этого и начинать надо было -- "мне впарили куда более крутой rsyslog, но он жрёт много памяти, а вот journald и половины от того не умеет, но жрёт немножко меньше".

Жралку ему, кстати, регулировать можно -- на том хосте, с которого показывали, мог быть включен спулинг в память.

Ответить | Правка | Наверх | Cообщить модератору

285. "Линус Торвальдс занял нейтральную позицию в отношении system..."  –1 +/
Сообщение от ноним (ok), 19-Сен-14, 15:02 
>> А вот grep-ать 100500 гигз логов с мало-мальски озадаченной системы когда мне
>> интересно что IP X делал с Y до Z с этой
>> системой - как-то не очень, знаете ли. Потому что читать 100500
>> гигз для того чтобы выбросить все неподходящие записи как-то очень уж
>> субоптимально. Так что если не только кривляться и выискивать недостатки -
>> у поттеринговых конструкций есть и вполне технически обоснованные плюсы.
> "Use power GNU and brain, Luke!"
> awk, grep, или даже (о, боже!) настроенный сервер протоколирования.
> Один только syslog-ng настроить - и получить прекрасно организованное пространство протоколов...

А подай-те ка сюда awk, grep по всем логам за 5 минут до прошлого ее падения ) Не забудьте еще некоторые .gz и что кое-кто пишет unix-time, кто-то в UTC, а что и в localtime.

Ответить | Правка | К родителю #231 | Наверх | Cообщить модератору

292. "Линус Торвальдс занял нейтральную позицию в отношении system..."  +/
Сообщение от Michael Shigorinemail (ok), 19-Сен-14, 16:59 
> А подай-те ка сюда awk, grep по всем логам за 5 минут
> до прошлого ее падения ) Не забудьте еще некоторые .gz и
> что кое-кто пишет unix-time, кто-то в UTC, а что и в localtime.

Когда "кое-кто" пишет сам мимо сислога, то он и будет писать сам -- неужели это непонятно?

А когда начинаются хотелки "по всем логам", "по всем хостам" -- то всё равно судьба не наколенные затычки вроде journald брать, а любой эмиттер присобачивать к коллектору (если кому оно надо, есть тут заметки на манжетах на эту тему).  От эмиттера требуется уметь принять и передать данные (возможно, по RFC3195 или там 5424), не покалечив по дороге.

Ответить | Правка | Наверх | Cообщить модератору

322. "Линус Торвальдс занял нейтральную позицию в отношении system..."  –1 +/
Сообщение от ноним (ok), 20-Сен-14, 08:31 
>[оверквотинг удален]
>> до прошлого ее падения ) Не забудьте еще некоторые .gz и
>> что кое-кто пишет unix-time, кто-то в UTC, а что и в localtime.
> Когда "кое-кто" пишет сам мимо сислога, то он и будет писать сам
> -- неужели это непонятно?
> А когда начинаются хотелки "по всем логам", "по всем хостам" -- то
> всё равно судьба не наколенные затычки вроде journald брать, а любой
> эмиттер присобачивать к коллектору (если кому оно надо, есть тут заметки
> на манжетах на эту тему).  От эмиттера требуется уметь принять
> и передать данные (возможно, по RFC3195 или там 5424), не покалечив
> по дороге.

Значит снова проехали...

Ответить | Правка | Наверх | Cообщить модератору

351. "Линус Торвальдс занял нейтральную позицию в отношении system..."  –1 +/
Сообщение от Аноним (-), 20-Сен-14, 16:33 
> awk, grep,

Да, только там индексов нет. Поэтому все 100500 гигабайтов будет ЦЕЛИКОМ читаться с диска на любой запрос, невозбранно насилуя диски чтением 100500 гигз хотя меня по факту интересовал десяток строк. Просто никакого метода выцепить именно их кроме как прочесть все и отбросить лишнее в этом методе как-то и не предполагается.

Спасибо, но с точки зрения производительности я предпочту пайпить в греп и прочих нечто префильтрованное чем-то с индексами по потенциально интересным мне критериям. Так работать будет намного быстрее.

> или даже (о, боже!) настроенный сервер протоколирования.

А я вот как-то считаю что системы должны быть более-менее самодостаточны и поэтому нормальные средства для работы с логами хотелось бы видеть и без добавочных серверов.

> Один только syslog-ng настроить

Ну вот это автотазовское "болтики подкрутить, напильничком подпилить" меня несколько подутомило. Я как-то так считаю что нормаьный логгер с индексацией - хотелось бы видеть в большинстве систем сразу. А не после отдельных приседаний. Такой вот я нехороший.

Ответить | Правка | К родителю #231 | Наверх | Cообщить модератору

359. "Линус Торвальдс занял нейтральную позицию в отношении system..."  +/
Сообщение от psv (??), 20-Сен-14, 17:01 
Ерундой не болтайте. Есть ротация логов и посик идет в четко определенных частях лога. Ваш "индекс" _ничем_ не отличается (кроме опять сказок о производительности с падением в ноль суммарной полезности от такого сомнительлного нововведения как постоянная индексация чего то что может и не понадобиться в 99.99% случаев)
Ответить | Правка | Наверх | Cообщить модератору

446. "Линус Торвальдс занял нейтральную позицию в отношении system..."  +/
Сообщение от Аноним (-), 25-Сен-14, 19:04 
> Ерундой не болтайте. Есть ротация логов и посик идет в четко определенных частях лога.

Даже ротированная часть логов может быть довольно большой. К тому же это при поиске придется отдельно костылять, ибо сам по себе греп вообще ничего не знает про ротацию.

К тому же если задача немного меняется и например "а что айпи такой-то делал у нас тут с начала времен до сегодняшнего дня" - вы таки будете ВСЕ логи грепать, отбрасывая 99.9(9)% записей? :)

> Ваш "индекс" _ничем_ не отличается (кроме опять сказок о
> производительности

Ну да, индексы придумали лохи. Бинарные деревья и хэштаблицы тоже, наверное. Ведь можно же линейно массивы перебирать!

> с падением в ноль суммарной полезности от такого сомнительлного нововведения

Вы как-то многовато на себя берете, расписываясь за всех и все юзкейсы.

> в 99.99% случаев)

Как эти 99.99% случаев померяны? Могу сказать что один из, кажется, амдшных разработчиков сказал что ему например унифицированный лог, нечто типа того что systemd продвигает - был бы просто подарком. Т.к. просить юзера выколупать пять текстовиков из разных закоулков системы для диагностики бага - полный кластерфак. Так то.

Ответить | Правка | Наверх | Cообщить модератору

385. "Линус Торвальдс занял нейтральную позицию в отношении system..."  +/
Сообщение от vi (ok), 20-Сен-14, 23:44 
>> awk, grep,
> Да, только там индексов нет. Поэтому все 100500 гигабайтов будет ЦЕЛИКОМ читаться
> с диска на любой запрос, невозбранно насилуя диски чтением 100500 гигз
> хотя меня по факту интересовал десяток строк. Просто никакого метода выцепить
> именно их кроме как прочесть все и отбросить лишнее в этом
> методе как-то и не предполагается.

Ну,,,,,,, если,,,,,,,,, глубоко (очень глубоко) уважаемый аНОНИМ вдруг,,,,,, сегодня,, сможет мне мне сказать с какой первой мыслью я проснусь послезавтра, и может быть успеет (давай быстрее) построить индекс по приснившейся мне фразе (до того как Я,,,,,,,,,,,,,,,,,,,,, успею пукнуть) милости просим ;)

Ответить | Правка | К родителю #351 | Наверх | Cообщить модератору

390. "Линус Торвальдс занял нейтральную позицию в отношении system..."  +/
Сообщение от Michael Shigorinemail (ok), 21-Сен-14, 13:18 
> Да, только там индексов нет. Поэтому все 100500 гигабайтов будет ЦЕЛИКОМ читаться
> с диска на любой запрос, невозбранно насилуя диски чтением 100500 гигз
> хотя меня по факту интересовал десяток строк.

О, попался гонявший journald на ста с хвостиком терабайтах логов.  И как ощущения?

> Я как-то так считаю что нормаьный логгер с индексацией - хотелось бы видеть
> в большинстве систем сразу.

Нормальный там _уже_ есть.  А хороший всё равно придётся под задачу соображать.

Ответить | Правка | К родителю #351 | Наверх | Cообщить модератору

447. "Линус Торвальдс занял нейтральную позицию в отношении system..."  +/
Сообщение от Аноним (-), 25-Сен-14, 19:06 
> Нормальный там _уже_ есть.

Не заметил. Нечто конечно есть, но моим пожеланиям к логгеру оно не очень то соответствует.

> А хороший всё равно придётся под задачу соображать.

И будет очень здорово, если это придется делать как можно реже.

Ответить | Правка | Наверх | Cообщить модератору

423. "Линус Торвальдс занял нейтральную позицию в отношении system..."  +/
Сообщение от avatar (ok), 23-Сен-14, 23:28 
Какая-то выдуманная хрень.
Ответить | Правка | К родителю #351 | Наверх | Cообщить модератору

246. "Линус Торвальдс занял нейтральную позицию в отношении system..."  +/
Сообщение от ноним (ok), 19-Сен-14, 09:21 
>> бинарные логи
> Только для нужд самого systemd. Его же утилитами читаемые. Остальное вы вольны
> вести, как душе угодно.

А *tmp логи вы cat-ом и grep-ом читаете?

Ответить | Правка | К родителю #176 | Наверх | Cообщить модератору

250. "Линус Торвальдс занял нейтральную позицию в отношении system..."  +/
Сообщение от AlexAT (ok), 19-Сен-14, 09:26 
> А *tmp логи вы cat-ом и grep-ом читаете?

Для них есть last, но, тьфу-тьфу, в рхелах есть /var/log/secure, и лазить в *tmp ещё ни разу не приходилось.

Ответить | Правка | Наверх | Cообщить модератору

352. "Линус Торвальдс занял нейтральную позицию в отношении system..."  +/
Сообщение от Аноним (-), 20-Сен-14, 16:35 
> Для них есть last,

Ну надо же. А где громкие вопли про бинарные логи логинов? "На ...цатый год Зоркий Глаз заметил что бинарные логи были в его системе с начала времен"? :)

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру