The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  ВХОД  слежка  RSS
"SARG долго формирует отчёт!!!(очень долго!!!)"
Вариант для распечатки Архивированная нить - только для чтения! 
Пред. тема | След. тема 
Форумы Настройка Squid и других прокси серверов (Public)
Изначальное сообщение [Проследить за развитием треда]

"SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от Димарик emailИскать по авторуВ закладки on 10-Дек-03, 11:50  (MSK)
Привет всем! Кто нить знает почему сарг так долго формирует отчёт(неделю при размере лога 65mb)??? вроде не слабая машина(Cel 1700/DDR256)??? память он практически не использует(всего 1%), а вот процессор пашет во всю - 99,5%!!!! слышал у некоторых и на более слабых машинах быстрее делается!!! может настройки какие поправить???
  Рекомендовать в FAQ | Cообщить модератору | Наверх

 Оглавление

Индекс форумов | Темы | Пред. тема | След. тема
Сообщения по теме

1. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от ipmanyak Искать по авторуВ закладки on 10-Дек-03, 12:22  (MSK)
>Привет всем! Кто нить знает почему сарг так долго формирует отчёт(неделю при
>размере лога 65mb)??? вроде не слабая машина(Cel 1700/DDR256)??? память он практически
>не использует(всего 1%), а вот процессор пашет во всю - 99,5%!!!!
>слышал у некоторых и на более слабых машинах быстрее делается!!! может
>настройки какие поправить???

возможно деле не в сарге! проверь у себя работает ли UDMA
выдай команду :
hdparm /dev/hda   и смотри текущие опции
должно стоять
using_dma    =  1 (on)
затем жмакни :
hdparm -t /dev/hda1
и смотри скорость обмена с винтом, при UDMA4 должна быть в районе 20-35mb/s
можешь результат сюда показать

  Рекомендовать в FAQ | Cообщить модератору | Наверх

2. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от Димарик emailИскать по авторуВ закладки on 10-Дек-03, 14:11  (MSK)
>возможно деле не в сарге! проверь у себя работает ли UDMA
>выдай команду :
>hdparm /dev/hda   и смотри текущие опции
>должно стоять
> using_dma    =  1 (on)
так и есть, т.е. 1(on)
>затем жмакни :
>hdparm -t /dev/hda1
>и смотри скорость обмена с винтом, при UDMA4 должна быть в районе
>20-35mb/s
>можешь результат сюда показать
Вот результат: 34,78Mb/s - первый раз
               43.54mb/s - второй ...


  Рекомендовать в FAQ | Cообщить модератору | Наверх

3. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от ipmanyak Искать по авторуВ закладки on 10-Дек-03, 18:09  (MSK)
>>возможно деле не в сарге! проверь у себя работает ли UDMA
>>выдай команду :
>>hdparm /dev/hda   и смотри текущие опции
>>должно стоять
>> using_dma    =  1 (on)
>так и есть, т.е. 1(on)
>>затем жмакни :
>>hdparm -t /dev/hda1
>>и смотри скорость обмена с винтом, при UDMA4 должна быть в районе
>>20-35mb/s
>>можешь результат сюда показать
>Вот результат: 34,78Mb/s - первый раз
>            
>   43.54mb/s - второй ...

тады ой!  наcчет udma усе рулез!
а сколько времени сарг пашет на твой лог ? и каков объем лога ?


  Рекомендовать в FAQ | Cообщить модератору | Наверх

4. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от Димарик emailИскать по авторуВ закладки on 11-Дек-03, 08:47  (MSK)
>тады ой!  наcчет udma усе рулез!
>а сколько времени сарг пашет на твой лог ? и каков объем
>лога ?
Я же писАл в первом сообщении - лог 65 метров обрабатывался 6 СУТОК!!!!

  Рекомендовать в FAQ | Cообщить модератору | Наверх

5. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от ipmanyak Искать по авторуВ закладки on 11-Дек-03, 10:44  (MSK)
>>тады ой!  наcчет udma усе рулез!
>>а сколько времени сарг пашет на твой лог ? и каков объем
>>лога ?
>Я же писАл в первом сообщении - лог 65 метров обрабатывался 6
>СУТОК!!!!

офигеть !  :))

  Рекомендовать в FAQ | Cообщить модератору | Наверх

6. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от ipmanyak Искать по авторуВ закладки on 11-Дек-03, 10:45  (MSK)
покажи конфиг сарга, только плыз в чистом виде


  Рекомендовать в FAQ | Cообщить модератору | Наверх

7. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от Димарик emailИскать по авторуВ закладки on 11-Дек-03, 13:35  (MSK)
>покажи конфиг сарга, только плыз в чистом виде
В каком смысле? полностью как есть или без закоментированных строк?
  Рекомендовать в FAQ | Cообщить модератору | Наверх

8. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от slivarez Искать по авторуВ закладки on 11-Дек-03, 14:43  (MSK)
>>покажи конфиг сарга, только плыз в чистом виде
>В каком смысле? полностью как есть или без закоментированных строк?
Выложи конфиг сарга без закоментированных строк. У тебя сквид без авторизации? Чисто по IP?

  Рекомендовать в FAQ | Cообщить модератору | Наверх

9. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от Димарик emailИскать по авторуВ закладки on 11-Дек-03, 15:04  (MSK)
>Выложи конфиг сарга без закоментированных строк. У тебя сквид без авторизации? Чисто
>по IP?
авторизации нет, только IP

Вот не закоментированные строки конфига

language Russian_koi8
access_log /usr/local/squid/var/logs/access.log.1
temporary_dir /tmp
output_dir /var/www/html/squid
date_format e
max_elapsed 28800000
charset Koi8-r

всё остальное по умолчанию

  Рекомендовать в FAQ | Cообщить модератору | Наверх

10. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от slivarez Искать по авторуВ закладки on 11-Дек-03, 15:13  (MSK)
>авторизации нет, только IP
>
>Вот не закоментированные строки конфига
>
>language Russian_koi8
>access_log /usr/local/squid/var/logs/access.log.1
>temporary_dir /tmp
>output_dir /var/www/html/squid
>date_format e
>max_elapsed 28800000
>charset Koi8-r
>
>всё остальное по умолчанию
т.е. размер access.log.1=65М, а сарг думал 6 дней??? у меня к концу месяца 200М и он за 10 мин все делает... Какие у тебя еще файлы лежат в /usr/local/squid/logs/ и какой у них размер?

remove_temp_files yes
overwrite_reports yes
Эти теги стоят?

Какая у тебя ось? А что получаешь в /var/www/html/squid? там все нормально? отчет создается? если да то в каком он виде(т.е. все ли странички создаются)? а чего сарг пишет после завершения работы?

  Рекомендовать в FAQ | Cообщить модератору | Наверх

11. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от Димарик emailИскать по авторуВ закладки on 11-Дек-03, 15:25  (MSK)
>т.е. размер access.log.1=65М, а сарг думал 6 дней??? да
> у меня к концу
>месяца 200М и он за 10 мин все делает... Какие у
>тебя еще файлы лежат в /usr/local/squid/logs/ и какой у них размер?
access.log.0, access.log.2, access.log.3 по 13М(кстати с них отчёт сутки делается, т.е. с каждого)
>
>
>remove_temp_files yes
есть
>overwrite_reports yes
у меня overwrite_reports no
>Эти теги стоят?
>
>Какая у тебя ось?
RedHat 9.0
Sarg 1.4.1
А что получаешь в /var/www/html/squid? там все нормально?
>отчет создается? если да то в каком он виде(т.е. все ли
>странички создаются)? а чего сарг пишет после завершения работы?
Отчёт создаётся нормально(все страницы), после завершения пишет, что создан отчёт за такой-то период....

  Рекомендовать в FAQ | Cообщить модератору | Наверх

12. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от slivarez Искать по авторуВ закладки on 11-Дек-03, 15:39  (MSK)
На ум приходит только одно... попробуй скопировать access.log.1 в другой каталог например в /var, т.е. туда где больше нет никаких access.log'ов и пропиши соответственно access_log /var/access.log.1 Просто у меня когда то что-то похожее было, я анализировал /usr/local/squid/logs/access.log  и у меня там лежали логи за пару месяцев по 200-300 М, но почемуто получил отчет за весь период. Когда делаю с /var все работает нормально.

Если будет думать дольше 10мин напиши.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

13. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от Димарик emailИскать по авторуВ закладки on 11-Дек-03, 15:44  (MSK)
>На ум приходит только одно... попробуй скопировать access.log.1 в другой каталог например
>в /var, т.е. туда где больше нет никаких access.log'ов и пропиши
>соответственно access_log /var/access.log.1 Просто у меня когда то что-то похожее было,
>я анализировал /usr/local/squid/logs/access.log  и у меня там лежали логи за
>пару месяцев по 200-300 М, но почемуто получил отчет за весь
>период. Когда делаю с /var все работает нормально.
а у меня период за 2 недели .... в отчёте тоже 2 недели
>
>Если будет думать дольше 10мин напиши.
Ладно спасибо .... буду пробовать!

  Рекомендовать в FAQ | Cообщить модератору | Наверх

14. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от Димарик emailИскать по авторуВ закладки on 11-Дек-03, 16:08  (MSK)
>На ум приходит только одно... попробуй скопировать access.log.1 в другой каталог например
>в /var, т.е. туда где больше нет никаких access.log'ов и пропиши
>соответственно access_log /var/access.log.1 Просто у меня когда то что-то похожее было,
>я анализировал /usr/local/squid/logs/access.log  и у меня там лежали логи за
>пару месяцев по 200-300 М, но почемуто получил отчет за весь
>период. Когда делаю с /var все работает нормально.
>
>Если будет думать дольше 10мин напиши.
Попробовал .... скачал небольшой лог (7,5М) .... так он уже больше 10мин сортируется .....
  Рекомендовать в FAQ | Cообщить модератору | Наверх

15. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от akeeper emailИскать по авторуВ закладки on 11-Дек-03, 16:15  (MSK)
Гм.. у меня лог 143 мега, обсчитывается чуть меньше 2 минут.

wbr, akeeper.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

16. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от slivarez Искать по авторуВ закладки on 11-Дек-03, 16:17  (MSK)
>>На ум приходит только одно... попробуй скопировать access.log.1 в другой каталог например
>>в /var, т.е. туда где больше нет никаких access.log'ов и пропиши
>>соответственно access_log /var/access.log.1 Просто у меня когда то что-то похожее было,
>>я анализировал /usr/local/squid/logs/access.log  и у меня там лежали логи за
>>пару месяцев по 200-300 М, но почемуто получил отчет за весь
>>период. Когда делаю с /var все работает нормально.
>>
>>Если будет думать дольше 10мин напиши.
>Попробовал .... скачал небольшой лог (7,5М) .... так он уже больше 10мин
>сортируется .....
Фиг его знает в чем дело, но скорее всего не в сарге. Я на линуксе не пробовал, но под FreeBSD (на Intel P4; даже на 128 DDR) работает быстро. Как вариант попробуй sarg пересобрать с другого источника, если хош я тебе пропатченный на мыло кину: обычный sarg токо +возможность делать include_users "path_to_file", работает нормально.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

17. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от Димарик emailИскать по авторуВ закладки on 11-Дек-03, 16:26  (MSK)
>Фиг его знает в чем дело, но скорее всего не в сарге.
>Я на линуксе не пробовал, но под FreeBSD (на Intel P4;
>даже на 128 DDR) работает быстро. Как вариант попробуй sarg пересобрать
>с другого источника, если хош я тебе пропатченный на мыло кину:
>обычный sarg токо +возможность делать include_users "path_to_file", работает нормально.
Кинь если не сложно, попробую ...

  Рекомендовать в FAQ | Cообщить модератору | Наверх

18. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от akeeper emailИскать по авторуВ закладки on 11-Дек-03, 16:32  (MSK)
>Кинь если не сложно, попробую ...

Кстати, разумно - какая у тебя версия sarge? У меня он просто отчёты делает за текущий день каждый час и даже особой нагрузки не видно. Разве что раньше считал несколько секунд, а теперь минуту с копейками.

wbr, akeeper.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

20. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от slivarez Искать по авторуВ закладки on 11-Дек-03, 16:39  (MSK)
>Кинь если не сложно, попробую ...

Кинул... Напиши что получится... Токо там в конфиге access_log /var/access.log, переименуй свой лог в /var/access.log

  Рекомендовать в FAQ | Cообщить модератору | Наверх

22. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от Димарик emailИскать по авторуВ закладки on 11-Дек-03, 17:29  (MSK)
>>Кинь если не сложно, попробую ...
>
>Кинул... Напиши что получится... Токо там в конфиге access_log /var/access.log, переименуй свой
>лог в /var/access.log

Всё поставил .... запустил ..... тоже самое, только теперь в списке процессов 2 процесса sort и они делят нагрузку процессора пополам ...

  Рекомендовать в FAQ | Cообщить модератору | Наверх

19. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от Димарик emailИскать по авторуВ закладки on 11-Дек-03, 16:37  (MSK)
Я говорил уже
Sarg 1.4.1

  Рекомендовать в FAQ | Cообщить модератору | Наверх

21. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от akeeper emailИскать по авторуВ закладки on 11-Дек-03, 16:41  (MSK)
>Я говорил уже
>Sarg 1.4.1

Обновиться что ли.. у меня Sarg 1.2.2

wbr, akeeper.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

23. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от semen Искать по авторуВ закладки on 12-Дек-03, 01:23  (MSK)
sarg запускал от root'a
Если нет - попробуй

  Рекомендовать в FAQ | Cообщить модератору | Наверх

24. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от semen Искать по авторуВ закладки on 12-Дек-03, 01:25  (MSK)
sarg запускал от root'a ?
Если нет - попробуй
  Рекомендовать в FAQ | Cообщить модератору | Наверх

25. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от ipmanyak Искать по авторуВ закладки on 15-Дек-03, 08:04  (MSK)
очисти каталог tmp от всякого мусора
очисти каталог с отчетами сарга
поставь в сарге такие опции :

user_ip yes
lastlog 2
remove_temp_files yes
overwrite_report yes
max_elapsed 0
long_url no

запусти сарг и проверь сколько будет считать времени

  Рекомендовать в FAQ | Cообщить модератору | Наверх

26. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от egor2fsys Искать по авторуВ закладки on 15-Дек-03, 08:28  (MSK)
такая же проблема и у меня ...

все очистил и поставил рекомендованные опции

не помогло, просто очень долго считает

  Рекомендовать в FAQ | Cообщить модератору | Наверх

27. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от ipmanyak Искать по авторуВ закладки on 15-Дек-03, 08:56  (MSK)
на сайте сарга есть патч к 1.4.1 и инфа о баге в  REDHAT 9:
http://web.onda.com.br/orso/sarg.html
в частнсти:

Patches How to apply: save the patch in sarg-1.4.1 directory, patch -p0 < _patch_name, make install
sarg-1.4.1-index.sort.patch
- sort fixed in index.html

RedHat 9 RH 9 have a bug in sort utility. Export the following variable before running sarg:
export LC_ALL=C

дума вам стоит пропатчить

  Рекомендовать в FAQ | Cообщить модератору | Наверх

31. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от egor2fsys Искать по авторуВ закладки on 15-Дек-03, 16:26  (MSK)
да действительно после применения патча и описания переменной все заработало как надо !

спасибо

  Рекомендовать в FAQ | Cообщить модератору | Наверх

34. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от Giokoed emailИскать по авторуВ закладки(ok) on 22-Июл-04, 11:39  (MSK)
Ребята ну помогите не опытному
Как мне пропатчить sarg-1.4.1
Я в директорию с исходником копирую index.c.diff
затем пишу
# patch -p0 < index.c.diff
#make
#make install
#export LC_ALL=C
запускаю сарг и он у меня опять висит что делать?
  Рекомендовать в FAQ | Cообщить модератору | Наверх

32. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от Димарик emailИскать по авторуВ закладки on 16-Дек-03, 08:42  (MSK)
>на сайте сарга есть патч к 1.4.1 и инфа о баге в
> REDHAT 9:
>http://web.onda.com.br/orso/sarg.html
>в частнсти:
>
>Patches How to apply: save the patch in sarg-1.4.1 directory, patch -p0
>< _patch_name, make install
> sarg-1.4.1-index.sort.patch
> - sort fixed in index.html
>
>RedHat 9 RH 9 have a bug in sort utility. Export the
>following variable before running sarg:
> export LC_ALL=C
>
>дума вам стоит пропатчить

Спасибо большое за помощь!!! Теперь всё ОК!!!

  Рекомендовать в FAQ | Cообщить модератору | Наверх

28. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от ipmanyak Искать по авторуВ закладки on 15-Дек-03, 09:09  (MSK)
задайте вопрос разработчику сарга -  Pedro Lineu Orso <orso@onda.com.br>
  Рекомендовать в FAQ | Cообщить модератору | Наверх

29. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от Havoc emailИскать по авторуВ закладки on 15-Дек-03, 15:45  (MSK)
А он не пытается разрезолвить все адреса?


  Рекомендовать в FAQ | Cообщить модератору | Наверх

30. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от psg emailИскать по авторуВ закладки on 15-Дек-03, 16:26  (MSK)
>Привет всем! Кто нить знает почему сарг так долго формирует отчёт(неделю при
>размере лога 65mb)??? вроде не слабая машина(Cel 1700/DDR256)??? память он практически
>не использует(всего 1%), а вот процессор пашет во всю - 99,5%!!!!
>слышал у некоторых и на более слабых машинах быстрее делается!!! может
>настройки какие поправить???

У меня стал работать раза в 4 быстрее, для этого убери лишние поля в отчетах, например время, ну вообще все что не нужно.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

33. "SARG долго формирует отчёт!!!(очень долго!!!)"
Сообщение от ipmanyak Искать по авторуВ закладки on 16-Дек-03, 08:51  (MSK)
ну слава богу разобрались !
  Рекомендовать в FAQ | Cообщить модератору | Наверх


Удалить

Индекс форумов | Темы | Пред. тема | След. тема
Пожалуйста, прежде чем написать сообщение, ознакомьтесь с данными рекомендациями.




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей 		Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру