forum.opennet.ru - "Подскажите, куда девается моя оперативная память???" (15)

форумы

помощь

поиск

регистрация

майллист

ВХОД

слежка

"Подскажите, куда девается моя оперативная память???"

Форумы OpenNET: Виртуальная конференция (Public)
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[Проследить за развитием треда]

"Подскажите, куда девается моя оперативная память???"
Сообщение от Dimka (??) on 26-Мрт-07, 19:48
Help! Не могу понять!!! Было 2Гб оперативки, поставил 4-ре, а база как орала что ей памяти не хватает так и орет! FreeBSD 5.5 Загружаю top и вижу такую картину: last pid: 46385; load averages: 2.73, 2.16, 1.82 up 3+05:53:58 18:44:45 261 processes: 1 starting, 3 running, 257 sleeping CPU states: 77.6% user, 0.0% nice, 21.1% system, 1.3% interrupt, 0.0% idle Mem: 774M Active, 2297M Inact, 265M Wired, 124M Cache, 112M Buf, 50M Free Swap: 1465M Total, 12K Used, 1465M Free PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU CPU COMMAND 46237 apache 111 0 48360K 35180K RUN 0 0:31 31.18% 31.10% httpd 46276 apache 111 0 51932K 39744K RUN 0 0:23 30.89% 30.71% httpd 55851 mysql 20 0 502M 333M kserel 0 455:18 10.21% 10.21% mysqld 46380 apache 4 0 45824K 33704K accept 0 0:01 2.87% 1.51% httpd 46001 apache 4 0 38044K 25924K accept 0 0:01 0.83% 0.83% httpd 46206 apache 4 0 43848K 31644K accept 0 0:01 0.78% 0.78% httpd 46213 apache 96 0 43552K 31356K select 0 0:01 0.73% 0.73% httpd 46239 apache 96 0 0K 0K START 0 0:01 0.69% 0.68% httpd 46370 apache 4 0 38108K 25940K accept 0 0:00 0.64% 0.54% httpd 46280 apache 96 0 43768K 31564K select 0 0:01 0.39% 0.39% httpd 46369 apache 4 0 37584K 25372K accept 0 0:00 0.40% 0.34% httpd 46382 apache 4 0 36476K 24292K accept 0 0:00 1.35% 0.24% httpd 46166 apache 96 0 46012K 33796K select 0 0:02 0.10% 0.10% httpd 46291 www 4 0 19392K 14572K accept 0 0:00 0.10% 0.10% httpd 770 icecast 20 0 11368K 5544K kserel 0 26:36 0.00% 0.00% icecast 760 ejabberd 20 0 109M 98M kserel 0 9:21 0.00% 0.00% beam 437 root 8 0 6184K 5156K nanslp 0 7:26 0.00% 0.00% perl5.8.7 805 wap 20 0 7628K 2252K kserel 0 4:13 0.00% 0.00% bearerbox 781 jabber 20 0 14928K 10980K kserel 0 4:12 0.00% 0.00% jit 776 root 96 0 12260K 10440K select 0 1:04 0.00% 0.00% python 1038 pgsql 96 0 15584K 2700K select 0 0:28 0.00% 0.00% postgres 807 wap 20 0 12376K 7680K kserel 0 0:18 0.00% 0.00% wapbox 451 root 96 0 2952K 1496K select 0 0:12 0.00% 0.00% ntpd 479 root 8 0 1380K 912K nanslp 0 0:07 0.00% 0.00% cron 875 root 96 0 1240K 704K select 0 0:03 0.00% 0.00% portsentry 44140 root 96 0 34356K 21948K select 0 0:03 0.00% 0.00% httpd 303 root 96 0 1324K 780K select 0 0:03 0.00% 0.00% syslogd 879 root 96 0 4828K 2784K select 0 0:02 0.00% 0.00% proftpd Подскажите, куда девается моя оперативная память???
Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору

Оглавление

Подскажите, куда девается моя оперативная память???, universite, 23:22 , 26-Мрт-07, (1)

Подскажите, куда девается моя оперативная память???, Dimka, 11:18 , 27-Мрт-07, (2)

Подскажите, куда девается моя оперативная память???, Nimdar, 11:40 , 27-Мрт-07, (3)

Подскажите, куда девается моя оперативная память???, Dimka, 12:00 , 27-Мрт-07, (4)
Подскажите, куда девается моя оперативная память???, universite, 12:00 , 27-Мрт-07, (5)

Подскажите, куда девается моя оперативная память???, Dimka, 12:02 , 27-Мрт-07, (6)

Подскажите, куда девается моя оперативная память???, universite, 12:08 , 27-Мрт-07, (7)

Подскажите, куда девается моя оперативная память???, Dimka, 12:12 , 27-Мрт-07, (8)

Подскажите, куда девается моя оперативная память???, Nimdar, 12:19 , 27-Мрт-07, (9)

Подскажите, куда девается моя оперативная память???, Dimka, 12:22 , 27-Мрт-07, (10)

Подскажите, куда девается моя оперативная память???, Nimdar, 12:57 , 27-Мрт-07, (12)

Подскажите, куда девается моя оперативная память???, universite, 12:23 , 27-Мрт-07, (11)

Подскажите, куда девается моя оперативная память???, Nimdar, 12:59 , 27-Мрт-07, (13)
Подскажите, куда девается моя оперативная память???, SubGun, 13:30 , 05-Апр-07, (15)

Подскажите, куда девается моя оперативная память???, Settler, 13:15 , 05-Апр-07, (14)

Сообщения по теме [Сортировка по времени, UBB]

1. "Подскажите, куда девается моя оперативная память???"

Сообщение от universite (ok) on 26-Мрт-07, 23:22

>Help!
>
>Не могу понять!!! Было 2Гб оперативки, поставил 4-ре, а база как орала
>что ей памяти не хватает так и орет! FreeBSD 5.5
>Подскажите, куда девается моя оперативная память???
Версии Apache, Mysql?
Конфиг Мускула подогнан под большую нагрузку?
И, пожалуйста, логи криков базы в студию!

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

2. "Подскажите, куда девается моя оперативная память???"

Сообщение от Dimka (??) on 27-Мрт-07, 11:18

>>Help!
>>
>>Не могу понять!!! Было 2Гб оперативки, поставил 4-ре, а база как орала
>>что ей памяти не хватает так и орет! FreeBSD 5.5
>
>>Подскажите, куда девается моя оперативная память???
>
>Версии Apache, Mysql?
>Конфиг Мускула подогнан под большую нагрузку?
>И, пожалуйста, логи криков базы в студию!
Версия апача: 2.0.55
Версия Mysql: 4.1.11
mysqladmin -u root -p variables
Enter password:
+---------------------------------+---------------
| Variable_name                   | Value
+---------------------------------+---------------
| back_log                        | 50
| basedir                         | /usr/local/
| bdb_cache_size                  | 8388600
| bdb_home                        | /var/db/mysql/
| bdb_log_buffer_size             | 1048576
| bdb_logdir                      |
| bdb_max_lock                    | 10000
| bdb_shared_data                 | OFF
| bdb_tmpdir                      | /var/tmp/
| binlog_cache_size               | 32768
| bulk_insert_buffer_size         | 8388608
| concurrent_insert               | ON
| connect_timeout                 | 5
| datadir                         | /var/db/mysql/
| date_format                     | %Y-%m-%d
| datetime_format                 | %Y-%m-%d %H:%i:%s
| default_week_format             | 0
| delay_key_write                 | ON
| delayed_insert_limit            | 100
| delayed_insert_timeout          | 300
| delayed_queue_size              | 1000
| expire_logs_days                | 0
| flush                           | OFF
| flush_time                      | 0
| ft_boolean_syntax               | + -><()~*:""&|
| ft_max_word_len                 | 84
| ft_min_word_len                 | 4
| ft_query_expansion_limit        | 20
| ft_stopword_file                | (built-in)
| group_concat_max_len            | 1024
| have_archive                    | NO
| have_bdb                        | YES
| have_blackhole_engine           | NO
| have_compress                   | YES
| have_crypt                      | YES
| have_csv                        | NO
| have_example_engine             | NO
| have_geometry                   | YES
| have_innodb                     | YES
| have_isam                       | NO
| have_ndbcluster                 | NO
| have_openssl                    | NO
| have_query_cache                | YES
| have_raid                       | NO
| have_rtree_keys                 | YES
| have_symlink                    | DISABLED
| init_connect                    |
| init_file                       |
| init_slave                      |
| innodb_additional_mem_pool_size | 1048576
| innodb_autoextend_increment     | 8
| innodb_buffer_pool_awe_mem_mb   | 0
| innodb_buffer_pool_size         | 8388608
| innodb_data_file_path           | ibdata1:10M:autoextend
| innodb_data_home_dir            |
| innodb_fast_shutdown            | ON
| innodb_file_io_threads          | 4
| innodb_file_per_table           | OFF
| innodb_flush_log_at_trx_commit  | 1
| innodb_flush_method             |
| innodb_force_recovery           | 0
| innodb_lock_wait_timeout        | 50
| innodb_locks_unsafe_for_binlog  | OFF
| innodb_log_arch_dir             |
| innodb_log_archive              | OFF
| innodb_log_buffer_size          | 1048576
| innodb_log_file_size            | 5242880
| innodb_log_files_in_group       | 2
| innodb_log_group_home_dir       | ./
| innodb_max_dirty_pages_pct      | 90
| innodb_max_purge_lag            | 0
| innodb_mirrored_log_groups      | 1
| innodb_open_files               | 300
| innodb_table_locks              | ON
| innodb_thread_concurrency       | 8
| interactive_timeout             | 28800
| join_buffer_size                | 131072
| key_buffer_size                 | 503316480
| key_cache_age_threshold         | 300
| key_cache_block_size            | 1024
| key_cache_division_limit        | 100
| language                        | /usr/local/share/mysql/english/
| large_files_support             | ON
| license                         | GPL
| local_infile                    | ON
| locked_in_memory                | OFF
| log                             | ON
| log_bin                         | OFF
| log_error                       | /var/db/mysql/mysql.err
| log_slave_updates               | OFF
| log_slow_queries                | OFF
| log_update                      | OFF
| log_warnings                    | 1
| long_query_time                 | 10
| low_priority_updates            | OFF
| lower_case_file_system          | OFF
| lower_case_table_names          | 0
| max_allowed_packet              | 1047552
| max_binlog_cache_size           | 4294967295
| max_binlog_size                 | 1073741824
| max_connect_errors              | 5
| max_connections                 | 90
| max_delayed_threads             | 20
| max_error_count                 | 64
| max_heap_table_size             | 16777216
| max_insert_delayed_threads      | 20
| max_join_size                   | 4294967295
| max_length_for_sort_data        | 1024
| max_relay_log_size              | 0
| max_seeks_for_key               | 4294967295
| max_sort_length                 | 1024
| max_tmp_tables                  | 32
| max_user_connections            | 32
| max_write_lock_count            | 4294967295
| myisam_data_pointer_size        | 4
| myisam_max_extra_sort_file_size | 2147483648
| myisam_max_sort_file_size       | 2147483647
| myisam_recover_options          | DEFAULT
| myisam_repair_threads           | 1
| myisam_sort_buffer_size         | 67108864
| net_buffer_length               | 16384
| net_read_timeout                | 30
| net_retry_count                 | 1000000
| net_write_timeout               | 60
| new                             | OFF
| old_passwords                   | OFF
| open_files_limit                | 29527
| port                            | 3306
| preload_buffer_size             | 32768
| protocol_version                | 10
| query_alloc_block_size          | 8192
| query_cache_limit               | 1048576
| query_cache_min_res_unit        | 4096
| query_cache_size                | 33554432
| query_cache_type                | ON
| query_cache_wlock_invalidate    | OFF
| query_prealloc_size             | 8192
| range_alloc_block_size          | 2048
| read_buffer_size                | 2093056
| read_only                       | OFF
| read_rnd_buffer_size            | 8384512
| relay_log_purge                 | ON
| relay_log_space_limit           | 0
| rpl_recovery_rank               | 0
| secure_auth                     | OFF
| server_id                       | 0
| skip_external_locking           | ON
| skip_networking                 | OFF
| skip_show_database              | OFF
| slave_net_timeout               | 3600
| slave_transaction_retries       | 0
| slow_launch_time                | 2
| socket                          | /tmp/mysql.sock
| sort_buffer_size                | 2097144
| sql_mode                        |
| storage_engine                  | MyISAM
| sql_notes                       | ON
| sql_warnings                    | ON
| sync_binlog                     | 0
| sync_replication                | 0
| sync_replication_slave_id       | 0
| sync_replication_timeout        | 0
| sync_frm                        | ON
| system_time_zone                | EEST
| table_cache                     | 2048
| table_type                      | MyISAM
| thread_cache_size               | 8
| thread_stack                    | 196608
| time_format                     | %H:%i:%s
| tmp_table_size                  | 33554432
| tmpdir                          |
| transaction_alloc_block_size    | 8192
| transaction_prealloc_size       | 4096
| tx_isolation                    | REPEATABLE-READ
| version                         | 4.1.11-log
| version_bdb               | Sleepycat Software: Berkeley DB 4.1.24: (April  1, 2005)
| version_comment           | FreeBSD port: mysql-server-4.1.11_1                      |
| version_compile_machine         | 386
| version_compile_os              | portbld-freebsd5.4
| wait_timeout                   300

А в логах каждые пару часов:
............
070326  2:11:18 [ERROR] /usr/local/libexec/mysqld: Can't open file: 'Произвольная.MYI' (errno: 145)
070326  2:11:18 [Warning] Checking table:   './адрес/до произвольной'
mysqld got signal 11;
This could be because you hit a bug. It is also possible that this binary
or one of the libraries it was linked against is corrupt, improperly built,
or misconfigured. This error can also be caused by malfunctioning hardware.
We will try our best to scrape up some info that will hopefully help diagnose
the problem, but since we have already crashed, something is definitely wrong
and this may fail.
key_buffer_size=503316480
read_buffer_size=2093056
max_used_connections=81
max_connections=90
threads_connected=10
It is possible that mysqld could use up to
key_buffer_size + (read_buffer_size + sort_buffer_size)*max_connections = 859799 K
bytes of memory
Hope that's ok; if not, decrease some variables in the equation.
070326 22:16:52  mysqld restarted
070326 22:16:53  InnoDB: Database was not shut down normally!
InnoDB: Starting crash recovery.
InnoDB: Reading tablespace information from the .ibd files...
InnoDB: Restoring possible half-written data pages from the doublewrite
InnoDB: buffer...
070326 22:16:58  InnoDB: Starting log scan based on checkpoint at
InnoDB: log sequence number 0 216188086.
InnoDB: Doing recovery: scanned up to log sequence number 0 216188086
070326 22:16:58  InnoDB: Flushing modified pages from the buffer pool...
070326 22:16:58  InnoDB: Started; log sequence number 0 216188086
/usr/local/libexec/mysqld: ready for connections.
Version: '4.1.11-log'  socket: '/tmp/mysql.sock'  port: 3306  FreeBSD port: mysql-server-4.1.11_1
070326 22:16:58 [ERROR] /usr/local/libexec/mysqld: Can't open file: 'gallerytis_config.MYI' (errno: 145)
070326 22:16:58 [Warning] Checking table:   './gallery/gallerytis_config'
............
:(((

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

3. "Подскажите, куда девается моя оперативная память???"

Сообщение от Nimdar (ok) on 27-Мрт-07, 11:40

И при чём тут память? Мускуль ясно говорит (errno: 145), что значит: "MySQL error code 145: Table was marked as crashed and should be repaired"

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

4. "Подскажите, куда девается моя оперативная память???"

Сообщение от Dimka (??) on 27-Мрт-07, 12:00

>И при чём тут память? Мускуль ясно говорит (errno: 145), что значит:
>"MySQL error code 145: Table was marked as crashed and should
>be repaired"
Да, эта ошибка в логе. И к утечке памяти она не имеет отношения.
Такие ошибки я устраняю. Но вот сообщение о нехватке памяти остается!
Думаю из-за ошибок с памятью и появляются эти 145....
Почему возникает проблема с нехваткой памяти???

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

5. "Подскажите, куда девается моя оперативная память???"

Сообщение от universite (ok) on 27-Мрт-07, 12:00

>И при чём тут память? Мускуль ясно говорит (errno: 145), что значит:
>"MySQL error code 145: Table was marked as crashed and should
>be repaired"
Лучше еще обновить и Апач и Мускул.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

6. "Подскажите, куда девается моя оперативная память???"

Сообщение от Dimka (??) on 27-Мрт-07, 12:02

>>И при чём тут память? Мускуль ясно говорит (errno: 145), что значит:
>>"MySQL error code 145: Table was marked as crashed and should
>>be repaired"
>
>Лучше еще обновить и Апач и Мускул.
Т.е. настройки нормальные? Это единственное средство - обновить?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

7. "Подскажите, куда девается моя оперативная память???"

Сообщение от universite (ok) on 27-Мрт-07, 12:08

>Т.е. настройки нормальные? Это единственное средство - обновить?
Для начала поправить мускульную таблицу.
http://support.discusware.com/center/resources/errors/mysql145.html
После исправления обновить Апач и погонять сайт под нагрузкой сутки.
Потом проанализировать статистику работы мускула и принимать решения что крутить и надо ли обновлять Мускул.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

8. "Подскажите, куда девается моя оперативная память???"

Сообщение от Dimka (??) on 27-Мрт-07, 12:12

>>Т.е. настройки нормальные? Это единственное средство - обновить?
>Для начала поправить мускульную таблицу.
>http://support.discusware.com/center/resources/errors/mysql145.html
>
>После исправления обновить Апач и погонять сайт под нагрузкой сутки.
>Потом проанализировать статистику работы мускула и принимать решения что крутить и надо
>ли обновлять Мускул.

Понял, попробую. Спасибо.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

9. "Подскажите, куда девается моя оперативная память???"

Сообщение от Nimdar (ok) on 27-Мрт-07, 12:19

>>Лучше еще обновить и Апач и Мускул.
>
>Т.е. настройки нормальные? Это единственное средство - обновить?
Я бы посоветовал уменьшить key_buffer_size вдвое, до 256 Мб.
Смысла обновлять апач не вижу, поскольку апач и mysql друг с другом ну никак не связаны. Если уж что и обновлять, то саму базу mysql.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

10. "Подскажите, куда девается моя оперативная память???"

Сообщение от Dimka (??) on 27-Мрт-07, 12:22

>>>Лучше еще обновить и Апач и Мускул.
>>
>>Т.е. настройки нормальные? Это единственное средство - обновить?
>
>Я бы посоветовал уменьшить key_buffer_size вдвое, до 256 Мб.
>Смысла обновлять апач не вижу, поскольку апач и mysql друг с другом
>ну никак не связаны. Если уж что и обновлять, то саму
>базу mysql.
На Mysql крутиться 317 всевозможных баз...
Как уменьшение key_buffer_size скажется на их производительности?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

12. "Подскажите, куда девается моя оперативная память???"

Сообщение от Nimdar (ok) on 27-Мрт-07, 12:57

>На Mysql крутиться 317 всевозможных баз...
>Как уменьшение key_buffer_size скажется на их производительности?
Количество баз не имеет никакого значения. Значение имеет размер _каждой_ из этих баз, а также инденксов.
Что касается key_buffer_size, то:
man mysqld
key_buffer_size
          Index blocks for MyISAM and ISAM tables are buffered and are shared by all threads.  key_buffer_size is the size of the buffer used for index blocks. The key buffer is also known as the key cache.
          The maximum allowable setting for key_buffer_size is 4GB. The effective maximum size might be less, depending on your available physical RAM and per-process RAM limits imposed by your operating system or hardware platform.
и далее.
Кроме того, не забывай, что у тебя на том же сервере ещё и pgsql крутится (что само по себе не есть хорошо), и апач, и много чего ещё. Так что нужно суметь распределить память. Только методом проб и ошибок, варьируя значениями, тестируя и прослеживая работоспособность сервисов.
Есть и более простой вариант - добавить ещё пару гигов памяти.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

11. "Подскажите, куда девается моя оперативная память???"

Сообщение от universite (ok) on 27-Мрт-07, 12:23

>Смысла обновлять апач не вижу, поскольку апач и mysql друг с другом
>ну никак не связаны. Если уж что и обновлять, то саму
>базу mysql.
Апач тоже жрет ненормально много CPU, а с учетом фиксов проблем с безопасностью, то обновления Апача не помешает.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

13. "Подскажите, куда девается моя оперативная память???"

Сообщение от Nimdar (ok) on 27-Мрт-07, 12:59

>Апач тоже жрет ненормально много CPU, а с учетом фиксов проблем с
>безопасностью, то обновления Апача не помешает.
В таком контексте - да. И ещё неплохо бы выгрузить неиспользуемые модули апача.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

15. "Подскажите, куда девается моя оперативная память???"

Сообщение от SubGun (ok) on 05-Апр-07, 13:30

>
>>Смысла обновлять апач не вижу, поскольку апач и mysql друг с другом
>>ну никак не связаны. Если уж что и обновлять, то саму
>>базу mysql.
>
>Апач тоже жрет ненормально много CPU, а с учетом фиксов проблем с
>безопасностью, то обновления Апача не помешает.
Если у вас такая нагрузка на apache, то поставьте nginx. Сразу нагрузка со стороны apache на систему снизится раз в 10.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

14. "Подскажите, куда девается моя оперативная память???"

Сообщение от Settler on 05-Апр-07, 13:15

размеры занимаемые mysql в памяти (при работе на FreeBSD) ограничены 512mb.
вот он и падает.
http://dev.mysql.com/doc/refman/4.1/en/freebsd.html

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема

Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру