The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"CentOS 5.4 Dell PowerEdge 6850 8 ядер большие нагрузки из-за..."
Вариант для распечатки  
Пред. тема | След. тема 
Форумы OpenNET: Виртуальная конференция (Public)
Изначальное сообщение [ Отслеживать ]

"CentOS 5.4 Dell PowerEdge 6850 8 ядер большие нагрузки из-за..."  +/
Сообщение от ivankorsun email(ok) on 09-Янв-10, 13:22 
Привет всем.

Несколько дней назад я запустил в работу сервер Dell PowerEdge 6850 (4xIntel (R) Core (TM) MP CPU 3.66GHz (8 ядер), ОЗУ 8x2GB, HDD 4x73GB - внутреннее название сервера A102). Сервер используется для хостинга сайта (более 1 млн показов в день).
На сервере я использую HTTPD, Nginx, php, memcached и MySQL. Когда он начал работу в продакшене я сразу заметил большое значение load average: 14.50, 18.58, 21.70 и более. В это время загрузки страниц сайта очень медленные (страницы, на которых есть обращение к базе очень долго грузятся ~от 2сек, а страницы, которые, отдаются статикой или собираются блоками из memcached отдаются с обычной скоростью ~0.2сек).

Прежде чем поставить этот сервер, я использовал два сервера: Dell PowerEdge 1750 2xIntel (R) Core (TM) MP CPU 3.00GHz (4 ядра) - внутреннее имя A100, ОЗУ 6GB, HDD 140GB; nonbrand сервер Intel (R) Core (TM) 2 Quad Q6600 CPU 2.40GHz (4 ядра), ОЗУ 6GB, HDD 280GB - внутреннее имя A101. В этой конфигурации Dell использовался для httpd, php и т.д. (при load average: 1.55, 1.68, 1.73) и A101 сервер использовался для MySQL (load average: 3.26, 3.91, 4.78).

Мой вопрос:
Почему на Dell PowerEdge 6850 (A102) такое большое значение load average? Он содержит 8 ядер что равнозначно 8 ядерам на серверах A100 и A101, в сумме, а частота процессора еще больше.
Может кто-то может помочь мне исправить конфигурационный файл или что-либо в аппаратной части (есть предположения, что MySQL тормозит из-за 8 ядер) для сервера A102.

Все данные были сняты при высоких нагрузках.
Мои my.cnf файлы представлены внизу.

A102 - MySQL version 5.0.88-ius-log Distributed by The IUS Community Project
A101 - MySQL version 5.0.86-log Source distribution

Так же я сделал замеры по выполнению запроса базах серверов:
-------------------
SELECT t1.*, t4.name AS name1, t4.name AS name2, t3.name AS name3, t3.shortname AS name4, t5.name AS name5, t5.shortname AS name6, t5.bigname AS name7, t2.name AS name8, t2.shortname AS name9
FROM table1 AS t1
LEFT JOIN table2 AS t2 ON t2.pid = t1.id
LEFT JOIN table3 AS t3 ON t3.id = t1.pid
LEFT JOIN table4 AS t4 ON t4.id = t3.pid
LEFT JOIN table5 AS t5 ON t5.id = t1.pid
WHERE t1.enable = 1
ORDER BY t1.datetime DESC
LIMIT 0,50

Server - при нагрузке первый - при нагрузке второй - без нагрузки
A102 - 110.1307 - 118.0584 - 0.7104
A101 - 1.0192 - 0.5303 - 0.6743
-------------------

С уважением к Вам.

----------------------------A102-----------------------------

#BEGIN CONFIG INFO
#DESCR: 4GB RAM, InnoDB only, ACID, few connections, heavy queries
#TYPE: SYSTEM
#END CONFIG INFO (edited from my-innodb-heavy-4G.cnf)

[client]
#password    = [your_password]
port        = 3306
socket        = /var/lib/mysql/mysql.sock

[mysqld]
port        = 3306
socket        = /var/lib/mysql/mysql.sock

default-character-set = cp1251
character-set-server = cp1251
collation-server = cp1251_general_ci
init-connect = "SET NAMES cp1251"
skip-character-set-client-handshake

log-queries-not-using-indexes
skip-name-resolve

#sql-mode = TRADITIONAL
#concurrent_insert = 2
low_priority_updates = 1
#max_connections = 200
wait_timeout = 10
interactive_timeout = 25

back_log = 50
#skip-networking
max_connections = 400
max_connect_errors = 10
table_cache = 2048
#external-locking
max_allowed_packet = 16M
binlog_cache_size = 1M
max_heap_table_size = 64M
sort_buffer_size = 8M
join_buffer_size = 8M
thread_cache_size = 18
thread_concurrency = 24
query_cache_size = 64M
query_cache_limit = 8M
ft_min_word_len = 4
#memlock
default_table_type = MYISAM
thread_stack = 192K
transaction_isolation = REPEATABLE-READ
tmp_table_size = 64M
#log-bin=mysql-bin
#log_slave_updates
#log
#log_warnings
log_slow_queries
long_query_time = 10
log_long_format
#tmpdir = /tmp

# ***  Replication related settings
server-id = 1
#master-host = <hostname>
#master-user = <username>
#master-password = <password>
#master-port = <port>
#read_only

#*** MyISAM Specific options
key_buffer_size = 256M
read_buffer_size = 2M
read_rnd_buffer_size = 16M
bulk_insert_buffer_size = 64M
myisam_sort_buffer_size = 128M
myisam_max_sort_file_size = 10G
myisam_max_extra_sort_file_size = 10G
myisam_repair_threads = 1
#myisam_recover

# Disable Federated by default
skip-federated

# *** BDB Specific options ***
skip-bdb

# *** INNODB Specific options ***
#skip-innodb
innodb_additional_mem_pool_size = 16M
innodb_buffer_pool_size = 1G
innodb_data_file_path = ibdata1:10M:autoextend
#innodb_data_home_dir = <directory>
innodb_file_io_threads = 4
#innodb_force_recovery=1
innodb_thread_concurrency = 16
innodb_flush_log_at_trx_commit = 1
#innodb_fast_shutdown
innodb_log_buffer_size = 8M
innodb_log_file_size = 256M
innodb_log_files_in_group = 3
#innodb_log_group_home_dir
innodb_max_dirty_pages_pct = 90
#innodb_flush_method=O_DSYNC
innodb_lock_wait_timeout = 50

[mysqldump]
quick
max_allowed_packet = 16M

[mysql]
no-auto-rehash
#safe-updates

[isamchk]
key_buffer = 512M
sort_buffer_size = 512M
read_buffer = 8M
write_buffer = 8M

[myisamchk]
key_buffer = 512M
sort_buffer_size = 512M
read_buffer = 8M
write_buffer = 8M

[mysqlhotcopy]
interactive-timeout

[mysqld_safe]
open-files-limit = 8192

----------------------------A101-----------------------------

[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
user=mysql
old_passwords=1

default-character-set = cp1251
character-set-server = cp1251
collation-server = cp1251_general_ci
init-connect = "SET NAMES cp1251"
skip-character-set-client-handshake

max_connections = 450
slow_query_log_file=/var/log/mysql_slow_log
slow_query_log=1

skip-locking
key_buffer = 256M
max_allowed_packet = 1M
table_cache = 1024
sort_buffer_size = 2M
read_buffer_size = 2M
read_rnd_buffer_size = 4M
join_buffer_size=2M
myisam_sort_buffer_size = 64M
thread_cache_size = 18
query_cache_size = 80M
# Try number of CPU's*2 for thread_concurrency
thread_concurrency = 8

skip-federated
# Uncomment the following if you are using InnoDB tables
#innodb_data_home_dir = /var/lib/mysql/
#innodb_data_file_path = ibdata1:2000M;ibdata2:10M:autoextend
#innodb_data_file_path = ibdata1:10M:autoextend
#innodb_log_group_home_dir = /var/lib/mysql/
#innodb_log_arch_dir = /var/lib/mysql/
# You can set .._buffer_pool_size up to 50 - 80 %
# of RAM but beware of setting memory usage too high
innodb_buffer_pool_size = 512M
#innodb_additional_mem_pool_size = 20M
# Set .._log_file_size to 25 % of buffer pool size
#innodb_log_file_size = 128M
#innodb_log_buffer_size = 8M
#innodb_flush_log_at_trx_commit = 2
#innodb_lock_wait_timeout = 50

skip-name-resolve

# To allow mysqld to connect to a MySQL Cluster management daemon, uncomment
# these lines and adjust the connectstring as needed.
#ndbcluster
#ndb-connectstring="nodeid=4;host=localhost:1186"

# To enable the InnoDB Plugin, uncomment the 2 next lines
#ignore-builtin-innodb
#plugin-load=innodb=ha_innodb_plugin.so

# To enable InnoDB-related INFORMATION_SCHEMA tables
# Join the following options to above directive
  ;innodb_trx=ha_innodb_plugin.so
  ;innodb_locks=ha_innodb_plugin.so
  ;innodb_cmp=ha_innodb_plugin.so
  ;innodb_cmp_reset=ha_innodb_plugin.so
  ;innodb_cmpmem=ha_innodb_plugin.so
  ;innodb_cmpmem_reset=ha_innodb_plugin.so

[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

[ndbd]
# If you are running a MySQL Cluster storage daemon (ndbd) on this machine,
# adjust its connection to the management daemon here.
# Note: ndbd init script requires this to include nodeid!
connect-string="nodeid=2;host=localhost:1186"

[ndb_mgm]
# connection string for MySQL Cluster management tool
connect-string="host=localhost:1186"

Высказать мнение | Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "CentOS 5.4 Dell PowerEdge 6850 8 ядер большие нагрузки из-за..."  +/
Сообщение от sHaggY_caT (ok) on 09-Янв-10, 14:00 
Конфиги не анализировала. Вы уверены, что проблема локализована в именно "в ядрах cpu"?
Покажите vmstat, top, sar отчеты, можно поковыряться в oprofile:


http://rhd.ru/docs/manuals/enterprise/RHEL-4-Manual/admin-gu...
http://rhd.ru/docs/manuals/enterprise/RHEL-4-Manual/sysadmin...

После выяснения, где именно узкое место, можно заняться выяснением причин этого, и придумыванием способа решения проблемы

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

2. "CentOS 5.4 Dell PowerEdge 6850 8 ядер большие нагрузки из-за..."  +/
Сообщение от ivankorsun email(ok) on 09-Янв-10, 16:02 
Сейчас для нормальной работы сайта я перенес MySQL на сервер А101, теперь страницы не тормозят. Но вопрос о больших значениях load average на сервере А102 с MySQL остается открытым.
PS: после того, как перенес убрал MySQL с сервера A102 (Dell PowerEdge 6850)
ниже представлены значения не в пик нагрузки, вечером выложу обновленные данные с большей нагрузкой.

load average: 4.67, 4.06, 3.88

[user@A101 server]# vmstat 5
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------
r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
0  0     72 2740404 644312 1768828    0    0     0   115    0    1 30  5 63  2  0
2  0     72 2736452 644312 1769408    0    0     0  1631 1896 1522 58  8 34  0  0
2  0     72 2739444 644312 1768828    0    0     0    82 1656 1082 35  4 61  0  0
2  0     72 2738708 644312 1768832    0    0     0   542 1880 1102 43  5 51  0  0
1  0     72 2739072 644312 1768788    0    0     0 11406 1705  948 36  6 54  4  0
0  0     72 2740288 644312 1768852    0    0     0 11562 1805 1068 54  7 34  5  0
5  0     72 2738204 644312 1768956    0    0     0  1286 1729  917 32  5 63  1  0
0  0     72 2739552 644312 1768812    0    0     0  6095 1869 1266 57  7 35  1  0
2  0     72 2739536 644312 1768828    0    0     0  7323 1722 1043 46  8 45  1  0
8  0     72 2738908 644312 1768828    0    0     0  6646 1847 1316 40  8 49  3  0
9  1     72 2736040 644316 1768960    0    0     0 18124 1892 1273 82  7  8  3  0
1  0     72 2736412 644316 1770412    0    0     0  2129 1867 1146 52  7 40  1  0
1  0     72 2740016 644316 1768832    0    0     0 12378 1861 1680 41  9 44  6  0
2  0     72 2739908 644316 1768900    0    0     0    75 1739  962 38  4 57  0  0
3  0     72 2739784 644316 1768976    0    0     0  1314 1945 1163 44  5 51  0  0
2  0     72 2738544 644316 1768828    0    0     0   394 1775  938 54  4 42  0  0
2  0     72 2737660 644316 1769028    0    0     0 16044 1849 1019 45  6 43  6  0
2  0     72 2735552 644316 1770980    0    0     0  7223 1820 1185 70  6 21  3  0
5  0     72 2738908 644316 1768952    0    0     0 12332 1836 1118 53  6 36  5  0
2  0     72 2736452 644316 1770876    0    0     0    63 1711  943 17  4 79  0  0
1  0     72 2739444 644316 1768748    0    0     0  1546 1846 1039 44  5 51  1  0
0  0     72 2739188 644316 1768676    0    0     0 12089 1925 1234 73 10 16  0  0
6  0     72 2738568 644316 1768768    0    0     0   843 1887 1120 35  5 59  0  0
7  0     72 2718852 644316 1788884    0    0     0 12976 1859 1275 59  8 22 10  0
3  1     72 2740172 644316 1768828    0    0     0  3723 1873 1119 45  7 47  1  0
1  0     72 2739676 644316 1768836    0    0     0 10396 1939 1190 48  6 40  6  0
1  0     72 2740544 644316 1768816    0    0     0  5829 1852 1093 43  8 47  2  0
11  0     72 2738056 644316 1768708    0    0     0 16338 1952 1302 53  8 27 12  0
2  0     72 2740296 644316 1769096    0    0     0   260 1722  927 57  6 37  0  0
0  2     72 2707188 644316 1792112    0    0     0 13954 1824 2065 48 11 36  5  0
1  2     72 2679660 644316 1803464    0    0     0 16546 1809 1034 45  7 42  6  0
8  2     72 2684364 644316 1808764    0    0     0  7162 1802 1026 47  6 43  4  0
1  0     72 2739180 644316 1768832    0    0     0  2021 1730  913 40  5 55  0  0


load average: 2.63, 2.32, 2.00

[user@A102 server]# vmstat 5
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------
r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
1  0      0 2698040 332476 12328312    0    0    31   546    2    2 26  7 66  1  0
2  0      0 2696488 332544 12331052    0    0   359   622 3735 11271  9  4 86  1  0
0  0      0 2693728 332580 12332600    0    0   220   580 3537 9876  8  4 87  1  0
0  0      0 2691904 332628 12334292    0    0   230   570 3584 10835  9  4 86  1  0
5  0      0 2699400 331668 12328388    0    0   328   738 3499 9926 16  4 79  1  0
0  0      0 2710376 331732 12316556    0    0   369   482 3479 10393 12  5 82  1  0
0  2      0 2708748 331940 12317596    0    0   294  1972 3870 11368 10  5 81  5  0
3  0      0 2705704 332432 12320068    0    0   336  2097 3940 11318 12  5 76  6  0
0  0      0 2702664 333028 12321984    0    0   373  1748 3672 10261  9  4 84  2  0
1  2      0 2725244 332048 12299800    0    0   289   534 3541 10496  9  4 86  1  0
1  0      0 2722592 332116 12302664    0    0   455   578 3763 11289  9  4 86  1  0
1  0      0 2642052 332172 12384032    0    0   260   745 3745 11190 13  5 82  1  0
0  0      0 2719296 332248 12305680    0    0   323   610 3591 10668 17  5 76  1  0
2  5      0 2717496 332324 12307596    0    0   348  1552 3826 10895  8  4 84  4  0
0  0      0 2715320 332396 12309448    0    0   361  1187 3721 10866  9  4 81  6  0
0  0      0 2713784 332460 12311812    0    0   366   451 3475 10003  7  3 88  1  0
1  0      0 2710984 332528 12314052    0    0   394   560 3620 10868  9  4 85  1  0
2  0      0 2708384 332588 12316816    0    0   351   626 3967 12566 10  5 84  1  0
0  0      0 2706336 332652 12319112    0    0   368   576 3812 11730  9  4 86  1  0
2  0      0 2703428 332712 12321124    0    0   334   515 3747 10900  9  4 86  1  0
0  0      0 2724756 331712 12299808    0    0   190   630 3680 10719  9  4 87  1  0
1  3      0 2723212 331772 12302180    0    0   298  1810 3974 11863 13  5 79  4  0
0  0      0 2719552 331840 12304412    0    0   365  1428 4010 12174 10  5 80  4  0
2  0      0 2604472 331912 12419256    0    0   301  1103 3824 11179 13  5 81  1  0
7  0      0 2552956 331980 12471800    0    0   415   544 3496 9805 20  5 74  1  0
0  0      0 2715376 332024 12308516    0    0   239   614 3614 10571 13  5 82  1  0
1  0      0 2601564 332064 12421876    0    0   201   884 3611 10233 15  5 80  1  0
0  0      0 2712160 332108 12309840    0    0   228   610 3526 10375 21  6 72  1  0
2  0      0 2710248 332196 12312040    0    0   408   494 3380 10231  9  4 86  1  0
2  3      0 2690144 332244 12334096    0    0   335  1770 3838 11356  9  5 83  3  0
2  0      0 2544308 332416 12476320    0    0   315  2578 3757 10828 23  6 66  5  0
1  0      0 2704676 332460 12317188    0    0   198   349 3585 10986 21  7 72  1  0
1  0      0 2708292 332680 12314068    0    0   378  1135 3391 10038  8  4 86  1  0
1  0      0 2706284 332728 12315944    0    0   244   453 3235 9312  9  3 87  1  0
5  0      0 2705396 332784 12317260    0    0   255   545 3634 10772 10  4 85  1  0

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

3. "CentOS 5.4 Dell PowerEdge 6850 8 ядер большие нагрузки из-за..."  +/
Сообщение от sHaggY_caT (ok) on 09-Янв-10, 16:50 
Если я не перепутала колонки (все-таки испортилось форматирование) сейчас проблемы нет
Кстати, я бы все-таки покопала в сторону диска: что у Вас за дисковая кроме того, что 4 sas/scsi диска?
raid10? И какая была?

>[оверквотинг удален]
>378  1135 3391 10038  8  4 86  
>1  0
> 1  0      0 2706284 332728
>12315944    0    0  
>244   453 3235 9312  9  3 87
> 1  0
> 5  0      0 2705396 332784
>12317260    0    0  
>255   545 3634 10772 10  4 85  
>1  0

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

4. "CentOS 5.4 Dell PowerEdge 6850 8 ядер большие нагрузки из-за..."  +/
Сообщение от ivankorsun email(ok) on 09-Янв-10, 20:13 
"(все-таки испортилось форматирование) сейчас проблемы нет" - что это такое?

Сейчас ни на А102, ни на А101 раида нет.
Интересует сервер А102 (Dell Poweredge 6850)

Более подробные данные об обоих серверах в приложенных файлах (dmidecode, vmstat -d, vmstat 5):
http://narod.ru/disk/16728713000/stat-a102%20(copy%203).txt.html
http://narod.ru/disk/16728696000/stat-a101%20(copy%203).txt.html

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

5. "CentOS 5.4 Dell PowerEdge 6850 8 ядер большие нагрузки из-за..."  +/
Сообщение от sHaggY_caT (ok) on 09-Янв-10, 23:29 
>"(все-таки испортилось форматирование) сейчас проблемы нет" - что это такое?

Не уверена, что верно интерпретировала все цифры vmstat с колонками, так как сбилось форматирование

>Сейчас ни на А102, ни на А101 раида нет.
>Интересует сервер А102 (Dell Poweredge 6850)
>
>Более подробные данные об обоих серверах в приложенных файлах (dmidecode, vmstat -d,
>vmstat 5):
>http://narod.ru/disk/16728713000/stat-a102%20(copy%203).txt.html
>http://narod.ru/disk/16728696000/stat-a101%20(copy%203).txt.html

не отдает яндекс эти файлы после ввода капчи(то есть, URL верный). Выложите, плиз, куда-нибудь на рапиду или депозит, а еще лучше запостите на какой-нибудь пастебин, например, на

http://paste.org.ru

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

6. "CentOS 5.4 Dell PowerEdge 6850 8 ядер большие нагрузки из-за..."  +/
Сообщение от ivankorsun email(ok) on 09-Янв-10, 23:47 
>[оверквотинг удален]
>>Более подробные данные об обоих серверах в приложенных файлах (dmidecode, vmstat -d,
>>vmstat 5):
>>http://narod.ru/disk/16728713000/stat-a102%20(copy%203).txt.html
>>http://narod.ru/disk/16728696000/stat-a101%20(copy%203).txt.html
>
>не отдает яндекс эти файлы после ввода капчи(то есть, URL верный). Выложите,
>плиз, куда-нибудь на рапиду или депозит, а еще лучше запостите на
>какой-нибудь пастебин, например, на
>
>http://paste.org.ru

A101 - http://paste.org.ru/?hxk67j
A102 - http://paste.org.ru/?mmq4d1

Возможно, потеря производительности на сервере А102 происходит из-за того, что на нем стоит 4 HDD и база раскидана по ним? Есть ли какие-нибудь методики тестирования и проверки?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

7. "CentOS 5.4 Dell PowerEdge 6850 8 ядер большие нагрузки из-за..."  +/
Сообщение от sHaggY_caT (ok) on 10-Янв-10, 00:02 
>[оверквотинг удален]
>>>http://narod.ru/disk/16728696000/stat-a101%20(copy%203).txt.html
>>
>>не отдает яндекс эти файлы после ввода капчи(то есть, URL верный). Выложите,
>>плиз, куда-нибудь на рапиду или депозит, а еще лучше запостите на
>>какой-нибудь пастебин, например, на
>>
>>http://paste.org.ru
>
>A101 - http://paste.org.ru/?hxk67j
>A102 - http://paste.org.ru/?mmq4d1

Сейчас серверы не нагружены, есть idle, iowait и la маленькие. Давайте еще раз запустим базу на новом сервере?
выводы BIOS не смотрела (слишком долго) если есть что существенное, скажите, пожалуйста, сами.

>Возможно, потеря производительности на сервере А102 происходит из-за того, что на нем
>стоит 4 HDD и база раскидана по ним?

Нужно сделать десятый рейд: это и надежно, и гораздо быстрее, в пиках, чем один диск.
Вообще, "раскидывать базу по дискам" - зачем это может нужно? Это же русская рулетка, исходить нужно из того, что рано или поздно один диск умрет, да и вообще RAID10 хотя бы из-за скорости под нагруженную БД это must have без каких-то сомнений!

У Вас есть в сервере контроллер с батарейкой(не ковырялась в мануале по Вашему серверу, но обычно у Dell да и у других tier1 опциональный)? Если есть, нужно создать заново массив (приведет к потере данных) и порезать на луны: под систему, и /var/lib под MySQL.
Если нет, сделайте на mdraid (подробнее смотрите в официальной документации RedHat или CentOS wiki)

>Есть ли какие-нибудь
>методики тестирования и проверки?

Ссылки на методики я дала в первом сообщении. Если затык будет не в дисковой, в CPU, может помочь Oprofile (в дополнение к профайлингу в MySQL)

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру