The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги | ]

06.04.2011 21:22  Сравнение производительности файловых систем XFS, Reiser4 и ext4

Представлены результаты тестирования производительности XFS, reiser4, ext4. Для оценки производительности использовался пакет IOZONE 3.283, тесты проводились в openSUSE 11.4 с ядром Linux 2.6.38.2 SMP PREEMPT x86_64 c патчами Reiser4 и BFQ.

При форматировании раздела XFS были использованы опции "-l size=128m -d agcount=16", для Reiser4 и EXT4 были использованы параметры по умолчанию. При монтировании, Reiser4 монтировался по умолчанию, EXT4 - "noatime,barrier=1,data=writeback", XFS - "noatime,nodiratime,logbufs=8,logbsize=256k".

В тесте чтения Reiser4 уступает остальным в два и более раза. XFS и Ext4 показали одинаковые результаты, с отклонениями в пределах погрешности измерений. При этом, нагрузка на процессор при использовании XFS и EXT4 оказалась значительно выше ФС Reiser4, которая отличилась линейностью загрузки процессора в зависимости от читаемого размера файла.

До половины теста записи лидировал, хоть и незначительно, XFS, но после записи файлов блоками по 8 мегабайт в лидерство вырвался EXT4, и в результате обогнал XFS на полугигабайтных файлах, примерно на 10 Мб/сек. Reiser4 уступи примерно на 20 Мб/сек. В использовании процессора при записи, XFS лидировал потребляя в среднем на 5% меньше других. EXT4 спокойно и ровно дошел до 30% на полугигабайтных файлах. Зато у Reiser4 образовалась интереснейшая «горбушка», на графике, в диапазоне файлов от 2Mб до 16Мб, но средняя загрузка схожа с ext4. Так же, интересный момент у XFS, тут выделяются три линии, это записи блоками по 8, 16 и 32 килобайта.



  1. Главная ссылка к новости (http://pavlinux.ru/2011/04/06/...)
Автор новости: pavlinux
Тип: яз. русский / Практикум
Ключевые слова: ext4, reiser4, xfs, linux, benchmark
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Ajax/Линейный | Раскрыть все сообщения | RSS
 
  • 1.1, Аноним (-), 21:36, 06/04/2011 [ответить] [показать ветку] [···]    [к модератору]
  • +3 +/
    ну надо же, не фороникс. посмотрим чем павлинукс лучше.
     
     
  • 2.3, Аноним (-), 21:40, 06/04/2011 [^] [ответить]    [к модератору]
  • +3 +/
    параметры использованного железа

    CPU:    Dual Opteron 285
    RAM:   4Gb ECC DDR1 PC3200 CL3
    HDD:   Western Digital WD7500AAKS-00RBA0, FwRev=30.04G30

     
  • 1.2, анон (?), 21:39, 06/04/2011 [ответить] [показать ветку] [···]    [к модератору]
  • +1 +/
    >Reiser4 монтировался по умолчанию, EXT4 - "noatime,barrier=1,data=writeback", XFS - "noatime,nodiratime,logbufs=8,logbsize=256k".

    Дауж честное сравнение.

    И где тесты с reiser4 с lzo и bzip модулями?

    На вид заказ очернить reiser, но от кого?

     
     
  • 2.4, sdog (ok), 21:42, 06/04/2011 [^] [ответить]    [к модератору]
  • +1 +/
    вестимо, от них!
     
  • 2.5, Аноним (-), 21:46, 06/04/2011 [^] [ответить]    [к модератору]
  • +2 +/
    > И где тесты с reiser4 с lzo и bzip модулями?

    Так рейзер даже без noatime!

     
     
  • 3.11, funny_falcon (?), 00:16, 07/04/2011 [^] [ответить]    [к модератору]  
  • +2 +/
    Присоединяюсь: почему reiser4 единственный без noatime тестировался?
     
  • 2.31, pavlinux (ok), 12:41, 07/04/2011 [^] [ответить]    [к модератору]  
  • +/
    lzo - по дефолту
     
     
  • 3.33, runoverheads (ok), 14:04, 07/04/2011 [^] [ответить]     [к модератору]  
  • +/
    ага, по дефолту, но если Вы при создании fs указывали опцию create ccreg40, инач... весь текст скрыт [показать]
     
  • 1.6, Амнезинус (?), 22:08, 06/04/2011 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Трудноинтерпретируемые тесты. И непонятно, что помешало смонтировать reiser4 с noatime?
     
  • 1.7, Амнезинус (?), 22:10, 06/04/2011 [ответить] [показать ветку] [···]    [к модератору]  
  • +1 +/
    К тому же, writeback - нечестный режим, который почти не применяется в реальности.
     
  • 1.8, pavlinux (ok), 22:53, 06/04/2011 [ответить] [показать ветку] [···]    [к модератору]  
  • +2 +/
    Люди, реальные строки которые в /proc/mounts следующие:

    XFS: rw,nodev,noatime,nodiratime,noalign,attr2,delaylog,inode64,logbufs=8,logbsize=256k,noquota
    REISER4: rw,noatime,relatime,atom_max_size=0x36f97,atom_max_age=0x927c0,atom_min_size=0x100,atom_max_flushers=0x1,cbk_cache_slots=0x10
    EXT4: rw,noatime,barrier=1,journal_async_commit,data=writeback

    Я написал только то, что добавлял. Видимо noatime подефолту, или у меня по дефолту для всех :)  

     
     
  • 2.10, vadiml (ok), 00:16, 07/04/2011 [^] [ответить]    [к модератору]  
  • +/
    Вообще-то скорость рейзера relatime прибивало, особенно на мелких файлах, т.к. это облегчённая версия atime.
    Следовало дописать norelatime.
     
     
  • 3.16, pavlinux (ok), 01:01, 07/04/2011 [^] [ответить]     [к модератору]  
  • +1 +/
    Пишите пожелания В следующий раз рубанём по феншуйному Ужо есть 1 Reiser4 c ... весь текст скрыт [показать]
     
     
  • 4.21, Stax (ok), 05:03, 07/04/2011 [^] [ответить]     [к модератору]  
  • +1 +/
    Так а райзер разве не всегда в ахтунг-режиме с barrier 0 Или он научился барь... весь текст скрыт [показать]
     
     
  • 5.23, anonymous (??), 06:27, 07/04/2011 [^] [ответить]     [к модератору]  
  • +/
    JFS Ну вот откуда вы такие появляетесь Абсолютно сырая заброшеная поделка, доб... весь текст скрыт [показать]
     
     
  • 6.59, anonymous (??), 16:11, 08/04/2011 [^] [ответить]    [к модератору]  
  • +/
    привет-привет. а я вот использую уже не один год — ничего, всё нормально, брат жив, зависимости никакой.
     
  • 5.32, pavlinux (ok), 12:46, 07/04/2011 [^] [ответить]     [к модератору]  
  • +/
    Барьеров там нету, но не думаю что это хорошая мысль,выключать их у других Един... весь текст скрыт [показать]
     
  • 3.20, JL2001 (ok), 02:12, 07/04/2011 [^] [ответить]    [к модератору]  
  • +/
    > Вообще-то скорость рейзера relatime прибивало, особенно на мелких файлах, т.к. это облегчённая
    > версия atime.
    > Следовало дописать norelatime.

    noatime включает же в себя norelatime ?

     
     
  • 4.22, Stax (ok), 05:04, 07/04/2011 [^] [ответить]     [к модератору]  
  • +/
    Включает, noatime самый сильный из всех ключей ... весь текст скрыт [показать]
     
  • 4.30, pavlinux (ok), 12:35, 07/04/2011 [^] [ответить]     [к модератору]  
  • +/
    fs namespace c code Default to relatime unless overriden if ... весь текст скрыт [показать]
     
  • 1.9, Аноним (-), 23:28, 06/04/2011 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Вот смотрю я на эти разноцветные "спагетти" и думаю, к чему такие новости ведь ни хрена не понятно особенно глядя на скрины.
     
     
  • 2.12, pavlinux (ok), 00:31, 07/04/2011 [^] [ответить]     [к модератору]  
  • +1 +/
    В школе графики функций проходят Где скорость read write, там по Y - кб с , X -... весь текст скрыт [показать]
     
     
  • 3.14, User294 (ok), 00:40, 07/04/2011 [^] [ответить]    [к модератору]  
  • +/
    > Где скорость read/write, там по X - кб/с., Y - размер создаваемого файла,

    А разве не наоборот, по X - размер, Y - скорость? oO

     
     
  • 4.17, pavlinux (ok), 01:02, 07/04/2011 [^] [ответить]    [к модератору]  
  • +/
    >> Где скорость read/write, там по X - кб/с., Y - размер создаваемого файла,
    > А разве не наоборот, по X - размер, Y - скорость? oO

    fixed

     
  • 1.13, User294 (ok), 00:33, 07/04/2011 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    Павлин, спасибо тебе за потуги, но вот что хотелось бы заметить:
    1) Монтировать и форматировать ФС с разными опциями - не совсем честно вроде как. Ну уж если тебе нравится noatime - ввинти его всем. Или никому. Иначе сравнили теплое с мягким. А что оно покажет то в результате?
    2) Вообще-то, отличная идея располагать одни и те же тестовые данные разных ФС на ОДНОМ графике. Иначе сравнивать их ну просто ппц как неудобно.
    3) Вообще, графики особой наглядностью не отличаются. Хорошо бы подписывать что за "попугаи" и что в легенде, вообще-то. Разобраться конечно при желании и так можно, но график все-таки не должен быть ребусом, а? :)

    ЗЫ мог бы еще до кучи btrfs чтоли потестить, в 38 ядре его неплохо допилили.

     
     
  • 2.15, pavlinux (ok), 00:40, 07/04/2011 [^] [ответить]    [к модератору]  
  • +1 +/
    Да не смотри ты на цифры, фигня всё это. Самое интересное общие отличия.
     
     
  • 3.41, User294 (ok), 16:57, 07/04/2011 [^] [ответить]     [к модератору]  
  • +/
    Как раз сравнить поведение разных ФС проще всего если они все на 1 графике При ... весь текст скрыт [показать]
     
     
  • 4.44, pavlinux (ok), 17:28, 07/04/2011 [^] [ответить]     [к модератору]  
  • +/
    Write http i19 fastpic ru big 2011 0407 6c 12f1dcefffec72407b04b88c3a59246c g... весь текст скрыт [показать]
     
  • 2.18, pavlinux (ok), 01:10, 07/04/2011 [^] [ответить]    [к модератору]  
  • +/
    Мне вот до ж...ы интересно, почему ext4 и xfs так процессор жрут при чтении?!

     
     
  • 3.42, User294 (ok), 17:10, 07/04/2011 [^] [ответить]     [к модератору]  
  • +/
    Если они читают быстрее и жрут прц больше, тогда имхо логично посчитать некий ко... весь текст скрыт [показать]
     
  • 2.25, 1 (??), 08:41, 07/04/2011 [^] [ответить]     [к модератору]  
  • +/
    по поводу первого пункта не согласен, т к для реального использования подбирают... весь текст скрыт [показать]
     
     
  • 3.26, 1 (??), 08:42, 07/04/2011 [^] [ответить]    [к модератору]  
  • +/
    ну и ещё плюсую за btrfs :) хотелось бы посмотреть как без сжатия так и с сжатием, райзер тоже кстати

     
  • 3.67, Michael Shigorin (ok), 07:36, 15/04/2011 [^] [ответить]     [к модератору]  
  • +/
    Вообще-то xfsprogs неплохо сделаны в плане подбора этих самых умолчаний дл... весь текст скрыт [показать]
     
  • 1.24, stom (?), 08:23, 07/04/2011 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    тесты вопроизводимы (у фороникса - вполне - готовые сценарии, даже live media)?
    скрипты для этого есть (где собственно)?
    каково кол-то повторных замеров, где рассчёт отклонений?
    каковы методы выравнивания условий внешней среды перед запуском тестов (перезагрузка и/или т.п.)?
     
  • 1.27, Anonimouse (?), 09:54, 07/04/2011 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Диск использовался один?
    Интересно было бы увидеть RAID 0/1/10 SAS винтов.
     
  • 1.28, q (??), 11:30, 07/04/2011 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Интересно было бы почитать статью на тему настройки RaiserFS-она у меня на корне в ALTLinux.
     
  • 1.29, Аноним (29), 11:56, 07/04/2011 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    a ZFS ?
     
  • 1.34, Аноним (-), 14:20, 07/04/2011 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    А что ZFS? Как настраивать? Или что? Все давно написано. Гугл в помощь.
     
  • 1.37, pavlinux (ok), 15:28, 07/04/2011 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    У меня глюк с Reiser4:

    1. Пофигу на atime,relatime, create=ccreg40,compressMode=ultim, - скорость записи 4 Gb файла = 10-15 мб/сек (ипануцца)

    http://i19.fastpic.ru/big/2011/0407/0c/fbe8016643d40f67f4b4528ef9a5a00c.png

    Копировал с разных физ. дисков. (но все SATA133)
    Для сравнения:

    c Reiser4 на XFS 15-10 Мб/с
    c XFS на Reiser4 около 20 Мб/с
    c XFS на XFS 60-30 Мб/с

    2. При клонировании образов диска Виртуалбокса, оно проходит 100% и новый файл исчезает. :)

    3. # VBoxManage modifyhd --compact Disk0.vdi длиться раз в 10 дольше XFS

    4. После работы Виртуалки, образ диска не читается, не копируется... до перемонтирования.
    Естественно виртуалка запускается только один раз. :)

    http://i19.fastpic.ru/big/2011/0407/3f/f8f10c9f6623953417f74435e5ec493f.png

    Пля, спасибо Эдик фШышкин, из-за тебя наеб...нулись три вируталки!

    Кароча, ну нах...й этот рейзер, вернулся на XFS.

     
     
  • 2.38, q (??), 15:38, 07/04/2011 [^] [ответить]    [к модератору]  
  • +/
    Это с новым патчем или без патча для RaizerFS от Шишкина?
     
     
  • 3.39, pavlinux (ok), 15:56, 07/04/2011 [^] [ответить]    [к модератору]  
  • +/
    > Это с новым патчем или без патча для RaizerFS от Шишкина?

    reiser4-for-2.6.38.patch.bz2    

    http://www.kernel.org/pub/linux/kernel/people/edward/reiser4/reiser4-for-2.6/?C=M;O=D

     
     
  • 4.45, q (??), 18:04, 07/04/2011 [^] [ответить]    [к модератору]  
  • +/
    А как будет производительность без патча?
     
     
  • 5.46, pavlinux (ok), 19:29, 07/04/2011 [^] [ответить]    [к модератору]  
  • +/
    > А как будет производительность без патча?

    Производительность чего? Если XFS, то все в порядке - 60 Мб/cек. средняя.

     
     
  • 6.54, q (??), 15:07, 08/04/2011 [^] [ответить]    [к модератору]  
  • +/
    По моему прошлому опыту xfs реально тормозная, для моего млабенького настольного компа это слишком тяжело.

    Как обстоят дела с производительностью RaiserFS без патча?

     
     
  • 7.56, pavlinux (ok), 15:16, 08/04/2011 [^] [ответить]    [к модератору]  
  • +/
    > Как обстоят дела с производительностью RaiserFS без патча?

    Все летает. Собственно из-за этого и Резер4 в глаза бросается, уж слишком большая разница.


     
     
  • 8.60, runoverheads (ok), 17:11, 08/04/2011 [^] [ответить]    [к модератору]  
  • +/
    В глаза бросается криворукость автора и явный умысел очернить Reiser4)
     
     
  • 9.64, pavlinux (ok), 00:13, 09/04/2011 [^] [ответить]    [к модератору]  
  • +/
    > ... и явный умысел очернить Reiser4)

    Конечно, раньше раз в год отправлял 25$, чего же теперь не попинать.  

     
  • 2.40, Andrey Mitrofanov (?), 16:37, 07/04/2011 [^] [ответить]    [к модератору]  
  • +1 +/
    > Пля, спасибо Эдик фШышкин, из-за тебя наеб...нулись три вируталки!
    > Кароча, ну нах...й этот рейзер, вернулся на XFS.

    Также сегодня в Новостях: "Рускому Форониксу мешает танцевать Эдуард Шишкин".
    Эх... и суток не продержался?

     
     
  • 3.43, pavlinux (ok), 17:20, 07/04/2011 [^] [ответить]    [к модератору]  
  • +/
    > Эх... и суток не продержался?

    Я вчера большие файлы не гонял. Ну как большие,... на терабайтных
    наверно надо будет подключать ручной привод, чтоб диски крутились быстрее. :)

    И у меня подозрение что с SMP оно не дружит,
    где percpu_counter_set(), for_each_online_cpu(),...?!


     
  • 2.47, анонимХ (?), 20:59, 07/04/2011 [^] [ответить]    [к модератору]  
  • +/
    https://bugzilla.kernel.org/show_bug.cgi?id=16165
    Вероятно тот же баг.
    Стоит отмылиться Шишкину.
    А можно посмотреть команды для тестирования?
     
     
  • 3.48, pavlinux (ok), 00:31, 08/04/2011 [^] [ответить]    [к модератору]  
  • +/
    > https://bugzilla.kernel.org/show_bug.cgi?id=16165
    > Вероятно тот же баг.
    > Стоит отмылиться Шишкину.
    > А можно посмотреть команды для тестирования?

    Да какое там тестирование, мирно работал, никого не трогая:

    # VBoxManage modifyhd --compact Debian6.vdi
    # VBoxManage clonehd  Debian6.vdi NewDebian6.vdi

    Ну и потом, так как клонирование не прошло, попытался просто скопировать.
    (см. скрины http://www.opennet.ru/openforum/vsluhforumID3/76117.html#37 )

    ---

    Пора переименовываться, в ShishFS =)
    Вот Поляков сразу всех предупредил и назвал POHMELFS, так что если чё, извиняйте. :)  

     
     
  • 4.51, анонимХ (?), 13:59, 08/04/2011 [^] [ответить]    [к модератору]  
  • +/
    >Да какое там тестирование, мирно работал, никого не трогая:

    Это понятно, про тестовые команды спрашивал как об отдельном пункте. Интересно показатели в режиме Direct IO (иначе это несколько сферические показатели) . Еще интересно посмотреть на геометрию дисков, страйпинг, выронены ли фс по границе блоков.

    А про багу выше - она проявлялась на новых ядрах в определенных режимах, как раз при работе Ext4/XFS на VirtualBox и оракловом RMAN. Там есть testcase. Если он воспроизводится - то это 100% она.

     
     
  • 5.55, pavlinux (ok), 15:14, 08/04/2011 [^] [ответить]    [к модератору]  
  • +/
    >>Да какое там тестирование, мирно работал, никого не трогая:
    > Это понятно, про тестовые команды спрашивал как об отдельном пункте.

    # iozone -a -b /FS.xls -+u -p -B -e -E

    > Интересно показатели в режиме Direct IO (иначе это несколько сферические показатели).

    Прямой В/В будет равен скорости диска. У меня в районе 75-80 Мб/c

    > Еще интересно посмотреть на геометрию дисков, страйпинг,
    > выронены ли фс по границе блоков.

    Какой в попу страйпинг, выровненг, геометринг,....,
    один и тот же раздел форматнутый разными ФС и всё, остальное оптимизация.

    > А про багу выше - она проявлялась на новых ядрах в определенных
    > режимах, как раз при работе Ext4/XFS на VirtualBox и оракловом RMAN.
    > Там есть testcase. Если он воспроизводится - то это 100% она.

    Бага на Reiser4 !!!

     
     
  • 6.58, анонимХ (?), 15:42, 08/04/2011 [^] [ответить]    [к модератору]  
  • +/
    >Прямой В/В будет равен скорости диска. У меня в районе 75-80 Мб/c

    Этот тест выполняется с параметром -I. Базы данных работают именно в режиме dio, и iozone интересен прежде всего как мерялка для производительности работы баз.

    >Бага на Reiser4 !!!

    Она кросфайловосистемная:). Ее сначала нашли только на ext4, потом выяснилось, что она есть и на XFS. На reiser скорее всего просто не проверяли. Еще раз говорю - там есть testcase. Если уж взялись за сравнение систем - можно попробовать сделать и что-нибудь полезное и проверить:).

     
     
  • 7.63, pavlinux (ok), 00:11, 09/04/2011 [^] [ответить]    [к модератору]  
  • +/
    > сравнение систем - можно попробовать сделать и что-нибудь полезное и проверить:).

    Да ну Вас, я только что узнал, что 10 минут назад кончилась пятница, а у меня всё четверг... :/  


     
  • 1.49, Аноним (-), 01:11, 08/04/2011 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    хотелось бы рейзер со сжатием lzo увидеть и btrfs с lzo и без
     
  • 1.50, Аноним (-), 09:25, 08/04/2011 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Пожелание на будущие - сделать тест ssd т.к. есть тенденция делать ssd системным и быстрым, а остальное хранилище - 7200 или 5400 винты

     
     
  • 2.52, runoverheads (ok), 14:50, 08/04/2011 [^] [ответить]    [к модератору]  
  • +/
    лучше FS тестировать на обычных винтах. на ssd слишком много логики в контроллере и разных аппаратных нюансов, которые не дадут сделать объективное сравнение.
     
     
  • 3.53, q (??), 15:04, 08/04/2011 [^] [ответить]    [к модератору]  
  • +/
    Почему не дадут? По результатам тестирования можно будет понять годиться ФС для данного типа накопителя или нет. Вообще, в связи со спецификой флешнакопителей-ограниченность ресурса цикла записи на сектор, для них придумывают специальные ФС, которые уменьшают количество циклов записи.
     
  • 1.61, runoverheads (ok), 17:38, 08/04/2011 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Посмотрите например TRIM. Скорость записи на ssd зависит от очищенности блока страниц. Поэтому при повторным запуске теста/удалении записи файлов, результаты будут отличаться на случайную величину.

    > для них придумывают специальные ФС

    это какие?
    с точки зрения объёма данных reiser4 самая экономная из linux'овых, а период времени физической записи данных на диск у все fs настраиваемый.

     
  • 1.65, Piter_Ring (ok), 22:43, 09/04/2011 [ответить] [показать ветку] [···]    [к модератору]  
  • –2 +/
    Павлин, начал читать тред - потом смекнул, тут что-то  не то.
    Могу сказать, поставленную задачу ты решилуспешно! ;) (не все поняли в чем заключалась "соль")

    Что касается самих "спагетти" (как было сказано выше) - не всем понятна цель данного тестирования.
    Проделано куча работы а вот результат пока что не очень пригоден для каких либо оценок.

    Для такого рода "сравнений" нужно определить ЦЕЛЬ тестирования.
    Напимер:(как тут выражали мнение) "опустить конкретную фс".
    или "оперделить самую быструю в мб/сек/%ЦПУ ФС".
    Привести анализ существующих методологий оценки данных критериев.
    Потом определить/разработать методологию сравнения в одном "весовом" поле.
    Ну и самое важное, создать "равноценные условия" отработки синтетических тестов.
    Что бы исключить влияние сторонних факторов.
    И только потом проведя !!!многократную!!! прогонку тестов - свести результаты.
    На выходе получишь "сырую" тему для научной работы. Если оформить все надлежащим образом можешь публиковаться в научных дайджестах.

    В общем, правильным путем идешь, товарисч.

     
  • 1.66, Аноним (-), 21:30, 13/04/2011 [ответить] [показать ветку] [···]     [к модератору]  
  • +/
    Опустим газету в серную кислоту, а журнал ТВ-парк в дистилированную воду ... весь текст скрыт [показать]
     
     
  • 2.68, prof_alex (?), 09:08, 16/04/2011 [^] [ответить]    [к модератору]  
  • +/
    > Опустим газету в серную кислоту, а журнал "ТВ-парк" в дистилированную воду...

    Чукча не читатель, чукча писатель: http://www.opennet.ru/openforum/vsluhforumID3/76117.html#8

     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor