The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]



"Оптимизация Linux для обработки 1.2 млн JSON-запросов в секунду"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Оптимизация Linux для обработки 1.2 млн JSON-запросов в секунду"  +/
Сообщение от opennews (ok), 21-Май-21, 08:56 
Опубликовано детальное руководство по тюнингу окружения Linux для достижения максимальной производительности обработки HTTP-запросов. Предложенные методы позволили поднять производительность обработчика JSON на основе библиотеки libreactor   в окружении Amazon EC2 (4 vCPU) c 224 тысяч запросов API в секунду при штатных настройках Amazon Linux 2 с ядром 4.14 до 1.2 млн запросов в секунду после проведения оптимизации (прирост 436%), а также привели к сокращению задержек при обработке запросов на 79%. Предложенные методы не специфичны для libreactor и работают при использовании других http-серверов, включая nginx, Actix, Netty  и Node.js (libreactor использовался в тестах, так как решение на его основе показало лучшую производительность)...

Подробнее: https://www.opennet.ru/opennews/art.shtml?num=55186

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –9 +/
Сообщение от Леголасemail (ok), 21-Май-21, 08:56 
> Отключение защиты от уязвимостей, вызванных спекулятивным выполнением инструкций

отличное решение

Ответить | Правка | Наверх | Cообщить модератору

10. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +45 +/
Сообщение от Аноним (10), 21-Май-21, 09:25 
Зачем вам защита от Spectre на сервере, на котором выполняется только ваш собственный процесс? Вы же там чужой код и браузер не запускайте.
Ответить | Правка | Наверх | Cообщить модератору

23. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –7 +/
Сообщение от YetAnotherOnanym (ok), 21-Май-21, 09:48 
> только ваш собственный процесс
> в окружении Amazon EC2

Не знал, что омерзон даёт каждому клиенту отдельный физический сервер.

Ответить | Правка | Наверх | Cообщить модератору

40. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +18 +/
Сообщение от Аноним (10), 21-Май-21, 10:13 
При рассматриваемой интенсивности обработки запросов все атаки по сторонним каналам бессмысленны из-за зашумлённости, их разве что можно в лабораторных условиях воспроизвести, где кроме кода жертвы и атакующего ничего не выполняется. И даже в идеальных условиях защита от cross-VM утечек нужна на стороне гипервизора, а не гостевого окружения.
Ответить | Правка | Наверх | Cообщить модератору

49. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +9 +/
Сообщение от Аноним (49), 21-Май-21, 10:49 
Про Spectre раньше так говорили в принципе, пока реальные эксплоиты не появились.
Ответить | Правка | Наверх | Cообщить модератору

70. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +3 +/
Сообщение от Аноним (70), 21-Май-21, 12:05 
Но интенсивность запросов может иногда и снижаться до приемлемого для анализа по сторонним каналам уровня. В зависимости от времени суток, времени года, и т.д.
Ответить | Правка | К родителю #40 | Наверх | Cообщить модератору

134. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –1 +/
Сообщение от Кирилл (??), 21-Май-21, 20:56 
Попытка атаки будет очень заметна в графике производительности, особенно с учётом того, что они там привязались к ядрам (очевидно физическим, я хз как, но смысл привязываться к виртуальным?). Им всего то надо держать высокую загрузку серверов и останавливать простаивающие контейнеры для экономии денег.
Ответить | Правка | Наверх | Cообщить модератору

24. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +3 +/
Сообщение от Аноним (24), 21-Май-21, 09:49 
Откуда ты знаешь?
Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору

29. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –2 +/
Сообщение от _hide_ (ok), 21-Май-21, 09:53 
В браузере уже вшиты средства защиты с "плавающими задержками", которые очень сильно затрудняют несанкционированный доступ к памяти.
Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору

59. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +3 +/
Сообщение от _unhide_ (?), 21-Май-21, 11:24 
новость про сервер, а доступ к серверу не обязательно через браузер
Ответить | Правка | Наверх | Cообщить модератору

11. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +6 +/
Сообщение от Аноним (11), 21-Май-21, 09:27 
В большинстве случаев эта защита и не нужна
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

78. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +6 +/
Сообщение от Аноним (78), 21-Май-21, 12:37 
да-да-да, кл-ко-ко, местные знатоки IT подъехали
Ответить | Правка | Наверх | Cообщить модератору

130. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +1 +/
Сообщение от Аноним (130), 21-Май-21, 20:13 
Это ты так себя вызываешь?
Ответить | Правка | Наверх | Cообщить модератору

135. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +1 +/
Сообщение от Кирилл (??), 21-Май-21, 20:58 
Мне кажется крупный инфраструктурный сервис - как раз то место, где защита нужна.
Ответить | Правка | К родителю #11 | Наверх | Cообщить модератору

163. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Аноним (163), 22-Май-21, 18:11 
AWS и так с этой секурной фигней, зачем ее рекурсивно включать еще внутри?
Ответить | Правка | Наверх | Cообщить модератору

171. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от жоннн (?), 23-Май-21, 11:01 
наши кодеры вручную могу 3 млн сделать
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

2. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +11 +/
Сообщение от Аноним (2), 21-Май-21, 08:58 
>Отключение dhclient и установка IP-адреса вручную привела к повышению производительности на 6%, а пропускная способность возросла с 1.06M req/s до 1.12M req/s.

интересно, это как, за счёт чего? dhclient один раз получил айпи и дальше спит всё время

Ответить | Правка | Наверх | Cообщить модератору

4. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +4 +/
Сообщение от Аноним (4), 21-Май-21, 09:02 
Спит и потребляет ресурсы. Вот гад.
Ответить | Правка | Наверх | Cообщить модератору

7. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –6 +/
Сообщение от Василий (??), 21-Май-21, 09:08 
ВОЗМОЖНО это связано со сроком аренды от сервера DHCP. Клиент, получивший сетевые настройки, ОБЯЗАН по истечении половины срока аренды снова обратиться к серверу DCHP. Если срок аренды короткий, то, возможно, клиент часто обращается к DHCP серверу, что, каким-то образом, негативно влияет на производительность по сравнению со  static IP.
https://selectel.ru/blog/dhcp-protocol/
Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

19. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +21 +/
Сообщение от ryoken (ok), 21-Май-21, 09:45 
>> https://selectel.ru/blog/dhcp-protocol/
> Например, администратор может задать диапазон используемых IP-адресов от 192.0.0.10 до 192.0.0.400.

мде...

Ответить | Правка | Наверх | Cообщить модератору

67. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –8 +/
Сообщение от Аноним (67), 21-Май-21, 11:55 
лень читать, вкратце перескажите что "мде", пожалуйста
Ответить | Правка | Наверх | Cообщить модератору

73. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +5 +/
Сообщение от Andrii (?), 21-Май-21, 12:10 
Что это за адрес такой 192.0.0.400 ?
Ответить | Правка | Наверх | Cообщить модератору

77. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –11 +/
Сообщение от Аноним (78), 21-Май-21, 12:36 
некто ryoken, чё сложно что ли сразу написать про 400? иди-ка сделай что делают за 300
Ответить | Правка | Наверх | Cообщить модератору

100. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +2 +/
Сообщение от Жироватт (ok), 21-Май-21, 14:34 
БАЙТ
РАЗМЕР БАЙТА
Хе.
Ответить | Правка | К родителю #67 | Наверх | Cообщить модератору

113. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от ыы (?), 21-Май-21, 16:02 
>Например, администратор может задать диапазон .... до 192.0.0.400.

А собственно с чего смешки то?
Задать - может и может :)

Ответить | Правка | Наверх | Cообщить модератору

114. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +3 +/
Сообщение от ыы (?), 21-Май-21, 16:06 
Да и вообще что мы знаем о способностях администраторов selectel.ru ?
Может они переписали сетевой стэк на dword и баста...их сети, что хотят то и делают...
Ответить | Правка | Наверх | Cообщить модератору

74. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Аноним (74), 21-Май-21, 12:12 
Скорее всего опечатка, там дальше по тексту видно что до 200
Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

140. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +1 +/
Сообщение от Dzen Python (ok), 21-Май-21, 23:57 
192. 0 .0. 400
Две ошибки в одном адресе. Доннер веттер!
Ответить | Правка | Наверх | Cообщить модератору

30. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +14 +/
Сообщение от Аноним (30), 21-Май-21, 09:55 
Скорее всего рн держит открытый raw сокет в прицепленым к нему bpf фильтром, что и вызывает массу ненужных действий внутри ядра.
Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

115. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +1 +/
Сообщение от mumu (ok), 21-Май-21, 16:23 
Надеюсь кто-то решит эту проблему. Использование dhcp на серверах это хороший тон в администрировании, и то что они все сейчас из-за этого хоть немного, но тормозят, уже не делает мой сон настолько сладким.
Ответить | Правка | Наверх | Cообщить модератору

131. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Аноним (130), 21-Май-21, 20:16 
Выкинуть на мороз все ваши bpf
Ответить | Правка | Наверх | Cообщить модератору

144. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Аноним (144), 22-Май-21, 06:29 
И станет еще тормознее. Экспертов по сетевому стеку линукса подвезли
Ответить | Правка | Наверх | Cообщить модератору

156. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Аноним (156), 22-Май-21, 13:42 
> Экспертов по сетевому стеку линукса подвезли

Ну, с прибытием, чё.

Ответить | Правка | Наверх | Cообщить модератору

139. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от anonymous (??), 21-Май-21, 23:47 
DHCP -- это хорошо для provisioning-а. Но использовать его на постоянной основе на серверах -- это достаточно спорное решение. И вовсе не из-за производительности, а из-за reliability.
Ответить | Правка | К родителю #115 | Наверх | Cообщить модератору

3. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +11 +/
Сообщение от Аноним (4), 21-Май-21, 09:01 
Выключаем оптимизации от дыр в процессоре и все работает быстрее. Кто бы мог подумать.
Ответить | Правка | Наверх | Cообщить модератору

141. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от B (?), 22-Май-21, 00:07 
Они наконец стали BDS догонять. Но ещё много работы...
Ответить | Правка | Наверх | Cообщить модератору

5. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –2 +/
Сообщение от Catwoolfii (ok), 21-Май-21, 09:03 
>Отключение системных сервисов, приводящих к лишним блокировкам в сетевом стеке. Отключение dhclient и установка IP-адреса вручную привела к повышению производительности на 6%, а пропускная способность возросла с 1.06M req/s до 1.12M req/s.

LOL. Вообще вот это все для чего? Для бенчмарков или для production?

Ответить | Правка | Наверх | Cообщить модератору

22. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +13 +/
Сообщение от нах.. (?), 21-Май-21, 09:47 
для prodiction, но не твоего, васян, а пейсбука.

Когда у тебя ряд из сотни стоек, то 6% - это минус шесть стоек под той же нагрузкой. Каждая из которых стоит больше, чем все твои почки, печенка и прочий ливер, даже если они еще и годятся для донорства, а не только на рояльканин.

Ну и да, прикольно, однако, получилось. То есть интуитивно, конечно, всегда считал dhcp для серверов исключительно унылым г-ном, но такого совершенно не ожидал. (ну а чо вы хотите, он же, помнится, любитель raw socket?)

Ответить | Правка | Наверх | Cообщить модератору

27. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +1 +/
Сообщение от Аноним (24), 21-Май-21, 09:52 
Да эти шкафы от стоек как чемоданы без ручки. Когда нужны их нет, а когда стоят без дела не знаешь кому их отдать.
Ответить | Правка | Наверх | Cообщить модератору

33. Скрыто модератором  –3 +/
Сообщение от нах.. (?), 21-Май-21, 10:00 
Ответить | Правка | Наверх | Cообщить модератору

79. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +2 +/
Сообщение от YetAnotherOnanym (ok), 21-Май-21, 12:40 
Я с удовольствием заберу, если оно им так мешает. Самовывозом,  даже на демонтаж готов из своих заплатить.
Ответить | Правка | К родителю #27 | Наверх | Cообщить модератору

151. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –1 +/
Сообщение от Брат Анон (ok), 22-Май-21, 09:52 
Подари мне лишние. У меня лишних нет. Майнить не на чем. Как подаришь -- побегу к соседям лектричество выпрашивать не ставя соседей в известность.
Ответить | Правка | К родителю #27 | Наверх | Cообщить модератору

64. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +1 +/
Сообщение от DildoZilla (?), 21-Май-21, 11:43 
100 дорогущих стоек купили и из-за 6 жмутся? Смузиброды!
Ответить | Правка | К родителю #22 | Наверх | Cообщить модератору

152. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Брат Анон (ok), 22-Май-21, 09:53 
Гретта в бешенстве!!
Ответить | Правка | Наверх | Cообщить модератору

132. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Аноним (130), 21-Май-21, 20:19 
Ну и ты конечно нам расскажеш про хорошую и безопасную замену dhcp сервера?
Ответить | Правка | К родителю #22 | Наверх | Cообщить модератору

146. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от ewdoror (?), 22-Май-21, 07:31 
а когда у тебя 100 вагонов с золотом, то это целых 6 вагонов с золотом
6% это всегда 6%
Ответить | Правка | К родителю #22 | Наверх | Cообщить модератору

172. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от penetrator (?), 24-Май-21, 00:45 
я смотрю 12 человек освоило матиматику и знает что такое 6%

но потом пейсбук вводит новую функцию, на которую нужно еще 100 шкафов, и почти все старые оптимизации становятся бессмысленны.

а дальше очередной раунд оптимизаций... за цену оптимизаторов можно девелоперам накинуть, чтобы говна поменьше писали, самый маржинальный прирост производительности - архитектурный.

это не оптимизация CRC16 в линухе, которая никогда не поменяется, и то могут быть нюансы для разных процессорных архитектур.

Ответить | Правка | К родителю #22 | Наверх | Cообщить модератору

173. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от нах.. (?), 24-Май-21, 11:10 
> потом пейсбук вводит новую функцию, на которую нужно еще 100 шкафов, и почти все старые
> оптимизации становятся бессмысленны.

не становятся - повторю, именно поэтому к шкафу и прикован инженер, настоящий, не впопеннетчик, и даже цепь достаточно длинная чтобы он мог заниматься в нерабочее время подобными экспериментами.

> а дальше очередной раунд оптимизаций...

старые при этом никуда не деваются. Обрати внимание - больше половины там не за счет конкретного сервера (который тоже никуда, скорее всего, не денется сам по себе, поскольку это не фейсбукоспецифичное, а универсальное, и для новой функции тоже будет употреблено) а общесистемного. Поэтому шкафов изначально поменьше, чем потребовалось бы без прикованного к ним кожанного мешка. А там, глядишь, и еще что сумеет оптимизировать.

Т.е. вопрос исключительно цены - если твои 6% в твоем единственном сервере не видны вообще никак - то тебе оно и не надо. Если ты Сцукенберг - твои 6% очень даже выгодно получить налом, не потратившись на лишние шкафы. Одна цепь и одна миска с кормом существенно дешевле обходится.

Если ты где-то в промежутке - то внедрив у себя даже только небольшую часть тех улучшизмов - все еще можешь заслужить себе в миску хотя бы рояльканин, а не педигри.

Ответить | Правка | Наверх | Cообщить модератору

174. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от penetrator (?), 24-Май-21, 11:21 
это все верно, но для низковолатильной системы, чет я сомневаюсь что пейсбук именно такой, хотя может развитие и остановилось, но в прогресирующих системах следующие 100 шкафов просто факт


P.S. народ подскажите лучше какие есть альтернативы LUKS+dmcrypt для FDE, сильно проседает производительность дисковой подситемы, теряем около 30-40%

Ответить | Правка | Наверх | Cообщить модератору

175. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от нах.. (?), 24-Май-21, 11:26 
> прогресирующих системах следующие 100 шкафов просто факт

у пейсбука это не 100, а скорее 1000 на самую мелкую доработку алгоритмов слежки. И да, экономия даже 60 из них - вполне оправдают содержание одного приличного раба.

А там на самом деле куда больше наэкономилось.

Ответить | Правка | Наверх | Cообщить модератору

6. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Аноним (6), 21-Май-21, 09:07 
Интересное исследование, добавил в закладки
Ответить | Правка | Наверх | Cообщить модератору

8. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +12 +/
Сообщение от pin (??), 21-Май-21, 09:21 
> который был улучшен путём удаления кода для ограничения числа используемых ядер CPU

Гениально.

Ответить | Правка | Наверх | Cообщить модератору

9. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –3 +/
Сообщение от Аноним (9), 21-Май-21, 09:22 
а потом они откроют для себя gentoo, и окажется что правильной компиляцией с подходящим списком зависимостей, можно повысить производительность до аналогичного уровня не отключая защиты
Ответить | Правка | Наверх | Cообщить модератору

13. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +16 +/
Сообщение от Аноним (13), 21-Май-21, 09:32 
то есть после отключения будет ещё быстрее?
Ответить | Правка | Наверх | Cообщить модератору

12. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +1 +/
Сообщение от Агл (?), 21-Май-21, 09:28 
заморочились. кому-то может сэкономить время, иначе потраченное на бесполезный вариант оптимизации
Ответить | Правка | Наверх | Cообщить модератору

69. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от ыы (?), 21-Май-21, 12:04 
кто "заморочилИСЬ"?

чувак сидел дома в изоляции от ковида, писал статьи, ему было скучно...

Ответить | Правка | Наверх | Cообщить модератору

14. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Аноним (14), 21-Май-21, 09:35 
> Предложенные методы не специфичны для libreactor
> Пункт 1. Оптимизация кода libreactor. Общий прирост производительности после оптимизации кода составил 55%.

Это шутка такая?

> Отключение защиты от уязвимостей
> Отключение механизмов аудита

В чем собственно, тогда цель исследования? Посмотреть насколько это губит производительность? Или что? Изначально было понятно, что это всё не бесплатно и пагубно влияет на производительность.

Ответить | Правка | Наверх | Cообщить модератору

16. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Аноним (16), 21-Май-21, 09:39 
Цель исследования - как делать больше бабок на меньшем числе серверов.
Ответить | Правка | Наверх | Cообщить модератору

21. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –4 +/
Сообщение от YetAnotherOnanym (ok), 21-Май-21, 09:46 
> как дать возможность неведомым майнерам делать больше бабок на любом числе ваших серверов.

пофиксил

Ответить | Правка | Наверх | Cообщить модератору

101. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +1 +/
Сообщение от Жироватт (ok), 21-Май-21, 14:36 
> как дать возможность неведомым GraceLoverBear сливать больше инфы на любом числе ваших серверов.

Фикс фикса

Ответить | Правка | Наверх | Cообщить модератору

54. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от ыы (?), 21-Май-21, 11:14 
Если вы, и вот автор которому вы отвечаете, наконец прочтете текст исследования - то узнаете что автор исследования делал это для собственного развлечения.
"just for fun"
Вот так вот...
Ответить | Правка | К родителю #16 | Наверх | Cообщить модератору

31. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –1 +/
Сообщение от нах.. (?), 21-Май-21, 09:56 
> В чем собственно, тогда цель исследования? Посмотреть насколько это губит производительность?

и выключить то, что влияет сильно, оставив безобидное, да.

> Изначально было понятно, что это всё не бесплатно и пагубно влияет на производительность.

изначально это был бы твои васянские фантазии. А теперь у пейсбука есть замеры, позволяющие обоснованно отключить ненужную видимость безопасности там, где она реально вредит бизнесу.

И у тех кто в голову умеет не только кушать - тоже, спасибо пейсбуку за наше счастливое детство.

Ну то есть стало очевидно что борцунство с изоляцией бессмысленно, как и идеи секты свидетелей -09 ломающие все подряд, эти доли процента нужны только пейсбуку, а вот nospectre_v2 критично.

Ну и dhcp, конечно, впечатлил. Не столько выигрышем, сколько тем что он вообще измерим, причем заметен.

Ответить | Правка | К родителю #14 | Наверх | Cообщить модератору

51. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от evk (??), 21-Май-21, 10:59 
Мне еще понравился прирост от привязки к ядрам.
Сейчас это слишком трудно делается.
Показан не теоретический, а конкретный и значительный прирост.
Это явное место развия ядра, предоставление простых механизмов привязки процессов.
Ответить | Правка | Наверх | Cообщить модератору

55. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +1 +/
Сообщение от ыы (?), 21-Май-21, 11:17 
Да нет там  никакой привязки. смотрите текст исследования.

Чувак запустил htop и обнаружил что программа использовала только два ядра из 4-х. задался вопросом зачем?? Может быть авторы таким образом пытались избавится от переключения контента, от снижения конкурентного доступа на ядрах... Он в качестве пробы убрал этот код...

Ответить | Правка | Наверх | Cообщить модератору

60. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от нах.. (?), 21-Май-21, 11:30 
> Мне еще понравился прирост от привязки к ядрам.

похоже, какая-то личная проблема именно этого пейсбукосервера.
Я не добился взаимности от отключения irqbalance и ручного рассовывания по ядрам на своих коробочках, где ядра мало того что тормозные, так еще и половина маломощные.

Возможно, потому что они, разумеется, загружены не на 100, а на 10%, и обычный планировщик и так успешно справляется с распиныванием задач по процессорам, не слишком часто меняя их на ходу (и да, он у меня нештатный и знает про big.LITTLE)

Может еще дело в EC2. Мамазон может использовать (да наверняка и) железо с NUMA, не пробрасывая эту информацию в виртуализацию. Не то чтобы мне удавалось глазами увидеть разницу, но вот техподдержка вмвари, например, со мной не согласна. Сочетание неэффективной адресации с автобалансировкой, теоретически, может дать вполне заметные потери (опять же - на фейсбуко-нагрузках, простым смертным пофигу).

> Это явное место развия ядра, предоставление простых механизмов привязки процессов.

да они вообще-то простые, только их двадцать таких простых. taskset для юзерспейса, /sys для прерываний и кстати угадай какое от чего, другой /sys для многоголовых сетевых карт.

Ответить | Правка | К родителю #51 | Наверх | Cообщить модератору

15. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +1 +/
Сообщение от Аноним (16), 21-Май-21, 09:38 
>> при запуске контейнера docker

Я знаю где ещё достать 146% производительности, удалив одну прокладку

Ответить | Правка | Наверх | Cообщить модератору

18. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +1 +/
Сообщение от YetAnotherOnanym (ok), 21-Май-21, 09:44 
Без докера не модно.
Ответить | Правка | Наверх | Cообщить модератору

44. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +7 +/
Сообщение от Леголасemail (ok), 21-Май-21, 10:20 
> Отдельный запуск libreactor не отличался в производительности от запуска в контейнере

весь текст не осилили?

Ответить | Правка | К родителю #15 | Наверх | Cообщить модератору

52. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +1 +/
Сообщение от evk (??), 21-Май-21, 11:01 
Вы тоже не осилили.
>Отключение механизмов аудита и блокировки системных вызовов при помощи команды "auditctl -a never,task" и указания опции "--security-opt seccomp=unconfined" при запуске контейнера docker. Общий прирост производительности составил 11%, а пропускная способность возросла с 446k req/s до 495k req/s.

Мне кажется проще его выключить

Ответить | Правка | Наверх | Cообщить модератору

56. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от ыы (?), 21-Май-21, 11:20 

Я прочитаю это за Вас и скопирую сюда:

"Отдельный запуск libreactor не отличался в производительности от запуска в контейнере" (с)

Не благодарите...

Ответить | Правка | Наверх | Cообщить модератору

58. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Леголасemail (ok), 21-Май-21, 11:24 
благодарствую
Ответить | Правка | Наверх | Cообщить модератору

86. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +4 +/
Сообщение от Rev (?), 21-Май-21, 13:08 
То есть они сначала у контейнера отключили аудит и безопасность, а уже потом пробовали запускать в этом контейнере и без него? :)))
Ответить | Правка | К родителю #56 | Наверх | Cообщить модератору

98. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –1 +/
Сообщение от ыы (?), 21-Май-21, 14:26 
скажите тогда уж в чем шутка, чтоб все посмеялись...А то как-то странно выглядят смайлики в этом месте.
Ответить | Правка | Наверх | Cообщить модератору

106. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от нах.. (?), 21-Май-21, 15:18 
> То есть они сначала у контейнера отключили аудит и безопасность, а уже потом пробовали запускать
> в этом контейнере и без него? :)))

ага. Напоминает любимое Оленем исследование "неэффективности закрытия общественного транспорта как карантинной меры". Ага, абсолютно никакого эффекта не дает - во всех проверенных исследователями случаях (когда транспорт закрывали уже ПОСЛЕ того как оцелопы п-ли дубинкой за попытку высунуть нос из квартиры - и до него уже давно никто просто не доходил).

А так-то да, неплохой подсчет потерь эффективности на докер в докере под докером. Похоже, как бы не больше чем от паравиртуализации получается.

Ответить | Правка | К родителю #86 | Наверх | Cообщить модератору

107. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Аноним (107), 21-Май-21, 15:42 
Контейнеры не столько для безопасности, сколько для повторяемости результата на других железках.
Ответить | Правка | К родителю #86 | Наверх | Cообщить модератору

112. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –2 +/
Сообщение от ыы (?), 21-Май-21, 15:57 
они вообще не про безопасность. они про развертывание и воспроизводимость...
Ответить | Правка | Наверх | Cообщить модератору

62. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от нах.. (?), 21-Май-21, 11:35 
> Мне кажется проще его выключить

Вероятно, пейсбук не умеет в rpm ;-) [dpkg или что там у них]
Еще и host networking до кучи, ага.

Ответить | Правка | К родителю #52 | Наверх | Cообщить модератору

17. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –2 +/
Сообщение от YetAnotherOnanym (ok), 21-Май-21, 09:43 
> Оптимизация кода libreactor

А это точно "оптимизация Linux"?
> Отключение защиты от уязвимостей
> Отключение механизмов аудита и блокировки
> Отключение iptables/netfilter

Осталось выставить соответствующие сервисы голой дупой в Интернет и ждать гостей.

Ответить | Правка | Наверх | Cообщить модератору

20. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Анонус (?), 21-Май-21, 09:45 
На картинке Actix производительнее, чем Nginx. Это что же, сишечка слила ржавому по скорости??
Ответить | Правка | Наверх | Cообщить модератору

47. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +1 +/
Сообщение от Shatur (ok), 21-Май-21, 10:42 
Наоборот же, nginx быстрее оказался.
Ответить | Правка | Наверх | Cообщить модератору

25. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –2 +/
Сообщение от Онаним (?), 21-Май-21, 09:49 
- Скорость набора какая?
- 9000 знаков в минуту.
- Разве можно с такой скоростью печатать?
- Конечно можно, правда такая херня получается!
Ответить | Правка | Наверх | Cообщить модератору

26. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –1 +/
Сообщение от нах.. (?), 21-Май-21, 09:51 
Кстати, интересно, а как им удалось при использовании ненужнодоскер избавиться от iptables?

Ответить | Правка | Наверх | Cообщить модератору

53. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +1 +/
Сообщение от Аноним (53), 21-Май-21, 11:10 
Вероятно что "--network host"
Ответить | Правка | Наверх | Cообщить модератору

61. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –2 +/
Сообщение от нах.. (?), 21-Май-21, 11:33 
> Вероятно что "--network host"

и по одному контейнеру на хост? Нда, я бы докер выбросил еще предыдущим ходом.


Ответить | Правка | Наверх | Cообщить модератору

28. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +8 +/
Сообщение от anonymous (??), 21-Май-21, 09:52 
Т.е. 28% производительности процессора у нас украл его изготовитель, встроив уязвимость, от которой необходимо защищаться такой большой ценой
Ответить | Правка | Наверх | Cообщить модератору

32. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –10 +/
Сообщение от нах.. (?), 21-Май-21, 09:57 
Белка-истеричка, ты ее сама у себя "украла", включив защиту от того, чего быть не может.
Ответить | Правка | Наверх | Cообщить модератору

157. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Аноним (156), 22-Май-21, 13:43 
Дол!@#б шт0ле, с-ка? Заshitу завезли превентивно, тебя не спросили. Теперь выковыривай ее полностью из ведра ручками, не забудь предварительно в аптеке Визином(tm) запастись.
Ответить | Правка | Наверх | Cообщить модератору

160. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –1 +/
Сообщение от нах.. (?), 22-Май-21, 14:38 
> Дол!@#б шт0ле, с-ка? Заshitу завезли превентивно, тебя не спросили.

там чувак песни пел про проклятуууущих производителей процессоров, не ты, надеюсь? Но твое неумение читать на что отвечаешь, а не последнее в треде это не отменяет.
Проблема ж не в процессорах, в белках-истеричках присунувших нам всем свою безопастность - в ядре, в котором миллион пищалок перделок и крутилок не сделав еще одной, а прибив метровыми гвоздями. И божок-с-пальцем ничего не вякнул об их неумении кодить, заметь.

> Теперь выковыривай ее полностью из ведра ручками

а тут согласен. 6% vs 30 :-(

> не забудь предварительно в аптеке Визином(tm) запастись.

визин тут не слишком поможет, а капли вечной жизни в аптеке не продают.
Судя по тому что патчи достали многих и в гугле, и в мордокниге в том числе, но антипатч так никто и не сумел предложить, колются, плачут, отключают отключалками и продолжают грызть кактус - в мире есть буквально несколько десятков человек, способных на такой подвиг.

Я, конечно, кое где еще могу себе позволить:
ls: cannot access /sys/devices/system/cpu/vulnerabilities: No such file or directory

но это вряд ли надолго. Поддерживать 3.0 ведро так себе развлекуха.

Ответить | Правка | Наверх | Cообщить модератору

35. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +1 +/
Сообщение от 1 (??), 21-Май-21, 10:04 
Хммм ... Не думал, что на Linux файервол настолько дорог. Интересно бы сравнить с pf и ipfw
Ответить | Правка | Наверх | Cообщить модератору

45. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –5 +/
Сообщение от нах.. (?), 21-Май-21, 10:25 
> Хммм ... Не думал, что на Linux файервол настолько дорог.

это для пейсбука он "настолько". Ты, скорее всего, даже и не заметишь разницу.

> Интересно бы сравнить с pf и ipfw

сравнивай, методику тебе выложили. Предвижу отвратительные результаты у обоих, эффективность ни разу не их конек.
Но, опять же, актуально для пейсбуков. Все остальные не сумеют обнаружить разницу на своем реальном траффике.


Ответить | Правка | Наверх | Cообщить модератору

165. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –3 +/
Сообщение от Аноним (-), 22-Май-21, 21:10 
На фряхе он оказался ещё дороже. Я как лох повёлся на бздишный хайп и взял VPSку на этой самой фряхе. Чисто попробовать. Фряхой я пользуюсь сильно изредка, но тк там кое-что нужное мне - нативное, поэтому вот.

Но первым делом мне нужен был впн. Соответственно - NAT. Втыкаю natd - пропускная способность падает до килобит, вместо 200mbit, выделенных VPSке. Пробовал in-kernel NAT, чуть лучше, но все равно остается в килобитном диапазоне. Даже до мегабита не дотягивает, не то что до 200mbit.

Самое смешное, что я не знал, что фряха так может лажать и накатал тикет провайдеру, типа чо за хрень у вас с сеткой. Они тоже не знали что фряха такое говно и перевели мою VPSку на другой сервер, что, разумеется, не помогло. Уже потом, когда я стал ковырять это говно глубже, вот тогда все это и выяснилось. Перед провайдером я, конечно, извинился, но как юзер не могу считать себя виноватым. Всё делал строго по букварям, а уж если буквари годятся только для розжига, ну и система ваша туде же должна идти.

Вобщем, все надо использовать с особой осторожностью и никому не верить, типа нетфликс всё раздает с фряхи и все норм. Лажа все это.

Ответить | Правка | К родителю #35 | Наверх | Cообщить модератору

178. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от братюня анонов (?), 24-Май-21, 13:03 
А не судьбы была либо взять готовое решение из *sense-семейства (pfsense или opnsense)?

Или хотя бы погуглить на тему "freebsd natd" и прочитать сответствующий материал (аж десятилетней давности) на том же хабре - https://habr.com/ru/post/111580/
Где, в частности, в конце есть сравнения - и они точно не в пользу natd.
И комментарии там есть вполне информативные в обсуждении.

Так чтааа, панимаишь - кулст0ри бр0, пеши исч0.

Ответить | Правка | Наверх | Cообщить модератору

180. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от нах.. (?), 28-Май-21, 13:02 
тем не менее, несколько десятков мегабит там вполне намеряли, вовсе не килобиты, причем на железе десятилетней давности и вряд ли особо пафосном - так что тут что-то не так. Либо с vps, либо с провайдером.

Ну а в принципе, когда там появился ipfw nat без divert socket (остальные глюкала я настоятельно не советую даже пробовать) - лет пятнадцать тому? Надо ж иногда и обращать внимание на дату копипасты, которую себе копируешь из вопроса, не дочитав до ответа.

Ответить | Правка | Наверх | Cообщить модератору

39. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +1 +/
Сообщение от Анонимemail (39), 21-Май-21, 10:10 
интересно, а что надо подкрутить на моём двухядерном корче (athlon 5000+ и nvidia 8100) что бы то же 5 раз ускорить?
ssdшку поставил, рамы 4, xubuntu
какой там параметр ядра надо поковырять?
Ответить | Правка | Наверх | Cообщить модератору

43. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +3 +/
Сообщение от Аноним (43), 21-Май-21, 10:18 
Поставить генту (арч отстой) и крутить его до полного просветления.
Ответить | Правка | Наверх | Cообщить модератору

46. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +4 +/
Сообщение от Анонимemail (39), 21-Май-21, 10:27 
Просветления, что пора покупать новый пк?
Ответить | Правка | Наверх | Cообщить модератору

50. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –1 +/
Сообщение от Аноним (50), 21-Май-21, 10:54 
там же написано
>Использование параметров при загрузке ядра "nospectre_v1 nospectre_v2 pti=off mds=off tsx_async_abort=off" позволило поднять производительность
Ответить | Правка | К родителю #39 | Наверх | Cообщить модератору

71. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +1 +/
Сообщение от Anonimemail (??), 21-Май-21, 12:07 
Поставить арч (генту отстой) и крутить его до полного просветления.

Ответить | Правка | К родителю #39 | Наверх | Cообщить модератору

81. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Аноним84701 (ok), 21-Май-21, 12:50 
> Поставить арч

Купить козу (с) (а через месяц -- продать).


Ответить | Правка | Наверх | Cообщить модератору

75. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –2 +/
Сообщение от Аноним (70), 21-Май-21, 12:21 
>рамы 4

Это норма 10 лет назад давности. Сейчас норма на стационарнике - 16. Так что для тюнинга поставь, как минимум, 32.

Ответить | Правка | К родителю #39 | Наверх | Cообщить модератору

105. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +2 +/
Сообщение от Vlad violentiyemail (?), 21-Май-21, 14:55 
ага, ддр2, 16 гигов рамы.
там планку на 4гб найти невозможно
Ответить | Правка | Наверх | Cообщить модератору

133. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +2 +/
Сообщение от Ууууу... (?), 21-Май-21, 20:24 
Мне на восьми уже 10 лет нормально, думаю ещё года 3-4 тоже будет нормально.
Ответить | Правка | К родителю #75 | Наверх | Cообщить модератору

41. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +3 +/
Сообщение от Нанобот (ok), 21-Май-21, 10:13 
> замены вызовов read/write на recv/send (5-10%)

в жизни бы не догадался, что это может влиять

> Не повлияло на производительность обновление ядра Linux до версий 4.19 и 5.4

и таким образом лишили многих линуксоидов смысла жизни

Ответить | Правка | Наверх | Cообщить модератору

42. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Аноним (43), 21-Май-21, 10:18 
Зато падение до 2.6 дает прирост, но там докер может сделать ручкой.
Ответить | Правка | Наверх | Cообщить модератору

63. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от нах.. (?), 21-Май-21, 11:41 
> Зато падение до 2.6 дает прирост, но там докер может сделать ручкой.

не факт, посмотри на героическую борьбу со спинлоками, и учти что 2.6 это времена двухпроцессорных петниумовпро.

Тогда никто вообще не заморачивался подобными оптимизациями, внутри ядра в том числе.


Ответить | Правка | Наверх | Cообщить модератору

76. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +1 +/
Сообщение от Аноним (70), 21-Май-21, 12:23 
Наоборот, добавило уверенности, что новые ядра не медленнее старых.
Ответить | Правка | К родителю #41 | Наверх | Cообщить модератору

48. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Анонимemail (48), 21-Май-21, 10:48 
нуу... если они из кода уберут if/else... могут еше прибавить...
Ответить | Правка | Наверх | Cообщить модератору

65. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +1 +/
Сообщение от eganru (?), 21-Май-21, 11:53 
[i]если они из кода уберут if/else[/i] - дешевле отказаться от json в сторону бинарных форматов, чем оптимизировать по if/else.
Ответить | Правка | Наверх | Cообщить модератору

103. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +2 +/
Сообщение от Vlad violentiyemail (?), 21-Май-21, 14:52 
if/else решает предсказатель переходов, который попадает в 98% случаев (да, конечно, если вероятность предсказания увеличить до 99.9, то можно увеличить производительность на процентов 5-10-15, но это почти невозможно)
если уже так глубоко копать и мы говорим про приложение - надо смотреть и оценивать задержки по памяти через манипуляции с L1/L2/L3 кешем, но виртуализация
Ответить | Правка | К родителю #48 | Наверх | Cообщить модератору

136. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +1 +/
Сообщение от Аноним (-), 21-Май-21, 21:28 
или не могут. https://habr.com/ru/company/selectel/blog/557410/
Какой предел у предсказателя ветвлений? Проверили на x86 и M1
"... На x86 код должен распределить бюджет BTB между вызовами функций и условными переходами. BTB имеет размер всего в 4096 записей. Код, критичный к производительности должен быть меньше 16 КиБ, чтобы получить серьезное преимущество благодаря использованию BTB."
Ответить | Правка | К родителю #48 | Наверх | Cообщить модератору

66. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +1 +/
Сообщение от Anonimemail (??), 21-Май-21, 11:53 
Linux! - можно настроить все!  

Ответить | Правка | Наверх | Cообщить модератору

88. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +3 +/
Сообщение от Rev (?), 21-Май-21, 13:22 
Linux - нужно настраивать всё!
Ответить | Правка | Наверх | Cообщить модератору

91. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +4 +/
Сообщение от пох. (?), 21-Май-21, 13:52 
> Linux - нужно настраивать всё!

Современный Linux можно настраивать годами, и не получить ровным счётом ничего, (знаем, сам такой), ядро от 3.0 убило всё.

Ответить | Правка | Наверх | Cообщить модератору

94. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +2 +/
Сообщение от Anonimemail (??), 21-Май-21, 14:03 
переходите на винду.
индийский программист всегда подскажет, что больше ничего настраивать не нужно.  
вам даже расскажут, где именно настраивать ничего не нужно...
Ответить | Правка | Наверх | Cообщить модератору

104. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от пох. (?), 21-Май-21, 14:53 
В винде изначально ясно, что как бы ты её не форсил, прироста не будет, а на линуксе он был, раньше, сейчас это тупо профанация
Ответить | Правка | Наверх | Cообщить модератору

68. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +1 +/
Сообщение от Anonimemail (??), 21-Май-21, 12:02 
я вот сейчас подумал, в венде и макос всё системное окружение воспринимается как данность, ну т.е. оно есть и трогать его не надо...
а в линуксе, прикинте, системный журнал можно отключить!
Обожаю первооткрывателей.
Ответить | Правка | Наверх | Cообщить модератору

92. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от пох. (?), 21-Май-21, 13:56 
Всегда отключаю эту дрянь, и пускай знатоки systemГ и сотрудники RedHat с ЛОРа не п**ят, что это убивает систему.
Ответить | Правка | Наверх | Cообщить модератору

80. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –1 +/
Сообщение от Аноним (80), 21-Май-21, 12:40 
А где вой негентушников что -O3 и -march-native ненужны ведь памяти жрется примерно столько же и ваще хромой лучше, ибо там же есть ангуглед версия?
Ответить | Правка | Наверх | Cообщить модератору

87. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от анонн (ok), 21-Май-21, 13:19 
> А где вой негентушников что -O3 и -march-native ненужны ведь памяти жрется
> примерно столько же и ваще хромой лучше,

Расскажи поподробнее, сколько миллионов JSON-запросов в секунду у тебя в хромом нагрузка (а так же, причем тут "негентушники" и прочее сравнение жопы с пальцем)?

Ответить | Правка | Наверх | Cообщить модератору

97. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Аноним (97), 21-Май-21, 14:19 
При чём тут память? С O3 браузер собирать? Ну такое.
Ответить | Правка | К родителю #80 | Наверх | Cообщить модератору

82. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +1 +/
Сообщение от Аноним (82), 21-Май-21, 12:56 
>nospectre_v1 nospectre_v2 pti=off mds=off tsx_async_abort=off

Разве mitigations=off не отключает это все одной опцией?

Ответить | Правка | Наверх | Cообщить модератору

85. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +1 +/
Сообщение от Аноним (85), 21-Май-21, 13:07 
"Оставлены без изменения настройки для защиты от атак L1TF/Foreshadow (l1tf=flush), iTLB multihit, Speculative Store Bypass и SRBDS, которые не влияли на производительность, так как не пересекались с тестируемой конфигурацией"
Ответить | Правка | Наверх | Cообщить модератору

93. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –1 +/
Сообщение от пох. (?), 21-Май-21, 14:00 
Тогда всё это откровенный звиздёшь, так как "mitigations=off" не даёт ровно никакого прироста, если не наоборот.
Ответить | Правка | Наверх | Cообщить модератору

96. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Аноним (97), 21-Май-21, 14:18 
Есть узкие кейсы на которых повышается производительность. Но это интересует только хайлоад на десятки тысяч нод.
Ответить | Правка | Наверх | Cообщить модератору

102. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от пох. (?), 21-Май-21, 14:51 
Вот я и говорю что звиздёж)
Ответить | Правка | Наверх | Cообщить модератору

127. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от edo (ok), 21-Май-21, 19:22 
Человек измерил, привёл цифры, не вижу основной ему не верить, а вы «звиздёж».
Или вы про то, что под вашей нагрузкой цифры другие получаются? Так ничего удивительного, разве в статье утверждается, что любая нагрузка получит именно такое ускорения?
Ответить | Правка | Наверх | Cообщить модератору

159. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от нах.. (?), 22-Май-21, 14:26 
Нет у него никаких цифр. Это типичный обитатель впопеннета, с единственным void linux в дуалбуте.
"ощущения" у него, чего ж неясно.

> Так ничего удивительного, разве в статье утверждается, что любая нагрузка получит именно такое
> ускорения?

в целом, очевидно, почти любая получит какое-то ускорение, поскольку ничего специфичного не делалось. Но для этого надо чтоб нагрузка вообще была, а не "страничка опеннета в браузере открывается".

Печалька, конечно, в малоприменимости во многих реальных ситуациях, отличных от фейсбуковой, с единственным приложением на инстанс. И очень обидны 6% экономии на pti=off (напоминаю, что потери на самих патчах по гуглозамерам - до 30%, но сделать с этим, видимо, ничего уже нельзя, белки-истерички позаботились о нашей безопасТносте - особенно возрадоваться должны владельцы amd)

Ответить | Правка | Наверх | Cообщить модератору

126. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от edo (ok), 21-Май-21, 19:12 
Почему не даёт? В моих тестах давал вполне воспроизводимый прирост (хоть и не очень большой)
Ответить | Правка | К родителю #93 | Наверх | Cообщить модератору

128. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –2 +/
Сообщение от пох. (?), 21-Май-21, 19:36 
Ну не знаю, по моим ощущениям сразу после mitigations=off наблюдалась какая-то дубовость что-ли, хз как обьяснить.
Ответить | Правка | Наверх | Cообщить модератору

158. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от нах.. (?), 22-Май-21, 14:18 
разница между тобой и инженером именно в этом. Он - мерял. А у тебя - "ощущения".

Поэтому он работает в фейсбуке, а ты в подвале.

Ответить | Правка | Наверх | Cообщить модератору

166. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Аноним (166), 22-Май-21, 21:37 
Очень достоверно, как всегда
Ответить | Правка | К родителю #128 | Наверх | Cообщить модератору

83. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Аноним (83), 21-Май-21, 13:00 
не пробовали DPDK запользовать ?....
Ответить | Правка | Наверх | Cообщить модератору

99. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от ыы (?), 21-Май-21, 14:30 
А есть какое-то осмысленное обоснование для DPDK в виртуалках?
Ответить | Правка | Наверх | Cообщить модератору

129. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от edo (ok), 21-Май-21, 19:38 
Dpdk в первую очередь про уменьшение переключений контекста, что тут меняет виртуализация?
Ответить | Правка | Наверх | Cообщить модератору

84. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Аноним12345 (?), 21-Май-21, 13:06 
Возможности тюнинга ядра безграничны
Ответить | Правка | Наверх | Cообщить модератору

89. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Аноним (89), 21-Май-21, 13:25 
> Отмечается, что nftables работает более эффективно, чем iptables

я тоже заметил это

Ответить | Правка | Наверх | Cообщить модератору

90. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –1 +/
Сообщение от пох. (?), 21-Май-21, 13:45 
Как же достало отсутствие документирования в Линукс.

Теперь вот это: "nospectre_v1 nospectre_v2 pti=off mds=off tsx_async_abort=off", а разве "mitigations=off" уже недостаточно?

Ответить | Правка | Наверх | Cообщить модератору

95. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Аноним (97), 21-Май-21, 14:16 
Они не всё отключали. В линуксе всё прекрасно документировано бтв.
Ответить | Правка | Наверх | Cообщить модератору

108. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от ыы (?), 21-Май-21, 15:44 
он. ОН отключал... Это исследование сделал ОДИН человек которому было скучно сидя дома из-за ковида.. И вот пока он маялся дурь....бездельем -  провел это исследование ради интереса. о чем и рассказывает с своем посте...
Ответить | Правка | Наверх | Cообщить модератору

111. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Аноним (97), 21-Май-21, 15:57 
"Они" -- это гендерно-нейтральная форма.
Ответить | Правка | Наверх | Cообщить модератору

119. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Аноним (119), 21-Май-21, 17:29 
Они - это множественное число. Тогда там либо сиамские близнецы, либо Николай v.2. Корректно будет - "оно" или "это".
Ответить | Правка | Наверх | Cообщить модератору

120. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –1 +/
Сообщение от Аноним (97), 21-Май-21, 17:40 
Оно/это -- средний род, а не неопределённый. Если пол (хотя сейчас модно гендер) неизвестен, нейтральная форма более корректна.
Ответить | Правка | Наверх | Cообщить модератору

121. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Ananimasss (?), 21-Май-21, 17:56 
Это что же получается, маньяк в молчании ягнят опередил свое время и был политкорректным, когда обращался к жертве "оно"?
Во дела.
Ответить | Правка | Наверх | Cообщить модератору

122. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Аноним (97), 21-Май-21, 18:05 
Если он обращался через "оно", то это неодушевлённый предмет или животное.
Ответить | Правка | Наверх | Cообщить модератору

123. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Аноним (119), 21-Май-21, 18:05 
Инклюзивисты даже в гуманитарщину не смогли? Они - множественное число среднего рода. Нет никакой "нейтральной" формы.
Ответить | Правка | К родителю #120 | Наверх | Cообщить модератору

124. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Аноним (97), 21-Май-21, 18:08 
Вообще-то, это серьёзно форма для неопределённого пола при обращении, и никакого отношения к инклюзивности не имеет…
Ответить | Правка | Наверх | Cообщить модератору

142. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Аноним (142), 22-Май-21, 00:24 
просто добавь этот сайт себе в закладки https://make-linux-fast-again.com/ параметры для /etc/default/grub
Ответить | Правка | К родителю #90 | Наверх | Cообщить модератору

109. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –2 +/
Сообщение от Аноним (107), 21-Май-21, 15:48 
В нормальных конторах фаервол сугубо хардварный отдельными железками. На самих сервисах не нужен никакой iptables или pf.
Ответить | Правка | Наверх | Cообщить модератору

110. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –1 +/
Сообщение от ыы (?), 21-Май-21, 15:55 
То что файрвол сделан в виде отдельной железки и покрашен в модный цвет- ничего не говорит о том сколько там внутри "железа" и сколько делается на обычных бытовых процессорах... поинтересуйтесь на досуге как "сугубо хардварный" сделан  у популярных брендов.

Что же касается файрвола на самом сервисе - то эта рекомендация гуляет по сети лет 40. Ее нюанс- в том что если вы не обрабатываете хайлоада- она вам как пятое колесо к телеге...

Ответить | Правка | Наверх | Cообщить модератору

117. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –2 +/
Сообщение от нах.. (?), 21-Май-21, 16:44 
> поинтересуйтесь на досуге как "сугубо хардварный" сделан  у популярных брендов.

да, поинтересуйтесь. Напоминаю - в cisco asa 5510 - pentium3 celeron. Одноядерный, конечно (ибо пентиум3) По-моему даже не тулатин, так что там что-нибудь не выше гигагерца. Очень интересно, много ли вы лично таким нафайрволите, даже без шифрования (которое она худо-бедно тоже могет на сотню-полторы юзеров и пяток site2site если не слишком насиловать траффиком).

Это в общем-то единственный "популярный бренд" про которого точно известно, что у него внутри и приблизительно - как оно работает (поскольку его ковыряли и доковырялись таки до возможности запуска отдельно от железа).

Что там и как у pa5xxx - один аллах ведает. Но ничего подобного ваш линoops все равно не умеет в принципе.

Ответить | Правка | Наверх | Cообщить модератору

168. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Аноним (168), 23-Май-21, 00:02 
Например не умеет вставать колом при 100к/с синов.
Ответить | Правка | Наверх | Cообщить модератору

170. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от нах.. (?), 23-Май-21, 10:32 
> Например не умеет вставать колом при 100к/с синов.

А если найду?!

Чудес не бывает, если ты их собираешься парсить, а не дропать сразу на входе до попадания в conntrack.

Ответить | Правка | Наверх | Cообщить модератору

181. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Аноним (168), 30-Май-21, 01:18 
Не бывает, да. 5585Х затыкается на примерно 130к даже при дропе.
Ответить | Правка | Наверх | Cообщить модератору

182. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Аноним (168), 30-Май-21, 01:53 
А линукс на древнем 8-ядернике держит до 2.5 млн/с в режиме синпрокси, то есть с  парсингом и кучей дополнительных операций.
Ответить | Правка | Наверх | Cообщить модератору

179. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –1 +/
Сообщение от Аноним (107), 26-Май-21, 22:18 
То что там есть процессор общего назначения не значит что через него идёт весь траффик. Учи матчасть.
Ответить | Правка | К родителю #110 | Наверх | Cообщить модератору

116. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от нах.. (?), 21-Май-21, 16:36 
> В нормальных конторах фаервол сугубо хардварный отдельными железками.

и первый же червяк, пробивший внешний контур безопасности, или "обиженный" сотрудник, имеет всю контору? Ну, ооок.

А не могли бы вы опубликовать список лично вам известных "нормальных контор", ну чисто так для интереса - чтоб ненароком там личные данные не засветить или, упаси Б-же, денег не похранить?

Да, и вот как там с докером, тут пацаны интересуются? В "нормальной конторе" вы его тоже с "--network host" запускаете, вручную на каждом сервере (ибо никакие  стандартные оркестраторы такой авангард не поддерживают) ?

Ответить | Правка | К родителю #109 | Наверх | Cообщить модератору

167. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Аноним (168), 23-Май-21, 00:00 
Для альтернативно одаренных ником - кроме внешнего фаервола еще бывают внутренние и еще сегментация, и еще много чего интересного.
Ответить | Правка | Наверх | Cообщить модератору

118. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Нанобот (ok), 21-Май-21, 16:52 
Так может, если местные иксперты поднастроят свои локалхосты, то у них и хром тормозить перестанет? 🤔 Правда тогда у них не будет возможности поныть...
Ответить | Правка | Наверх | Cообщить модератору

149. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +1 +/
Сообщение от ыы (?), 22-Май-21, 08:25 
Ну, если все что они при этом будут делать на своих компах- это гонять ... пустые json запросы... на AWS - то почему бы и нет... :)
Ответить | Правка | Наверх | Cообщить модератору

125. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –1 +/
Сообщение от Аноним (125), 21-Май-21, 18:50 
Поймать поймали 10005000 заисей как и куда их оптимальней всегл записать на диск для хранения и дальнейщей обработки
Ответить | Правка | Наверх | Cообщить модератору

153. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Брат Анон (ok), 22-Май-21, 10:04 
С какой целью? Если это, например, список параметров отображения ленты друзей в пейсбуке? Зачем это всё хранить?
Ответить | Правка | Наверх | Cообщить модератору

137. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +1 +/
Сообщение от Аноним (137), 21-Май-21, 21:55 
Патчи из Миннесоты животворящие ты посмотри что творят! ВАХ!
Ответить | Правка | Наверх | Cообщить модератору

138. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –1 +/
Сообщение от Аноним (138), 21-Май-21, 22:12 
Опять на Ц. Было бы на каком-то языке, на котором можно сразу и логику нормальную написать (типа того же Раста) и можно было бы отправить на свалку всякие Ноды.

Кстати, коль скоро сейчас всё-равно крутится в виртуалках, почему бы не написать сразу операционку без поддержки графики, пользователей и прочьего, у которой одна задача - обрабатывать HTTP запросы. Очевидно не нужно раз не пишут. Но почему? Слишком мал выигрыш в производительности будет?

Ответить | Правка | Наверх | Cообщить модератору

148. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +1 +/
Сообщение от ыы (?), 22-Май-21, 08:22 
В данном случае надо сперва решительно закончить школу...Ах да, некоторые уже закончили...первый класс вроде уже отучились... Но надо не этот год обучения, а школу вообще...

После чего пойти выучить что такое операционная система и чем она отличается от прикладной программы.
Узнать, что прикладные программы выполняющиеся на baremetal - существуют, и вы можете паковать свои проги в такой вид (в этом смысле вы ломитесь в открытую дверь). Узнать какие при этом у вас возникнут проблемы, если ваше железо - более чем один роутер или платка распберри.

И... мы  Вас ждем с новыми остроумными комментариями и мнением по глобальным вопросам :)

Ответить | Правка | Наверх | Cообщить модератору

176. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Аноньимъ (ok), 24-Май-21, 12:28 
Есть такие ОС, для оборочавания вокруг одной программы.

Ну и вы вполне такое из линукса можете сделать.

Ответить | Правка | К родителю #138 | Наверх | Cообщить модератору

143. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –1 +/
Сообщение от Kuromi (ok), 22-Май-21, 05:29 
Интересные оптимизации, которые больше всего сводтся к аналогу "А давайте с автомобиля снимем весь обвес, оставив только раму, откажемся от риятных излищество вродеподушек безопасности, уберем все предохранители и втопим педаль в пол". Вопрос только как быстро пилот сможет "уехать" на таком шайтан-шаттле?
Но, в принципе, почему нет?
Ответить | Правка | Наверх | Cообщить модератору

147. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +2 +/
Сообщение от ыы (?), 22-Май-21, 08:13 
Именно так делают автомобили для гонок- убирают все лишнее- все что не имеет отношения к решению поставленной задачи. Более того, ВСЕ оптимизации делаются этим путем. Просто вы еще не поняли этого. Ну и не все оптимизаторы достаточно компетентны чтобы при убирании ненужных элементов понимать что можно убрать а что нельзя.
Ответить | Правка | Наверх | Cообщить модератору

162. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +1 +/
Сообщение от darkshvein (ok), 22-Май-21, 14:42 
>Ну и не все оптимизаторы достаточно компетентны чтобы при убирании ненужных элементов понимать что можно убрать а что нельзя.

я думаю, стоит начать с js-программистов.
Просто вы еще не поняли этого.

Ответить | Правка | Наверх | Cообщить модератору

169. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Kuromi (ok), 23-Май-21, 00:31 
> Именно так делают автомобили для гонок- убирают все лишнее- все что не
> имеет отношения к решению поставленной задачи. Более того, ВСЕ оптимизации делаются
> этим путем. Просто вы еще не поняли этого. Ну и не
> все оптимизаторы достаточно компетентны чтобы при убирании ненужных элементов понимать
> что можно убрать а что нельзя.

Ну разумеется, вот только гоночные болиды никто на улицы не выпускает. Да и истинный гоночный болид уже ну очень далек от классического автомобиля, а тут именно что берут серийную тачку и делают из нее шайтан-мобиль. Может если так сильно оптимизировать линукс под запросы стоит уже ...подумать об альтернативах?

Ответить | Правка | К родителю #147 | Наверх | Cообщить модератору

145. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +/
Сообщение от Аноним (137), 22-Май-21, 07:23 
И снова не на расте
Ответить | Правка | Наверх | Cообщить модератору

150. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –1 +/
Сообщение от ыы (?), 22-Май-21, 08:27 
Ну так перепишите   libreactor  на расте и будет счастье...
Ответить | Правка | Наверх | Cообщить модератору

161. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +2 +/
Сообщение от darkshvein (ok), 22-Май-21, 14:41 
>XXXX-запросов в секунду

эт как гигагерцы в штеудече. частота на гиг больше чем у амуди, а толку никакого.

не поможет увеличение объёма обработки запросов при говнокоде, как авторитетный диванный эксперт вам заявляю.

Ответить | Правка | Наверх | Cообщить модератору

164. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  –1 +/
Сообщение от Аноним (164), 22-Май-21, 20:33 
> поднять производительность обработчика JSON

Вот никого не смущат нет? Всё нормально? Сначала это г везде всунули а теперь систему тюнить?

Очень просто всё ребята, не использовать уродский JSON. Это чуждо как человеку так и машине.

Ответить | Правка | Наверх | Cообщить модератору

177. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."  +1 +/
Сообщение от Аноньимъ (ok), 24-Май-21, 12:35 
Да вроде простой формат для парсинга, и человеку таки куда проще xml.
Непонятно к чему вы это.

Я вижу проблему в том, что взаимодействие сетевых приложений стали повально делать через передачу файлов по шттп. И непонятно лучше это или хуже ftp.
Шизофрения настоящая.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру