The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  ВХОД  слежка  RSS
"OpenNews: MySQL прокси"
Вариант для распечатки  
Пред. тема | След. тема 
Форумы Разговоры, обсуждение новостей (Public)
Изначальное сообщение [Проследить за развитием треда]

"OpenNews: MySQL прокси"  
Сообщение от opennews (??) on 30-Июн-07, 00:42 
Выпущена альфа версия MySQL-Proxy 0.5 (http://forge.mysql.com/wiki/MySQL_Proxy) - прокси сервера работающего в качестве промежуточного звена между клиентом и сервером MySQL. Поддерживается балансировка нагрузки, переключения на резервный сервер в случае сбоя, средства для анализа запросов, возможность фильтрации и модификации проходящих запросов.

URL: http://forge.mysql.com/wiki/MySQL_Proxy
Новость: http://www.opennet.ru/opennews/art.shtml?num=11247

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

 Оглавление

Сообщения по теме [Сортировка по времени, UBB]


1. "MySQL прокси"  
Сообщение от Alex (??) on 30-Июн-07, 00:42 
господа, кто не злой...в кратце на родном русском расскажие что это и на сколько это серьезно ?
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

2. "MySQL прокси"  
Сообщение от Ilya Evseev email on 30-Июн-07, 02:36 
Это программа, которая для SQL-клиентов выглядит как SQL-сервер.
Но вместо непосредственной обработки данных и доступа к базе
она передаёт все запросы настоящим SQL-серверам.
Какому именно из них, она выбирает в зависимости от их нагрузки,
включённости и т.д.

Кроме того, она способна модифицировать проходящие через неё запросы,
и способна вести статистику по запросам.

На мой взгляд, не единственный, но крайне полезный инструмент
для повышения быстродействия и для отладки.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

3. "MySQL прокси"  
Сообщение от TheosBLG on 30-Июн-07, 04:44 
Повышает отказоустойчивость и безопасность...
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

4. "MySQL прокси"  
Сообщение от Квагга on 30-Июн-07, 08:22 
Ы маштабируемость!
Лоад балансинг это тоже не лобио кушать!
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

5. "MySQL прокси"  
Сообщение от igorsia on 30-Июн-07, 10:49 
Интересно, а псевдокластер с одинаковыми запросами по двум и более узлам, содержащим разные данные одинаковой структуры он позволяет делать?
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

6. "MySQL прокси"  
Сообщение от dem email on 30-Июн-07, 11:08 
в PostgreSQL кажись тож такое есть/
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

7. "MySQL прокси"  
Сообщение от andrey (??) on 30-Июн-07, 12:17 
все уже давно сделано
http://sqlrelay.sourceforge.net/
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

9. "MySQL прокси"  
Сообщение от TS on 30-Июн-07, 19:46 
SQL Relay doesn't have any built-in database server failover mechanism. If a database server that SQL Relay is connected to goes down, SQL Relay doesn't currently open new connections to a different "failover" database to make up for it. This is on the TODO list, but has not yet been implemented.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

10. "MySQL прокси"  
Сообщение от Basma4 on 30-Июн-07, 23:00 
Тогда надо было SQL Relay-ю помогать. Сварганить failover пач к нему и не плодить велосипеды. Вливаться надо в проекты, объединяться..
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

8. "MySQL прокси"  
Сообщение от Alex (??) on 30-Июн-07, 14:13 
Парни а скажите, с помощью данного решения можно собрать 2 Машины с mysql именно как горячий резерв на случай отказа, но так чтоб приложения, использующие БД работали по доменному именни и тд?
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

11. "MySQL прокси"  
Сообщение от andrey email(??) on 01-Июл-07, 00:41 
Ну, судя по описанию, это оно и есть. в данном случае домен должен быть перенесен на этот SQL-relay, на который и будут отправляться запросы. А уж он будет решать на какой из реальных серверов выполнять его отправку для выполнения. Только следует обратить внимание на репликацию данных: либо этот проект будет выполнять запросы удаления/вставки/обновления на обоих серверах, либо прийдется заморочиться с репликацией.
Относительно репликации средствами MySQL - решение более надежное, ибо в случае хранимых процедур и самописных функций (в теории) никто не мешает выполнять модификацию базы при вызове функции (например, для сбора статистики и т.п.), что явно ускользнет от этого прокси.
А уж если выполнять репликацию средствами MySQL, то и выполнить load balancing & failover можно и более стандартными средствами: CARP во FreeBSD, SNAT и load balancing в linux
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

12. "MySQL прокси"  
Сообщение от Alex (??) on 01-Июл-07, 02:13 
andrey, так т.е. получается MySQL-прокси сможет все же следить за состояниме ноды, и получается в минимальной конфигурации необходимо 3 сервера - 2 ноды и Управления/Распраделение(proxy)

Соответветвенно, таким образом мы получаем отказоустойчивость, впринцпипе этого уже будет достаточно, но вот как Вы верно заметили - нужна синхронизация данных в нодах, т.е. чтоб при подении основной ноды прокси перевел заросы на резервную, но так чтоб все осталось прозрачно для ПО и пользователей, соответвенно необходима репликация данный и как я понимаю это - MASTER-MASTER
Но вот еще одна проблема, если mysql-proxy выходит из строя мы теряем все, соответвенно его тоже нужно кластеризовать любым средством я так понимаю, поскольку данных он не хранит.
Вообще если не жалко поделитесб соображениями на этот счет, просто вот планирую что-то подобное разварачивать у себя.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

13. "MySQL прокси"  
Сообщение от DoktorPZ on 01-Июл-07, 12:24 
Подними master-master + mysql proxy на каждом из них. Далее просто перекидывай IP, либо CARP либо heartbeat.
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

14. "MySQL прокси"  
Сообщение от Ilya Evseev email on 01-Июл-07, 16:39 
Прокси сам по себе можно держать на той же машине, что и один из sql-серверов.
Чтобы он не конфликтовал с сервером, достаточно перевесить сервер на другой порт.

Если прокси упадёт, достаточно будет просто исправить dns-имя,
чтобы оно указывало на оставшийся сервер.

Главное, что прокси в состоянии распихивать данные сразу в два хранилища на разных ящиках.
Получается, что данные ни при каком раскладе не пропадут, а время отказа в обслуживании
сведётся к нескольким минутам даже при отсутствии автоматической реакции на падение самого прокси.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

16. "MySQL прокси"  
Сообщение от DoktorPZ on 01-Июл-07, 20:16 
Судя по резюме (если это его: http://ilya-evseev.narod.ru/personal/resume.html) человек провто не имел дело с высоконагруженными 24/7 mysql серверами.

Насчет Mysql прокси, было бы супер если бы отслеживалась рассинхронизация master-slave или master-master для порогового времени задаваемого через конфиг. И автоматом убирало slave из списка доступных серверов.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

18. "MySQL прокси"  
Сообщение от Ilya Evseev email on 01-Июл-07, 20:51 
mysql репликацию делает (делал?) не через версии данных, а через журнал операций.
Если репликация по каким-то причинам задерживается, то он раздувается до диких размеров.
То есть появляется ещё одна точка отказа, которой в Лотусе или MSSQL, например, нет.
Не исключено, что дублировать на проксе запросы insert/update/delete окажется безопаснее и быстрее.

p.s. про резюме всё правильно :-)) за исключением того, что оно не обновлялось года три.
с тех пор появился скромный опыт работы с небольшой mysql-базой 24x7 на 8k пользователей и 2ТБ/мес. трафика.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

19. "MySQL прокси"  
Сообщение от DoktorPZ on 01-Июл-07, 21:30 
1 база, объем сколько? Поднимал с нуля, или пришел на готовое уже? Резервируешь как и чем?
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

22. "MySQL прокси"  
Сообщение от Ilya Evseev email on 02-Июл-07, 01:36 
>1 база, объем сколько?
Важных баз у меня три: две для биллинга под MySQL и одна для внутреннего АРМ'а под MSSQL.
Объём первых двух - 110 и 75 гигов.

> Поднимал с нуля, или пришел на готовое уже?
Везде было как бы готовое.
Как бы - потому что с нуля было бы легче. :-))

>Резервируешь как и чем?

Резервное копирование везде делалось с нуля.

MySQL - трафик переносится в архивные таблицы собственной процедурой в обход
имеющейся в биллинге, с одновременным ужатием части полей и переносом со SCSI на SATA.
Важные данные (пользователи, платежи) архивируются раз в день рано утром через mysqlhotcopy.
Чаще не получается - блокировки не дают. Ждем Фалькона :)
Для архивов применяется прореживание через picobackup.

MSSQL - днём каждый час делается в online-режиме резервная копия на соседний компьютер,
где тоже готов к запуску MSSQL. Ежечасные копии стираются утром.
Утром делается ежедневная копия, которая заливается на Рапидшару через up2rshare
и сохраняется локально с прореживанием через picobackup.
Все копии немедленно после создания шифруются через gpg.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

24. "MySQL прокси"  
Сообщение от k (??) on 03-Июл-07, 11:05 
>Утром делается ежедневная копия, которая заливается на Рапидшару через up2rshare

это жесть.


Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

25. "MySQL прокси"  
Сообщение от ilia kuliev on 03-Июл-07, 12:07 
Я извиняюсь, но вместо того чтобы мучать Рапидшару не лучше ли арендовать сервер где-нибудь в Германии, благо стоит это ок. 50 евро в месяц - копейки, в сущности, даже для физ. лица, не говоря уже o фирме
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

26. "MySQL прокси"  
Сообщение от Ilya Evseev email on 04-Июл-07, 00:41 
> Я извиняюсь, но вместо того чтобы мучать Рапидшару
> не лучше ли арендовать сервер где-нибудь в Германии,
> благо стоит это ок. 50 евро в месяц - копейки,
> в сущности, даже для физ. лица, не говоря уже o фирме

Если платный вариант чем-то лучше, то я буду рад услышать аргументы по существу.
Мне пока хватает и бесплатного.
Все копии у меня меньше ста мегабайт (лимит бесплатной рапидшары на один файл),
но _критически_ важные: БД АРМ, 1С и т.д.
Рапидшара сама автоматически стирает их через 30 дней.

Если в чём-то её станет не хватать, то уже имея на руках работающую схему,
можно запросить под неё и финансирование.
А до тех пор 50 евро я бы предпочёл получать в виде премии ;-)))

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

28. "MySQL прокси"  
Сообщение от Samm email(??) on 21-Июл-07, 03:40 

>Если платный вариант чем-то лучше, то я буду рад услышать аргументы по
>существу.

Да это же очевидно! В бесплатном вам никто ничего не должен и гарантий нет никаких. + приватность.
>Мне пока хватает и бесплатного.
>Все копии у меня меньше ста мегабайт (лимит бесплатной рапидшары на один
>файл),
>но _критически_ важные: БД АРМ, 1С и т.д.
>Рапидшара сама автоматически стирает их через 30 дней.

А если у вас навернутся данные, а рапидшара в этот момент скиснет? :)
>
>А до тех пор 50 евро я бы предпочёл получать в виде
>премии ;-)))

Невелики запросы. Я бы скорее сотруднику, который бы придумал данные 1С заливать на рапидшару, из бы и вычел )


Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

29. "MySQL прокси"  
Сообщение от Ilya Evseev email on 22-Июл-07, 17:49 

>Да это же очевидно! В бесплатном вам никто ничего не должен
>и гарантий нет никаких. + приватность.

Гарантия в популярности. Платные тоже закрываются.
Приватность обеспечивается pgp-шифрованием.

>А если у вас навернутся данные, а рапидшара в этот момент скиснет?

Она часто скисает?
К тому же она нужна, если оба сервера - основной и резервный - накроются
(или будут изъяты во время ментовского налета, как в Питер-Ладе)
и надо будет восстановить работу на ровном месте. До сих пор такого не было ни разу.

>>А до тех пор 50 евро я бы предпочёл получать в виде премии ;-)))
>Невелики запросы. Я бы скорее сотруднику, который бы придумал
> данные 1С заливать на рапидшару, из бы и вычел )

Ты бы скорее досидел до пенсии, так ничего полезного в своей жизни и не придумав :-))
Да и из сотрудников у тебя наверняка только собственная задница ;-)))

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

27. "MySQL прокси"  
Сообщение от andrey email(??) on 06-Июл-07, 01:23 
>Вообще если не жалко поделитесб соображениями на этот счет, просто вот планирую
>что-то подобное разварачивать у себя.
не жалко, конечно. собственно, соображения от DoktorPZ (ответ со счастливым номером 13 :) ) можно рассматривать, как руководство к действию :) коротко, ёмко и по существу.
было бы очень интересно увидеть результаты эксперимента и впечатления от этой софтины
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

20. "MySQL прокси"  
Сообщение от DoktorPZ on 01-Июл-07, 21:36 
0.5.1 - 2007-06-30

  * added script examples for rewriting and injection
  * added support for UNIX sockets
  * added protection against duplicate resultsets from a script
  * added missing dependency to libmysqlclient-dev to the INSTALL file
  * added support for pre-4.1 passwords in a 4.1 connection
  * added inj.query_time and inj.response_time into the lua scripts
  * added resultset.affected_rows and resultset.insert_id
  * added proxy.VERSION

  * changed --proxy.profiling to --proxy-skip-profiling

  * fixed assertion when read_query_result() is not provided
    when PROXY_SEND_QUERY is used
  * fixed warning if connect_server() is not provided
  * fixed handling of duplicate ERR on COM_CHANGE_USER in MySQL 5.1.18+
  * fixed compile error with MySQL 4.1.x on missing COM_STMT_*
  * fixed mysql check in configure to die when mysql.h isn't detected
  * fixed crash on fields > 250 bytes when the resultset is inspected
  * fixed assertion when a error occurs at initial script exec time

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]




Спонсоры:
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2021 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру