The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Twitter открыл код своих улучшений к MySQL

10.04.2012 15:12

Twitter опубликовал код своих дополнений и улучшений к MySQL, развиваемых в рамках ветки Twitter MySQL 5.5. В настоящее время СУБД MySQL продолжает использоваться в качестве основного хранилища данных в Twitter, например, в MySQL хранятся непосредственно твитты, пользовательские данные, информация о сроках, связях и интересах. В процессе роста сервиса и повышения требований к масштабируемости, разработчикам из компании Twitter пришлось внести ряд изменений и улучшений в MySQL, которые поддерживались в рамках внутреннего форка данной СУБД. Отныне все наработки, связанные с данным форком, открыты и доступны для интеграции в сторонние проекты и основную кодовую базу MySQL. Созданный в Twitter код открыт под лицензией BSD (MySQL распространяется под лицензией GPL).

Из возможностей, добавленных компанией Twitter, можно отметить:

  • Дополнительные переменные для оценки состояния СУБД и внутренних параметров InnoDB. Переменные позволяют организовать расширенный и более эффективный мониторинг работы СУБД, более точно оценить поведение в условиях реальной нагрузки. Например, представлена информация об открытии и закрытии файлов, числе выявленных deadlock, идентификаторов последовательностей бинарного лога;
  • Оптимизация распределения памяти при работе на больших системах на базе архитектуры NUMA: полное выделение памяти для буферов InnoDB производится на этапе запуска; более быстрая обработка ситуации нехватки памяти; обеспечение предсказуемой производительности в любое время, даже в условиях дефицита свободной памяти;
  • Сокращение излишней работы за счёт расширения средств управления таймаутами на стороне сервера. В частности, реализована возможность принудительного прекращения выполнения запросов, которые выполняются дольше указанного таймаута;
  • Поддержка быстрого и надёжного экспорта и загрузки содержимого пула буферов InnoDB, что позволяет обеспечить моментальный разогрев базы после перезапуска и свести к минимуму негативные эффекты при необходимости остановки сервисов;
  • Оптимизация MySQL для SSD-накопителей, в том числе реализация нового метода сброса буферов и сокращение числа операций записи в процессе работы.

Кроме того, на предстоящей конференции Percona Live MySQL, которая состоится 12 апреля, Twitter планирует представить открытый фреймворк Gizzard, предназначенный для организации шардинга данных поверх неоднородного распределённого кластера серверов MySQL. Фреймворк позволяет автоматизировать процессы распределения набора данных по серверам на основе определенного ключа (партицирование) и обеспечить необходимый уровень резервирования за счёт репликации одного набора данных на несколько серверов. Система также поддерживает методы разрешения конфликтов и средства восстановления в случае сбоя в работе отдельных узлов.

  1. Главная ссылка к новости (http://engineering.twitter.com...)
  2. OpenNews: Релиз Bootstrap 2.0, развиваемого компанией Twitter набора web-шаблонов
  3. OpenNews: Twitter открыл код шаблонизатора Hogan.js
  4. OpenNews: Twitter открыл код TextSecure для безопасного обмена сообщениями на платформе Android
  5. OpenNews: Twitter открыл код системы анализа потоков данных Storm
  6. OpenNews: Twitter открыл код Bootstrap, набора шаблонов для формирования типовых элементов web-страниц
Лицензия: CC-BY
Тип: Программы
Короткая ссылка: https://opennet.ru/33570-twitter
Ключевые слова: twitter, mysql
Поддержать дальнейшую публикацию новостей на OpenNET.


Обсуждение (20) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.3, Аноним (-), 16:12, 10/04/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Ждем MariaDB c этими патчами :-)
     
  • 1.7, hmm (?), 16:53, 10/04/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >открыты и доступны для интеграции в ... основную кодовую базу MySQL
    >Созданный в Twitter код открыт под лицензией BSD (MySQL распространяется под лицензией GPL)

    доступны для интеграции?
    точно?
    :D

     
     
  • 2.9, Аноним (-), 16:57, 10/04/2012 [^] [^^] [^^^] [ответить]  
  • +3 +/
    BSD в GPL можно, GPL в BSD нельзя.
     
     
  • 3.29, Какаянахренразница (ok), 21:31, 10/04/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > BSD в GPL можно, GPL в BSD нельзя.

    Ы? Изменения, внесённые в код, распространяемый под GPL, можно распространять только под GPL.

     
     
  • 4.32, Аноним (-), 00:36, 11/04/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Сами изменения, как раз таки можно распостранять под любой лицензией. А вот измененный софт нельзя. На практике, это значит, что если например некоторые изменения оформлены в виде дополнений к GPL программы под лицензией BSD, то под код этих расширений можно написать другой софт под другой лицензией, например BSD, и уже будет BSD+BSD, а оригинальная GPL программа тут не задействованна.
     

  • 1.13, umbr (ok), 18:23, 10/04/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    Интересно, зачем они это сделали? Свои разработчики не справляются?
    Да ещё так криво: патч GPL-софтины под BSD - нельзя.
     
     
  • 2.14, Alex (??), 20:00, 10/04/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Они открыли под BSD, чтоб оракли могли включить этот потч в основную ветку. И таки да легче чтоб код уже был в исходном продукте, чем патчить и тестировать каждую версию, на которую собираешься мигрировать
     
     
  • 3.17, umbr (ok), 20:32, 10/04/2012 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Поскольку MySQL распространяется под GPL то и патчи к ней распространять можно только под GPL.
    Походу Twitter решил вбросить на вентилятор, пока неясно зачем.
     
     
  • 4.33, Hety (??), 10:05, 11/04/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Я не мускуль с наложенным патчем может быть только под гпл, а сам патч - каким угодно?
     
     
  • 5.34, umbr (ok), 11:51, 11/04/2012 [^] [^^] [^^^] [ответить]  
  • +/
    См. п.5
    http://www.gnu.org/licenses/gpl.html#section5
     
     
  • 6.35, Andrey Mitrofanov (?), 13:13, 11/04/2012 [^] [^^] [^^^] [ответить]  
  • +/
    >gpl.html#section5

    Вы усматриваете в слове "патч" -- "separate and independent works" и не "a work based on the Program"?

    Иди оно ~"permission to license the work in any other way, [...] if you have separately received it".

    ...
    Кстати, загадка, как они публикуют ""our MySQL work on GitHub under the BSD New license"", когда на гитхабе таки лежит (судя по README) _девеловерская _версия мускула с GPL в файле ./COPYING ?? Оракел им дал "немного мускула" под BSDL?.... Почему трубы не трубят?

    ... ...
    Вот некая фирма О пишет (в ридми, не в _лицензии ==не в section5):

    """This distribution may include materials developed by third
    parties. For license and attribution notices for these
    materials, please refer to the documentation that accompanies
    this distribution (see the "Licenses for Third-Party Components"
    appendix) or view the online documentation at """....

    Значит ли это, что они раздают мускул под GPLv2=, но "как бы" и без копилефта?

    ---Is there a lawer in da house?!

     
     
  • 7.36, umbr (ok), 13:57, 11/04/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Я слоупок. Патч сам по себе никому не нужен, но его публикация под BSD дает возможность Ораклу (или тем, кому тот дал "немного мускула") использовать как в коммерческих версиях, так и в Community-edition.
     
  • 4.38, VoDA (ok), 14:56, 11/04/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Поскольку MySQL распространяется под GPL то и патчи к ней распространять можно
    > только под GPL.
    > Походу Twitter решил вбросить на вентилятор, пока неясно зачем.

    Патчи могут быть под любой лицензией ПОКА они в виде патчей. А продукт полученный после наложения патча на GPL должен быть лицензионно валидным (нельзя совместить CDDL и GPL, но можно BSDL+GPL и APL+GPL), а также конечный продукт ЦЕЛИКОМ должен быть под GPL. Причем это все начинает работать только кода конечный продукт РАСПРОСТРАНЯЮТ.

    Так что патч как отдельный файл может быть под любой лицензией. И распространяясь так же отдельным патчем он может быть под любой лицензией.


    В принципе можно патч выкатить хоть под CDDL, но тогда его может накладывать только конечный пользователи БЕЗ права дальнейшего распространения GPL+CDDL т.к. не совместимость лицензий выстрелит при распространении. ;)))


     
     
  • 5.39, Andrey Mitrofanov (?), 15:31, 11/04/2012 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Патчи могут быть под любой лицензией ПОКА они в виде патчей.

    Точно!! Добавляемые ?строки? под BSDL, а неизменные и удаляемые - под GPL! </эпоха>

     
     
  • 6.40, VoDA (ok), 17:43, 11/04/2012 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Да, автор может выбирать любую лицензию для своих произведений - код это или патч или битмапы - без разницы.

    GPL начинается когда начинаешь накладывать патч на код И распространяешь итоговый продукт.

     

  • 1.27, Какаянахренразница (ok), 21:28, 10/04/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Поскольку комменты ограничились лицензиями, я тоже не буду оригинальничать.

    Таки почему BSDL?

     
     
  • 2.37, VoDA (ok), 14:48, 11/04/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Поскольку комменты ограничились лицензиями, я тоже не буду оригинальничать.
    > Таки почему BSDL?

    Чтобы ВСЕ компании развивающие MySQL могли применить этот патч без дополнительной передачи прав и т.п.

    ЗЫ в основном это важно для Оракли, т.к. они могут используя этот патч выпускать закрытую версию БЕЗ договоров о передачи прав на патч.

     

  • 1.31, YetAnotherOnanym (?), 21:44, 10/04/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    "Улучшения в MySQL" - напоминает буддийскую притчу про полировку кирпича.
     
     
  • 2.41, Mim (ok), 15:41, 12/04/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Собственно, вот эта притча: http://anahata-swami.narod.ru/parable.html#Отбрасывание методов и усилий

    P.S. Возможно ли использование тегов в комментариях на opennet, в частности для корректного указания ссылки с якорем?

     
     
  • 3.42, Andrey Mitrofanov (?), 10:20, 13/04/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Собственно, вот эта притча: http://anahata-swami.narod.ru/parable.html#Отбрасывание
    > методов и усилий
    > P.S. Возможно ли использование тегов в комментариях на opennet, в частности для
    > корректного указания ссылки с якорем?

    Какиe [I]теги[/I]?! http://anahata-swami.narod.ru/parable.html#%D0%9E%D1%82&#

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:
    При перепечатке указание ссылки на opennet.ru обязательно



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2021 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру