The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Компания Google открыла код системы изолированных контейнеров Lmctfy

03.10.2013 16:16

Компания Google открыла под лицензией GPLv2 код с реализацией технологии изоляции уровня ОС Lmctfy (Let Me Contain That For You), позволяющей запускать приложения в изолированных контейнерах с ограничением ресурсов. Несмотря на то, что проект является открытым вариантом используемого в Google стека изолированных контейнеров, Lmctfy пока находится в стадии активной разработки и не рекомендуется для промышленной эксплуатации.

Концептуально Lmctfy очень похож на технологии виртуализации OpenVZ и LXC и даже использует те же механизмы для осуществления изоляции, включая пространства имен и cgroups, позволяющие отделить процессы контейнера от основной системы и ограничить их в ресурсах. Контейнеры могут создаваться по инициативе запускаемого приложения и управляться приложением через специальный API, который предоставляется библиотекой liblmctfy. Для создания контейнеров и запуска в них приложений также можно использовать CLI-интерфейс. Внутри контейнера поддерживается создание дочерних субконтейнеров, что в конечном итоге позволяет сформировать иерархию контейнеров с наследованием доступных ресурсов.

Lmctfy не требует наложения на ядро Linux специальных патчей и может работать поверх стандартного ядра дистрибутива (протестирована работа с ядрами Linux 3.3 и 3.8). Для сборки требуется компилятор с поддержкой стандарта C++11 (например, g++-4.7), библиотеки protobuf и re2. Пока Lmctfy позволяет ограничивать только потребление памяти и процессора контейнером, но в будущем планируется реализация системы ограничений для ввода-вывода, сетевых ресурсов, а также возможность заморозки/разморозки контейнеров и их переноса на другую машину. Также планируется реализовать специальный фоновый процесс для обеспечения гарантированного качества сервиса (QoS), слежения за соблюдением выделенной квоты и адаптивного перераспределения ресурсов.



  1. Главная ссылка к новости (https://news.ycombinator.com/i...)
Автор новости: Evgeny Zobnin
Тип: Программы
Ключевые слова: google, openvz, lxc, cgroup, limit, container
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (52) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.2, Аноним (-), 16:37, 03/10/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    Теперь любая пачка скриптов для cgroups и врапперов LXC будет называться "принципиально новой системой изолированных контейнеров"?
     
     
  • 2.3, pavlinux (ok), 16:41, 03/10/2013 [^] [^^] [^^^] [ответить]  
  • +2 +/
    По коду похоже на юзерспейсный планировщик задачи (одной) :)
    Только нахрена, когда есть setrlimit()
     
     
  • 3.6, Аноним (-), 16:55, 03/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > По коду похоже на юзерспейсный планировщик задачи (одной) :)

    Нафейхоа, если контейнер все равно запихивается cpu cgroup?

     
     
  • 4.10, pavlinux (ok), 17:27, 03/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    >> По коду похоже на юзерспейсный планировщик задачи (одной) :)
    > Нафейхоа, если контейнер все равно запихивается cpu cgroup?

    Так типа все "под контролем". А в случае попытки превысить лимиты
    они сообщат куда нужно, и не дадут запрашиваемые ресурсы, можно
    обмануть - сказав "А у нас столько нету"..., На вопросы get_free_pages(),
    get_max_cpus(), get_max_priority(),... , вернуть треть.

    Ядро-то молча и без вопросов прибьёт этот процесс.
    (ну мож в dmesg чё-нить напишет: "OOM: killed, oops, следующий..." )  

     
     
  • 5.17, Аноним (-), 18:48, 03/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Ядро-то молча и без вопросов прибьёт этот процесс.
    > (ну мож в dmesg чё-нить напишет: "OOM: killed, oops, следующий..." )

    А я думал, при достижении posix-лимита на память аллокаторы будут возвращать ENOMEM, а OOM используется, когда этих лимитов не было изначально.

     
     
  • 6.34, pavlinux (ok), 00:41, 04/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    >> Ядро-то молча и без вопросов прибьёт этот процесс.
    >> (ну мож в dmesg чё-нить напишет: "OOM: killed, oops, следующий..." )
    > А я думал, при достижении posix-лимита на память аллокаторы будут возвращать ENOMEM,
    > а OOM используется, когда этих лимитов не было изначально.

    Если программа по-феншую написана, но можно ведь нагадить, специально иль случайно.

     
     
  • 7.35, Аноним (-), 01:35, 04/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Если программа по-феншую написана, но можно ведь нагадить, специально иль случайно.

    Ну так если англичанка гадит - это уже проблемы англичанки, не?

     
  • 7.65, qux (ok), 13:49, 06/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Если программа по-феншую написана, но можно ведь нагадить, специально иль случайно.

    Про феншуй больший, чем проверять значение от malloc, даже слышно мало где. А даже с проверкой можно ничего не понять, с дефолтным значением vm.overcommit_memory.

    И вон Qt 4.8.3 (возможно и более ранние) уже не работает с vm.overcommit_memory=2, сегфолтится. Конкретно jit в qtwebkit вроде причина.

     
     
  • 8.66, pavlinux (ok), 14:25, 06/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Глубоко в QT не лазил, накой ему Overcommit нужно ... текст свёрнут, показать
     
     
  • 9.67, qux (ok), 15:01, 06/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Кроме того, что написал, точнее не скажу Вот https bugzilla redhat com show... текст свёрнут, показать
     
  • 5.22, Аноним (-), 20:51, 03/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > обмануть - сказав "А у нас столько нету"..., На вопросы get_free_pages(),

    [code]
    int open(const char *pathname, int flags, mode_t mode)
    {
    printf("Profram attempted to open the file w/mode: %s\n", pathname);
    return -1;
    }
    ...
    LD_PRELOAD=/some/path/to/this/cool/lib.so
    [/code]
    Как видишь, можно даже соврать что мы с файлами работать почти не умеем. После такого демарша софт довольно колоритно обламывается в массе своей :)

     
     
  • 6.33, pavlinux (ok), 00:29, 04/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Как видишь, можно даже ...

    Это и есть суть контейнеров-изоляторов

     
     
  • 7.38, Аноним (-), 09:11, 04/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Это и есть суть контейнеров-изоляторов

    Ну там все поцивильнее сделано и без хаков. А это так, если сильно хочется кого-то на..ть, здесь и сейчас :).

     

  • 1.7, Аноним (-), 17:06, 03/10/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Qubes взлета боятся, не иначе =)
    а это все - полумеры и костыли :]
    и по менеджменту и по секьюрности и по масштабируемости.
     
     
  • 2.49, u (?), 14:21, 04/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Qubes взлета боятся, не иначе =)
    > а это все - полумеры и костыли :]
    > и по менеджменту и по секьюрности и по масштабируемости.

    Есть еще более "страшные" вещи!
    www.opennet.ru/opennews/art.shtml?num=38074


     
     
  • 3.64, Аноним (-), 02:44, 05/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Есть еще более "страшные" вещи!
    > www.opennet.ru/opennews/art.shtml?num=38074

    Ваша попытка напугать почтенную публику напомнила мне бородатый анекдот:

    Грузинский театр. Спектакль "Приключения Буратино". На диване лежит сам Буратино - волосатая грудь, нос на полметра... Стук в дверь.
    - Кто там?
    - Эта я - Карабас Барабас!
    - Вах, баюс баюс!

     

  • 1.12, Аноним (-), 17:53, 03/10/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    не читал, но осуждаю. Есть же lxc
     
     
  • 2.23, Аноним (-), 20:55, 03/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > не читал, но осуждаю. Есть же lxc

    Они обнаружили в нем фатальный недостаток... :)

     
     
  • 3.24, Michael Shigorin (ok), 20:58, 03/10/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >> не читал, но осуждаю. Есть же lxc
    > Они обнаружили в нем фатальный недостаток... :)

    Это который "так и не доделан юзерспейс"?

     
     
  • 4.44, Аноним (-), 09:23, 04/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Это который "так и не доделан юзерспейс"?

    Который "это написали не они". Ну то-есть подход нормальный: скооперироваться и доделать чего не хватало. Подход гугля: заявить что все это трэш и сделать свой трэш. Который ничем не лучше, кроме того что свое - не пахнет.

    Похожая история вышла с snappy, получившей непропорционально дофига пиара, при том что зачем-то написана на кривом, высосанном из пальца C++ и никакими особыми свойствами не страдает. В результате более удачный LZ4 писаный на голом си таки свое все-равно взял как видим, чисто деловыми качествми. Но сначала все носились с более пропиаренным snappy. Тут какой-то такой же велосипедизм: а чем эти обрубки которые нишиша не умеют лучше остальных?

     
     
  • 5.51, Аноним (-), 14:22, 04/10/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Тут какой-то такой же велосипедизм: а чем эти обрубки которые нишиша не умеют лучше остальных?

    Истинно® свободной™ лицензией© же.

     
  • 3.25, Аноним (-), 21:14, 03/10/2013 [^] [^^] [^^^] [ответить]  
  • –2 +/
    угу, видов "не контроллируется/приадлежит нами" и "лишен анального зонда АНБ/Гугля/Амазона/Акамаи/Netops.
     
     
  • 4.36, Аноним (-), 01:36, 04/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > угу, видов "не контроллируется/приадлежит нами" и "лишен анального зонда АНБ/Гугля/Амазона/Акамаи/Netops.

    Не надо предполагать мировой заговор там, где все объясняется банальной любовью к велосипедостроению.

     
     
  • 5.40, Аноним (-), 09:15, 04/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    "Не надо предполагать мировой заговор там, где все объясняется банальной любовью к велосипедостроению."

    спецслужбы всегда использовали приемчик "под дурачка" в различных вариациях. Я уже в пятый раз в комментариях к различным постам вижу эти слова (причем в точности).
    Суслик есть! И можете навесить на меня вялотекущую шизофрению.
    Человеку дан дар предполагать (выводить логически) в отличие от животных и кто-то очень хочет лишить (осмеять) этот дар, превратив человека в животное.

     
     
  • 6.46, Аноним (-), 09:53, 04/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    "спецслужбы всегда использовали приемчик "под дурачка" в различных вариациях."

    В подтверждение http://www.xakep.ru/post/61360/
    На любую шутку из некоторых уст найдутся дураки-исполнители.

     
     
  • 7.54, Аноним (-), 15:50, 04/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > На любую шутку из некоторых уст найдутся дураки-исполнители.

    Тут давеча Крабэ назвал профессора из ВШЭ "придурком". Ждем, когда дураки-исполнители посадят профессора в психушку и начнут колоть галоперидол.

     
     
  • 8.56, Michael Shigorin (ok), 18:43, 04/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Тем временем можете поклоняться таланту чубайсов с грефами, умники зрячие ... текст свёрнут, показать
     
     
  • 9.59, Аноним (-), 02:29, 05/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Как можно Мы только Крабу поклоняемся Вообще-то, речь шла не о том, кто там... текст свёрнут, показать
     
     
  • 10.68, Michael Shigorin (ok), 21:05, 06/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Судя по Вашим жалким попыткам умничать, воспитаны Вы хуже любого из колхозников,... текст свёрнут, показать
     
  • 6.47, Аноним (-), 14:19, 04/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Суслик есть! И можете навесить на меня вялотекущую шизофрению.

    Я не психиатр.
    Но могу сказать, что с психикой у вас определенно проблемы. Вы утверждаете, что выкатывание кривой джуниорской поделки, простой, как две копейки, про которую через забудут пару месяцев даже сами авторы - это секретный ход тайного мирового правительства с целью слежки лично за вами.
    Наверное, вы еще на кровать исключительно с разбега запрыгиваете, потому что ваш разум подсказывает, что под кроватью сидит взвод агентов АНБ и пытается схватить вас за ногу.

     
     
  • 7.53, Аноним (-), 15:47, 04/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    На самом деле причина эскалации параноидальной движухи довольно проста. Сноуден просто к случаю пришелся.

    На самом верху идет подготовка к законопроекту о полном запрете не сертифицированных средств защиты информации. Подаваться это будет под соусом того, что Tor/I2P/IPSec/OpenVPN/HTTPS - созданы исключительно в АНБ для слежки за гражданами России.

    В результате, средства шифрования будут фактически приравнены к боевому оружию - стоят очень дорого, требуют кучу документов и выдаются только определенным организациям (банкам и военным).

    Вот так параноиков поимеют с их же помощью.

     
     
  • 8.57, Аноним (-), 19:22, 04/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    В отношение открытых средств шифрования это извращенная логика, которую можно пр... текст свёрнут, показать
     
     
  • 9.60, Аноним (-), 02:32, 05/10/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    С детской порнографией логика была не менее извращенная, тем не менее, пипл сх... текст свёрнут, показать
     
  • 7.58, Аноним (-), 19:30, 04/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    >> Суслик есть! И можете навесить на меня вялотекущую шизофрению.
    > Я не психиатр.

    О чем тогда речь?

    > Но могу сказать, что с психикой у вас определенно проблемы.

    Я не экстрасенс, но я вижу что вы определенно фантазируете  

    > Вы утверждаете,
    > что выкатывание кривой джуниорской поделки, простой, как две копейки, про которую
    > через забудут пару месяцев даже сами авторы - это секретный ход
    > тайного мирового правительства с целью слежки лично за вами.

    Где я говорил что лично за мной?

    > Наверное, вы еще на кровать исключительно с разбега запрыгиваете, потому что ваш
    > разум подсказывает, что под кроватью сидит взвод агентов АНБ и пытается
    > схватить вас за ногу.

    Да вы, батенька, знаток.

     
  • 5.41, Аноним (-), 09:17, 04/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    >> угу, видов "не контроллируется/приадлежит нами" и "лишен анального зонда АНБ/Гугля/Амазона/Акамаи/Netops.
    > Не надо предполагать мировой заговор там, где все объясняется банальной любовью к
    > велосипедостроению.

    Кто-то выложил это, анонсировал, не побоявшись насмешек насчет поделия. А вдруг!

     

  • 1.13, Аноним (-), 17:56, 03/10/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • –4 +/
    т.е приложение само хочет поместит себя в контейнер, хочет не поместит? Может также само "открыть" свой контейнер? Это так похоже на империю добра... Мы подумаем за пользователя но не уступим своей власти над ним. При этом будет промоушен, что приложения гугла исполняются в контейнере и пользователю не надо беспокоятся.
     
     
  • 2.16, Аноним (-), 18:43, 03/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    На самом деле все гораздо проще.
    Группа гуглевых разработчиков для своих нужд напилила костылесипед, и теперь они решили это выложить жастфофан.
     
     
  • 3.42, Аноним (-), 09:19, 04/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > На самом деле все гораздо проще.
    > Группа гуглевых разработчиков для своих нужд напилила костылесипед, и теперь они решили
    > это выложить жастфофан.

    Если бы это никому не было нужно то и не выложили бы...

     
     
  • 4.50, Аноним (-), 14:21, 04/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Если бы это никому не было нужно то и не выложили бы...

    Никому, кроме "разработчиков". Да и это ненадолго.

     
  • 3.43, Аноним (-), 09:20, 04/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > На самом деле все гораздо проще.
    > Группа гуглевых разработчиков для своих нужд напилила костылесипед, и теперь они решили
    > это выложить жастфофан.

    обсуждается не реализация, а идея.

     
     
  • 4.63, Аноним (-), 02:40, 05/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > обсуждается не реализация, а идея.

    Вот это поворот!

     

  • 1.18, Аноним (-), 18:53, 03/10/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +4 +/
    > но в будущем планируется реализация системы ограничений для ввода-вывода, сетевых ресурсов, а также возможность заморозки/разморозки контейнеров и их переноса на другую машину

    Ага, как обычно.

     
  • 1.19, lucentcode (ok), 19:24, 03/10/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Зачем нужен сабж, когда есть lxc?
     
     
  • 2.27, Аноним (-), 21:22, 03/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Как я понял Google начал открытие механизмов App Engine. Тогда вся соль в обеспечении QoS. Т.е. не просто ограничить, а предоставить контейнеру гарантированные ресурсы.
     
     
  • 3.32, Аноним (-), 00:16, 04/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Как я понял Google начал открытие механизмов App Engine.

    Судя по той недоделанной поделке, которую нам сейчас выкатили - это отнюдь не App Engine.
    Тут же больше половины фич не готово.

     

  • 1.20, Аноним (-), 19:55, 03/10/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Docker лучше
     
     
  • 2.21, Аноним (-), 20:22, 03/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Чем?
     
     
  • 3.29, Аноним (-), 21:38, 03/10/2013 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Чем Lmctfy


     

  • 1.30, dr Equivalent (ok), 23:59, 03/10/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > Google
    > Let Me Contain That For You

    Тонко, молодцы.

     
     
  • 2.37, Аноним (-), 07:25, 04/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    скорее "Let me Control That for You" :)
     
     
  • 3.45, Аноним (-), 09:25, 04/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > скорее "Let me Control That for You" :)

    Let Me Upload That To Our Servers Instead Of You.

     
  • 3.52, Аноним (-), 14:23, 04/10/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > скорее "Let me Control That for You" :)

    Let Me Paranoia For You.

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Слёрм
    Inferno Solutions
    Hosting by Ihor
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2019 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру