The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Платформа машинного обучения SystemML получила статус первичного проекта Apache

01.06.2017 20:18

Организация Apache Software Foundation объявила о присвоении Apache SystemML статуса первичного проекта Apache. Платформа машинного обучения SystemML изначально была создана компанией IBM и используется в системе IBM Watson Health. В ноябре 2015 года наработки по SystemML были переданы под покровительство фонда Apache, в котором проект находился в инкубаторе, где была проверена способность следования принципам разработки и управления, принятым в сообществе Apache и основанным на идеях меритократии. Теперь Apache SystemML признан готовым для самостоятельного существования, не требующего дополнительного надзора. Компоненты проекта написаны на языках С++ и Java и поставляются под лицензией Apache 2.0.

Платформа Apache SystemML предоставляет средства для построения масштабируемых распределённых систем машинного обучения. В состав входит транслятор для различных алгоритмов машинного обучения, способный на основе заданного декларативного описания алгоритма автоматически генерировать гибридные планы выполнения как для единичных систем c обработкой данных в оперативной памяти, так и для кластеров с крупными хранилищами, развёрнутыми при помощи систем Apache Hadoop и Apache Spark.


Назначение SystemML для машинного обучения сравнивается с SQL для баз данных, SystemML позволяет абстрагироваться от черновой работы и сконцентрировать внимание на специфике решаемой проблемы при помощи высокоуровневого синтаксиса, похожего на язык R, а все оптимизации и преобразования будут выполнены специальным оптимизатором, учитывающим имеющиеся данные и ресурсы для формирования наилучшего плана выполнения алгоритма.

Системой предоставляется большая подборка статистических функций, примитивов линейной алгебры и конструкций, специфичных для систем машинного обучения. В отличие от имеющихся библиотек машинного обучения, предоставляющих фиксированный набор алгоритмов и типовых планов выполнения кода, SystemML пытается сочетать эффективность с масштабируемостью через применение автоматической оптимизации, учитывающей особенности текущих данных и имеющегося вычислительного кластера. Решения на базе SystemML способны масштабироваться от крупных кластеров и мэйнфреймов до ПК и смартфонов, позволяя создавать новые категории бизнес-приложений, использующих элементы машинного обучения.



  1. Главная ссылка к новости (https://blogs.apache.org/found...)
  2. OpenNews: Facebook представил модульную систему машинного обучения Caffe2
  3. OpenNews: Выпуск системы машинного обучения TensorFlow 1.0 и классификатора изображений ResNeXt
  4. OpenNews: Yahoo открыл модель машинного обучения для выявления неприличных изображений
  5. OpenNews: Baidu открыл наработки в области машинного обучения
  6. OpenNews: Microsoft опубликовал на GitHub систему машинного обучения CNTK
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/46638-systemml
Ключевые слова: systemml, apache
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (25) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Васёк (?), 20:43, 01/06/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Нифига непонятно. Всё абстрагируется, самооптимизируется, самообучается.

    Понимаю, это не моего уровня продукты и задачи, но хотя бы из интереса посмотреть малюсенькую хаутушечку с маленьким каким-нибудь примером решения конкретного примера.

     
     
  • 2.2, fsdgsdfsagsdfasdf (?), 20:58, 01/06/2017 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Хаутушечка разве сможет удовлетворить?
    Не лучше ли, начать с азов Computer Science и постепенно "дойти" до сабжа?
     
     
  • 3.3, 123 (??), 22:22, 01/06/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Ты поаккуратнее с советами - могут случайно Skynet построить.
     
     
  • 4.14, Аноним (-), 11:05, 02/06/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Скорее всего просто максимизатор скрепок.
     
  • 2.10, oopsy (?), 08:59, 02/06/2017 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Текст новости шикарен. Я вот не знаю что такое "машинное обучение" и замена "машинного обучения" на "сепуление" не сильно меняет смысл. Охотно верю, что не все такие серые как я и Вы. В нашей ситуации поможет wikipedia:

    https://ru.wikipedia.org/wiki/%D0%9C%D0%B0%D1%88

    https://en.wikipedia.org/wiki/Machine_learning

     
  • 2.12, Sabakwaka (ok), 10:55, 02/06/2017 [^] [^^] [^^^] [ответить]  
  • +/
    >>  но хотя бы из интереса посмотреть малюсенькую хаутушечку

    Нет слов, Василий.

     

  • 1.4, Аноним (-), 02:56, 02/06/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Интересная "вещь в себе". С какой стороны к ней подкатить?
     
  • 1.5, лютый жабист__ (?), 05:50, 02/06/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    "SystemML для машинного обучения сравнивается с SQL для баз данных"

    Какая-то неудачная аналогия, т.к. вообще говоря, SQL в итоге оказался полным провалом: убогость, косность фраз, не предназначенность для машинной обработки, в результате полный разброд у вендоров и быстрая смерть в начале 2010 годов в пользу NOSQL. RIP!

    Надеюсь SystemML не имеет ничего общего с SQL

     
     
  • 2.7, Аноним (-), 06:31, 02/06/2017 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Надеюсь SystemML не имеет ничего общего с SQL

    Вообще ничего. SystemML настолько нужный и перспективный проект что IBM передала его в Apache Foundation. Похоже IBM получит сверхдоходы от проекта. Чтобы сильно не думалось я приведу пример двух проектов: никому не нужный LibreOffice который сам по себе, и всеми пользуемый и перспективный OpenOffice который в Apache.

     
     
  • 3.26, KBAKEP (ok), 10:52, 08/06/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Сверхдоходы IBM получает от того, что написано на основе SystemML, а не от неё самой.
     
  • 2.8, red (??), 07:40, 02/06/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Не нравится сравнивать с SQL - сравните с Прологом, например.

    Ну и просто интересно: можно конкретный пример убогости и косности SQLя? Пруфы про смерть я даже не буду спрашивать.

     
     
  • 3.9, лютый жабист__ (?), 08:06, 02/06/2017 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > можно конкретный пример убогости и косности SQLя

    порядок операндов фиксированный, причём до маразма. limit и "order by" не вздумай поменять местами. а в например select сначала пишешь field, в потом table, в итоге автодополнение не работает. теряешь всего 3 сек, но 100500 раз - итого очень много.

    аналитические функции с использованием rank, over и "partition by" делают вывих мозга

    Плюсом из убогости (двумерность) самих РСУБД вытакает убогость всего SQL-я в виде разнообразных JOINов и 5этажных select into

    при этом я особо сложные вещи на SQL не делал, предпочитая нормальные языки программирования.

    про парсинг текста команды и костыли в виде prepared statements все знают.

    про бардак с limit, top, rownum() или там except/minus итд итп тоже

    Нормальные люди поработав с mongo api например выкидывают SQL на помойку. Можешь не видеть очевидного, мне не жалко. Но посмотри на рынок вакансий, нужно или nosql или ORM. А программисты SQL уже там же где и программисты HTML.

     
     
  • 4.11, red (??), 09:07, 02/06/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > порядок операндов фиксированный

    и замечательно. S - значит structured. Иначе был бы не запрос, а нечитаемое мессиво.

    > аналитические функции с использованием rank, over и "partition by" делают вывих мозга

    Первые несколько дней - да. Это вы ещё на всякие мультисеты и группинг сеты не смотрели. К слову, чтобы вывернуть мозг на первый проект с использованием Redis, мне понадобилось больше месяца: очень бесила убогость и несуразность. Потом ничего, разобрался и понравилось. Начал бы с редиса - бесил бы переход на SQL.

    > Плюсом из убогости (двумерность) самих РСУБД вытакает убогость всего SQL-я в виде разнообразных JOINов

    Да нет в джоинах никакого зла.

    > при этом я особо сложные вещи на SQL не делал, предпочитая нормальные языки программирования.

    SQL - это _query_ language, причём тут нормальные/ненормальные языки программирования? К слову, orm - это всего лишь object-relational _mapping_.

    > про парсинг текста команды и костыли в виде prepared statements все знают.

    Поясните, плз, я не знаю.

    > про бардак с limit, top, rownum() или там except/minus итд итп тоже

    +1, раздражает. Однако, единого стандарта на nosql и orm я тоже не встречал.

    > Нормальные люди поработав с mongo api например выкидывают SQL на помойку. Можешь не видеть очевидного, мне не жалко. Но посмотри на рынок вакансий, нужно или nosql или ORM. А программисты SQL уже там же где и программисты HTML.

    Если кто-то покажет хорошую реализацию на noSQL, например, учётной системы сети гипермаркетов, я крепко задумаюсь. Однако, пока такого не видел.

    PS: О чём вообще спор? Каждой задаче - свой инструмент.

     
     
  • 5.13, лютый жабист__ (?), 10:58, 02/06/2017 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > нечитаемое мессиво

    от свопа limit и order маша? нуну...
    в монге вообще любой оператор можно менять местами. супер.
    .find().limit(1).sort( { ts : -1 } ).pretty()

    >Начал бы с редиса

    Ну, я начал с SQL ещё лет 15 назад. С радостью выкинул в пользу ORM и NoSQL.

    Вообще по редису судить о всех NOSQL странно.

    >К слову, orm - это всего лишь

    в котором не надо писать километровые SQLзапросы. Для информации.

    >единого стандарта на nosql

    Потому что все NOSQL невероятно отличаются. Ещё скажи, что графовый Neo4j должен "говорить" на стандартном NOSQL-языке? Вся сила в разнообразии.

    Мне кстати интересно, графовый модуль к Постгресу тоже в SQLные рамки затолкали? Вот уж неведома зверушка получилась явно.

    >нет в джоинах никакого зла

    Ты не шаришь в вопросе. Когда у тебя в resultset 90% дублированных данных из-за того что ради дополнительных полей все столбцы повторяют эти данные, выгребание этого заметно тормозит. Хотя, я забыл, у РСУБДшников же тормоза это норма... и нет никакого зла :)))

     
     
  • 6.17, red (??), 11:44, 02/06/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >>К слову, orm - это всего лишь
    > в котором не надо писать километровые SQLзапросы. Для информации.

    Так ведь на сторону СУБД это прилетает именно в виде километровых запросов с настолько ужасными планами выполнения, что хочется убивать.

    > в resultset 90% дублированных данных из-за того что ради дополнительных полей все столбцы повторяют эти данные

    ???

    > Ты не шаришь в вопросе.

    Не профи, конечно, но всякие красивые бумажки на тему DBA и Performance and tuning имеются. Тоже 15 лет в теме, кстати. Предлагаю за это выпить.

     
     
  • 7.20, _ (??), 18:52, 02/06/2017 [^] [^^] [^^^] [ответить]  
  • +/
    >> Ты не шаришь в вопросе.

    Все деффчонки знают что шарят только жабисты. Причём почти всегда - >|<опой по луже :)
    >Не профи, конечно, но всякие красивые бумажки на тему DBA и Performance and tuning имеются. Тоже 15 лет в теме, кстати. Предлагаю за это выпить.

    Ай молодца! Тонко ты его! Давай выпьем!
    Но без жабиста, увы - ему пока мамка не разрешает :)

     
     
  • 8.23, лютый жабист__ (?), 13:38, 04/06/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Да не пью, ни пиво, ни остальное И свитер не ношу И подстрижен И без коньюкти... текст свёрнут, показать
     
  • 6.19, Аноним (-), 17:35, 02/06/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Ты не шаришь в вопросе. Когда у тебя в resultset 90% дублированных
    > данных из-за того что ты, как типичный похапист или ж[a|o]пист, в алгебрах реляционных и формах нормальных - ни ухом, ни рылом, но упорно лезешь в разработчики.

    фикс, не благодарите.

     
  • 4.16, hdkfhsfhsiosf (?), 11:31, 02/06/2017 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Руки прочь от sql! Беда, когда люди начинают (и заканчивают) изучение программирования с джавы. Они не понимают в большинстве своём ни как их собственный код работает на уровне процессора, памяти. Ни в азах реляционной алгебры, на которой построены реляционные БД. И главное - не хотят, поливают г-ном то в чем ни**я не разбираются. Оракл с постгресом ещё на похоронах nosql простудятся. Кстати, Оракл Sun с Java-ой купил с потрохами, а не наоборот.
     
     
  • 5.18, red (??), 11:47, 02/06/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Коллега, пишите скорее свой адрес, я вышлю вам пива с воблой.
     
     
  • 6.22, Аноним (-), 00:25, 03/06/2017 [^] [^^] [^^^] [ответить]  
  • +/
    88 Colin P Kelly Jr St.
    San Francisco, CA 94107.
    United States.
     
  • 5.24, Sarmat (?), 15:52, 07/06/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Не реагируйте на похоронную команду которая пришла за SQL, таких уже было не один раз. Жертвы менеджмента, что ещё скажешь у нас 5-6 лет наза менеджеры тоже носились с этим вот FB смог на этом выскочить и т.п. Написали тесты они показали, что в наших задачах лучше SQL ни чего пока нет. И всё вернулось на круги своя.
     

  • 1.6, Аноним (-), 06:15, 02/06/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    "R-like and Python-like" короче щит-лайк, а идея полезная. Нафаршировать бы алгоритмами и декларировать программы на птичьем языке без отладок и пыли.
     
     
  • 2.15, Аноним (-), 11:21, 02/06/2017 [^] [^^] [^^^] [ответить]  
  • +/
    а мы упоролись и хотим на пхп это летать ))))
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру