The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Intel открыл систему машинного обучения для обработки информации на естественном языке

29.05.2018 12:07

Компания Intel представила проект NLP Architect, в рамках которого открыты наработки в области применения методов глубинного машинного обучения для обработки и распознавание смысла информации на естественном языке (NLP/NLU, Natural Language Processing/Understanding). Код библиотеки написан на языке Python и распространяется под лицензией Apache 2.0. Библиотека поддерживает работу с фреймворками машинного обучения Intel Nervana™ graph, Intel neon, Tensorflow, Dynet и Keras.

Из задач, для решения которых может применяться NLP Architect, называется проведение тренировки моделей с использованием предоставляемых алгоритмов, эталонных наборов данных и настроек (также предоставляются уже натренированные модели для различного применения); тренировка с использование своих данных; создание новых или расширение доступных моделей; исследование применимости различных моделей глубинного машинного обучения для решения задач обработки информации на естественном языке; проведение экспериментов и оптимизация алгоритмов машинного обучения; интеграция в свои проекты готовых модулей и утилит, предоставляемых библиотекой.

Библиотека предоставляет ряд готовых моделей NLP и NLU, пригодных для разбора зависимостей между языковыми конструкциями, определения смысловых примитивов и маркировки слотов, применения сетей памяти (Memory Networks) для построения диалогов, применения сетей ключ/значение (Key-value Network) для организации взаимодействия в форме вопрос/ответ, использования модели векторов для расстановки слов, пометка частей речи, проведения семантической сегментации словосочетаний, распознавания именованных сущностей (известных названий, имён, объектов), выделение терминов, определения смысловой информации (распознавание смысла прочитанного) и разбивки текста на структурные элементы.

В состав NLP Architect входят следующие компоненты:

  • Набор базовых моделей NLP для обработки информации на естественном языке (например, могут применяться для определения частей речи и выделения цепочек связи между словами);
  • Модули NLU для распознавание смысла информации на естественном языке (например, для извлечения смысловых единиц и выделения терминов);
  • Модули для семантического разбора (например, для определение словосочетаний и наиболее значимых слов);
  • Компоненты для создания диалоговых систем с элементами инскуственного интеллекта, таких как чат-боты;
  • Шаблоны для построения готовых сервисов и примеры приложений с реализацией отвечающих на вопросы автоинформаторов, систем машинного чтения и интерфейсов для визуализации взаимосвязи между словами.

Дополнительно можно отметить публикацию универсальной системы классификации текста, разработанной проектом fast.ai. Система позволяет расставлять метки для текста, в зависимости от его содержимого. Например, метод может применяться для определения спама и оскорбительных комментариев, разбора положительных и отрицательных отзывов, группировки статей по заданной тематике, выделения документов, в которых упоминаются определённые факты. Код классификатора написан на языке Python и распространяется под лицензией Apache 2.0. В качестве базового фреймворка применяется PyTorch. Для загрузки доступна уже натренированная модель на основе Wikitext.

  1. Главная ссылка к новости (https://ai.intel.com/introduci...)
  2. OpenNews: Проект OpenNMT развивает систему машинного перевода на основе нейронной сети
  3. OpenNews: Выпуск spaCy 1.0, библиотеки для обработки информации на естественном языке
  4. OpenNews: Facebook открыл модули машинного обучения, использующие GPU для ускорения
  5. OpenNews: Intel представил nGraph, компилятор для систем машинного обучения
  6. OpenNews: Система машинного обучения для синтеза типового кода на языке Java
Лицензия: CC-BY
Тип: Программы
Ключевые слова: nlp, ai, intel
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (24) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.2, Аноним (-), 13:00, 29/05/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Я, конечно, понимаю, что люди, пишушие софт в Штеуд, не имеют отношения к процессорной части. Но всё же: как по мне, лучше бы тратили бюджет на допиливание своего главного продукта.
     
     
  • 2.3, EuPhobos (ok), 13:04, 29/05/2018 [^] [^^] [^^^] [ответить]  
  • –8 +/
    Так, инопланетяне/рептилоиды/масоны/иллюминаты/гости из будущего/гости из-за купола/нежить/эльфы (нужное выделить) не дают новых технологий, поэтому страдают фигнёй.
     
     
  • 3.7, Аноним (-), 14:10, 29/05/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Кто из этих фантастических существ позволил той самой ошибке в процессорах за последние 10 лет появиться? Или кто-то из них мешает компании сделать 64-bit процессор с архитектурой RISC как белый человек (а не встраивать зонды в свои CISC через которые после долгих страданий пытаясь создать компилятор и оптимизировать под x86_64 оно всё равно конвертирует в RISC чтобы пайплайнить эту дичь)?
     
     
  • 4.13, Аноним (-), 16:01, 29/05/2018 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Spectre во всю в ARM64, а meltdown только у intel, x86 не помешал amd создать процессор без этой уязвимости. Отдельно отмечу про отгороженность всех существующих продуктов на ARM, у ARM нет никакой стандартизации по начальной инициализации, у каждого вендора свой стек и инструментарий, у qualcomm например в ROM зашит Primary Boot loader который проверяет подписи в secondary boot loader, тот в свою очередь во всех последующих загрузчиках, потому поменять загрузчик без ключей нельзя, все текущие процедуры разлочки телефона начинаются с запроса на сайт производителя железки с передачей серийного номера. А RPI так вообще инициализацию ARM ядер выполнят broadcom'овский VideoCore.
     
     
  • 5.31, Аноним (-), 21:24, 29/05/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    А я и не про ARM64 говорил, а про человеческую архитектуру, естественно опенсорсную (это даже не обсуждается), естественно 64-bit и КАК МОЖНО меньше. Факт в том что ARM не поставили себе лимит, как и все остальные компании, поэтому о реальной стандартизации остается только мечтать. Что не смотришь у них в новом процессоре какие-то оптимизации для каких-то особенных C++ уродов и прочая чепуха. Вообще эта волшебная архитектура даже обновляться не должна, по крайнер мере не раз в 2 года. Времена когда ничего не понятно было что будет популярно в будущем уже давно прошли, все сейчас пользуются примерно одним и тем же, осталось упростить и стандартизировать, и поставить лимит чтобы не начать припаивать бесполезные фентифлюшки.
     
  • 2.35, Григорий Федорович Конин (?), 12:53, 30/05/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Эти лодыри ещё и в какойо-то странный опенсорс коммитят: https://01.org/projects
     

  • 1.6, Аноним (-), 13:58, 29/05/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Интересно, если этой штуке скормить российское законодательство...
     
     
  • 2.10, Andrey Mitrofanov (?), 14:26, 29/05/2018 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Интересно, если этой штуке скормить российское законодательство...

    Если оно достигло уровня "мысли" мвд/нквд, то -
      "был бы человек хороший, а статья найдётся"
      "то, что вы ещё на свободе, не ваша заслуга, а наша недоработка"

     
  • 2.11, Всем Анонимам Аноним (?), 14:35, 29/05/2018 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Оно найдет что обычным людям запрещено все.
     
     
  • 3.16, Нарзан (?), 16:51, 29/05/2018 [^] [^^] [^^^] [ответить]  
  • –2 +/
    А необычным? И в чём именно отличие обычных от необычных?
     
     
  • 4.20, A.Stahl (ok), 17:42, 29/05/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    В том, что необычным позволено многое.
     
     
  • 5.25, Аноним (-), 19:56, 29/05/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Но не все!
     
     
  • 6.34, A (?), 09:56, 30/05/2018 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Не все сразу.
     
  • 2.12, Аноним (-), 15:00, 29/05/2018 [^] [^^] [^^^] [ответить]  
  • +/
    > Интересно, если этой штуке скормить российское законодательство...

    Она сломается, пытаясь решить кучу найденных противоречий.


     
     
  • 3.36, PereresusNeVlezaetBuggy (ok), 14:27, 30/05/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Я вас умоляю. Российское законодательство корнями уходит в начало XX века, по известным причинам. А вот, скажем, в старой доброй Европе до сих пор действуют нормативные акты эдак пятивековой давности. И вот там действительно чёрт ногу сломит.
     
     
  • 4.39, Аноним (-), 21:01, 30/05/2018 [^] [^^] [^^^] [ответить]  
  • +/
    > А вот, скажем, в старой доброй Европе до сих пор действуют нормативные акты эдак пятивековой давности. И вот там действительно чёрт ногу сломит.

    Сам черт ногу сломит только в прецендентом праве, это да.
    А вот те же BGB, АGB и т.д. вполне понятны, если немного освоить канцелярит.

    Есть конечно "забавные казусы" - например, устное заключение договора и скрепление "ударом по рукам" и прочие "приколы" из старины глубокой, очень неприятные для современных "вилятелей *опой" и "хозяев своего слова - захотел дал, захотел обратно взял" ;)

     

  • 1.9, Аниним (?), 14:17, 29/05/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    >Система позволяет расставлять метки для текста, в зависимости от его содержимого. Например, метод может применяться для определения спама и оскорбительных комментариев, разбора положительных и отрицательных отзывов,

    Так вот на чём работает "четырёхступенчатая система модерации" Опеннета...

     
  • 1.19, name (??), 17:40, 29/05/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Видеокарту использует? cuda?
     
     
  • 2.22, Dmitry77 (ok), 19:09, 29/05/2018 [^] [^^] [^^^] [ответить]  
  • +/
    В качестве базового фреймворка применяется PyTorch
     
     
  • 3.26, Аноним (-), 19:57, 29/05/2018 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > В качестве базового фреймворка применяется PyTorch

    Использует революционную технологию Intel под названием x86 CPU

     
  • 3.41, Вареник (?), 21:19, 30/05/2018 [^] [^^] [^^^] [ответить]  
  • +/
    На основной диаграмме TensorFlow, ngraph.
     

  • 1.30, Аноним (-), 21:05, 29/05/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Кто знает, какие языки разработки оно поддерживает? R или Julia есть?
     
     
  • 2.33, а (?), 00:32, 30/05/2018 [^] [^^] [^^^] [ответить]  
  • +/
    что прикрепить, то и будет
     

  • 1.42, Аноним (-), 14:33, 05/06/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Bring yourself back online, Dolores ...
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Слёрм
    Inferno Solutions
    Hosting by Ihor
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2019 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру