The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги | ]

19.06.2018 09:05  Выпуск Dragonfire 1.0, виртуального голосового помощника для Linux

После трёх лет разработки подготовлен релиз виртуального голосового помощника Dragonfire 1.0, позволяющего организовать управление рабочим столом при помощи голосовых команд. Проект написан на языке Python и распространяется под лицензией MIT. Поддерживается работа в Linux-дистрибутивах на базе Ubuntu (в том числе KDE neon и elementary OS), дополнительно подготовлен мобильный клиент для платформы Android.

Для разбора голосовых команд применяется система распознавания речи Mozilla DeepSpeech, построенная на платформе машинного обучения TensorFlow. Для синтеза речи задействован пакет Festival. Интерфейс в форме вопрос/ответ базируется на библиотеке распознавания текста на естественном языке spaCy и данных из Wikipedia. Ответ формируется с применением нейронной сети seq2seq, натренированной по базе диалогов из фильмов (Cornell Movie-Dialogs Corpus).

Программа может работать в режиме с графической анимацией, при котором на экран выводится полупрозрачный силуэт, визуализирующий работу приложения (на выбор можно выбрать мужской или женский персонаж или вообще отключить анимацию). При помощи голосового управления можно осуществлять операции поиска встроенных команд, запускать приложения, вычислять математические выражения и задавать произвольные вопросы. Например, можно скомандовать запустить офисный пакет, продиктовать текст и попутно спросить какой крупнейший город в Турции.

Система также может запускаться в серверном режиме, предоставляя RESTful API для создания диалоговых чатботов. В поставку входит готовый пример чатбота для Twitter. Для оптимальной работы желательно наличие в системе GPU с поддержкой CUDA и 2 Гб свободной оперативной памяти. Опционально предусмотрен режим использования вместо встроенного движка распознавания речи внешнего API Google Speech, который можно использовать при необходимости экономии ресурсов.

Голосовой помощник Dragonfire развивается как разработка, сопутствующая проекту по созданию мотоциклетного шлема дополненной реальности Dragon Armor. Изначально проект был нацелен на создание диалогового интерфейса бесклавиатурного управления, который мог бы использоваться во время вождения мотоцикла. CAD-файлы для 3D-печати шлема доступны под свободной лицензией MIT. Электронная начинка шлема основана на применении четырёх плат Raspberry Pi 3, камеры Pi Camera, камеры-детектора объектов Pixy (CMUcam5), GSM-модуля от Arduino, микрофона, двух громкоговорителей и мини-проектора DLP LightCrafter Display 3010 EVM. Для шлема развивается специализированный дистрибутив DragonOS на основе Ubuntu.



  1. Главная ссылка к новости (https://github.com/DragonCompu...)
  2. OpenNews: Проект Mozilla выпустил открытую систему распознавания речи
  3. OpenNews: Представлен Sirius, открытый персональный ассистент, напоминающий Apple Siri и Google Now
  4. OpenNews: Атака на системы голосового управления через передачу команд в ультразвуковом диапазоне
  5. OpenNews: Тестовый выпуск свободной системы распознавания речи Simon 0.4.80
  6. OpenNews: Открытие наработок проекта Mycroft
Лицензия: CC-BY
Тип: Программы
Ключевые слова: dragonfire, voice, ai, deepspeech, festival
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Ajax/Линейный | Раскрыть все сообщения | RSS
 
  • 1.1, iPony (?), 10:33, 19/06/2018 [ответить] [показать ветку] [···]    [к модератору]
  • –5 +/
    Годно, нужно.
    Можно купить что-то открытое, типа Маркуши https://mycroft.ai/shop/
    И засадить туда что хочешь и как хочешь
     
     
  • 2.4, Аноним (4), 10:46, 19/06/2018 [^] [ответить]     [к модератору]
  • +4 +/
    От Mycroft сложилось впечатление быстро сляпанного на коленке поделия Никаким ... весь текст скрыт [показать]
     
  • 1.2, Аноним (2), 10:34, 19/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +12 +/
    "Окей, шлем! Сколько китайских серверов получает запись моего голоса?"
     
     
  • 2.3, A.Stahl (ok), 10:38, 19/06/2018 [^] [ответить]    [к модератору]  
  • +12 +/
    "Не ссы, хозяин! Китайцы всё равно не тебя не понимают."
     
     
  • 3.10, paulus (ok), 11:12, 19/06/2018 [^] [ответить]    [к модератору]  
  • +/
    Таки, да! "Говорите тише, говорите громче, повторите..." Замучает же этот помошник ;) Амазоновкский приколы уже вытворял, записывал и рассылал кому не поподя.., и т.д. Показалось ему типа :)
     
  • 2.8, Аноним (8), 11:11, 19/06/2018 [^] [ответить]    [к модератору]  
  • +9 +/
    Будь безмятежен как цветок лотоса у подножия храма истины.
     
  • 1.5, MPEG LA (ok), 11:00, 19/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +10 +/
    >Ответ формируется с применением нейронной сети seq2seq, натренированной по базе диалогов из фильмов

    SHUT THE FUCK UP, DONNY^W%USERNAME%!
    надеюсь подборка хорошая была

     
     
  • 2.24, Гентушник (ok), 12:07, 19/06/2018 [^] [ответить]    [к модератору]  
  • +7 +/
    - What?
    - Say "what" again.
     
     
  • 3.60, Павел (??), 20:28, 19/06/2018 [^] [ответить]    [к модератору]  
  • +5 +/
    Элэвын!
     
  • 1.6, Аноним (6), 11:06, 19/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Неплохо,
    а предусмотрено подключение сервера с GPU находящегося в локальной сети?
     
     
  • 2.12, Аноним (12), 11:13, 19/06/2018 [^] [ответить]    [к модератору]  
  • –1 +/
    > Неплохо,
    > а предусмотрено подключение сервера с GPU находящегося в локальной сети?

    Локальная сеть в седельных сумках?

     
     
  • 3.20, Аноним (6), 11:35, 19/06/2018 [^] [ответить]    [к модератору]  
  • +/
    Зачем же? Интернет бескраен и в сумку не влезет)
     
     
  • 4.40, Аноним (40), 14:44, 19/06/2018 [^] [ответить]    [к модератору]  
  • +2 +/
    Порево да, а остальное запросто
     
  • 1.9, Аноним (8), 11:12, 19/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Это круто! Хочу такой шлем! Буду гонять в своей КИЯ в шлеме! :)))
     
  • 1.11, Аноним (11), 11:13, 19/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Ничего, кроме ржача =) Кстати, недочет - в тексте новости нужно было писать "фреймворк", ога.
     
  • 1.13, Аноним (11), 11:17, 19/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    > Электронная начинка шлема основана на применении четырёх плат Raspberry Pi 3
    > на языке Python

    Хватит уже, АСТАНАВИТЕСЬ!! А то я чаем поперхнусь от смеха :)

     
     
  • 2.14, Аноним (12), 11:22, 19/06/2018 [^] [ответить]     [к модератору]  
  • +/
    Плата на модуль наверное очень логично а еще можно задублировать греется толь... весь текст скрыт [показать]
     
     
  • 3.16, Аноним (11), 11:25, 19/06/2018 [^] [ответить]    [к модератору]  
  • +/
    Плата на модуль Питона? Очень может быть))
     
  • 3.21, Cradle (?), 11:50, 19/06/2018 [^] [ответить]    [к модератору]  
  • +1 +/
    так зимой хорошо будет в этом шлеме, даже и без мотоцикла
     
     
  • 4.26, Аноним (26), 12:54, 19/06/2018 [^] [ответить]    [к модератору]  
  • +/
    3-я малина без пассивного охлаждения при нагрузке выдает около 80° С, с пассивным радиатором около 60. Я бы в таком шлеме не стал разъезжать, да... Ну или его позиционировать надо как "умная сауна"
     
     
  • 5.50, Урри (?), 17:23, 19/06/2018 [^] [ответить]    [к модератору]  
  • +/
    Вывести радиаторы наружу.
     
     
  • 6.77, Аноним (77), 12:15, 20/06/2018 [^] [ответить]    [к модератору]  
  • +/
    при 60 на солнце - не поможет.
     
  • 2.17, Аноним (17), 11:26, 19/06/2018 [^] [ответить]    [к модератору]  
  • –5 +/
    Ну так питон же. ЖС требовал бы три платы, Java и C++ - две, а няшная сишечка - половину.
     
     
  • 3.19, 123 (??), 11:34, 19/06/2018 [^] [ответить]    [к модератору]  
  • +5 +/
    Жаба бы все 6 затребовала по ОЗУ
     
     
  • 4.29, Аноним (17), 13:33, 19/06/2018 [^] [ответить]    [к модератору]  
  • +2 +/
    Источник: диванная экспертиза.
     
     
  • 5.30, 123 (??), 13:47, 19/06/2018 [^] [ответить]    [к модератору]  
  • +2 +/
    Основанная тем не менее на наблюдениями за наёмными жабокодерами в неволе. И сервера по 180гб рамы под их поделия.
     
     
  • 6.31, Аноним (17), 13:56, 19/06/2018 [^] [ответить]     [к модератору]  
  • –4 +/
    171 Основанная на наблюдениями 187 Без аналогичного приложения на С любые... весь текст скрыт [показать]
     
     
  • 7.37, Аноним (37), 14:33, 19/06/2018 [^] [ответить]     [к модератору]  
  • –2 +/
    дада, и с тех времён пошла сказка, что на джава ничего не напишешь серьёзного Н... весь текст скрыт [показать]
     
     
  • 8.41, Аноним (17), 14:49, 19/06/2018 [^] [ответить]     [к модератору]  
  • +1 +/
    Какое точное число Сразу видно проведены тщательнейшие научные исследования И... весь текст скрыт [показать]
     
     
  • 9.62, Аноним (62), 00:11, 20/06/2018 [^] [ответить]    [к модератору]  
  • +/
    ну разумеется, главное чаще себе это повторять, бро. Сони-эриксоны и сименсы никогда не колупал?
     
  • 7.42, Аноним (40), 15:27, 19/06/2018 [^] [ответить]     [к модератору]  
  • +3 +/
    Отнють, имел честь поручкаться с мониторингом на яве, пинговало оно сеть из пары... весь текст скрыт [показать]
     
     
  • 8.47, J.L. (?), 16:08, 19/06/2018 [^] [ответить]     [к модератору]  
  • +1 +/
    хм, а у нас 4к терминалов мониторится на 500 метрах, правда терминалы сами к нам... весь текст скрыт [показать]
     
     
  • 9.56, анон (?), 19:02, 19/06/2018 [^] [ответить]    [к модератору]  
  • +/
    И 1С предприятие тоже, лол
     
  • 9.82, Аноним (82), 16:04, 20/06/2018 [^] [ответить]    [к модератору]  
  • +/
    > сами к нам конектятся и вливают инфу, а не мы опрашиваем

    Ну это как мусор, который сам от себя избавляет, одежда которая сама гладится и стирается, работа, которая сама себя работает.

     
  • 8.73, YetAnotherOnanym (ok), 09:30, 20/06/2018 [^] [ответить]    [к модератору]  
  • +/
    А по телнету чем коннектились? Я в похожей ситуации юзал NIST Expect, но не отказался бы пощупать что-нибудь ещё.
     
     
  • 9.81, Аноним (82), 15:43, 20/06/2018 [^] [ответить]     [к модератору]  
  • +/
    Вот тут все очень плохо, если в начале справлялись костыли, то с появлением желе... весь текст скрыт [показать]
     
  • 3.46, Аноним84701 (ok), 15:59, 19/06/2018 [^] [ответить]     [к модератору]  
  • +3 +/
    И всем хорош очередной анализ с высоты дивана, но Festival и DeepSpeech т е т... весь текст скрыт [показать]
     
     
  • 4.64, Аноним (64), 05:18, 20/06/2018 [^] [ответить]     [к модератору]  
  • +/
    Ты забыл упомянуть тот неудобный факт, что у Node JS, как и у Java, основная раб... весь текст скрыт [показать]
     
     
  • 5.66, Аноним84701 (ok), 07:15, 20/06/2018 [^] [ответить]     [к модератору]  
  • +/
    Ты забыл упомянуть тот неудобный факт, что у питона основная работа делается на ... весь текст скрыт [показать]
     
     ....нить скрыта, показать (23)

  • 1.18, EuPhobos (ok), 11:31, 19/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +2 +/
    По русский понимает?
     
     
  • 2.22, Аноним (22), 11:54, 19/06/2018 [^] [ответить]    [к модератору]  
  • +5 +/
    NYET
     
  • 2.28, Аноним (2), 13:07, 19/06/2018 [^] [ответить]    [к модератору]  
  • –1 +/
    До тех пор, пока в русском языке фразы
    "Ему же надо было" и
    "Ему жена добыла"
    будут звучать неотличимо, никаких голосовых управлялок интересных не появится
     
     
  • 3.32, Аноним (17), 14:00, 19/06/2018 [^] [ответить]    [к модератору]  
  • +1 +/
    А какая команда должна запуститься при фразе "йе-му-же-на-да-бы-ла"?
     
  • 3.39, Allen (??), 14:43, 19/06/2018 [^] [ответить]    [к модератору]  
  • +5 +/
    Ага, точно, омофоны же только в русском языке есть, такой вот он уникальный (на самом деле нет).
     
  • 3.49, alltiptop (ok), 16:36, 19/06/2018 [^] [ответить]    [к модератору]  
  • +3 +/
    В английском такой фигни едва ли меньше, там контекст надо понимать/угадывать
     
     
  • 4.78, dq0s4y71 (ok), 13:48, 20/06/2018 [^] [ответить]    [к модератору]  
  • +/
    Больше. Connected speech называется.
     
  • 2.55, Аноним (-), 17:48, 19/06/2018 [^] [ответить]    [к модератору]  
  • +/
    Если ты научишь его, будет понимать.
     
  • 2.69, DmA (??), 08:10, 20/06/2018 [^] [ответить]    [к модератору]  
  • +/
    там же сказано- диалоговая база фильмов используеся...Какой там русский язык-то...
     
  • 1.23, Аноним (23), 12:03, 19/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • –2 +/
    Эй драфая,зганяй в сельмах палитру вазьми, а.
     
     
  • 2.27, Аноним (27), 13:01, 19/06/2018 [^] [ответить]    [к модератору]  
  • +4 +/
    Use your white master's language.
     
  • 1.25, Аноним (25), 12:54, 19/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +1 +/
    >CAD-файлы для 3D-печати шлема доступны под свободной лицензией MIT

    И отмоделены во Fusion360,гагага.

     
  • 1.34, Аноняшка (?), 14:20, 19/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    круто, впечатляет, ребята гении))
    надо только няшечку в качестве полупрозрачного силуэта на экран поставить, (или кому что нравиться)
     
  • 1.35, Аноним (-), 14:29, 19/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +7 +/
    Был раньше Simon какой-то, совершенно неюзабельный. За 10 лет так ничего и не смогли сделать. А грозились что будет в каждом дистрибутиве и круче Siri.
     
  • 1.36, Аноним (-), 14:29, 19/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +2 +/
    Блин, хоть бы видео с демонстрацией выложили, как оно работает?
     
     
  • 2.44, Аноним (44), 15:36, 19/06/2018 [^] [ответить]    [к модератору]  
  • +2 +/
    В README проекта на гитхабе есть ссылки на видео, мой анонимный брат.
     
     
  • 3.54, Аноним (-), 17:46, 19/06/2018 [^] [ответить]    [к модератору]  
  • +/
    Спасибо, заценим!
     
  • 1.43, Аноним (43), 15:34, 19/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Тут ещё вот что интересно.) Шлем лишь часть экипировки мотоциклиста. А остальное снаряжение они тоже будут на основе малинки клепать?
     
     
  • 2.45, Аноним (44), 15:38, 19/06/2018 [^] [ответить]     [к модератору]  
  • +1 +/
    А ты действительно хочешь поговорить со своими мотоботинками ... весь текст скрыт [показать]
     
     
  • 3.48, Аноним (48), 16:29, 19/06/2018 [^] [ответить]    [к модератору]  
  • +6 +/
    > А ты действительно хочешь поговорить со своими мотоботинками?

    Можно же попытаться разговорить чужие..

     
     
  • 4.58, пох (?), 20:07, 19/06/2018 [^] [ответить]    [к модератору]  
  • +2 +/
    "окей, бот, где вторая нога этого хруста?"

     
  • 4.72, Аноним (12), 08:38, 20/06/2018 [^] [ответить]     [к модератору]  
  • +1 +/
    В пробке будет образована MESH сеть из ботинок байкеров и хакеры запустят на них... весь текст скрыт [показать]
     
  • 3.70, DmA (??), 08:12, 20/06/2018 [^] [ответить]    [к модератору]  
  • +1 +/
    >> Тут ещё вот что интересно.) Шлем лишь часть экипировки мотоциклиста. А остальное
    >> снаряжение они тоже будут на основе малинки клепать?
    > А ты действительно хочешь поговорить со своими мотоботинками?

    Надеюсь головы мотоциклистов в таких шлемах  после аварии станет искать легче :)

     
  • 1.51, corvuscor (ok), 17:31, 19/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +1 +/
    И ускоряется это все исключительно проприетарной CUDA на проприетарной nvidia.
    Верной дорогой идут товарищи!
     
     
  • 2.52, Аноним (-), 17:46, 19/06/2018 [^] [ответить]    [к модератору]  
  • –2 +/
    А есть еще видеокарты, кроме нвидии?
     
  • 1.53, Аноним (53), 17:46, 19/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    4 разбери пи запихали в шлем? Эпичненько. Еще батарейки займут склько места, да и жарко будет внутри =)) Для защитного пеноплатса места не осталось поди.
     
     
  • 2.59, пох (?), 20:09, 19/06/2018 [^] [ответить]    [к модератору]  
  • –2 +/
    > 4 разбери пи запихали в шлем? Эпичненько. Еще батарейки займут склько места,

    какие еще тебе батарейки? Питаться будет от генератора мотоцикла.
    В крайнем случае - поставим небольшой буфер, и будем на дороге заряжаться беспроводной зарядкой от того же генератора. Что, излучение? Да выдумки это все. Но съемные заглушки для отрастающих рогов надо, конечно, добавить в проект.

     
     
  • 3.68, Аноним (-), 07:28, 20/06/2018 [^] [ответить]    [к модератору]  
  • +/
    а антенну для беспроводной зарядки вкорячить в седло, нехай там заряжает
     
  • 1.63, HitomiTanakaGoesLinux (?), 01:37, 20/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    А как Сири работает в старом айфоне на 1 гб памяти без всяких КУДА и ГБУ и каши не просит?
     
     
  • 2.65, soarin (ok), 05:21, 20/06/2018 [^] [ответить]    [к модератору]  
  • +1 +/
    очень просто – в тонко клиентном режиме.
    Без интернетов она не сможет работать.
     
  • 1.67, Аноним (-), 07:26, 20/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +2 +/
    элэс пробел минус эла
    цэпэ пробел минус а котики пробел слеш медия слеш юзернейм слеш андроид интернелстораге имагес
     
  • 1.71, Нанобот (ok), 08:36, 20/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +1 +/
    >виртуального голосового помощника для Linux

    но зачем линуксу ещё один помощник? разве тот помощник, который "прослойка между стулом и монитором" не справляется?

     
     
  • 2.74, YetAnotherOnanym (ok), 09:36, 20/06/2018 [^] [ответить]    [к модератору]  
  • +/
    > но зачем линуксу ещё один помощник? разве тот помощник, который "прослойка между
    > стулом и монитором" не справляется?

    Это неприличный вопрос. Создатели сабжа смотрят на Вас с укоризной.

     
  • 2.79, Аноним (44), 13:49, 20/06/2018 [^] [ответить]    [к модератору]  
  • +/
    >разве тот помощник, который "прослойка между стулом и монитором" не справляется?

    Понятия не имею, как там у большинства линуксоидов, но моя секретарша с этой работой справляется отлично.

     
     
  • 3.80, Аноним (80), 14:46, 20/06/2018 [^] [ответить]     [к модератору]  
  • +/
    Правая или левая ... весь текст скрыт [показать]
     
  • 1.75, Аноним (75), 11:04, 20/06/2018 [ответить] [показать ветку] [···]     [к модератору]  
  • –1 +/
    Как обычно, сделали сложно сказать что, зато опенсорс-хомячки будут кричать - у... весь текст скрыт [показать]
     
     
  • 2.76, Аноним (-), 11:26, 20/06/2018 [^] [ответить]    [к модератору]  
  • +1 +/
    вы прослушали дежурную запись эсэмэмщика на проценте от продаж без методички
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor