forum.opennet.ru

"Первый релиз многопоточного HTML-парсера MyHTML"

Форум Разговоры, обсуждение новостей
Версия для распечатки	Пред. тема \| След. тема

Исходное сообщение

[ Отслеживать ]

Заметили полезную информацию ? Пожалуйста добавьте в FAQ на WIKI.

. "Первый релиз многопоточного HTML-парсера MyHTML"	+1 +/–
Сообщение от lastmac (?), 14-Июл-16, 21:38
Каждый тест парсится меньше чем за 1мс (0.00001). Там нечего тестировать на скорость, это тесты на корректность. Потому и сравнивались всего несколько парсеров. Эти парсеры заявлены с полной поддержкой хтмл. Сравнение корректное, +- в реализации всегда будет, спецификация "живая", но этот +- ни на что не влияет. Чтобы понять почему этот +- ни как не влияет на скорость нужно вникнуть в спецификацию хтмл и понять на какие стадии разбивается анализ хтмл. Это я уже не буду тут описывать, всё есть в свободном доступе. Могу лишь вас заверить, что корректность бенчмарка подтверждена не одним человеком. Более того, даже теми кто пилит серво.
Ответить \| Правка \| Наверх \| Cообщить модератору

Оглавление

Первый релиз многопоточного HTML-парсера MyHTML, opennews, 13-Июл-16, 20:16 [смотреть все]

Круть , neon1ks, 13-Июл-16, 20:16 (1) //
- Вот было бы на haskell-е, тогда бы была бы действительно круть , Rodegast, 14-Июл-16, 11:21 (52) //
  - Ну а смысл C достаточно универсален Биндинги к нему напилить и все круто будет, Вадик, 14-Июл-16, 12:10 (54) //
    - Ну как минимум с многопоточностью у haskell-а дела обстоят лучше А вообще проект, Rodegast, 14-Июл-16, 14:46 (88)
      - Эммм, что-что Я не ослышался - У хаскеля с многопоточностью дела лучше, чем у С , Uri, 14-Июл-16, 18:08 (110)
        
        Конечно Аппликативный код распараллеливается лучше итеративного При словах мн, Rodegast, 14-Июл-16, 21:52 (134)
        
        Если он будет такой же как ejabberd - спасибо, но оставьте это себе , Аноним, 15-Июл-16, 21:22 (161)
      - А со сборкой мусора Будет ли код такой же быстрый как и на си , Аноним, 14-Июл-16, 18:40 (116)
        
        Насколько гипотетический парсер на haskell-е будет быстрее 124 медленнее сабжа , Rodegast, 14-Июл-16, 22:05 (136)
        зачем такому проекту сборщик , Аноним, 14-Июл-16, 23:13 (141)
  - https github com bazqux fast-tagsoup, rob pike, 14-Июл-16, 13:02 (62) //
    - Оно что-то давно не обновлялось, хотя скорость 20-200MB sec это более чем круть , Rodegast, 14-Июл-16, 14:48 (89)
  - А что сложного написать Поставь задачу и вперед , Vombat, 14-Июл-16, 19:34 (124)
  - Куда это потом девать Пофапать и выбросить На сях то оно куда угодно прикручив, Аноним, 15-Июл-16, 21:21 (160)
Написано всё очень оптимистично и красиво Это в итоге использовать можно будет , G.NercY.uR, 13-Июл-16, 20:16 (2) //
- Судя по тому, что будут писать рендер, да ещё и MyCSS на подходе - есть все шанс, НяшМяш, 13-Июл-16, 20:21 (3) //
  - Нету Главное это layout, rendering и Javascript , rob pike, 13-Июл-16, 20:27 (5) //
    - layout, reflow and otherБудет, всё будет Если почитать статьи к парсеру то там , lastmac, 13-Июл-16, 22:23 (14)
      - Это вы отрисовку шрифтов к other отнесли , rob pike, 13-Июл-16, 22:30 (16)
        
        А куда её отнести Или отрисовка шрифтов -- это ключевое что есть , Аноним, 13-Июл-16, 22:35 (17)
        
        В те 10 задачи, которые займут 90 времени Это с какой стороны смотреть Но есл, rob pike, 13-Июл-16, 22:58 (18)
        
        Есть большая разница между отрендерить шрифт и отрендерить шрифт с антиалисами н, Аноним, 14-Июл-16, 17:16 (105)
        
        Во-первых, это забота библиотек Во-вторых - это кому как У меня вот нет ретины, Crazy Alex, 14-Июл-16, 18:51 (119)
        
        поехавшие шрифты поехавшие сайты Сейчас настолько адская смесь из css, js, ht, Аноним, 15-Июл-16, 09:20 (149)
      - Уважаемый, если вы не измените своим принципам и до конца будете идти по пути ка, G.NercY.uR, 14-Июл-16, 06:05 (26)
        
        Вообще-то один из простых способов получить скорость и компактность - не давать , Crazy Alex, 14-Июл-16, 08:50 (34)
        
        Секрет в том, что тормоза в браузерах и оплата их разработки идут из одного исто, тоже Аноним, 14-Июл-16, 10:51 (47)
        
        Я скорее согласен, чем нет Речь была о том, что это условно простой путь полу, Crazy Alex, 14-Июл-16, 12:21 (56)
        
        В принципе, совсем необязательно Есть какое-то количество ниш, в которых был бы, rob pike, 14-Июл-16, 13:17 (68)
        
        Нет там никаких проблем с ресурсами - ни в делах автомобильных, ни в промышленно, Crazy Alex, 14-Июл-16, 13:41 (72)
        
        И проблемы с ресурсами есть, и с ограничением фич всё очень плохо Продвинутые по, rob pike, 14-Июл-16, 14:18 (80)
        
        Архитектура хребет плагины, которые можно цеплять цепочками , в общем-то, не , Crazy Alex, 14-Июл-16, 14:56 (90)
        Она не сложна ровно до момента её имплементации Особенно вместе требованиями , rob pike, 14-Июл-16, 15:35 (96)
        Да делана такая архитектура сто раз и мной в том числе - нет ничего великого в, Crazy Alex, 14-Июл-16, 18:44 (118)
        Хорошая архитектура препятствует набеганию тысяч неквалифицированных разработчик, rob pike, 14-Июл-16, 21:33 (128)
        Тогда у нас очень разные понятия о хорошей архитектуре Вопрос, в общем-то, не в, Crazy Alex, 15-Июл-16, 00:02 (143)
        зачем тебе unix shell убогий твое корыто это systemd - вот жри его и вперед , Аноним, 15-Июл-16, 07:57 (147)
        
        Вы опять главного не сказали - за этим стоят Ротшильды или Рокфеллеры , rob pike, 14-Июл-16, 13:15 (67)
        
        К сожалению тут надо очень долго возится, иначе сайты получятся совсем не юзабел, Аноним, 14-Июл-16, 18:44 (117)
        Во-первых, сейчас сами браузеры пытаются делать много лишнего, от борьбы с фишин, Аноним, 16-Июл-16, 04:18 (165)
        
        Спасибо вам Своим принципам я не поступлюсь , lastmac, 14-Июл-16, 11:04 (50)
      - Вы правда если это вы собираетесь в одиночку сделать конкурента Firefox и Chro, Аноним, 14-Июл-16, 09:37 (37)
        
        Или умный человек, способный поставить задачу премлемого масштаба, не пытаясь ре, Crazy Alex, 14-Июл-16, 10:17 (41)
        
        Заодно можно реализовать много другого Да и один в поле тоже воин - http lamb, rob pike, 14-Июл-16, 13:06 (64)
        
        где-то это было А точно Линуксу этоже сказали в своё время И да Google тож, Sen, 14-Июл-16, 10:31 (42)
        К счастью, или сожалению, но мне это говорят часто Я не пытаюсь сделать, как эт, lastmac, 14-Июл-16, 10:59 (49)
        
        Автор как я считаю, пример исчезающих к сожалению, романтиков IT отрасли Это ра, G.NercY.uR, 14-Июл-16, 12:25 (57)
        
        Вокруг 4 браузера Chrome, Edge, Mozilla, Safari То, что на движки хрома ещё па, Crazy Alex, 14-Июл-16, 12:36 (60)
        
        Есть несколько экспериментально-академических движков - ну, не движков, а proof , rob pike, 14-Июл-16, 13:23 (69)
        
        ты кстати зря, firefox за это время например ускорился и течь таки меньше стала , vitalif, 14-Июл-16, 13:42 (73)
        Ну вот Mozilla переписала с нуля движок на Rust Как до хотя бы до беты дойдет п, Аноним, 14-Июл-16, 14:00 (77)
        
        Там до переписывания и до того что можно было бы назвать движком еще очень далек, rob pike, 14-Июл-16, 14:20 (82)
        У мозиллы слишком отличается направление движения - всё упростить, ориентироват, Crazy Alex, 14-Июл-16, 14:58 (91)
        
        Самое смешное, конечно, в том что она будет еще и никому не нужная, потому что C, rob pike, 14-Июл-16, 15:37 (97)
        
        Вот то, что до них это не доходит, меня удивляет больше всего , Crazy Alex, 15-Июл-16, 00:03 (144)
        
        А в других случаях - с Blackberry, например - не удивляет Это обыденность, редк, rob pike, 15-Июл-16, 09:37 (150)
      - А что, набор технологий ничего так, симпатично и со вкeсом Никакой хипстерской , Аноним, 15-Июл-16, 21:29 (162)
Сравнение с парсером на Rust - http lexborisov github io benchmark-html-perser, rob pike, 13-Июл-16, 20:24 (4) //
- Ух Да оно на порядок опережает servo html5ever Очень, очень достойный результа, freehck, 13-Июл-16, 20:52 (6) //
  - Это какая ошибка, ведь Rust самый лучший язык, у servo самые лучшие разработчики, rob pike, 13-Июл-16, 21:20 (7) //
    - Как уже упоминал тёзка, html5ever скорее заглушка, которая ещё будет пилиться Н, Аноним, 14-Июл-16, 15:43 (100)
      - Но ведь скорость разработки на прогрессивном языке Rust обгоняет фотоны в вакуум, rob pike, 14-Июл-16, 16:37 (102)
        
        Казалось бы, причем тут скорость b разработки b Так что там с тормозами Gum, Аноним, 14-Июл-16, 18:00 (108)
        
        Разве это не одна из уникальных особенностей прогрессивного языка Rust, выгодно , rob pike, 14-Июл-16, 21:35 (129)
        
        Так вы из неолуддитов будете , Аноним, 14-Июл-16, 22:52 (139)
    - Разработчики из мозиллы свалили а у менеджеров всегда все самое лучшее Но, к со, Аноним, 15-Июл-16, 22:19 (163)
  - Мсье точно смотрел графики В каком месте на порядок Или кто-то не знает, что п, angra, 13-Июл-16, 22:58 (19) //
    - Первый релиз многопоточного HTML-парсера MyHTML, rob pike, 13-Июл-16, 23:01 (21)
      - Ну как и предполагалось, графиков не смотрели, просто глянули на итоговые цифры , angra, 13-Июл-16, 23:11 (22)
        
        Может быть вы расшифруете свою мысль, снизойдете до пояснений , rob pike, 14-Июл-16, 01:05 (24)
        
        В большей части случаев разница не в 10 раз, а от двух до четырех То есть финал, angra, 14-Июл-16, 11:06 (51)
        
        Сравниваются только полноценные парсеры То есть те кто полностью соответствует , lastmac, 14-Июл-16, 12:14 (55)
        
        Еще раз, сравнивались ли деревья, построенные парсерами на этих 60к сайтов, мног, angra, 14-Июл-16, 17:12 (104)
        
        Чуть ниже по треду есть же ответ http www opennet ru openforum vsluhforumID3 , Crazy Alex, 14-Июл-16, 18:38 (115)
        
        Это не ответ на мой вопрос Ну разве что считать это признанием в том, что на са, angra, 14-Июл-16, 19:08 (122)
        
        Быть может вы удивитесь, но их нельзя сравнить по конечной серелизации данных В, lastmac, 14-Июл-16, 19:47 (125)
        Я веду речь о том, что нельзя сравнивать напрямую скорость, если результат выдае, angra, 14-Июл-16, 21:17 (126)
        Каждый тест парсится меньше чем за 1мс 0 00001 Там нечего тестировать на скор , lastmac, 14-Июл-16, 21:38 (130)
        Это нормально для тестов, но обычно в таких случаях их просто запускают нужное к, angra, 14-Июл-16, 22:32 (138)
- Упс P S Да, некрасиво получается С другой стороны, кто-то, вообще, на ASM е пи, ZloySergant, 13-Июл-16, 21:35 (10) //
  - Не ругай меня, родная, что накодил тут г на я D, Аноним, 13-Июл-16, 22:28 (15) //
    - Ну что вы, на прогрессивном языке D получилось бы раз в 200 быстрее , rob pike, 13-Июл-16, 22:59 (20)
  - То что ты наблюдал в кабинете информатики своего ПТУ это конечно важные наблюден, Аноним, 14-Июл-16, 17:28 (107) //
    - На perl обвязка еще быстрее Совсем больно , Mail, 15-Июл-16, 11:19 (153)
      - Во первых, то что на перл быстрее - надо пруф Во вторых, больше обвязок, хороших, Аноним, 15-Июл-16, 11:46 (155)
    - Солнышко, ты хоть усрись, но конечный продюкт, транслируемый в машинный код всяк, ZloySergant, 06-Авг-16, 20:08 (166)
- Не интересно , Аноним, 13-Июл-16, 21:54 (11) //
  - Полезнее было бы вместо очередного коммента про проявление отсутствия интереса в, НяшМяш, 14-Июл-16, 00:01 (23) //
    - Я могу порыть интернеты, бенчмарки были выложены пару месяцев назад Тогда, посл, lastmac, 14-Июл-16, 10:51 (48)
- html5ever в нынешнем виде не предназначен для использования в продакшне Это по , Аноним, 14-Июл-16, 13:04 (63) //
  - Не нужно ругаться Откуда у вас эта информация Где-то три-четыре месяца назад мн, lastmac, 14-Июл-16, 19:02 (121)
Дырки присутствуют , Гость, 13-Июл-16, 21:31 (8) //
- Количество не найденных ещё дырок всегда бесконечно цэ , Аноним, 13-Июл-16, 22:01 (12) //
  - А всё почему Потому, что ошибка неисчерпаема, как атом , Аноним, 13-Июл-16, 22:13 (13) //
    - Как Electron , rob pike, 14-Июл-16, 01:06 (25)
Ну, вообще-то реальный веб это не HTML5 Парсер для настоящего а не сферического, Пользователь Debian, 13-Июл-16, 21:33 (9) //
- Это веб пятилетней давности Сейчас - либо HTML5, либо что-то, где идеальная отр, Crazy Alex, 14-Июл-16, 08:37 (31)
- Всё это парсер делает Всё ровно так же как современные браузеры Спецификация H, lastmac, 14-Июл-16, 10:44 (45)
- Первый релиз многопоточного HTML-парсера MyHTML, Аноним, 14-Июл-16, 12:35 (59)
Ждём новостей об уязвимостях Хотя постойте нет, никто это не будет использова, Аноним, 14-Июл-16, 06:05 (27) //
- Уже используют , rob pike, 14-Июл-16, 13:10 (65)
Замечательно Правда, я схему парсинга скрипта неосилил, поэтому вопрос если в , Аноним, 14-Июл-16, 06:55 (28) //
- Там всё не так сложно, если долго смотреть на картинку Да, будет считаться закры, lastmac, 14-Июл-16, 10:48 (46)
html5ever собирался с флагом --release , Аноним, 14-Июл-16, 07:02 (29) //
- Да, конечно , lastmac, 14-Июл-16, 10:40 (44)
А как в тестах проверялась корректность результатов Т е что полученный вариант, Аноним, 14-Июл-16, 08:34 (30)
Хм, лично меня в разумных пределах скорость не очень волнует Но вот если разр, Crazy Alex, 14-Июл-16, 08:38 (32) //
- расшифруй что значит не плевать на пользователей милок, с чего ты взял что если , Аноним, 14-Июл-16, 08:45 (33) //
  - Да именно это и значит Примеры я перечислял А ещё есть многолетние баги, зато, Crazy Alex, 14-Июл-16, 08:56 (36) //
    - а с чего ты взял что ты это все в твоем приложении используется множественное ч, Аноним, 14-Июл-16, 09:53 (39)
      - Ну вот я так считаю, что проблема не специфична только для меня На основании то, Crazy Alex, 14-Июл-16, 10:12 (40)
        
        Если разработчику будет не плевать на мнение пользователей - то шансов как раз н, rob pike, 14-Июл-16, 13:29 (71)
        
        Поэтому им надо давать возможность пришить эти самые пуговицы Как было в мозилл, Crazy Alex, 14-Июл-16, 13:45 (74)
        
        так вам дали эту возможность Открыли код А что за вас еще и пришить должны А в, Аноним, 14-Июл-16, 13:49 (75)
        
        Во-первых, там что открыли, что нет - сложность кода такая, что если нет специал, Crazy Alex, 14-Июл-16, 15:21 (95)
        
        какая разница - сколько Тебе дали возможность или нет Теперь ты ноешь что это, Аноним, 15-Июл-16, 08:00 (148)
        
        Вы не помните сколько из-за XUL в мозилле было проблем Хорошая архитектура - это, rob pike, 14-Июл-16, 14:22 (83)
        
        Я как раз с ним проблем не припомню кроме, разве что, тормозности - дык это от , Crazy Alex, 14-Июл-16, 15:08 (92)
        
        Это замечательно смотрится в одной фразе с утверждениями о том что архитектура э, rob pike, 14-Июл-16, 15:38 (98)
        
        Особых противоречий нет Не было проблем - то есть от него, грубо говоря, никто н, Crazy Alex, 14-Июл-16, 18:34 (113)
        
        Это по состоянию на 2016 год можно оставить Вы не помните как оно тормозило и, rob pike, 14-Июл-16, 21:46 (131)
        Я на файрфоксе сидел с тех времён, когда он назывался firebird - с оперой вперем, Crazy Alex, 15-Июл-16, 00:12 (145)
        На юниксах особенно некуда было уходить А на всех остальных платформах никто ма, rob pike, 15-Июл-16, 10:10 (151)
      - А с чего ты взял что проблема специфична только для него Ты пробовал писать баг, Аноним, 14-Июл-16, 12:38 (61)
        
        Писал и не раз Когда это было интересно автору он правил, нет - patches are wel, Аноним, 14-Июл-16, 13:50 (76)
Кстати - куда донейты слать , Crazy Alex, 14-Июл-16, 08:51 (35) //
- Хороший вопрос Я им не задавался и даже не знаю как это организовывается Вот п, lastmac, 14-Июл-16, 10:38 (43) //
  - У вас - это в России Насколько я понимаю, не то чтобы незаконны, скорее власти, Crazy Alex, 14-Июл-16, 12:33 (58)
Ждем выход браузера на этом деле , Аноним, 14-Июл-16, 09:39 (38)
Вот это проектик Автор молодец P S Гулять так гулять Я бы еще посмотрел пар, Аноним, 14-Июл-16, 12:09 (53) //
- SIMD-инструкции используются в довольно небольшой части парсинга, такой как пром, rob pike, 14-Июл-16, 13:12 (66)
Интерестно, а можно будет потом этот браузер парсер рендерер портануть на AR, Аноним, 14-Июл-16, 13:27 (70)
Стотыщный парсер протухшего HTML - оно надо Гипертекст ущербен изначально, его , Kodir, 14-Июл-16, 14:02 (78) //
- Ну, молодой человек, раз уж вы сами вышли к доске, расскажите нам о внутреннем ф, тоже Аноним, 14-Июл-16, 14:27 (86) //
  - В старых версиях -- PostScript, в новых -- PDF , Аноним, 14-Июл-16, 18:03 (109) //
    - Ну вот А я-то и не подозревал Но мы должны идти глубже Вопрос первый а что т, тоже Аноним, 14-Июл-16, 18:20 (111)
      - Переписать React на PostScript - я хотел бы на это посмотреть , rob pike, 14-Июл-16, 21:49 (132)
А зачем нужно парсер HTML делать многопоточным По-моему, даже у компиляторов пр, dq0s4y71, 14-Июл-16, 14:10 (79) //
- Затем что быстрый парсер нужен далеко не только компиляторам Я бы даже сказал чт, rob pike, 14-Июл-16, 14:24 (84) //
  - Прирост в скорости разбора среднестатистической веб-страницы будет практически н, dq0s4y71, 14-Июл-16, 15:14 (93) //
    - Кому он будет незаметен Тому кто разбирает тысячи страниц в секунду, например, б, rob pike, 14-Июл-16, 15:40 (99)
      - В этом случае да, согласен , dq0s4y71, 14-Июл-16, 16:16 (101)
  - И, кстати, именно поэтому в GCC, в конце концов, отказались от bison и переписал, dq0s4y71, 14-Июл-16, 15:16 (94)
Важная особенность , dq0s4y71, 14-Июл-16, 14:19 (81) //
- Нет, но глаз радует , lastmac, 14-Июл-16, 16:48 (103) //
  - Вот будете в прошлое путешествовать, сразу поймёте , Аноним, 14-Июл-16, 22:53 (140)
  - Тогда надо было написать поддерживает ООП или что-нибудь визуальное Школота, dq0s4y71, 15-Июл-16, 12:59 (158)
Жду не дождусь нативного браузера под андроид Это киллер-фича при соотв реализа, Антоним, 14-Июл-16, 14:26 (85) //
- Кто же вам мешает провести натурный эксперимент Поправьте пару строчек отвечающ, rob pike, 14-Июл-16, 14:35 (87)
Спасибо, отличный софт , Дуплик, 14-Июл-16, 17:25 (106) //
- Всегда рад помочь , lastmac, 14-Июл-16, 19:28 (123)
Неужели я вижу что-то, написанное не на новеньком модном Go Rust etc , KR, 14-Июл-16, 18:54 (120) //
- На страницы таблоидов еще изредка попадает что-то написанное на Scala, но всё ре, rob pike, 14-Июл-16, 21:51 (133)
https www reddit com r programming comments 4snfz7 the_first_release_of_fast_m, rob pike, 14-Июл-16, 21:55 (135) //
- Читал Странный комментарий Автор предполагает и он не прав Все исходники в пуб, lastmac, 14-Июл-16, 22:13 (137)
Прекрасный проект, спасибо вам Попробую написать обвязочку для luajit, Аноним, 14-Июл-16, 23:51 (142) //
- Вам спасибо Для вас делаю Было бы крайне здорово Вот ещё бы кто с обвязочкой д, lastmac, 15-Июл-16, 05:35 (146)
Джва года ждал Когда уже запилят браузер Я недавно видел принципиально новый п, Аноним, 15-Июл-16, 10:58 (152) //
- Дело это не простое, но реализуемое По прогнозам сложно что-то сказать Могу ск, lastmac, 15-Июл-16, 11:45 (154) //
  - http duktape org Он достаточно тормозной по сравнению с v8 и уж тем более luaj, Vsevolod Stakhov, 15-Июл-16, 12:02 (156)
Очень интересный набор фич и производительность, спасибо за работу Жалко, что п, Vsevolod Stakhov, 15-Июл-16, 12:07 (157) //
- Спасибо Если перейдете на MyHTML то дайте знать, интересно кто использует у себя, lastmac, 15-Июл-16, 18:13 (159)

Форумы | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру