форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Разработка новых вариантов diff и grep  для обрабо..."	+/–
Сообщение от opennews (ok) on 09-Дек-11, 16:42
На конференции администраторов крупных систем LISA (Usenix Large Installation System Administration) два исследователя Дартмутского университета выступили (http://www.itworld.com/software/231515/usenix-dartmouth-expa...) с идеей создания расширенных вариантов утилит diff и grep для обработки сложных типов данных. В настоящее время утилиты ещё на находятся на этапе создания работающих прототипов, доступен только восьмистраничный документ (http://www.cs.dartmouth.edu/reports/TR2011-705.pdf) с подробным описанием сути проекта. Код будет открыт после завершения разработки. Работа ведётся при финансировании от компании Google и Министерства энергетики США. Развиваемые в рамках проекта контекстно независимый вариант утилиты Grep (bgrep) и иерархический Diff (bdiff), ориентированы на разбор синтаксических блоков кода, вместо манипулирования однострочными записями. Таким образом bdiff и bgrep могут оперировать частями файлов конфигураций, логов и других наборов данны... URL: http://www.itworld.com/software/231515/usenix-dartmouth-expa... Новость: http://www.opennet.ru/opennews/art.shtml?num=32513
Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

1. "Разработка новых вариантов diff и grep  для обработки сложны..."	–7 +/–
Сообщение от Crazy Alex (ok) on 09-Дек-11, 16:42
давно пора, в общем-то - построчные текстовые форматы много где умерли, а для массы распространенных случаев (вроде ini того же) можно сделать дабольно простые универсальные инструменты
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	2. "Разработка новых вариантов diff и grep  для обработки сложны..."	–11 +/–
	Сообщение от Аноним (??) on 09-Дек-11, 16:46
	Где ты в никсах видел ini-файлы? Текстовые файлы нигде не умерли, кроме твоего больного виндозного воображения. Виндоз головного мозга - как звучит!
	Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

	4. "Разработка новых вариантов diff и grep  для обработки сложны..."	+5 +/–
	Сообщение от Sokoloff on 09-Дек-11, 17:03
	Samba, mySql, openssl, git ... то что у них расширение не .ini не меняет формат.
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	20. "Разработка новых вариантов diff и grep  для обработки сложны..."	–2 +/–
	Сообщение от Аноним (??) on 10-Дек-11, 00:25
	>Samba, mySql, openssl, git ... то что у них расширение не .ini не меняет формат. Вы так пишете как будто примитивный общий формат конфигурационных файлов сразу же подразумевает .ini . Дотфайлы, не ?
	Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

	32. "Разработка новых вариантов diff и grep  для обработки сложны..."	+1 +/–
	Сообщение от Michael Shigorin (ok) on 11-Дек-11, 01:31
	>>Samba, mySql, openssl, git ... то что у них расширение не .ini не меняет формат. > Вы так пишете как будто примитивный общий формат конфигурационных файлов сразу же > подразумевает .ini . Дотфайлы, не ? Да при чём тут дотфайлы...  А этот формат и впрямь называется ini-style.
	Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

	44. "Разработка новых вариантов diff и grep  для обработки сложны..."	+/–
	Сообщение от Аноним (??) on 12-Дек-11, 14:31
	> Вы так пишете как будто примитивный общий формат конфигурационных файлов сразу же подразумевает .ini Впервые он начал широко использоваться именно в INI. > Дотфайлы, не ? Дотфайлы - это такие файлы, которые не выводятся в ls без добавления -a. Не обязательно, чтобы это были конфиги.
	Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

	10. "Разработка новых вариантов diff и grep  для обработки сложны..."	+1 +/–
	Сообщение от Аноним (??) on 09-Дек-11, 19:10
	Напротив, много где умерли нетекстовые форматы.
	Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

	15. "Разработка новых вариантов diff и grep  для обработки сложны..."	+/–
	Сообщение от Аноним (??) on 09-Дек-11, 22:07
	> Напротив, много где умерли нетекстовые форматы. Речь шла не о текстовых форматах вообще, а о построчных текстовых форматах.
	Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

	18. "Разработка новых вариантов diff и grep  для обработки сложны..."	+2 +/–
	Сообщение от Аноним (??) on 10-Дек-11, 00:12
	> Напротив, много где умерли нетекстовые форматы. Ага, на OSM сперва ушиблись и стали делать карту в XML. А когда карта планеты стали 250Гб - обосрались кирпичами и сделали бинарный формат. Тем более что редактировать такую XMLину все-равно малореально. А бинарный формат зато весит лишь 14 Гб для той же карты. Такая вот незначительная разница. Всего почти в 20 раз :)
	Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

	28. "Разработка новых вариантов diff и grep  для обработки сложны..."	+3 +/–
	Сообщение от Аноним (??) on 10-Дек-11, 11:51
	XML вообще уродливый костыль костылей. Не зря вон МежДелМаш производит аппаратные XML-акселераторы за сотни тысяч денег. Как-то при объемах ширпотребовских усб-винтов по три тера и таких же масштабах данных, XML тихо слился... Ну-кося, попарси многопроходно XML-файло объемчиком 1 терабайтик всего... Что, выкуси? Ай, не выходит каменный цветок, Данила-мастер!
	Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

3. "Разработка новых вариантов diff и grep  для обработки сложны..."	+3 +/–
Сообщение от Michael (??) on 09-Дек-11, 17:01
Для кода такие тулзы были бы весьма полезны, а то сделаешь форматирование или коммментарий добавишь и сидишь, в патчах разбираешься, какое изменение существенно, какое - нет.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	5. "Разработка новых вариантов diff и grep  для обработки сложны..."	+1 +/–
	Сообщение от fi (ok) on 09-Дек-11, 17:36
	на форматирование помогает ключик -w :)
	Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

	6. "Разработка новых вариантов diff и grep  для обработки сложны..."	+1 +/–
	Сообщение от vayerx (ok) on 09-Дек-11, 17:54
	форматирование не всегда ограничевается расстановкой пробелов ;)
	Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

	7. "Разработка новых вариантов diff и grep  для обработки сложны..."	+/–
	Сообщение от Michael (??) on 09-Дек-11, 17:55
	При разбиении длиной строки на несколько, или, наоборот, при слиянии - не очень он помогает :). Ну и изменения в комментариях тоже не всегда хочется видеть.
	Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

8. "Разработка новых вариантов diff и grep  для обработки сложны..."	+3 +/–
Сообщение от Аноним (??) on 09-Дек-11, 18:19
Успехов конечно авторам, но я думаю что это невозможно, будет слишком сложно и не надёжно этим пользоваться.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	9. "Разработка новых вариантов diff и grep  для обработки сложны..."	+10 +/–
	Сообщение от Муха on 09-Дек-11, 19:03
	> будет слишком сложно и не надёжно этим пользоваться. Да не парьтесь, сейчас весь софт такой
	Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

	11. "Разработка новых вариантов diff и grep  для обработки сложны..."	+2 +/–
	Сообщение от BratSinot on 09-Дек-11, 20:55
	Даже если и будет сложно пользоваться, быстрее будет один раз разобраться и экономить кучу времени, чем каждый раз вручную делать.
	Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

	38. "Разработка новых вариантов diff и grep  для обработки сложны..."	+/–
	Сообщение от Crazy Alex (ok) on 11-Дек-11, 18:09
	А не надо пытаться обработать все мыслимые случаи - простыми вариантами (к примеру, в которых можно задать правила для выделения элементов, тип элемента и фокусы вроде вхождения) можно перекрыть очень многое. Считай, нечто наподобие селекторов CSS с задаваемыми пользователями элементами. Плюс зашить несколько вариантов (json, xml bin-style...), а в идеале сделать определения формата подгружаемыми.
	Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

12. "Разработка новых вариантов diff и grep  для обработки сложны..."	+1 +/–
Сообщение от Аноним (??) on 09-Дек-11, 21:23
Почему LISA, если правильно ULISA?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	14. "Разработка новых вариантов diff и grep  для обработки сложны..."	+1 +/–
	Сообщение от а on 09-Дек-11, 21:54
	Нет, Usenix — это конференция.
	Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

13. "Разработка новых вариантов diff и grep  для обработки сложны..."	+1 +/–
Сообщение от gaga on 09-Дек-11, 21:53
как только не извращаются люди, лишь бы не принимать какой-нибудь унифицированный текстовый формат описания данных, вроде JSON или какого-нибудь варианта S-expressions.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	16. "Разработка новых вариантов diff и grep  для обработки сложны..."	+/–
	Сообщение от Аноним (??) on 09-Дек-11, 22:09
	> как только не извращаются люди, лишь бы не принимать какой-нибудь унифицированный текстовый > формат описания данных, вроде JSON или какого-нибудь варианта S-expressions. Ну переставит вам какая-нибудь софтина строки в JSONе - сами же извиняться к авторам bdiff побежите :)
	Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

	29. "Разработка новых вариантов diff и grep  для обработки сложны..."	–1 +/–
	Сообщение от Аноним (??) on 10-Дек-11, 11:52
	>> как только не извращаются люди, лишь бы не принимать какой-нибудь унифицированный текстовый >> формат описания данных, вроде JSON или какого-нибудь варианта S-expressions. > Ну переставит вам какая-нибудь софтина строки в JSONе - сами же извиняться > к авторам bdiff побежите :) Пошлем-ка мы такую софтину в /dev/null по-быстрому, пока никто не видел.
	Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

	17. "Разработка новых вариантов diff и grep  для обработки сложны..."	+1 +/–
	Сообщение от axe (??) on 09-Дек-11, 23:52
	> как только не извращаются люди, лишь бы не принимать какой-нибудь унифицированный текстовый > формат описания данных, вроде JSON или какого-нибудь варианта S-expressions. Как раз таки про него вспомнил. Как народ смотрит на то, что бы конфиги были в джейсоне? У бинда конфиг уже напоминает джейсон. Как насчет логов? Было бы достаточно просто представить их в виде объектов и парсить не регулярками... Тьху где то я это уже видел, ну его к черту, sed, grep, awk наше все. Лучшее - враг хорошего.
	Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

	23. "Разработка новых вариантов diff и grep  для обработки сложны..."	+1 +/–
	Сообщение от all_glory_to_the_hypnotoad (ok) on 10-Дек-11, 02:08
	у бинда конфиг перл стайл, си стайл, но никак не json
	Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

	31. "Разработка новых вариантов diff и grep  для обработки сложны..."	+1 +/–
	Сообщение от Alexander Yastrebov on 10-Дек-11, 15:59
	Я вам напомню одно большое ограничение JSON в этом плане - в нем нет комментариев
	Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

	36. "Разработка новых вариантов diff и grep  для обработки сложны..."	+/–
	Сообщение от anonimous on 11-Дек-11, 15:33
	http://ru.wikipedia.org/wiki/JSON#.D0.A1.D1.80.D0.B0.D0.B2.D... Вы уверены?
	Ответить | Правка | ^ к родителю #31 | Наверх | Cообщить модератору

	37. "Разработка новых вариантов diff и grep  для обработки сложны..."	+1 +/–
	Сообщение от Alexander Yastrebov on 11-Дек-11, 15:38
	> http://ru.wikipedia.org/wiki/JSON#.D0.A1.D1.80.D0.B0.D0.B2.D... > Вы уверены? Уверен: http://json.org/   Хотя никто не мешает сделать парсер с поддержкой комментариев Ответ автора стандарта: http://tech.groups.yahoo.com/group/json/message/152
	Ответить | Правка | ^ к родителю #36 | Наверх | Cообщить модератору

	39. "Разработка новых вариантов diff и grep  для обработки сложны..."	+/–
	Сообщение от Crazy Alex (ok) on 11-Дек-11, 18:15
	Джейсон - неудобный формат для писания руками. Слишком много кавычек, не прощает простейшие ошибки (вроде запятой после последнего элемента объекта или массива), отсутствие комментариев уже упоминали... В итое гимеем ного ругани на синтаксис. Знаю, что говорю - у нас в крпном проекте конфигурация на json - многовато мороки с ним.
	Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

	22. "Разработка новых вариантов diff и grep  для обработки сложны..."	+/–
	Сообщение от all_glory_to_the_hypnotoad (ok) on 10-Дек-11, 02:07
	потому что JSON гогно. А действительно "унифицированные форматы описания данных" (тм)  (это xml и т.п.) давно используют, но лучше жить от этого всё равно не стало
	Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

	35. "Разработка новых вариантов diff и grep  для обработки сложны..."	+1 +/–
	Сообщение от gaga on 11-Дек-11, 13:39
	они не человекочитаемые и очень тяжелые
	Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

	41. "Разработка новых вариантов diff и grep  для обработки сложны..."	+/–
	Сообщение от all_glory_to_the_hypnotoad (ok) on 12-Дек-11, 00:28
	это смотря как писать, xml можно использовать вполне няшно. Кроме xml есть другие вариации,  yaml например.
	Ответить | Правка | ^ к родителю #35 | Наверх | Cообщить модератору

	45. "Разработка новых вариантов diff и grep  для обработки сложны..."	+/–
	Сообщение от Аноним (??) on 12-Дек-11, 14:33
	> они не человекочитаемые и очень тяжелые JSON тоже.
	Ответить | Правка | ^ к родителю #35 | Наверх | Cообщить модератору

19. "Разработка новых вариантов diff и grep  для обработки сложны..."	–2 +/–
Сообщение от Сергей (??) on 10-Дек-11, 00:15
Слижком сложно все будет, а почему бы не внести предложение все конфиги хранить в xml к примеру...
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	21. "Разработка новых вариантов diff и grep  для обработки сложны..."	+5 +/–
	Сообщение от Deffic on 10-Дек-11, 01:04
	>   Слижком сложно все будет, а почему бы не внести предложение > все конфиги хранить в xml к примеру... Прошу прощение за оффтопик, но XML... Конфиг - это API между человеком и программой, а не между программами. К сожалению многие об этом уже забыли. Программисты - не занимаются форсмажорными ситуациями. exWinAdmins - не имеют понятия, какую гибкость даёт текстовый конфиг по сравнению с GUI.
	Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

	26. "Разработка новых вариантов diff и grep  для обработки сложны..."	+1 +/–
	Сообщение от poherly on 10-Дек-11, 07:38
	> exWinAdmins почему ex ?
	Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

	24. "Разработка новых вариантов diff и grep  для обработки сложны..."	+1 +/–
	Сообщение от nuclight (ok) on 10-Дек-11, 02:42
	>   Слижком сложно все будет, а почему бы не внести предложение > все конфиги хранить в xml к примеру... Так потом разницу между XML обычным diff и не посмотреть, о чем и новость собственно. P.S. Собсно это одна из многих причин, по которой XML должен умереть, но это тема для срача, а не для новости
	Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

	33. "Разработка новых вариантов diff и grep  для обработки сложны..."	+/–
	Сообщение от Michael Shigorin (ok) on 11-Дек-11, 01:36
	>> Слижком сложно все будет, а почему бы не внести предложение >> все конфиги хранить в xml к примеру... Как и отметили, это не для людей. https://lh4.googleusercontent.com/-30fhF6xRNf4/Ttub-IyL1RI/A... > Так потом разницу между XML обычным diff и не посмотреть, о чем > и новость собственно. Попадался на глаза xmldiff, но так уже и не помню -- дошло до него или проще обошлись... > P.S. Собсно это одна из многих причин, по которой XML должен умереть, > но это тема для срача, а не для новости Да пускай себе живёт, только бы не пытались его скотчем примотать ко всему подряд, невзирая на осмысленность.
	Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

	47. "Разработка новых вариантов diff и grep  для обработки сложны..."	+/–
	Сообщение от виндотролль on 14-Дек-11, 12:54
	Посмотреть. Это даже тривиальная, в современных реалиях, задача. Вот только, парсинг требуется. Хотя, это не проблема при сравнении конфигов, размер которых вряд-ли превысит мегабайт. Проблема с ХМЛ другая — менее удобно для человека
	Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

27. "Разработка новых вариантов diff и grep  для обработки сложны..."	+1 +/–
Сообщение от Аноним (??) on 10-Дек-11, 11:32
Не думаю, что сабж будет сильно популярен. Преимущество теплых ламповых grep/diff/sed в простоте (один раз научился пользоваться - никогда не забудешь) и универсальности (пригождаются очень часто, а когда есть хорошие инструменты для работы с текстом, решения проблем сами собой приходят в голову)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	30. "Разработка новых вариантов diff и grep  для обработки сложны..."	+1 +/–
	Сообщение от Аноним (??) on 10-Дек-11, 11:54
	> Не думаю, что сабж будет сильно популярен. Преимущество теплых ламповых grep/diff/sed в > простоте (один раз научился пользоваться - никогда не забудешь) и универсальности > (пригождаются очень часто, а когда есть хорошие инструменты для работы с > текстом, решения проблем сами собой приходят в голову) Ковровые бомбардировки квадратноколесными велосипедами вообще повсеместно вошли в моду - введены разными малоадекватными потрясателями основ. Достаточно посмотреть на всяческие замены syslogd, или устоявшегося за десятиления разбиения директорий... Одно да потому, снова и снова. И сотни дистров. И все это гогно выдается за типа развитие.
	Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

	34. "Разработка новых вариантов diff и grep  для обработки сложны..."	+/–
	Сообщение от Michael Shigorin (ok) on 11-Дек-11, 01:38
	> Преимущество теплых ламповых grep/diff/sed в простоте [...] и универсальности См. тж. "full exploitation": http://lwn.net/Articles/411845/
	Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

	43. "Разработка новых вариантов diff и grep  для обработки сложны..."	+/–
	Сообщение от evkogan on 12-Дек-11, 08:23
	>> Преимущество теплых ламповых grep/diff/sed в простоте [...] и универсальности > См. тж. "full exploitation": http://lwn.net/Articles/411845/ Нифига они не универсальны, постоянно приходится извращаться с grep'ом многострочных форматов. Последний раз сочинял скрипт для grep'анья вывода "multipath -l" Если в результате проекта можно будет легко grep'ать такое, без наколеночного костыля, будет класно.
	Ответить | Правка | ^ к родителю #34 | Наверх | Cообщить модератору

	46. "Разработка новых вариантов diff и grep  для обработки сложны..."	+/–
	Сообщение от Michael Shigorin (ok) on 12-Дек-11, 16:02
	>>> Преимущество теплых ламповых grep/diff/sed в простоте [...] и универсальности >> См. тж. "full exploitation": http://lwn.net/Articles/411845/ > Нифига они не универсальны, постоянно приходится извращаться с grep'ом > многострочных форматов. Вы, может, немного не поняли.  Кофе они тоже не варят, но вот multiline regex умеют. :) (хотя иногда и впрямь проще разобрать | while read line; do case "$line" in ... и понеслась с выставлением флажков, угу -- если не разводить скрипты на sed/awk/perl/$etc)
	Ответить | Правка | ^ к родителю #43 | Наверх | Cообщить модератору

	40. "Разработка новых вариантов diff и grep  для обработки сложны..."	+/–
	Сообщение от Crazy Alex (ok) on 11-Дек-11, 18:18
	Ровно также выучите один язык задания правил поиска тегов - и вперёд. И хоть xml, хоть json,хотьещё что - у ваших ног. Вплоть до бинарных форматов, кстати, если разумно описать. Регэкспы же как-то освоили? А эта штука попроще будет. При этом учтите, что на все основные форматы правила парсинга напишут за вас, вам останется только задавать что-то наподобие CSS селекторов - где именно смотреть или выкусывать хотите. Так что для подавляющего большинства случаев вообще всё примитивно будет.
	Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

42. "Разработка новых вариантов diff и grep  для обработки сложны..."	+/–
Сообщение от lucentcode (ok) on 12-Дек-11, 03:18
Давно пора. Очень не хватает. Надеюсь, эти фичи быстро интегрируют и с популярным текстовыми редакорами и IDE.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема