The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Скачать DNS базу?"
Вариант для распечатки  
Пред. тема | След. тема 
Форумы OpenNET: Виртуальная конференция (Public)
Изначальное сообщение [ Отслеживать ]

"Скачать DNS базу?"  +/
Сообщение от atx (ok) on 19-Июн-09, 01:34 
Всем доброго времени суток!

Решаю одну исследовательскую задачку, в которой требуется список (не менее 100.000) доменов.
Не подскажете где можно скачать базу доменных имен (очень желательно живых)?
А еще мне в голову пришла шальная мысль, нельзя ли слить весь кэш доменных имен с DNS сервера?

Если кто-нибудь сталкивался с подобной задачей - помогите инфой...

Заранее огромный сенькс!!!

Высказать мнение | Ответить | Правка | Cообщить модератору

 Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Скачать DNS базу?"  +/
Сообщение от Andrey Mitrofanov on 19-Июн-09, 09:47 
А "исследовать" работу dns и сделать выводы - не?...

google.ru + site:opennet.ru список доменов dns + ENTER

---Павел Андреевич, 8-O Вы {Хацкер,спамер,шпиён,Большой Учёный}? ---Видишь ли, Юра...|на (п)равах пародии

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

2. "Скачать DNS базу?"  +/
Сообщение от reader (ok) on 19-Июн-09, 10:43 
>Всем доброго времени суток!
>
>Решаю одну исследовательскую задачку, в которой требуется список (не менее 100.000) доменов.
>
>Не подскажете где можно скачать базу доменных имен (очень желательно живых)?
>А еще мне в голову пришла шальная мысль, нельзя ли слить весь
>кэш доменных имен с DNS сервера?

со своего можно.
в bind - rndc dumpdb -cache с последующей доработкой , например

>
>Если кто-нибудь сталкивался с подобной задачей - помогите инфой...
>
>Заранее огромный сенькс!!!

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

3. "Скачать DNS базу?"  +/
Сообщение от atx (ok) on 19-Июн-09, 19:00 
>[оверквотинг удален]
>>А еще мне в голову пришла шальная мысль, нельзя ли слить весь
>>кэш доменных имен с DNS сервера?
>
>со своего можно.
>в bind - rndc dumpdb -cache с последующей доработкой , например
>
>>
>>Если кто-нибудь сталкивался с подобной задачей - помогите инфой...
>>
>>Заранее огромный сенькс!!!

Прошу прощения, можно ли подробнее или реальный пример, я новичек в этом деле)

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

4. "Скачать DNS базу?"  +/
Сообщение от reader (ok) on 19-Июн-09, 20:49 
>[оверквотинг удален]
>>со своего можно.
>>в bind - rndc dumpdb -cache с последующей доработкой , например
>>
>>>
>>>Если кто-нибудь сталкивался с подобной задачей - помогите инфой...
>>>
>>>Заранее огромный сенькс!!!
>
>Прошу прощения, можно ли подробнее или реальный пример, я новичек в этом
>деле)

в named.conf в options пишите куда сбрасывать кеш.

dump-file "/var/log/cache_dump.db";

при этом про chroot не забывайте, если используете.
настраиваете остальное, запускаете и пусть пользуются.
потом rndc dumpdb -cache и в cache_dump.db получаете кеш своего DNS.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

5. "Скачать DNS базу?"  +/
Сообщение от atx (ok) on 24-Июн-09, 02:43 
>[оверквотинг удален]
>>Прошу прощения, можно ли подробнее или реальный пример, я новичек в этом
>>деле)
>
>в named.conf в options пишите куда сбрасывать кеш.
>
>dump-file "/var/log/cache_dump.db";
>
>при этом про chroot не забывайте, если используете.
>настраиваете остальное, запускаете и пусть пользуются.
>потом rndc dumpdb -cache и в cache_dump.db получаете кеш своего DNS.

В этом случае мы получим кэш локальных DNS запросов.
Я наверное несколько неточно описал мою задачу.
На самом деле думал про кэш всех DNS записей, а если выражаться еще точнее, в сухом остатке я хотел получить список всех зарегестрированных имен хостов, во всех зонах.
Вот что-то подобное реально?


Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

6. "Скачать DNS базу?"  +/
Сообщение от PavelR (??) on 24-Июн-09, 07:28 
>[оверквотинг удален]
>>
>>при этом про chroot не забывайте, если используете.
>>настраиваете остальное, запускаете и пусть пользуются.
>>потом rndc dumpdb -cache и в cache_dump.db получаете кеш своего DNS.
>
>В этом случае мы получим кэш локальных DNS запросов.
>Я наверное несколько неточно описал мою задачу.
>На самом деле думал про кэш всех DNS записей, а если выражаться
>еще точнее, в сухом остатке я хотел получить список всех зарегестрированных
>имен хостов, во всех зонах.

  Думали про кэш - кэш и получили. Вы хотя бы представляете себе порядок количества _всех_ зон ?

>Вот что-то подобное реально?

Конечно реально, только вы посильнее постарайтесь...

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

7. "Скачать DNS базу?"  +/
Сообщение от atx (ok) on 24-Июн-09, 17:09 
>представляете себе порядок количества _всех_ зон ?

Примерно предствляю, в пределах 50 гигов.
Поскольку мне нужны только имена хостов.

>
>Конечно реально, только вы посильнее постарайтесь...

Дык я и стараюсь, но никто не хочет поделиться способом получения базы DNS, может быть есть скрипт или утилита при помощи которой можно заполучить вожделенную базу?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

8. "Скачать DNS базу?"  +/
Сообщение от angra (ok) on 25-Июн-09, 18:12 
>Примерно предствляю, в пределах 50 гигов.

Любопытно узнать откуда такая цифра

>никто не хочет поделиться способом получения базы DNS

Вы сначала вопрос правильно задайте, а уже потом рассчитывайте на адекватную помощь. Совершенно непонятно что вы подразумеваете под "кэш всех DNS записей". Сдается вы не знаете ни принципов работы DNS, ни значения слова кэш.
Если вы хотите получить большой список dns записей, не имея dns сервера, который бы их хранил, то вариантов три:
1. Найти человека, работающего с крупным хостером, регистраром, спамером, анти-спамером итд. И каким либо образом уговорить его дать вам список доменов из их БД
2. Воспользоваться поисковиками.
3. Сгенерировать каким-либо образом список потенциальных доменных имен и попытаться все их отрезолвить для выявления существующих.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

9. "Скачать DNS базу?"  +/
Сообщение от atx (ok) on 28-Июн-09, 02:01 
>[оверквотинг удален]
>вы не знаете ни принципов работы DNS, ни значения слова кэш.
>
>Если вы хотите получить большой список dns записей, не имея dns сервера,
>который бы их хранил, то вариантов три:
>1. Найти человека, работающего с крупным хостером, регистраром, спамером, анти-спамером итд. И
>каким либо образом уговорить его дать вам список доменов из их
>БД
>2. Воспользоваться поисковиками.
>3. Сгенерировать каким-либо образом список потенциальных доменных имен и попытаться все их
>отрезолвить для выявления существующих.

Зачем же так критично, принцип работы DNS не слишком-то сложен, про кэш вообще молчу.
1. Не попадались мне пока "реальные" люди.
2. Как можно сформировать список ВСЕХ СУЩЕСТВУЮЩИХ доменных имен при помощи поисковика, а???
3. Вообще мало реально, хотя конечно можно при помощи брутфорсера сгенерить список доменных имен и написать небольшую утилиту проверяющую имя хоста на DNS сервере на наличие записи. В связи с чем возникают вопросы:
3.1 Время на перебор (какой-нибудь год, два...)?
3.2 Не забанит ли вообще DNS сервер такого клиента (количество+частота запросов)?
3.3 Собственно КПД такого подхода, ведь количество реальных хостов будет в явном меньшенстве относительно "мосора"?
4.А может быть кто-нибудь знает где в нете можно тупо купить такой список?

P.S. Люди, будьте добрее, а за неточную формулироку задачи - сорри!

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

10. "Скачать DNS базу?"  +/
Сообщение от PavelR (??) on 28-Июн-09, 07:44 

>
>Зачем же так критично, принцип работы DNS не слишком-то сложен, про кэш
>вообще молчу.

Только вы так и не можете его полностью понять (с учетом особенностей архитектуры).

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

11. "Скачать DNS базу?"  +/
Сообщение от angra (ok) on 28-Июн-09, 23:18 
>Зачем же так критично, принцип работы DNS не слишком-то сложен, про кэш
>вообще молчу.

и тем не менее PavelR как обычно прав :)

>1. Не попадались мне пока "реальные" люди.

Ну например мне приходилось работать на трех из четырех указанных мной. Другое дело, что моя профессиональная этика мне не позволяет такой информацией делится.

>2. Как можно сформировать список ВСЕХ СУЩЕСТВУЮЩИХ доменных имен при помощи поисковика,
>а???

Ваш четвертый пункт. Совсем всех конечно не получится, но хотя бы второго уровня для каких-то tld можно пытаться найти.

>3. Вообще мало реально, хотя конечно можно при помощи брутфорсера сгенерить список
>доменных имен и написать небольшую утилиту проверяющую имя хоста на DNS
>сервере на наличие записи. В связи с чем возникают вопросы:
>3.1 Время на перебор (какой-нибудь год, два...)?

Для вашей цифры часы или в худшем случае дни, подробней см. 3.3. Скрипт собственно перебора при знании perl пишется за несколько  минут после изучения http://search.cpan.org/~shevek/Net-DNS-Async-1.07/lib/Net/DN.... Разумеется и на других языках можно.

>3.2 Не забанит ли вообще DNS сервер такого клиента (количество+частота запросов)?

Смотрите выше про ваше понимание DNS. Скорость перебора обычно ограничена шириной канала. Вот whois базы это другое дело, там реально на такое наткнутся даже при 10 запросах в секунду.

>3.3 Собственно КПД такого подхода, ведь количество реальных хостов будет в явном
>меньшенстве относительно "мосора"?

И что из этого? Важно количество попаданий в секунду, а не количество промахов.
Кстати, имена доменов часто генерируются подобным образом, особенно спамерами. Также замечу что где-то до 5-6 букв можно идти почти(с учетом звучащего сочетания гласных/согласных) полным перебором. Попробуйте запарковать короткий домен в com зоне и увидите насколько это сложно из-за наличия уже почти всех вариантов. Для более длинных лучше вариации словарных переборов.

>4.А может быть кто-нибудь знает где в нете можно тупо купить такой
>список?

Нам подобные задачи не нужны, как следствие это вам мучать поисковики.

>P.S. Люди, будьте добрее, а за неточную формулироку задачи - сорри!

Да вроде совсем не злые, просто отвечать при всем желании можно лишь в пределах точности вопроса.


P.S. Поймите, нет какого-то единого DNS сервера, который бы за все отвечал. DNS как и сам internet это распределенная система, которая должна выжить при повреждении значительной части узлов, все-таки проектировалось изначально на случай ядерной войны :)

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру