форумы  помощь  поиск  регистрация  майллист  ВХОД  слежка

Вариант для распечатки		Архивированная нить - только для чтения!  Пред. тема | След. тема
Форумы Программирование под UNIX (Public)
Изначальное сообщение		[Проследить за развитием треда]

"интернет-сканер под Linux "
Сообщение от alrond (ok) on 07-Сен-04, 16:58  (MSK)
в программировании я не силен, только немного С и PHP. мне надо написать программку сканирования интернета, не знаю как точно это можно реализовать. примерно как поисковый робот гугла и яндекса а вот что она должна делать: 1) брать из MySQL ссылки, то есть адреса сайтов 2) сканировать весь сайт на предмет других ссылок 3) заносить их в базу данных 4) делать некоторую статистику (количество ссылок на ресурс с других серверов, дата.....) на PHP не напишешь...ограничено время скрипта, да и медленно это работает. хотелось бы как демон запускать, чтобы постоянно работал. на трафик плевать (300-400 GB/M), на размер базы тоже, канал хороший - 100MBit Цель - собрать все интернет адреса :)) a то ни один регистратор их просто так не отдаст ;)
	Рекомендовать в FAQ | Cообщить модератору | Наверх

Индекс форумов | Темы | Пред. тема | След. тема

Сообщения по теме

1. "интернет-сканер под Linux "
Сообщение от SergeiZz on 08-Сен-04, 15:59  (MSK)
>в программировании я не силен, только немного С и PHP. >мне надо написать программку сканирования интернета, не знаю как точно это можно >реализовать. примерно как поисковый робот гугла и яндекса >а вот что она должна делать: >1) брать из MySQL ссылки, то есть адреса сайтов >2) сканировать весь сайт на предмет других ссылок >3) заносить их в базу данных >4) делать некоторую статистику (количество ссылок на ресурс с других серверов, дата.....) > > >на PHP не напишешь...ограничено время скрипта, да и медленно это работает. >хотелось бы как демон запускать, чтобы постоянно работал. >на трафик плевать (300-400 GB/M), на размер базы тоже, канал хороший - >100MBit > >Цель - собрать все интернет адреса :)) >a то ни один регистратор их просто так не отдаст ;) C++: libcurl --> ( Spirit || regex ) --> <a href=???> http://curl.haxx.se/ http://bost.org
	Рекомендовать в FAQ | Cообщить модератору | Наверх

	2. "интернет-сканер под Linux "
	Сообщение от alrond (??) on 08-Сен-04, 16:17  (MSK)
	>C++: >libcurl --> ( Spirit || regex ) --> <a href=???> > >http://curl.haxx.se/ >http://bost.org спасибо! а как из С сделать доступ к MySQL? и можете кинуть ссылку на пример реализации через С загрузки странички и libcurl?
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	3. "интернет-сканер под Linux "
	Сообщение от mirya on 08-Сен-04, 18:42  (MSK)
	>а как из С сделать доступ к MySQL? ПХП-шный интерфейс мало отличается от С-шного базового. Описание в станд. МуСКЛ малюале
		Рекомендовать в FAQ | Cообщить модератору | Наверх

	4. "интернет-сканер под Linux "
	Сообщение от SergeiZz on 09-Сен-04, 16:49  (MSK)
	>>C++: >>libcurl --> ( Spirit || regex ) --> <a href=???> libcurl --> ( Spirit || regex ) --> <a href=???> --> mysqlcppapi http://mysqlcppapi.sourceforge.net/ >>http://bost.org Опечатка-с: http://boost.org http://boost.org/libs/libraries.htm#String >а как из С сделать доступ к MySQL? !!! C++ forever !!! >и можете кинуть ссылку на пример реализации через С загрузки странички и >libcurl? Примеры в составе дистрибутива. С++ обёртка: http://rrette.com/curlpp.html#documentation Кратенькое введенице: http://curl.haxx.se/libcurl/c/libcurl-tutorial.html
		Рекомендовать в FAQ | Cообщить модератору | Наверх

Удалить

Индекс форумов | Темы | Пред. тема | След. тема

Пожалуйста, прежде чем написать сообщение, ознакомьтесь с данными рекомендациями.