PHP spider

кто что юзает толковое, подскажите плз

Кто ж пишет спайдеры на PHP? Это как сайты делать на голом C++, только наоборот ))

Удачи в поисках, конечно, но что я видел хорошее - оно либо на C, либо на Java. PHP там уже упирается в свои ограничения очень быстро.

потерто

Последний раз редактировалось: FXIX (22/06/10 в 15:44), всего редактировалось 1 раз

А можете вообще подсказать что спайдер делает? Это просто утилитка ползающая и что-то сканящая? если да то конечно на PHP не стоит такое писать, хотя если только для тренировки. Я бы смотрел в сторону Java

чет мне кажется что такого нету на php или у кого есть тот врятли даст , такой функционал скорее всего во всяких оффлайн explorer и прочих подобных прогах. На php такое только под заказ

FXIX писал:

На дедике CLI ни во что ни упирается вроде.

Конечно, ни во что - кроме объема доступной памяти и производительности CPU ))

Спайдер - тяжелая по определению задача, много потоков, рекурсивный разбор. Почему, скажем, игры на PHP не пишут?

Почитай статью

http://en.wikipedia.org/wiki/Web_crawler

Там и список софта есть. На PHP не найдешь. Человек, который способен спайдер написать хороший, PHP себя ограничивать не станет, а это было бы единственным аргументом - "больше я ничего не знаю".

потерто

Последний раз редактировалось: FXIX (22/06/10 в 15:44), всего редактировалось 1 раз

А в чем вообще проблема использовать wget и далее с пхп парсить уже полученный результат.

Как небольшое решение мот подойдёт: попробуй на сайты постучать по такому адресу:
http://site.com/sitemap.xml Я думаю что в достаточно большом проценте случаев тебя ждёт удача ;-)

xp-ViT: угу, предварительно чекнуть на наличие сайтмапа. если нет то вгет пускать. настроить только ума бы хватило .
всем спасибо пацаны . репу въебал по полной

Да возьми нормального спайдера - тот же htdig, прочти документацию, поищи по гуглу "htdig php", сразу кучу всего найдешь, как их совместно использовать. Зачем велосипед изобретать? Зачем тебе обязательно, чтобы сам енджин был на PHP? То, что сам PHP на C написан - тебя же не смущает, надеюсь?

пасиб. посмотрю