Реклама на сайте Advertise with us

Господа програмисты плиз нужна ваша помощь

Расширенный поиск по форуму
 
Новая тема Новая тема   
Автор
Поиск в теме:



С нами с 30.01.05
Сообщения: 21

Ссылка на сообщениеДобавлено: 11/12/05 в 14:37       Ответить с цитатойцитата 

такое дело был скрипт собирал урлы с гулля вчера гугля на запрос скрипта начала выдавать ошибку 403

Warning: file(http://www.google.ru/search?q="guest"+"You+can+post+new+topics"+"viewforum.php?f="&num=100&hl=ru&lr=&as_qdr=all&filter=0&start=0): failed to open stream: HTTP request failed! HTTP/1.0 403 Forbidden

гугля перестала выдавать по 100 результатов на страницу

теперь код нужно переделать чтобы скрипт работал, нужно переделать скрипт чтобы гугля давала по 10 результатов и скрипт продолжал собирать урлы с выдачи со всех страниц ( уже и сам не пойму что написал)
в общем вот код сами поймете
$pay=true;


$all=' ';

$quest=str_replace(" ", "+", $_GET['q']);
$result=implode(file('http://www.google.ru/search?q='.$quest.'&num=100&hl=ru&lr=&as_qdr=all&filter=0&start=0'));
if($pay){
$a=explode('<a href=/search?q=', $result);

for($i=100; $i<=(100*(count($a)-3)); $i=$i+100){
$result.=implode(file('http://www.google.ru/search?q='.$quest.'&num=100&hl=ru&lr=&as_qdr=all&filter=0&start='.$i));

}


}

$l=explode('href="', $result);
for($i=1; $i<count($l); $i++){
$link=explode('"', $l[$i]);
if(!eregi("google", $link[0]) && !eregi("/search", $link[0])){



if(!eregi(substr($link[0],1, 20), $all) && !eregi(substr($link[0],1, 5), $bad)){
$host=explode("/", $link[0]);


if($pay){

@ $e.=$link[0]."\r\n";
}elseif(count(explode("<br>", $e))<26){
@ $e.=$link[0]."\r\n";

0
 



С нами с 05.12.99
Сообщения: 342
Рейтинг: 323

Ссылка на сообщениеДобавлено: 11/12/05 в 14:52       Ответить с цитатойцитата 

если 403 говорит, то через прокси ходи

0
 



С нами с 05.07.05
Сообщения: 439
Рейтинг: 331

Ссылка на сообщениеДобавлено: 11/12/05 в 14:52       Ответить с цитатойцитата 

shapic писал:
такое дело был скрипт собирал урлы с гулля вчера гугля на запрос скрипта начала выдавать ошибку 403
Warning: file(http://www.google.ru/search?q="guest"+"You+can+post+new+topics"+"viewforum.php?f="&num=100&hl=ru&lr=&as_qdr=all&filter=0&start=0): failed to open stream: HTTP request failed! HTTP/1.0 403 Forbidden
гугля перестала выдавать по 100 результатов на страницу
теперь код нужно переделать чтобы скрипт работал, нужно переделать скрипт чтобы гугля давала по 10 результатов и скрипт продолжал собирать урлы с выдачи со всех страниц ( уже и сам не пойму что написал)
в общем вот код сами поймете
$pay=true;

$all=' ';
$quest=str_replace(" ", "+", $_GET['q']);
$result=implode(file('http://www.google.ru/search?q='.$quest.'&num=100&hl=ru&lr=&as_qdr=all&filter=0&start=0'));
if($pay){
$a=explode('<a href=/search?q=', $result);
for($i=100; $i<=(100*(count($a)-3)); $i=$i+100){
$result.=implode(file('http://www.google.ru/search?q='.$quest.'&num=100&hl=ru&lr=&as_qdr=all&filter=0&start='.$i));
}

}
$l=explode('href="', $result);
for($i=1; $i<count($l); $i++){
$link=explode('"', $l[$i]);
if(!eregi("google", $link[0]) && !eregi("/search", $link[0])){

if(!eregi(substr($link[0],1, 20), $all) && !eregi(substr($link[0],1, 5), $bad)){
$host=explode("/", $link[0]);

if($pay){
@ $e.=$link[0]."\r\n";
}elseif(count(explode("<br>", $e))<26){
@ $e.=$link[0]."\r\n";


Скорее всего тебе надо закодировать передаваемые параметры гугле,
у меня есть хороший парсер, сам писал, стучись, договоримся.

0
 



С нами с 05.07.05
Сообщения: 439
Рейтинг: 331

Ссылка на сообщениеДобавлено: 11/12/05 в 15:17       Ответить с цитатойцитата 

Оказывается гугл ещё кол-во запрашиваемых результатов банит по определённому запросу

0
 



С нами с 07.06.00
Сообщения: 3516
Рейтинг: 1802

Ссылка на сообщениеДобавлено: 11/12/05 в 15:26       Ответить с цитатойцитата 

Цитата:
"guest"+"You+can+post+new+topics"+"viewforum.php?..."

Вполне согласен с гуглом -- нефиг срать по форумам.

Elitist Club и Adult Yellow Pages

0
 



С нами с 05.12.99
Сообщения: 342
Рейтинг: 323

Ссылка на сообщениеДобавлено: 11/12/05 в 15:37       Ответить с цитатойцитата 

гы, в самом деле на 10 результатов нормально а на 100 403 ...

0
 



С нами с 30.01.05
Сообщения: 21

Ссылка на сообщениеДобавлено: 11/12/05 в 15:43       Ответить с цитатойцитата 


это с вчеращнего дня, приехали парсер здох

0
 



С нами с 19.11.03
Сообщения: 3973
Рейтинг: 2362

Ссылка на сообщениеДобавлено: 11/12/05 в 22:44       Ответить с цитатойцитата 

афтору
не пиши чушь , 100 резалтов как отдавалось так и отдается, а код выше это полный бред.

0
 
Новая тема Новая тема   

Текстовая реклама в форме ответа
Заголовок и до четырех строчек текста
Длина текста до 350 символов
Купить рекламу в этом месте!


Перейти:  



Спонсор раздела Стань спонсором этого раздела!

Реклама на сайте Advertise with us

Опросы

Рецепт новогоднего блюда 2022



Обсудите на форуме обсудить (11)
все опросы »