Господа - ваш опыт в отловле ботов?

sc@NNer писал:

Код: <?php $user=$HTTP_USER_AGENT; if (strpos("Googlebot Slurp ia_archiver Crawler WebCrawler Gulliver InfoSeek ArchitextSpider marvin Fast LinkWalker Fireball Lycos Scooter Ask Jeeves FastCrawler LWP::Simple/5.53",$user)) exit(); #Add teleport to .htaccess $ip=$REMOTE_ADDR; $fp=fopen(".htaccess","a"); flock ($fp,1); $ban="\ndeny from ".$ip; fputs ($fp,"$ban"); flock ($fp,3); fclose($fp); Header ("Location: http://google.com"); exit(); ?> Пишем его в 1.php и линкуем на него пару невидимых ссылок, одну вверху паги, другую снизу. Забаненные IP пишутся в .htaccess отчмодить .htaccess в "666"

чтото не правильно он работает у меня..
Я просто сам попробовал открыть это урл, а в htaccess прописалось только
deny from
и все..
Что я неправильно сделал?

Ха-ха покажите мне того, кто сделал
1. Моделирование поведения посетителей, и еще чтобы оно совпадало с общей статистикой(которую, естественно, видит только хозяин)
2. Эмуляцию обработки яваскрипта(извините, парсингом можно обмануть только древний авторанк, у которого это было единственной защитой)

Всё, что написано в топиках выше - полный пиздеж малолетних хацкеров.
Стоимость разработки подобного софта равна стоимости нового мерседеса. Теоретическая прибыль - колоссальная.

Но проблема в том, что достигнуть 100% результата невозможно(вот такая бля, статистика - точная наука), вследствие чего читера вычислят, забанят, отпиздят и денег не заплатят.
Посему ни один серьезный человек не отдаст своего мерина ради сомнительного результата. А школьники и энтузиасты не потянут просто по отсутствию профессионализма.

Так что нах хитботы, выгодно работать в меру честно
и кататься на собственном мерседесе ;)

Если у вас не работает, то в скрипте выше вместо $REMOTE_ADDR и $HTTP_USER_AGENT
нужно написать
$_SERVER['REMOTE_ADDR']
$_SERVER['HTTP_USER_AGENT']

все, вопрос решен

В последнее время действительно осложнилась ситуация с ботами, которые толпами бродят по сиджам и портят трейды и статсу.
Большинство можно легко определить по отсутствию поддержки кук и отличиям в хедере при запросе.
Но меньшинство от броузера неотличимы, их можно определять только по их поведению.
Серьезных скриптов для борьбы с ними нет, так что остается пока утешаться тем, что такая ситуация абсолютно у всех.

Grumbler: если ты в чём-то уверен это не всегда значит что ты прав

Вот в чем, а в этом я уверен

Grumbler писал:

Стоимость разработки подобного софта равна стоимости нового мерседеса. Теоретическая прибыль - колоссальная.

Стоп, а гед вообще в топике был разговор об окупаемости и стоимости такого софта? Или тут кто-то писал, что такого рода скрипты накатать - это как 2 пальца обоссать? Смысл в том, что сейчас такие вещи реально сделать, если хорошо подумать, значит со времнем такие скрипты станут в разы дешевле и удобнее и как следствие будет необходимо бороться и с такими вещами. А вот то, как отличить действительо грамотного хитбота от дрочера, я, например, не знаю. Вот это как раз ИМХО нереально сейчас, разве что по тому. что он нихрена не конвертится, но я думаю, что и это можно исправить, правда это будет действительно запредельно стоить, но и это теоретически реально. Я по крайней мере могу предположить, как это сделать но опять же вслух не буду...
Все, такие темы больше тут не обсуждаю, если интересно поболтать, то в асю

Grumbler писал:

Ха-ха покажите мне того, кто сделал 1. Моделирование поведения посетителей, и еще чтобы оно совпадало с общей статистикой(которую, естественно, видит только хозяин) 2. Эмуляцию обработки яваскрипта(извините, парсингом можно обмануть только древний авторанк, у которого это было единственной защитой) Всё, что написано в топиках выше - полный пиздеж малолетних хацкеров. Стоимость разработки подобного софта равна стоимости нового мерседеса. Теоретическая прибыль - колоссальная. Но проблема в том, что достигнуть 100% результата невозможно(вот такая бля, статистика - точная наука), вследствие чего читера вычислят, забанят, отпиздят и денег не заплатят. Посему ни один серьезный человек не отдаст своего мерина ради сомнительного результата. А школьники и энтузиасты не потянут просто по отсутствию профессионализма. Так что нах хитботы, выгодно работать в меру честно и кататься на собственном мерседесе ;)

сразу скажу что я НЕ ДЕЛАЮ хитботы.


если бы пере до мной стояла задача сделать продвинутого хитбота то я бы сделал макет сайты - жертвы промерил бы её тактико технические характеоистики на реальном трафе . записал бы модель поведения серфера на этом сайте и после бы скормил её хитботу.

во вторых не забывай. есть возможность в хитбот траф замешать нормальный . при замесе 50 на 50 и продвинутом хитботе я воще не вижу способа вычислить такой бот.

я думаю уже существуют очень продвинутые хитботы которые вычисляются только чисто интуитивно.
я уже сталкивался с таким :)

PS
стоимость мерседеса не так и велика :)

Ded писал:

во вторых не забывай. есть возможность в хитбот траф замешать нормальный . при замесе 50 на 50 и продвинутом хитботе я воще не вижу способа вычислить такой бот. я думаю уже существуют очень продвинутые хитботы которые вычисляются только чисто интуитивно.

100%

вездье много читаю о хитботах а есть ли они вообще? или это просто сказка каторой пугают вебмастеров? лично у меня на сидже единственные кто поподает на скрытые линки это качалки и пауки из гугл итп

Ты в открытую Урл выложи, тебе быстренько что-нибудь повесят

я тож сразу скажу что я не делаю хитботы
но я делаю сабмитеры... а хороший сабмитер вещь намного более сложная в реализации чем хитбот.

в принципе абсолютно все о чем говорилось на данный момент реализуется... включая обработку зашифрованного или динамического (с использвоанием eval\document.write) джаваскрипта.
тоже самое и с моделированием поведения юзеров (без использования методов о которых писал дед).

любая защита алгоритм которой пойдет в массы будет тутже сломана.

я лично для защиты от хитботов пользовался динамической системой которая полностью меняет алгоритмы защиты от накрутки взависимости от разных параметров. Т.е. чтобы меня накрутить надо очень долго изучать сайт. Хитботы составляют примерно 50% трафика.
Причем даже у тех трейдеров, у которых я точно знаю что хитботов быть не может. Но трейд идет со всеми... просто возврат идет в зависимости от реального трафа, а все боты и прочая подозрительная фигня сливалась на платник.

Ded писал:

если бы пере до мной стояла задача сделать продвинутого хитбота то я бы сделал макет сайты - жертвы промерил бы её тактико технические характеоистики на реальном трафе . записал бы модель поведения серфера на этом сайте и после бы скормил её хитботу.

Упс, маленький прокольчик, моного ли ты видел нынче сиджеев со статичной мордой? Уж не будешь ли каждый день новую модель строить.

Да и морд у сиджа не одна и ХЗ в каком соотношении они показываются, так как процент уников тебе тоже неизвестен.

Да и где взять точно такой же траф для моделирования (а на другом буут и другие результаты).

Ded писал:

во вторых не забывай. есть возможность в хитбот траф замешать нормальный . при замесе 50 на 50 и продвинутом хитботе я воще не вижу способа вычислить такой бот.

Ошибаешься. 50% ого как засветятся голой жопой даже на автомате, аж засверкают. Это ж практически двухкратное отклонение от нормы. Максимум процентов 20-30 можно подмешать. Но откуда бедному читеру взять остальные 70-80, если он по определению читер и ничего настоящего у него быть не может.

Абыдна, дасадна Читеры сосут-причмокивают.

Впрочем не всегда. Некоторые тщательно шарят по Нету в поисках сиджей-топов без защиты и собирают дань. Дык и в этом можно найти что-то положительное - они стимулируют прогресс.

Упс, маленький прокольчик, моного ли ты видел нынче сиджеев со статичной мордой?

не повериш наверное. но вижу я их просто ДОХУЯ.


Уж не будешь ли каждый день новую модель строить.
она будет постоянно строится на сервере. А-в-т-о-м-а-т-о-м.



Да и морд у сиджа не одна и ХЗ в каком соотношении они показываются, так как процент уников тебе тоже неизвестен.
Да и где взять точно такой же траф для моделирования (а на другом буут и другие результаты).

это воще бред. какой такой процент уников ? качество трафа на сидже констанат ? типа скорости света ?

Ошибаешься. 50% ого как засветятся голой жопой даже на автомате, аж засверкают. Это ж практически двухкратное отклонение от нормы. Максимум процентов 20-30 можно подмешать. Но откуда бедному читеру взять остальные 70-80, если он по определению читер и ничего настоящего у него быть не может.

мы говорим о продвинутом боте а не о хуе собачьем :) по этому что они засветятся - бабушка надвое сказала.
к тому же мы не говорим о бедных читерах. мы говорим о тех которые вложились в бот на уровне нового мерседеса. см. выше.
если бы например мне надо было бы строить такие модели я бы мог отправить на это дело скажем пол мильёна хитов.


Абыдна, дасадна :( Читеры сосут-причмокивают.
Впрочем не всегда. Некоторые тщательно шарят по Нету в поисках сиджей-топов без защиты и собирают дань. Дык и в этом можно найти что-то положительное - они стимулируют прогресс

большенство конечно сосёт но думаю далеко не все :)

Помните Жюля Верна - "Из пушки на Луну"? Броня, которую не сможет пробить никакой снаряд; снаряд, способный пробить любую броню…

Эта борьба ведётся бесконечно - с фальшивомонетчиками, подделками проездных в метро, накрутчиками сиджеев, хакерами софта. Помните, на каждое действие есть противодействие (или на каждую хирую жопу... ;) )

Так что я не стал бы (и никому не советую) вот так однозначно кричать что можно, а что нельзя...

Ded писал:

Да и морд у сиджа не одна и ХЗ в каком соотношении они показываются, так как процент уников тебе тоже неизвестен. Да и где взять точно такой же траф для моделирования (а на другом буут и другие результаты). это воще бред. какой такой процент уников ? качество трафа на сидже констанат ? типа скорости света ?

Обычно унику показывается первая морда, неунику вторая и т.д. Не зная процент уников ты не узнаешь, на какую из морд какой процент трафа уйдет, следовательно все твое моделирование коту под хвост.

Ded писал:

мы говорим о продвинутом боте а не о хуе собачьем по этому что они засветятся - бабушка надвое сказала.

Что засветятся - можешь не сомневаться, эти цифры я не из пальца высосал, а взял из статсов. К тому же они подтверждаются элементарными формулами.

Ded писал:

к тому же мы не говорим о бедных читерах. мы говорим о тех которые вложились в бот на уровне нового мерседеса. см. выше.

Если у человека есть лишних денег на уровне мерседеса, то у него хватит ума вложить их в что-то толковое. А если не хватит, то у него по определению этим деньгам и взяться неоткуда, поскольку он тупой.

Ded писал:

если бы например мне надо было бы строить такие модели я бы мог отправить на это дело скажем пол мильёна хитов.

Мне ли объяснять тебе, что траф трафу рознь. Он может отличаться по нишам, по качеству, по странам и еще по куче параметров. Ты сможешь построить правильную модель только в одном случае - если сольешь тот самый траф с тех самых ресурсов в том самом процентном соотношении. Поскольку есть масса вещей, которые нельзя смоделировать, так как их влияние неизвестно. Его можно только измерить, но не вычислить.

Ну ладно, предположим, что вложился не деньгами, а тем, чем надо - то есть мозгами, и решил все эти нетривиальные задачи. Ладно, слил пол миллиона трафа, потеряв еще и потенциальный доход с этого трафа. Ради чего? Ради накрутить несколько сиджиков-топов? Дык тебя ж куры засмеют. Кто ж из пушки то по воробьям, оно в жизни не окупится. Таким образом можно траф с ТГП редиректить (до поры до времени), PPC накручивать (тоже пока не пошлют из-за отсутствия продаж), поисковики спамить (немного не в тему, но по сути тот же чит), а больше нигде нет таких объемов трафа, чтобы подобные технологии хотя бы окупились.

Так что фактически для господ читеров осталась единственная пока слабо защищенная ниша - поисковики. И та до поры до времени, пока ейные разработчики греют жопы на теплых островах и ленятся написать таки толковый античит.

ты всё время мне расказываеш о сиджах с ротацией морд.
отвечаю.
все мои сиджи а их много, без ротации морд. Я не трейжу с сиджами на которых есть ротация морд потому что глубоко убеждёт что сиджи траф - гавно а на сиджах с ротацией гавно в кубе.

во вторых мои слова базируются на опыте. и я тебе повторю. мне встречаются хитботы или что то иное и не понятное которое вычислить не удаётся.

-----
Ну ладно, предположим, что вложился не деньгами, а тем, чем надо - то есть мозгами, и решил все эти нетривиальные задачи. Ладно, слил пол миллиона трафа, потеряв еще и потенциальный доход с этого трафа. Ради чего? Ради накрутить несколько сиджиков-топов? Дык тебя ж куры засмеют. Кто ж из пушки то по воробьям, оно в жизни не окупится. Таким образом можно траф с ТГП редиректить (до поры до времени), PPC накручивать (тоже пока не пошлют из-за отсутствия продаж), поисковики спамить (немного не в тему, но по сути тот же чит), а больше нигде нет таких объемов трафа, чтобы подобные технологии хотя бы окупились.

-----

ты представляеш себе объём трафика на cиджи сайтах?
если иметь серъёзный хитбот то это будет весьма серъёзный траф :)
и доходы будут исчислятся шестизначными цифрами.

Ded писал:

сиджи траф - гавно а на сиджах с ротацией гавно в кубе.

Видимо сидж сиджу рознь, поскольку у меня на двумордых сиджах продажи шелестят лучше, чем с поискового трафа. И на одномордых то же.

Ded писал:

во вторых мои слова базируются на опыте. и я тебе повторю. мне встречаются хитботы или что то иное и не понятное которое вычислить не удаётся.

Если тебе не удается - это не значит, что его вообще нельзя вычислить. А ты возьми и вычисли.

Единственной из существующих сегодня видов чита, который нельзя вычислить автоматом - это эксплоиты. И то практически нельзя, а теоретически методики есть, только некому этим всерьез заняться по причине нецелесообразности.

Ded писал:

ты представляеш себе объём трафика на cиджи сайтах? если иметь серъёзный хитбот то это будет весьма серъёзный траф и доходы будут исчислятся шестизначными цифрами.

Если ты о крупных сиджах, то вот как раз такой траф и правда никому не нужен. Поскольку он если и не ботовый (что само по себе сомнительно), то пустой, так как давно отработан и пропущен через десятки фильтров. А средне-мелкие сиджи читить проблематично, да и проблема массового чита легко решаема столь же массовым автоматическим баном на всех сиджах разом. Так что твоя супер-пупер капусторезальная машина только пощелкает по вершкам практически без толку.

А вообще спасибо тебе за дельные мысли. Только боюсь, что этот топик пора переименовать в "Как написать бота. Пособие для чайника".

tendercat писал:

Единственной из существующих сегодня видов чита, который нельзя вычислить автоматом - это эксплоиты. И то практически нельзя, а теоретически методики есть, только некому этим всерьез заняться по причине нецелесообразности.

ну наконец то я это услышал :)

Может глупая идея, но в принципе можно вставки флешевые делать на странице. Декомпилировать что там внутри флешки, как формируются и куда ведут ссылки не каждый бот сможет.

Javasciprt исполнить не проблема.
Приспособить бота под поведение сёрфера при наличии достаточного количества времени в принципе тоже.
В с флэшем конечно поинтереснее, но тоже можно

Но бота поймать имхо можно всегда каким бы он навороченным не был. Главное -- фантазия

Маэстро писал:

Может глупая идея, но в принципе можно вставки флешевые делать на странице. Декомпилировать что там внутри флешки, как формируются и куда ведут ссылки не каждый бот сможет.

дело в том что и гуглбот это непрочтет ...

вообщем глупая идея

Erotix писал:

дело в том что и гуглбот это непрочтет ... вообщем глупая идея

А какая разница, сможет прочитать гугл флешевые вставки или нет. Главное, что хитбот не сможет. И если до хрена трафа, клики по обычным линками есть, а по флешевым вставкам нет, то получается, что проблемный траф.

Erotix писал:

дело в том что и гуглбот это непрочтет ... :) вообщем глупая идея

идея не глупая
другое дело нахуй нам на сидже нужен этот флеш :)
требуется некоторое время чтоб активировалась флеш система.