Компьютеры Просматривают 1: [гостей - 1]
|
|
|
История темы : Как вам доменное имя фирмы Корифей?!
В истории выводятся последние сообщений - (сначала идут последние сообщения)
| Urlich |
Major писал(а):
Andreas писал(а):
запоминай адреса, а при анализе смотри тайтлы.
Это очень круто будет.
Сервер ляжет, если запустить задачу: "скачать по-быстрому полмилиона страниц и посмотреть в них титлы"
Можно скачивать только верхушку по 5-10 верхних строчек и все будет нормал. |
| Andreas |
Major писал(а):
Andreas писал(а):
запоминай адреса, а при анализе смотри тайтлы.
Это очень круто будет.
Сервер ляжет, если запустить задачу: "скачать по-быстрому полмилиона страниц и посмотреть в них титлы"
Зачем? Смотреть только верхние позиции, или те что интересны.
Полмиллиона смотреть - глазки устанут. |
| Major |
Andreas писал(а):
запоминай адреса, а при анализе смотри тайтлы.
Это очень круто будет.
Сервер ляжет, если запустить задачу: "скачать по-быстрому полмилиона страниц и посмотреть в них титлы" |
| Andreas |
Major писал(а):
Andreas писал(а):
В смысле? Хочешь смотреть, какие страницы посмотрел Бот или что?
Да.
Обычные счетчики для этого не подходят. Хочу смотреть сразу по нескольким сайтам.
Ну так твои ж сайты? запоминай адреса, а при анализе смотри тайтлы. |
| Major |
Urlich писал(а):
Есть еще спам-боты. Как ты их отличиш от поисковых ботов?
Мне интересны только вот эти:
Yandex/1.01.001 (compatible; Win16; I)
и
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Я их даже во сне на ощуп узнаю.
Остальные пофигу. |
| Urlich |
Есть еще спам-боты. Как ты их отличиш от поисковых ботов? |
|
|
|
