Новый Форум
Добро пожаловать, Гость
Пожалуйста Вход или Регистрация.
Забыли пароль?
Компьютеры Просматривают 1: [гостей - 1]

Создать в теме "Компьютеры"

Имя:
Тема:
Иконка темы:
нет
Boardcode:
 Цвет:  Размер:   Закрыть все тэги
Сообщение::

Смайлики
B) :( :) :laugh:
:cheer: ;) :P :angry:
:unsure: :ohmy: :huh: :dry:
:lol: :silly: :blink: :blush:
:kiss: :woohoo: :side: :S
Еще смайлики
 Введите контрольное число, изображенное справа   

История темы : Как вам доменное имя фирмы Корифей?!
В истории выводятся последние сообщений - (сначала идут последние сообщения)
Автор Сообщение
Urlich Major писал(а):

Andreas писал(а):

запоминай адреса, а при анализе смотри тайтлы.

Это очень круто будет.



Сервер ляжет, если запустить задачу: "скачать по-быстрому полмилиона страниц и посмотреть в них титлы"


Можно скачивать только верхушку по 5-10 верхних строчек и все будет нормал.
Andreas Major писал(а):

Andreas писал(а):

запоминай адреса, а при анализе смотри тайтлы.

Это очень круто будет.



Сервер ляжет, если запустить задачу: "скачать по-быстрому полмилиона страниц и посмотреть в них титлы"




Зачем? Смотреть только верхние позиции, или те что интересны.

Полмиллиона смотреть - глазки устанут.
Major Andreas писал(а):

запоминай адреса, а при анализе смотри тайтлы.

Это очень круто будет.



Сервер ляжет, если запустить задачу: "скачать по-быстрому полмилиона страниц и посмотреть в них титлы"
Andreas Major писал(а):

Andreas писал(а):

В смысле? Хочешь смотреть, какие страницы посмотрел Бот или что?

Да.

Обычные счетчики для этого не подходят. Хочу смотреть сразу по нескольким сайтам.




Ну так твои ж сайты? запоминай адреса, а при анализе смотри тайтлы.
Major Urlich писал(а):

Есть еще спам-боты. Как ты их отличиш от поисковых ботов?

Мне интересны только вот эти:

Yandex/1.01.001 (compatible; Win16; I)

и

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Я их даже во сне на ощуп узнаю.



Остальные пофигу.
Urlich Есть еще спам-боты. Как ты их отличиш от поисковых ботов?
Сайт является участником проекта
"Города Украины"