Оханск.ру

Виртуальный Вождь
Деревенский парень в городе
Eugene

Откуда: г.Екатеринбург
Всего сообщений: 2879
Рейтинг пользователя: 14

Ссылка

Дата регистрации на форуме:
8 окт. 2007

Профиль | Игнорировать
NEW! Сообщение отправлено: 30 июля 2009 11:12

Сегодня получил от хостера сообщение, что мой сайт слишком загружает его процессорные мощности и надо с этим что-то делать (как вариант, предлагается перейти на другой тариф).

Сейчас на моем тарифе лимит на использование процессорных ресурсов сервиса установлена в размере 1,5% от одного 3 GHz процессора.

Среднесуточно у меня 200 посетителей и 300 просмотров.

Я к чему все это указываю: может такая посещаемость так загрузить процессор или стоит искать причину в другом (неоптимизированный код или еще что)?

Виртуальный Вождь
Деревенский парень в городе
Eugene

Профиль | Игнорировать
NEW! Сообщение отправлено: 30 июля 2009 11:43

Похоже, нещупал проблему - вечером буду лечить:
на деньги, поступившие от размещения статей, заказал прогон сайта по каталогам, а robots написан так, что всех роботов с распостертыми руками принимает. В итоге, скорее всего, это поисковики валят сайт.

Virtus Администратор Основатель форума Откуда: Оханск Всего сообщений: 3233 Рейтинг пользователя: 11 Ссылка Дата регистрации на форуме: 9 сен. 2007	Профиль \| Игнорировать NEW! Сообщение отправлено: 31 июля 2009 8:29 Логи сервера надо анализировать, чтобы точно узнать причины нагрузки.
	Наверх

Виртуальный Вождь
Деревенский парень в городе
Eugene

Профиль | Игнорировать
NEW! Сообщение отправлено: 3 августа 2009 7:51

Посмотрел логи - сходу ничего не понял.
Поразбираюсь немного - может быть пойму.

А пока предпринял такие меры:
1. Установил плагин, который снимает некоторые непринципиальные сервисные функции, которые напрямую на работоспособность и безопасность не влияют, но процессор загружают (например, проверка на наличие обновлений самого вордпресса и всех плагинов).
2. Подредактировал файл роботс (запретил индексировать страницы админки и еще некоторые страницы, которые играют техническую роль). Также установил задержку между загрузками страниц роботами.
3. Снизил частоту индексирования гуглом.
4. Установил кеширование страниц сайта.

Первые результаты:
нагрузка на процессор упала в 2-3 раза, но все равно не так существенно как мне хотелось бы.

Virtus

Администратор
Основатель форума

Откуда: Оханск
Всего сообщений: 3233
Рейтинг пользователя: 11

Ссылка

Дата регистрации на форуме:
9 сен. 2007

Профиль | Игнорировать
NEW! Сообщение отправлено: 3 августа 2009 21:16

Eugene написал:

[q]
Посмотрел логи - сходу ничего не понял.
Поразбираюсь немного - может быть пойму.
[/q]

Там ничего сложного нет, просто без средств автоматизации анализа нудно смотреть портянки логов. Можно поискать для начала какой-нибудь анализатор логов, полно таких программ.
А потом посмотреть, может процессор грузят, например, грабберы контента. От них robots.txt не спасет, можно их ip в .htaccess блокировать.

Eugene Виртуальный Вождь Деревенский парень в городе Откуда: г.Екатеринбург Всего сообщений: 2879 Рейтинг пользователя: 14 Ссылка Дата регистрации на форуме: 8 окт. 2007	Профиль \| Игнорировать NEW! Сообщение отправлено: 3 августа 2009 21:35 Насчет грабберов не подумал - все возможно. Логи Seomonitor анализировал. --- Юридический блог
	Наверх

Virtus

Профиль | Игнорировать
NEW! Сообщение отправлено: 4 августа 2009 9:23

Eugene написал:

[q]
Логи Seomonitor анализировал.
[/q]

Тогда стоит понять структуру файлов логов. В принципе, нужно понять только то, что это текстовый файл, в который пишется сервером инфа о посещениях сайта и то, что там обязательно записывается ip посетителя. А дальше смотрим, каких ip много и кто это такие, через какой-нибудь сервис whois, например, http://www.nic.ru/whois/
Если это нежелательные посетители, блокируем их. Вот и все.

Виртуальный Вождь
Деревенский парень в городе
Eugene

Профиль | Игнорировать
NEW! Сообщение отправлено: 4 августа 2009 11:46

Я глубоко в анализ не лез пока, но при первом подходе к проблеме оказалось, что в логах лидерство Яндекс занимает...
Насчет остальных - сегодня вечером еще рез проанализирую.

Кстати, поставил специальный вордпрессовский плагин, который анализирует работу WP и выдает инфу о том, что его тормозит. Оказалось, что один из виджетов жрет чуть ли не треть ресурсов - заменю его аналогом.