Простой вопрос HDD vs SSD

Казалось бы – что тут выбирать?

Каждый, кто менял в своей Windows 7 на старом ПК диск HDD на SSD = радовался увеличению быстродействия системы.

SSD – быстрее:

• нет механических систем
• да и электроны быстрее по микросхемам бегают

Но у хостера – не домашний ПК, там сервер. И диски не по отдельности, а соединены в RAID-массив.

Некоторые хостеры предлагаю очень простой выбор

У некоторых выбор посложнее: SAS или SSD

А что такое SAS HDD?

Вот тут вся разница:

• SAS HDD – это серверные диски, которые работают по протоколу SAS (дуплекс – умеют писать и читать одновременно)
• SATA SSD – это диски, которые работают по протоколу SATA (полудуплекс – читают и пишут по очереди – как в рации “прием/передача” для примера)

Читаем статью

Интерфейсы SAS и SATA

При увеличении числа дисков в массиве RAID:

• физическая сущность диска нивелируется
• фактическая скорость обмена начинает ограничиваться протоколом

В результате скорость обмена данными в массиве у SAS HDD может быть выше, чем у SATA SSD. Чистый маркетинг – все хотят SSD и на спрос есть предложение.

И конечно, всё еще зависит от:

• какая версия протокола у дисков
• в какой RAID собраны диски

Т.е. если Вам нужен сервер VDS/VPS для хостинга сайта – выбирайте SAS HDD. Это будет немного быстрее и немного дешевле варианта SATA SSD.

А если Вам надо быстро и дорого – берите NVMe – это твердотельная память с протоколом PCIe (быстрый и многопоточный).

В папке плагинов WordPress лежит замечательный файл index.php

“Молчание – золото”…

Это как раз для любителей вызвать папку “/wp-content/plugins/” напрямую.

В скриптах WordPress проверяется служебная переменная ABSPATH перед запуском

if (!defined ('ABSPATH')) exit;

При попытке выполнить скрипт вне пространства WP – на выход

А как быть с самодельным скриптом ,который запускается с Вашего сайта, но не из WP?

Для начала очевидное:

1. Сделаем свой index.php
2. Будем показывать его любопытным при прямом запуске

Вариант файла index.php

<?php
header($_SERVER['SERVER_PROTOCOL']." 404 Not Found");
echo 'Silence is golden';
exit;
?>

при показе файла дополнительно сообщаем боту, что ошибка 404 “файл не найден” – для разнообразия

Т.к Ваш скрипт запускается с какой-либо страницы Вашего сайта – то там должен быть рефер  с именем этой страницы. При прямом запуске – рефер будет пустой.

$backurl = $_SERVER['HTTP_REFERER'];
if (empty ($backurl)) { 
   include 'index.php';  
   exit;
}

Но это еще не все. Боты научились подделывать рефер (что бы их так просто не выгоняли), там может быть:

• или Ваш домен mysite.ru с ошибкой вида www.mysite.ru
• или URL адрес Вашего скрипта вида http://mysite.ru/test.php

С последним вариантом бот бился 6 часов с интервалом 1 сек… Подбирая разные варианты запуска php.

Атака шла с IP v6 – так что версия fail2ban 0.9 ничего тут не смогла сделать (поддержка IP6 только с версии 10.0).

Добавим дополнительные проверки

$backurl = $_SERVER['HTTP_REFERER'];
$domen_link = ((!empty($_SERVER['HTTPS'])) ? 'https' : 'http') . '://' . $domen;
//----------
if (empty ($backurl)) { 
   include 'index.php'; 
   exit;
}
if (mb_strpos($backurl, $domen_link)=== FALSE) { 
   include 'index.php'; 
   exit;
}
if (mb_strpos($backurl, '.php') > 0) { 
   include 'index.php'; // 
   exit;
}

где $domen_link – домен Вашего сайта с протоколом и поищем:

• или отсутствие правильного домена в строке рефера (откуда был вызван скрипт)
• или символы ‘.php’ в рефере

Если хотя бы одна из трех ловушек сработает – бот получит страницу index.php и 404 ошибку.

Бинго!

ВАЖНО: “символы ‘.php’ в рефере” ! 

Иногда вредные боты подменяют рефер и там вписывают название Вашего скрипта вида https://mysite.ru/script.php

А у Вас например, скрипт script.php после выполнения перезагружает страницу, откуда он был запущен https://mysite.ru

А там теперь, в рефере (бот подделал) – название Вашего же скрипта. Что произойдет? После захода такого бота сервер уйдет в цикличный вызов скрипта и ему будет нехорошо…

P.S.

Если разработчики ботов еще что придумают – допишем ловушки :)

Собственно никак :)

Есть сервисы Яндекс РСЯ и Google Adsense.

Посмотрим внимательно:

• Яндекс принимает в свою сеть сайты с 10 000 визитов  день (Россия)
• Google принимает всех

Цифры по Google Adsense – в среднем с сайта 500 визитов в день (15 000 в месяц) Вы получите порядка 50 долл. Чтобы хотя бы получить 500 долл. за месяц – у Вас должен быть сайт с уровнем визитов 150 000 в месяц.

Или, например,  300 000 визитов в месяц – как хочет Яндекс (10 000 * 30 дн).

Что для информационного сайта силами одного вебмастера малореально. И не забываем, что у многих установлен AdBlock Plus, который достаточно хорошо отрезает рекламные модули.

Этого хватит на оплату домена, хостинг VPS и немного на мороженое…

Хостинг VPS нужно покупать нормальный, что бы он мог обеспечить отдачу контента такому количеству желающих. В двух словах – т.к. желающих много – Вам нужна многопоточность, что обычный дешевый хостер не может обеспечить.

Читаем статью

Хостинг VPS

Особенности работы с Google Adsense

Проходим регистрацию, добавляем свой сайт, добавляем на него код – ждем подтверждения, что с сайтом система может работать.

Две основные стратегии работы – полностью автоматический режим и возможность самостоятельно добавлять код объявлений на сайт.

Переводим на русский “подбирать лучшие места”:

• в текст статьи втыкается 3-5 рекламных блоков
• в боковые панели сайта добавляется 2-3 блока
• и вишенка – при клике по пункту меню появляется всплывающая реклама

В результате сайтом в принципе нельзя пользоваться. Забавно.

Лучше сделать свои медийные блоки и вручную их разместить на сайте:

• перед контентом
• после контента

Да, кликов будет меньше – но по крайней мере сайт будет выглядеть нормально.

А еще вот так бывает после старта рекламы (т.е. уже после проверки, что сайт готов)

Робот считает, что на Вашем сайте бесполезный контент. При этом сам же Гугль нормально показывает сайт в выдаче….

Роботы правят миром :(

Почему не получится использовать свою рекламу на сайте

Не получится – низкая релевантность объявлений. Что бы был клик со стороны посетителя:

• объявление должно показываться в той же категории, что и текст (или по той же теме)
• только поисковая система всё знает о посетителе (что он смотрел ранее, его интересы и прочее)

Если Вы делаете свою рекламу – то количество кликов будет на уровне 1 промилле (1/1000). Если рекламная система дает объявление – то количество кликов будет на уровне 1% (1/100).

Хоть что-то.

И вторая причина. Сейчас поисковые системы превратились в магазин по продаже рекламы. Вот пример – на поисковый запрос все позиции  на видимой части первого экрана – это реклама, а не результат поиска.

Поиска нет вообще :(

При попытках на своем сайте давать свою cdj. рекламу – Ваш сайт обрушат в поиске… Конкуренты не нужны.

Малополезный контент, избыток рекламы – почему вообще система поиска принимает такие решения за пользователей…

А рекламная система добавляет файл ads.txt, в котором есть информация – кто и как рекламирует.

Ads.txt — это текстовый файл, хранящийся в основной папке веб-сайта, который содержит список компаний, уполномоченных продавать рекламу на  сайте. IAB Tech Lab выпустила этот инструмент в мае 2017 года для решения проблемы мошенничества, подтверждая им подлинность рекламных мест.

Это официально. А по факту – это сигнал поисковым машинам, что используется именно их рекламный канал.

Пока  Вы думаете, как завлечь посетителей на сайт – боты там резвятся от души.

одни боты ломятся в админку (для сайта на WordPress). Их там правда не ждут – но ботам всё равно.

Любимые файлы WP для подборщиков:

• wp-login.php
• xmlrpc.php (для мобильного входа)

Другие боты пытаются в форму обратной связи запихнуть исполняемый код или ссылку на рекламный сайт.

Вот это “empty message” – уже после очистки от спецсимволов. И какое упорство для 195.123.227.217 – с одного IP-адреса пытаться сделать инъекцию кода в поле формы.

И хорошо – есть еще тупые боты 5.188.84.115, которые заполняют скрытые поля “Honeypot” (бочка с медом) и получают заслуженный бан.

Да, интернет знает этого бота 5.188.84.115.

Обратите на временные интервалы – от пяти до 10 попыток в час. Это еще здесь нет логов ботов, которые всякую ахинею в адресной строке браузера набирают.

Скоро интернет придет к состоянию электронной почты – будет 90% ботов и 10% людей.

P.S.

Не просто так Dropbox резко усложнил капчу на вход в аккаунт.

Казалось бы, что тут может быть нового? Используйте https и будет Вас счастье.

Но чудеса встречаются на разных серверах…

Допустим у Вас есть проект в работе, он пока работает на http, сайт уже есть. И он открывается нормально по http.

Совершенно случайно Вы узнаете, что сайт открывается еще и по https, но:

• там висит заглушка вместо сайта
• никаких действий по подключению https Вы не предпринимали
• сертификата SSL у Вас нет

А откуда Вы это случайно узнали?

А это поисковые роботы проверили https, выяснили, что сервер отвечает на запрос (с кодом 302 – временно перемещено), страница с html тэгами там есть = и сделали страницу-пустышку https главным зеркалом сайта.

Т.е. теперь пустышка – главное зеркало, а сам основной сайт по http выброшен из поиска (типа – не главное зеркало и в поиске больше не участвует).

Неожиданно :(

Смотрим, что отвечает сервер Яндекса

http = 200

https = 302

Упс…

Нужно это дело контролировать и принимать меры, что бы хотя бы возвращалась ошибка https=404

Только тогда глупый поисковый робот успокаивается и прекращает попытки сделать заглушку главным зеркалом.

P.S. Конечно понятно.

Программисты хотели сделать доброе дело, если есть ответа по https – давайте сделаем его главным зеркалом по умолчанию, поможем разработчику сайта.

Только никто не подумал, что бывают разные ситуации.

Будем выбирать VPS/VDS по параметрам.

VPS – virtual private server

VDS – virtual dedicated server

Другими словами – виртуальный компьютер у хостера, где Вы можете разместить свой web-проект. Компьютер как настоящий (cpu, память, диск, ОС) – только нарисованный в памяти сервера.

Про варианты работы VDS читаем статью

Хостинг VPS

Основные параметры:

• система виртуализации (OpenVZ, KVM, Hyper-V)
• операционная система (Linux, Windows)
• число ядер процессора
• диск (SAS, SSD, NVMe)
• оперативная память RAM
• трафик и ширина канала

И собственно web-проект можно разделить на три категории:

• информационный сайт с малой посещаемостью
• информационный сайт с большой посещаемостью
• интернет-магазин с большой посещаемостью

Итого  как минимум 15 вариантов (5*3),  будем разбирать по частям.

Система виртуализации

По ценам (по убыванию):

• Hyper-V – самая дорогая из-за платной лицензии Microsoft
• KVM – на базе Linux
• OpenVZ – на базе Linux – самая дешевая

Казалось бы, выбор очевиден. Выбираем самый дешевый вариант OpenVZ и работаем?

Но в самом дешевом вариант есть проблема. В OpenVZ нет свопа на диске. Т.е. при исчерпании оперативной памяти – дополнительную память с диска взять нельзя. Система не будет работать медленнее – она просто перестанет работать.  Будут удалены процессы из памяти, которые занимают больше всего места, как правило это управление базой MySql = сайт перестает работать. Нужно перезапускать службу.

Резюме: систему виртуализации OpenVZ можно использовать только для самых простых, не нагруженных и не критичных проектов. В остальных случаях лучше использовать KVM.

Операционная система (Linux, Windows)

Тут проще. Исторически сложилось, что большинство серверов работает на Linux. Зато у Windows есть GUI (он же интерфейс пользователя – графическая оболочка), к рабочему столу можно подключиться через RDP и пользоваться как обычным ПК.

Число ядер процессора.

А зачем нам вообще нужен процессор для сайта? Современный сайты сделаны с помощью CMS – т.е. необходимо из написанного кода (обычно на PHP) собрать страницу с тегами html  и отдать её браузеру для показа.

Если у Вас простой информационный сайт и используется кэширование – то вполне хватит одного ядра. Большая часть страниц Вашего сайта будет один раз собрана и будет потом загружаться из кэша.

Если у Вас интернет-магазин – то как правило, все посетители будут получать свою версию страницы (“Вы смотрели…” – вот это всё ) = и для каждого посетителя страницы будут собираться заново. Тут чем больше ядер процессора – тем лучше.

Диск (SAS, SSD, NVMe)

• SAS – тут имеется ввиду серверный HDD, только с протоколом SAS вместо десктопного SATA
• SSD – твердотельный диск через тот же SAS
• NVMe – твердотельный диск через PCIe – самый быстрый

В современном сайте есть много мелких файлов (картинки, скрипты JS, таблицы CSS), которые необходимо прочитать с диска и отдать пользователю.

Т.е. чем быстрее диск – тем быстрее запускается сайт. Для конечного пользователя не очень критично. Но очень критично для владельца сайта. Сайт, который работает медленно – никогда не попадет в ТОП выдачи поисковых систем.

Интересный лайфхак. Если Вы делаете проект на своем железном сервере – мы можете создать виртуальный диск в оперативной памяти и все файлы сайта поместить на него (включая базу MySql). Это будет быстрее на порядок  любого физического диска.

Оперативная память RAM

И вот тут самое сложное.

Если проект малонагруженный и мало посетителей – вполне хватит 1Gb (на весь VPS, 400 Мб на нужды ОС и 100-200 Мб для работы сайта). А вот когда посетителей много….

Что значит много визитов на сайт? Тут проблема не в быстродействии системы. Много – это значит, что в отдельные моменты времени часть посетителей хотят смотреть сайт ОДНОВРЕМЕННО.

А вебсервер Apache в базовой установке = он однопоточный. Т.е. второй посетитель в этот же момент времени сайт не получит, а получит ошибку сервера 500…. Пока Apache не закончит обработку первого визитера.

Да, у Apache есть модуль, который умеет работать в многопоточном режиме – FastCGI. После включения этого режима начинается “дискотека”. Под запрос каждого посетителя необходимо выделить оперативную память. В среднем для сайта с 300 посетителями  в день – на уровне 1 Gb на сайт.

ВАЖНО:  не используйте виртуализацию OpenVZ в комплекте с FastCGI Apache. Пришло много визитеров одновременно, каждому выделили память, память вся закончилась = OpenVZ выключил работу MySql (т.к. свопа на диск там нет) и сайт упал. Ай…

Трафик и ширина канала

Обычно тщательно скрыто внутри тарифа. Для проекта начального уровня вполне хватит 1 Тб. Собственно, обычно  в большинстве тарифов так и есть.

Но надо смотреть подробности. Ширина канала может быть и 30 Мб/с и 100 Мбит/с и 500 Мбит/с.

Трафик – он как бы безлимитный до 1Тб. А с превышением что? Дополнительная оплата со счета или снижения скорости канала?

Перед принятием решения о выборе тарифа всё это надо анализировать.

Это волшебное слово “перелинковка”.

Помимо наличия ссылок с наиболее популярных страниц (установленных вручную) –  неплохо бы добавить автоматический вариант:

• на странице после контента должен быть список дочерних страниц (или страниц похожей тематики) – повышает вероятность перехода посетителя
• в статье после контента должен быть список статей этого же автора по этой же рубрике – повышает вероятность перехода посетителя
• на каждой странице блога должен быть список наиболее популярных страниц (линк и счетчик)
• на каждой странице блога должен быть список наиболее популярных статей (линк и счетчик)

Как это можно реализовать?

Можно для WordPress использовать следующие плагины:

Page-List – для организации списка страниц (добавляет шорт-код после контента)

Топ-10 – для показа счетчика по страницам и статьям (разместить  в боковой панели как виджет)

Вывод списка последних публикаций – добавляет список статей с фильтрацией по автору и рубрике

У Вас/Вашей компании есть сайт. Наивно думать, что теперь о Вас узнает весь мир.

Да, сайт видно с любой точки земного шара – но у Вас сайт-невидимка, никто про него чего не знает и найти не может.

По сравнению с началом Интернета сайтов стало очень много, точнее ОЧЕНЬ МНОГО. Раньше было достаточно выложить сайт в интернет -и через некоторое разумное время его уже хорошо видно в поиске, пошли посетители. Сейчас для продвижения сайта необходимы достаточно большие усилия целой команды. В одиночку это практически сделать невозможно – слишком разные знания нужны и банально не хватит времени. И очень много работает хороших команд с хорошими бюджетами.

Грубая оценка того, что необходимо делать для продвижения сайта и кто необходим.

Дизайнер – разработка дизайна сайта, недостаточно один раз нарисовать и сделать, постоянно надо что-то переделывать
Программист – собственно работает с кодом сайта
Специалист по SEO – постоянно отслеживает основные параметры сайта, проверяет соответствие требованиям поисковых систем, предлагает изменения, работает с ссылочной базой
Специалист по контекстной рекламе – занимается контекстной рекламой
Создатель текстов и новых страниц – пишет, собственно тексты для страниц, исходя из объема 1 новая страница в день
Специалист по продвижению в социальных сетях – обеспечивает продвижение в социальных сетях, ведет группы

Вот уже команда минимум из 6-ти сотрудников, их зарплата плюс контекстная реклама плюс реклама в социальных сетях = где-то под 1 млн. руб. в месяц выходит. Т.е. если Ваш бизнес на 100% в Интернете и Вы хотите получать клиентов с трафика с сайта – будьте готовы отдать 1 млн. руб. в месяц на продвижение. Да, можно часть работы отдать внешней фирме на аутсортинг – но в целом сумма затрат особо сильно не изменится. Вариант “мы сделали модный красивый сайт и сразу хотим получать с него клиентов” – не работает. И силами 1-2 сотрудников Вы сайт не вытащите на хорошую посещаемость.

Если Ваш бизнес работает в традиционных сферах – тогда проще, Вам нужен сайт-визитка (один раз сделать базовый функционал), что там были контакты и основная информация. И можно не заниматься продвижением – просто указывать сайт в своих рекламных материалах.

Рассмотрим основные показатели Вашего сайта.

Количество визитов с поиска (лучше через счетчик Гугль) – количество посетителей, которые зашли на Ваш сайт через поисковые системы. Именно не общее число визитов (там может быть и прямые заходы и реклама и соцсети), а именно с поиска. Это позволяет оценивать, как сайт виден из интернета. Счетчик Гугль хорошо дает разбиение, откуда пришли посетители.

– с поиска Яндекса

– с поиска Гугль

– с других поисковых машин

Средняя глубина просмотра (лучше через счетчик Гугль) – практически САМЫЙ ГЛАВНЫЙ параметр Вашего сайта. Например, Вы вложили денег в рекламу и число визитеров на сайте более 50 000 в месяц, вроде хорошо. А посмотрим количество просмотров (100 000) – вроде вообще отлично. Поделим одно на другое (100 000 / 50 000) и получим среднюю глубину просмотра в 2 (ДВЕ) страницы! Что это означает? Ваш сайт никому не интересен (или текстовая информация ни о чем, или навигация кривая), визитер переходит на страницу входа, ничего не понял, куда-то кликнул – И УШЕЛ. Фактически весь бюджет на продвижение сайта потрачен просто так, визитеры на сайт идут, но ничего там не смотрят. Т.е. пока не решен вопрос со средней глубиной просмотра (должна быть минимальна на уровне 5-7 страниц) – не имеет смысла вкладывать денег в раскрутку сайта, надо дорабатывать сам сайт.

Причем интересует не просто средняя глубина просмотра сайта (она ни о чем не говорит – там каша из разных данных), интересует глубина просмотра визитеров с поиска Яндекса и поиска Гугль. Если сайт не оптимизирован для мобильных устройств – с Гугль глубина просмотра будет меньше. Это связано с тем, что в настоящее время очень много ищут через Гугль именно с мобильных устройств (операционная система Adndroid), 6 страниц с поиска Яндекса и 4 страницы с поиска Гугль..

Тип операционной системы (лучше через счетчик Гугль) – как вариант замены отчета по устройствам, откуда был вход – с мобильного устройства или стационарного ПК. Если Вы видите, что большая часть заходов идет через Android – то нужно срочно оптимизировать сайт под мобильные устройства (оценка удобства для пользователя – глубина просмотра). Ниже скан отчета из Гугль с разбивкой по каналам (нас интересует organic – т.е. поиск) и по операционным системам.

Что мы видим из отчета? С поиском из настольных ПК все прекрасно – глубина просмотра более 7 страниц (последняя колонка). А вот для мобильных устройств ситуация хуже. Для Android / iOS глубина просмотра почти в два раза меньше, скорее всего неудобно работать с сайтом на небольших экранах (например, не видна часть ссылок в основном меню) – а ведь пользователи этих мобильных устройств наиболее платежеспособны :)

Число визитёров с рекламы – это может быть как и классическая контекстная реклама (Директ и Эдвордств соответственно), так и размещение платных ссылок на других сайтах (тогда в отчетах эти цифры будут в разделе referal).

Число визитёров с социальных сетей – что бы получить разумные цифры, как минимум должны быть настроены группы в соцсетях и организована выкладка информации с сайта в социальные сети. Если это поручить роботу (автоматический кроспостинг в сети хотя бы раз в день) – Ваш сайт дополнительно получит 365 ссылок с каждой соцети за год. Подробнее здесь https://seotable.ru/indeksirovanie-sajta.htm

Прямой вход – это визитёры, которые заходят по адресу сайта (набирая его в адресной строке или из закладок)

Итого четыре основных канала входа на сайт:

– с поиска

– с рекламы

– с соцсетей

– прямой вход