Загрузка...Решено: Страница Обнаружена, не просканирована
Решено: Страница Обнаружена, не просканирована
Когда ваш проект начинает расти и у него появляются тысячи публикаций, следует очень внимательно следить за его индексацией, так как сколько бы вы не создавали новых страниц, их отсутствие в поисковом индексе не приведет вам читателя и будет бессмысленным. На минувшем месяце я на одном из своих крупных проектов наткнулся на интересую ситуацию, я выпустил цикл новых статей, отправил их на ручную индексацию Google и забыл, какого же было мое удивление, когда я их не обнаружил в индексе гугла, а в Яндексе все появилось буквально через минуту. Начав копать я обнаружил, что они имеют статус «Страница Обнаружена, не просканирована«. Давайте разбираться из-за чего они получили такой статус и как это исправить.
Что такое и для чего нужно индексирование содержимого файлов
Под неприметной галочкой скрывается достаточно активная системная служба Windows, которая предназначена для ускорения поиска файлов на жёстком диске компьютера, а зачастую и их содержимого, если речь идёт, например, о текстовом документе. Если файлов у вас очень много и вы часто ищете среди них нужные, то считается, что при активированной функции индексации вы потратите на поиски минимум времени.
Давайте разберёмся теперь, как работает служба индексирования в Windows 10 (в предыдущих версиях она тоже присутствует, но наибольшим интеллектом её наделили в 8.1 и 10). При каждом добавлении нового файла или модификации существующего данные о нём в закодированном (индексированном) виде заносятся в специальную базу данных, что помогает ускорить поиск. Вы замечали, что, воспользовавшись поиском и набрав всего несколько символов, вы уже получаете список результатов, удовлетворяющих вашему набору. Если среди них есть требуемый, вводить дальше символы уже не нужно, и вы экономите время (с учётом вероятности допустить ошибку где-то в середине или конце строки).
Хотя сам процесс индексирования файлов на жёстком диске происходит в фоновом режиме, если вы выполняете массовые операции с файлами (например, копируете с флешки или скачиваете новое приложение), служба индексации может несколько снизить производительность компьютера, с такой же интенсивностью осуществляя операции чтения/записи в базу данных индексов.
Отключив индексацию, вы сможете немного повысить скорость работы ПК, причём в некоторых случаях заметно, а в некоторых вы и вовсе не ощутите разницы.
Чтобы принять взвешенное решение о необходимости активации или деактивации этой опции, следует учитывать также и мощность процессора, и количество ОП, и тип диска (жёсткий или SSD).
Если CPU шустрый (i5, i7 или выше), а HDD обычный, индексация не помешает. Если процессор медленный, независимо от типа диска, индексирование содержимого файлов стоит убрать. Лишней будет галочка и для дисков типа SSD, причём для процессоров любой производительности.
То есть вывод напрашивается очевидный: отключение опции оправдано для слабых CPU и твердотельных накопителей. Но интересен и другой вопрос: а насколько замедлится функция поиска при отключённой индексации? Переживать по этому поводу не стоит: разница будет, конечно, заметной, но не всегда. А главное – качество поиска от этого нисколько не пострадает.
И ещё один нюанс. Зачем нужна индексация файлов, если среднестатистический пользователь старается хранить свои файлы (музыку, картинки, фильмы, документы) в нескольких папках, которые к тому же расположены в одном месте?
Ответ тоже вполне очевиден: ради контекстного поиска по ключевым словам. Но эта функция сносно работает только в Windows 10/8.1, уже в «семёрке» она реализована настолько неудачно, что смысла использования такого поиска уже не будет.
Но если в ваших пользовательских папках файлов очень много, то можно включить индексирование только для этих папок. Нагрузка на процессор будет намного меньше, а поиск – быстрее.
Как видим, нюансы есть, и их много. Давайте резюмируем достоинства и недостатки использования этой функции.
2. Как закрыть сайт от индексации
Я уже упомянула, что полностью запретить индексацию сайта можно тремя способами. Теперь предлагаю рассмотреть каждый из них отдельно.
2.1. Robots.txt
Файл robots.txt позволяет запретить индексацию страниц, разделов или всего сайта. Используйте директиву Disallow в качестве команды для поисковых роботов. Если нужно закрыть весь сайт от всех роботов, пропишите в файле robots.txt:
Для обращения к конкретному роботу вместо «*» используйте его название. Например, если нужно закрыть сайт от Яндекс, впишите в robots.txt:
Если требуется закрыть от индексации всеми роботами определённые разделы, укажите их после директивы Disallow. Для каждого типа контента используйте отдельную директиву. Пример:
Многие SEO-оптимизаторы отмечают, что Google часто игнорирует директиву Disallow и продолжает индексировать все страницы сайта. Проверить это можно в Google Search Console.
Если страница закрыта от индекса в robots.txt, но это не указано в панели вебмастеров, скорее всего, Google-бот продолжит индексировать эту страницу.
Для проверки в Яндекс.Вебмастер перейдите в раздел «Индексирование».
Если директива Disallow в robots.txt не помогает закрыть страницу от индексации, используйте следующий метод.
2.2. Метатег Robots
Этим способом можно предотвратить сканирование роботами контента. С его помощью можно также закрыть текст от индексации. Это необходимо, когда страницу нужно проиндексировать за исключением отрывка текста. Для этого добавьте в раздел <head> страницы строку кода:
Чтобы скрыть ссылку от поисковиков, используйте nofollow:
Использование метатега не гарантирует полное закрытие сайта от индексации. После редактирования кода проверьте количество проиндексированных страниц через панели вебмастеров. Если ничего не изменилось — попробуйте дополнительно закрыть сайт от всех роботов в файле .htaccess. Он доступен через админ-панель на хостинге. В открытом файле последними строками пропишите команды:
Если и этот вариант не помогает, используйте метод серверного заголовка, описанный в следующем пункте.
2.3. X-Robots-Tag
Использование HTTP-заголовка на уровне сервера также является хорошим способом запретить поисковикам индексировать определённый контент на сайте. Реализовать это можно двумя способами: через PHP и .htaccess. Второй вариант более удобный, так как не нужно вносить правки в код PHP. Откройте файл .htaccess и пропишите строки в конец документа:
Так вы закроете от индексации все файлы в формате html через директиву FilesMatch. Таким же образом можно закрыть от индексации, например, картинки в форматах .png, .jpeg, .jpg, .gif.
С помощью X-Robots-Tag можно закрыть от индексации медиа-контент, скрипты и другие файлы. Для этого нужно указать их формат после директивы FilesMatch в первой строке заголовка.
Большинство директив, которые можно использовать в X-Robots-Tag, совпадают с директивами Robots.
Файл .htaccess позволяет закрыть от индексации статические страницы. Запрет индексации динамически формируемого контента возможен только через PHP. Для этого необходимо редактировать файл index.php, который находится в корне сайта. Откройте код и добавьте в любое место раздела <head> строку:
И проверьте работоспособность серверного заголовка. Это можно сделать при помощи онлайн-инструментов. Например, Askapache. Введите нужную страницу и запустите проверку.
Подключённый заголовок выглядит так:
Проверить код ответа сервера можно и через Яндекс.Вебмастер. Активный X-Robots-Tag отобразится в списке всех заголовков ответа сервера.
Как ускорить появления площадки в выдаче поисковиков
Ниже приведены ряд правил, которые помогут ускорить появление ресурса в органической выдаче:
- Отправьте страницу на переобход.
- Создайте карту сайта.
- Публикуйте только качественные и проверенные материалы.
- Оставляйте ссылки на ресурс в социальных сетях.
- Максимально ускорьте загрузку сайта.
Помните, что поисковые системы любят пользователей, которые постоянно обновляют контент, добавляют что-то новое и ценное.
Регулярно совершенствующаяся площадка будет чаще сканироваться поисковыми ботами.
Индексация – одно из главных условий успешного существования сайта.
Именно от нее зависит продвижение веб-проекта, а также увеличение естественного трафика.
Главное своевременно найти причину теневого бана и в дальнейшем не допускать его повторения.
Влияет ли прибыль компании на необходимость индексации
Согласно решению ВС РФ коммерческая компания вправе привязать индексацию оплаты труда к своему финансовому состоянию. В этом случае для определения размера повышения зарплаты используются экономические показатели работы субъекта предпринимательства. Например, процент роста доходов и т. п.
Таким образом, если в судебном порядке работодатель может подтвердить тяжелое финансовое состояние и невозможность увеличить зарплату, он освобождается от ответственности. То есть иск, поданный работником, не будет удовлетворен. Подобное решение уже принималось судебными органами Башкортостана. Несмотря на то, что возможность индексации была предусмотрена коллективным договором, суд принял решение о невозможности выплаты из-за тяжелого финансового состояния компании. Эта норма была закреплена в Положении об оплате труда.
Доказательством в этом судебном процессе были отчетные документы, в которых был отражен убыток компании за прошлые отчетные периоды.
Яндекс пока не нашёл ваш сайт
На самом деле робот Яндекса это более современный робот, нежели Гугл-система. У Яндекса существует такое понятие как поведенческий фактор. Взято это было у своих соратников по социальным сетям, ведь именно там распространилось такое явление как – чем больше лайков, тем лучше.
Ходит мнение что Яндекс куда более придирчив чем Гугл собрат. Однако для одних это размышление остаётся верным, а для других картина обстоит ровным счётом – да наоборот. Если бы вы когда нибудь пробовали уже продвигать сайт по Яндексу, то не могли не заметить как на одну статью он набрасывается и ставит в первую строчку Топа, а другую задвигает на крайний план. Это связано с очень тщательной но долгой индексацией. Робот долгий – но верный.
Как улучшить и ускорить процесс индексации?
Узнав перечень непроиндексированных страниц, необходимо разобраться в причинах этого. Прежде всего, стоит проверить качество работы хостинга и самой веб-площадки и убедиться в уникальности размещенных материалов. Далее промониторьте ресурс на наличие контента слишком короткого (до 2 000 символов без пробелов), содержащего более 2-3 ссылок на сторонние ресурсы, либо много Java и Flash ссылок. Все эти факторы в первую очередь могут влиять на то, что ваш материал остается «невидимым» для поисковиков.
Ускорить процесс индексирования сайта можно с помощью:
- частого обновления уникального материала, что очень ценят поисковики;
- грамотной внутренней перелиновки страниц, позволяющей поисковым системам видеть новый и обновлять уже содержащийся в базе контент;
- публикации ссылок на статьи во всех социальных сетях и тематических форумах;
- закупки ссылок с прокачанного аккаунта.
Надеюсь, вы поняли, что быстрая индексация страниц ресурса – основа его продвижения в поисковиках, от которой напрямую зависит ваш потенциальный доход.
Если я глаголил не зря, прошу порекомендовать мою статью в социальных сетях, поспособствовав ее индексации 🙂 На этом прощаюсь и желаю успехов в любом деле!
Телеграм канал блога — t.me/investbro_ru — подписывайтесь!
- .
- Подпишись на мой канал в Телеграме
Более 6 лет изучаю инструменты интернет заработка, создал несколько источников дохода.
Активно инвестирую в различные направления.
На страницах блога помогаю людям становиться финансово грамотными и улучшать качество своей жизни.
