Robots.txt Запрещает может навредить SEO больше, чем помочь

  1. Сканировано и проиндексировано - это две разные вещи
  2. Что делать, если ваши заблокированные URL проиндексированы
  3. Другие удивительные способы индексации вашего URL
  4. Не блокируйте файлы Javascript и другие ресурсы с помощью robots.txt, запрещающего
  5. Когда использовать robots.txt запрещает
  6. Используйте robots.txt запретить экономно

Почему мой сайт не входит в рейтинг !!!

«Вы должны мне помочь, мой новый сайт нигде не показывается. Почему Google игнорирует меня? »

Я посмотрел и убедился, что файл robots.txt сайта был настроен так, чтобы запретить Google и другим поисковым системам сканировать весь сайт. К счастью, исправить это было легко. Я изменил файл из этого:
Пользователь-агент: *
Disallow: /
К этому:
Пользователь-агент: *
Disallow:
Задача решена.
(Вы также можете просто удалить файл.)

Я мог бы выйти на конечность здесь, но я видел больше проблем, вызванных неправильным использованием файла robots.txt, чем решено.

Одно из больших заблуждений о запретных директивах robots.txt заключается в том, что они являются надежным способом защиты страниц от индекса Google. Мало того, что это не так, но когда страницы индексируются - они индексируются практически без информации, добавляя в индекс много низкокачественного, почти дублирующего контента, что может снизить эффективность SEO вашего сайта.

Файл robots.txt существует уже много лет. В те первые дни пропускная способность была более ценной, и робот Google часто облагал налогом серверы, даже сбивая их, когда сканировал сайт. Поэтому использование директивы disallow для предотвращения сканирования Google страницами часто помогало поддерживать работу сайта. Эти проблемы являются далекой памятью сегодня.

Сканировано и проиндексировано - это две разные вещи

Когда вы добавляете директиву disallow в свой файл robots.txt, вы говорите роботу Googlebot и другим поисковым роботам не сканировать эту страницу или страницы в этом каталоге. Например, когда я изначально писал этот пост, мой robots.txt включает в себя:
Disallow: / wp-admin
Disallow: / *?

Первая директива запрещает любой URL-адрес, начинающийся с sitename.com / wp-admin, включая все, что находится в каталоге / wp-admin /. Второй запрещает любые URL, в которых есть знак вопроса (полезно, чтобы избежать сканирования исходной структуры? P = permalink). Одно из лучших объяснений различных шаблонов, которые вы можете использовать в robots.txt для разрешений и запрещений, можно найти в Информация для разработчиков Google на robots.txt ,

Но сообщение Google и другим ботам о том, что они не могут сканировать страницу, не обязательно мешает им проиндексировать страницу. Не сканировать и не индексировать это две разные вещи. Первое означает, что паук не будет посещать страницу вообще, второе означает, что Google или Bing не сделают страницу доступной в результатах поиска.

Это когда мы сталкиваемся с проблемами.

Тот факт, что ваш robots.txt предотвращает посещение страницы пауком, не означает, что Google или Bing не знают об этом. Поисковые системы могут узнавать о странице с внешних сайтов, ссылающихся на страницу, и даже с ваших внутренних ссылок (особенно если ссылка не имеет тега rel nofollow). Google, в частности, является маленьким жадным монстром и жадно индексирует все, на что ссылается - даже если он не может сканировать страницу. Таким образом, вы получите ссылки в индексе Google, в которых есть URL (а не заголовок страницы, потому что Google его не видит!) И фрагмент, который говорит следующее:

Описание этого результата недоступно из-за robots.txt этого сайта - узнайте больше.

Вы не хотите много из них в индексе Google.

Что делать, если ваши заблокированные URL проиндексированы

У вас есть три способа получить URL из индекса Google.

  1. Часто лучший способ - это добавить мета роботы noindex тег в раздел заголовка HTML вашей страницы. Это говорит паукам не помещать URL в их индекс. ВАЖНО: паук должен увидеть метку, чтобы обработать «noindex». Таким образом, вы ДОЛЖНЫ удалить директиву disallow из вашего файла robots.txt, чтобы позволить пауку попасть на страницу, чтобы он понимал, что должен удалить URL из индекса.
  2. Если страница была удалена, удалите запрет и позвольте роботу Googlebot и другим поисковым роботам сканировать и увидеть 404 (еще лучше использовать 410). Это не вредно, если на вашем сайте есть страницы Not Found или Gone, особенно если это страницы низкого качества. Это в конечном итоге выпадет из индекса.
  3. Другой способ - использовать инструмент удаления URL-адресов Google в своей учетной записи Инструментов Google для веб-мастеров (в Bing Webmasters также есть инструмент для удаления). При таком подходе вы хотите сохранить запрет на месте, так как это является требованием для удаления. Обратите внимание, что были некоторые сообщения о повторном появлении URL-адресов в индексе после 90-дневного периода, поэтому пробег может отличаться.

Другие удивительные способы индексации вашего URL

Входящие ссылки на страницу могут быть не единственным способом индексации URL, заблокированного robots.txt. Вот несколько удивительных:

Я также удалил бы любой Adsense на странице, которую вы намереваетесь исключить из индекса Google. У меня нет никаких доказательств того, что Google Adsense вызывает индексацию страницы, но я все равно удалил бы ее.

Не блокируйте файлы Javascript и другие ресурсы с помощью robots.txt, запрещающего

Раньше общепринятой практикой было использование robots.txt, запрещающего держать веб-сканеры вдали от файлов, отличных от HTML, таких как CSS, Javascript и файлы изображений. Однако 27 октября 2014 года Google обновил свое Техническое руководство для веб-мастеров, чтобы рекомендовать против этой практики, поскольку ее система индексации теперь больше похожа на современный браузер. в Октябрьское объявление Google заявляет: запрет на сканирование файлов Javascript или CSS в файле robots.txt вашего сайта напрямую влияет на то, насколько хорошо наши алгоритмы отображают и индексируют ваш контент, и может привести к неоптимальному ранжированию.

В консоли поиска Google (ранее известной как Инструменты Google для веб-мастеров) вы можете выбрать «Блокировать ресурсы» в разделе сканирования Google, чтобы дважды убедиться, что вы не блокируете ничего, что Google считает важным.

Когда использовать robots.txt запрещает

Я могу придумать два сценария, в которых запрет robots.txt по-прежнему полезен:

  1. Вы хотите быстро удалить сайт или раздел сайта: гораздо быстрее использовать запрет robots.txt и функцию удаления URL-адреса консоли поиска Google для удаления сайта или раздела сайта из индекса Google; чем добавление мета-робота noindex-тэга и ожидание того, что робот Google перемотает страницы и прислушается к noindex. У меня был клиент, который был поражен Пандой. Мы обнаружили, что у них был раздел их сайта, который в основном дублировался в их портфеле сайтов, когда мы удалили этот раздел из индекса Google с помощью запрета robot.txt и URL-адреса GSC Remove, трафик их сайтов восстановился в течение месяца. Другой распространенный сценарий - обнаружение того, что промежуточный сайт или сайт разработки проиндексирован (часто это поддомен), и его необходимо удалить из результатов поиска Google.
  2. Вы хотите сохранить свою пропускную способность. Обычный сценарий, который я вижу, это сайты, которые создают отдельный URL-адрес «обратного пути» каждый раз, когда пользователь нажимает на ссылку «Вход» для исходной страницы, на которой есть ссылка. Обычно я бы посоветовал просто добавить мета-роботы noindex на эту страницу входа (и все варианты), однако возможная проблема заключается в том, что сканирование этих страниц приводит к потере пропускной способности сканирования роботом Googlebot, выделенной вашему сайту. Я по-прежнему считаю, что мета-роботы noindex-тег - это путь, однако на больших сложных сайтах можно иметь фильтры и параметры, которые создают бесконечное количество страниц, которые робот Googlebot не должен сканировать. Запрет robots.txt может быть уместным в некоторых из этих случаев.

Также обновления файла robots.txt не обрабатываются мгновенно. Я видел случаи, когда Google сканировал несколько URL-адресов перед обработкой запретов. Поэтому добавьте свои запреты как минимум за 24 часа.

С помощью функции удаления URL-адресов консоли поиска Google вы можете удалить страницу, подпапку или весь сайт из индекса Google; пока сайт заблокирован файлом robots.txt или страница возвращает код состояния HTTP 404 Not Found. Вам необходимо иметь права администратора для отправки запросов на удаление. И имейте в виду, что удаление может быть временным. Дополнительную информацию о функции удаления URL можно найти Вот ,

Используйте robots.txt запретить экономно

Файл robots.txt устарел, и его полезность уменьшилась. Да, есть еще сценарии, в которых запреты полезны, но ими часто злоупотребляют.

Этот пост был первоначально опубликован 10 сентября 2012 года и обновлен 26 мая 2016 года.

Robots.tx документация

Изображение паука любезно предоставлено openclipart.org

Похожие

SEO
SEO или «поисковая оптимизация» - это термин, который широко используется и становится вопросом для веб-сайтов или интернет-магазинов. Вообще говоря, это позиционирование веб-страницы, и, естественно, все пытаются показать себя впереди. Для сайта, который действительно хорошо позиционирован и оптимизирован,
Аутсорсинг SEO
Аутсорсинг SEO сервисов для повышения вашего рейтинга в поисковых системах в различных поисковых системах, таких как Google, Yahoo, Bing. Мы поможем вам сделать ваш сайт живым и прибыльным с помощью гарантированных услуг SEO сайта. Наш гарантированный SEO-сервис - это олицетворение нашего опыта и уверенности в нашей способности высоко оценивать сайты в различных основных поисковых системах. Наш профессиональный эксперт по SEO предоставляет лучшие и доступные профессиональные услуги по поисковой
Видео SEO
Видео, которые вы размещаете на своем сайте, можно классифицировать для отображения в результатах обычного поиска. Обладая базовыми знаниями о SEO-видео, пользователи могут находить ваши видео в результатах поиска и привлекать внимание к содержанию ваших видео. Видео с сайта www.leanwithluke.co.uk было классифицировано
SEO консультант
... URL. Используйте ключевое слово в теге заголовка. При этом ключевое слово будет помещено в строку заголовка и результаты поиска. Попробуйте использовать ключевое слово в заголовочных тегах (H1 –H6). Ключевое слово должно использоваться в первом предложении содержания. Плотность ключевых слов должна быть не более 3%. Используйте изображение с ключевым словом в качестве альтернативного текста. Поместите ключевые слова в метатеги
Русский SEO
В ExtraDigital мы имеем большой опыт работы с Яндексом, который является ведущей поисковой системой в России и на других рынках кириллицы. Яндекс - лучшая SEO-платформа для любого российского бизнеса, и в ExtraDigital мы знаем, как сделать ваш сайт видимым в Яндексе! Мы обладаем огромным опытом и знаниями в области SEO и маркетинга в России, чтобы помочь вам и вашей организации развиваться.
SEO копирайтинг
Последнее обновление: 28 февраля 2019 года в 11:26 В чем разница между SEO копирайтингом и копирайтингом? Есть ли разница в Стратегия содержания ? Разница в стиле письма? Где
SEO отчеты
SEO-отчет предоставит неоценимую информацию о вашем текущем веб-сайте, вашем онлайн-бизнесе, ваших клиентах и ​​поможет определить стратегию, которая
Унамо | SEO Советы
... запрещаете ползать все Disallow: Вы позволяете сканеру сканировать все Disallow: / xyz / Вы запрещаете сканирование папки / xyz / Disallow: / XYZ Вы запрещаете сканирование папки, которая начинается с букв «xyz», поэтому это могут быть / xyz /, / xyzabc /, / xyzabc_photo / etc Disallow: /.xyz Вы запрещаете сканирование папок,
SEO Компания Великобритания - Position1SEO
SEO-компания в Великобритании может не подойти вам, когда вы впервые строите свой бизнес в Интернете. Фактически, многие люди думают, что все, что им нужно сделать, - это создать веб-сайт, и клиенты придут к ним. К сожалению, это не случай. Рассмотрим обширность интернета и количество предприятий
Поисковая оптимизация (SEO)
Что такое поисковая оптимизация (SEO)? В буквальном переводе поисковая оптимизация (SEO) означает «поисковая оптимизация». Поисковая оптимизация включает в себя ряд действий, которые выполняются для более высокой оценки в результатах поиска поисковой системы, например Google. Мы называем эти результаты органическими результатами поиска. Кроме того, можно вводить
SEO пакеты 2019 - многоязычные SEO пакеты
Поисковая оптимизация (SEO) имеет жизненно важное значение для расширения вашего онлайн-бизнеса. Это означает, что вам нужно получить лучшие услуги SEO по правильным ценам, которые привлекают большинство клиентов по самым низким ценам. Вы можете начать с расширения клиентской базы и увеличения продаж, приобретая экономичные пакеты SEO. Различные типы представленных SEO-пакетов основаны на количестве ключевых слов и ключевых фраз, для которых будет оптимизирован ваш сайт, и первых страницах

Комментарии

Как испанский SEO может помочь привлечь больше целевого трафика, больше клиентов и, в конечном итоге, больше доходов?
Как испанский SEO может помочь привлечь больше целевого трафика, больше клиентов и, в конечном итоге, больше доходов? Испанский SEO помогает поисковым системам найти ваш испанский контент - больше видимости ваших испанских страниц в поисковых системах США. Испанский SEO помогает вам генерировать трафик от латиноамериканцев в вашем местном сообществе - думайте об этом как о дополнительном источнике трафика. Испанский SEO позволяет вам проникнуть на латиноамериканский
Вам нужно больше доказательств того, что SEO Какой путь идти, когда дело доходит до повышения популярности вашего сайта и вашего бренда?
Как испанский SEO может помочь привлечь больше целевого трафика, больше клиентов и, в конечном итоге, больше доходов? Испанский SEO помогает поисковым системам найти ваш испанский контент - больше видимости ваших испанских страниц в поисковых системах США. Испанский SEO помогает вам генерировать трафик от латиноамериканцев в вашем местном сообществе - думайте об этом как о дополнительном источнике трафика. Испанский SEO позволяет вам проникнуть на латиноамериканский
Нет больше бесконечных технических документов, когда все, что вы действительно хотите знать, это то, можете ли вы позволить себе поисковую оптимизацию, и если ваши инвестиции окупятся?
Нет больше бесконечных технических документов, когда все, что вы действительно хотите знать, это то, можете ли вы позволить себе поисковую оптимизацию, и если ваши инвестиции окупятся? Никогда больше вас не заставят чувствовать, что вы тратите недостаточно или не можете позволить себе эффективный план SEO в вашем размере. Узнайте больше о SEO Google +
Это страх, разделяемый многими отелями, что если я плачу за услуги SEO, и это не работает?
Это страх, разделяемый многими отелями, что если я плачу за услуги SEO, и это не работает? Компании, которые предлагают услуги SEO, не являются волшебниками, но у них есть опыт, как продвигать лучшую ногу вашего отеля в Интернете, чтобы он занимал надлежащее место. Чтобы убедиться, что ваш провайдер SEO - это подходящая команда, которая поможет вам улучшить рейтинг вашего отеля, подумайте, предоставляют ли они эти важные части SEO. Хороший SEO должен: Рекомендовать
Но что может быть лучше, чем официальное видео, чтобы объяснить, что такое веб-позиционирование?
Но что может быть лучше, чем официальное видео, чтобы объяснить, что такое веб-позиционирование? Как мы начнем с веб-позиционирования моей компании? Мы выполняем предварительный анализ, чтобы начать работу над тем, как вы относитесь к своим конкурентам, по фразам, которые вас больше всего интересуют, и получите позиционирование в Интернете с учетом вашего бюджета. Сначала вы должны определить стратегию, фразы, которые генерируют больше трафика и имеют
Что делать, если ваши конкуренты также близки к исследователю?
Что делать, если ваши конкуренты также близки к исследователю? Хорошо работайте над тегами H1 - H2 и H3, Meta Description, URL, Title и используйте варианты. Баианская еда рядом со мной сейчас (около мин) Еда Минасира рядом со мной сейчас (около мин) кофе рядом со мной сейчас (около мин) пицца рядом со мной сейчас (около мин) суши рядом со мной сейчас (около мин) 4. Используйте и злоупотребляйте местными каталогами, которые имеют хорошие
Итак, если они не поддерживают Flash на мобильных устройствах или на платформе PPC, как долго это может повредить вашему SEO?
Итак, если они не поддерживают Flash на мобильных устройствах или на платформе PPC, как долго это может повредить вашему SEO? Google уже начал определять, использует ли сайт Flash на страницах результатов поисковой системы (SERPS), и рано или поздно мы ожидаем, что сайты, использующие Flash в любой форме, будь то реклама, слайдеры или просто забавные анимации, начнут опускаться в результатах поиска. по сравнению с конкурентами без Flash. Итак, как вы защищаетесь
И это имеет смысл в местном SEO, если вы занимаетесь бизнесом в определенном городе и не продаете онлайн, не так ли?
И это имеет смысл в местном SEO, если вы занимаетесь бизнесом в определенном городе и не продаете онлайн, не так ли? С другой стороны, есть обогащенные форматы , вот тест: Как видите, это не больше и не меньше, чем дополнительная информация в поисковой системе, будь то звезды, калории,
Если вы можете проверить различные факторы ранжирования SEO вашего сайта прямо из источника, который устанавливает правила, почему бы вам не сделать это?
Если вы можете проверить различные факторы ранжирования SEO вашего сайта прямо из источника, который устанавливает правила, почему бы вам не сделать это? Вот некоторые из самых полезных бесплатных инструментов, которые Google предоставляет пользователям в надежде улучшить SEO: Google Analytics : вот мои фото для самых полезных Google Analytics SEO панели , Я также использую
SEO Agency Rome: чем может помочь исследование ключевых слов?
SEO Agency Rome: чем может помочь исследование ключевых слов? Насколько хороши первые в Google ключевые слова ... какие ключевые слова? Вопрос, но это поисковый запрос от того, сколько людей набрано в Google? Это приносит вам трафик и контакты? Одна из проблем, с которой часто сталкиваются наши SEO-консультанты на сайтах с плохим рейтингом и плохими результатами для компаний и фрилансеров, связана с тем, что предварительное изучение ключевых слов с более высоким ежемесячным
Но, может быть, это предубеждение, может, действительно богатые люди не хвастаются своим богатством?
Но, может быть, это предубеждение, может, действительно богатые люди не хвастаются своим богатством? У нее аура класса. Ву-Джин ведет Умму домой. ——- dramamilk.com ——- # 3 Дж. Х. пытается позвонить Ву Джин, но она не берет трубку, и Умма жалуется, что Ву Джин постоянно заставляет ее оставаться дома. Он благодарит ее за анчоусы, которые заставляют ее смеяться, и говорит, что она пожарит ее в любое время. Но потом она вспоминает, что трудно жить с Ву Джином. Она знает.

Почему Google игнорирует меня?
Полезно, чтобы избежать сканирования исходной структуры?
Есть ли разница в Стратегия содержания ?
Разница в стиле письма?
Как испанский SEO может помочь привлечь больше целевого трафика, больше клиентов и, в конечном итоге, больше доходов?
Как испанский SEO может помочь привлечь больше целевого трафика, больше клиентов и, в конечном итоге, больше доходов?
Нет больше бесконечных технических документов, когда все, что вы действительно хотите знать, это то, можете ли вы позволить себе поисковую оптимизацию, и если ваши инвестиции окупятся?
Это страх, разделяемый многими отелями, что если я плачу за услуги SEO, и это не работает?
Но что может быть лучше, чем официальное видео, чтобы объяснить, что такое веб-позиционирование?
Как мы начнем с веб-позиционирования моей компании?

ГОРЯЧАЯ ЛИНИЯ

(062) 348 60 00
(095) 210 57 42

Дед Мороз в офис Донецк

Дед Мороз на детском утреннике Донецк

Дед Мороз на дом Донецк

Новости

Телеканал Юнион в гостях у Морозко

Последние записи