Домівка > How to (як зробити?), Magento, Workhack > Оптимізуємо robots.txt для Magento

Оптимізуємо robots.txt для Magento

magento-robots-txt

Robots.txt (“robots dot txt”) – це текстовий файл, який допомагає роботам пошукових систем (таким як Google bot та Bing бот) зрозуміти, яку інформацію індексувати. Детально про robots.txt можна прочитати на www.robotstxt.org. Magento Community та Magento Enterprise за замовчуванням не мають robots.txt, тому ви повинні створити його самостійно.

Як robots.txt покращить роботу вашого магазину на Magento?

Це тільки основні випадки в яких robots.txt принесе користь.

  • robots.txt допоможуть уникнути дублювання контенту. (Це дуже важливо для СЕО).
  • він сховає технічну інформацію від випадкового індексування пошуковими системами (Error логи, репорти, .SVN файли та ін.).

Встановлення robots.txt

Нотатка: файл robots.txt покриває лише один домен. Для Magento сайтів, які мають декілька магазинів (наприклад store.example.com і example.com) вам потрібно створити окремі robots.txt.

Встановлення неймовірно просте. Копіюєте текст з цього блогу і зберігаєте його в файл з ім’ям robots і форматом .txt. Після цього заливаєте його в кореневу директорію вашого сайту (наприклад example.com/robots.txt).

Якщо ви заллєте його в будь-яку під-директорію (наприклад example.com/seo/robots.txt) то пошукові роботи проігнорують цей файл.

Robots.txt для Magento

Ось рекомендований robots.txt для Magento. Перед публікацією цього файлу уважно прочитайте коментарі з #

## robots.txt для Magento Community та Enterprise

## ЗАГАЛЬНІ НАЛАШТУВАННЯ

## Вмикає правила robots.txt для всіх кравлерів
User-agent: *

## Crawl-delay параметр: кількість секунд, які потрібно чекати між успішними запитами до того самого серверу.
## Встановіть власний crawl rate, якщо у вашого сервера проблеми з трафіком.
# Crawl-delay: 30

## Magento sitemap: відкоментуйте і замініть на URL до вашого sitemap файлу в Magento
# Sitemap: http://www.example.com/sitemap/sitemap.xml

## НАЛАШТУВАНЯ, ЯКІ ВІДНОСЯТЬСЯ ДО СТАДІЇ РОЗРОБКИ

## Не дозволяє індексувати файли та папки, які потрібні під час розробки: CVS, svn директорії і dump файли
Disallow: /CVS
Disallow: /*.svn$
Disallow: /*.idea$
Disallow: /*.sql$
Disallow: /*.tgz$

## ЗАГАЛЬНІ НАЛАШТУВАННЯ MAGENTO

## Не індексувати сторінку Magento admin
Disallow: /admin/

## Не індексувати загальні технічні директорії Magento
Disallow: /app/
Disallow: /downloader/
Disallow: /errors/
Disallow: /includes/
Disallow: /lib/
Disallow: /pkginfo/
Disallow: /shell/
Disallow: /var/

## Не індексувати загальні файли Magento
Disallow: /api.php
Disallow: /cron.php
Disallow: /cron.sh
Disallow: /error_log
Disallow: /get.php
Disallow: /install.php
Disallow: /LICENSE.html
Disallow: /LICENSE.txt
Disallow: /LICENSE_AFL.txt
Disallow: /README.txt
Disallow: /RELEASE_NOTES.txt

## MAGENTO СЕО ВДОСКОНАЛЕННЯ

## Не індексувати сторінки підкатегорій, які є посортованими або відфільтрованими.
Disallow: /*?dir*
Disallow: /*?dir=desc
Disallow: /*?dir=asc
Disallow: /*?limit=all
Disallow: /*?mode*

## Не індексувати другу копію home page (example.com/index.php/). Відкоментувати тільки якщо ви активували Magento SEO URLs.
## Disallow: /index.php/

## Не індексувати посилання з ID сесії
Disallow: /*?SID=

## Не індексувати сторінки checkout та account користувача
Disallow: /checkout/
Disallow: /onestepcheckout/
Disallow: /customer/
Disallow: /customer/account/
Disallow: /customer/account/login/

## Не індексувати сторінки пошуку та СЕО-неоптимізовані посилання категорій
Disallow: /catalogsearch/
Disallow: /catalog/product_compare/
Disallow: /catalog/category/view/
Disallow: /catalog/product/view/

## НАЛАШТУВАННЯ СЕРВЕРА

## Не індексувати загальні технічні директорії та файли на сервері
Disallow: /cgi-bin/
Disallow: /cleanup.php
Disallow: /apc.php
Disallow: /memcache.php
Disallow: /phpinfo.php

## НАЛАШТУВАННЯ ІНДЕКСАЦІЇ МАЛЮНКІВ

## Додатково: Відкоментуйте якщо ви не бажаєте щоб Google та Bing індексували ваші малюнки
# User-agent: Googlebot-Image
# Disallow: /
# User-agent: msnbot-media
# Disallow: /

Перевірте ваш robots.txt

Після того, як ви створили свій robots.txt файл, ви можете перевірити його синтаксис на одному з цих сервісів.


Сподобалася стаття? Підпишись на RSS або на e-mail розсилку. А ще приєднуйся до нас у Твітері @magentoua.

Вам також буде цікаво прочитати:

Advertisements
  1. Грудень 11, 2013 о 14:57

    чому так рідко пишеш?
    чи тiльки дiйшов до robots.txt?

  2. Грудень 21, 2013 о 12:54

    Останнім часом менше працюю з Magento. Змінив спеціалізацію і на Magento майже немає часу.

  3. Artem
    Червень 6, 2014 о 10:38

    Disallow: /*?mode* – что делает /?mode на сайте? когда активируется этот параметр?

    • Червень 11, 2014 о 10:53

      Це щоб не індексувалася та сама категорія в різних модах “List” і “Grid”
      yourmagestore.com/category?mode=list
      yourmagestore.com/category?mode=grid

  1. Липень 26, 2013 о 23:12

Залишити відповідь

Заповніть поля нижче або авторизуйтесь клікнувши по іконці

Лого WordPress.com

Ви коментуєте, використовуючи свій обліковий запис WordPress.com. Log Out / Змінити )

Twitter picture

Ви коментуєте, використовуючи свій обліковий запис Twitter. Log Out / Змінити )

Facebook photo

Ви коментуєте, використовуючи свій обліковий запис Facebook. Log Out / Змінити )

Google+ photo

Ви коментуєте, використовуючи свій обліковий запис Google+. Log Out / Змінити )

З’єднання з %s

%d блогерам подобається це: