Doğru robots.txt

Fayl robots.txt — bu, əsas fayl, описывающий qaydaları emal səhifələr axtarış robotların. Bu fayl lazım göstəriş üçün əsas adına saytın xəritəsi saytın (sitemap.xml), açıq və qapalı bölmələr sayt.
Fayl robots.txt özündə aşağıdakı direktivləri:

• User-agent — direktiv указывающая üçün hər hansı bir robot aşağıdakı qaydaları
• * - bütün robotlar,
• Yandex — əsas robot Yandeks
• Googlebot — əsas robot Google
• StackRambler — axtarış robotu Рамблер
• Aport — axtarış robotu Апорт
• Slurp — robot Yahoo
• MSNBot — robot MSN
• Disallow — direktiv qadağan site hissələri
• Allow — direktiv icazə site hissələri
• Host — direktiv göstərişlərini əsas adına sayt
• Sitemap— direktiv göstərişlər kart saytının (sitemap.xml)
• Bas-delay — direktiv указывающая neçə saniyə robot cavab gözləyə biləcəyi saytda (lazım ağır yüklənmiş resursları üçün robot deyil bildim ki, sayt əlçatmaz)
• Clean-param — direktiv təsvir dinamik parametrləri təsir saytda məzmunu

Помимо директив в robots.txt используются спец символы:

• * - любай (o cümlədən boş) simvollar ardıcıllığı
• $ — bir məhdudlaşdırılması qaydaları

Tərtibi üçün robots.txt istifadə olunur yuxarıda direktivləri və спет simvol üzrə növbəti prinsipi:

• Adı göstərilir robot onun üçün yazılır siyahısı qaydaları
  (User-agent: * - qayda üçün bütün robotlar)
• Yazılır siyahısı qadağan olunmuş bölmələr üçün saytın göstərilən robot
  ( Disallow: / - qadağa indeksasiyası bütün sayt)
• Yazılır siyahısı icazə saytın bölmələri
  (Allow: /home/ — həll bölmə home)
• Göstərilir ki, saytın adı
  (Host: crazysquirrel.ru — əsas sayt adı crazysquirrel.ru)
• Göstərilir mütləq yol fayl sitemap.xml
  (Sitemap: https:// crazysquirrel.ru/sitemap.xml)

Əgər saytda yoxdur qadağan olunmuş bölmələr, robots.txt ibarət olmalıdır, ən azı, 4 xətləri:

Yoxlamaq robots.txt və onda ki, o, necə təsir индексацию saytın köməyi ilə mümkündür alətləri Yandex