Що таке robots.txt?

Що таке robots.txt?

Сьогодні поговоримо про те, що таке robots.txt та навіщо цей файл потрібен. Для створення цього відеоуроку було в основному використано матеріал з посту на zero.if.ua

Рівень: початківець
Тривалість: 05 хв 45 с

Відео на YouTube можна дивитись у HD якості. Як саме.

Також можна завантажити це відео з YouTube.com на власний комп’ютер. Як завантажити відео з YouTube.com на власний ПК

crawlers

Нотатки до відеоуроку:

robots.txt – це файл обмеження доступу роботів до вмісту на http-сервері. Інакше кажучи, цей файл вказує, які файли індексувати, а які – ні.
Пошукові роботи (crawlers) перед тим, як почати індексацію сайту, перевіряють, чи є у ньому файл robots.txt. Знайшовши цей файл, роботи поводяться відповідно до вказівок (директив) у цьому файлі.
Файл повинен перебувати у корені сайту. При наявності декількох субдоменів файл повинен розташовуватися в кореневому каталозі кожного з них.
До речі, використання файлу robots.txt є добровільним. На maque.org.ua я його до цих пір не використовую, але збираюсь це робити.

Що таке robots.txt?

Принагідно зазначу, що файл robots.txt може використовуватися для вказівки розташування файлу Sitemaps. Наприклад, http://www.bbc.co.uk/robots.txt.

Схожі записи:

1.Дримвівер – відеоурок №27 Метадані

Корисні посилання:

1.Що таке robots.txt?
2.Robots.txt для WP
3.Robots.txt или Кое что о роботах
4.Улучшаем индексацию сайта поисковиками — Robots.txt
5.Robots.txt для блога на WordPress

Що таке robots.txt?

Англомовне та російськомовне Ютюб видиво про robots.txt

1.Web Design Tutorial – robots txt file
2.Search Engine Optimization – Robots.txt files
3. SEO: Что такое Robots.txt?


Continue Reading