Заработок в youtube видеокурс

А теперь расскажу по порядку, какие строки за что отвечают. Как выбрать робота, к которому вы обращаетесь? User-agent — это обращение к определенному поисковому роботу. Итак, заработок в youtube видеокурс роботу мы обратились, теперь надо дать ему команду.

Disallow: — запрет на индексацию раздела, страницы, регулярного выражения. Вы говорите роботу: «Вот это не смотри и в поисковую выдачу не добавляй». Нужно для запрета индексации служебных разделов, административной панели и для удаления дублей страниц. Дубли — это одинаковые страницы, доступные по разным адресам. Однако нам обе ссылки не нужны, т.

Allow: — призыв к индексации страниц, разделов, ссылок. Вы говорите роботу: «Это обязательно нужно проиндексировать и добавить в поисковую выдачу! Вы помогаете роботу найти карту сайта, которая отражает структуру материалов у вас на сайте. Внимание: убедитесь, что у вас установлен плагин карты сайта и что по указанному адресу действительно открывается карта сайта! Чтобы вручную не прописывать сотни ссылок для запрета или разрешения индексации можно применить регулярные выражения, которые значительно упростят вашу работу. Звездочка обозначает подстановку любой части url. Таким образом, приведенная директива запрещает индексацию всех ссылок, содержащих часть «category».