Как заставить wprabber игнорировать robots.txt

В этой ветке создаем темы по настройке лент WPGrabber.

Модератор: Admin

wptolik
Сообщения: 2
Зарегистрирован: 15 май 2016, 12:06

Как заставить wprabber игнорировать robots.txt

Сообщение wptolik » 15 май 2016, 13:12

Здравствуйте, не получается настроить ленту, в роботсе сайта прописано много запрещающих директив:
User-agent: grub-client
Disallow: /

User-agent: grub
Disallow: /

User-agent: looksmart
Disallow: /

User-agent: WebZip
Disallow: /

User-agent: larbin
Disallow: /

User-agent: b2w/0.1
Disallow: /

User-agent: psbot
Disallow: /

...и т.д.
Как заставить wprabber игнорировать robots.txt
Заранее благодарен

denya090
Участник
Сообщения: 20
Зарегистрирован: 13 дек 2015, 10:29

Re: Как заставить wprabber игнорировать robots.txt

Сообщение denya090 » 15 май 2016, 19:06

Хм... а при чем вообще этот файл? Он же используется только для работы с поисковыми роботами и запрет или открытие индексации ваших страниц. При чем он до грабера?
Вам скорее нужен файл .htaccess, и то я сомневаюсь, что в нем можно запретить данный плагин.

Цитата из официального определения файла Robots.txt
Robots.txt — это текстовый файл, суть которого заключается в ограничении доступа роботов поисковых систем к разделам и страницам нашего интернет-ресурса, которые нужно скрыть от индексации и как следствие от посторонних глаз.
И никаких функций других он не может выполнить.

wptolik
Сообщения: 2
Зарегистрирован: 15 май 2016, 12:06

Re: Как заставить wprabber игнорировать robots.txt

Сообщение wptolik » 15 май 2016, 22:13

Возможно я и не прав, у меня опыт не богатый в настройке лент, никак не получается настроить: "Найдено ссылок = 0" Не знаю что и думать..

Аватара пользователя
Admin
Администратор
Сообщения: 578
Зарегистрирован: 22 ноя 2015, 12:18
Откуда: СССР
Благодарил (а): 48 раз
Поблагодарили: 20 раз
Контактная информация:

Re: Как заставить wprabber игнорировать robots.txt

Сообщение Admin » 16 май 2016, 06:11

Вариант один, неправильно настроена лента.
Главная часть любого оружия, есть голова его владельца. Заказ лент WPGrabber

CDLRU
Участник
Сообщения: 13
Зарегистрирован: 11 мар 2016, 14:40

Re: Как заставить wprabber игнорировать robots.txt

Сообщение CDLRU » 05 июн 2016, 00:29

Добрый день.

Похожая проблема - настраивал вчера ленту - работало, закачивал статьи, отлаживал. утром открываю ленту, чтобы доработать и вдруг

Старт процесса импорта...
Импорт ленты: RLSnet А - 21:04:32 2016-06-04
Найдено ссылок: 0

Что могло случиться?

Деактивировал плагин, удалял, переустанавливал... перенастраивал... никак не видит ни одной записи (дошел до того, что в шаблоне ссылки четко прописываю одну из ссылок, которая точно находиться на странице - не видит!)

WPGrabber
Администратор
Сообщения: 135
Зарегистрирован: 24 ноя 2015, 22:09
Откуда: СССР
Благодарил (а): 4 раза
Поблагодарили: 5 раз
Контактная информация:

Re: Как заставить wprabber игнорировать robots.txt

Сообщение WPGrabber » 05 июн 2016, 06:00

Что за донор?

CDLRU
Участник
Сообщения: 13
Зарегистрирован: 11 мар 2016, 14:40

Re: Как заставить wprabber игнорировать robots.txt

Сообщение CDLRU » 05 июн 2016, 23:40

rlsnet точка ru

WPGrabber
Администратор
Сообщения: 135
Зарегистрирован: 24 ноя 2015, 22:09
Откуда: СССР
Благодарил (а): 4 раза
Поблагодарили: 5 раз
Контактная информация:

Re: Как заставить wprabber игнорировать robots.txt

Сообщение WPGrabber » 06 июн 2016, 03:59

Проверил донора ссылки находит- https://prntscr.com/bctruf

CDLRU
Участник
Сообщения: 13
Зарегистрирован: 11 мар 2016, 14:40

Re: Как заставить wprabber игнорировать robots.txt

Сообщение CDLRU » 06 июн 2016, 19:40

Вот и у меня также было - все нормально,
httpss://yadi.sk/i/a_T5hIonsJ8eL

настройка шла уже деталей (там много чего повырезать надо)
httpss://yadi.sk/i/3q3P1h-IsJ8mr
httpss://yadi.sk/i/LZE1iH2QsJ8rk

Решил на утро оставить... и упс...
и ничего не помогает. и отключал обработку, менял все что угодно. ) ссылок и все.


Что это может быть?

WPGrabber
Администратор
Сообщения: 135
Зарегистрирован: 24 ноя 2015, 22:09
Откуда: СССР
Благодарил (а): 4 раза
Поблагодарили: 5 раз
Контактная информация:

Re: Как заставить wprabber игнорировать robots.txt

Сообщение WPGrabber » 06 июн 2016, 20:50

Для начала отключите дополнительные шаблоны обработки и внимательно перепроверьте все настройки на вкладке Основные - httpss://yadi.sk/i/a_T5hIonsJ8eL
Не помешает прочесть - httpss://ru.wikipedia.org/wiki/Регулярны ... 0.B8.D1.81

CDLRU
Участник
Сообщения: 13
Зарегистрирован: 11 мар 2016, 14:40

Re: Как заставить wprabber игнорировать robots.txt

Сообщение CDLRU » 06 июн 2016, 22:34

В том то и дело - вечером работало, закрыл комп, открыл утром и ... не работает.
отключал обработку вообще, пускал поиск конкретной статьи (вообще без регулярных выражений), пробовал все режимы, все кодировки, даже пытался с сайтмапа напрямую тащить, деактивировал-активировал, деинсталировал/инсталировал, пробовал с других йп, деинсталировал/инсталировал... вроде все танцы с бубнами проделал какие придумал...

результат - 0

CDLRU
Участник
Сообщения: 13
Зарегистрирован: 11 мар 2016, 14:40

Re: Как заставить wprabber игнорировать robots.txt

Сообщение CDLRU » 06 июн 2016, 22:35

более того - могу вам дать доступ к админке вордпресса - сами можете попробовать.

загадка...

WPGrabber
Администратор
Сообщения: 135
Зарегистрирован: 24 ноя 2015, 22:09
Откуда: СССР
Благодарил (а): 4 раза
Поблагодарили: 5 раз
Контактная информация:

Re: Как заставить wprabber игнорировать robots.txt

Сообщение WPGrabber » 07 июн 2016, 06:25

Доступ не нужен - лишнее. Я вам не зря написал и дал соответствующие ссылки - viewtopic.php?f=5&t=53&p=378#p376
Можете сделать проще - удалите вашу ленту и настройте с нуля. Будьте внимательнее с настройками на вкладке Основные - это как ни банально звучит, основа любой ленты.

CDLRU
Участник
Сообщения: 13
Зарегистрирован: 11 мар 2016, 14:40

Re: Как заставить wprabber игнорировать robots.txt

Сообщение CDLRU » 07 июн 2016, 18:55

Все сделал как вы написали. Не получается.

Пошел дальше - в шаблон ссылок вписал конкретную ссылку httpss://yadi.sk/i/GyufZGDLsKmuH , которая точно есть на этой странице. Не находит. (перепроверял на других сайтах - такой прием именно эту статью и вылавливает).

Ну не выходит каменный цветок... Куды податься бедному крестьянину? Я готов заказать настройку ленты, только не уверен, что это заработает на моем сайте....

CDLRU
Участник
Сообщения: 13
Зарегистрирован: 11 мар 2016, 14:40

Re: Как заставить wprabber игнорировать robots.txt

Сообщение CDLRU » 07 июн 2016, 19:12

www точка regexr точка com

Для проверки правильности изображения использую этот сервис

WPGrabber
Администратор
Сообщения: 135
Зарегистрирован: 24 ноя 2015, 22:09
Откуда: СССР
Благодарил (а): 4 раза
Поблагодарили: 5 раз
Контактная информация:

Re: Как заставить wprabber игнорировать robots.txt

Сообщение WPGrabber » 08 июн 2016, 05:57

Если вы считаете, что регулярка правильная, то проверяйте другие настройки. Где то закралась, даже не закралась, а вы допустили критическую ошибку. Проверяйте с самого начала.

CDLRU
Участник
Сообщения: 13
Зарегистрирован: 11 мар 2016, 14:40

Re: Как заставить wprabber игнорировать robots.txt

Сообщение CDLRU » 13 июн 2016, 17:22

Все-таки проблема не в регулярке и настройках.

Забанили. Обошли через настройки прокси. Теперь буду аккуратно по немного качать.

WPGrabber
Администратор
Сообщения: 135
Зарегистрирован: 24 ноя 2015, 22:09
Откуда: СССР
Благодарил (а): 4 раза
Поблагодарили: 5 раз
Контактная информация:

Re: Как заставить wprabber игнорировать robots.txt

Сообщение WPGrabber » 13 июн 2016, 17:47

CDLRU писал(а):Все-таки проблема не в регулярке и настройках.

Забанили. Обошли через настройки прокси. Теперь буду аккуратно по немного качать.
В том виде (настройках ленты на скрине) - viewtopic.php?p=387#p380 она не будет работать ни где.

CDLRU
Участник
Сообщения: 13
Зарегистрирован: 11 мар 2016, 14:40

Re: Как заставить wprabber игнорировать robots.txt

Сообщение CDLRU » 13 июн 2016, 17:57

Согласен, ничего качать не будет. но проверить кол-во записей на странице можно (там еще ошибки есть, это был просто показатель, что конкретную строку, которая есть на доноре он не находит). Сейчас, слава богу, все работает, делаю тонкую настройку.

Если соберусь - напишу пост по советам людям (мелкие нюансы, до которых тупо и долго шел)

Аватара пользователя
Admin
Администратор
Сообщения: 578
Зарегистрирован: 22 ноя 2015, 12:18
Откуда: СССР
Благодарил (а): 48 раз
Поблагодарили: 20 раз
Контактная информация:

Re: Как заставить wprabber игнорировать robots.txt

Сообщение Admin » 15 июн 2016, 06:11

С удовольствием почитаем советы.
Главная часть любого оружия, есть голова его владельца. Заказ лент WPGrabber

Закрыто