WPGrabber

Здравствуйте, не получается настроить ленту, в роботсе сайта прописано много запрещающих директив:

User-agent: grub-client
Disallow: /

User-agent: grub
Disallow: /

User-agent: looksmart
Disallow: /

User-agent: WebZip
Disallow: /

User-agent: larbin
Disallow: /

User-agent: b2w/0.1
Disallow: /

User-agent: psbot
Disallow: /

...и т.д.

Как заставить wprabber игнорировать robots.txt
Заранее благодарен

Хм... а при чем вообще этот файл? Он же используется только для работы с поисковыми роботами и запрет или открытие индексации ваших страниц. При чем он до грабера?
Вам скорее нужен файл .htaccess, и то я сомневаюсь, что в нем можно запретить данный плагин.

Цитата из официального определения файла Robots.txt

Robots.txt — это текстовый файл, суть которого заключается в ограничении доступа роботов поисковых систем к разделам и страницам нашего интернет-ресурса, которые нужно скрыть от индексации и как следствие от посторонних глаз.

И никаких функций других он не может выполнить.

Возможно я и не прав, у меня опыт не богатый в настройке лент, никак не получается настроить: "Найдено ссылок = 0" Не знаю что и думать..

Вариант один, неправильно настроена лента.

Добрый день.

Похожая проблема - настраивал вчера ленту - работало, закачивал статьи, отлаживал. утром открываю ленту, чтобы доработать и вдруг

Старт процесса импорта...
Импорт ленты: RLSnet А - 21:04:32 2016-06-04
Найдено ссылок: 0

Что могло случиться?

Деактивировал плагин, удалял, переустанавливал... перенастраивал... никак не видит ни одной записи (дошел до того, что в шаблоне ссылки четко прописываю одну из ссылок, которая точно находиться на странице - не видит!)

Что за донор?

rlsnet точка ru

Проверил донора ссылки находит- https://prntscr.com/bctruf

Вот и у меня также было - все нормально,
httpss://yadi.sk/i/a_T5hIonsJ8eL

настройка шла уже деталей (там много чего повырезать надо)
httpss://yadi.sk/i/3q3P1h-IsJ8mr
httpss://yadi.sk/i/LZE1iH2QsJ8rk

Решил на утро оставить... и упс...
и ничего не помогает. и отключал обработку, менял все что угодно. ) ссылок и все.


Что это может быть?

Для начала отключите дополнительные шаблоны обработки и внимательно перепроверьте все настройки на вкладке Основные - httpss://yadi.sk/i/a_T5hIonsJ8eL
Не помешает прочесть - httpss://ru.wikipedia.org/wiki/Регулярны ... 0.B8.D1.81

В том то и дело - вечером работало, закрыл комп, открыл утром и ... не работает.
отключал обработку вообще, пускал поиск конкретной статьи (вообще без регулярных выражений), пробовал все режимы, все кодировки, даже пытался с сайтмапа напрямую тащить, деактивировал-активировал, деинсталировал/инсталировал, пробовал с других йп, деинсталировал/инсталировал... вроде все танцы с бубнами проделал какие придумал...

результат - 0

более того - могу вам дать доступ к админке вордпресса - сами можете попробовать.

загадка...

Доступ не нужен - лишнее. Я вам не зря написал и дал соответствующие ссылки - viewtopic.php?f=5&t=53&p=378#p376
Можете сделать проще - удалите вашу ленту и настройте с нуля. Будьте внимательнее с настройками на вкладке Основные - это как ни банально звучит, основа любой ленты.

Все сделал как вы написали. Не получается.

Пошел дальше - в шаблон ссылок вписал конкретную ссылку httpss://yadi.sk/i/GyufZGDLsKmuH , которая точно есть на этой странице. Не находит. (перепроверял на других сайтах - такой прием именно эту статью и вылавливает).

Ну не выходит каменный цветок... Куды податься бедному крестьянину? Я готов заказать настройку ленты, только не уверен, что это заработает на моем сайте....

www точка regexr точка com

Для проверки правильности изображения использую этот сервис

Если вы считаете, что регулярка правильная, то проверяйте другие настройки. Где то закралась, даже не закралась, а вы допустили критическую ошибку. Проверяйте с самого начала.

Все-таки проблема не в регулярке и настройках.

Забанили. Обошли через настройки прокси. Теперь буду аккуратно по немного качать.

CDLRU писал(а):Все-таки проблема не в регулярке и настройках.

Забанили. Обошли через настройки прокси. Теперь буду аккуратно по немного качать.

В том виде (настройках ленты на скрине) - viewtopic.php?p=387#p380 она не будет работать ни где.

Согласен, ничего качать не будет. но проверить кол-во записей на странице можно (там еще ошибки есть, это был просто показатель, что конкретную строку, которая есть на доноре он не находит). Сейчас, слава богу, все работает, делаю тонкую настройку.

Если соберусь - напишу пост по советам людям (мелкие нюансы, до которых тупо и долго шел)

С удовольствием почитаем советы.