WPGrabber

Ну что то типа [\w-]+ вместо druhi-stravy, rybni-stravy или [\w\d-_]{10,}

onpat писал(а): ↑

17 апр 2020, 14:14

Поставил последнюю версию, создал новую ленту с теми же настройками. Не сохраняет картинки, путь пишет, типа, /uploads/posts/2014-09/thumbs/1409941935_zelenyy-borshch-recept.jpg, но картинок там нет. Перепробовал все настройки, и "Сохранять картинки на сервере ", и нет, всё одно и тоже.

Насколько я вижу, старая версия плагина сохраняет все картинки в одну кучу, в уже существующей папке /wp-content/uploads/
А новая версия пытается создать новый путь для сохранения картинок, причём дату берёт с сайта донора. Но создать новые каталоги у неё не получается почему-то. Поэтому картинки не сохраняются вообще.
Если бы я качал только свежие записи, то возможно, с картинками бы проблем не было.

У Вас сайт на какой версии РНР работает?

Внезапно перестало работать автообновление лент, по скрипту выдает белый экран. Настройки не менялись. Ручное работает.

Версию РНР не меняли?

Да PHP обновлялось. Причем в какой то момент парсинг заработал, но сейчас опять ноль. Отключение лент результата не дало.

Возможно плагин не работает на РНР 7.3 и выше на некоторых хостингах. Проверьте хостинг и перейдите на версию 7.0.

Откатился до 7.0, ситуация не изменилась, скрипт не отвечает, хотя в ручном режиме работает.

Что странно, восстановил бэкап недельной давности с 7.3 все работает.
upd: до первой пыптки что то поменять в настройках или лентах. После этого тот же результат.
Причем если добавить новую ленту, то скрипт отработает ещё один раз для этой ленты и каждой последующей.

Мы работаем сейчас над этим вопросом.

Ecclesiast писал(а): ↑

01 май 2020, 17:26

Что странно, восстановил бэкап недельной давности с 7.3 все работает.
upd: до первой пыптки что то поменять в настройках или лентах. После этого тот же результат.
Причем если добавить новую ленту, то скрипт отработает ещё один раз для этой ленты и каждой последующей.

У меня тоже работало и вдруг перестало. Потом как выяснилось, один из плагинов в качестве защиты прописал в файле .htaccess блокировку некоторых функций wget
Чтобы не менять настройки плагина и .htaccess, я просто поменял команду на кроне на cUrl:
/usr/bin/curl https://site.ru/?wpgrun=1
Хостинг Reg.ru Версия PHP — 7.3.15
Сейчас всё работает.
Но WPGrabber, как я уже писал, старой версии. Новый не сохраняет картинки и пытается создать папки для сохранения картинок с датой с сайта донора.

Подскажите, пожалуйста, можно ли настроить парсинг ссылок со страницы по анкору.
Например ссылка "подробнее..."
Есть сайт донор, у него все ссылки одинаковые, типа https://site.com/123
Ни каких разделений на рубрики в самой ссылке нет. На странице рубрики много таких ссылок, но меня интересуют только записи, которые относятся к данной рубрике, а у них текст "подробнее..."
Причём в коде ссылка выглядит так: <a href="/123">подробнее...</a>
Как настроить парсинг в таком случае?

Можно настроить парсинг только интересующего Вас контента с помощью шаблонов обработки.

У меня тоже не работает через cron.
Если добавить новую ленту, то отработает один раз для этой ленты а дальше не работает.
Cron настроен правильно. Проверил на разных версиях PHP и на разных серверах.
Может кто уже нашел решение данного вопроса.

Какая задана команда CRON у Вас на хостинге и что за хостинг у Вас?

1 тест на beget команда wget -O /dev/null -q ‘http://****/?wpgrun=1’ , 2 тест на VDS CentOS с панелью BrainyCP команда
/usr/bin/wget -t 1 -O - 'https://*****/?wpgrun=1' На обоих одинаковая проблема.

Попробуйте так:
/usr/bin/curl http://****/?wpgrun=1 >/dev/null 2>&1

У меня только так работает нормально.

vinni8 писал(а): ↑

06 июн 2020, 23:56

Если добавить новую ленту, то отработает один раз для этой ленты а дальше не работает.

Крон отрабатывает один раз, второй раз подряд не будет работать, потом он отрабатывает только через некоторое время.
Думаю, за это отвечает вот эта настройка:

vinni8 писал(а): ↑

08 июн 2020, 05:49

1 тест на beget команда wget -O /dev/null -q ‘http://****/?wpgrun=1’ , 2 тест на VDS CentOS с панелью BrainyCP команда
/usr/bin/wget -t 1 -O - 'https://*****/?wpgrun=1' На обоих одинаковая проблема.

Попробуйте разные вариации команды, в том числе те что предложил пользователь onpat.

Всем спасибо за ответы. Разобрался. Все заработало.