Не работает автоматическое обновление лент?

Вопросы по настройке плагина WPGrabber

Модератор: Admin

Аватара пользователя
Admin
Администратор
Сообщения: 492
Зарегистрирован: 22 ноя 2015, 12:18
Откуда: СССР
Благодарил (а): 35 раз
Поблагодарили: 14 раз
Контактная информация:

Re: Не работает автоматическое обновление лент?

Сообщение Admin » 18 апр 2020, 20:06

Ну что то типа [\w-]+ вместо druhi-stravy, rybni-stravy или [\w\d-_]{10,}
Главная часть любого оружия, есть голова его владельца. Заказ лент WPGrabber

Аватара пользователя
onpat
Участник
Сообщения: 29
Зарегистрирован: 11 апр 2020, 17:48
Поблагодарили: 1 раз

Re: Не работает автоматическое обновление лент?

Сообщение onpat » 21 апр 2020, 17:34

onpat писал(а):
17 апр 2020, 14:14
Поставил последнюю версию, создал новую ленту с теми же настройками. Не сохраняет картинки, путь пишет, типа, /uploads/posts/2014-09/thumbs/1409941935_zelenyy-borshch-recept.jpg, но картинок там нет. Перепробовал все настройки, и "Сохранять картинки на сервере ", и нет, всё одно и тоже.
Насколько я вижу, старая версия плагина сохраняет все картинки в одну кучу, в уже существующей папке /wp-content/uploads/
А новая версия пытается создать новый путь для сохранения картинок, причём дату берёт с сайта донора. Но создать новые каталоги у неё не получается почему-то. Поэтому картинки не сохраняются вообще.
Если бы я качал только свежие записи, то возможно, с картинками бы проблем не было.

Аватара пользователя
Admin
Администратор
Сообщения: 492
Зарегистрирован: 22 ноя 2015, 12:18
Откуда: СССР
Благодарил (а): 35 раз
Поблагодарили: 14 раз
Контактная информация:

Re: Не работает автоматическое обновление лент?

Сообщение Admin » 26 апр 2020, 20:48

У Вас сайт на какой версии РНР работает?
Главная часть любого оружия, есть голова его владельца. Заказ лент WPGrabber

Аватара пользователя
Ecclesiast
Новичок
Сообщения: 5
Зарегистрирован: 23 апр 2020, 18:03

Re: Не работает автоматическое обновление лент?

Сообщение Ecclesiast » 29 апр 2020, 15:03

Внезапно перестало работать автообновление лент, по скрипту выдает белый экран. Настройки не менялись. Ручное работает.

Аватара пользователя
Admin
Администратор
Сообщения: 492
Зарегистрирован: 22 ноя 2015, 12:18
Откуда: СССР
Благодарил (а): 35 раз
Поблагодарили: 14 раз
Контактная информация:

Re: Не работает автоматическое обновление лент?

Сообщение Admin » 30 апр 2020, 20:00

Версию РНР не меняли?
Главная часть любого оружия, есть голова его владельца. Заказ лент WPGrabber

Аватара пользователя
Ecclesiast
Новичок
Сообщения: 5
Зарегистрирован: 23 апр 2020, 18:03

Re: Не работает автоматическое обновление лент?

Сообщение Ecclesiast » 01 май 2020, 12:22

Да PHP обновлялось. Причем в какой то момент парсинг заработал, но сейчас опять ноль. Отключение лент результата не дало.

Аватара пользователя
Admin
Администратор
Сообщения: 492
Зарегистрирован: 22 ноя 2015, 12:18
Откуда: СССР
Благодарил (а): 35 раз
Поблагодарили: 14 раз
Контактная информация:

Re: Не работает автоматическое обновление лент?

Сообщение Admin » 01 май 2020, 12:26

Возможно плагин не работает на РНР 7.3 и выше на некоторых хостингах. Проверьте хостинг и перейдите на версию 7.0.
Главная часть любого оружия, есть голова его владельца. Заказ лент WPGrabber

Аватара пользователя
Ecclesiast
Новичок
Сообщения: 5
Зарегистрирован: 23 апр 2020, 18:03

Re: Не работает автоматическое обновление лент?

Сообщение Ecclesiast » 01 май 2020, 16:54

Откатился до 7.0, ситуация не изменилась, скрипт не отвечает, хотя в ручном режиме работает.

Аватара пользователя
Ecclesiast
Новичок
Сообщения: 5
Зарегистрирован: 23 апр 2020, 18:03

Re: Не работает автоматическое обновление лент?

Сообщение Ecclesiast » 01 май 2020, 17:26

Что странно, восстановил бэкап недельной давности с 7.3 все работает.
upd: до первой пыптки что то поменять в настройках или лентах. После этого тот же результат.
Причем если добавить новую ленту, то скрипт отработает ещё один раз для этой ленты и каждой последующей.

Аватара пользователя
Admin
Администратор
Сообщения: 492
Зарегистрирован: 22 ноя 2015, 12:18
Откуда: СССР
Благодарил (а): 35 раз
Поблагодарили: 14 раз
Контактная информация:

Re: Не работает автоматическое обновление лент?

Сообщение Admin » 02 май 2020, 14:40

Мы работаем сейчас над этим вопросом.
Главная часть любого оружия, есть голова его владельца. Заказ лент WPGrabber

Аватара пользователя
onpat
Участник
Сообщения: 29
Зарегистрирован: 11 апр 2020, 17:48
Поблагодарили: 1 раз

Re: Не работает автоматическое обновление лент?

Сообщение onpat » 04 май 2020, 11:10

Ecclesiast писал(а):
01 май 2020, 17:26
Что странно, восстановил бэкап недельной давности с 7.3 все работает.
upd: до первой пыптки что то поменять в настройках или лентах. После этого тот же результат.
Причем если добавить новую ленту, то скрипт отработает ещё один раз для этой ленты и каждой последующей.
У меня тоже работало и вдруг перестало. Потом как выяснилось, один из плагинов в качестве защиты прописал в файле .htaccess блокировку некоторых функций wget
Чтобы не менять настройки плагина и .htaccess, я просто поменял команду на кроне на cUrl:
/usr/bin/curl https://site.ru/?wpgrun=1
Хостинг Reg.ru Версия PHP — 7.3.15
Сейчас всё работает.
Но WPGrabber, как я уже писал, старой версии. Новый не сохраняет картинки и пытается создать папки для сохранения картинок с датой с сайта донора.

Аватара пользователя
onpat
Участник
Сообщения: 29
Зарегистрирован: 11 апр 2020, 17:48
Поблагодарили: 1 раз

Re: Не работает автоматическое обновление лент?

Сообщение onpat » 05 май 2020, 09:01

Подскажите, пожалуйста, можно ли настроить парсинг ссылок со страницы по анкору.
Например ссылка "подробнее..."
Есть сайт донор, у него все ссылки одинаковые, типа https://site.com/123
Ни каких разделений на рубрики в самой ссылке нет. На странице рубрики много таких ссылок, но меня интересуют только записи, которые относятся к данной рубрике, а у них текст "подробнее..."
Причём в коде ссылка выглядит так: <a href="/123">подробнее...</a>
Как настроить парсинг в таком случае?

Аватара пользователя
Admin
Администратор
Сообщения: 492
Зарегистрирован: 22 ноя 2015, 12:18
Откуда: СССР
Благодарил (а): 35 раз
Поблагодарили: 14 раз
Контактная информация:

Re: Не работает автоматическое обновление лент?

Сообщение Admin » 03 июн 2020, 06:01

Можно настроить парсинг только интересующего Вас контента с помощью шаблонов обработки.
Главная часть любого оружия, есть голова его владельца. Заказ лент WPGrabber

vinni8
Новичок
Сообщения: 3
Зарегистрирован: 04 июн 2020, 04:32

Re: Не работает автоматическое обновление лент?

Сообщение vinni8 » 06 июн 2020, 23:56

У меня тоже не работает через cron.
Если добавить новую ленту, то отработает один раз для этой ленты а дальше не работает.
Cron настроен правильно. Проверил на разных версиях PHP и на разных серверах.
Может кто уже нашел решение данного вопроса.

Аватара пользователя
Admin
Администратор
Сообщения: 492
Зарегистрирован: 22 ноя 2015, 12:18
Откуда: СССР
Благодарил (а): 35 раз
Поблагодарили: 14 раз
Контактная информация:

Re: Не работает автоматическое обновление лент?

Сообщение Admin » 07 июн 2020, 04:58

Какая задана команда CRON у Вас на хостинге и что за хостинг у Вас?
Главная часть любого оружия, есть голова его владельца. Заказ лент WPGrabber

vinni8
Новичок
Сообщения: 3
Зарегистрирован: 04 июн 2020, 04:32

Re: Не работает автоматическое обновление лент?

Сообщение vinni8 » 08 июн 2020, 05:49

1 тест на beget команда wget -O /dev/null -q ‘http://****/?wpgrun=1’ , 2 тест на VDS CentOS с панелью BrainyCP команда
/usr/bin/wget -t 1 -O - 'https://*****/?wpgrun=1' На обоих одинаковая проблема.

Аватара пользователя
onpat
Участник
Сообщения: 29
Зарегистрирован: 11 апр 2020, 17:48
Поблагодарили: 1 раз

Re: Не работает автоматическое обновление лент?

Сообщение onpat » 08 июн 2020, 14:28

Попробуйте так:
/usr/bin/curl http://****/?wpgrun=1 >/dev/null 2>&1

У меня только так работает нормально.

Аватара пользователя
onpat
Участник
Сообщения: 29
Зарегистрирован: 11 апр 2020, 17:48
Поблагодарили: 1 раз

Re: Не работает автоматическое обновление лент?

Сообщение onpat » 08 июн 2020, 14:39

vinni8 писал(а):
06 июн 2020, 23:56
Если добавить новую ленту, то отработает один раз для этой ленты а дальше не работает.
Крон отрабатывает один раз, второй раз подряд не будет работать, потом он отрабатывает только через некоторое время.
Думаю, за это отвечает вот эта настройка:
Screenshot_1.png
Screenshot_1.png (46.56 КБ) 435 просмотров

Аватара пользователя
Admin
Администратор
Сообщения: 492
Зарегистрирован: 22 ноя 2015, 12:18
Откуда: СССР
Благодарил (а): 35 раз
Поблагодарили: 14 раз
Контактная информация:

Re: Не работает автоматическое обновление лент?

Сообщение Admin » 08 июн 2020, 18:47

vinni8 писал(а):
08 июн 2020, 05:49
1 тест на beget команда wget -O /dev/null -q ‘http://****/?wpgrun=1’ , 2 тест на VDS CentOS с панелью BrainyCP команда
/usr/bin/wget -t 1 -O - 'https://*****/?wpgrun=1' На обоих одинаковая проблема.
Попробуйте разные вариации команды, в том числе те что предложил пользователь onpat.
Главная часть любого оружия, есть голова его владельца. Заказ лент WPGrabber

vinni8
Новичок
Сообщения: 3
Зарегистрирован: 04 июн 2020, 04:32

Re: Не работает автоматическое обновление лент?

Сообщение vinni8 » 09 июн 2020, 23:33

Всем спасибо за ответы. Разобрался. Все заработало.

Ответить