Как настроить постоянный парсинг одной страницы

В этой ветке создаем темы по настройке лент WPGrabber.

Модератор: Admin

Ответить
gtn
Сообщения: 2
Зарегистрирован: 14 ноя 2021, 11:45

Как настроить постоянный парсинг одной страницы

Сообщение gtn » 14 ноя 2021, 12:25

Ссылки на сайте источнике неизменны, но меняется контент. Как настроить постоянный парсинг одной и той же страницы с помощью плагина WPGrabber?
Изначально парсинг сработал, но собрал контент со всех ссылок, а заново он по ним не хочет проходить. Тест импорта срабатывает, но при импорте пишет, что не найдено подходящих ссылок.

Аватара пользователя
Admin
Администратор
Сообщения: 578
Зарегистрирован: 22 ноя 2015, 12:18
Откуда: СССР
Благодарил (а): 48 раз
Поблагодарили: 20 раз
Контактная информация:

Re: Как настроить постоянный парсинг одной страницы

Сообщение Admin » 14 ноя 2021, 13:46

Парсинг обновленных постов будет с одинаковыми заголовками?
Главная часть любого оружия, есть голова его владельца. Заказ лент WPGrabber

gtn
Сообщения: 2
Зарегистрирован: 14 ноя 2021, 11:45

Re: Как настроить постоянный парсинг одной страницы

Сообщение gtn » 14 ноя 2021, 18:33

Необязательно. Сохранять записи только уникальными (не повторяющимися) заголовками
Устновлено "Нет".

Аватара пользователя
Admin
Администратор
Сообщения: 578
Зарегистрирован: 22 ноя 2015, 12:18
Откуда: СССР
Благодарил (а): 48 раз
Поблагодарили: 20 раз
Контактная информация:

Re: Как настроить постоянный парсинг одной страницы

Сообщение Admin » 16 ноя 2021, 05:35

На вкладке "Основные" ленты "Пропускать ранее не загруженные (ошибочные) ссылки" поставьте Нет.
При этом предыдущие записи лучше удалить, в том числе и из корзины.
Главная часть любого оружия, есть голова его владельца. Заказ лент WPGrabber

netarh
Сообщения: 1
Зарегистрирован: 25 ноя 2021, 12:14

Re: Как настроить постоянный парсинг одной страницы

Сообщение netarh » 25 ноя 2021, 12:25

Это всё не поможет,
Сохранять записи только уникальными - это уже для спарсеных ссылок.
"Пропускать ранее не загруженные (ошибочные) ссылки" - это тоже не поможет т.к.ссылки уже загружены ранее и удалять каждый раз Записи руками тоже гемор, либо ставить какой то плагин чтобы он чистил по расписанию, гемор.
Вся суть в том чтобы на закладке Обработка задать правило для Индексной страницы(та в которой все ссылки) чтобы каждый раз при запуске грабинга уникализировать ссылки, например для Joomla дописывать в конец ссылки какой нибудь не существующий параметр типа &guid=65465431, вся проблема в том как сгенерировать и вставить уникальное число. Пробовал разрешать тег <script> и прописывать <script>document.write(Math.random())</script> Но при Тесте граббер показывает белый лист с моим случайным числом. Распарсить дату или время из исходного кода индексной страницы нет возможности ибо там ничего такого нет.

Аватара пользователя
Admin
Администратор
Сообщения: 578
Зарегистрирован: 22 ноя 2015, 12:18
Откуда: СССР
Благодарил (а): 48 раз
Поблагодарили: 20 раз
Контактная информация:

Re: Как настроить постоянный парсинг одной страницы

Сообщение Admin » 27 ноя 2021, 08:53

Я же сказал что предыдущие записи нужно удалить, в том числе и из корзины. Затем спарсить заново.
Главная часть любого оружия, есть голова его владельца. Заказ лент WPGrabber

Ответить