Страница 1 из 1

Как настроить постоянный парсинг одной страницы

Добавлено: 14 ноя 2021, 12:25
gtn
Ссылки на сайте источнике неизменны, но меняется контент. Как настроить постоянный парсинг одной и той же страницы с помощью плагина WPGrabber?
Изначально парсинг сработал, но собрал контент со всех ссылок, а заново он по ним не хочет проходить. Тест импорта срабатывает, но при импорте пишет, что не найдено подходящих ссылок.

Re: Как настроить постоянный парсинг одной страницы

Добавлено: 14 ноя 2021, 13:46
Admin
Парсинг обновленных постов будет с одинаковыми заголовками?

Re: Как настроить постоянный парсинг одной страницы

Добавлено: 14 ноя 2021, 18:33
gtn
Необязательно. Сохранять записи только уникальными (не повторяющимися) заголовками
Устновлено "Нет".

Re: Как настроить постоянный парсинг одной страницы

Добавлено: 16 ноя 2021, 05:35
Admin
На вкладке "Основные" ленты "Пропускать ранее не загруженные (ошибочные) ссылки" поставьте Нет.
При этом предыдущие записи лучше удалить, в том числе и из корзины.

Re: Как настроить постоянный парсинг одной страницы

Добавлено: 25 ноя 2021, 12:25
netarh
Это всё не поможет,
Сохранять записи только уникальными - это уже для спарсеных ссылок.
"Пропускать ранее не загруженные (ошибочные) ссылки" - это тоже не поможет т.к.ссылки уже загружены ранее и удалять каждый раз Записи руками тоже гемор, либо ставить какой то плагин чтобы он чистил по расписанию, гемор.
Вся суть в том чтобы на закладке Обработка задать правило для Индексной страницы(та в которой все ссылки) чтобы каждый раз при запуске грабинга уникализировать ссылки, например для Joomla дописывать в конец ссылки какой нибудь не существующий параметр типа &guid=65465431, вся проблема в том как сгенерировать и вставить уникальное число. Пробовал разрешать тег <script> и прописывать <script>document.write(Math.random())</script> Но при Тесте граббер показывает белый лист с моим случайным числом. Распарсить дату или время из исходного кода индексной страницы нет возможности ибо там ничего такого нет.

Re: Как настроить постоянный парсинг одной страницы

Добавлено: 27 ноя 2021, 08:53
Admin
Я же сказал что предыдущие записи нужно удалить, в том числе и из корзины. Затем спарсить заново.