Ссылки на сайте источнике неизменны, но меняется контент. Как настроить постоянный парсинг одной и той же страницы с помощью плагина WPGrabber?
Изначально парсинг сработал, но собрал контент со всех ссылок, а заново он по ним не хочет проходить. Тест импорта срабатывает, но при импорте пишет, что не найдено подходящих ссылок.
Как настроить постоянный парсинг одной страницы
Модератор: Admin
- Admin
- Администратор
- Сообщения: 578
- Зарегистрирован: 22 ноя 2015, 12:18
- Откуда: СССР
- Благодарил (а): 48 раз
- Поблагодарили: 20 раз
- Контактная информация:
Re: Как настроить постоянный парсинг одной страницы
Парсинг обновленных постов будет с одинаковыми заголовками?
Главная часть любого оружия, есть голова его владельца. Заказ лент WPGrabber
Re: Как настроить постоянный парсинг одной страницы
Необязательно. Сохранять записи только уникальными (не повторяющимися) заголовками
Устновлено "Нет".
Устновлено "Нет".
- Admin
- Администратор
- Сообщения: 578
- Зарегистрирован: 22 ноя 2015, 12:18
- Откуда: СССР
- Благодарил (а): 48 раз
- Поблагодарили: 20 раз
- Контактная информация:
Re: Как настроить постоянный парсинг одной страницы
На вкладке "Основные" ленты "Пропускать ранее не загруженные (ошибочные) ссылки" поставьте Нет.
При этом предыдущие записи лучше удалить, в том числе и из корзины.
При этом предыдущие записи лучше удалить, в том числе и из корзины.
Главная часть любого оружия, есть голова его владельца. Заказ лент WPGrabber
Re: Как настроить постоянный парсинг одной страницы
Это всё не поможет,
Сохранять записи только уникальными - это уже для спарсеных ссылок.
"Пропускать ранее не загруженные (ошибочные) ссылки" - это тоже не поможет т.к.ссылки уже загружены ранее и удалять каждый раз Записи руками тоже гемор, либо ставить какой то плагин чтобы он чистил по расписанию, гемор.
Вся суть в том чтобы на закладке Обработка задать правило для Индексной страницы(та в которой все ссылки) чтобы каждый раз при запуске грабинга уникализировать ссылки, например для Joomla дописывать в конец ссылки какой нибудь не существующий параметр типа &guid=65465431, вся проблема в том как сгенерировать и вставить уникальное число. Пробовал разрешать тег <script> и прописывать <script>document.write(Math.random())</script> Но при Тесте граббер показывает белый лист с моим случайным числом. Распарсить дату или время из исходного кода индексной страницы нет возможности ибо там ничего такого нет.
Сохранять записи только уникальными - это уже для спарсеных ссылок.
"Пропускать ранее не загруженные (ошибочные) ссылки" - это тоже не поможет т.к.ссылки уже загружены ранее и удалять каждый раз Записи руками тоже гемор, либо ставить какой то плагин чтобы он чистил по расписанию, гемор.
Вся суть в том чтобы на закладке Обработка задать правило для Индексной страницы(та в которой все ссылки) чтобы каждый раз при запуске грабинга уникализировать ссылки, например для Joomla дописывать в конец ссылки какой нибудь не существующий параметр типа &guid=65465431, вся проблема в том как сгенерировать и вставить уникальное число. Пробовал разрешать тег <script> и прописывать <script>document.write(Math.random())</script> Но при Тесте граббер показывает белый лист с моим случайным числом. Распарсить дату или время из исходного кода индексной страницы нет возможности ибо там ничего такого нет.
- Admin
- Администратор
- Сообщения: 578
- Зарегистрирован: 22 ноя 2015, 12:18
- Откуда: СССР
- Благодарил (а): 48 раз
- Поблагодарили: 20 раз
- Контактная информация:
Re: Как настроить постоянный парсинг одной страницы
Я же сказал что предыдущие записи нужно удалить, в том числе и из корзины. Затем спарсить заново.
Главная часть любого оружия, есть голова его владельца. Заказ лент WPGrabber