Парсинг с нескольких страниц

В этой ветке создаем темы по настройке лент WPGrabber.

Модератор: Admin

Ответить
cell1983
Активный участник
Сообщения: 39
Зарегистрирован: 13 дек 2015, 17:49

Парсинг с нескольких страниц

Сообщение cell1983 » 15 ноя 2018, 17:57

Всем привет! Может кто знает, как настроить ленту. Я и сам умею, просто задался одним вопросиком.
К примеру есть "сайт" в настройках ленты указываю страницу с которой надо грабить, Но на этой странице всего 6 новостей и есть внизу навигация на стр 2,3,4,5,6,7,8,9, и т.д. понятно что настройка на одну страницу такая https://sait.ru/razdel/ таким образом можно указать другую страницу https://sait.ru/razdel/page/2/
все страницы указывать проблематично, отсюда и вопрос, wpgrabber может качать с предыдущих страниц новости, а не с одной? Пробовал настраивать таким образом https://sait.ru/razdel/page/\d{1,}/ но нет. Есть варианты настроек, если граббер конечно это может делать.

Аватара пользователя
Admin
Администратор
Сообщения: 578
Зарегистрирован: 22 ноя 2015, 12:18
Откуда: СССР
Благодарил (а): 48 раз
Поблагодарили: 20 раз
Контактная информация:

Re: Парсинг с нескольких страниц

Сообщение Admin » 16 ноя 2018, 17:50

А сколько всего таких страниц?
Главная часть любого оружия, есть голова его владельца. Заказ лент WPGrabber

cell1983
Активный участник
Сообщения: 39
Зарегистрирован: 13 дек 2015, 17:49

Re: Парсинг с нескольких страниц

Сообщение cell1983 » 16 ноя 2018, 19:26

Admin писал(а):
16 ноя 2018, 17:50
А сколько всего таких страниц?
да по разному может и 5 быть, и 100 бывает

Аватара пользователя
Admin
Администратор
Сообщения: 578
Зарегистрирован: 22 ноя 2015, 12:18
Откуда: СССР
Благодарил (а): 48 раз
Поблагодарили: 20 раз
Контактная информация:

Re: Парсинг с нескольких страниц

Сообщение Admin » 17 ноя 2018, 04:23

И зачем Вам это нужно? Новые статьи ведь все равно обновляются только на первой странице?
Главная часть любого оружия, есть голова его владельца. Заказ лент WPGrabber

cell1983
Активный участник
Сообщения: 39
Зарегистрирован: 13 дек 2015, 17:49

Re: Парсинг с нескольких страниц

Сообщение cell1983 » 17 ноя 2018, 10:06

Admin писал(а):
17 ноя 2018, 04:23
И зачем Вам это нужно? Новые статьи ведь все равно обновляются только на первой странице?
На том сайте нет обновления давно, а много статей именно на предыдущих страницах. Так умеет grabber поочерёдно это делать?

Аватара пользователя
Admin
Администратор
Сообщения: 578
Зарегистрирован: 22 ноя 2015, 12:18
Откуда: СССР
Благодарил (а): 48 раз
Поблагодарили: 20 раз
Контактная информация:

Re: Парсинг с нескольких страниц

Сообщение Admin » 24 ноя 2018, 19:55

Скорее всего придётся каждый раз менять адрес рубрики вручную.
Главная часть любого оружия, есть голова его владельца. Заказ лент WPGrabber

lawyer_ovr
Новичок
Сообщения: 4
Зарегистрирован: 02 дек 2021, 04:08
Поблагодарили: 1 раз

Re: Парсинг с нескольких страниц

Сообщение lawyer_ovr » 09 дек 2021, 20:33

Можно спарсить url нужной рубрики, например Screaming Frog. Сохранить ссылки в текстовой файл, столбиком. Залить его в библиотеку на сайте, при настройке ленты в URL индексной страницы указать путь к этому файлу.

Аватара пользователя
Admin
Администратор
Сообщения: 578
Зарегистрирован: 22 ноя 2015, 12:18
Откуда: СССР
Благодарил (а): 48 раз
Поблагодарили: 20 раз
Контактная информация:

Re: Парсинг с нескольких страниц

Сообщение Admin » 13 дек 2021, 20:24

Ну да, есть такая тема... Это если нужно спарсить всю рубрику целиком.
Главная часть любого оружия, есть голова его владельца. Заказ лент WPGrabber

Ответить