Страница 1 из 1

Парсинг с нескольких страниц

Добавлено: 15 ноя 2018, 17:57
cell1983
Всем привет! Может кто знает, как настроить ленту. Я и сам умею, просто задался одним вопросиком.
К примеру есть "сайт" в настройках ленты указываю страницу с которой надо грабить, Но на этой странице всего 6 новостей и есть внизу навигация на стр 2,3,4,5,6,7,8,9, и т.д. понятно что настройка на одну страницу такая https://sait.ru/razdel/ таким образом можно указать другую страницу https://sait.ru/razdel/page/2/
все страницы указывать проблематично, отсюда и вопрос, wpgrabber может качать с предыдущих страниц новости, а не с одной? Пробовал настраивать таким образом https://sait.ru/razdel/page/\d{1,}/ но нет. Есть варианты настроек, если граббер конечно это может делать.

Re: Парсинг с нескольких страниц

Добавлено: 16 ноя 2018, 17:50
Admin
А сколько всего таких страниц?

Re: Парсинг с нескольких страниц

Добавлено: 16 ноя 2018, 19:26
cell1983
Admin писал(а):
16 ноя 2018, 17:50
А сколько всего таких страниц?
да по разному может и 5 быть, и 100 бывает

Re: Парсинг с нескольких страниц

Добавлено: 17 ноя 2018, 04:23
Admin
И зачем Вам это нужно? Новые статьи ведь все равно обновляются только на первой странице?

Re: Парсинг с нескольких страниц

Добавлено: 17 ноя 2018, 10:06
cell1983
Admin писал(а):
17 ноя 2018, 04:23
И зачем Вам это нужно? Новые статьи ведь все равно обновляются только на первой странице?
На том сайте нет обновления давно, а много статей именно на предыдущих страницах. Так умеет grabber поочерёдно это делать?

Re: Парсинг с нескольких страниц

Добавлено: 24 ноя 2018, 19:55
Admin
Скорее всего придётся каждый раз менять адрес рубрики вручную.

Re: Парсинг с нескольких страниц

Добавлено: 09 дек 2021, 20:33
lawyer_ovr
Можно спарсить url нужной рубрики, например Screaming Frog. Сохранить ссылки в текстовой файл, столбиком. Залить его в библиотеку на сайте, при настройке ленты в URL индексной страницы указать путь к этому файлу.

Re: Парсинг с нескольких страниц

Добавлено: 13 дек 2021, 20:24
Admin
Ну да, есть такая тема... Это если нужно спарсить всю рубрику целиком.