Возможно ли спарсить сайт?

В этой ветке создаем темы по настройке лент WPGrabber.

Модератор: Admin

Ответить
A1ex
Участник
Сообщения: 20
Зарегистрирован: 17 май 2019, 21:33
Поблагодарили: 1 раз

Возможно ли спарсить сайт?

Сообщение A1ex » 08 июн 2020, 23:13

Может кто подскажет, можно ли этот сайт спарсить. А то бьюсь а не выходит. Мне просто нужно понять есть ли такие сайты которые нельзя спарсить?
Вложения
Screenshot_5.png
Screenshot_5.png (62.25 КБ) 10598 просмотров

GetRicH1
Новичок
Сообщения: 8
Зарегистрирован: 25 май 2020, 18:11
Благодарил (а): 1 раз

Re: Возможно ли спарсить сайт?

Сообщение GetRicH1 » 11 июн 2020, 00:24

так источник не верно указан.... уберите covid19

A1ex
Участник
Сообщения: 20
Зарегистрирован: 17 май 2019, 21:33
Поблагодарили: 1 раз

Re: Возможно ли спарсить сайт?

Сообщение A1ex » 11 июн 2020, 10:30

GetRicH1 писал(а):
11 июн 2020, 00:24
так источник не верно указан.... уберите covid19
Вы бы сначало попробовали сами, перед тем как писать. Источник правильно указан- это раздел сайта. Если убрать его и оставить только .../news/ то выведет ошибку страницы 404.

Аватара пользователя
Admin
Администратор
Сообщения: 578
Зарегистрирован: 22 ноя 2015, 12:18
Откуда: СССР
Благодарил (а): 48 раз
Поблагодарили: 20 раз
Контактная информация:

Re: Возможно ли спарсить сайт?

Сообщение Admin » 12 июн 2020, 11:09

Пишите ссылку сюда, чтобы можно было скопировать, народ не будет набирать вручную по картинке.....
Главная часть любого оружия, есть голова его владельца. Заказ лент WPGrabber

A1ex
Участник
Сообщения: 20
Зарегистрирован: 17 май 2019, 21:33
Поблагодарили: 1 раз

Re: Возможно ли спарсить сайт?

Сообщение A1ex » 12 июн 2020, 11:34

URL индексной страницы https://1istochnik.ru/news/covid19
Есть подозрение что так как ссылки обернуты в noindex, то граббер их не видет.

Аватара пользователя
Admin
Администратор
Сообщения: 578
Зарегистрирован: 22 ноя 2015, 12:18
Откуда: СССР
Благодарил (а): 48 раз
Поблагодарили: 20 раз
Контактная информация:

Re: Возможно ли спарсить сайт?

Сообщение Admin » 12 июн 2020, 11:54

Вот такой ваариант работает:
/news/[^>]{5}
:!: :!: :!:
script-wpgrabber7.png
script-wpgrabber7.png (48.91 КБ) 10583 просмотра
Главная часть любого оружия, есть голова его владельца. Заказ лент WPGrabber

A1ex
Участник
Сообщения: 20
Зарегистрирован: 17 май 2019, 21:33
Поблагодарили: 1 раз

Re: Возможно ли спарсить сайт?

Сообщение A1ex » 12 июн 2020, 12:18

Спасибо! Но все же интересен вопрос, встречали ли вы такие сайты с которых нельзя спарсить граббером информацию?
И смешно и горестно. У меня с вашей регуляркой не работает :) Где то в настройках начудил может.
Screenshot_1.png
Screenshot_1.png (43.92 КБ) 10581 просмотр

Аватара пользователя
Admin
Администратор
Сообщения: 578
Зарегистрирован: 22 ноя 2015, 12:18
Откуда: СССР
Благодарил (а): 48 раз
Поблагодарили: 20 раз
Контактная информация:

Re: Возможно ли спарсить сайт?

Сообщение Admin » 12 июн 2020, 13:51

Поэкперементируйте с настройками на вкладке "Дополнительно".
Да, сайты с защитой от парсинга встречаются, но очень редко, это очень дорогое удовольствие.
Главная часть любого оружия, есть голова его владельца. Заказ лент WPGrabber

A1ex
Участник
Сообщения: 20
Зарегистрирован: 17 май 2019, 21:33
Поблагодарили: 1 раз

Re: Возможно ли спарсить сайт?

Сообщение A1ex » 12 июн 2020, 15:05

Admin писал(а):
12 июн 2020, 13:51
Поэкперементируйте с настройками на вкладке "Дополнительно".
Помогло, исправил на "CURL" и заработал.
Screenshot_2.png
Screenshot_2.png (24.88 КБ) 10576 просмотров

Tempuc
Новичок
Сообщения: 4
Зарегистрирован: 02 окт 2019, 01:13

Re: Возможно ли спарсить сайт?

Сообщение Tempuc » 05 сен 2020, 21:58

Приветствую,

А как спарсить такой сайт: https://www.tatar-inform.ru/news/incident
Долго с ним бился, пока безрезультатно(

Аватара пользователя
Admin
Администратор
Сообщения: 578
Зарегистрирован: 22 ноя 2015, 12:18
Откуда: СССР
Благодарил (а): 48 раз
Поблагодарили: 20 раз
Контактная информация:

Re: Возможно ли спарсить сайт?

Сообщение Admin » 15 окт 2020, 18:10

Можете заказать настройку ленты:
Пишите в Telegram: @WPGrabber
Главная часть любого оружия, есть голова его владельца. Заказ лент WPGrabber

Ответить