Настройка парсинга картинок

В этой ветке создаем темы по настройке лент WPGrabber.

Модератор: Admin

Ответить
Ta-ma-ra
Сообщения: 2
Зарегистрирован: 21 сен 2019, 09:31

Настройка парсинга картинок

Сообщение Ta-ma-ra » 21 сен 2019, 09:38

Здравствуйте!
С сайта https://tripmydream..com не подгружаются фотографии ни в одной статье ни в одном разделе (скрин во вложении), как это можно настроить?
Screenshot_2019-09-19 Новая лента ‹ Выбирай тур и возвращайся опять — WordPress.png
Screenshot_2019-09-19 Новая лента ‹ Выбирай тур и возвращайся опять — WordPress.png (65.94 КБ) 11785 просмотров
Вот настройки
Screenshot_2019-09-21 Новая лента ‹ Выбирай тур и возвращайся опять — WordPress.png
Screenshot_2019-09-21 Новая лента ‹ Выбирай тур и возвращайся опять — WordPress.png (24.2 КБ) 11785 просмотров

cell1983
Активный участник
Сообщения: 39
Зарегистрирован: 13 дек 2015, 17:49

Re: Настройка парсинга картинок

Сообщение cell1983 » 25 сен 2019, 04:26

Это защита от парса. По себе знаю, что картинки лучше не парсить, а то могут и в суд подать за кражу картинки

Аватара пользователя
Admin
Администратор
Сообщения: 578
Зарегистрирован: 22 ноя 2015, 12:18
Откуда: СССР
Благодарил (а): 48 раз
Поблагодарили: 20 раз
Контактная информация:

Re: Настройка парсинга картинок

Сообщение Admin » 26 сен 2019, 18:55

Защита от парсинга это да, бывает, но все таки плагин WPGrabber может вытащить эти картинки с помощью шаблона обработки.
Главная часть любого оружия, есть голова его владельца. Заказ лент WPGrabber

Аватара пользователя
onpat
Активный участник
Сообщения: 30
Зарегистрирован: 11 апр 2020, 17:48
Поблагодарили: 1 раз

Re: Настройка парсинга картинок

Сообщение onpat » 13 апр 2020, 16:11

Здравствуйте.
Можно как-то настроить плагин, чтобы он не загружал вообще отсутствующие изображения?
На сайте донора в статьях попадаются битые картинки. То есть, урл нормальный, всё хорошо, но самой картинки просто нет. Потом то же самое получается и в моей записи, просто маленький квадратик, ссылка на картинку, которой нет.

Аватара пользователя
Виталий25
Участник
Сообщения: 24
Зарегистрирован: 14 дек 2017, 22:34
Благодарил (а): 6 раз
Поблагодарили: 5 раз

Re: Настройка парсинга картинок

Сообщение Виталий25 » 13 апр 2020, 17:16

А УРЛы одинаковые что на битых что на нормальных картинках?

Аватара пользователя
onpat
Активный участник
Сообщения: 30
Зарегистрирован: 11 апр 2020, 17:48
Поблагодарили: 1 раз

Re: Настройка парсинга картинок

Сообщение onpat » 13 апр 2020, 17:20

Да, одинаковые.
Так-то я бы конечно шаблон сделал по обработке.
Разница только в том, что одни картинки есть на сервере донора, а других нет.

Аватара пользователя
Виталий25
Участник
Сообщения: 24
Зарегистрирован: 14 дек 2017, 22:34
Благодарил (а): 6 раз
Поблагодарили: 5 раз

Re: Настройка парсинга картинок

Сообщение Виталий25 » 13 апр 2020, 17:28

Если одинаковые, тогда скорее всего шаблоном обработки вряд ли получится их вырезать. Меняйте донора.

Аватара пользователя
onpat
Активный участник
Сообщения: 30
Зарегистрирован: 11 апр 2020, 17:48
Поблагодарили: 1 раз

Re: Настройка парсинга картинок

Сообщение onpat » 13 апр 2020, 20:57

Поставил плагин Broken Link Checker
Проверяет сайт на наличие битых ссылок или отсутствующих изображений и уведомляет в консоли или на почту, если такие найдены. Потом всё это можно удалить или отредактировать прямо на странице плагина.
Работает. Поудалял все битые ссылки.

Аватара пользователя
Admin
Администратор
Сообщения: 578
Зарегистрирован: 22 ноя 2015, 12:18
Откуда: СССР
Благодарил (а): 48 раз
Поблагодарили: 20 раз
Контактная информация:

Re: Настройка парсинга картинок

Сообщение Admin » 13 апр 2020, 21:04

Здорово, спасибо за информацию!
Главная часть любого оружия, есть голова его владельца. Заказ лент WPGrabber

Аватара пользователя
onpat
Активный участник
Сообщения: 30
Зарегистрирован: 11 апр 2020, 17:48
Поблагодарили: 1 раз

Re: Настройка парсинга картинок

Сообщение onpat » 04 май 2020, 11:50

Кроме того, бывают ситуации, когда картинка, вроде, есть, но она пустая.
В этом случае, так как у меня старая версия граббера и грузит все картинки в одну папку, я захожу в папку через ftp, сортирую файлы по размеру и удаляю всё, что меньше 1 кб
Опыт показал, что до 1 кб всё лажа, не нужные или пустые картинки, а с 1 кб начинаются уже нужные.
Можно даже скрипт написать, который будет удалять их автоматически.
А потом уже плагин Broken Link Checker находит битые ссылки и чисто их удаляет. В постах не остаётся ни каких следов.
Поэтому хотелось бы, чтобы в новой версии граббера была возможность грузить все картинки в одну папку, всё-таки.

Аватара пользователя
Admin
Администратор
Сообщения: 578
Зарегистрирован: 22 ноя 2015, 12:18
Откуда: СССР
Благодарил (а): 48 раз
Поблагодарили: 20 раз
Контактная информация:

Re: Настройка парсинга картинок

Сообщение Admin » 04 май 2020, 15:47

Да, мы работаем над этим вопросом.
Главная часть любого оружия, есть голова его владельца. Заказ лент WPGrabber

GetRicH1
Новичок
Сообщения: 8
Зарегистрирован: 25 май 2020, 18:11
Благодарил (а): 1 раз

Re: Настройка парсинга картинок

Сообщение GetRicH1 » 03 июн 2020, 20:45

Привет, помогите решить такую проблему, в коде есть такая ссылка src="data:image/svg+xml,%3Csvg%20xmlns='http://www.w3.org/2000/svg'%20viewBox=' ... %3C/svg%3E"

и перед каждым изображением подтягивает "фейковое" изображение
Изображение
Изображение

Аватара пользователя
Admin
Администратор
Сообщения: 578
Зарегистрирован: 22 ноя 2015, 12:18
Откуда: СССР
Благодарил (а): 48 раз
Поблагодарили: 20 раз
Контактная информация:

Re: Настройка парсинга картинок

Сообщение Admin » 05 июн 2020, 10:15

Фейковые изображения можно вырезать с помощью шаблона обработки.
Главная часть любого оружия, есть голова его владельца. Заказ лент WPGrabber

yorgiy
Новичок
Сообщения: 5
Зарегистрирован: 20 окт 2019, 19:02
Благодарил (а): 3 раза
Поблагодарили: 1 раз

Re: Настройка парсинга картинок

Сообщение yorgiy » 16 апр 2021, 19:32

Admin писал(а):
05 июн 2020, 10:15
Фейковые изображения можно вырезать с помощью шаблона обработки.
Какой использовать шаблон?

Изображение
Вложения
45345.png
45345.png (26.7 КБ) 11253 просмотра

Аватара пользователя
Admin
Администратор
Сообщения: 578
Зарегистрирован: 22 ноя 2015, 12:18
Откуда: СССР
Благодарил (а): 48 раз
Поблагодарили: 20 раз
Контактная информация:

Re: Настройка парсинга картинок

Сообщение Admin » 18 апр 2021, 06:04

yorgiy писал(а):
16 апр 2021, 19:32
Admin писал(а):
05 июн 2020, 10:15
Фейковые изображения можно вырезать с помощью шаблона обработки.
Какой использовать шаблон?

Изображение
Смотрите исходный код, затем лишнее изображение вырезайте.
По картинке ничего не скажешь, нужно код донора смотреть. У каждого разный код.
Главная часть любого оружия, есть голова его владельца. Заказ лент WPGrabber

Ответить