Заказать обратный звонок
Сборщик плагинов и шаблонов из разных источников.

На сайте вы найдете все плагины,
что существуют для DLE и все шаблоны.
DLE-X » Плагины для DLE » SelfParser - универсальный парсер контента

SelfParser - универсальный парсер контента

  • ID плагина: 300
Описание Отзывы и вопросы (0)

Доступ к демо:

  • Админка сайта:
  • Логин / пароль: dev / dev
  • Админка парсера: перейти
  • Логин / пароль: selfparser / selfparser

Описание

Требования:

Версия SelfParser 3.7
Версия PHP 7.2 - 7.4
Dle 14.X - 15 (за доплату можно настроить под любую) IonCube Loader
SelfParser - универсальный парсер новостей, товаров. Сам парсер не требует базу данных, полученные данные Вы можете сохранять в любой формат. Что бы понять принцип работы парсера, читайте эту статью до конца. На днях выложу новое видео, так как то что сейчас, это по старой версии.



Особенности и работа парсера

Как я уже сказал, парсер работает сам по себе и не требует подключение базы данных. Он получает контент и отдает его обработчику, который может написать любой знающий PHP программист. Но не пугайтесь. На данный момент в комплекте уже есть один обработчик, который работает конкретно с DLE. Сейчас парсер может собирать данные, такие как текст, картинки, файлы, при этом все заливает на Ваш сервер Подходит для парсинга торрентов, игр и т.д. всего что есть на сайте. Так же есть авторизация, но работает пока с DLE сайтами.

Если у меня другая CMS

Ещё раз обращаю внимание, что если у Вас другая CMS, и вы владеете PHP, Вам всего лишь останется взять полученные данные и залить их в базу или куда нужно, хоть в файл сохранять. Парсер за один проход выполняет сбор по одной странице.

Если Вы желаете написать свой обработчик, я подскажу как и куда положить, хотя профи итак догадается :D.
Парсер отдает полученный результат в кодировке UTF-8, далее в обработчике Вы можете конвертировать если нужно в любую другую кодировку. Вы можете посмотреть обработчик для DLE и все поймете.

Возможности

  • Независимая админка.
  • Парсер работает не зависимо от того, какая CMS установлена и установлена ли вообще.
  • Возможность создавать неограниченное количество шаблонов (сайтов для парсинга).
  • Может получать данные как с сайтов кодировка которых windows-1251 так и UTF-8, а так же конвертировать все полученные данные или отдельный контент в UTF-8.
  • Может получать картинки и файлы из контента. Обработчик DLE их сохраняет вам на сервер и заменяет пути картинок в контенте на ваши, и файлы сохраняет к вам на сервер в папку uploads/files/... как положено и добавляет их в дополнительные поля или просто в файловый менеджер, если нет соответствующего дополнительного поля.
  • При создании шаблона, можно проверить его работу, как он получает контент.
  • Парсить контент как с HTML тегами, так и без них.
  • Включение / выключение шаблонов.
  • Удобная группировка шаблонов.
  • Ведение логов.
  • Просмотр процессов.
  • Статус активности.
  • Возможность парсить данные через прокси SOCKS5, в формате IP:PORT.
  • Возможность удалять скрипты или не удалять.
  • Возможность удалять ненужные элементы из полученного контента.
  • Возможность заменять или вырезать слова, фразы, код из полученного контента как по точному совпадению, так и по регулярному выражению.
  • Парсер обходит каждый созданный Вами шаблон по очереди и проходится по всем новостям или товарам донора. Обработчик DLE сохраняет новость если такой ещё нет (сверяется по заголовку). Если новость уже есть, он переходит к парсингу нового шаблона и так по кругу.
  • Работа по крону через простой HTTP запрос.
  • Адаптивная панель управления.
  • Для DLE:
    - возможность добавлять полученные данные в доп поля (текст, картинки, галерею и т.д.)
    - добавлять данные как в одну, так и сразу в несколько категорий на сайт.
    - добавлять новые посты сразу или ставить на модерацию.

Для идеальной работы парсера по крону, необходимо установить запуск не менее 1 - 2 раза в минуту.

Демо даю по запросу. Деньги после покупки не возвращаются, поэтому тестируйте в демке, если нравится, покупайте.
Парсер не работает с AJAX сайтами, которые не имеют пагинацию.

Цены

1 лицензия = 1 домен.
  • 10 т.р. - 10 лицензий + 2 бесплатных обновлений не включая обновления из первого пункта.
  • 20 т.р. - неограниченное кол-во лицензий + бесплатное обновление до момента реализации страниц настроек и логов (включая).
  • 50 т.р. - полный без лимит. Бесплатные обновления и поддержка.
Дополнительно:
    от 200 р. за настройку одного шаблона, если не получается настроить самому. Цена зависит от кол-во доп. полей и сложности их получения.

Обновление SelfParser 1.3

Новые функции и возможности парсера:
  • Добавлена возможность парсить сайты через прокси.
    Список прокси указывается в файле selfparser/data/proxy.txt в формате (IP:port). Каждый новые прокси с новой строки. Не оставляйте пустых строк.
    Если файл пустой, то парсер работает в обычном режиме.
  • Добавлен функционал, который умеет заменять или вырезать слова, фразы или код из полученных данных.
    Есть как простая замена так и с регулярными выражениями, что позволяет очень гибко настроить получение нужных данных.
  • Реализованы все страницы: логи, процессы, настройки, прямая ссылка на запуск, faq.
    Логи показывают такие данные как:
    - старт парсера;
    - запуск, остановка парсера;
    - прокси и время получения данных в секундах;
    - ссылка на источник, ID новости с ссылкой на новость, которая уже есть на сайте (информация о том, что новость не была добавлена);
    - информация о переключении шаблона или о невозможности получить контент;
    - размер файла логов на первой строке. При достижении 1Mb удаляется первая строка и добавляется новая, что позволяет предотвратить нагрузку. Файл обновляется автоматически (через AJAX). Есть кнопка пауза, что бы остановить обновление и просмотреть нужную строчку в логов.
  • Добавлена возможность сохранения картинок на сайт в дополнительные поля как одного изображения, так и галереи, читайте далее.
Добавление и загрузка картинок на сайт раньше работала только из полученного контента, см. видео. Теперь есть возможность загружать изображения через опцию (картинки). Как это делается читайте далее.
  1. Выбираете получить элемент -> картинки.
  2. В поле название поля если указать XF-fieldname | свое название, то полученные изображения будут добавляться в доп поле fieldname. При этом в поле код должен быть указан путь к картинке, например .sidebar img:eq(0) - найдет первую картинку из элемента с классом sidebar.
Если вы хотите загружать изображения в поле с одним изображением, то в поле код должно быть указан код для получения только одного изображения, иначе в доп.поле ничего не запишется.
Если вы хотите загружать в галерею изображений, то в поле код должно быть указано получение несколько изображений.
Если приставку XF-... не указывать, то полученные изображения, просто будут загружены на ваш сайт, но нигде не будут присутствовать в базе DLE.
Эта функция ещё в тестовом режиме, но все работает пока хорошо. Все ваши пожелания пишите в комментариях.

Все Ваши вопросы и пожелания пишите в комментариях или в поддержку.

За получением ключа обращайтесь в поддержку, указав адрес сайта, где будет установлен парсер.
Установка парсера бесплатна.

Обновление SelfParser 1.5

  1. Добавлена возможность включать / выключать шаблон на странице списка шаблонов.
  2. Добавлена функция копирования шаблонов.
  3. Изменена логика обработки шаблонов. Выключенные шаблоны теперь не обрабатываются, тем самым не тратя 1 минуту за просмотр одного шаблона.
  4. В обработчике можно указать теперь префикс базы, а так же добавлена возможность получать ссылку на источник в доп поле. По умолчанию дополнительное поле должно называться source. Его можно изменить так же в обработчике.



Обновлен обработчик. Теперь можно при парсинге файлов, например торрентов или подобных, загружать его в дополнительное поле.
Просто замените обработчик.
Не забудьте изменить доступы в этом файле, к базе и $dle_config.
что бы файл загружался в доп поле, укажите его в элементе files_fields.

Обновление SelfParser 2.1

Смотрите скриншоты во вкладке выше...

Полностью переделан обработчик.
Добавлены настройки в шаблон.
Исправлены баги с загрузкой файлов.
Добавлены стандартные функции от DLE, для обработки данных.

Обновление SelfParser 3.2

1. Добавлена настройка продолжения обработки постов на уровне шаблона. Т.е. когда парсер дошел до новости, которая у вас уже имеется, он будет дальше идти по постам данного шаблона находя новости, которых ещё нет в базе и добавляя их и пропуская те которые есть.
2.Усовершенствован функционал по простой замене и по регулярному выражению. Добавлено поле, которое принимает значение (название поля) по которому производить замену, не затрагивая весь контент. Т.е. Вы можете произвести замену в конкретном поле.
3. Для поля файл, добавлена возможность указать тип ссылки. Это только для сайтов-доноров, которые на DLE. Когда ссылка скрыта, смотрите пример.
Находите ссылку, ставите чекбокс и видите, что ссылка воспринимается правильно.

Обновление SelfParser 3.4

1. Исправлены некоторые баги.
2. Добавлена возможность парсить изображения, которые работают через LazyLoad. Причем это работает автоматически, не требует никаких вмешательств.
3. Изменено немного оформление.

Обновление SelfParser 3.9

  1. Добавлена сортировка шаблонов. В каком порядке их отсортировали. в таком они и будут парситься. При добавлении нового шаблона следует выполнить перестроение, что бы оно применилось. Неактивные шаблоны не попадают под сортировку.
  2. Очистка логов и процессов по крону.
  3. Исправлен баг, когда последняя страница не парсилась.
  4. Исправлен баг с картинками, если на доноре работает LazyLoad.
  5. Исправлена мобильная верстка. Изменен стиль логов и некоторых элементов в парсере.

Обновление SelfParser 2.1

Смотрите скриншоты во вкладке выше...

Полностью переделан обработчик.
Добавлены настройки в шаблон.
Исправлены баги с загрузкой файлов.
Добавлены стандартные функции от DLE, для обработки данных.

Скриншоты

  • Шаблон парсера
  • Получение данных
  • Список шаблонов парсера
  • Настройки парсера
  • Логи парсера
Источник: https://kylaksizov.ru/150-selfparser.html
Прокомментировать
Кликните на изображение чтобы обновить код, если он неразборчив
Другие плагины:
[KS] Kylshop 5.3
отзывов {comments-num}
[KS] Kylshop 5.3
Описание Требования: Версия DLE:13.X - 14.X PHP: >= 7.1 PHP модуль: IonCube Loader О плагинеС помощью плагина Kylshop, вы можете создать
Плагины для DLE
[KS] AMP - плагин генератор amp страниц для DLE
отзывов {comments-num}
[KS] AMP - плагин генератор amp страниц для DLE
Описание Требования: PHP 7.1, 7.2 и IonCube Loader Кодировка: UTF-8 Версия DLE: 14.0 (но можно подстроить за доплату и для самых низких версий). [KS]
Плагины для DLE
Dle Editor - визуальный редактор для DLE
отзывов {comments-num}
Dle Editor - визуальный редактор для DLE
Описание Требования: Версия DLE: любая (если не станет на вашу версию, обращайтесь.) PHP: 7.1 PHP модуль: IonCube Loader О плагинеDle Editor - это
Плагины для DLE
Интернет магазин Kylshop Real 2.2 - DLE 10.x - 11.x
отзывов {comments-num}
Интернет магазин Kylshop Real 2.2 - DLE 10.x - 11.x
Описание Представляю Вам новую версию полноценного магазина созданного на dle. Данный магазин представляет из себя сборку самого DLE + модуль kylshop
Плагины для DLE
AMP страницы из версии для печати
отзывов {comments-num}
AMP страницы из версии для печати
Плагин генерации AMP страниц для DLE, теперь на основе версии для печати. Перед тем как устанавливать плагин, сделайте резервную копию файла
Плагины для DLE