Функции Website Extractor
Программа позволяет легко загружать сайты целиком или нужные разделы. Она идеально подойдет исследователям, журналистам, студентам, аналитикам и маркетологам, полностью меняя подход к сбору важной информации и цифровых материалов из интернета. С Website eXtractor достаточно ввести URL нужного сайта и наблюдать, как программа автоматически скачивает весь сайт или отдельные элементы — изображения, документы, страницы.
Но Website eXtractor — это не только про загрузку данных. После того как вы собрали нужную информацию, вы можете использовать DB Maker — мощный инструмент для анализа данных. Он поможет найти скрытые закономерности, провести глубокий анализ контента и сформировать детальные отчеты, которые дают конкурентное преимущество.
Встречайте эпоху упрощенного сбора веб-данных с Website eXtractor. Интуитивный интерфейс в сочетании с современными функциями делает процесс сбора информации максимально простым. Вы можете фильтровать данные по доменам, использовать расширенные фильтры по ключевым словам, а также просматривать сайты онлайн и офлайн через встроенный браузер. Более того, программа автоматически преобразует HTML-ссылки в относительные, что упрощает перенос информации между дисками.
Система фильтрации Website eXtractor — это отдельный уровень. Вы можете выбрать для скачивания только те файлы, которые вам действительно нужны, отсеяв лишний «шум». Также вы можете задать глубину загрузки сайта, например, скачать только главные страницы, исключив второстепенные.
С Website eXtractor массовая загрузка сайтов на компьютер становится реальностью. Больше не нужно вручную кликать по сотне ссылок — просто запустите процесс, налейте себе кофе, и вернувшись, найдете все нужные файлы аккуратно разложенными по папкам для офлайн-просмотра.
Website eXtractor также полезен веб-мастерам и компаниям. Вы можете создавать базы данных из скачанного контента с помощью DB Maker, формируя полный цифровой архив. Если планируете перенос сайта на другой хостинг — программа поможет клонировать сайт и быстро перенести его на новый сервер.
Откройте для себя возможности Website eXtractor, которые меняют представления о веб-навигации, сборе и анализе данных. Скачивайте, извлекайте и анализируйте веб-контент легко и уверенно.
Встречайте эпоху упрощенного сбора веб-данных с Website eXtractor. Интуитивный интерфейс в сочетании с современными функциями делает процесс сбора информации максимально простым. Вы можете фильтровать данные по доменам, использовать расширенные фильтры по ключевым словам, а также просматривать сайты онлайн и офлайн через встроенный браузер. Более того, программа автоматически преобразует HTML-ссылки в относительные, что упрощает перенос информации между дисками.
Система фильтрации Website eXtractor — это отдельный уровень. Вы можете выбрать для скачивания только те файлы, которые вам действительно нужны, отсеяв лишний «шум». Также вы можете задать глубину загрузки сайта, например, скачать только главные страницы, исключив второстепенные.
С Website eXtractor массовая загрузка сайтов на компьютер становится реальностью. Больше не нужно вручную кликать по сотне ссылок — просто запустите процесс, налейте себе кофе, и вернувшись, найдете все нужные файлы аккуратно разложенными по папкам для офлайн-просмотра.
Website eXtractor также полезен веб-мастерам и компаниям. Вы можете создавать базы данных из скачанного контента с помощью DB Maker, формируя полный цифровой архив. Если планируете перенос сайта на другой хостинг — программа поможет клонировать сайт и быстро перенести его на новый сервер.
Откройте для себя возможности Website eXtractor, которые меняют представления о веб-навигации, сборе и анализе данных. Скачивайте, извлекайте и анализируйте веб-контент легко и уверенно.
Общие настройки Offline Browser
Чтобы добиться максимальной производительности, рекомендуется настроить основные параметры программы перед началом работы:
Чтобы добиться максимальной производительности, рекомендуется настроить основные параметры программы перед началом работы:
- Запустите программу.
- Перейдите в меню и выберите «Параметры по умолчанию» или аналогичный пункт, который открывает окно с настройками.
- В появившемся окне измените параметры в соответствии со своими предпочтениями.
Сначала определите каталог (или новый путь), в котором вы хотите сохранить файлы проекта, а также каталог, куда будут загружаться файлы из интернета.
Теперь рассмотрим доступные функции:
1. Перезапись и загрузка всех файлов
Эта опция позволяет сохранять файлы прямо на жесткий диск, при этом перезаписывая уже существующие файлы с тем же именем. Так вы всегда будете иметь самые актуальные версии.
2. Автоматическое следование новым ссылкам/URL
При включении этой функции программа будет автоматически находить и загружать дополнительные сайты, на которые ведут ссылки с просматриваемого сайта. Это удобный способ углубиться в смежные страницы и собрать больше данных.
3. Ограничение только исходным списком доменов
Эта настройка позволяет ограничить загрузку только теми сайтами, которые вы указали в исходном списке. Иными словами, если опция включена, программа не будет скачивать контент с сайтов, на которые есть ссылки с целевого сайта, но которых нет в исходном списке. Это помогает получать строго тот контент, который вы запросили.
Например, если в исходном списке:
internet-soft.com
softwarea.com
и вы не хотите скачивать данные с других доменов, связанных с ними, — эта опция идеально подойдет.
4. Извлечение локальных ссылок
Активируйте, чтобы программа искала локальные ссылки на исследуемом сайте — то есть ссылки, которые ведут на другие страницы и документы внутри того же сайта.
5. Извлечение только внешних ссылок
Включите эту функцию, если хотите загружать только страницы, ведущие на внешние сайты, то есть на другие домены.
Используя эти опции по максимуму, вы сможете гибко настроить процесс извлечения данных под свои конкретные задачи.
Теперь рассмотрим доступные функции:
1. Перезапись и загрузка всех файлов
Эта опция позволяет сохранять файлы прямо на жесткий диск, при этом перезаписывая уже существующие файлы с тем же именем. Так вы всегда будете иметь самые актуальные версии.
2. Автоматическое следование новым ссылкам/URL
При включении этой функции программа будет автоматически находить и загружать дополнительные сайты, на которые ведут ссылки с просматриваемого сайта. Это удобный способ углубиться в смежные страницы и собрать больше данных.
3. Ограничение только исходным списком доменов
Эта настройка позволяет ограничить загрузку только теми сайтами, которые вы указали в исходном списке. Иными словами, если опция включена, программа не будет скачивать контент с сайтов, на которые есть ссылки с целевого сайта, но которых нет в исходном списке. Это помогает получать строго тот контент, который вы запросили.
Например, если в исходном списке:
internet-soft.com
softwarea.com
и вы не хотите скачивать данные с других доменов, связанных с ними, — эта опция идеально подойдет.
4. Извлечение локальных ссылок
Активируйте, чтобы программа искала локальные ссылки на исследуемом сайте — то есть ссылки, которые ведут на другие страницы и документы внутри того же сайта.
5. Извлечение только внешних ссылок
Включите эту функцию, если хотите загружать только страницы, ведущие на внешние сайты, то есть на другие домены.
Используя эти опции по максимуму, вы сможете гибко настроить процесс извлечения данных под свои конкретные задачи.
Количество соединений
В этой опции вы можете задать число одновременных соединений. Обычно рекомендуется использовать от 5 до 10 соединений. Однако оптимальное значение может зависеть от скорости и возможностей вашего интернет-провайдера.
Интервал автоматического сохранения
Позволяет автоматически сохранять прогресс через заданное количество минут. Эта настройка определяет частоту промежуточного сохранения результатов.
Тайм-аут соединения
Укажите максимальное время (в секундах), отведенное на загрузку каждого отдельного документа. По истечении этого времени программа переходит к следующему файлу.
Количество повторных попыток
Задайте, сколько раз программа должна пытаться повторно загрузить документ при сбое. Установите предпочтительное количество попыток, и программа будет их выполнять.
Копирование структуры подкаталогов сайта
Включите эту опцию, чтобы на жестком диске воспроизводилась структура каталогов сайта. При активной функции директории будут сохранены так же, как на оригинальном сайте.
Нормализация доменных имен
Некоторые сайты могут пропускать префикс «www» в ссылках, что может привести к дублирующей загрузке. При включении этой функции программа будет воспринимать адреса INTERNET-SOFT.COM и WWW.INTERNET-SOFT.COM как одинаковые и автоматически добавлять «www», если необходимо.
Визуальное отображение дерева загрузки
Эта функция позволяет визуально отображать иерархию загружаемых сайтов, чтобы вы могли видеть ветви текущей загрузки.
Идентификация браузера
Определяет, как программа будет представляться серверу во время загрузки, имитируя поведение браузера для корректной работы.
Параметры прокси-сервера
Укажите здесь параметры прокси-сервера, если вы его используете. Также можно настроить дополнительные параметры поиска и загрузки по ссылкам.
⚠️ Внимание: Интернет огромен — загрузка большого числа страниц может потребовать значительных ресурсов компьютера и дискового пространства. Несколько часов работы могут занять несколько гигабайт.
Фильтрация файлов по типу и размеру
Позволяет указать, какие типы файлов загружать, а также задать ограничения по размеру. Полезно, если вы хотите, например, исключить изображения или слишком большие файлы. Просто отметьте нужные расширения файлов, и программа будет их учитывать. Можно также задать минимальный и максимальный размер загружаемых файлов.
Фильтрация по URL/домену
Позволяет задать ограничения по каталогам, доменам или именам файлов. Введите нужные термины для управления процессом загрузки. Фильтр можно настроить как на включение, так и на исключение определенных элементов.
Ограничения по доменам
Позволяет задавать ограничения по типу домена или стране. После выбора настройки будут применяться по умолчанию.
После того как вы завершите настройку, параметры сохраняются как стандартные. При создании нового проекта они подгружаются автоматически, но могут быть изменены индивидуально для каждого проекта. По сути, «проект» — это полный набор настроек, определяющих, какой сайт и его элементы вы хотите загрузить.
Чтобы скачать сайт:
В этой опции вы можете задать число одновременных соединений. Обычно рекомендуется использовать от 5 до 10 соединений. Однако оптимальное значение может зависеть от скорости и возможностей вашего интернет-провайдера.
Интервал автоматического сохранения
Позволяет автоматически сохранять прогресс через заданное количество минут. Эта настройка определяет частоту промежуточного сохранения результатов.
Тайм-аут соединения
Укажите максимальное время (в секундах), отведенное на загрузку каждого отдельного документа. По истечении этого времени программа переходит к следующему файлу.
Количество повторных попыток
Задайте, сколько раз программа должна пытаться повторно загрузить документ при сбое. Установите предпочтительное количество попыток, и программа будет их выполнять.
Копирование структуры подкаталогов сайта
Включите эту опцию, чтобы на жестком диске воспроизводилась структура каталогов сайта. При активной функции директории будут сохранены так же, как на оригинальном сайте.
Нормализация доменных имен
Некоторые сайты могут пропускать префикс «www» в ссылках, что может привести к дублирующей загрузке. При включении этой функции программа будет воспринимать адреса INTERNET-SOFT.COM и WWW.INTERNET-SOFT.COM как одинаковые и автоматически добавлять «www», если необходимо.
Визуальное отображение дерева загрузки
Эта функция позволяет визуально отображать иерархию загружаемых сайтов, чтобы вы могли видеть ветви текущей загрузки.
Идентификация браузера
Определяет, как программа будет представляться серверу во время загрузки, имитируя поведение браузера для корректной работы.
Параметры прокси-сервера
Укажите здесь параметры прокси-сервера, если вы его используете. Также можно настроить дополнительные параметры поиска и загрузки по ссылкам.
⚠️ Внимание: Интернет огромен — загрузка большого числа страниц может потребовать значительных ресурсов компьютера и дискового пространства. Несколько часов работы могут занять несколько гигабайт.
Фильтрация файлов по типу и размеру
Позволяет указать, какие типы файлов загружать, а также задать ограничения по размеру. Полезно, если вы хотите, например, исключить изображения или слишком большие файлы. Просто отметьте нужные расширения файлов, и программа будет их учитывать. Можно также задать минимальный и максимальный размер загружаемых файлов.
Фильтрация по URL/домену
Позволяет задать ограничения по каталогам, доменам или именам файлов. Введите нужные термины для управления процессом загрузки. Фильтр можно настроить как на включение, так и на исключение определенных элементов.
Ограничения по доменам
Позволяет задавать ограничения по типу домена или стране. После выбора настройки будут применяться по умолчанию.
После того как вы завершите настройку, параметры сохраняются как стандартные. При создании нового проекта они подгружаются автоматически, но могут быть изменены индивидуально для каждого проекта. По сути, «проект» — это полный набор настроек, определяющих, какой сайт и его элементы вы хотите загрузить.
Чтобы скачать сайт:
- В главном меню выберите «Проект» и нажмите «Создать».
- В появившемся окне введите адрес сайта, который хотите скачать.
- Нажмите «Загрузить/Извлечь», чтобы начать процесс.
- Ход загрузки будет отображаться в нижней панели.
Карта сайта – структура сайта
В левой части интерфейса программы находится панель, которая динамически формирует карту сайта на основе ссылок, обработанных программой. Щелчок правой кнопкой мыши по этой области открывает контекстное меню. Обратите внимание, что карта заполняется автоматически при включенной функции «Следовать новым ссылкам». В этой панели можно удалять лишние ссылки или копировать их для использования в других местах. Дополнительные настройки доступны через меню «Параметры» или «Параметры проекта» — там можно тонко настроить критерии фильтрации и глубину загрузки.
В левой части интерфейса программы находится панель, которая динамически формирует карту сайта на основе ссылок, обработанных программой. Щелчок правой кнопкой мыши по этой области открывает контекстное меню. Обратите внимание, что карта заполняется автоматически при включенной функции «Следовать новым ссылкам». В этой панели можно удалять лишние ссылки или копировать их для использования в других местах. Дополнительные настройки доступны через меню «Параметры» или «Параметры проекта» — там можно тонко настроить критерии фильтрации и глубину загрузки.
Онлайн / офлайн предпросмотр
В правой части интерфейса расположено окно для просмотра веб-страниц. Оно работает как в онлайн, так и в офлайн-режиме, имитируя функции стандартного браузера: вы можете просматривать страницы, переходить по ссылкам и навигировать по сайту привычным образом. Щелчок правой кнопкой открывает локальное контекстное меню. Окно можно переместить или закрыть через главное меню программы. Вы можете просматривать страницы онлайн или офлайн даже в то время, когда продолжается загрузка других документов.
Любую ссылку можно легко скопировать в буфер обмена и вставить:
Программа также предлагает ряд других полезных функций. Например, если у вас есть текстовый файл со списком сайтов, которые вы хотите загрузить, вы можете импортировать этот список прямо в окно сайтов с помощью кнопки «Загрузить».
В правой части интерфейса расположено окно для просмотра веб-страниц. Оно работает как в онлайн, так и в офлайн-режиме, имитируя функции стандартного браузера: вы можете просматривать страницы, переходить по ссылкам и навигировать по сайту привычным образом. Щелчок правой кнопкой открывает локальное контекстное меню. Окно можно переместить или закрыть через главное меню программы. Вы можете просматривать страницы онлайн или офлайн даже в то время, когда продолжается загрузка других документов.
Любую ссылку можно легко скопировать в буфер обмена и вставить:
- в список сайтов, поставленных в очередь на загрузку, или
- в автоматически созданную карту сайта.
Программа также предлагает ряд других полезных функций. Например, если у вас есть текстовый файл со списком сайтов, которые вы хотите загрузить, вы можете импортировать этот список прямо в окно сайтов с помощью кнопки «Загрузить».
