Гибкое сканирование
Начните с сайта, списка URL или XML-карты сайта. Задайте глубину, число страниц и частоту запросов.
ПОРТФОЛИО / ВЕБ И SEO
Deep Crawling.
Исследовать сайт.
Понять его связи.
Проект в моём портфолио, посвящённый сканированию сайтов и техническому SEO: переходить от страницы к странице, находить проблемы и понимать, что стоит улучшить.
ОТ АДРЕСА К РЕЗУЛЬТАТУБолее полная картина
Более полная картина
вашего сайта.
Репозиторий объединяет движок сканирования, веб-интерфейс и инструменты для работы с результатами. Каждая функция помогает решать конкретную задачу анализа.
SEO каждой страницы
Проверяйте заголовки, описания, структуру заголовков, canonical, hreflang и директивы. Собирайте данные для поиска пропусков и дубликатов.
Ссылки и ответы HTTP
Исследуйте внутренние и внешние ссылки, коды ответа, перенаправления и адреса, которые не отвечают.
Сайты с JavaScript
Дополнительный рендеринг через Playwright позволяет анализировать содержимое, созданное в браузере, наряду с исходным HTML.
Проекты и отчёты
Сохраняйте сканирования, импортируйте и экспортируйте проекты. Работайте с результатами в отчётах и форматах CSV и JSON.
Автоматизация
Командная строка и планировщик позволяют повторять сканирования. После настройки доступны уведомления через вебхуки и электронную почту.
ОТ СВЯЗЕЙ К РЕШЕНИЯМЛюбознательность
Любознательность
выходит за пределы радио.
Deep Crawling добавляет в моё портфолио ещё одно направление экспериментов: связь между программным обеспечением, данными и качеством веб-сайтов. Мне интересно делать проблемы видимыми и создавать инструменты, которые помогают понять их прежде, чем что-либо менять.
КОД, ДОКУМЕНТАЦИЯ И АВТОРСТВО
Проект для изучения.
Исходный код открыт, проект продолжает развиваться. В README описан локальный запуск с Python или Docker. На момент проверки опубликованных релизов не было: начать знакомство можно с репозитория.
В коде и документации сохранены ссылки на LibreCrawl. Лицензия MIT сохраняет исходное уведомление об авторском праве Phiality; сведения об авторах и условия использования доступны в репозитории.
Источники проверены 31 октября 2026 года: README, исходный код, лицензия и таблица функций. Наличие функции в коде не означает, что она проверена на каждом сайте или внешнем сервисе.