Учебный парсер PythonPEP

PythonPEP - парсер официального сайта документации Python и документов PEP.

Технологии:

• Python 3.11
• requests-cache 1.0.0
• Beautiful Soup 4.9.3
• lxml 4.9.2 (парсер Beautiful Soup)
• tqdm 4.61 (прогресс-бар)

Описание

Возможности парсера:

• предоставлять ссылки на статьи о нововведениях в Python,
• предоставлять информацию о существующих версиях Python,
• скачивать архив с актуальной документацией Python,
• предоставлять список статусов документов PEP с указанием количества PEP каждого статуса.

Запуск парсера

Парсер может работать в четырех режимах:

• whats_new
• latest_versions
• download
• pep

Парсер запускается через терминал. При запуске обязательно указывается режим работы парсера.

$ python main.py whats_new

Дополнительные возможности

Парсер работает с кешем

Если требуется очистить кеш, то при запуске необходимо дополнительно указать аргумент -c или --clear-cache.

$ python main.py whats_new -c

Разные форматы вывода

Предусмотрены различные форматы вывода результатов парсинга:

• построчный вывод результатов в терминал (по умолчанию).
• вывод результатов в терминал в табличном виде.
• вывод результатов в файл.

Чтобы изменить вывод результатов, необходимо дополнительно указать аргумент -o или --output со значением pretty или file.

$ python main.py whats_new -o pretty

Логирование

В ходе работы парсера ведется журнал событий. Данный журнал хранится в папке logs.
Также настроен хендлер, который следит за объемом журнала.

Прогресс-бар

Некоторые режимы работы парсера требуют времени (whats_new и pep).
Поэтому в проекте для таких режимов реализованы прогресс-бары.
Они визуально отображают информацию о процессе прямо в терминале.

Как развернуть проект на компьютере:

1. Клонировать репозиторий c GitHub на компьютер

$ git clone https://github.com/DashaMalva/bs4_parser_pep.git

2. Создать и активировать виртуальное окружение

$ python -m venv venv
$ source venv/Scripts/activate

3. Обновить менеджер пакетов pip

$ python -m pip install --upgrade pip

4. Установить зависимости из requirements.txt

$ pip install -r requirements.txt

Лицензия

The MIT License (MIT)

Автор проекта

Студент Яндекс.Практикум,
Дарья Матвиевская