Merge pull request #1 from ARMrus/docker_srv_dev

Docker srv dev

Author: ARMrus

.gitignore

@@ -1,2 +1,2 @@
 # created by virtualenv automatically
-*
+.secret.txt

Dockerfile

@@ -0,0 +1,82 @@
+FROM python:3 AS build
+
+LABEL developer="Duff89"
+LABEL maintainer="armrus.org"
+
+# Installing required build packages
+RUN set -ex && \
+    apt-get update && \
+    apt-get autoremove -y && \
+    rm -rf /var/lib/apt/lists/*
+
+# Set timezone
+ENV TZ="Europe/Moscow"
+RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && \
+    echo $TZ > /etc/timezone
+
+ENV PATH="/usr/local/bin:$PATH"
+ENV LANG="C.UTF-8"
+
+COPY requirements.txt /parse_avito/requirements.txt
+# COPY AvitoParser.py /parse_avito/AvitoParser.py
+COPY custom_exception.py /parse_avito/custom_exception.py
+COPY db_service.py /parse_avito/db_service.py
+COPY lang.py /parse_avito/lang.py
+COPY locator.py /parse_avito/locator.py
+COPY parser_cls.py /parse_avito/parser_cls.py
+COPY settings.ini /parse_avito/settings.ini
+COPY user_agent_pc.txt /parse_avito/user_agent_pc.txt
+COPY xlsx_service.py /parse_avito/xlsx_service.py
+COPY entrypoint.sh /parse_avito/entrypoint.sh
+RUN chmod +x /parse_avito/entrypoint.sh
+
+# будем собирать из параметров для создания контейнера
+ENV URL_AVITO="https://www.avito.ru/sankt-peterburg/tovary_dlya_kompyutera?cd=1&q=%%D0%%B2%%D0%%B8%%D0%%B4%%D0%%B5%%D0%%BE%%D0%%BA%%D0%%B0%%D1%%80%%D1%%82%%D0%%B0+rtx"
+ENV CHAT_ID_TG=0
+ENV TG_TOKEN=""
+ENV NUM_ADS_AVITO=3
+ENV FREQ_AVITO=60
+ENV KEYS_AVITO=""
+ENV KEYS_BLACKS_AVITO=""
+ENV MAX_PRICE_AVITO=200000000
+ENV MIN_PRICE_AVITO=0
+ENV GEO_AVITO=""
+ENV PROXY_AVITO=""
+ENV PROXY_CHANGE_IP_AVITO=""
+ENV NEED_MORE_INFO_AVITO=1
+ENV DEBUG_MODE_AVITO=1
+ENV FAST_SPEED_AVITO=1
+ENV MAX_VIEW_AVITO=0
+ENV KEYS_BLACK_AVITO=""
+
+
+WORKDIR /parse_avito
+RUN pip install -r requirements.txt
+RUN apt-get update && apt-get install -y \
+    fonts-liberation \
+    libasound2 \
+    libatk-bridge2.0-0 \
+    libatk1.0-0 \
+    libatspi2.0-0 \
+    libcups2 \
+    libdbus-1-3 \
+    libdrm2 \
+    libgbm1 \
+    libgtk-3-0 \
+#    libgtk-4-1 \
+    libnspr4 \
+    libnss3 \
+    libwayland-client0 \
+    libxcomposite1 \
+    libxdamage1 \
+    libxfixes3 \
+    libxkbcommon0 \
+    libxrandr2 \
+    xdg-utils \
+    libu2f-udev \
+    libvulkan1
+RUN wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb
+RUN dpkg -i --force-depends google-chrome-stable_current_amd64.deb
+RUN apt --fix-broken install
+# ENTRYPOINT ["python", "./parser_cls.py"]
+ENTRYPOINT ["sh", "entrypoint.sh"]

README.md

@@ -12,7 +12,7 @@
 - Установка количества проверяемых страниц
 - Установка паузы между повторами
 - Уведомление в telegram как опция (может быть несколько получателей), также результат сохраняется в result/keyword*.xlsx и выводится в окно
-- Хранение уже просмотренных объявлений, т.е. дубли игнорируются
+- Хранение уже просмотренных объявлений, т.е. дубли игнорируются (если на них не поменялась цена)
 - Обнаружения изменения цены для уже просмотренных объявлений
 - Автоматический обход бана по IP со стороны Авито
 - Присылает только объявления, которые подходят под нужные параметры (слова-ключи, стоп-слова, гео, цена, макс. кол-во просмотров), если они указаны конечно
@@ -22,6 +22,8 @@
 ### Обзор возможностей и другие детали:
 [youtube](https://youtu.be/q3BlBiLId40) - обзор последней версии, настоятельно рекомендую посмотреть
 
+[youtube](https://youtu.be/CjFQ8zCG1Z0) - подробная инструкция как это всё запустить на удаленном сервере (vps)
+
 [youtube playlist](https://www.youtube.com/playlist?list=PLK9kK8z0fpqxPakGZvxo7y6HtCBTYihUF) - плейлист о том, как это создавалось
 
 ### Прокси
@@ -31,7 +33,7 @@
 При покупке обязательно выбирайте страну "Россия"
 
 ### Установка
-Если Ваша платформа - Windows 10 или 11, можете использовать портативную версию [скачать](https://disk.yandex.by/d/PdX-1By1l0zCAA) (обновлено 15.12.2024), распаковать архив, запустить parse_avito.exe). Первый запуск может длиться около 1 минуты - это нормально. В этом случае никаких зависимостей устанавливать не нужно.
+Если Ваша платформа - Windows 10 или 11, можете использовать портативную версию [скачать](https://disk.yandex.by/d/PdX-1By1l0zCAA) (обновлено 15.12.2024), распаковать архив, запустить parse_avito.exe от имени администратора). Первый запуск может длиться около 1 минуты - это нормально. В этом случае никаких зависимостей устанавливать не нужно.
 
 
 Для работы требуется Python 3.11+. Скопируйте проект и установите зависимости:
@@ -71,16 +73,26 @@
 - При нажатии на кнопку Test в скрипте, Вам должно прийти сообщение. Если нет, перезагрузите скрипт и попробуйте еще раз
 
 
+### Docker
+```bash
+  sudo docker build -t avito_parser:v0.1 .
+```
+```bash
+sudo docker run -it -e URL_AVITO="https://www.avito.ru/all?q=kawasaki+1000sx https://www.avito.ru/all?q=kawasaki+ninja+1000" -e TG_TOKEN="XXXXXXXXXX:XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX" -e CHAT_ID_TG="-XXXXXXXXXX" -e FAST_SPEED_AVITO=250 -e MAX_VIEW_AVITO=4 -e MIN_PRICE_AVITO=700000 -e KEYS_AVITO="" --mount type=bind,source=/home/alex/AvitoDataKava,destination=/parse_avito/result avito_parser:v0.1 avito
+
+```
+
+
 ### Проблемы
 
 При обнаружении ошибок, пишите в https://github.com/Duff89/parser_avito/issues.
 Пожалуйста, указывайте не только ошибку, но и информацию о Вашей ОС, версию скрипта, способ запуска и т.д.
-Для прямой связи с автором, пишите: sergeichopolovich1989@gmail.com
+Для прямой связи с автором, пишите: sergeichopolovich1989@gmail.com. 
+Письма с текстом: "у меня не запускается" будут игнорироваться, для этого есть issues
 
 
 ### Поддержка развития проекта
 
 Ваша поддержка очень важна для дальнейшего и регулярного развития данного скрипта.
 Поддержать можно по ссылке: https://yoomoney.ru/to/410014382689862
 или простым переводом 2204 1201 0103 5539. Заранее спасибо
-

entrypoint.sh

@@ -0,0 +1,19 @@
+#!/bin/sh
+sed -i "s|url = .*|url = $URL_AVITO|1" settings.ini
+sed -i "s|chat_id = .*|chat_id = $CHAT_ID_TG|1" settings.ini
+sed -i "s|tg_token = .*|tg_token = $TG_TOKEN|1" settings.ini
+sed -i "s|num_ads = .*|num_ads = $NUM_ADS_AVITO|1" settings.ini
+sed -i "s|freq = .*|freq = $FREQ_AVITO|1" settings.ini
+sed -i "s|keys = .*|keys = $KEYS_AVITO|1" settings.ini
+sed -i "s|keys_blacks = .*|keys_blacks = $KEYS_BLACKS_AVITO|1" settings.ini
+sed -i "s|max_price = .*|max_price = $MAX_PRICE_AVITO|1" settings.ini
+sed -i "s|min_price = .*|min_price = $MIN_PRICE_AVITO|1" settings.ini
+sed -i "s|geo = .*|geo = $GEO_AVITO|1" settings.ini
+sed -i "s|proxy = .*|proxy = $PROXY_AVITO|1" settings.ini
+sed -i "s|proxy_change_ip = .*|proxy_change_ip = $PROXY_CHANGE_IP_AVITO|1" settings.ini
+sed -i "s|need_more_info = .*|need_more_info = $NEED_MORE_INFO_AVITO|1" settings.ini
+sed -i "s|debug_mode = .*|debug_mode = $DEBUG_MODE_AVITO|1" settings.ini
+sed -i "s|fast_speed = .*|fast_speed = $FAST_SPEED_AVITO|1" settings.ini
+sed -i "s|max_view = .*|max_view = $MAX_VIEW_AVITO|1" settings.ini
+sed -i "s|keys_black = .*|keys_black = $KEYS_BLACK_AVITO|1" settings.ini
+python parser_cls.py