Softeer Data Engineering WIKI

개요

Softeer Data Engineering 코스를 수강하며 수행한 과제와 학습 내용을 정리한 저장소입니다.

디렉터리 구조

softeer
├─ .python-version
├─ README.md
├─ missions
│  ├─ W0
│  └─ W1
│     ├─ M1
│     │  ├─ column_info.md
│     │  ├─ data_exploration.ipynb
│     │  └─ mtcars.csv
│     ├─ M2
│     │  ├─ learning_sql.ipynb
│     │  └─ test.db
│     └─ M3
│        ├─ data
│        │  ├─ Countries_by_GDP.json
│        │  ├─ Countries_by_GDP_etl_processed.json
│        │  ├─ World_Economies.db
│        │  └─ country_regions.json
│        ├─ etl_project_gdp.py
│        ├─ etl_project_gdp_visualization.ipynb
│        ├─ etl_project_gdp_with_sql.py
│        ├─ etl_project_gdp_with_sql_visualization.ipynb
│        ├─ log
│        │  ├─ etl_project_log.txt
│        │  └─ etl_project_log_etl_processed.txt
│        ├─ processor
│        │  ├─ __init__.py
│        │  ├─ extractor.py
│        │  ├─ io_handler.py
│        │  ├─ json_loader.py
│        │  ├─ sqlite_loader.py
│        │  └─ transformer.py
│        └─ utils
│           ├─ __init__.py
│           └─ logging.py
├─ poetry.lock
├─ pyproject.toml
├─ retrospect
│  ├─ 2025-01-02.md
│  ├─ 2025-01-03.md
│  ├─ 2025-01-06.md
│  └─ 2525-01-07.md
└─ self_study
   ├─ learning_pandas
   │  ├─ data.csv
   │  └─ pandas.ipynb
   └─ testing_parallellism.ipynb