Back to Home
Data / Backend
영화 리뷰 사이트 크롤 엔진 개발
해외 드라마 데이터 자동 수집 기반 구축
Key Responsibilities
- Scrapy와 Docker를 활용한 Crawl 기반 구축·구현
Tech Stack
PythonDockerAWS
Infrastructure Strategy
☁️
Cloudflare⇄
▲
Vercel⇄
🗄️
API / DBAWS SQS, EMR, Hive, DataPipeLine을 활용한 데이터 수집 파이프라인 구축.