Back to Home
Data / Backend
映画レビューサイト Crawlエンジン開発
海外ドラマのデータ自動収集基盤構築
Key Responsibilities
- ScrapyやDockerを利用したCrawl基盤構築・実装
Tech Stack
PythonDockerAWS
Infrastructure Strategy
☁️
Cloudflare⇄
▲
Vercel⇄
🗄️
API / DBAWS SQS, EMR, Hive, DataPipeLineを活用したデータ収集パイプラインを構築。