Bien sûr ! Voici une version plus claire, structurée et professionnelle de ton README pour ton projet Spark Streaming :
- Git
- Docker & Docker Compose
- SBT (Scala Build Tool)
- Java JDK 11
- Cloner le dépôt
git clone git@github.com:bntranduc/spark-streaming-project.git &&
cd spark-streaming-project- Préparer les données
Dézippez le dataset dans le répertoire principal du projet :
unzip yelp_dataset.zip- Configurer les variables d'environnement
Copiez le fichier d'exemple .env.exemple en .env :
mv .env.exemple .env- Compiler les modules Scala
cd Consumer
sbt clean assemblycd ../Producer
sbt clean assembly- Lancer les services avec Docker
Assurez-vous d’être dans le répertoire principal du projet, puis exécutez :
docker compose up --build| Service | URL | Description |
|---|---|---|
| Dashboard Streamlit | localhost:8501 | Visualisation des flux en temps réel |
| Spark UI - Producer | localhost:4040 | Interface Spark du Producer |
| Spark UI - Consumer | localhost:4041 | Interface Spark du Consumer |