# Comptage EPFL Voitures/velo/pietons

# Utilisation:

## Update de la base de donnée

- Run 'run_copy_process_publish.bat'
- Entrer ses identifiants Tableau pour update la base de donnée


# Descriptif des données 
Des radars ont été installés aux endroits clés du campus afin d'étudier l'affluence en mobilité motorisée et douce. 
Ces analyses servent de base pour adapter les infrastructures de mobilité, les différences d'affluence, les limites de vitesse etc. 

Les données ne sont pas fiables à 100%, des erreurs peuvent être présentes en particulier si le jour est pluvieux ou neigeux.

Ce projet copie les fichiers sur les serveurs de l'exploitant (ACET), fait une concatenation, ajoute des données caluculées et les publie sur Tableau.

# Compteurs ACET

## Description
Des compteurs radar sont installés sur le campus de l'EPFL (Ressources\Carte_compteurs.png). 
Il existe deux types de compteurs: les compteurs voitures et les compteurs velo/pietons.
Les deux compteurs sont différents sur plusieurs aspects, notamment le format.

## Data source
L'entreprise ACET a mit en place les compteurs. Les données sont maintenant envoyés dans un serveur chez eux. 
Idéalement les données seraient directement envoyés dans un serveur à l'EPFL.
Encore beaucoup de données ne sont pas collectés automatiquement via serveur. 

## Data path 
Les données collectées sont regroupés sous:
data/Brute

Compteurs voiture: 
Les données sont directement importés du serveur ACET avec le script Copy_Vehicules.py

Compteurs velo/pietons:
Les données sont recueillis manuellement et copiées sur le serveur VPT.
Ces radars ne disposent pas d'un système de communication vers un serveur.

# Structure du projet
```
├── data
│   ├── Brute
│   │   ├── Site
│   │   │   ├── Compteurs_Velo_Pietons
│   │   │   │   ├── files (sous différents formats, ici on lit que les .csv)
│   │   │   ├── Vehicules
│   │   │   │   ├── files (sous différents formats, ici on lit que les .csv)
│   ├── Resultats
│   │   ├── L0_cars.csv: Données de niveau 0: données concaténées sous un fichier
│   │   ├── L0_pietons_velos.csv: Données de niveau 0: données concaténées sous un fichier
│   │   ├── L2_cars.csv: Données de niveau 2: données de niveau 0 avec l'ajout de nouvelles informations comme la localisation de la station, limite de vitesse, type de vehicules etc
│   │   ├── L2_pietons_velos.csv: Données de niveau 2: données de niveau 0 avec l'ajout de nouvelles informations comme la localisation de la station etc
            (Le niveau 1 a été sauté car aucun quality check n'est fait pour le moment, mais devra exister par la suite)
│   ├── Stations_input.xlsx: Fichier excel avec les informations des stations qui sont lues et ajouté à la base de donnée
|   ├── processed_files.txt : txt file qui stock les fichiers déjà traités de manière à ne pas les traiter à nouveau
├── Ressources
├── Notebooks: sandbox
├── scripts
│   ├── Copy_Vehicules.py: Script qui copie les données des compteurs voitures du serveur externe au dossier local
│   ├── Processing.py: Script qui créait la base de donnée (concatenation) et ajoute des informations supplémentaires (limite de vitesse, coordonnées GPS etc). Ce script est le "main.py" du projet mais ne copie pas les données du serveur externe
│   ├── comptage.py: Code contenant la classe principale utilisée dans Processing.py
│   ├── functions.py: Code contenant les fonctions générales dans Processing.py
│   ├── input_path.yaml: Fichier de configuration pour les paths
├── log.txt: Fichier de log
├── README.md
├── requirements.txt
├── run_copy_process_publish.bat: executable pour copier les données, les traiter et les publier sur Tableau
├── run_copy.bat: executable pour juste copier les données du serveur
├── run_publish.bat: executable pour publier sur Tableau
```


# Versions

Version 0.1 (03/03/2023)
- Import du projet sur le serveur 
- Documentation du projet
- Pre-processing des données
Version 1.0 (12/12/2023)
- Visualisation sur Tableau
- Création d'un executable pour:
    - Pre-processing des données
    - Ajout d'informations supplémentaires (limite de vitesse, coordonnées GPS etc)
    - Update automatique de la base de donnée sur Tableau et visualisation