Journaux de flux VPC

Les journaux de flux VPC enregistrent un échantillon des flux réseau envoyés et reçus par les instances de machines virtuelles (VM), y compris les instances utilisées comme nœuds Google Kubernetes Engine. Ces journaux peuvent être utilisés pour la surveillance et l'investigation des réseaux, l'analyse de la sécurité en temps réel et l'optimisation des dépenses.

Vous pouvez consulter les journaux de flux dans Cloud Logging et exporter les journaux vers n'importe quelle destination compatible avec l'exportation Cloud Logging.

Les journaux de flux sont agrégés par connexion à partir de VM Compute Engine, puis exportés en temps réel. En vous abonnant à Pub/Sub, vous pouvez analyser les journaux de flux à l'aide d'API de streaming en temps réel.

Cas d'utilisation

Surveillance du réseau

Les journaux de flux VPC vous offrent une visibilité en temps réel du débit et des performances du réseau. Grâce à eux, vous pouvez :

  • surveiller le réseau VPC ;
  • réaliser un diagnostic du réseau ;
  • filtrer les journaux de flux par VM et par application pour comprendre les évolutions du trafic ;
  • comprendre la croissance du trafic pour prévoir les besoins en capacité.

Comprendre l'utilisation du réseau et optimiser les frais liés au trafic réseau

Vous pouvez analyser l'utilisation du réseau grâce aux journaux de flux VPC. Vous pouvez analyser les flux du réseau pour les éléments suivants :

  • Trafic entre régions et zones
  • Trafic vers certains pays sur Internet
  • Top talkers

Sur la base de l'analyse, vous pouvez optimiser les dépenses liées au trafic réseau.

Investigation numérique du réseau

Vous pouvez utiliser les journaux de flux VPC pour analyser le réseau. Par exemple, en cas d'incident, vous pouvez examiner :

  • les adresses IP impliquées, et avec qui et quand elles ont communiqué ;
  • les éventuelles adresses IP compromises en analysant tous les flux réseau entrants et sortants.

Analyse de la sécurité en temps réel

Vous pouvez exploiter les API de streaming en temps réel (via Pub/Sub) et les intégrer aux systèmes SIEM (Security Information and Event Management, gestion des informations et des événements de sécurité). Vous obtenez ainsi une surveillance en temps réel, la corrélation des événements, ainsi que des analyses et des alertes de sécurité.

Spécifications

  • Les journaux de flux VPC font partie d'Andromeda, le logiciel qui alimente les réseaux VPC. Ils ne causent pas de délai ni de perte de performances lorsqu'ils sont activés.
  • Les journaux de flux VPC fonctionnent avec les réseaux VPC, mais pas avec les anciens réseaux. Vous pouvez activer ou désactiver les journaux de flux VPC pour chaque sous-réseau. Si cette option est activée pour un sous-réseau, les journaux de flux VPC collectent les données issues de toutes les instances de VM de ce sous-réseau.
  • Les journaux de flux VPC échantillonnent les flux TCP, UDP, ICMP, ESP et GRE de chaque VM. Les flux entrants et sortants sont échantillonnés. Ces flux peuvent se trouver dans Google Cloud ou entre Google Cloud et d'autres réseaux. Si un flux est capturé par échantillonnage, les journaux de flux VPC génèrent un journal pour le flux. Chaque enregistrement de flux inclut les informations décrites dans la section Format de l'enregistrement.
  • Les journaux de flux VPC interagissent avec les règles de pare-feu de la manière suivante :
    • Les paquets de sortie sont échantillonnés avant les règles de pare-feu de sortie. Même si une règle de pare-feu de sortie refuse les paquets sortants, ces paquets peuvent être échantillonnés par les journaux de flux VPC.
    • Les paquets d'entrée sont échantillonnés après les règles de pare-feu d'entrée. Si une règle de pare-feu d'entrée refuse les paquets entrants, ces paquets ne sont pas échantillonnés par les journaux de flux VPC.
  • Vous pouvez utiliser des filtres dans les journaux de flux VPC pour ne générer que certains journaux.
  • Les journaux de flux VPC sont compatibles avec les VM ayant plusieurs interfaces réseau. Vous devez activer les journaux de flux VPC pour chaque sous-réseau, dans chaque VPC contenant une interface réseau.
  • Pour enregistrer les flux entre les pods sur le même nœud Google Kubernetes Engine (GKE), vous devez activer la visibilité intranœud pour le cluster.
  • Les journaux de flux VPC ne sont pas consignés pour des ressources autres que des VM telles que Cloud Run ou des points de terminaison sur site.

Collecte de journaux

Les journaux de flux sont collectés pour chaque connexion à une VM à des intervalles spécifiques. Tous les paquets collectés pour un intervalle et une connexion donnés sont agrégés pendant une certaine période (intervalle d'agrégation) en une seule entrée de journal de flux. Ces données sont ensuite envoyées à Logging.

Par défaut, les journaux sont stockés dans Logging pendant 30 jours. Si vous souhaitez les conserver plus longtemps, vous pouvez définir une durée de conservation personnalisée ou les exporter vers une destination compatible.

Échantillonnage et traitement des journaux

Google Cloud échantillonne les paquets qui quittent une VM et y entrent pour générer des journaux de flux. Les paquets ne sont pas tous capturés dans leur propre enregistrement de journal. Environ un paquet sur 30 est capturé, mais ce taux d'échantillonnage peut être inférieur en fonction de la charge de la VM. Vous ne pouvez pas ajuster ce taux.

Une fois les journaux de flux générés, Google Cloud les traite selon la procédure suivante :

  1. Filtrage : vous pouvez faire en sorte que seuls les journaux correspondant aux critères spécifiés soient générés. Par exemple, vous pouvez filtrer de manière à ne générer que les journaux d'une VM spécifique ou uniquement ceux contenant une valeur de métadonnées particulière, et ignorer les autres. Pour en savoir plus, consultez la section Filtrage des journaux.
  2. Agrégation : les informations des paquets échantillonnés sont agrégées sur un intervalle d'agrégation configurable pour générer une entrée de journal de flux.
  3. Échantillonnage de journal de flux : il s'agit d'un deuxième processus d'échantillonnage. Les entrées de journal de flux sont ré-échantillonnées en fonction d'un paramètre de taux d'échantillonnage configurable.
  4. Métadonnées : si elles sont désactivées, toutes les annotations de métadonnées sont supprimées. Si vous souhaitez conserver les métadonnées, vous pouvez spécifier que tous les champs ou un ensemble de champs spécifié sont conservés. Pour en savoir plus, consultez la section Annotations de métadonnées.
  5. Écriture dans Logging : les entrées de journal finales sont écrites dans Cloud Logging.

Comme les journaux de flux VPC ne capturent pas tous les paquets, ils compensent les paquets manquants en effectuant une interpolation à partir des paquets capturés. Cette opération se produit pour les paquets manqués en raison de paramètres d'échantillonnage initiaux et configurables par l'utilisateur.

Bien que Google Cloud ne capture pas tous les paquets, les captures d'enregistrements de journal peuvent être relativement volumineuses. Vous pouvez équilibrer vos besoins en termes de visibilité du trafic et de coûts de stockage en ajustant les aspects suivants de la collecte de journaux :

  • Intervalle d'agrégation : les paquets échantillonnés pendant un intervalle de temps sont agrégés dans une seule entrée de journal. Cet intervalle de temps peut être de 5 secondes (par défaut), 30 secondes, 1 minute, 5 minutes, 10 minutes ou 15 minutes.
  • Taux d'échantillonnage : avant leur écriture dans Logging, vous pouvez échantillonner les journaux pour en réduire le nombre. Par défaut, le volume des entrées de journal est réduit de 0,5 (50 %), ce qui signifie que la moitié des entrées sont conservées. Cette valeur peut être comprise entre 1.0 (100 %, toutes les entrées de journal sont conservées) et 0.0 (0 %, aucun journal n'est conservé).
  • Annotations de métadonnées : par défaut, les entrées de journal de flux sont annotées avec des informations de métadonnées, telles que les noms des VM sources et de destination, ou bien la région géographique des sources et des destinations externes. Les annotations de métadonnées peuvent être désactivées ou vous pouvez ne spécifier que certaines annotations pour économiser de l'espace de stockage.
  • Filtrage : par défaut, les journaux sont générés pour chaque flux du sous-réseau. Vous pouvez définir des filtres de sorte que seuls les journaux correspondant à certains critères soient générés.

Tarifs

Pour Logging, BigQuery et Pub/Sub, la tarification standard s'applique. Les tarifs des journaux de flux VPC sont présentés dans les tarifs de télémétrie réseau.

Étape suivante