Google optimise les coûts de stockage “froid” avec un nouveau niveau HDD pour Spanner.
google a récemment introduit un stockage hiérarchisé pour Spanner, sa base de données SQL distribuée sur Google Cloud. Ce stockage hiérarchisé repose sur une nouvelle option de stockage HDD,80 % moins chère que l’option SSD existante.Il permet ainsi d’optimiser les coûts des données plus anciennes tout en minimisant les frais généraux associés à la migration de données traditionnelle.
Alors que le niveau SSD par défaut est conçu pour les données nécessitant un débit élevé et une faible latence, le nouveau niveau HDD est conçu pour les ensembles de données plus volumineux qui sont rarement consultés ou qui ne sont pas sensibles à la latence. La hiérarchisation du stockage est gérée par des politiques, avec des processus d’arrière-plan asynchrones déplaçant automatiquement les données du SSD vers le HDD dans le cadre des tâches de maintenance et conformément aux politiques définies par l’utilisateur. Quel que soit le niveau de stockage, les requêtes SQL peuvent accéder aux données sur les niveaux SSD et HDD, les politiques de sauvegarde étant appliquées de manière cohérente à toutes les données.
L’équipe de Google souligne que pour la plupart des enregistrements de base de données,la valeur opérationnelle diminue avec le temps,tandis que leur rôle pour le reporting et la conformité augmente. Ce changement signifie que les données “froides” plus anciennes n’ont pas besoin du même accès haute performance que les données transactionnelles “chaudes” actuelles, ce qui encourage les entreprises à rechercher des solutions de stockage plus rentables pour les informations historiques.
Le passage à d’autres types de stockage nécessite généralement des pipelines de données complexes et peut avoir un impact sur les performances du système opérationnel. La séparation manuelle des données entre les solutions de stockage peut entraîner des lectures incohérentes qui nécessitent un rapprochement au niveau de l’application.De plus, la séparation impose des limites importantes à la façon dont les applications peuvent interroger les données actuelles et historiques pour des choses comme répondre aux régulateurs ; elle augmente également les points de contact de gouvernance qui doivent être audités.
Les stratégies de hiérarchisation du stockage peuvent désormais être mises en œuvre à différents niveaux spanner (base de données, table, colonne ou index secondaire), avec la possibilité de déplacer des données spécifiques vers un stockage HDD plus lent mais moins coûteux. Par exemple, les données rarement consultées, comme les attributs de produit JSON, peuvent être déplacées vers le HDD sans restructurer les tables, et il est possible de conserver les index sur un SSD plus rapide tout en stockant les données réelles sur un HDD.
Pour activer le stockage hiérarchisé, un groupe de localité qui définit les options de stockage [SSD (par défaut)/HDD] doit être créé, avec la possibilité de définir un `ssd_to_hdd_spill_timespan` pour spécifier la durée pendant laquelle les données doivent être conservées sur le SSD avant qu’un cycle de compactage ne les déplace vers le HDD. Par exemple :
“`sql
CREATE LOCALITY GROUP recent_on_ssd OPTIONS (storage=”ssd”, ssd_to_hdd_spill_timespan = ’15d’);
“`
Cette commande crée une politique de déversement SSD vers HDD. La durée minimale pendant laquelle les données doivent être stockées sur SSD avant d’être déplacées est d’une heure.
Bien que Google Spanner ne soit pas la seule base de données cloud distribuée offrant un stockage hiérarchisé, Amazon DynamoDB masque la technologie de stockage utilisée, offrant des classes de stockage Standard et Standard-IA avec des frais de stockage et de récupération différents.
Le stockage hiérarchisé de Spanner prend en charge les dialectes GoogleSQL et PostgreSQL et est disponible dans toutes les régions Google Cloud où Spanner est disponible. L’utilisation du HDD peut être surveillée à partir de System Insights.
Google Spanner: Optimisation du stockage “froid” avec HDD
Table of Contents
Google a récemment introduit une fonctionnalité de stockage hiérarchisé pour Spanner, sa base de données SQL distribuée sur Google Cloud. Cette fonctionnalité comprend une nouvelle option de stockage HDD (disque dur), qui est 80 % moins chère que l’option SSD (disque à état solide) existante. cette innovation permet d’optimiser les coûts de stockage pour les données moins fréquemment utilisées, tout en minimisant les complexités liées à la migration traditionnelle des données.
Qu’est-ce que le stockage “froid”?
Le stockage “froid” est un type de stockage de données conçu pour les données qui sont rarement consultées, mais qui doivent être conservées à long terme pour des raisons de conformité ou de reporting [[1]]. Contrairement au stockage “chaud” (SSD),qui offre une performance élevée et une faible latence pour l’accès fréquent aux données,le stockage froid privilégie la capacité et la réduction des coûts.
Le nouveau niveau HDD de Spanner: une solution rentable
Le nouveau niveau HDD de Spanner est idéal pour les ensembles de données volumineux qui ne nécessitent pas d’accès fréquent ou rapide. le stockage hiérarchisé est géré par des politiques,avec des processus en arrière-plan qui déplacent automatiquement les données du SSD vers le HDD,en fonction des règles définies par l’utilisateur. Les requêtes SQL peuvent accéder aux données stockées sur les deux niveaux (SSD et HDD). De plus, les politiques de sauvegarde sont appliquées de manière cohérente à toutes les données.
Avantages du stockage hiérarchisé dans Spanner
Réduction des coûts: Le niveau HDD permet de stocker les données “froides” à un coût beaucoup plus faible que le SSD. Le stockage froid offre un niveau de coût moins élevé pour stocker les données rarement utilisées sur une longue durée [[2]].
Simplicité: Le système gère automatiquement la hiérarchisation des données, sans nécessiter de migration manuelle complexe.
Flexibilité: Les politiques de stockage peuvent être appliquées à différents niveaux (base de données, table, colonne, index secondaire).
performance: Les données “chaudes” (fréquemment consultées) restent sur le SSD pour maximiser les performances.
Comment fonctionne la hiérarchisation du stockage?
Pour activer le stockage hiérarchisé, un groupe de localité est créé, définissant les options de stockage (SSD ou HDD). Un paramètre ssdtohddspilltimespan spécifie la durée pendant laquelle les données restent sur le SSD avant d’être déplacées vers le HDD.
Exemple SQL
sql
CREATE LOCALITY GROUP recentonssd OPTIONS (storage="ssd", ssdtohddspilltimespan = '15d');
ce code crée une politique qui déplace les données du SSD vers le HDD après 15 jours.
FAQ
Qu’est-ce que le stockage hiérarchisé pour Spanner? C’est une fonctionnalité qui permet d’utiliser à la fois le stockage SSD et HDD, optimisant ainsi les coûts en fonction de la fréquence d’accès aux données.
quels sont les avantages du HDD pour Spanner? Des coûts de stockage réduits de 80% par rapport au SSD pour les données moins fréquemment consultées.
Comment la hiérarchisation est-elle gérée? Grâce à des politiques définies par l’utilisateur qui automatisent le déplacement des données entre SSD et HDD.
Où est disponible le stockage hiérarchisé de Spanner? Dans toutes les régions Google Cloud où Spanner est disponible.
Quels sont les dialectes SQL pris en charge? GoogleSQL et PostgreSQL.
Comparaison SSD vs HDD pour Spanner
| Caractéristique | SSD | HDD |
| :——————— | :————————————————– | :—————————————————— |
| Coût | Plus élevé | Moins élevé (80% moins cher) |
| Performance | Débit élevé, faible latence | Débit moins élevé, latence plus élevée |
| Cas d’utilisation | données fréquemment consultées (“chaudes”) | Données rarement consultées (“froides”), archivage |
| Gestion de la hiérarchie | Automatique, basée sur des politiques | automatique, basée sur des politiques |