Cloudflare économise 100 téraoctets de mémoire dans le cache DNS de 1.1.1.1

Cloudflare exploite Big Pineapple, la plateforme derrière le service DNS 1.1.1.1, ainsi que Gateway DNS, DNS Firewall et d'autres services de l'entreprise. Le système conserve à tout moment plus de 250 milliards d'entrées dans son cache, la mémoire temporaire qui permet de répondre plus rapidement aux requêtes de traduction d'une adresse internet en adresse IP. À cette échelle, le moindre octet gaspillé par entrée coûte plus de 250 gigaoctets de mémoire sur l'ensemble de l'infrastructure.

Les ingénieurs de Cloudflare ont appliqué cinq modifications à la manière dont les entrées du cache sont stockées en mémoire. Le résultat est une réduction de plus de 50% de l'espace occupé par chaque entrée. Sur l'ensemble de l'infrastructure de l'entreprise, ces changements ont libéré environ 100 téraoctets de mémoire, une quantité équivalente à la RAM contenue dans 130 des serveurs les plus récents de l'entreprise, de génération 13.

Les modifications n'ont pas seulement concerné l'espace occupé. La vitesse d'insertion de nouvelles entrées dans le cache a augmenté de 43%, tandis que le temps nécessaire pour en récupérer une a diminué de 19%.

Comment fonctionne le cache

Chaque entrée du cache est composée d'une clé, qui identifie la requête, et d'une valeur, qui contient la réponse DNS avec les données correspondantes et des métadonnées telles que l'heure de création et la durée de validité. Plusieurs champs de ces structures utilisaient des types de données avec des marges d'espace inutiles une fois l'entrée enregistrée.

Parmi les modifications les plus importantes figure le remplacement de certaines structures de données standards du langage de programmation Rust par des versions plus compactes, qui ne réservent pas d'espace pour une croissance future, puisqu'une entrée, une fois enregistrée, n'est plus modifiée. Une autre modification concerne la manière dont les noms de domaine sont stockés: dans la plupart des cas, le nom de domaine de la réponse coïncide avec celui de la requête d'origine, il n'est donc pas nécessaire de l'enregistrer une seconde fois.

Enfin, les ingénieurs ont modifié la manière dont chaque enregistrement DNS est stocké, en passant d'un format aux marges fixes trop généreuses à un format qui n'occupe que l'espace réellement nécessaire. Cela a également réduit le temps de lecture des données, grâce à un accès plus direct à la mémoire.

Cloudflare a vérifié l'effet de ces modifications en mesurant la mémoire effectivement utilisée par ses serveurs pendant le déploiement du système en production, confirmant ainsi les résultats obtenus lors des tests.