Cloudflare risparmia 100 terabyte di memoria nella cache DNS di 1.1.1.1

Cloudflare gestisce Big Pineapple, la piattaforma dietro al servizio DNS 1.1.1.1, oltre a Gateway DNS, DNS Firewall e altri servizi dell'azienda. Il sistema conserva in ogni momento oltre 250 miliardi di voci nella sua cache, la memoria temporanea che permette di rispondere più rapidamente alle richieste di traduzione di un indirizzo internet in un indirizzo IP. A questa scala, anche un solo byte sprecato per ogni voce costa più di 250 gigabyte di memoria sull'intera infrastruttura.

Gli ingegneri di Cloudflare hanno applicato cinque modifiche al modo in cui le voci della cache vengono salvate in memoria. Il risultato è una riduzione di oltre il 50% dello spazio occupato da ogni singola voce. Su tutta l'infrastruttura dell'azienda, i cambiamenti hanno liberato circa 100 terabyte di memoria, una quantità pari alla RAM contenuta in 130 dei server più recenti dell'azienda, della generazione 13.

Le modifiche non hanno riguardato solo lo spazio occupato. La velocità di inserimento di nuove voci nella cache è aumentata del 43%, mentre il tempo necessario per recuperarne una è diminuito del 19%.

Come funziona la cache

Ogni voce della cache è composta da una chiave, che identifica la richiesta, e da un valore, che contiene la risposta DNS con i relativi dati e metadati come l'orario di creazione e la durata di validità. Diversi campi di queste strutture usavano tipi di dati con margini di spazio non necessari una volta che la voce viene salvata.

Tra le modifiche più significative c'è la sostituzione di alcune strutture dati standard del linguaggio di programmazione Rust con versioni più compatte, che non riservano spazio per una crescita futura, dato che una voce, una volta salvata, non viene più modificata. Un'altra modifica riguarda il modo in cui vengono salvati i nomi di dominio: nella maggior parte dei casi il nome del dominio nella risposta coincide con quello della richiesta originale, quindi non serve salvarlo una seconda volta.

Infine, gli ingegneri hanno cambiato il modo in cui vengono salvati i singoli record DNS, passando da un formato con margini fissi troppo generosi a uno che occupa solo lo spazio realmente necessario. Questo ha ridotto anche il tempo di lettura dei dati, grazie a un accesso più diretto alla memoria.

Cloudflare ha verificato l'effetto delle modifiche misurando la memoria effettivamente utilizzata dai propri server durante l'introduzione del sistema in produzione, confermando i risultati ottenuti nei test.