Comment sont stockés les événements :

Cheminement des événements :

Splunk storage events

Options des buckets :

Splunk option buckets

La configuration des buckets en sortie de boîte :

Splunk buckets out of the box

Déplacement du bucket dans les différents états :

Splunk buckets diff etats

Infos sur les types de buckets :

Splunk buckets infos

Configuration d’un index :

Hot & Warm buckets :

Fichier : indexes.conf

[<index name>]
homePath = $SPLUNK_DB/$_index_name/db
maxHotBuckets = 3
maxHotSpanSecs = 7776000  #(90 days) 
maxHotIdleSecs = 0  #(disabled) 
maxMetaEntries = 1000000  #(1M lines)

I/O :

  • min: 800+
  • recommandé: 1200+

Des SSD ou du SAN à défaut, mais pas de NAS et NFS.

D’autres options peuvent être mise en place comme :
maxDataSize :

  • taille en Mo
  • auto : 750 Mo
  • auto_high_volume : 10Go pour une architecture 64b et 1Go pour du 32b.

Cet attribut indique la taille max du hit bucket avant de le passer en Warm.

Cold buckets :

Fichier : indexes.conf

[<index name>]
coldPath = $SPLUNK_DB/$_index_name/colddb 
maxWarmDBCount = 300

I/O : il est recommandé de ne pas descendre en dessous des 350 IOPS.

Frozen buckets :

Fichier : indexes.conf

[<index name>]
maxTotalDataSizeMB = 
frozenTimePeriodInSecs = 
coldToFrozenDir = 
coldToFrozenScript = 
thawedPath =

Par défaut les buckets frozen sont supprimés, il est necessaire de mettre en place une configuration pour les garder.

Thawed bucket :

Copier les buckets à récupérer dans le thawedPath, cela va lancer la réindéxation (non compté dans la licence).

Options de rotation de buckets dans indexes.conf :

indexes option

Indexes.conf :

La définition des indexes peut être mise/trouvée :

  • $SPLUNK_HOME/etc/system/local/
  • $SPLUNK_HOME/etc/apps/<app_name>/local/
  • $SPLUNK_HOME/etc/slave-apps/<app_name>/local/

On retrouve par défaut les buckets dans :

  • $SPLUNK_HOME/var/lib/splunk/<index_name>/db/
  • $SPLUNK_HOME/var/lib/splunk/<index_name>/colddb/
  • $SPLUNK_HOME/var/lib/splunk/<index_name>/thaweddb/

Note : $SPLUNK_DB = $SPLUNK_HOME/var/lib/splunk

Annexes :

.conf 2017 - Splunk Data Lifecycle
Doc officielle - indexes.conf
Doc officielle - Manging Indexers and Clusters of Indexers Bucket Rotation And Retention