Karpenter vs Cluster Autoscaler sur EKS : ce qui change vraiment
Consolidation, disruption budgets, Spot, migration : ce que change le passage de Cluster Autoscaler à Karpenter v1 sur EKS, et les pièges à anticiper.
Cluster Autoscaler ne crée pas de nœuds. Il modifie la capacité désirée d'Auto Scaling groups que vous avez définis à l'avance : quand un pod reste en Pending, il simule son placement sur le gabarit de chaque node group, en choisit un et incrémente son compteur. Karpenter supprime cet intermédiaire. Il observe les pods non planifiables, agrège leurs requests, affinités, tolérations et contraintes de topologie, puis demande directement à EC2 l'instance la plus adaptée parmi celles que vous l'autorisez à lancer.
Cette différence explique presque tout le reste, y compris les modes de défaillance que l'on découvre en migrant sans avoir préparé ses workloads.
Deux modèles de capacité
Avec Cluster Autoscaler, le node group est l'unité de raisonnement. La documentation de son fournisseur AWS demande que les types d'instances d'un même groupe aient le même nombre de vCPU et la même quantité de mémoire, faute de quoi ses calculs de scale-up deviennent faux. Dès que l'on veut du calcul, de la mémoire, du GPU, de l'ARM et du Spot, on multiplie donc les node groups, chacun avec ses tags d'auto-découverte, ses tags de gabarit pour le scale-from-zero et son launch template. AWS note aussi que Cluster Autoscaler est plus étroitement lié aux versions de Kubernetes que Karpenter, ce qui ajoute une étape à chaque montée de version du cluster.
Karpenter remplace cette collection par des NodePools : des ensembles de contraintes (catégories et générations d'instances, architecture, zones, type de capacité) à l'intérieur desquels il choisit librement. Un NodePool large suffit à la majorité des workloads stateless ; on en ajoute quand une contrainte réelle l'impose, comme du GPU, une équipe à isoler ou un autre système d'exploitation. La règle à respecter vient des bonnes pratiques EKS pour Karpenter : des NodePools mutuellement exclusifs, ou départagés par weight. Sinon, quand deux pools acceptent le même pod, le choix devient imprévisible.
Ce modèle n'est pas meilleur partout. Pour une charge stable sur un cluster qui varie peu, un managed node group piloté par Cluster Autoscaler reste simple et bien compris des équipes ; AWS le dit lui-même et réserve Karpenter aux demandes en pics et aux besoins de calcul hétérogènes. Les deux se combinent d'ailleurs très bien : nous recommandons de garder un petit node group statique pour le contrôleur Karpenter et les composants système, et de confier le reste à Karpenter.
La consolidation tourne dès le premier nœud
C'est le point que la plupart des migrations sous-estiment. En v1, un NodePool sans bloc disruption explicite hérite de consolidationPolicy: WhenEmptyOrUnderutilized et de consolidateAfter: 0s. Karpenter cherche donc en permanence à supprimer les nœuds vides et à vider ou remplacer les nœuds sous-utilisés dès qu'une configuration moins chère existe. On n'« active » pas la consolidation une fois les garde-fous posés : elle fonctionne dès l'installation.
consolidateAfter fixe la durée pendant laquelle un nœud doit rester sans arrivée ni départ de pod avant de devenir candidat, et le compteur repart à chaque changement. Quelques minutes évitent de détruire un nœud qu'un déploiement en cours s'apprête à remplir. WhenEmpty ne retire que les nœuds sans pods applicatifs, le réglage le plus prudent pour un pool sensible. La documentation actuelle décrit aussi une politique Balanced, qui ne consolide que si l'économie estimée justifie le nombre de pods évincés ; vérifiez qu'elle existe dans la version que vous déployez avant de vous y appuyer.
La consolidation compare les requests des pods à la capacité allouable des nœuds, et ignore les limits. Deux conséquences. Un pod sans requests, ou avec des requests fantaisistes, fausse tout le calcul : Karpenter tassera des pods qui consomment bien plus que ce qu'ils déclarent. Pour la mémoire, AWS recommande requests égal à limits dès que la consolidation est active, parce qu'un nœud rempli sur la base des requests ne supporte pas que plusieurs pods dépassent leur request au même moment, et l'issue s'appelle un OOM kill. Une LimitRange par namespace pour imposer des valeurs par défaut est un prérequis, pas une option.
Les PodDisruptionBudgets restent indispensables : Karpenter passe par l'API d'éviction et écarte de toute disruption volontaire un nœud dont un pod est protégé par un PDB bloquant. Le revers est qu'un PDB mal écrit, avec maxUnavailable: 0 ou un minAvailable égal au nombre de replicas, immobilise le nœud. Pour un batch long qu'il ne faut pas interrompre, l'annotation karpenter.sh/do-not-disrupt: "true" sur le pod est plus explicite.
Une configuration de départ valide en v1
apiVersion: karpenter.sh/v1
kind: NodePool
metadata:
name: general
spec:
template:
spec:
nodeClassRef:
group: karpenter.k8s.aws
kind: EC2NodeClass
name: default
requirements:
- { key: karpenter.sh/capacity-type, operator: In, values: ["spot", "on-demand"] }
- { key: karpenter.k8s.aws/instance-category, operator: In, values: ["c", "m", "r"] }
- { key: kubernetes.io/arch, operator: In, values: ["amd64"] }
expireAfter: 720h
terminationGracePeriod: 24h
disruption:
consolidationPolicy: WhenEmptyOrUnderutilized
consolidateAfter: 2m
budgets:
- nodes: "10%"
- nodes: "0"
reasons: ["Underutilized"]
schedule: "0 7 * * 1-5"
duration: 10h
limits:
cpu: "1000"
Le nodeClassRef n'est pas décoratif : depuis la v1.1, group, kind et name sont obligatoires, et un NodePool qui ne référence pas d'EC2NodeClass ne peut rien lancer. Quand un pool autorise plusieurs types de capacité, Karpenter privilégie les réservations de capacité, puis le Spot, puis l'on-demand ; un pool spot et on-demand bascule donc sur l'on-demand si aucune offre Spot compatible n'est disponible, alors qu'un pool purement Spot laisse les pods en Pending.
Les budgets limitent le nombre de nœuds perturbés simultanément. Sans configuration, Karpenter applique un budget unique de 10 %. Le second budget bloque ici les consolidations pour sous-utilisation en semaine pendant les heures ouvrées, tout en laissant passer les nœuds vides et le drift. Attention, le schedule est une expression cron en UTC, sans fuseau horaire, et quand plusieurs budgets s'appliquent, le plus restrictif l'emporte.
Les budgets ne couvrent que les méthodes dites gracieuses : consolidation, drift et réparation de nœuds. L'expiration (expireAfter, 720 h par défaut) et les interruptions sont forcées et ne les respectent pas. Le drain passe toujours par l'API d'éviction, donc par vos PDB, mais un PDB bloquant ou un pod annoté do-not-disrupt peut retenir un nœud expiré indéfiniment. terminationGracePeriod borne cette attente : passé ce délai, les pods restants sont supprimés. La documentation déconseille explicitement de combiner do-not-disrupt et expireAfter sans terminationGracePeriod ; choisissez une valeur supérieure à la durée de votre plus long job.
Les limits s'appliquent par NodePool : il n'existe pas de plafond global pour le cluster. C'est votre seul frein si un HPA s'emballe.
apiVersion: karpenter.k8s.aws/v1
kind: EC2NodeClass
metadata:
name: default
spec:
role: "KarpenterNodeRole-prod-eks"
amiSelectorTerms:
- alias: al2023@v20240807
subnetSelectorTerms:
- tags:
karpenter.sh/discovery: "prod-eks"
securityGroupSelectorTerms:
- tags:
karpenter.sh/discovery: "prod-eks"
Remplacez la version de l'alias par celle que vous avez validée. N'utilisez pas al2023@latest en production : chaque nouvelle AMI publiée provoquerait un drift et le remplacement progressif de tous vos nœuds sans aucune validation préalable. Épinglée, la même mécanique devient votre outil de mise à jour : changer l'alias déclenche un drift, que Karpenter traite au rythme de vos budgets.
Spot : de la diversité, sinon rien
Pour le Spot, Karpenter utilise la stratégie d'allocation price-capacity-optimized d'EC2 : plus la liste d'instances autorisées est large, plus EC2 peut choisir des pools profonds et peu interrompus. Un NodePool Spot restreint à trois types d'instances est un incident en attente.
La gestion des interruptions demande une file SQS alimentée par des règles EventBridge, déclarée au contrôleur. Karpenter reçoit alors l'avis d'interruption Spot de deux minutes, lance un nœud de remplacement et draine l'ancien. AWS déconseille de la faire cohabiter avec Node Termination Handler, qui traite les mêmes événements. Par défaut, Karpenter sait supprimer un nœud Spot devenu inutile, mais ne le remplace pas par un Spot moins cher : il faut pour cela activer le feature gate SpotToSpotConsolidation, et Karpenter exige alors au moins quinze types d'instances éligibles pour un remplacement d'un nœud par un autre, précisément pour éviter de se concentrer sur le type le moins cher et le plus interrompu.
Mettre les workloads stateful en on-demand reste un bon réflexe, mais il ne protège que de la reprise Spot. Un nœud on-demand est consolidé, expiré et remplacé en cas de drift exactement comme un nœud Spot. Pour une base de données ou un broker, nous recommandons un NodePool dédié en on-demand avec consolidationPolicy: WhenEmpty, des PDB stricts et un terminationGracePeriod explicite. Gardez aussi en tête qu'un volume EBS est lié à sa zone de disponibilité : le pod qui le monte ne pourra redémarrer que dans cette zone.
Migrer depuis Cluster Autoscaler
Le guide de migration officiel est fiable, et il faut le suivre dans l'ordre. Il prévoit de créer un rôle IAM pour les nœuds et un rôle pour le contrôleur, de taguer karpenter.sh/discovery sur les subnets et security groups que Karpenter doit utiliser, puis d'autoriser le rôle des nœuds à rejoindre le cluster. Le guide le fait via aws-auth ; si votre cluster utilise les access entries EKS, c'est là qu'il faut le déclarer. Une erreur à cette étape produit des instances EC2 qui démarrent mais ne deviennent jamais des nœuds.
Le contrôleur doit tourner sur le node group existant ou sur Fargate, jamais sur un nœud qu'il gère : s'il évince son propre nœud, plus rien ne provisionne. Le guide ajoute une affinité vers le node group, et suggère d'y épingler aussi CoreDNS et metrics-server. Une fois les NodePools en place, on passe le déploiement Cluster Autoscaler à zéro replica, puis on réduit le node group : deux instances minimum pour un groupe multi-AZ, une par groupe s'il y en a un par zone. Réduisez par paliers et surveillez les workloads à replica unique ou sans PDB : ce sont eux qui tombent pendant la bascule.
Dans un cluster privé sans sortie Internet, prévoyez des endpoints VPC pour STS et SSM, sans lesquels le contrôleur ne peut ni s'authentifier ni résoudre les AMI. L'API Price List n'a pas d'endpoint VPC : Karpenter utilise alors les prix on-demand embarqués dans son binaire, qui ne sont rafraîchis qu'à la montée de version.
Ce que cela change sur la facture EKS
Les économies viennent de trois mécanismes : le choix d'une instance taillée pour les pods en attente, la consolidation et l'accès à un Spot diversifié. Les trois dépendent de la qualité des requests. Si vos équipes réservent quatre fois ce qu'elles consomment, Karpenter optimisera fidèlement une demande fausse, et la facture ne bougera guère. Le travail de dimensionnement des requests précède la migration, il ne la suit pas.
En sens inverse, Karpenter lance tout ce qu'on lui demande dans la limite de ses limits. AWS recommande de les définir sur chaque NodePool et d'y ajouter des alarmes de facturation ou AWS Cost Anomaly Detection, parce qu'une boucle de scaling mal réglée se voit d'abord sur la facture.
Reste une option à évaluer avant de migrer : EKS Auto Mode, où AWS opère pour vous un autoscaling fondé sur Karpenter, avec des nœuds Bottlerocket gérés, sans accès SSH ni SSM et d'une durée de vie maximale de 21 jours. Vous gardez les NodePools, vous perdez la main sur l'AMI et sur le contrôleur. Pour une équipe plateforme réduite, ce compromis mérite d'être chiffré, tarification à l'appui, face au temps passé à maintenir Karpenter soi-même.
Need help with this topic?
Our engineers can audit your context and propose a concrete action plan.