En estos días me toco recuperar mi VPS vía consola remota, al revisar el /var/log/messages me di cuenta de el Out of Memory Killer (OOM Killer) había hecho de las suyas al quedarse sin memoria. Luego de analizar detenidamente los logs y me di cuenta que fue una combinación de factores, Google, Yahoo y Yandex me estaban indexando tanto este blog como unos foros de autos que alojo en este servidor al mismo tiempo.
El script para descargar torrents estaba corriendo al igual que el torrent tracker y alguien me estaba haciendo flood vía IRC en freenode puede había dejado irssi conectado.
El OOM Killer tiene un algoritmo que decide que procesos son los mejores para aniquilar sin embargo es posible manipular estos valores y dejarle saber al OOM Killer que procesos prefieres que mate primero. Para automatizar esta tarea hice un script que nos ayudara con esta tarea:
for programas in SCREEN irssi top
do for pid_of_oomk_candidate in `pidof -x $programas`
do echo 10 > /proc/$pid_of_oomk_candidate/oom_adj
done
done
Como ven el script anterior agrega 10 al OOMK score a los procesos que menos me interesan permanezcan vivos cuando me quede sin memoria mientras que el siguiente hará exactamente lo contrario, mantendrá vivo un poco mas estos procesos:
for programas in mysqld portsentry iptables
do for pid_of_oomk_candidate in `pidof -x $programas`
do echo -5 > /proc/$pid_of_oomk_candidate/oom_adj
done
done
echo -17 > /proc/`pidof -s sshd`/oom_adj
En este ultimo mysql portsentry y iptables tendrán cinco puntos de ventaja en relación con el resto de los candidatos y si se fijan en la ultima linea estamos asegurándonos que sshd no sea candidato bajo ninguna circunstancia.
Automatizar el ajuste del score para el OOM Killer
Ahora unifiquemos estos dos scripts y demosle un poco mas de flexibilidad, estoy seguro que hay gente que prefiere asignarle a irssi un valor distinto de screen. Lo primero que necesitaremos es un script de configuración, vamos crearlo en /etc/candidatos_oomk.conf y el contenido se debería de ver algo así:
# Programas que queremos sacrificar, entre mas alto el valor
# mas peso tienen en la lista de candidatos.
irssi 4
SCREEN 3
smtpd 2
apache2 1
# Programas que queremos salvar, estos tendrán valores negativos
portsentry -2
mysqld -5
sshd -17
El script al que le puse de nombre oomk_adj_candidatos.sh se veria algo asi:
#!/bin/bash
CONFIGURACION="/etc/candidatos_oomk.conf"
while read programas
do proceso=`echo $programas |grep -v \# | grep [0-9]$| awk '{print $1}'`
ajuste=`echo $programas |grep -v \# | grep [0-9]$| awk '{print $2}'`
if [ -z "$proceso" ] then
continue
else
echo $proceso
for pids_proceso in `/bin/pidof $proceso`
do echo " echo $ajuste > /proc/$pids_proceso/oom_adj"
done
fi done < $CONFIGURACION
El script es simple, leemos el archivo de configuracion linea por linea separamos el nombre del proceso del ajuste que le vamos a hacer guardando cada valor en las variables $proceso y $ajuste. Evaluamos si la variable $proceso esta vacía, y de ser así seguimos con la próxima linea, de lo contrario continuamos procesando esa misma linea. Obtenemos el PID del proceso usando pidof y para cada PID vamos escribir el valor de $ajuste en su archivo oom_adj dentro de /proc.
Pueden colocar este script en su /etc/rc.local o en un cronjob y recuerden que si quieren consultar la lista de candidatos y ver como están sus scrores o saber un poco mas del tema, pueden consultar este articulo: El OOM Killer y manipulación de candidatos.
