Mirar que bonito error me he encontrado en los logs:

ip_conntrack: table full, dropping packet.

He tenido problemas con un server estático y otro ha tenido que asumir su carga.
Al principio pensé que no podía con toda la carga este servidor, pero investigando mas a fondo, me he encontrado con esos errores en el log.