Rapida receta para conectar sin contraseña.
Para ello generaremos unas claves públicas y privadas e intercambiandolas previamente, no nos volverá a pedir la contraseña.
Esta operación hay que hacerla por usuario y se conectara con la cuenta de un usuario concreto, por lo que habrá que repetirla para tantos usuarios de origen y destino se quiera.

Llamaré cliente al que inicia la conexión y servidor al que la recibe:

Pasos en el cliente:
ssh-keygen -t rsa
scp $HOME/.ssh/id_rsa.pub usuario_destino@servidor:/tmp

Pasos en el servidor:

cat /tmp/id_rsa.pub >> $HOME/.ssh/authorized_keys && rm /tmp/id_rsa.pub && chmod 0600 $HOME/.ssh/authorized_keys

Con estos pasos ya podremos conectar desde el cliente al servidor sin que nos pida contraseña:

ssh usuario_destino@servidor

Nota: Hay mas algoritmos para firmar, además de rsa, por ejemplo dsa. Ésto solo son formas de cifrar y aunque dsa es mas rápido generando la firma, rsa es mas rápido verificandola.