Cómo buscar el programa que más memoria RAM ocupa.

Simplemente con el comando:

ps aux | awk '{print $2, $4, $11}' | sort -k2 | tail -n 15

muestra los 15 programas que actualmente usan más memoria RAM en orden creciente.
Y si se quiere la lista en el orden de mayor a menor:

ps aux | awk '{print $2, $4, $11}' | sort -k2r | head -n 15