Quitar vim visual

crear .vimrc

set mouse-=a

O con el comando:

echo "set mouse-=a" > ~/.vimrc

Para no perder la sintaxis del color:

echo "syntax on" >> ~/.vimrc