Para configurar a tecla de Caps Lock basta desinstalar o mouseemu:
aptitude purge mouseemu
Você vai precisar reiniciar o computador para que a mudança faça efeito.
O mouseemu serve para emular o mouse click na tecla F11 e botão direito no F12. Isto acaba provocando o conflito destas teclas que possuem outras funcionalidades em alguns softwares. Por exemplo o F11 funciona para acionar a visão em tela cheia do Firefox.