Vamos a uma explicação prática. Suponha que você tenha duzentos servidores para administrar (não importa se são servidores físicos ou virtualizados) e em dado momento a sua equipe de segurança afirma que surgiu uma vulnerabilidade crítica em determinado pacote instalado em seus servidores e que precisa ser sanada o mais rápido possível.
São tarefas simples (atualizar pacote, alterar uma configuração, reiniciar um serviço etc), mas você deverá repetir isso em dezenas de servidores, ou talvez para piorar você nem faz ideia de quais estejam vulneráveis e precisando da correção.
É aqui que entra o Ansible. Em uma definição bem simples ele é uma ferramenta que permite administrar diversas máquinas de forma padronizada, centralizada e remota. Em termos atuais é uma ferramenta de orquestração de servidores.
Com ele, você define as tarefas que devem ser executadas, se necessário descreve a regra sobre quando e onde elas devem ser executadas.
O Ansible vai acessar cada um dos seus hosts verificar as regras que você definiu e executar as tarefas pedidas, sem que você tenha mais nada a fazer, além de tomar um bom café e contemplar a mágica da orquestração acontecer.