No Flycast vá em Settings / Controls e clique em Edit Layout. Para alterar o tamanho dos botões, toque no botão desejado com dois dedos e faça o movimento de pinça, abrindo e fechando para ampliar ou diminuir o tamanho.
Veja nas imagens abaixo o caminho e a tela de alteração.
