MODELAGEM DE OPONENTES PARA O TREINAMENTO DE MODELOS BASEADOS NA BUSCA EM ÁRVORE DE MONTE CARLO NO JOGO DE TABULEIRO CITADELS

Resumo

A Busca em Árvore de Monte Carlo (Monte Carlo Tree Search – MCTS) consolidou-se como uma técnica eficaz para tomada de decisão em jogos de tabuleiro, combinando adaptabilidade e baixo uso de conhecimento específico de domínio. Seu desempenho é notável em jogos determinísticos com informação perfeita, como Go (SILVER et al., 2016). Entretanto, sua aplicação encontra limitações significativas em ambientes com múltiplos jogadores, informação oculta e restrições de tempo, nos quais o alto custo computacional das simulações e a dificuldade de adaptação comprometem a responsividade e a qualidade das decisões (POWLEY et al., 2014).
Neste contexto, abordagens híbridas que integram MCTS e Aprendizado por Reforço (Reinforcement Learning – RL) têm se mostrado promissoras, ao permitir que a fase de planejamento seja desacoplada da execução. A construção de estruturas de decisão persistentes, com armazenamento prévio da busca, viabiliza a seleção instantânea de ações durante o jogo, reduzindo a necessidade de simulações online e preservando a profundidade estratégica (BROWNE, 2012; SWIECHOWSKI, 2023).
Nessa pesquisa foi testado e desenvolvido um modelo híbrido de MCTS com técnicas offline de aprendizado por reforço. O modelo foi treinado e testado usando diferentes oponentes em um ambiente de simulação do jogo de tabuleiro Citadels (FAIDUTTI, 2016).