ANÁLISE DE VIABILIDADE DE UTILIZAÇÃO DE DEEP Q-LEARNING PARA CRIAÇÃO DE UM CONTROLADOR NO TORCS

Resumo

O mundo dos jogos digitais e carros autônomos vem crescendo a cada ano e junto é necessário desenvolver novas tecnologias. As tecnologias evoluem constantemente, o que acaba sendo difícil para as indústrias acompanharem. Novas soluções precisam ser estudas antes de serem aplicadas, o que é, muitas vezes, custoso para as empresas. Alguns jogos são focados mais na diversão dos jogadores i.e. sem se focarem no realismo das mecânicas, outros passam a ser simuladores muito realistas. Quando o foco é diversão, se faz necessário manter um jogador cada vez mais entretido dentro do jogo. Já os simuladores buscam cada vez mais realismo, tanto em gráficos ou físicas baseadas no mundo real quanto em simulação da inteligência artificial (IA). Um exemplo de simuladores são os de corridas de carros. Os jogadores, muitas vezes, não possuem recursos para correr em carros de verdade, mas gostam de sentirem-se como se estivessem pilotando automóveis de corrida. Um dos simuladores mais utilizado é o TORCS, uma ferramenta de código aberto que permite testes em computadores com baixo poder computacional, tornando-se uma ferramenta que pode ser considerada estado da arte. Os  ontroladores, softwares que pilotam um carro, vêm sendo desenvolvidos em diversos trabalhos acadêmicos. Alguns utilizam-se de uma máquina finita de estados e outros de técnicas de inteligência artificial. Contudo, uma das sub-áreas das IAs  ouco exploradas nesse contexto é a de Deep Reinforcemente Learning. O Deep Q-Network se tornou a base para o AlphaZero, IA desenvolvida para jogos de tabuleiro. Dentro do contexto de jogos digitais e inteligência artificial o trabalho desenvolvido vem a somar na investigação de quais técnicas podem resultar em um melhor controlador. Baseando-se nas dificuldades de encontradas em trabalhos relacionados, este irá se focar somente em controlar o carro sozinho na pista.  Este comportamento simula o modo de classificação, onde o carro tenta completar o circuito no menor tempo possível. Já existe pelo menos uma empresa que desenvolve carros autônomos de corrida, por isso pode-se ver a colocação desse trabalho em um âmbito acadêmico e comercial.