ИИ учится дрифтить

Это мой первый эксперимент с обучением нейросети для игрового ИИ, видео длиться меньше 5 минут и этого времени как раз достаточно, для того, чтоб ИИ обучился дрифту вокруг центра карты.

Дополнительно отмечу важность функции оценивания: первый раз, когда я реализовал оценку эффективности, я учитывал только угол дрифта и то, вылетела ли машина за границы карты — это привело к тому, что нейросеть решила, что оптимальнее крутить пятаки на одном месте в пределах карты — ведь так нейросеть набирала больше очков и чтоб решить эту проблему была добавлена дополнительная нода задающая угол движения авто относительно поворота, также очки перестали выдаваться если машина не двигается относительно трека — это привело к тому, что крутиться на одном месте уже стало не выгодно и сейчас обучение работает так, как было задумано.

Видео про нейросеть и ИИ для марио: https://www.youtube.com/watch?v=qv6UVOQ0F44

Алгоритм Q-обучение: https://en.wikipedia.org/wiki/Q-learning
Алгоритм NEAT: https://en.wikipedia.org/wiki/Neuroevolution_of_augmenting_topologies

Музыка: Luxery — Causmic