스트리트 파이터 AI 구축: 강화 학습과 게임 환경

스트리트 파이터 커스텀 환경은 관찰 및 액션 공간이 정의된 상태로 생성됩니다. 게임을 초기화하고 초기 관찰로 재설정하여 이전 프레임과 점수 델타 속성을 설정합니다. 사전 처리 방법은 프레임의 그레이 스케일링과 크기 조정을 처리합니다.

### 강화 학습으로 스트리트 파이터 AI 구축하기
* 🎮 이 튜토리얼은 Gym Retro를 사용하여 **스트리트 파이터를 플레이하기 위한 강화 학습 모델**을 구축하는 방법을 보여줍니다.
* 🕹 첫 번째 단계는 필요한 패키지를 가져오고 **스트리트 파이터 ROM을 등록**하여 짐 레트로 환경을 설정하는 것입니다.
* 📊 관찰 공간은 게임 프레임을 나타내는 **200x256x3 상자**로, 액션 공간은 **12가지 액션이 가능한 멀티 바이너리 공간**으로 정의됩니다.
* 🔄 환경을 테스트하기 위해 게임 루프가 생성되어 **AI 에이전트가 무작위 행동**을 취하고 **보상을 관찰**할 수 있습니다.
* 🔧 다음 단계는 **게임 환경을 사전 처리**하여 AI 모델을 학습할 수 있도록 준비하는 것입니다.
* 🖥 사전 처리 단계에는 계산 복잡성을 줄이기 위해 **그레이 스케일링, 프레임 델타 캡처, 프레임 크기를 84x84x1픽셀**로 조정하는 작업이 포함됩니다.
* 🎯 보상 기능은 게임 승리 시에만 보상을 제공하는 것이 아니라, **행동을 성공할 때마다 점진적으로 보상**을 제공하도록 수정되었습니다.
* 🧠 커스텀 환경 클래스인 'StreetFighter'는 **초기화, 단계, 렌더링, 리셋 및 전처리 메서드**를 사용하여 생성됩니다.
* 📈 이 튜토리얼에서는 강화 학습에서 **데이터 전처리의 중요성**을 강조하며 성공적인 모델 학습을 위한 중요한 단계로 강조합니다.

### 강화 학습 훈련을 위한 스트리트 파이터 환경 준비하기
* 🎮 스트리트 파이터 환경을 사전 처리하여 **그레이 스케일링, 크기 조정, 프레임 델타 계산** 등 강화 학습 훈련에 최적화했습니다.
* 🛠 사용자 정의 환경 클래스에서 **`__init__`, `reset`, `preprocess` 및 `step` 메서드**를 구현하여 관찰 공간, 액션 공간 및 게임 인스턴스를 설정했습니다.
* 📊 환경의 **프레임 델타와 보상 변화**를 표시하여 사전 처리를 확인했습니다.
* 🔧 유효하지 않은 동작을 필터링하고 **점수 변경을 보상**으로 처리하도록 환경을 구성했습니다.
* 📦 강화 학습 모델 학습을 위해 **PyTorch, Stable Baselines 3, Optuna**를 설치했습니다.
* 🔢 모델 학습에 필요한 라이브러리 및 종속성을 가져왔는데, 여기에는 **Optuna, PPO 및 평가 지표**가 포함됩니다.
* 📂 트레이닝 로그 및 모델 체크포인트를 저장할 **로그 디렉터리**를 정의했습니다.

### 안정적인 베이스라인3 및 옵투나를 사용한 강화 학습을 위한 하이퍼파라미터 최적화
* 🎯 트레이닝 로그를 저장할 **로그 디렉터리**와 최적화된 모델을 저장할 **옵트 디렉터리**를 설정합니다.
* 📊 튜닝을 위한 하이퍼파라미터를 반환하는 목적 함수를 정의합니다(**n_steps, 감마, 학습 속도, 클립 범위, gae_lambda**).
* 🔍 옵투나에서 생성한 하이퍼파라미터로 모델을 훈련하고 평가하는 **`optimize_agent` 함수**를 생성합니다.
* 📈 각 5개의 에피소드를 평가하는 10번의 평가로 **30,000보에 대해 PPO 모델을 훈련**합니다.
* 💾 나중에 사용할 수 있도록 각 평가판에서 **가장 좋은 모델**을 저장하세요.
* 🔧 파일 경로 연산을 위해 **`os` 모듈**을 가져와서 오류를 수정합니다.
* 📊 추가 분석을 위해 **최적의 하이퍼파라미터로 조정된 모델**을 검색하고 로드합니다.
* ⚠ 더욱 강력한 하이퍼파라미터 최적화 프로세스를 위해 **학습 파라미터를 조정**하세요.

### 스트리트 파이터 II용 강화 학습 모델 미세 조정하기
* 🎮 이 튜토리얼에서는 안정적인 기준선3을 사용하여 스트리트 파이터 II를 플레이하기 위한 **근접 정책 최적화(PPO) 모델을 미세 조정**하는 방법을 설명합니다.
* 🧠 이 모델은 **7시간에 걸쳐 546만 걸음**을 훈련하여 게임 내 상대와 겨뤄 괜찮은 성과를 거두었습니다.
* 🏆 훈련된 모델인 **PPO 류**는 **길, 켄, 춘리, 장이프를 물리치며 학습 능력**을 보여줬습니다.
* 🤖 이 튜토리얼에는 최적의 하이퍼파라미터로 튜닝된 모델을 로드하고, **'평가_정책'을 사용하여 평가**하고, 커스텀 게임 루프에서 테스트하는 코드 스니펫이 포함되어 있습니다.
* 📊 교육 진행 상황은 **평균 에피소드 보상, 에피소드 길이, 학습률**과 같은 주요 지표를 보여주는 TensorBoard를 사용하여 시각화됩니다.
* 🎯 튜토리얼에서는 **교육 시간 연장, 학습 속도 조정, 개별 게임 레벨에 커리큘럼 학습 적용** 등 잠재적인 개선 사항을 제안합니다.
* 🎥 게임 내 상대와의 승리와 패배를 포함하여 **PPO 류의 훈련 여정에서 중요한 순간**을 강조하는 결과 몽타주가 표시됩니다.
* 💬 튜토리얼은 잠재적인 모델 한계와 향후 방향에 대한 토론으로 마무리되며, **새로운 게임이나 환경을 탐색하기 위한 피드백과 제안**을 초대합니다.

Build a Street Fighter AI Model with Python | Gaming Reinforcement Learning Full Course

Nicholas Renotte

강화 학습으로 스트리트 파이터 AI 구축하기

이 튜토리얼은 세 가지 핵심 사항, 즉 Gym Retro 패키지를 사용한 스트리트 파이터용 강화 학습 모델 구축, Optuna를 사용한 하이퍼파라미터 튜닝 학습, 안정적인 기준선을 사용한 미세 조정에 중점을 두고 있습니다.

이 과정에는 스트리트 파이터 ROM과 함께 작동하도록 Gym Retro 환경을 설정하고, OpenAI Gym 및 Gym Retro와 같은 종속 요소를 설치하며, 강화 학습에 사용할 수 있도록 스트리트 파이터 ROM을 확보하는 것이 포함됩니다.

짐 레트로 에뮬레이터에서 게임 설정 및 등록하기

짐 레트로에서 게임을 설정하려면 먼저 ROM을 다운로드하여 "ROMs" 폴더에 넣습니다.

import" 명령을 사용하여 게임 카트리지를 에뮬레이터와 연결하고 등록합니다.

현재 폴더에 있는 모든 항목을 가져오려면 점을 포함해야 합니다.

list_games" 명령을 사용하여 사용 가능한 게임 목록을 확인한 다음 "retro.

make"를 사용하여 여러 에뮬레이터 인스턴스가 동시에 실행되지 않도록 원하는 게임 환경을 만듭니다.

레트로 래퍼를 사용하여 환경을 병렬로 실행하기

레트로 래퍼를 사용하면 여러 환경을 병렬로 실행할 수 있으므로 레트로에서 환경을 열고 닫을 때의 번거로움을 해결할 수 있습니다.

환경의 관찰 공간은 200x256x3 이미지이며, 액션 공간은 멀티 바이너리이므로 에이전트에게 다양한 잠재적 액션을 제공합니다.

게임 루프는 스트리트 파이터 환경을 테스트하기 위해 작성되어 게임을 시작 상태로 재설정하고 게임이 끝날 때까지 반복하면서 환경을 렌더링하고 임의의 동작을 수행합니다.

강화 학습을 위한 스트리트 파이터 설정하기

스트리트 파이터 게임이 실행 중이지만 현재 보상 시스템이 부족하여 강화 학습 에이전트를 훈련하기 어렵습니다.

다음 단계는 에이전트의 행동에 대한 보상을 제공하기 위해 게임 환경을 조정하고 움직임을 포착하고 더 빠르게 훈련할 수 있도록 게임을 사전 처리하는 것입니다.

여기에는 그레이 스케일링, 프레임 재구성, 현재 프레임과 마지막 프레임 사이의 픽셀 변화 계산 등이 포함됩니다.

스트리트 파이터 게임용 강화 학습 환경 준비하기

관찰의 사전 처리에는 픽셀 수를 줄이기 위한 그레이스케일 프레임 델타 및 이미지 크기 조정이 포함됩니다.

동작 필터링은 체육관 레트로에서 사용할 수 있는 매개변수를 사용하여 수행됩니다.

보상 기능은 처음에는 기준 점수로 설정되지만, 예를 들어 적의 체력에 따라 사용자 지정할 수 있습니다.

전처리를 위해 기본 환경 클래스, 액션 스페이스, numpy 및 OpenCV를 임포트합니다.

초기화, 액션 전처리, 렌더링, 재설정 및 관측의 선택적 전처리를 위한 메서드가 포함된 커스텀 환경 클래스를 생성합니다.

파이썬에서 스트리트 파이터 클래스 생성하기

스트리트 파이터 클래스는 초기화, 단계, 렌더링, 리셋, 프리프로세스의 다섯 가지 메서드로 생성됩니다.

초기화 메서드는 기본 환경에서 상속하고 박스 메서드를 사용하여 액션 공간과 관찰 공간을 지정합니다.

또한 동작이 제한된 게임 인스턴스를 설정하는 작업도 포함됩니다.

리셋 방법은 초기 관찰을 반환하고, 이전 프레임을 설정하고, 점수 변수를 생성하여 점수 변화를 보상 함수로 포착하도록 설계되었습니다.

클래스 구현에는 액션과 관찰 공간을 정의하는 init 메서드 설정, 제한된 액션으로 게임 인스턴스 초기화, 초기 관찰, 이전 프레임, 점수 변수를 처리하는 reset 메서드 생성이 포함됩니다.

강화 학습 에이전트 생성하기: 초기화 및 전처리

이 코드는 점수 속성을 초기화하고 초기 프레임을 반환하고 이전 프레임을 설정하며 점수 델타를 유지하는 리셋 메서드를 설정합니다.

전처리 메서드는 프레임을 84x84로 그레이 스케일링하고 크기를 조정하여 강화 학습 에이전트에 사용할 수 있도록 준비합니다.

이 코드에는 OpenCV를 사용하여 그레이 스케일링 및 크기 조정 데모가 포함되어 있으며, 크기가 조정된 이미지의 모양을 조정하는 방법이 필요합니다.

강화 학습 모델을 위한 코드 최적화

이 코드는 프레임을 그레이 스케일링, 크기 조정 및 재구성하여 강화 학습 모델에 맞게 관찰을 최적화합니다.

또한 프레임 델타를 계산하고 보상 함수를 재구성하여 점수 변화를 추적합니다.

이 최적화는 강화 학습 알고리즘의 효율성을 개선하는 것을 목표로 합니다.

게임 환경을 위한 사전 처리 단계

델타 계산을 통해 각 작업 단계 사이의 픽셀 변화를 식별할 수 있습니다.

사전 처리된 환경에는 속성 재설정, 프레임 델타 계산, 렌더링 매개변수 설정 메서드가 포함되어 있습니다.

커널을 다시 시작하는 것은 레트로 환경이 중단된 경우 프로세스를 원활하게 이어갈 수 있도록 새로 고치는 일반적인 솔루션입니다.

강화 학습을 위한 게임 환경 사전 처리하기

이 프로세스에는 프레임 델타를 사용하여 픽셀 변화를 캡처하고 에이전트의 시각적 관찰을 검증하는 작업이 포함됩니다.

프레임 스태킹은 움직임 궤적을 캡처하는 데도 사용됩니다.

다음 단계는 최적의 파라미터 세트를 찾기 위해 Optuna를 사용하여 강화 학습 모델을 훈련하기 위한 하이퍼파라미터 튜닝을 수행하는 것입니다.

튜닝에는 PPO 알고리즘에 대한 n 단계, 감마, 학습 속도, 클립 범위 및 GAE 람다와 같은 매개변수를 조정하는 작업이 포함됩니다.

이를 통해 게임 환경에 맞게 모델을 더 효과적으로 훈련할 수 있습니다.

강화 학습을 위한 PyTorch, Stable Baselines 3, Optuna 설치하기

이 프로세스에는 파이토치, 스테이블 베이스라인 3 및 옵투나를 pip 명령어를 사용하여 설치하는 과정이 포함됩니다.

PyTorch는 웹사이트에서 특정 명령을 사용하여 설치하며, Stable Baselines 3 및 Optuna는 "pip install" 명령을 사용하여 설치합니다.

설치 후 다음 단계는 종속성을 가져오고 트레이닝 프로세스를 위한 로그 및 최적화 디렉터리를 정의하는 것입니다.

PPO 모델 학습을 위한 하이퍼파라미터 최적화 설정하기

"optimize_ppo" 함수는 n 단계, 감마, 학습 속도, 클립 범위, 게이지 람다를 포함한 PPO 모델의 하이퍼파라미터를 반환하도록 정의되어 있습니다.

하이퍼파라미터는 훈련 중에 PPO 알고리즘을 최적화하기 위해 int, 로그 균등, 균일 분포와 같은 다양한 분포를 사용하여 제안됩니다.

목표는 PPO 모델의 성능을 개선하기 위한 최적의 하이퍼파라미터 세트를 찾는 것입니다.

강화 학습을 위한 하이퍼파라미터 최적화 설정하기

옵투나 방법을 통해 알고리즘에 가장 적합한 하이퍼파라미터 세트를 찾는 것이 목표입니다.

이 과정에는 새 환경을 만들고, 래핑하고, PPO 모델을 설정하고, 메인 에피소드 보상을 계산하기 위한 학습을 시작하는 것이 포함됩니다.

Optuna에서 모델 파라미터의 포장을 풀고 알고리즘에 전달하는 것은 하이퍼파라미터 최적화를 위한 중요한 단계입니다.

강화 학습을 위한 PPO 모델 훈련하기

이 코드는 모델 파라미터를 PPO 모델에 전달하고 30,000단계 동안 훈련하는 것으로 구성되며, 더 빠른 훈련을 위해 변경할 수 있는 옵션이 있습니다.

모델 평가는 평균 보상을 계산하기 위해 5개의 다른 게임에서 수행됩니다.

이 코드에는 향후 사용을 위해 최적의 모델을 저장하고 훈련 루프가 중지되지 않도록 오류를 처리하는 기능도 포함되어 있습니다.

옵투나를 사용한 PPO 에이전트용 하이퍼파라미터 튜닝

이 과정에는 Optuna 및 Stable Baselines3을 사용하여 하이퍼파라미터 튜닝 프레임워크를 설정한 다음 하이퍼파라미터 최적화 연구를 생성하고 실행하는 것이 포함됩니다.

이 튜토리얼에서는 시도 횟수 및 병렬 환경 설정을 포함하여 PPO 에이전트 최적화를 위한 주요 단계를 보여줍니다.

하이퍼파라미터 튜닝은 처음에는 시기적절한 데모를 위해 적은 수의 시도 횟수로 표시되지만 실제 프로세스에는 더 많은 시도 횟수와 더 긴 훈련 시간이 포함됩니다.

10번의 시도와 30만 걸음으로 모델 훈련하기

훈련은 10번의 트라이얼로 구성되며, 각 트라이얼은 30,000보씩 실행되어 총 300,000보의 걸음 수를 기록합니다.

초기 결과에서 'os' 값 가져오기가 누락되어 루프에서 특정 오류가 발생하는 오류가 발견되었습니다.

필요한 조정을 하고 임시 반복을 실행하여 훈련 프로세스를 성공적으로 완료하고 한 번의 시험을 완료하여 최상의 하이퍼파라미터를 얻었습니다.

강화 학습의 하이퍼파라미터 조정 및 모델 미세 조정

특정 파라미터 값에 대한 권장 사항과 함께 하이퍼파라미터 튜닝 프로세스가 완료됩니다.

보다 원활한 결과를 얻으려면 평가 에피소드 수를 늘리는 것이 좋습니다.

이제 가장 성능이 좋은 모델이 저장되어 미세 조정할 준비가 되었습니다.

훈련 및 로깅 콜백은 훈련 중에 미세 조정된 모델을 일정한 간격으로 저장하도록 설정됩니다.

미세 조정 프로세스를 위해 별도의 체크포인트 디렉토리가 생성됩니다.

다음 단계는 가장 성능이 좋은 Optuna 평가판을 사용하여 모델을 미세 조정하여 추가 개선을 하는 것입니다.

PPO 알고리즘으로 스트리트 파이터 모델 훈련하기

발표자는 GitHub의 Stable Baselines에서 코드를 구해 여러 번 사용했습니다.

훈련 과정에는 새로운 환경을 만들고, 모델 파라미터를 조정하고, 전이 학습을 위해 가장 성능이 좋은 모델 가중치를 로드하는 과정이 포함됩니다.

또한 연사는 모델이 낮은 성능을 보일 경우 더 오랜 시간 동안 훈련하고 학습 속도를 낮출 것을 제안합니다.

PPO CNN 모델 훈련 및 결과 해석하기

이 프로세스에는 PPO CNN 모델을 설정하고, 훈련하고, 성능을 평가하는 단계가 포함됩니다.

훈련 실행 결과는 평균 에피소드 보상과 특정 단계 수에 따른 성능을 보여줍니다.

결과 해석에는 fps, 반복 횟수, 대략적인 KL, 클립 비율, 클립 범위, 엔트로피 손실, 정책 그라데이션 손실, 값 손실 및 설명 분산과 같은 메트릭에 대한 이해가 포함됩니다.

신경망 미세 조정하기: 훈련 연습

이 모델은 다양한 에피소드 길이를 보여주고 있으며 에피소드 보상이 증가하다가 감소하여 더 긴 훈련이 필요함을 나타냅니다.

트레이너는 이전 모델과의 성능 비교를 바탕으로 훈련을 5백만 걸음으로 확장할 것을 제안합니다.

또한 더 나은 결과를 위해 하이퍼파라미터를 미세 조정하고 학습 속도를 조정하라는 권장 사항도 있습니다.

더 나은 결과를 위한 모델 훈련 개선

이 문서에서는 사용자 지정 루프를 사용한 모델 훈련 및 평가 데모를 통해 실시간 테스트의 중요성을 강조합니다.

또한 하이퍼파라미터 튜닝과 확장 훈련이 모델 성능에 미치는 영향을 강조합니다.

최종 모델은 더 오랜 기간 동안 훈련한 후 상당한 개선을 보였으며, 그 결과 더 일관되고 효과적인 결과를 얻을 수 있었습니다.

승리의 여정, 류준영의 PPO 여정

546만 걸음의 훈련 끝에 류 PPO는 켄, 춘리, 장이프, 심지어 자동차까지 연달아 이기는 데 성공했습니다.

그러나 체육관 레트로 환경의 한계로 인해 훈련은 한계에 도달했고, 성능 향상을 위해 개인별 레벨을 미세 조정해야 한다는 제안이 이어졌습니다.