【Unity】ML-Agentsで簡単な強化学習を試してみる【RollerBall】

python -m pip install mlagents==0.28.0

git clone --branch release_19 https://github.com/Unity-Technologies/ml-agents.git

Assets/ML-Agents/Examples/PushBlockWithInput/Scripts/PushBlockActions.cs(15,19): error CS0234: The type or namespace name 'InputSystem' does not exist in the namespace 'UnityEngine' (are you missing an assembly reference?)

using Unity.MLAgents;
using Unity.MLAgents.Actuators;
using Unity.MLAgents.Sensors;
using UnityEngine;

namespace RollerBall
{
    /// <summary>
    /// RollerAgent
    /// </summary>
    public class RollerAgent : Agent
    {
        [SerializeField] private Transform target;
        private Rigidbody _rBody;

        /// <summary>
        /// オブジェクト初期化
        /// </summary>
        public override void Initialize()
        {
            _rBody = GetComponent<Rigidbody>();
        }

        /// <summary>
        /// エピソード開始
        /// </summary>
        public override void OnEpisodeBegin()
        {
            // 床から落下していたら位置をリセットする
            if (transform.localPosition.y < 0)
            {
                _rBody.angularVelocity = Vector3.zero;
                _rBody.velocity = Vector3.zero;
                transform.localPosition = new Vector3(0.0f, 0.5f, 0.0f);
            }
            // ターゲットの位置をランダムに変える
            target.localPosition = new Vector3(Random.value * 8 - 4, 0.5f, Random.value * 8 - 4);
        }

        /// <summary>
        /// 観察値の設定
        /// </summary>
        /// <param name="sensor"></param>
        public override void CollectObservations(VectorSensor sensor)
        {
            sensor.AddObservation(target.localPosition);
            sensor.AddObservation(transform.localPosition);
            sensor.AddObservation(_rBody.velocity.x);
            sensor.AddObservation(_rBody.velocity.z);
        }

        /// <summary>
        /// ポリシーによって決定された行動に応じて行動を実行する
        /// 結果に応じて報酬取得とエピソード完了を行う
        /// </summary>
        /// <param name="actions"></param>
        public override void OnActionReceived(ActionBuffers actions)
        {
            // Agentに力を加える
            // ContinuousActionsを使用した場合(-1.0〜1.0)
            var controlSignal = Vector3.zero;
            controlSignal.x = actions.ContinuousActions[0];
            controlSignal.z = actions.ContinuousActions[1];
            _rBody.AddForce(controlSignal * 10);

            // ターゲットとの距離に応じて報酬を与える
            var distanceToTarget = Vector3.Distance(transform.localPosition, target.localPosition);
            if (distanceToTarget < 1.42f)
            {
                AddReward(1.0f);
                EndEpisode();
            } else if (transform.localPosition.y < 0)
            {
                EndEpisode();
            }
        }

        /// <summary>
        /// ヒューリスティックモードの設定
        /// </summary>
        /// <param name="actionsOut"></param>
        public override void Heuristic(in ActionBuffers actionsOut)
        {
            // 方向キーで操作する
            var continuousActions = actionsOut.ContinuousActions;
            continuousActions[0] = Input.GetAxis("Horizontal");
            continuousActions[1] = Input.GetAxis("Vertical");
        }
    }
}

        /// <summary>
        /// 観察値の設定
        /// </summary>
        /// <param name="sensor"></param>
        public override void CollectObservations(VectorSensor sensor)
        {
            sensor.AddObservation(target.localPosition);
            sensor.AddObservation(transform.localPosition);
            sensor.AddObservation(_rBody.velocity.x);
            sensor.AddObservation(_rBody.velocity.z);
        }

        /// <summary>
        /// ポリシーによって決定された行動に応じて行動を実行する
        /// 結果に応じて報酬取得とエピソード完了を行う
        /// </summary>
        /// <param name="actions"></param>
        public override void OnActionReceived(ActionBuffers actions)
        {
            // Agentに力を加える
            // ContinuousActionsを使用した場合(-1.0〜1.0)
            var controlSignal = Vector3.zero;
            controlSignal.x = actions.ContinuousActions[0];
            controlSignal.z = actions.ContinuousActions[1];
            _rBody.AddForce(controlSignal * 10);

・・・略・・・

        }

        /// <summary>
        /// ポリシーによって決定された行動に応じて行動を実行する
        /// 結果に応じて報酬取得とエピソード完了を行う
        /// </summary>
        /// <param name="actions"></param>
        public override void OnActionReceived(ActionBuffers actions)
        {

・・・略・・・

            // ターゲットとの距離に応じて報酬を与える
            var distanceToTarget = Vector3.Distance(transform.localPosition, target.localPosition);
            if (distanceToTarget < 1.42f)
            {
                AddReward(1.0f);
                EndEpisode();
            } else if (transform.localPosition.y < 0)
            {
                EndEpisode();
            }
        }

        /// <summary>
        /// ヒューリスティックモードの設定
        /// </summary>
        /// <param name="actionsOut"></param>
        public override void Heuristic(in ActionBuffers actionsOut)
        {
            // 方向キーで操作する
            var continuousActions = actionsOut.ContinuousActions;
            continuousActions[0] = Input.GetAxis("Horizontal");
            continuousActions[1] = Input.GetAxis("Vertical");
        }

\behaviors:
  RollerBall:
    # トレーナー種別
    trainer_type: ppo # ppo(オンポリシー) or sac(オフポリシー)
    
    # ハイパーパラメータ
    hyperparameters:
        
      # PPO、SAC共通
      batch_size: 10                 # 勾配降下(適正な値に近づける)の更新1回に使用される経験の数 (Continuousの場合は大きな数、Discreteの場合は小さな数の方がよい)
      buffer_size: 100               # ポリシーの更新を行う前に収集する経験の数（batch_sizeの倍数でなければならない）
      learning_rate: 3.0e-4          # 学習率の初期値 (高いほど学習済とみなして結果を信用する)
      learning_rate_schedule: linear # 学習率をどのように変化させるか (linearは後半になるほど高くし結果を信用する)
      
      # PPO固有
      beta: 5.0e-4             # 行動決定のランダムさ
      epsilon: 0.2             # 勾配降下のポリシー更新比率に対する許容限界の指定 (低くすると安定するが時間がかかる)
      lambd: 0.99.             # GAEを計算するときに使用する正規化パラメータ
      num_epoch: 3             # 勾配降下にポリシー更新時に訓練データを学習させる回数 (小さくすると安定するが時間がかかる)
      beta_schedule: constant  # betaをどのように変化させるか
      epsilon_schedule: linear # epsilonをどのように変化させるか
    
    # ニューラルネットワーク
    network_settings:
      normalize: false  # 入力を正規化することで効率をあげるか？
      hidden_units: 128 # 隠れ層のニューロンの数
      num_layers: 2     # 隠れ層の数
    
    # 報酬シグナル
    reward_signals:
      extrinsic:       # 環境によって与えられる報酬
        gamma: 0.99    # 将来の報酬割引係数 (将来を重視する場合は大きな値を設定)
        strength: 1.0  # 報酬にどれだけ乗算するか (他の報酬シグナルとの割合を設定)
    
    # 基本設定
    max_steps: 500000   # 学習するステップ数
    time_horizon: 64    # 経験バッファに追加する前に収集する経験の数 (頻繁に報酬が与えられる場合は小さな値の方がよい)
    summary_freq: 10000 # 統計情報の保存頻度となるステップ数

# 学習開始
# run-idで指定した名前のフォルダに出力される
mlagents-learn ./config/RollerBall.yaml --run-id=firstRun

# 学習済のフォルダに対して上書きする
mlagents-learn ./config/RollerBall.yaml --run-id=firstRun --force
# 学習途中のフォルダに対して再開する
mlagents-learn ./config/RollerBall.yaml --run-id=firstRun --resume

# tensorboardを開く
tensorboard --logdir results/firstRun --port 6006

        /// <summary>
        /// ポリシーによって決定された行動に応じて行動を実行する
        /// 結果に応じて報酬取得とエピソード完了を行う
        /// </summary>
        /// <param name="actions"></param>
        public override void OnActionReceived(ActionBuffers actions)
        {
            // Agentに力を加える
            // DiscreteActionsを使用した場合(branches: 1, branch 0 size: 5)
            // 0:無し、1:上移動、2:下移動、3:左移動、4:右移動
            var controlSignal = Vector3.zero;
            var actionType = actions.DiscreteActions[0];
            if (actionType == 1) controlSignal.z = 1.0f;
            if (actionType == 2) controlSignal.z = -1.0f;
            if (actionType == 3) controlSignal.x = -1.0f;
            if (actionType == 4) controlSignal.x = 1.0f;

            _rBody.AddForce(controlSignal * 10);

            // ターゲットとの距離に応じて報酬を与える
            var distanceToTarget = Vector3.Distance(transform.localPosition, target.localPosition);
            if (distanceToTarget < 1.42f)
            {
                AddReward(1.0f);
                EndEpisode();
            } else if (transform.localPosition.y < 0)
            {
                EndEpisode();
            }
        }

        /// <summary>
        /// ヒューリスティックモードの設定
        /// </summary>
        /// <param name="actionsOut"></param>
        public override void Heuristic(in ActionBuffers actionsOut)
        {
            // 方向キーで操作する
            var discreteActions = actionsOut.DiscreteActions;
            if (Input.GetKey(KeyCode.UpArrow)) discreteActions[0] = 1;
            if (Input.GetKey(KeyCode.DownArrow)) discreteActions[0] = 2;
            if (Input.GetKey(KeyCode.LeftArrow)) discreteActions[0] = 3;
            if (Input.GetKey(KeyCode.RightArrow)) discreteActions[0] = 4;
        }

# 詳細な設定範囲については下記を参照
# https://github.com/Unity-Technologies/ml-agents/blob/release_19_docs/docs/Training-Configuration-File.md
behaviors:
  RollerBall:
    # トレーナー種別
    trainer_type: sac # ppo(オンポリシー) or sac(オフポリシー)
    
    # ハイパーパラメータ
    hyperparameters:
        
      # PPO、SAC共通
      batch_size: 64
      buffer_size: 12000 # SACの場合、batch_sizeの数千倍に指定する必要がある
      learning_rate: 3.0e-4
      learning_rate_schedule: constant # SACの場合、constantがデフォルト
      
      # SAC固有
      buffer_init_steps: 0                 # 学習開始前に何ステップ分のランダムな行動を経験バッファに埋めるか
      tau: 0.005                           # SACモデル更新中のターゲットの更新の大きさ
      steps_per_update: 10.0               # ポリシー更新に対するステップの平均的比率
      save_replay_buffer: false            # 訓練を終了して再開する際、経験リプレイバッファを保存、ロードする (ONにするとかなりのディスク容量を占有する)
      init_entcoef: 0.5                    # 訓練開始時にエージェントがどの程度探索するか
      reward_signal_steps_per_update: 10.0 # ポリシー更新に対する報酬シグナルのステップ平均比率
    
    # ニューラルネットワーク
    network_settings:
      normalize: false
      hidden_units: 128
      num_layers: 2
       vis_encode_type: simple # これを指定しないと上手く学習できなかった
    
    # 報酬シグナル
    reward_signals:
      extrinsic:
        gamma: 0.99
        strength: 1.0
    
    # 基本設定
    max_steps: 500000
    time_horizon: 64
    summary_freq: 10000
    threaded: true # ステップ実行中にポリシーを更新することで高速化する (ppoのポリシーに反するためそちらではfalseにする)