▶ ネイバー コーポレーションの特許一覧 ▶ ネイバーラボス コーポレーションの特許一覧
特許7459238ユーザ選好による強化学習基盤の自律走行最適化方法およびシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-22
(45)【発行日】2024-04-01
(54)【発明の名称】ユーザ選好による強化学習基盤の自律走行最適化方法およびシステム
(51)【国際特許分類】
G06N 3/08 20230101AFI20240325BHJP
G06N 20/00 20190101ALI20240325BHJP
G05D 1/43 20240101ALI20240325BHJP
G05D 1/60 20240101ALI20240325BHJP
【ＦＩ】
G06N3/08
G06N20/00
G05D1/43
G05D1/60
【請求項の数】
16
(21)【出願番号】P 2022519438
(86)(22)【出願日】2020-08-25
(65)【公表番号】
(43)【公表日】2022-11-30
(86)【国際出願番号】 KR2020011304
(87)【国際公開番号】W WO2021080151
(87)【国際公開日】2021-04-29
【審査請求日】2022-03-28
(31)【優先権主張番号】10-2019-0132808
(32)【優先日】2019-10-24
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2020-0009729
(32)【優先日】2020-01-28
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】505205812
【氏名又は名称】ネイバー コーポレーション
【氏名又は名称原語表記】ＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ
(73)【特許権者】
【識別番号】319012978
【氏名又は名称】ネイバーラボス コーポレーション
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】チェー ジンヨン
(72)【発明者】
【氏名】キム ジョンウン
(72)【発明者】
【氏名】パク キョンシク
(72)【発明者】
【氏名】ハン ジェフン
(72)【発明者】
【氏名】ソ ジュンホ
(72)【発明者】
【氏名】キム ミンス
(72)【発明者】
【氏名】ダンス クリストファー
【審査官】北川 純次
(56)【参考文献】
【文献】特開２００７－０４１７２３（ＪＰ，Ａ）
【文献】特開２０１９－１０１９０７（ＪＰ，Ａ）
【文献】国際公開第２００４／０３３１５９（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／０２ － ３／１０
Ｇ０６Ｎ ２０／００
Ｇ０５Ｄ １／４３
Ｇ０５Ｄ １／６０
(57)【特許請求の範囲】
【請求項1】
コンピュータシステムが実行する自律走行学習方法であって、前記コンピュータシステムは、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、
前記自律走行学習方法は、
前記少なくとも１つのプロセッサが、システムによる自動設定または管理者による直接設定によって互いに異なる自律走行パラメータをシミュレーション上の複数のロボットエージェントに付与して、ロボット自律走行を学習する段階
を含み、
前記学習する段階は、
前記ロボット自律走行の学習のためのニューラルネットワークの入力として、ロボットからリアルタイムで取得するセンサ値と、自律走行ポリシーと関連してランダムに付与される自律走行パラメータとを使用して、モデルのＮｌｌ（ｎｅｇａｔｉｖｅ ｌｏｇ－ｌｉｋｅｌｉｈｏｏｄ）を最小化する段階を含む、
自律走行学習方法。
【請求項2】
前記学習する段階は、前記複数のロボットエージェントを対象に、ランダムにサンプリングされた自律走行パラメータを入力とする強化学習（ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ）を同時に実行すること
を特徴とする、請求項１に記載の自律走行学習方法。
【請求項3】
前記学習する段階は、全結合層（ｆｕｌｌｙ－ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）とＧＲＵ（ｇａｔｅｄ ｒｅｃｕｒｒｅｎｔ ｕｎｉｔｓ）で構成されたニューラルネットワークを利用して、前記複数のロボットエージェントの自律走行を同時に学習することを特徴とする、請求項１又は２に記載の自律走行学習方法。
【請求項4】
前記自律走行学習方法は、前記少なくとも１つのプロセッサが、前記自律走行パラメータに対する人間の選好データ（ｐｒｅｆｅｒｅｎｃｅ ｄａｔａ）を利用して、選好度モデルに近接させるように前記自律走行パラメータを最適化する段階
をさらに含む、請求項１乃至３のいずれか一項に記載の自律走行学習方法。
【請求項5】
前記最適化する段階は、前記自律走行パラメータが互いに異なるように設定されたロボットの走行映像に対するフィードバックを反映して、前記自律走行パラメータを最適化すること
を特徴とする、請求項４に記載の自律走行学習方法。
【請求項6】
前記最適化する段階は、前記自律走行パラメータの一対比較（ｐａｉｒｗｉｓｅ ｃｏｍｐａｒｉｓｏｎｓ）によって、前記自律走行パラメータに対する選好度を評価する段階
を含む、請求項４に記載の自律走行学習方法。
【請求項7】
コンピュータシステムが実行する自律走行学習方法であって、前記コンピュータシステムは、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、
前記自律走行学習方法は、
前記少なくとも１つのプロセッサが、システムによる自動設定または管理者による直接設定によって互いに異なる自律走行パラメータをシミュレーション上の複数のロボットエージェントに付与して、ロボット自律走行を学習する段階
を含み、
前記自律走行学習方法は、
前記少なくとも１つのプロセッサが、前記自律走行パラメータに対する人間の選好データ（ｐｒｅｆｅｒｅｎｃｅ ｄａｔａ）を利用して、選好度モデルに近接させるように前記自律走行パラメータを最適化する段階
をさらに含み、
前記最適化する段階は、
ベイジアンニューラルネットワーク（Ｂａｙｅｓｉａｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）モデルを使用して、前記自律走行パラメータに対する選好度をモデリングする段階
を含む、自律走行学習方法。
【請求項8】
請求項１～７のうちのいずれか一項に記載の自律走行学習方法を前記コンピュータシステムに実行させるために非一時的なコンピュータ読み取り可能な記録媒体に記録される、コンピュータプログラム。
【請求項9】
請求項１～７のうちのいずれか一項に記載の自律走行学習方法をコンピュータに実行させるためのプログラムが記録されている、非一時的なコンピュータ読み取り可能な記録媒体。
【請求項10】
コンピュータシステムであって、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサ
を含み、
前記少なくとも１つのプロセッサは、
シミュレーション上の複数のロボットエージェントにシステムによる自動設定または管理者による直接設定によって互いに異なる自律走行パラメータを付与して、ロボット自律走行を学習する学習部
を含み、
前記学習部は、
前記ロボット自律走行の学習のためのニューラルネットワークの入力として、ロボットからリアルタイムで取得するセンサ値と、自律走行ポリシーと関連してランダムに付与される自律走行パラメータとを使用して、モデルのＮｌｌ（ｎｅｇａｔｉｖｅ ｌｏｇ－ｌｉｋｅｌｉｈｏｏｄ）を最小化すること、を特徴とする、
コンピュータシステム。
【請求項11】
前記学習部は、前記複数のロボットエージェントを対象に、ランダムにサンプリングされた自律走行パラメータを入力とする強化学習を同時に実行すること
を特徴とする、請求項１０に記載のコンピュータシステム。
【請求項12】
前記学習部は、全結合層とＧＲＵで構成されたニューラルネットワークを利用して、前記複数のロボットエージェントの自律走行を同時に学習すること
を特徴とする、請求項１０又は１１に記載のコンピュータシステム。
【請求項13】
前記少なくとも１つのプロセッサは、前記自律走行パラメータに対する人間の選好データを利用して、選好度モデルに近接させるように前記自律走行パラメータを最適化する最適化部
をさらに含む、請求項１０乃至１２のいずれか一項に記載のコンピュータシステム。
【請求項14】
前記最適化部は、前記自律走行パラメータが互いに異なるように設定されたロボットの走行映像に対するフィードバックを反映して、前記自律走行パラメータを最適化すること
を特徴とする、請求項１３に記載のコンピュータシステム。
【請求項15】
前記最適化部は、前記自律走行パラメータの一対比較によって、前記自律走行パラメータに対する選好度を評価すること
を特徴とする、請求項１３に記載のコンピュータシステム。
【請求項16】
前記最適化部は、ベイジアンニューラルネットワークモデルを使用して、前記自律走行パラメータに対する選好度をモデリングすること
を特徴とする、請求項１３に記載のコンピュータシステム。
【発明の詳細な説明】
【技術分野】
【0001】
以下の説明は、ロボットの自律走行技術に関する。
【背景技術】
【0002】
自律走行ロボットは、産業分野で広く使用されるロボットを応用した技術であって、一例として、オドメータ（Ｏｄｏｍｅｔｒｙ）方式によって速度情報や方位角情報などを取得した後、以前の位置から次の位置までの移動距離と方向に関する情報を演算することで自身の位置と方向を認識することができる。
【0003】
例えば、韓国登録特許第１０－１７７１６４３号公報（登録日２０１７年８月２１日）には、絶対座標を認識して目的地まで自動で移動することができる自律走行ロボットおよびこのナビゲーション方法が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】韓国登録特許第１０－１７７１６４３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ユーザ選好度による強化学習（ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ）基盤の自律走行最適化のための技術を提供する。
【0006】
再訓練過程の必要なく、多様なパラメータに適応させて報酬に反映させることのできる、新たな深層強化学習基盤の自律走行技術を提供する。
【0007】
少数の選好データの利用でも、ユースケース（ｕｓｅ－ｃａｓｅ）に適合する自律走行パラメータを探索することができる技術を提供する。
【課題を解決するための手段】
【0008】
コンピュータシステムが実行する自律走行学習方法であって、前記コンピュータシステムは、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記自律走行学習方法は、前記少なくとも１つのプロセッサにより、シミュレーション上の複数のロボットエージェントにシステムによる自動設定または管理者による直接設定によって互いに異なる自律走行パラメータを付与して、ロボット自律走行を学習する段階を含む、自律走行学習方法を提供する。
【0009】
一側面によると、前記学習する段階は、前記複数のロボットエージェントを対象に、ランダムサンプリングされた自律走行パラメータを入力とする強化学習（ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ）を同時に実行してよい。
【0010】
他の側面によると、前記学習する段階は、全結合層（ｆｕｌｌｙ－ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）とＧＲＵ（ｇａｔｅｄ ｒｅｃｕｒｒｅｎｔ ｕｎｉｔｓ）で構成されたニューラルネットワークを利用して、前記複数のロボットエージェントの自律走行を同時に学習してよい。
【0011】
また他の側面によると、前記学習する段階は、前記ロボット自律走行の学習のためのニューラルネットワークの入力によってロボットからリアルタイムで取得するセンサ値と、自律走行ポリシー（policy：方策）と関連してランダムに付与される自律走行パラメータを使用する段階を含んでよい。
【0012】
また他の側面によると、前記自律走行学習方法は、前記少なくとも１つのプロセッサにより、前記自律走行パラメータに対する選好データ（ｐｒｅｆｅｒｅｎｃｅ ｄａｔａ）を利用して、前記自律走行パラメータを最適化する段階をさらに含んでよい。
【0013】
また他の側面によると、前記最適化する段階は、前記自律走行パラメータが互いに異なるように設定されたロボットの走行映像に対するフィードバックを反映して、前記自律走行パラメータを最適化してよい。
【0014】
また他の側面によると、前記最適化する段階は、前記自律走行パラメータの一対比較（ｐａｉｒｗｉｓｅ ｃｏｍｐａｒｉｓｏｎｓ）により、前記自律走行パラメータに対する選好度を評価する段階を含んでよい。
【0015】
また他の側面によると、前記最適化する段階は、ベイジアンニューラルネットワーク（Ｂａｙｅｓｉａｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）モデルを使用して、前記自律走行パラメータに対する選好度をモデリングする段階を含んでよい。
【0016】
さらに他の側面によると、前記最適化する段階は、選好度モデルの不確実性（ｕｎｃｅｒｔａｉｎｔｙ）に基づいて、前記自律走行パラメータの一対比較のためのクエリ（ｑｕｅｒｙ）を生成する段階を含んでよい。
【0017】
前記自律走行学習方法を前記コンピュータシステムに実行させるために非一時的なコンピュータ読み取り可能な記録媒体に記録される、コンピュータプログラムを提供する。
【0018】
前記自律走行学習方法をコンピュータに実行させるためのプログラムが記録されている、非一時的なコンピュータ読み取り可能な記録媒体を提供する。
【0019】
コンピュータシステムであって、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、シミュレーション上の複数のロボットエージェントにシステムによる自動設定または管理者による直接設定によって互いに異なる自律走行パラメータを付与して、ロボット自律走行を学習する学習部、および前記自律走行パラメータに対する選好データを利用して、前記自律走行パラメータを最適化する最適化部を含むコンピュータシステムを提供する。
【発明の効果】
【0020】
本発明の実施形態によると、多様な環境における強化学習を同時に進行することによって多様かつ予測不可能な実世界（ｒｅａｌ－ｗｏｒｌｄ）における学習効果を達成することができ、データの増加なく適応型自律走行アルゴリズムを実現することができる。
【0021】
本発明の実施形態によると、ロボットの走行映像に対するユースケースとして適切であるかを示す選好度をモデリングした後、モデルの不確実性に基づくことで、少数の選好データの利用でも自律走行パラメータを最適化することができる。
【図面の簡単な説明】
【0022】
【図1】本発明の一実施形態における、コンピュータシステムの内部構成の一例を説明するためのブロック図である。
【図2】本発明の一実施形態における、コンピュータシステムのプロセッサが含むことのできる構成要素の例を示した図である。
【図3】本発明の一実施形態における、コンピュータシステムが実行することのできる自律走行学習方法の例を示したフローチャートである。
【図4】本発明の一実施形態における、適応型自律走行ポリシー学習アルゴリズムの例を示した図である。
【図5】本発明の一実施形態における、適応型自律走行ポリシー学習のためのニューラルネットワークの例を示した図である。
【図6】本発明の一実施形態における、ユーティリティ関数学習のためのニューラルネットワークの例を示した図である。
【図7】本発明の一実施形態における、選好データを利用した自律走行パラメータ最適化アルゴリズムの例を示した図である。
【発明を実施するための形態】
【0023】
以下、本発明の実施形態について、添付の図面を参照しながら詳しく説明する。
【0024】
本発明の実施形態は、ロボットの自律走行技術に関する。
【0025】
本明細書で具体的に開示される事項を含む実施形態は、再訓練過程が必要なく、多様なパラメータに適応させて報酬に反映させることのできる、新たな深層強化学習基盤の自律走行技術を提供することができ、少数の選好データの利用でもユースケースに適した自律走行パラメータを探索することができる。
【0026】
図１は、本発明の一実施形態における、コンピュータシステムの例を示したブロック図である。例えば、本発明の実施形態に係る自律走行学習システムは、図１に示したコンピュータシステム１００によって実現されてよい。
【0027】
図１に示すように、コンピュータシステム１００は、本発明の実施形態に係る自律走行学習方法を実行するための構成要素として、メモリ１１０、プロセッサ１２０、通信インタフェース１３０、および入力／出力インタフェース１４０を含んでよい。
【0028】
メモリ１１０は、コンピュータ読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびディスクドライブのような永続的大容量記録装置を含んでよい。ここで、ＲＯＭやディスクドライブのような永続的大容量記録装置は、メモリ１１０とは区分される別の永続的記録装置としてコンピュータシステム１００に含まれてもよい。また、メモリ１１０には、オペレーティングシステムと、少なくとも１つのプログラムコードが記録されてよい。このようなソフトウェア構成要素は、メモリ１１０とは別のコンピュータ読み取り可能な記録媒体からメモリ１１０にロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信インタフェース１３０を通じてメモリ１１０にロードされてもよい。例えば、ソフトウェア構成要素は、ネットワーク１６０を介して受信されるファイルによってインストールされるコンピュータプログラムに基づいてコンピュータシステム１００のメモリ１１０にロードされてよい。
【0029】
プロセッサ１２０は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ１１０または通信インタフェース１３０によって、プロセッサ１２０に提供されてよい。例えば、プロセッサ１２０は、メモリ１１０のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。
【0030】
通信インタフェース１３０は、ネットワーク１６０を介してコンピュータシステム１００と互いに通信するための機能を提供してよい。一例として、コンピュータシステム１００のプロセッサ１２０がメモリ１１０のような記録装置に記録されたプログラムコードにしたがって生成した要求や命令、データ、ファイルなどが、通信インタフェース１３０の制御にしたがってネットワーク１６０を介して他の装置に伝達されてよい。これとは逆に、他の装置からの信号や命令、データ、ファイルなどが、ネットワーク１６０を経てコンピュータシステム１００の通信インタフェース１３０を通じてコンピュータシステム１００に受信されてよい。通信インタフェース１３０を通じて受信された信号や命令、データなどはプロセッサ１２０やメモリ１１０に伝達されてよく、ファイルなどはコンピュータシステム１００がさらに含むことのできる記録媒体（上述した永続的記録装置）に記録されてよい。
【0031】
通信方式が限定されることはなく、ネットワーク１６０が含むことのできる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網、衛星網など）を利用する通信方式だけではなく、機器同士の間の近距離有線／無線通信が含まれてもよい。例えば、ネットワーク１６０は、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。さらに、ネットワーク１６０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター－バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これらに限定されることはない。
【0032】
入力／出力インタフェース１４０は、入力／出力装置１５０とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード、カメラ、またはマウスなどの装置を含んでもよく、出力装置は、ディスプレイ、スピーカのような装置を含んでよい。他の例として、入力／出力インタフェース１４０は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置１５０は、コンピュータシステム１００と１つの装置で構成されてもよい。
【0033】
また、他の実施形態において、コンピュータシステム１００は、図１の構成要素よりも少ないか多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、コンピュータシステム１００は、上述した入力／出力装置１５０のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。
【0034】
近年は自律走行に対する深層強化学習方式の研究が活発に進められており、強化学習を利用したロボットの自律走行技術は、経路計画（ｐａｔｈ ｐｌａｎｎｉｎｇ）基盤の自律走行よりも高い性能を発揮している。
【0035】
しかし、従来の強化学習方法は、ロボットの最大速力と報酬構成要素の間のトレードオフ（ｔｒａｄｅ－ｏｆｆ）を示す加重値のようなパラメータに対して、固定値を使用して学習が行われていた（例えば、目標に対して短い経路を採択することと高い安全距離を維持すること）。
【0036】
好ましいロボット動作はユースケースごとに異なるため、実際のシナリオにおいて問題となることがある。例えば、病院内の各病棟に配置されたロボットは、精巧な装備との衝突を回避しつつ患者に脅威を与えないように注意しなければならないが、倉庫ロボットが最優先とする課題は、できるだけ迅速に目標に到達することにある。固定パラメータによって訓練されたロボットは、多様な要件を満たすことができず、各シナリオに適するように微調整するための再訓練が必要となる。さらに、人間と相互作用するロボットの好ましい行動は人間の選好度によって異なるが、このような選好データを収集するためには多くの手間と費用が伴う。
【0037】
したがって、多様なパラメータに適応することが可能なエージェントだけでなく、少数の人間選好データから最適に近いパラメータを迅速かつ正確に予測することができる方法が求められている。
【0038】
図２は、本発明の一実施形態における、コンピュータシステムのプロセッサが含むことのできる構成要素の例を示した図であり、図３は、本発明の一実施形態における、コンピュータシステムが実行することのできる自律走行学習方法の例を示したフローチャートである。
【0039】
図２に示すように、プロセッサ１２０は、学習部２０１および最適化部２０２を含んでよい。このようなプロセッサ１２０の構成要素は、少なくとも１つのプログラムコードによって提供される制御命令にしたがってプロセッサ１２０によって実行される、互いに異なる機能（ｄｉｆｆｅｒｅｎｔ ｆｕｎｃｔｉｏｎｓ）の表現であってよい。例えば、プロセッサ１２０が深層強化学習に基づいてロボットの自律走行を学習するようにコンピュータシステム１００を制御するために動作する機能的表現として、学習部２０１が使用されてよい。
【0040】
プロセッサ１２０およびプロセッサ１２０の構成要素は、図３の自律走行学習方法に含まれる段階３１０～３２０を実行してよい。例えば、プロセッサ１２０およびプロセッサ１２０の構成要素は、メモリ１１０が含むオペレーティングシステムのコードと、上述した少なくとも１つのプログラムコードとによる命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。ここで、少なくとも１つのプログラムコードは、自律走行学習方法を処理するために実現されたプログラムのコードに対応してよい。
【0041】
自律走行学習方法は、図に示した順に発生しなくてもよく、段階のうちの一部が省略されたり追加の過程がさらに含まれたりしてもよい。
【0042】
プロセッサ１２０は、自律走行学習方法のためのプログラムファイルに記録されたプログラムコードをメモリ１１０にロードしてよい。例えば、自律走行学習方法のためのプログラムファイルは、メモリ１１０とは区分される永続的記録装置に記録されていてよく、プロセッサ１２０は、バスを介して永続的記録装置に記録されたプログラムファイルからプログラムコードがメモリ１１０にロードされるようにコンピュータシステム１００を制御してよい。このとき、プロセッサ１２０およびプロセッサ１２０が含む学習部２０１および最適化部２０２それぞれは、メモリ１１０にロードされたプログラムコードのうちの対応する部分の命令を実行して段階３１０～３２０を実行するためのプロセッサ１２０の互いに異なる機能的表現であってよい。段階３１０～３２０を実行するために、プロセッサ１２０およびプロセッサ１２０の構成要素は、制御命令による演算を直接処理してもよいし、コンピュータシステム１００を制御してもよい。
【0043】
先ず、強化学習基盤の自律走行問題を公式化すると次のとおりとなる。
【0044】
本実施形態は、経路追跡（ｐａｔｈ－ｆｏｌｌｏｗｉｎｇ）自律走行タスクを考慮したものであって、エージェント（すなわち、ロボット）は目的地までの経路を移動する。このとき、経路は、一連の経由地として表現されてよい。エージェントが最後の経由地（目的地）に到達すれば新たな目標と経由地が与えられ、タスクをマルコフ決定過程（Ｍａｒｋｏｖ ｄｅｃｉｓｉｏｎ ｐｒｏｃｅｓｓ）（Ｓ、Ａ、Ω、ｒ、ｐｔｒａｎｓ、ｐｏｂｓ）によってモデリングする。Ｓは状態（ｓｔａｔｅｓ）、Ａはアクション（ａｃｔｉｏｎｓ）、Ωは観測（ｏｂｓｅｒｖａｔｉｏｎｓ）、ｒは報酬関数（ｒｅｗａｒｄ ｆｕｎｃｔｉｏｎ）、ｐｔｒａｎｓは条件付き状態遷移（ｃｏｎｄｉｔｉｏｎａｌ ｓｔａｔｅ－ｔｒａｎｓｉｔｉｏｎ）、ｐｏｂｓは観測確率（ｏｂｓｅｒｖａｔｉｏｎ ｐｒｏｂａｂｉｌｉｔｉｅｓ）を意味する。
【0045】
自律走行ロボットとして差等二輪モバイルプラットフォームモデルを使用し、割引係数がγ＝０．９９である汎用設定を適用する。
【0046】
（１）自律走行パラメータ（ｎａｖｉｇａｔｉｏｎ ｐａｒａｍｅｔｅｒｓ）
多くのパラメータが、強化学習基盤の自律走行エージェントの動作に影響を与える。例えば、７つのパラメータで構成された自律走行パラメータ
多くのパラメータが、強化学習基盤の自律走行エージェントの動作に影響を与える。例えば、７つのパラメータで構成された自律走行パラメータ
【0047】
【数1】
【0048】
【数2】
【0049】
本発明の目標は、多様なパラメータｗに適応することができ、与えられたユースケースに適したパラメータｗ
を効率的に探索するエージェントを訓練させることにある。
を効率的に探索するエージェントを訓練させることにある。
【0050】
（２）観測（ｏｂｓｅｒｖａｔｉｏｎｓ）
エージェントの観測形式は、数式（２）のとおりとなる。
エージェントの観測形式は、数式（２）のとおりとなる。
【0051】
【数3】
【0052】
【数4】
【0053】
【数5】
【0054】
【数6】
【0055】
最後に、Ｏｐａｔｈは（ｃｏｓ（φ），ｓｉｎ（φ））となり、φはロボットの座標系において次の経由地に対する相対的角度を意味する。
【0056】
（３）アクション（ａｃｔｉｏｎｓ）
エージェントのアクションは、［－１，１］２におけるベクトルとして間隔［－０．２ｍ／ｓ，ｗｍａｘＶ］に正規化されたロボットの所望する線形速力を示し、角速度は、［－ｗｍａｘＷ，ｗｍａｘＷ］に正規化される。ロボットがアクションを実行すれば±ｗａｃｃＷの各加速度が適用され、速度を増加させるときは線形加速度がｗａｃｃＶであり、減少させるときは－０．２ｍ／ｓである。
エージェントのアクションは、［－１，１］２におけるベクトルとして間隔［－０．２ｍ／ｓ，ｗｍａｘＶ］に正規化されたロボットの所望する線形速力を示し、角速度は、［－ｗｍａｘＷ，ｗｍａｘＷ］に正規化される。ロボットがアクションを実行すれば±ｗａｃｃＷの各加速度が適用され、速度を増加させるときは線形加速度がｗａｃｃＶであり、減少させるときは－０．２ｍ／ｓである。
【0057】
（４）報酬関数（ｒｅｗａｒｄ ｆｕｎｃｔｉｏｎ）
報酬関数ｒ：Ｓ×Ａ×Ｗ→Ｒは、数式（４）のように、５つの構成要素の和を意味する。
報酬関数ｒ：Ｓ×Ａ×Ｗ→Ｒは、数式（４）のように、５つの構成要素の和を意味する。
【0058】
【数7】
【0059】
【数8】
【0060】
ロボットがシミュレーションと実際の環境で最小安全距離を維持するようにするために障害物や他の物体と衝突すると推定される時間が１秒未満の場合、または衝突が発生した場合にｒｓｔｏｐ＝ｗｓｔｏｐの報酬が与えられる場合、線形速度を０ｍ／ｓに設定してロボットを停止させる。予想衝突時間は現在の動作で与えられた目標速度によって計算され、Ｏｓｃａｎで代表される障害地点を活用して０．５ｍ辺の正方形でロボットをモデリングする。
【0061】
他のエージェントに対する予想衝突時間がｗｓｏｃｉａｌ Ｌｉｍ秒よりも短いときに報酬ｒｓｏｃｉａｌ＝ｗｓｏｃｉａｌが与えられる。予想衝突時間は、スキャンデータの代わりに３ｍ範囲内の他のエージェントの位置を使用することを除いてｒｓｔｏｐに対して計算される。観測に他のエージェントの位置を含ませないため、ロボットはスキャンデータの順序を活用して他のエージェントの静的障害物を区別する。
【0062】
図３を参照すると、本発明に係る自律走行学習方法の一例は、次の２つの段階を含む。
【0063】
段階３１０で、学習部２０１は、広範囲な自律走行パラメータに適応することが可能な自律走行ポリシーを再訓練なく学習するために、シミュレーション環境において数台のロボットにランダムに自律走行パラメータを付与して学習を同時に進行する。
【0064】
学習部２０１は、自律走行学習のためのニューラルネットワークの入力としてセンサデータと自律走行パラメータを使用してよい。センサデータは、ロボットからリアルタイムで取得するセンサ値であって、例えば、ＴｏＦ（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）センサ値、現在の速度、オドメータ、走行方向、障害物の位置などを含んでよい。自律走行パラメータは、ランダムに付与される設定値であって、システムによって自動設定されてもよいし管理者によって直接設定されてもよい。例えば、自律走行パラメータは、衝突時の報酬、衝突回避に必要な安全距離と安全距離における報酬、最大速度（直線速度、回転速度）、最大加速度（直線加速度、回転加速度）などを含んでよい。パラメータ範囲が１～１０であると仮定するとき、パラメータ値が１であるロボットからパラメータ値が１０であるロボットまで計１０台のロボットを利用してシミュレーションを実行してよい。このとき、自律走行パラメータは、以下で説明する選好度に基づいて指定されてよい。
【0065】
学習部２０１は、シミュレーション上において、ランダムサンプリングされたパラメータをロボットそれぞれに付与する方式で数台のロボットを同時に学習させることにより、再学習なく、多様なパラメータに合わせて自律走行が可能であり、従来には学習に使用されていなかった新たなパラメータまで一般化（ｇｅｎｅｒａｌｉｚａｔｉｏｎ）が可能となる。
【0066】
一例として、図４のアルゴリズムに要約したように、分散マルチエージェント訓練（ｄｅｃｅｎｔｒａｌｉｚｅｄ ｍｕｌｔｉ－ａｇｅｎｔ ｔｒａｉｎｉｎｇ）方式を適用してよい。エピソードごとに複数のエージェントを共有環境に配置する。ポリシーを多様な自律走行パラメータに適するように調整するために、各エピソードが始まるときの分布から各エージェントの自律走行パラメータをランダムにサンプリングする。強化学習アルゴリズムの場合、パラメータサンプリングが効率的かつ安定的であり、より優れた成果のポリシーを生産する。
【0067】
【0068】
本発明に係る自律走行学習のためのニューラルネットワークアキテクチャは、適応型ポリシー学習構造（図５）と、ユーティリティ関数（ｕｔｉｌｉｔｙｆｕｎｃｔｉｏｎ）学習（図６）構造を使用する。ＦＣは全結合層（ｆｕｌｌｙ－ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）を示し、ＢａｙｅｓｉａｎＦＣはベイジアン全結合層（Ｂａｙｅｓｉａｎ ｆｕｌｌｙ－ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）を示し、併合された分岐は連結（ｃｏｎｃａｔｅｎａｔｉｏｎ）を示す。ユーティリティ関数ｆ（ｗ１）とｆ（ｗ２）は、共有加重値を利用して計算される。
【0069】
図５に示すように、ネットワークに対する追加入力としてエージェントの自律走行パラメータを提供する。エージェントとエージェント環境の時間易学をモデリングするために、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙｍｏｄｅｌｓ）に比べて少ない演算を要求すると同時に、競争的性能を提供するＧＲＵ（ｇａｔｅｄｒｅｃｕｒｒｅｎｔ ｕｎｉｔｓ）を使用する。
【0070】
本実施形態は、シミュレーション内で多様な設定のロボットを同時に学習させることにより、複数の入力による強化学習を同時に進行することができ、多様かつ予測不可能な実世界における学習効果を得ることができる。自律走行学習のための設定によって複数のランダムサンプリングされたパラメータを利用したとしても、学習に必要となるすべてのデータ量は１つの固定パラメータを利用する場合と同一あるいは類似の水準となるため、少ないデータによって適応型アルゴリズムを生成することができる。
【0071】
再び図３において、段階３２０で、最適化部２０２は、シミュレーションロボットの走行映像に対する選好データを利用して、自律走行パラメータを最適化してよい。最適化部２０２は、人間がロボットの走行映像を見てフィードバックを与えると、フィードバック値を反映して人間の選好する方式で自律走行パラメータを学習することにより、ユーザ選好に対する自律走行パラメータを最適化することができる。
【0072】
最適化部２０２は、自律走行パラメータが互いに異なるように設定されたロボットの走行映像に対して、人間からフィードバックを受けて反映するニューラルネットワークを活用してよい。図６を参照すると、ニューラルネットワークの入力は自律走行パラメータｗとなり、出力はソフトマックス（ｓｏｆｔｍａｘ）計算によるスコアとしてユーティリティ関数ｆ（ｗ）となる。すなわち、ユーザフィードバックによってソフトマックスを１または０で学習しながら、スコアが最も高く出るパラメータを探索するのである。
【0073】
広範囲な自律走行パラメータに適応することが可能なエージェントがあったとしても、与えられたユースケースに対して最適な自律走行パラメータを探索する問題は依然として残っている。したがって、選好データを使用して自律走行パラメータを最適化するという新たなベイジアン接近法を提案する。本実施形態では、容易に導き出すことが可能な一対比較（ｐａｉｒｗｉｓｅ ｃｏｍｐａｒｉｓｏｎｓ）によって選好度を評価してよい。
【0074】
一例として、Ｂｒａｄｌｅｙ－Ｔｅｒｒｙモデルをモデル選好度に使用してよい。自律走行パラメータ
【0075】
【数9】
【0076】
【数10】
【0077】
【数11】
【0078】
選好度モデルの能動的学習のために、パラメータθＢＮがあるベイジアンニューラルネットワークでユーティリティ関数ｆ（ｗ｜θＢＮ）を学習する。特に、能動的にクエリを生成するために予測不確実性に対する推定値を使用することにより、クエリの数を最小化してよい。
【0079】
【0080】
【数12】
【0081】
【数13】
【0082】
【数14】
【0083】
Ｎｓａｍｐｌｅ均一にサンプリングされた自律走行パラメータのうち、ＵＣＢ（ｗ｜θＢＮ）が最も高いＮｑｕｅｒｙ自律走行パラメータを使用してロボットの軌跡を生成する。この後、Ｎｑｕｅｒｙの新たな選好度クエリを能動的に生成する。このために、すべての自律走行パラメータの集合であるすべての
【0084】
【数15】
【0085】
言い換えれば、最適化部２０２は、それぞれ異なるパラメータで走行したロボットの２つの映像クリップをユーザに見せ、どちらの映像がユースケースにより適するかに対する選好度を調査した後に選好度をモデリングし、モデルの不確実性に基づいて新たなクリップを生成することにより、少数の選好データでも満足度の高いパラメータを探索することができる。ニューラルネットワークの連結強度を計算するたびに一定の分布でサンプリングし、特に、ベイジアンニューラルネットワークを活用して能動的にクエリを生成する過程において、予測結果の不確実性が高い入力に学習を誘導し、全体学習に必要となるクエリの数を効果的に減らすことができる。
【0086】
このように、本発明の実施形態によると、多様な環境における強化学習を同時に進行することによって多様で予測不可能な実世界における学習効果を達成することができ、データの増加なく、適応型自律走行アルゴリズムを実現することができる。さらに、本発明の実施形態によると、ロボットの走行映像に対してユースケースに適するかどうかを示す選好度をモデリングした後、モデルの不確実性に基づくことで、少数の選好データでも自律走行パラメータを最適化することができる。
【0087】
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者であれば、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
【0088】
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。
【0089】
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。このとき、媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体も挙げられる。
【0090】
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
【0091】
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
