特許 7459337 ロボットに適用されるナビゲーション方法及びそのロボット

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-22

(45)【発行日】2024-04-01

(54)【発明の名称】ロボットに適用されるナビゲーション方法及びそのロボット

(51)【国際特許分類】

   G05D 1/622 20240101AFI20240325BHJP

【ＦＩ】

G05D1/622

【請求項の数】 10

(21)【出願番号】P 2023046614

(22)【出願日】2023-03-23

(65)【公開番号】P2024027082

(43)【公開日】2024-02-29

【審査請求日】2023-03-24

(31)【優先権主張番号】111130840

(32)【優先日】2022-08-16

(33)【優先権主張国・地域又は機関】TW

(73)【特許権者】

【識別番号】508226687

【氏名又は名称】和碩聯合科技股▲ふん▼有限公司

【氏名又は名称原語表記】ＰＥＧＡＴＲＯＮ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】５Ｆ．，Ｎｏ．７６，Ｌｉｇｏｎｇ Ｓｔ．， Ｂｅｉｔｏｕ Ｄｉｓｔ．， Ｔａｉｐｅｉ Ｃｉｔｙ １１２， Ｔａｉｗａｎ

(74)【代理人】

【識別番号】100082418

【弁理士】

【氏名又は名称】山口 朔生

(74)【代理人】

【識別番号】100167601

【弁理士】

【氏名又は名称】大島 信之

(74)【代理人】

【識別番号】100201329

【弁理士】

【氏名又は名称】山口 真二郎

(74)【代理人】

【識別番号】100220917

【弁理士】

【氏名又は名称】松本 忠大

(72)【発明者】

【氏名】王健宇

【審査官】牧 初

(56)【参考文献】

【文献】特開２００５－３１６７５９（ＪＰ，Ａ）

【文献】特開２０２０－１０７０２４（ＪＰ，Ａ）

【文献】特開２０１３－５８０４３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｄ １／００－１／８７

(57)【特許請求の範囲】

【請求項1】

移動装置及び複数の距離センサを有するロボットに適用されるナビゲーション方法であって、
（ａ）初期座標である第１位置座標及び初期移動情報である第１移動情報を設定するステップと、
（ｂ）これらの距離センサによってそれぞれ異なる方向へ複数の検知距離を測定するステップと、
（ｃ）これらの検知距離、該第１位置座標及び該第１移動情報をニューラルネットワークモデルに入力して、該ニューラルネットワークモデルから出力される第２移動情報を得る意思決定プロセスを実行するステップと、
（ｄ）該第２移動情報を次回の該意思決定プロセスの該第１移動情報として設定するステップと、
（ｅ）該第２移動情報に基づき、該移動装置を駆動し、該ロボットを該第１位置座標から第２位置座標まで移動させるステップと、
（ｆ）該第２位置座標を次回の該意思決定プロセスの該第１位置座標として設定するステップと、
（ｇ）該第２位置座標と終点座標との距離が閾値より小さくなるまでステップ（ｂ）から（ｆ）を繰り返し実行するステップと、を含む、ナビゲーション方法。

【請求項2】

ステップ（ｃ）の後、且つステップ（ｄ）から（ｆ）の前に、さらに、
（ｃ１）該第２移動情報をフィルタに入力して、平滑化された該第２移動情報を得るステップを含む、請求項１に記載のナビゲーション方法。

【請求項3】

ステップ（ｄ）では、ステップ（ｃ１）で得られた平滑化後の該第２移動情報を次回の該意思決定プロセスの該第１移動情報として設定する、請求項２に記載のナビゲーション方法。

【請求項4】

該ニューラルネットワークモデルは、
これらの検知距離、該第１位置座標、該第１移動情報に基づき、該第２移動情報を意思決定するように設定された行動ネットワークと、
これらの検知距離、該第１位置座標、該第１移動情報及び該行動ネットワークにより意思決定された該第２移動情報に基づき、評価値を出力するように設定された評価ネットワークと、を含む、請求項１に記載のナビゲーション方法。

【請求項5】

該評価値は報酬値と正に相関し、該ナビゲーション方法は、
（ａ１）制限領域を設定するステップと、
（ａ２）該第２位置座標に基づいて該ロボットが該制限領域に接触したか否かを判断するステップと、
（ａ３）該ロボットが該制限領域に接触した場合、該報酬値を負値に設定するステップと、をさらに含む、請求項４に記載のナビゲーション方法。

【請求項6】

該評価値は報酬値に正に相関し、該ナビゲーション方法は、
（ｂ１）前回の該意思決定プロセスで出力された該第２移動情報及び今回の該意思決定プロセスで出力された該第２移動情報に基づき、２回の意思決定プロセスの移動距離に対応する該ロボットの変化量を計算するステップと、
（ｂ２）該変化量に基づいて該変化量と正に相関する該報酬値を決定するステップと、をさらに含む、請求項４に記載のナビゲーション方法。

【請求項7】

該ニューラルネットワークモデルは深層決定論的ポリシー勾配アルゴリズム（ＤＤＰＧ）モデルである、請求項１に記載のナビゲーション方法。

【請求項8】

それぞれ異なる方向へ複数の検知距離を測定するように設定された複数の距離センサと、
これらの検知距離、第１位置座標及び第１移動情報をニューラルネットワークモデルに入力して、該ニューラルネットワークモデルから出力される第２移動情報を得る意思決定プロセスを繰り返し実行するように設定された移動意思決定回路と、
移動装置と、
該第２移動情報に基づいて該移動装置の該第１位置座標から第２位置座標までの移動を駆動するように設定された制御回路と、を含むロボットであって、
該移動意思決定回路は、初めて該意思決定プロセスを実行する際に、該第１位置座標を初期座標として設定し、該第１移動情報を初期移動情報として設定し、
該意思決定プロセスを実行した後、該移動意思決定回路は、該第２移動情報を次回の該意思決定プロセスの該第１移動情報として設定し、
該制御回路が該第２移動情報に基づいて該移動装置の該第１位置座標から該第２位置座標までの移動を駆動した後、該移動意思決定回路は、該第２位置座標を次回の該意思決定プロセスの該第１位置座標として設定する、ロボット。

【請求項9】

該移動意思決定回路と該制御回路との間に結合され、該第２移動情報を平滑化するように設定されたフィルタ回路をさらに含む、請求項８に記載のロボット。

【請求項10】

該ニューラルネットワークモデルは、
これらの検知距離、該第１位置座標、該第１移動情報に基づき、該第２移動情報を意思決定するように設定された行動ネットワークと、
これらの検知距離、該第１位置座標、該第１移動情報及び該行動ネットワークにより意思決定された該第２移動情報に基づき、評価値を出力するように設定された評価ネットワークと、を含む、請求項８に記載のロボット。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、ロボットナビゲーションに関し、特に、ロボットが未知の環境において一定の意思決定能力を持ち且つ入力データの複雑度が大幅に低下した、ロボットに適用されるナビゲーション方法及びそのロボットに関する。

【背景技術】

【0002】

従来のロボットナビゲーションでは、まずロボットを使用領域の各地点に正確に移動させ、ライダー（Ｌｉｄａｒ）又はビジュアル同時ローカリゼーション・マッピングシステム（Ｖｉｓｕａｌ ＳＬＡＭ）により使用領域の地図を構築する必要がある。地図を記憶した後、次回にＳＬＡＭを起動すると、ロボットの現在位置を特定し、地図内の任意地点を指定し、ロボットが終点に到着するようにナビゲーションアルゴリズムで走行ルートを計画することができる。以上のプロセスは、いずれも地図の構築が基本として求められ、地図がなければナビゲーションができない。

【0003】

未知の環境において敢えて目標経路の案内を行いたい場合、Ｌｉｄａｒ又は深度カメラを使用してロボットと周囲環境の相関距離を確認し、従来のアルゴリズム又は強化学習の方式で、各方向への走行可能性をひたすら探すことが多い。しかしながら、強化学習の関連アルゴリズムでは、入力データが複雑で且つ不確実性が高いため訓練が困難であるという問題により、終点に到着する時間が大幅に延長され不要な迂回路が多数生じることが多い。

【発明の概要】

【0004】

１つの実施例において、ロボットに適用されるナビゲーション方法は、そのロボットが複数の距離センサ及び移動装置を有する。ここで、ナビゲーション方法は、（ａ）初期座標である第１位置座標及び初期移動情報である第１移動情報を設定するステップと、（ｂ）複数の距離センサによってそれぞれ異なる方向へ複数の検知距離を測定するステップと、（ｃ）複数の検知距離、第１位置座標及び第１移動情報をニューラルネットワークモデルに入力して、ニューラルネットワークモデルから出力される第２移動情報を得る意思決定プロセスを実行するステップと、（ｄ）第２移動情報を次回の意思決定プロセスの第１移動情報として設定するステップと、（ｅ）第２移動情報に基づき、移動装置を駆動し、ロボットを第１位置座標から第２位置座標まで移動させるステップと、（ｆ）第２位置座標を次回の意思決定プロセスの第１位置座標として設定するステップと、（ｇ）第２位置座標と終点座標との距離が閾値より小さくなるまでステップ（ｂ）から（ｆ）を繰り返し実行するステップと、を含む。

【0005】

１つの実施例において、ロボットは複数の距離センサ、移動意思決定回路、移動装置及び制御回路を含む。複数の距離センサはそれぞれ異なる方向へ複数の検知距離を測定するように設定される。移動意思決定回路は、複数の検知距離、第１位置座標及び第１移動情報をニューラルネットワークモデルに入力して、ニューラルネットワークモデルから出力される第２移動情報を得る意思決定プロセスを繰り返し実行するように設定される。制御回路は、第２移動情報に基づいて移動装置の第１位置座標から第２位置座標までの移動を駆動するように設定される。ここで、移動意思決定回路は、初めて意思決定プロセスを実行する際に、第１位置座標を初期座標として設定し、第１移動情報を初期移動情報として設定する。ここで、意思決定プロセスを実行した後、移動意思決定回路は、第２移動情報を次回の意思決定プロセスの第１移動情報として設定する。ここで、制御回路が第２移動情報に基づいて移動装置の第１位置座標から第２位置座標までの移動を駆動した後、移動意思決定回路は、第２位置座標を次回の意思決定プロセスの第１位置座標として設定する。

【0006】

以下に実施形態において本出願の詳細な特徴及び利点を詳しく説明し、その内容は、いかなる当業者も本出願の技術的内容を理解しそれをもって実施するのに十分であり、且つ、本明細書に開示される内容、特許請求の範囲及び図面に基づき、いかなる当業者も本出願の関連目的及び利点を容易に理解できる。

【図面の簡単な説明】

【0007】

【図1】ロボットの一実施例のブロック図である。

【図2】ロボットの複数の距離センサの位置の一実施例の模式図である。

【図3】ロボットに適用されるナビゲーション方法の一実施例のフローチャートである。

【図4】ロボットの別の実施例のブロック図である。

【図5】ロボットに適用されるナビゲーション方法の別の実施例のフローチャートである。

【図6】ニューラルネットワークモデルの一実施例のブロック図である。

【図7】ロボットの密閉空間でのルートの一実施例の模式図である。

【発明を実施するための形態】

【0008】

図１はロボット１の一実施例のブロック図である。図１を参照されたい。ロボット１は、複数の距離センサ１０、移動意思決定回路２０、制御回路３０及び移動装置４０を含む。複数の距離センサ１０は移動意思決定回路２０に結合され、制御回路３０は移動意思決定回路２０及び移動装置４０に結合される。

【0009】

図２はロボット１の複数の距離センサ１０の位置の一実施例の模式図である。図１及び図２を参照されたい。複数の距離センサ１０は、それぞれ周囲の異なる方向へ検知距離を測定するように設定される。各距離センサ１０は１つの方向において最も近い物体に対する検知距離を測定する。例を挙げれば、複数の距離センサ１０は数が１２個であり、検知距離Ｄ１～Ｄ１２を測定できる。いくつかの実施例において、距離センサ１０は超音波センサであってもよいが、それに限定されない。

【0010】

いくつかの実施例において、複数の距離センサ１０はロボット１の異なる方向への複数の検知距離を取得するようにロボット１の周囲に均一に分布する。

【0011】

移動意思決定回路２０は、意思決定プロセスを繰り返し実行するように設定され、意思決定プロセスを実行するたびに、現在の状態情報に基づいて次の動作を実行するための移動情報（以下、第２移動情報ＭＤ２という）を意思決定することができる。前記状態情報は複数の検知距離Ｄ１～Ｄ１２、位置座標及び移動情報（以下、第１移動情報ＭＤ１という）を含んでもよい。詳しくは、意思決定プロセスは、複数の検知距離Ｄ１～Ｄ１２、第１位置座標Ｐ１及び第１移動情報ＭＤ１をニューラルネットワークモデルＭ１に入力して、ニューラルネットワークモデルＭ１から出力される第２移動情報ＭＤ２を得る。いくつかの実施例において、ニューラルネットワークモデルＭ１は、動作意思決定のためのニューラルネットワークモデル、例えば深層決定論的ポリシー勾配アルゴリズム（Ｄｅｅｐ Ｄｅｔｅｒｍｉｎｉｓｔｉｃ Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ）モデルである。

【0012】

移動意思決定回路２０が初めて意思決定プロセスを実行する際に、移動意思決定回路２０は、第１位置座標Ｐ１を初期座標として設定し第１移動情報ＭＤ１を初期移動情報として設定する。

【0013】

いくつかの実施例において、第１移動情報ＭＤ１は第１の２次元線速度Ｖ１及び第１角速度Ｗ１を含む。初期移動情報は初期２次元線速度及び初期角速度を含む。意思決定プロセスの入力次元は複数の検知距離、第１位置座標Ｐ１、第１の２次元線速度Ｖ１及び第１角速度Ｗ１によって決定される。例を挙げれば、複数の検知距離の数が１２個であり、この場合、意思決定プロセスの入力は検知距離Ｄ１～Ｄ１２、第１位置座標Ｐ１、第１の２次元線速度Ｖ１及び第１角速度Ｗ１となる。このため、意思決定プロセスの入力次元は１６次元となる。ここで、意思決定プロセスで出力される第２移動情報ＭＤ２は第２の２次元線速度Ｖ２及び第２角速度Ｗ２を含む。

【0014】

いくつかの実施例において、移動意思決定回路２０は第１の２次元線速度Ｖ１を区間（０，１）に正規化し且つ第１角速度Ｗ１を区間（－１，１）に正規化するが、本出願はこれに限定されない。

【0015】

移動意思決定回路２０が意思決定プロセスを実行した後、移動意思決定回路２０は、第２移動情報ＭＤ２を次回の意思決定プロセスの第１移動情報ＭＤ１として設定する。

【0016】

制御回路３０は、第２移動情報ＭＤ２に基づいて移動装置４０の第１位置座標Ｐ１から第２位置座標Ｐ２までの移動を駆動するように設定される。制御回路３０が第２移動情報ＭＤ２に基づいて移動装置４０の第１位置座標Ｐ１から第２位置座標Ｐ２までの移動を駆動した後、移動意思決定回路２０は、第２位置座標Ｐ２を次回の意思決定プロセスの第１位置座標Ｐ１として設定する。

【0017】

移動装置４０は、制御回路３０により駆動されると、第１位置座標Ｐ１から第２位置座標Ｐ２まで移動するためのものである。いくつかの実施例において、移動装置４０はシャーシであってもよいが、それに限定されない。

【0018】

いくつかの実施例において、移動装置４０は、第２移動情報ＭＤ２の第２の２次元線速度Ｖ２及び第２角速度Ｗ２に基づいて固定の周波数で第１位置座標Ｐ１から第２位置座標Ｐ２まで移動する。いくつかの実施例において、固定周波数は１０Ｈｚであってもよいが、それに限定されない。

【0019】

図３は、ロボット１に適用されるナビゲーション方法の一実施例のフローチャートである。図１及び図３を参照されたい。移動意思決定回路２０は第１位置座標Ｐ１及び第１移動情報ＭＤ１の初期値を設定し、つまり第１位置座標を初期座標として設定し、第１移動情報を初期移動情報として設定する（ステップＳ０１）。複数の距離センサ１０はそれぞれ異なる方向へ複数の検知距離Ｄ１～Ｄ１２を測定する（ステップＳ０２）。移動意思決定回路２０は、複数の検知距離Ｄ１～Ｄ１２、第１位置座標Ｐ１及び第１移動情報ＭＤ１をニューラルネットワークモデルＭ１に入力して、ニューラルネットワークモデルＭ１から出力される第２移動情報ＭＤ２を得る意思決定プロセスを実行する（ステップＳ０３）。移動意思決定回路２０が第２移動情報ＭＤ２を出力した後、移動意思決定回路２０は、第２移動情報ＭＤ２を次回の意思決定プロセスの第１移動情報ＭＤ１として設定し（ステップＳ０４）、第２移動情報ＭＤ２を制御回路３０に伝送する。制御回路３０は第２移動情報ＭＤ２に基づいて移動装置４０を駆動し、ロボット１を第１位置座標Ｐ１から第２位置座標Ｐ２まで移動させる（ステップＳ０５）。ロボット１が第２位置座標Ｐ２に移動した後に、制御回路３０は第２位置座標Ｐ２を移動意思決定回路２０に伝送する。移動意思決定回路２０は第２位置座標Ｐ２を次回の意思決定プロセスの第１位置座標Ｐ１として設定し（ステップＳ０６）、第２位置座標Ｐ２と終点座標との距離が閾値以上であるか否かを判断する（図３には示さず）。第２位置座標Ｐ２と終点座標との距離が閾値以上である場合、ロボット１は、第２位置座標Ｐ２と終点座標との距離が閾値より小さくなるまでステップＳ０２からステップＳ０６を繰り返し実行する。第２位置座標Ｐ２と終点座標との距離が閾値より小さくなると、終点到着となる。いくつかの実施例において、閾値は必要に応じて、例えば５０センチメートルに設定してもよい。

【0020】

いくつかの実施例において、ステップＳ０４の実行順序は必ずステップＳ０５及びステップＳ０６の前になるとは限らない。いくつかの実施例において、ステップＳ０４はステップＳ０６の後に実行してもよい。いくつかの実施例において、ステップＳ０４はステップＳ０５の後に且つステップＳ０６の前に実行してもよい。

【0021】

図４はロボット１の別の実施例のブロック図である。図５はロボット１に適用されるナビゲーション方法の別の実施例のフローチャートである。図４及び図５を参照されたい。いくつかの実施例において、ロボット１は、移動意思決定回路２０と制御回路３０との間に結合され、第２移動情報ＭＤ２を平滑化する（ステップＳ０７）ように設定されたフィルタ回路５０をさらに含む。ステップＳ０７の実行順序はステップＳ０３の後に且つステップＳ０４からステップＳ０６の前になる。言い換えれば、移動意思決定回路２０が次回の意思決定プロセスの第１移動情報ＭＤ１として設定した第２移動情報ＭＤ２及び制御回路３０が移動装置４０を駆動する根拠となる第２移動情報ＭＤ２は、いずれもフィルタ回路５０により平滑化された第２移動情報ＭＤ２である。いくつかの実施例において、フィルタ回路５０は、拡張カルマンフィルタ（Ｅｘｔｅｎｄｅｄ Ｋａｌｍａｎ Ｆｉｌｔｅｒ）であってもよいが、それに限定されない。

【0022】

図６はニューラルネットワークモデルの一実施例のブロック図である。図６を参照されたい。いくつかの実施例において、ニューラルネットワークモデルＭ１は行動ネットワーク（Ａｃｔｏｒ ｎｅｔｗｏｒｋ）Ｍ１１及び評価ネットワーク（Ｃｒｉｔｉｃ ｎｅｔｗｏｒｋ）Ｍ１２を含む。行動ネットワークＭ１１は、複数の検知距離Ｄ１～Ｄ１２、第１位置座標Ｐ１及び第１移動情報ＭＤ１に基づき、第２移動情報ＭＤ２を意思決定するように設定される。評価ネットワークＭ１２は、複数の検知距離Ｄ１～Ｄ１２、第１位置座標Ｐ１、第１移動情報ＭＤ１及び行動ネットワークＭ１１により意思決定された第２移動情報ＭＤ２に基づき、評価値Ｑを出力するように設定される。

【0023】

行動ネットワークＭ１１は、複数の検知距離Ｄ１～Ｄ１２、第１位置座標Ｐ１及び第１移動情報ＭＤ１からなる１６次元情報を入力として、５１２個の出力ニューロンを有する２つのニューラル層によって、１つの正規化線形関数（ＲｅＬＵ）の出力を取得する。行動ネットワークＭ１１はこの規化線形関数の出力を、１つの出力ニューロンを有する１つのニューラル層に入力して、１つのシグモイド関数（Ｓｉｇｍｏｉｄ）の出力を取得し、１つの出力ニューロンを有するもう１つのニューラル層によって、１つの双曲線正接関数（Ｔａｎｈ）の出力を取得する。シグモイド関数の出力は第２の２次元線速度Ｖ２となり、双曲線正接関数の出力は第２角速度Ｗ２となる。

【0024】

評価ネットワークＭ１２の入力は同様に、複数の検知距離Ｄ１～Ｄ１２、第１位置座標Ｐ１及び第１移動情報ＭＤ１からなる１６次元情報を含み、それに加えて、評価ネットワークＭ１２の入力は行動ネットワークＭ１１から取得した第２移動情報ＭＤ２も含む。１６次元入力情報は５１２個の出力ニューロンを有する１つのニューラル層によって、１つの規化線形関数の出力が取得される。評価ネットワークＭ１２はこの規化線形関数の出力及び第２移動情報ＭＤ２を、５１２個の出力ニューロンを有する２つのニューラル層に入力して、もう１つの規化線形関数の出力（以下、第２規化線形関数出力という）を取得する。評価ネットワークＭ１２は第２規化線形関数出力を、１つの出力ニューロンを有する１つのニューラル層によって、１つの線形（Ｌｉｎｅａｒ）関数の出力を取得し、この線形関数の出力は評価値Ｑとなる。

【0025】

評価値Ｑは評価ネットワークＭ１２が意思決定プロセス毎に得た報酬値Ｒの加重和である。報酬値Ｒの式は以下のとおりである。

【0026】

【数1】

【0027】

第２位置座標Ｐ２と終点座標との距離ｄｐ２－ｅｎｄが閾値ｔｈより小さくなると、評価ネットワークＭ１２は報酬値ＲをＲａｒｒｉｖｅとして設定し、Ｒａｒｒｉｖｅは正値である。第２位置座標Ｐ２が制限領域ＲＡによりカバーされている座標範囲に入ると、即ちロボット１が制限領域ＲＡに接触すると、評価ネットワークＭ１２は報酬値ＲをＲｃｏｌｌｉｓｉｏｎとして設定し、Ｒｃｏｌｌｉｓｉｏｎは負値である。上記２つの条件以外、評価ネットワークＭ１２は前回の意思決定プロセスで出力された第２移動情報ＭＤ２及び今回の意思決定プロセスで出力された第２移動情報ＭＤ２に基づいて前回の意思決定プロセスの移動距離ｄｔ－１及び今回の意思決定プロセスの移動距離ｄｔを算出し、評価ネットワークＭ１２は２回の意思決定プロセスの移動距離に対応するロボット１の変化量ｄｔ－１－ｄｔに第１パラメータＣ１を掛けて第２パラメータＣ２を引いて報酬値Ｒを得る。言い換えれば、必要な意思決定プロセスの回数（即ち動作回数）が多いほど、評価値Ｑは漸減し、評価ネットワークＭ１２はこれをもって、より少ない回数（即ち動作回数）にてロボット１を終点に到達させるような意思決定プロセスを奨励する。いくつかの実施例において、第２パラメータＣ２は０．１であってもよいが、それに限定されない。

【0028】

図７はロボット１の密閉空間Ｓ１でのルートの一実施例の模式図である。図６及び図７を参照されたい。いくつかの実施例において、制限領域ＲＡは実障害物Ｏ１及び仮想壁ＶＷを含む。図７に示すように、密閉空間Ｓ１に仮想壁ＶＷがない場合、ロボット１は経路Ｒ２を経由して終点ＥＮＤに到達し、経路Ｒ２を経由して終点ＥＮＤに到達する途中、ロボット１が実障害物Ｏ１にぶつかると、即ちロボット１が制限領域ＲＡに接触すると、評価ネットワークＭ１２は報酬値Ｒを負値として設定する。使用者が密閉空間Ｓ１に仮想壁ＶＷを追加した場合、ロボット１は経路Ｒ１を経由して終点ＥＮＤに到達する。経路Ｒ１を経由して終点ＥＮＤに到達する途中、ロボット１が実障害物Ｏ１又は仮想壁ＶＷにぶつかると、即ちロボット１が制限領域ＲＡに接触すると、評価ネットワークＭ１２は報酬値Ｒを負値として設定する。いくつかの実施例において、使用者はロボット１の経路に影響する仮想壁ＶＷを自ら環境に追加してもよい。

【0029】

以上をまとめると、いくつかの実施例において、ロボット１は地図の構築を必要とせず、未知の環境において、経路案内を行うことができる。移動意思決定回路２０は複数の検知距離Ｄ１～Ｄ１２、第１位置座標Ｐ１及び第１移動情報ＭＤ１のみをニューラルネットワークモデルＭ１の入力とし、入力データの複雑度が大幅に低下し、訓練が困難である問題が軽減される。評価ネットワークＭ１２は評価値Ｑに漸減値を追加し、より少ない回数にて終点に到達させるような意思決定プロセスを奨励し、ニューラルネットワークモデルＭ１の出力の不安定性が低下する。フィルタ回路５０によって、ニューラルネットワークモデルＭ１から出力される第２移動情報ＭＤ２を平滑化し、ロボット１がぶつかり回る確率が低下する。

【0030】

本出願の技術的内容は好ましい実施例により以上に開示されたが、それは本出願を限定するためのものではなく、当業者が本出願の精神から逸脱することなく行った若干の変更と修飾は、いずれも本出願の範疇内に含まれるものとし、よって、本出願の保護範囲は添付の特許請求の範囲に規定されたものに準ずるものとする。

【符号の説明】

【0031】

１：ロボット
１０：距離センサ
２０：移動意思決定回路
３０：制御回路
４０：移動装置
Ｄ１～Ｄ１２：検知距離
Ｍ１：ニューラルネットワークモデル
ＭＤ１：第１移動情報
ＭＤ２：第２移動情報
Ｖ１：第１の２次元線速度
Ｗ１：第１角速度
Ｖ２：第２の２次元線速度
Ｗ２：第２角速度
Ｐ１：第１位置座標
Ｐ２：第２位置座標
Ｓ０１～Ｓ０６：ステップ
５０：フィルタ回路
Ｓ０７：ステップ
Ｍ１１：行動ネットワーク
Ｍ１２：評価ネットワーク
Ｑ：評価値
Ｓ１：密閉空間
Ｏ１：障害物
ＶＷ：仮想壁
Ｒ１：第１経路
Ｒ２：第２経路
ＥＮＤ：終点

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】