特許 6993638 歩行者の歩行行動を模倣する移動ロボット

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2021-12-14

(45)【発行日】2022-01-13

(54)【発明の名称】歩行者の歩行行動を模倣する移動ロボット

(51)【国際特許分類】

   G05D 1/02 20200101AFI20220105BHJP

【ＦＩ】

G05D1/02 H

【請求項の数】 20

【外国語出願】

(21)【出願番号】P 2017157894

(22)【出願日】2017-08-18

(65)【公開番号】P2019036192

(43)【公開日】2019-03-07

【審査請求日】2020-06-22

【新規性喪失の例外の表示】特許法第３０条第２項適用 東日本旅客鉄道株式会社，「駅サービスロボット ～歩行者空間を自律移動可能かロボットの実現～」，平成２９年７月４日

(73)【特許権者】

【識別番号】000221616

【氏名又は名称】東日本旅客鉄道株式会社

(73)【特許権者】

【識別番号】517290707

【氏名又は名称】ボストン インキュベーション センター エルエルシー

(74)【代理人】

【識別番号】110001254

【氏名又は名称】特許業務法人光陽国際特許事務所

(72)【発明者】

【氏名】丸山 隼

(72)【発明者】

【氏名】アサダ， ハルヒコ ハリー

(72)【発明者】

【氏名】ウィーバー， コウタ

(72)【発明者】

【氏名】ローレン－ボニラ， ボルディン

(72)【発明者】

【氏名】劉 申

【審査官】杉山 悟史

(56)【参考文献】

【文献】特開２００４－１４８４９２（ＪＰ，Ａ）

【文献】特開２０１６－２１５３３５（ＪＰ，Ａ）

【文献】特開２０１４－１２３３４８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｄ １／０２

(57)【特許請求の範囲】

【請求項1】

移動ロボットを所望の速度で移動させる一以上のアクチュエーターを備える当該移動ロボットと、
前記移動ロボット上に設けられ、当該移動ロボット付近の一以上の歩行者の存在を示す第１の信号群と、歩行者で混雑した環境内の前記移動ロボットの位置を示す第２の信号群と、を生成する一以上のセンサーシステムと、
前記第１の信号群に基づいて、サンプリング時間に、前記一以上の歩行者各々の前記移動ロボットに対する速度を推定するように構成された移動センサーベースの群集分析モジュールと、
前記サンプリング時間における前記歩行者で混雑した環境内の前記移動ロボットの前記位置と、前記サンプリング時間における前記一以上の歩行者各々の前記移動ロボットに対する前記速度と、前記歩行者で混雑した環境内の前記移動ロボットの所望の目的位置に基づいて、前記サンプリング時間における前記所望の速度の値を推定するように構成されたナビゲーションモジュールと、
を備え、
前記ナビゲーションモジュールは、前記移動ロボットの現在位置、前記一以上の歩行者各々の前記移動ロボットに対する速度、及び、前記移動ロボットの所望の目的位置が入力されると、前記移動ロボットの所望の速度の値を出力するナビゲーションモデルを用いて、前記所望の速度の値を判定することを特徴とするシステム。

【請求項2】

歩行者歩行動作の群に基づいて前記ナビゲーションモデルを訓練するように構成されたナビゲーションモデル訓練モジュールを更に備え、
各歩行者歩行動作は、歩行者で混雑した環境を通って特定の出発位置から特定の目的位置まで進む行動訓練者の動きを追跡することを含み、
前記行動訓練者付近の複数の歩行者の位置及び速度と、当該行動訓練者の位置及び速度は、各歩行者歩行動作中に周期的に測定されることを特徴とする請求項１に記載のシステム。

【請求項3】

前記行動訓練者は前記歩行者で混雑した環境内を人によって誘導される移動ロボットであることを特徴とする請求項２に記載のシステム。

【請求項4】

前記行動訓練者は前記歩行者で混雑した環境内を進む人であることを特徴とする請求項２に記載のシステム。

【請求項5】

前記行動訓練者付近の複数の歩行者の前記位置及び速度と、当該行動訓練者の前記位置及び速度は、前記移動ロボット上に設けられた前記一以上のセンサーシステムによって周期的に測定されることを特徴とする請求項２に記載のシステム。

【請求項6】

前記歩行者で混雑した環境内の一以上の位置に固定された一以上のセンサーシステムを更に備え、
前記行動訓練者付近の複数の歩行者の前記位置及び速度と、当該行動訓練者の前記位置及び速度は、前記一以上の位置に固定された前記一以上のセンサーシステムによって周期的に測定されることを特徴とする請求項２に記載のシステム。

【請求項7】

前記歩行者歩行動作の群は、特定の歩行者歩行動作に関連する行動訓練者と、前記行動訓練者付近の各歩行者の、当該特定の歩行者歩行動作中の方向における差が所定の閾値未満である場合に、より大きな歩行者歩行動作の群の中から選出されていることを特徴とする請求項６に記載のシステム。

【請求項8】

前記一以上のセンサーシステムは、画像撮影システム、距離測定センサーシステム及びライダーセンサーシステムのいずれかを備えることを特徴とする請求項１に記載のシステム。

【請求項9】

移動ロボットを所望の速度で移動させる一以上のアクチュエーターを備える当該移動ロボットと、
前記移動ロボット上に設けられ、当該移動ロボット付近の一以上の歩行者の存在を示す第１の信号群と、歩行者で混雑した環境内の前記移動ロボットの位置を示す第２の信号群と、を生成する一以上のセンサーシステムと、
指示を備える非一時的コンピューター読取可能媒体と、を備え、
コンピューティングシステムが前記指示を実行することにより、当該コンピューティングシステムは、
前記第１の信号群に基づいて、サンプリング時間に、前記一以上の歩行者各々の前記移動ロボットに対する速度を推定し、
前記サンプリング時間における前記歩行者で混雑した環境内の前記移動ロボットの前記位置と、前記サンプリング時間における前記一以上の歩行者各々の前記移動ロボットに対する前記速度と、前記歩行者で混雑した環境内の前記移動ロボットの所望の目的位置に基づいて、前記サンプリング時間における前記所望の速度の値を推定し、
前記所望の速度の前記値は、前記移動ロボットの現在位置、前記一以上の歩行者各々の前記移動ロボットに対する速度、及び、前記移動ロボットの所望の目的位置が入力されると、前記移動ロボットの所望の速度の値を出力するナビゲーションモデルに基づいて判定されることを特徴とするシステム。

【請求項10】

前記非一時的コンピューター読取可能媒体は更なる指示を備え、
前記コンピューティングシステムが前記指示を実行することにより、当該コンピューティングシステムは、歩行者歩行動作の群に基づいて前記ナビゲーションモデルを訓練し、
各歩行者歩行動作は、歩行者で混雑した環境を通って特定の出発位置から特定の目的位置まで進む行動訓練者の動きを追跡することを含み、
前記行動訓練者付近の複数の歩行者の位置及び速度と、当該行動訓練者の位置及び速度は、各歩行者歩行動作中に周期的に測定されることを特徴とする請求項９に記載のシステム。

【請求項11】

前記行動訓練者は前記歩行者で混雑した環境内を人によって誘導される移動ロボットであることを特徴とする請求項１０に記載のシステム。

【請求項12】

前記行動訓練者は前記歩行者で混雑した環境内を進む人であることを特徴とする請求項１０に記載のシステム。

【請求項13】

前記行動訓練者付近の複数の歩行者の前記位置及び速度と、当該行動訓練者の前記位置及び速度は、前記移動ロボット上に設けられた前記一以上のセンサーシステムによって周期的に測定されることを特徴とする請求項１０に記載のシステム。

【請求項14】

前記歩行者で混雑した環境内の一以上の位置に固定された一以上のセンサーシステムを更に備え、
前記行動訓練者付近の複数の歩行者の前記位置及び速度と、当該行動訓練者の前記位置及び速度は、前記一以上の位置に固定された前記一以上のセンサーシステムによって周期的に測定されることを特徴とする請求項１０に記載のシステム。

【請求項15】

前記歩行者歩行動作の群は、特定の歩行者歩行動作に関連する行動訓練者と、前記行動訓練者付近の各歩行者の、当該特定の歩行者歩行動作中の方向における差が所定の閾値未満である場合に、より大きな歩行者歩行動作の群の中から選出されていることを特徴とする請求項１４に記載のシステム。

【請求項16】

前記一以上のセンサーシステムは、画像撮影システム、距離測定センサーシステム及びライダーセンサーシステムのいずれかを備えることを特徴とする請求項９に記載のシステム。

【請求項17】

移動ロボット付近の一以上の歩行者の存在を示す第１の信号群と、歩行者で混雑した環境内の前記移動ロボットの位置を示す第２の信号群と、を生成する工程と、
前記第１の信号群に基づいて、サンプリング時間に、前記一以上の歩行者各々の前記移動ロボットに対する速度を推定する工程と、
前記サンプリング時間における前記歩行者で混雑した環境内の前記移動ロボットの前記位置と、前記サンプリング時間における前記一以上の歩行者各々の前記移動ロボットに対する前記速度と、前記歩行者で混雑した環境内の前記移動ロボットの所望の目的位置に基づいて、前記サンプリング時間における所望の速度の値を推定する工程と、
を備え、
前記所望の速度の前記値は、前記移動ロボットの現在位置、前記一以上の歩行者各々の前記移動ロボットに対する速度、及び、前記移動ロボットの所望の目的位置が入力されると、前記移動ロボットの所望の速度の値を出力するナビゲーションモデルに基づいて判定され、
更に、
前記移動ロボットを前記所望の速度の前記値で前記歩行者で混雑した環境内を移動させる工程と、を備える方法。

【請求項18】

歩行者歩行動作の群に基づいて前記ナビゲーションモデルを訓練する工程を更に備え、
各歩行者歩行動作は、歩行者で混雑した環境を通って特定の出発位置から特定の目的位置まで進む行動訓練者の動きを追跡することを含み、
前記行動訓練者付近の複数の歩行者の位置及び速度と、当該行動訓練者の位置及び速度は、各歩行者歩行動作中に周期的に測定されることを特徴とする請求項１７に記載の方法。

【請求項19】

前記行動訓練者は前記歩行者で混雑した環境内を人によって誘導される移動ロボットであることを特徴とする請求項１８に記載の方法。

【請求項20】

前記行動訓練者は前記歩行者で混雑した環境内を進む人であることを特徴とする請求項１８に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

説明する実施形態は、歩行者で混雑した環境において移動ロボットを誘導するシステム及び方法に関する。

【背景技術】

【0002】

病院や公共交通機関のステーションなどのサービス環境において作動するロボット車両は、頻繁に、混雑した空間で自律的に作動することが求められる。歩行者で混雑した環境内を所定経路に沿って進む移動ロボットは、歩行者の通行の流れを著しく阻害し、歩行者と衝突する場合がある。逆に、周囲の歩行者を避けて歩行者で混雑した環境内を進む移動ロボットは、所望の目的位置まで進むことが、仮に不可能でないとしても、困難である。歩行者で混雑した環境における移動ロボットの不適切な誘導は、移動ロボットが人のすぐ近くで作動するなど、危険な状況を引き起こす。このような移動ロボットが重量物を運んでいたり、急加速行動可能であったりする場合、特に懸念される。

【発明の概要】

【発明が解決しようとする課題】

【0003】

すなわち、歩行者で混雑した環境における動作の安全性を向上させるため、車輪付きロボット車両の設計及び制御の向上が望まれる。具体的には、歩行者の通行の流れの著しい阻害の回避と所望の目的位置への誘導という相容れない目的の解決策が望まれる。

【課題を解決するための手段】

【0004】

本願では、訓練されたナビゲーションモデルに基づいて、歩行者で混雑した環境において移動ロボットを誘導する方法及びシステムを説明する。一側面において、訓練されたナビゲーションモデルは、付近の歩行者、当該歩行者各々の移動ロボットに対する速度、歩行者で混雑した環境内の移動ロボットの現在位置及び所望の目的位置を特定する測定データを受信する。訓練されたナビゲーションモデルは、これらの情報に基づいて、移動ロボットに速度を調整させる指令信号を生成する。周囲の歩行者の速度と現在位置を繰り返しサンプリングすることにより、ナビゲーションモデルは、歩行者の通行の流れの途絶を最小限に留めて、移動ロボットを目的位置に導く。

【0005】

更なる側面において、ナビゲーションモデルは、歩行者で混雑した環境において歩行者の歩行行動を模倣するように訓練される。ナビゲーションモデルは、歩行者歩行動作の多数の群に基づいて訓練される。各動作は、歩行者で混雑した環境を通って特定の出発位置から特定の目的位置まで進む行動訓練者の動きを追跡することを含む。訓練者付近の歩行者の位置及び速度は、訓練者の位置及び速度と共に周期的に測定される。これらの情報は、ナビゲーションモデルの訓練に用いられる。

【0006】

更なる側面において、ナビゲーションモデル訓練用教示データを生成するための行動訓練者は、好ましい歩行者歩行行動を強化するように選出される。行動訓練者群は、好ましい歩行者歩行行動を示す行動訓練者に限定し、好ましくない歩行者歩行行動を示す行動訓練者は除外することが望ましい。

【0007】

上記は概要であり、よって必然的に、単純化及び一般化され、詳細は省略されている。当業者であれば、概要は例示的なものであって、いかなる点においても限定するものではないことを理解するであろう。本願で説明する装置及び／又はプロセスのその他の側面、発明の特徴及び効果は、本願に記載の限定されない詳細な説明により明らかになるであろう。

【図面の簡単な説明】

【0008】

【図1】少なくとも一の新たな側面における移動ロボット１００の実施形態を示す図である。

【図2】一実施形態における移動ロボット１００の上面図である。

【図3】移動ロボット１００のいくつかの構成要素を示す概略図である。

【図4】一実施形態におけるナビゲーションモデル訓練エンジン１７０の例を示す図である。

【図5】一実施形態におけるナビゲーションエンジン１８５の例を示す図である。

【図6】一例としての歩行者で混雑した環境２３０を示す図である。

【図7】一例としての歩行者で混雑した環境２１０を示し、一歩行者を行動訓練者として強調した図である。

【図8】同一例である歩行者で混雑した環境２１０を示し、他の一歩行者を行動訓練者として強調した図である。

【図9】本願で説明するような歩行者で混雑した環境において移動ロボットの誘導を実行する方法３００を示す図である。

【発明を実施するための形態】

【0009】

本発明の背景例及びいくつかの実施形態について詳細に説明する。実施形態の例を添付の図面に示す。

【0010】

訓練されたナビゲーションモデルに基づいて、歩行者で混雑した環境において移動ロボットを誘導する方法及びシステムを説明する。歩行者で混雑した環境には、移動する人々の激しい流れが含まれる（例えば、鉄道駅、病院、空港など）。

【0011】

一側面において、移動ロボットは、訓練されたナビゲーションモデルに基づいて、歩行者で混雑した環境内を進む。いずれのサンプリング点においても、訓練されたナビゲーションモデルは、付近の歩行者及び当該歩行者各々の移動ロボットに対する速度を特定する測定データを受信する。訓練されたナビゲーションモデルは、歩行者の速度情報と、サービス環境内の移動ロボットの現在位置及び所望の目的位置に基づいて、移動ロボットに速度を調整させる指令信号を生成する。ナビゲーションモデルは、周囲の歩行者の速度と現在位置を繰り返しサンプリングすることにより、サービス環境内の歩行者の通行の流れの途絶を最小限に留めて、移動ロボットをサービス環境内の目的位置に導く。

【0012】

更なる側面において、ナビゲーションモデルは、歩行者で混雑した環境において歩行者の歩行行動を模倣するように訓練される。ナビゲーションモデルは、歩行者歩行動作の多数の群に基づいて訓練される。各動作は、歩行者で混雑した環境を通って特定の出発位置から特定の目的位置まで進む行動訓練者（例えば、特定の歩行者、人に制御された移動ロボット）の動きを追跡することを含む。種々の歩行者歩行動作の群は、サービス環境内の多数の異なる出発位置と目的位置を含む。各歩行者歩行動作中、訓練者付近の歩行者の位置及び速度は、訓練者の位置及び速度と共に周期的に測定される。これらの情報は、ナビゲーションモデルの訓練に用いられる。ナビゲーションモデルは、このような方法で、歩行者で混雑した特定の環境を通り抜ける人の歩行行動を模倣するように訓練される。その結果、ナビゲーションモデルを用いる移動ロボットは、逆方向又は異なる方向に移動している歩行者に抗うのではなく、同一方向又は同様の方向に歩いている歩行者の流れに沿ってついて行くことができる。訓練されたナビゲーションモデルは、訓練用データを得たサービス環境に特有のものである。

【0013】

図１は、一実施形態におけるサービスロボットとして構成された移動ロボット１００を示す。移動ロボット１００は車輪付きロボット車両１０１を備える。車輪付きロボット車両１０１のフレーム１０５には、駆動輪及び操縦輪が取り付けられている。また、移動ロボット１００は、荷物１０４の運搬のために構成された荷台１０２を備える。また、移動ロボット１００は、荷物１０４を荷台１０２に固定し、移動ロボット１００のユーザーと対話するように構成された上半身ロボット１０３を備える。一例として、移動ロボット１００は、公共交通機関のステーション（例えば、鉄道駅）で作動し、構内で旅客の荷物運搬を手助けする。他の例として、移動ロボット１００は、公共区域で作動し、一般の人々のゴミ処理を手助けする。この例では、荷物１０４はゴミ容器を含む。

【0014】

図２は、移動ロボット１００の車輪付きロボット車両１０１と荷台１０２の上面図を示す。図２に示すように、車輪付きロボット車両１０１は、駆動輪１０６Ａ、１０６Ｂと、操縦輪１０６Ｃ、１０６Ｄを備える。いくつかの実施形態では、操縦輪１０６Ｃ、１０６Ｄは、複数の軸を中心に自由に回転する受動輪である。これらの実施形態では、操縦輪１０６Ｃ、１０６Ｄは、主に、積荷を地面に対して垂直に支持するように機能する。一方、駆動輪１０６Ａ、１０６Ｂの回転は、車輪付きロボット車両１０１の移動軌道を決定する。いくつかの他の実施形態では、操縦輪１０６Ｃ、１０６Ｄの地面に垂直な軸を中心とする向きは、能動的に制御される。また、これらの実施形態では、操縦輪１０６Ｃ、１０６Ｄは、車輪付きロボット車両１０１の移動軌道の方向を制御するように機能する。いくつかの他の実施形態では、操縦輪１０６Ｃ、１０６Ｄの回転と、操縦輪１０６Ｃ、１０６Ｄの地面に垂直な軸を中心とする向きの両方が、能動的に制御される。これらの実施形態では、操縦輪１０６Ｃ、１０６Ｄは、車輪付きロボット車両１０１の移動軌道の方向と、当該移動軌道に沿った速度の両方を制御するように機能する。

【0015】

図１に示すように、移動ロボット１００は、画像撮影システム１０７、距離測定センサーシステム１０８及びライダー（ＬＩＤＡＲ）センサーシステム１０９を備える。画像撮影システム１０７は、移動ロボット１００近辺の人や物を撮影する一以上の画像撮影装置（例えば、カメラなど）を備える。距離測定センサーシステム１０８は、移動ロボット１００と、移動ロボット１００近辺の人や物との距離を推定する一以上の距離測定センサー（例えば、レーザーベース、ソナー、レーダーベースの距離測定センサー）を備える。ライダーセンサーシステム１０９は、移動ロボット１００と、移動ロボット１００近辺の人や物との距離を推定する一以上のライダー装置を備える。画像撮影システム１０７によって収集された画像データ、距離測定センサーシステム１０８によって収集された距離データ、ライダーセンサーシステム１０９によって収集された距離データ又は任意の組み合わせを用いて、移動ロボット１００近辺の歩行者の存在及び当該歩行者の移動ロボット１００に対する速度を推定する。

【0016】

画像撮影システム、距離測定センサーシステム及びライダーセンサーシステムは、適切な視野で構成される。いくつかの実施形態では、画像撮影システム、距離測定センサーシステム及びライダーセンサーシステムは、移動ロボット１００を中心とする３６０度の視野内の人や物を検知するように構成されている。一方、いくつかの他の実施形態では、画像撮影システム、距離測定センサーシステム及びライダーセンサーシステムの視野は、移動ロボット１００を中心とする特定の角度範囲又は角度範囲群に限定される。画像撮影システム、距離測定センサーシステム及びライダーセンサーシステムの視野は、完全に重なるように、部分的に重なるように、又は全く重ならないように構成される。好ましい実施形態では、少なくとも二のセンサーサブシステムの視野が重なり、収集されたセンサーデータに重複が生じる。いくつかの例では、重複データを収集することは、移動ロボット１００付近の歩行者の速度の特定及び推定を向上させる。

【0017】

図１に示す移動ロボット１００は、画像撮影システム、距離測定センサーシステム及びライダーセンサーシステムを備えるが、本願で説明する移動ロボットは、これらのシステムのいずれの組み合わせを備えてもよい。同様に、本願で説明するような移動ロボットは、移動ロボット１００付近の歩行者の速度の特定及び推定に適していれば、いかなるセンサー配置を有してもよい。

【0018】

いくつかの実施形態では、移動ロボット１００は、移動ロボット１００が収容され作動するサービス環境（例えば、鉄道駅）における移動ロボット１００の位置検出に適切な電子機器（図示なし）を備える。一実施形態では、移動ロボット１００は、サービス環境内に固定して配置される同様のビーコンと通信する無線（ＲＦ）ビーコンを、屋内測位システムの一部として備える。これらのビーコン間の通信に基づいて、移動ロボット１００はサービス環境における自身の位置を検出することができる。

【0019】

いくつかの他の実施形態では、画像撮影システム１０７によって収集された画像データ、距離測定センサーシステム１０８によって収集された距離データ、ライダーセンサーシステム１０９によって収集された距離データ又は任意の組み合わせを用いて、サービス環境内の移動ロボットの現在位置を推定する。一例として、画像撮影システム１０７によって収集された画像データは、サービス環境（例えば、鉄道駅、病院など）内の至る所に固定して取り付けられている基準の画像を含む。基準画像に画像処理操作を行うことによって、コンピューティングシステム２００は、サービス環境に係る移動ロボットの位置と向き（例えば、ｘ位置、ｙ位置、Ｒｚ方向）を判定する。一例として、基準及び画像処理ソフトウェアは、アメリカ合衆国ミシガン州アナーバー市のミシガン大学のエイプリル・ロボット・ラボラトリー（Ａｐｒｉｌ Ｒｏｂｏｔｉｃｓ Ｌａｂｏｒａｔｏｒｙ）から入手可能である。他の例として、コンピューティングシステム２００は、ライダーセンサーシステム１０９によって収集された距離データから画像を組み立てる。また、サービス環境のイメージマップをメモリー搭載移動ロボット１００に記憶させる。コンピューティングシステム２００は、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ）技術を用いて、組み立てられた画像とサービス環境のイメージマップを比較して、サービス環境内の移動ロボット１００の位置を推定する。

【0020】

図３は、コンピューティングシステム２００、画像撮影システム１０７、距離測定センサーシステム１０８、ライダーセンサーシステム１０９及び車両用アクチュエーター１６２を備える移動ロボット１００の構成要素を示す図である。図３に示す実施形態では、コンピューティングシステム２００は、画像撮影システム１０７、距離測定センサーシステム１０８、ライダーセンサーシステム１０９及び車両用アクチュエーター１６２と、有線通信リンクで通信可能に接続されている。しかし、コンピューティングシステム２００は、本願で説明するセンサー及び装置と、有線通信リンク、無線通信リンクのいずれで通信可能に接続されてもよい。通常、サービス環境における移動ロボット１００の位置の検出や、付近の歩行者及び当該歩行者各々の移動ロボット１００に対する速度の特定を行うセンサーの数がいくつであっても、これらのセンサーはコンピューティングシステム２００と通信可能に接続される。

【0021】

図３に示すように、コンピューティングシステム２００は、センサーインターフェース１１０、少なくとも一のプロセッサー１２０、メモリー１３０、バス１４０、無線通信トランシーバー１５０及び被制御装置インターフェース１６０を備える。センサーインターフェース１１０、プロセッサー１２０、メモリー１３０、無線通信トランシーバー１５０及び被制御装置インターフェース１６０は、バス１４０を介して通信可能に構成されている。

【0022】

図３に示すように、センサーインターフェース１１０は、デジタル入力／出力インターフェース１１２を備える。いくつかの他の実施形態では、センサーインターフェース１１０は、アナログ→デジタル変換（ＡＤＣ）電子機器（図示なし）、無線通信トランシーバー（図示なし）又はこれらの組み合わせを備え、センサーシステムと通信して、一以上のセンサーから測定データを受信する。概して、本願で説明するセンサーはデジタル又はアナログセンサーであり、適切なインターフェースによってコンピューティングシステム２００と通信可能に接続される。

【0023】

図３に示すように、デジタルインターフェース１１２は、画像撮影システム１０７からの信号１１３、距離測定センサーシステム１０８からの信号１１４及びライダーセンサーシステム１０９からの信号１１５を受信するように構成されている。この例では、画像撮影システム１０７は、検出画像を示すデジタル信号１１３を生成する内蔵電子機器を備える。同様に、距離測定センサーシステム１０８は、当該距離測定システム１０８によって得られた距離測定値を示すデジタル信号１１４を生成する内蔵電子機器を備え、ライダーセンサーシステム１０９は、当該ライダーセンサーシステム１０９によって得られた距離測定値を示すデジタル信号１１５を生成する内蔵電子機器を備える。

【0024】

被制御装置インターフェース１６０は、適切なデジタル→アナログ変換（ＤＡＣ）電子機器を備える。また、いくつかの実施形態では、被制御装置インターフェース１６０は、デジタル入力／出力インターフェースを備える。いくつかの他の実施形態では、被制御装置インターフェース１６０は、装置と通信するように構成された無線通信トランシーバーを備える。上記通信には制御信号の送信が含まれる。

【0025】

図３に示すように、被制御装置インターフェース１６０は、制御指令１６１を車両用アクチュエーター１６２に送信するように構成されている。車両用アクチュエーター１６２は、車輪付きロボット車両１０１を所望の速度（すなわち、速さと進行方向の両方）で歩行者で混雑した環境内を移動させる。

【0026】

メモリー１３０は、センサー１０７～１０９から収集された測定データを記憶するメモリー量１３１を有する。また、メモリー１３０は、プログラムコードを記憶するメモリー量１３２を有する。プロセッサー１２０は、プログラムコードを実行することで、本願で説明するナビゲーションモデル訓練機能及びモデルベースナビゲーション機能を実行する。

【0027】

いくつかの例では、プロセッサー１２０は、センサーインターフェース１１０によって生成されたデジタル信号をメモリー１３１に記憶させるように構成されている。また、プロセッサー１２０は、メモリー１３１に記憶されているデジタル信号を読み出して、無線通信トランシーバー１５０に送信するように構成されている。無線通信トランシーバー１５０は、コンピューティングシステム２００から外部のコンピューティング装置（図示なし）に、無線通信リンクを介してデジタル信号を通信するように構成されている。図３に示すように、無線通信トランシーバーは、アンテナ１５１を介して無線信号１５２を送信する。無線信号１５２には、コンピューティングシステム２００から外部のコンピューティング装置に通信されるデジタル信号を示すデジタル情報が含まれる。一例として、画像撮影装置１２３によって収集された画像と、距離測定センサーシステム１０８及びライダーセンサーシステム１０９によって測定された距離は、移動ロボットの活動をモニタリングするために、外部のコンピューティングシステムに通信される。

【0028】

他の例として、無線通信トランシーバー１５０は、外部のコンピューティング装置（図示なし）からのデジタル信号を、無線通信リンクを介してコンピューティングシステム２００に通信するように構成されている。図３に示すように、無線通信トランシーバーは、アンテナ１５１を介して無線信号１５３を受信する。一例として、無線信号１５３には、サービス環境内の移動ロボット１００の位置を示すデジタル情報が含まれる。

【0029】

一側面において、コンピューティングシステムはナビゲーションモデル訓練エンジンとして構成され、ナビゲーションモデルを訓練する。ナビゲーションモデルは、歩行者の歩行行動を模倣することによって、歩行者で混雑した環境において移動ロボット１００を誘導するために用いられる。いくつかの例では、コンピューティングシステム２００がナビゲーションモデル訓練エンジンとして構成される。他のいくつかの例では、外部のコンピューティング装置がナビゲーションモデル訓練エンジンとして構成される。図４は、一実施形態におけるナビゲーションモデル訓練エンジン１７０の例を示す図である。図４に示すように、ナビゲーションモデル訓練エンジン１７０は、移動センサーベースの群集分析モジュール１７１、固定センサーベースの群集分析モジュール１７２及びナビゲーションモデル訓練モジュール１７４を備える。

【0030】

移動センサーベースの群集分析モジュール１７１は、歩行者で混雑した環境を通って或る位置から他の位置まで巧みに進む行動訓練者に取り付けられたセンサーによって生成された信号１７５を受信する。信号１７５は、行動訓練者が歩行者で混雑した環境内を進んでいる間に、周期的に収集される。一例として、行動訓練者は、歩行者で混雑した環境内を人によって誘導される移動ロボット１００である。この例では、信号１７５には、移動ロボット１００が人による制御下で歩行者で混雑した環境内を進んでいる間に画像撮影システム１０７によって収集された画像データ、距離測定センサーシステム１０８によって収集された距離データ及びライダーセンサーシステム１０９によって収集された距離データが含まれる。他の例として、行動訓練者は、歩行者で混雑した環境を或る位置から他の位置まで進む特定の歩行者である。この例では、上記歩行者に一以上のセンサー（例えば、画像撮影システム１０７、距離センサーシステム１０８、ライダーセンサーシステム１０９など）が取り付けられている。信号１７５は、上記歩行者が歩行者で混雑した環境内を進んでいる間に、周期的に収集される。

【0031】

移動センサーベースの群集分析モジュール１７１は信号１７５を処理し、各サンプリング時点における行動訓練者付近の各歩行者の行動訓練者に対する相対速度１７７（すなわち、速さと進行方向）を判定する。いくつかの例では、移動センサーベースの群集分析モジュール１７１は、画像データ、距離測定データ、ライダーデータ又はこれらの組み合わせに基づいて、行動訓練者付近の歩行者の時間系列の画像を生成する。行動訓練者に対する付近の歩行者の速度は、各サンプリング時点における画像シーケンスデータから判定される。

【0032】

図６は、一例としての歩行者で混雑した環境２３０を示す図である。歩行者で混雑した環境２３０には、多くの固定構造物２３９（例えば、建物外壁、回転式ゲートなど）と、環境内を進む多くの歩行者が含まれる。環境２３０内の行動訓練者２３７は、ベクトル２３８が示す特定の速度で移動する。同様に、付近の歩行者２３２～２３６は、各々、図示したベクトルが示す速度で移動する。この例では、付近の歩行者２３２～２３６はいずれも、行動訓練者２３７から距離Ｒ内の歩行者として特定される。

【0033】

一例として、移動センサーベースの群集分析モジュール１７１は信号１７５を処理し、図６に示す例における行動訓練者２３７に対する歩行者２３２～２３６の各追加サンプリング時点における速度１７７（すなわち、速さと進行方向）を判定する。

【0034】

付近の歩行者は、ナビゲーションモデルの訓練及び使用のため、任意の適切な方法で特定される。一例として、付近の歩行者は、最も近いＮ人の歩行者として特定される。ここで、Ｎは任意の正の整数である。他の例として、付近の歩行者は、行動訓練者又は自律性移動ロボットの視界に入った全ての歩行者として特定される。

【0035】

固定センサーベースの群集分析モジュール１７２は、歩行者で混雑した環境内の固定構造物に取り付けられたセンサーによって生成された信号１７６を受信する。例えば、図７及び８は、一例としての歩行者で混雑した環境２１０を示す図である。歩行者で混雑した環境２１０には、固定構造物２３９間を通り抜ける多くの歩行者が含まれる。この例では、一以上のカメラ２４０が構造物２３９に取り付けられている。カメラ２４０は、固定センサーベースの群集分析モジュール１７２によって受信される画像データ１７６を生成する。信号１７６は、行動訓練者が歩行者で混雑した環境内を進んでいる間に、周期的に収集される。

【0036】

この例では、行動訓練者は、歩行者で混雑した環境２１０にいるいずれの歩行者であってもよい。一例として、信号１７６には、歩行者で混雑した環境２１０の時間系列の画像が含まれる。固定センサーベースの群集分析モジュール１７２は、信号１７６に基づいて、信号１７６の画像データ内に動作がキャプチャーされている歩行者の中から、一以上の行動訓練者を特定する。また、固定センサーベースの群集分析モジュール１７２は信号１７６を処理し、各サンプリング時点における各行動訓練者付近の各歩行者の各行動訓練者に対する速度１７８（すなわち、速さと進行方向）を判定する。

【0037】

一例として、図７に示すように、固定センサーベースの群集分析モジュール１７２は、環境２１０内に図示した行動訓練者２１８を特定する。行動訓練者２１８は、図示したベクトルが示す特定の速度で移動する。同様に、付近の歩行者２１２～２１７は、各々、図示したベクトルが示す速度で移動する。この例では、固定センサーベースの群集分析モジュール１７２は、付近の歩行者２１２～２１７をいずれも、行動訓練者２１８から距離Ｒ内の歩行者として特定する。また、固定センサーベースの群集分析モジュール１７２は、各サンプリング時点における画像シーケンスデータに基づいて、行動訓練者２１８に対する付近の歩行者２１２～２１７の速度を判定する。

【0038】

他の例として、図８に示すように、固定センサーベースの群集分析モジュール１７２は、環境２１０内に図示した他の行動訓練者２２６を特定する。行動訓練者２２６は、図示したベクトルが示す特定の速度で移動する。同様に、付近の歩行者２２２～２２５は、各々、図示したベクトルが示す速度で移動する。この例では、固定センサーベースの群集分析モジュール１７２は、付近の歩行者２２２～２２５をいずれも、行動訓練者２２６から距離Ｒ内の歩行者として特定する。また、固定センサーベースの群集分析モジュール１７２は、各サンプリング時点における画像シーケンスデータに基づいて、行動訓練者２２６に対する付近の歩行者２２２～２２５の速度を判定する。

【0039】

一又は複数の異なる種類のセンサーを歩行者で混雑した環境内の固定構造物に取り付けることで、固定センサーベースの群集分析モジュール１７２による行動訓練者及び付近の歩行者の速度の推定に適したデータを取得してもよい。センサーとしては、例えば、カメラ、距離測定器、ライダー装置などが用いられる。

【0040】

図４に示すように、移動センサーベースの群集分析モジュール１７１によって速度情報１７７が生成され、固定センサーベースの群集分析モジュール１７２によって速度情報１７８が生成される。これらの速度情報は、ナビゲーションモデル訓練のベースとなる。あるいは、移動センサーベースの群集分析モジュール１７１と固定センサーベースの群集分析モジュール１７２のどちらか一方を、ナビゲーションモデル訓練用速度情報の生成専用としてもよい。

【0041】

図４に示すように、ナビゲーションモデル訓練モジュール１７４は、ナビゲーションモデル１８４を訓練する。ナビゲーションモデル１８４は、一以上の行動訓練者によって示される歩行者歩行行動を模倣する方法で、移動ロボットが歩行者で混雑した環境を通って或る位置から他の位置まで進むことを可能とする。訓練されたナビゲーションモデル１８４は、移動ロボットの現在位置及び所望の目的位置と、一以上の付近の歩行者の移動ロボットに対する相対速度に基づいて、各サンプリング期間における移動ロボットの所望の速度（すなわち、速さと操縦角度）を判定する。

【0042】

ナビゲーションモデル訓練モジュール１７４は訓練データ群を受信する。各訓練データ群は、行動訓練者の歩行者で混雑した環境を通って出発位置から所望の目的位置まで進む動作に関連する。各訓練データ群は、その全動作のサンプリング期間ごとの、現在位置１８１、動作に対応する目的位置１８２、行動訓練者の測定された速度１８０及び付近の歩行者に関連する相対速度情報１７７、１７８を含む。ナビゲーションモデル訓練モジュール１７４は、移動ロボットの現在位置及び所望の目的位置と、付近の歩行者の相対速度と、に基づく移動ロボットの所望の速度の判定のため、ナビゲーションモデル１８４を訓練する。訓練されたナビゲーションモデル１８４は、メモリー（例えば、図３に示すメモリー１３３）に記憶される。

【0043】

いくつかの例では、行動訓練者の速度１８０は、行動訓練者上で測定される。例えば、移動ロボット又は機器が取り付けられた人を行動訓練者として用いる実施形態では、当該移動ロボット又は機器が取り付けられた人に搭載されたセンサーを用いて、行動訓練者の速度を推定する。一例として、移動ロボットに搭載された推測航法センサーを用いて、当該移動ロボットの速度を常時推定する。他の例として、屋内測位システムを用いて、移動ロボットや機器が取り付けられた人の速度を常時推定する。

【0044】

いくつかの他の例では、行動訓練者の速度は、環境に据え付けられたセンサーに基づいて測定される。例えば、図７～８を参照して説明したように、行動訓練者を歩行者の通行の流れに加わっている一以上の参加者から選出する実施形態では、速度情報１７８は各サンプリング期間における行動訓練者の速度を含む。

【0045】

概して、訓練されたナビゲーションモデル１８４は、現在位置と付近の歩行者の相対速度の測定値と、移動ロボットに歩行者の歩行行動を模倣させる速度指令と、の直接的かつ機能的な関係である。

【0046】

本願で説明する訓練されたナビゲーションモデルは、ニューラルネットワークモデル、畳み込みネットワークモデル、サポートベクターマシンモデル、応答局面モデル、多項式モデル、ランダムフォレストモデル、ディープネットワークモデル又はその他の種類のモデルとして実装される。いくつかの例では、本願で説明する訓練されたナビゲーションモデルは、複数のモデルの組み合わせとして実装される。

【0047】

更なる側面において、ナビゲーションモデル訓練用教示データを生成するための行動訓練者は、好ましい歩行者歩行行動を強化するように選出される。図７～８を参照して説明した例では、記録したいずれの歩行者を行動訓練者としてもよいが、行動訓練者群は好ましい歩行者歩行行動を示す行動訓練者に限定するのが望ましい。例えば、駅の或るホームから他のホームへ、ホームから出口へ、収納ロッカーからホームへ、又はこれらの逆方向に素早く移動する歩行者は、行動訓練者として好ましい。一方、人の流れの途中で立ち止まったり、人の流れに抗って移動したり、隅に移動して立ち止まったり、人の連続的な流れに対してランダムに移動する歩行者は、行動訓練者として好ましくない。このような方法で、好ましい歩行者歩行行動を示す歩行者は訓練データ群に含まれ、好ましくない歩行者歩行行動を示す歩行者は訓練データ群から除かれる。

【0048】

いくつかの例では、固定センサーベースの群集分析モジュール１７２は、信号１７６をフィルタリングして、好ましい歩行者歩行行動を示す行動訓練者を選出するように構成されている。一例として、固定センサーベースの群集分析モジュール１７２は、行動訓練者候補と付近の歩行者の移動方向における差を判定する。差が所定の閾値未満である場合、その行動訓練者候補を選出して訓練データ群に加える。一方、差が所定の閾値を超える場合、その行動訓練者候補を訓練データ群から外す。これらの例では、所定の閾値の値は、流れに追随する行動を示す（すなわち、付近の歩行者と同様の方向に移動する）行動訓練者を隔離するように設定される。

【0049】

他の側面において、コンピューティングシステム２００はナビゲーションエンジンとして構成され、移動ロボットの所望の速度を、所望の目的位置と、現在位置及び付近の歩行者の相対速度の測定値に基づいて、訓練されたナビゲーションモデルを用いて直接判定する。図５は、一実施形態におけるナビゲーションエンジン１８５の例を示す図である。図５に示すように、ナビゲーションエンジン１８５は、図４を参照して説明した移動センサーベースの群集分析モジュール１７１と、ナビゲーションモジュール１９０を備える。

【0050】

一実施形態では、移動ロボット１００には、歩行者で混雑した環境を通って現在位置から所定の目的位置まで進むというタスクが課せられている。移動センサーベースの群集分析モジュール１７１は、移動ロボット１００に搭載されたセンサーからの信号１８６（例えば、信号１１３～１１５又はこれらの任意の組み合わせ）を受信する。移動センサーベースの群集分析モジュール１７１は付近の歩行者を特定し、各特定された歩行者の移動ロボット１００に対する相対速度を判定し、この速度情報１８９をナビゲーションモジュール１９０に通信する。また、ナビゲーションモジュール１９０は、サービス環境内の移動ロボットの現在位置を示す示度１８７と、サービス環境内の所望の目的位置１８８を受信する。ナビゲーションモジュール１９０は、訓練されたナビゲーションモデル１８４を用いて、現在位置１８７と、所望の目的位置１８８と、速度情報１８９に基づいて、現在のサンプリング期間の移動ロボットの所望の速度１９１を判定する。所望の速度１９１は、指令信号１６１を生成する（例えば、コンピューティングシステム２００に実装された）モーションコントローラー１９２に通信される。指令信号１６１は、移動ロボット１００の車両用アクチュエーター１６２に通信され、移動ロボット１００を所望の速度１９１で移動させる。移動センサーベースの群集分析モジュール１７１からの速度情報１８９と（例えば、屋内測位システムなどからの）現在位置情報は繰り返しサンプリングされ、所望の速度は繰り返し更新される。このような方法で、ナビゲーションモジュール１９０は、通行の流れの途絶を最小限に留めて、歩行者で混雑した環境において移動ロボット１００を誘導する。

【0051】

図９は、本願で説明したような移動ロボットによって実施されるにふさわしい方法３００のフローチャートを示す。いくつかの実施形態では、移動ロボット１００は図９に示す方法３００に応じて動作可能である。ただし、方法３００の実施は、図１～５を参照して説明した移動ロボット１００の実施形態に限定されるものではない。これらの図及び対応する説明は例に過ぎず、他の多くの実施形態や動作例も考えられる。

【0052】

ブロック３０１において、移動ロボット付近の一以上の歩行者の存在を示す第１の信号群を、例えば、移動ロボット１００に搭載されたセンサー又は歩行者で混雑した環境内に据え付けられたセンサーにより生成する。また、歩行者で混雑した環境内の移動ロボットの位置を示す第２の信号群を、例えば、屋内測位システムにより生成する。

【0053】

ブロック３０２において、第１の信号群に基づいて、サンプリング時間に、一以上の歩行者各々の移動ロボットに対する速度を推定する。

【0054】

ブロック３０３において、サンプリング時間における歩行者で混雑した環境内の移動ロボットの位置と、サンプリング時間における移動ロボット付近の一以上の歩行者各々の速度と、歩行者で混雑した環境内の移動ロボットの所望の目的位置に基づいて、サンプリング時間における移動ロボットの所望の速度の値を推定する。所望の速度の値は、訓練されたナビゲーションモデルに基づいて判定される。

【0055】

ブロック３０４において、移動ロボットを所望の速度の値で歩行者で混雑した環境内を移動させる。

【0056】

コンピューティングシステム２００や外部のコンピューティングシステムは特に限定されないが、パーソナルコンピューターシステム、メインフレームコンピューターシステム、ワークステーション、画像コンピューター、並列プロセッサー又は当技術分野において周知の他の装置を備える。一般に、「コンピューティングシステム」は、記憶媒体に格納された指示を実行する一以上のプロセッサーを有する装置を包含すると広義に定義される。

【0057】

本願で説明したような方法を実行するプログラム指示１３２は、有線又は無線送信リンクなどの送信媒体を介して送信されてもよい。例えば、図３に示すように、メモリー１３０に記憶されたプログラム指示１３２は、バス１４０を介してプロセッサー１２０に送信される。プログラム指示１３２はコンピューター読取可能媒体（例えば、メモリー１３０）に記憶される。コンピューター読取可能媒体の例としては、ＲＯＭ、ＲＡＭ、磁気ディスク、光ディスク、磁気テープなどが挙げられる。

【0058】

一以上の好ましい実施形態では、上記機能は、ハードウェア、ソフトウェア、ファームウェア又はこれらの任意の組み合わせで実装される。ソフトウェアで実装される場合、上記機能は、一以上の指示又はコードとしてコンピューター読取可能媒体に記憶又は送信される。コンピューター読取可能媒体には、コンピューター記憶媒体と通信媒体が含まれる。通信媒体には、或る場所から他の場所へコンピュータープログラムを容易に転送可能なあらゆる媒体が含まれる。記憶媒体は、汎用又は専用コンピューターによってアクセスできる入手可能ないずれの媒体であってもよい。このようなコンピューター読取可能媒体は特に限定されず、例えば、ＲＡＭ、ＲＯＭ、ＣＤ－ＲＯＭ、その他の光ディスクストレージ、磁気ディスクストレージ、その他の磁気ディスク記憶装置、所望のプログラムコード手段の指示又はデータ構造の形態での送信又は記憶に用いることができ、汎用又は専用コンピューターあるいは汎用又は専用プロセッサーによってアクセス可能なその他の媒体などが挙げられる。また、あらゆる接続もコンピューター読取可能媒体と呼ぶにふさわしい。例えば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者線（ＤＳＬ）、又は赤外線、無線通信、マイクロ波などの無線技術を用いて、ウェブサイト、サーバー又は他のリモートソースから送信される場合、この同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、又は赤外線、無線通信、マイクロ波などの無線技術は、上記媒体の定義に含まれる。本発明で用いられる「ディスク」としては、コンパクトディスク（ＣＤ）、レーザーディスク、光ディスク、デジタル多目的ディスク（ＤＶＤ）、フロッピーディスク、ブルーレイディスクなどが挙げられる。なお、英語で「ｄｉｓｋ」と表記されるディスクは、通常、磁気作用によってデータを再生し、「ｄｉｓｃ」と表記されるディスクは、レーザーを用いて光学的にデータを再生する。上記の組み合わせも、コンピューター読取可能媒体の範囲に含まれる。

【0059】

以上、教示目的でいくつかの具体的な実施形態を説明したが、本特許文献の教示は一般的適用性を有し、上記の具体的な実施形態に限定されるものではない。したがって、上記実施形態の様々な特徴は、請求項に記載の本発明の範囲から逸脱することなく、多様に変形、適応及び組み合わせることができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】