特許 7639808 情報処理装置、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-02-25

(45)【発行日】2025-03-05

(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム

(51)【国際特許分類】

   G05D 1/43 20240101AFI20250226BHJP

   G08G 1/01 20060101ALI20250226BHJP

【ＦＩ】

G05D1/43

G08G1/01 F

【請求項の数】 14

(21)【出願番号】P 2022505113

(86)(22)【出願日】2021-02-18

(86)【国際出願番号】 JP2021006073

(87)【国際公開番号】W WO2021177043

(87)【国際公開日】2021-09-10

【審査請求日】2023-12-20

(31)【優先権主張番号】P 2020036522

(32)【優先日】2020-03-04

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】小島 康平

(72)【発明者】

【氏名】松永 光輝

【審査官】牧 初

(56)【参考文献】

【文献】特開２０２１－０２２１８１（ＪＰ，Ａ）

【文献】特開２０１９－０７９２４７（ＪＰ，Ａ）

【文献】特開２００９－１１０４９５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｄ １／００－１／８７

(57)【特許請求の範囲】

【請求項1】

空間を移動する複数の人のそれぞれの移動の軌跡を含む人流データに基づいて、人が移動した後に前記空間を移動する移動体の行動計画に用いられ、少なくとも人が進入しなかった領域が進入禁止領域であることを示す各領域のパラメータを設定するパラメータ設定部を備える
情報処理装置。

【請求項2】

前記パラメータ設定部は、移動の軌跡とともに前記人流データに含まれる速度に基づいて人の認知状態を推定する
請求項１に記載の情報処理装置。

【請求項3】

前記パラメータ設定部は、移動の軌跡とともに前記人流データに含まれる加速度と躍度に基づいて人の認知状態を推定する
請求項２に記載の情報処理装置。

【請求項4】

前記パラメータ設定部は、前記人流データにより表される速度ベクトルに基づいて、前記速度ベクトルの成分方向にある領域の前記パラメータを更新する
請求項３に記載の情報処理装置。

【請求項5】

前記パラメータ設定部は、前記人流データにより表される加速度ベクトルに基づいて、前記加速度ベクトルの成分方向にある領域の前記パラメータを更新する
請求項４に記載の情報処理装置。

【請求項6】

前記パラメータ設定部は、前記人流データにより表される躍度ベクトルに基づいて、前記躍度ベクトルの成分方向と反対方向にある領域の前記パラメータを更新する
請求項５に記載の情報処理装置。

【請求項7】

前記パラメータは、ポテンシャル法によって前記行動計画を行う場合に用いられるポテンシャルであり、
前記パラメータ設定部は、
前記速度ベクトルに基づく前記ポテンシャルの更新と前記加速度ベクトルに基づく前記ポテンシャルの更新とを、前記ポテンシャルを低下させるようにして行い、
前記躍度ベクトルに基づく前記ポテンシャルの更新を、前記ポテンシャルを増加させるようにして行う
請求項６に記載の情報処理装置。

【請求項8】

前記パラメータ設定部は、一定の範囲に存在する人の数が所定の数より少ない場合の前記人流データにより推定される移動中の人の認知状態に基づいて、前記パラメータの設定を行う
請求項１に記載の情報処理装置。

【請求項9】

前記パラメータ設定部は、前記速度ベクトル、前記加速度ベクトル、および前記躍度ベクトルのそれぞれに基づく前記パラメータの更新の程度を表す重みを、人が移動する前記空間の形状に基づいて設定する
請求項６に記載の情報処理装置。

【請求項10】

前記パラメータ設定部は、人の特定の部位の３次元空間上における移動の軌跡とともに前記人流データに含まれる速度と加速度に基づいて人の認知状態を推定し、３次元空間を構成する各領域の前記パラメータを設定する
請求項１に記載の情報処理装置。

【請求項11】

移動中の人をセンサデータに基づいて検出し、前記人流データを生成する人流計測部をさらに備える
請求項１に記載の情報処理装置。

【請求項12】

前記パラメータが設定された領域の情報である地図情報に基づいて前記行動計画を行う行動計画部をさらに備える
請求項１に記載の情報処理装置。

【請求項13】

情報処理装置が、
空間を移動する複数の人のそれぞれの移動の軌跡を含む人流データに基づいて、人が移動した後に前記空間を移動する移動体の行動計画に用いられ、少なくとも人が進入しなかった領域が進入禁止領域であることを示す各領域のパラメータを設定する
情報処理方法。

【請求項14】

コンピュータに、
空間を移動する複数の人のそれぞれの移動の軌跡を含む人流データに基づいて、人が移動した後に前記空間を移動する移動体の行動計画に用いられ、少なくとも人が進入しなかった領域が進入禁止領域であることを示す各領域のパラメータを設定する
処理を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、特に、信頼性の高い進入禁止領域を容易に設定することができるようにした情報処理装置、情報処理方法、およびプログラムに関する。

【背景技術】

【0002】

自律移動型のロボットを導入した空間においては、下記のような事情などから、進入禁止領域が設定される。
・壁等の既知の固定障害物を考慮して、効率的かつ安全な軌道を計画できるようにしたい。
・ユーザ要件に従い、ロボットに進入して欲しくない領域をシステム管理者が設定する。
・誤動作を防ぐため、センサでは検出しにくい障害物の付近を進入禁止領域にする。
・空間のルールとして、ロボットに入ってほしくない領域がある。

【0003】

適切な進入禁止領域を個々に設定することは、面倒かつ煩雑な作業となる。そのため、進入禁止領域を自動的に設定する技術が各種提案されている。

【0004】

例えば特許文献１には、人の位置を一定期間計測し、人が立ち入らない領域を進入禁止領域とする技術が開示されている。この技術においては、全ての領域を進入禁止領域として設定した後、人が存在した領域のポテンシャルを下げて、進入禁止領域から除外するような処理が行われる。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１７－９０７９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１に記載の技術の場合、信頼性の高い進入禁止領域を設定するには大量の歩行データが必要となる。また、人の分布が低密度である場合、空間の中心付近のみが通行可能領域として扱われる傾向がある。さらに、人が誤って立ち入った領域が通行可能領域として設定されてしまう。

【0007】

本技術はこのような状況に鑑みてなされたものであり、信頼性の高い進入禁止領域を容易に設定することができるようにするものである。

【課題を解決するための手段】

【0008】

本技術の一側面の情報処理装置は、空間を移動する複数の人のそれぞれの移動の軌跡を含む人流データに基づいて、人が移動した後に前記空間を移動する移動体の行動計画に用いられ、少なくとも人が進入しなかった領域が進入禁止領域であることを示す各領域のパラメータを設定するパラメータ設定部を備える。

【0009】

本技術の一側面においては、空間を移動する複数の人のそれぞれの移動の軌跡を含む人流データに基づいて、人が移動した後に前記空間を移動する移動体の行動計画に用いられ、少なくとも人が進入しなかった領域が進入禁止領域であることを示す各領域のパラメータが設定される。

【図面の簡単な説明】

【0010】

【図1】本技術の一実施形態に係る移動ロボットの使用状態を示す図である。

【図2】速度ベクトルと人の認知状態の関係を示す図である。

【図3】加速度ベクトルと人の認知状態の関係を示す図である。

【図4】躍度ベクトルと人の認知状態の関係を示す図である。

【図5】制御装置と移動ロボットが行う処理の全体の流れを示す図である。

【図6】制御装置のハードウェアの構成例を示すブロック図である。

【図7】制御装置の機能構成例を示すブロック図である。

【図8】人流データの例を示す図である。

【図9】進入禁止領域設定フェーズの処理の流れを示す図である。

【図10】初期化の例を示す図である。

【図11】速度ベクトルに基づくポテンシャルの更新の例を示す図である。

【図12】加速度ベクトルに基づくポテンシャルの更新の例を示す図である。

【図13】躍度ベクトルに基づくポテンシャルの更新の例を示す図である。

【図14】移動ロボットの構成例を示すブロック図である。

【図15】人流データの例を示す図である。

【図16】空間の例を示す平面図である。

【図17】３次元空間におけるボーン形状の推定の例を示す図である。

【図18】情報処理システムの他の構成例を示すブロック図である。

【図19】情報処理システムの他の構成例を示すブロック図である。

【図20】情報処理システムの他の構成例を示すブロック図である。

【発明を実施するための形態】

【0011】

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．進入禁止領域の設定の概要
２．各装置の構成例
３．実施の形態１：基本形
４．実施の形態２：ポテンシャルの更新を誤るケースに対する対応
５．実施の形態３：環境に合わせた重みパラメータの設定
６．実施の形態４：付加情報を用いた重みパラメータの自動調整
７．実施の形態５：人の姿勢を考慮することによる３次元対応
８．その他

【0012】

＜進入禁止領域の設定の概要＞
図１は、本技術の一実施形態に係る移動ロボットの使用状態を示す図である。

【0013】

本技術の一実施形態に係る移動ロボットは、例えば、室内において用いられる。移動ロボットが導入される空間は、人が歩いて通行することが可能な空間である。

【0014】

図１の例においては、移動ロボット１－１乃至１－３が示されている。それぞれの移動ロボットを区別する必要がない場合、適宜、まとめて移動ロボット１という。立方体状の筐体を有する移動ロボット１の底面には、移動ロボット１の移動に用いられるタイヤなどの構成が設けられている。

【0015】

移動ロボット１は、カメラにより撮影された画像などに基づいて、室内にいる人の探索を行い、探索によって検出した人に近づいて接客を行ったり、コミュニケーションをとったりする機能を有する自律走行型のロボットである。

【0016】

移動ロボット１が移動する空間には進入禁止領域が設定される。例えば、障害物の周りの領域が進入禁止領域として設定される。進入禁止領域以外の領域が、通行可能領域となる。

【0017】

進入禁止領域の設定は、例えば移動ロボット１の移動を管理する上位の装置である制御装置により行われる。移動ロボット１においては、制御装置により設定された進入禁止領域を回避しながら移動するための行動計画が行われ、計画された軌道（経路）に従って移動が行われる。

【0018】

移動ロボット１における行動計画は、例えばポテンシャル法により行われる。ポテンシャル法は、目的地に引力ポテンシャルを設定するとともに、障害物のある領域に斥力ポテンシャルを設定し、ポテンシャル関数の負の勾配に沿うようにロボットを移動させる方法である。

【0019】

制御装置による進入禁止領域の設定は、空間の各領域に対する人の認知状態を、人の振る舞いに基づいて推定し、人の認知状態の推定結果に基づいて行われる。人の認知状態は、空間内を移動する多くの人のそれぞれをトラッキングするなどしてあらかじめ計測された人流データに基づいて推定される。人の認知状態の推定に用いられる人の振る舞いは、人の移動となる。

【0020】

後述するように、人流データには、人の移動の軌跡、速度、加速度、躍度（ジャーク）などの情報が含まれる。人流データは、例えば、移動ロボット１が移動する空間の天井付近などに設置されたカメラにより撮影された画像を解析することによって生成される。なお、躍度は、加速度の時間に対する変化の割合である。

【0021】

制御装置は、進入禁止領域の設定時、人流データに基づいて、それぞれの人の移動時の速度ベクトル、加速度ベクトル、および、躍度ベクトルを算出する。制御装置は、算出したそれらの情報に基づいて人の認知状態を推定し、推定結果に基づいて進入禁止領域を設定する。

【0022】

人の認知状態は、速度ベクトル、加速度ベクトル、躍度ベクトルの３つの情報によって以下のように表される。人の認知状態と、速度ベクトル、加速度ベクトル、躍度ベクトルのそれぞれとの関係が、ポテンシャルの設定に用いるポリシーとして定義される。

【0023】

図２は、速度ベクトルと人の認知状態の関係を示す図である。

【0024】

進入禁止領域となるような領域を認知している人が、進入禁止領域に対して法線方向に移動することは少ない。すなわち、進入禁止領域を認知している人は、図２の矢印に示すように、進入禁止領域の法線方向とは異なる方向に移動する。速度ベクトルにより、人の認知状態が、速度ベクトルの方向と異なる方向にある進入禁止領域を認知している状態にあることが推定される。

【0025】

図３は、加速度ベクトルと人の認知状態の関係を示す図である。

【0026】

認知している進入禁止領域に接近すると人は減速する。すなわち、図３の上段に示すように進入禁止領域に向かって移動している人は、それを認知すると図３の下段に示すように減速する。減速しているときの加速度ベクトルにより、人の認知状態が、進行方向にある進入禁止領域を認知している状態にあることが推定される。

【0027】

図４は、躍度ベクトルと人の認知状態の関係を示す図である。

【0028】

進入禁止領域に近づいてからその進入禁止領域を認知した場合、図４の下段に示すように、人は急停止する。進行方向と反対方向（停止方向）の躍度ベクトルが大きい場合、人の認知状態が、進行方向にある進入禁止領域を直前で認知した状態にあることが推定される。

【0029】

制御装置による進入禁止領域の設定は、このような、人の認知状態を表していると考えられる、速度ベクトル、加速度ベクトル、躍度ベクトルの３つの情報に基づいて行われる。

【0030】

図５は、進入禁止領域の設定のフェーズを含む、制御装置と移動ロボット１が行う処理の全体の流れを示す図である。

【0031】

制御装置と移動ロボット１が行う全体の処理には、人流計測フェーズ、進入禁止領域設定フェーズ、走行フェーズの各フェーズの処理が含まれる。

【0032】

人流計測フェーズは、人をトラッキングし、人流データを構成する、軌跡、速度、加速度を記録するフェーズである。

【0033】

進入禁止領域設定フェーズは、上述した人の認知を前提として、人流データに基づいて進入禁止領域地図を生成するフェーズである。進入禁止領域地図には、空間内の各領域のポテンシャルの情報が含まれる。ポテンシャルが高い領域が進入禁止領域となる。

【0034】

走行フェーズは、進入禁止領域地図に基づいて、進入禁止領域を回避するように行動計画を行い、計画した軌道に従って走行（移動）するフェーズである。

【0035】

例えば、人流計測フェーズと進入禁止領域設定フェーズが、制御装置が担当するフェーズとなる。走行フェーズが、移動ロボット１が担当するフェーズとなる。

【0036】

人流計測フェーズの処理が制御装置とは異なる装置により行われるようにしてもよいし、移動ロボット１により行われるようにしてもよい。人流計測フェーズ、進入禁止領域設定フェーズ、走行フェーズの全てのフェーズの処理が移動ロボット１により行われるようにしてもよい。

【0037】

１つのフェーズの処理が、複数の装置により分担して行われるようにしてもよい。このように、各フェーズの処理を行う装置については適宜変更可能である。各フェーズの処理の分担の例については後述する。

【0038】

このように、人の認知状態の推定結果を用いることにより、信頼性の高い進入禁止領域を容易に設定することが可能となる。

【0039】

例えば、歩行データにより表される人の位置のみに着目して進入禁止領域の設定を行うとした場合、人がよく歩くような、空間の中心付近のみが通行可能領域として設定される可能性があるが、そのようなことを防ぐことが可能となる。

【0040】

また、人が誤って立ち入った領域を通行可能領域として設定することを防ぐことが可能となる。

【0041】

さらに、人の認知状態の推定結果が用いられるため、センサなどでは検出することができない物体がある領域についても、進入禁止領域として設定することが可能となる。

【0042】

社会的な背景などにより人によって決定されるルールに従って、進入禁止領域を設定することが可能となる。移動ロボット１が走行可能であったとしても人であれば近寄らないような場所が存在することがある。人の認知状態の推定結果を用いることにより、このような人が近寄らない場所を、移動ロボット１の進入禁止領域として設定することが可能となる。

【0043】

棚の上にある物が変わった、障害物の状態が変わったなどのように、対象となる障害物の形状が変わらなくても、その状態の変化などによって、進入禁止領域とするか通行可能領域とするかを変えたいケースがある。そのような設定の変更が、人の認知状態を基準として行われるようにすることが可能となる。

【0044】

＜各装置の構成例＞
図６は、移動ロボット１の移動を管理する制御装置１１のハードウェアの構成例を示すブロック図である。

【0045】

図６に示すように、制御装置１１はコンピュータにより構成される。制御装置１１とそれぞれの移動ロボット１は、無線LAN、インターネットなどのネットワークを介して接続される。

【0046】

CPU(Central Processing Unit)２１、ROM(Read Only Memory)２２、RAM(Random Access Memory)２３は、バス２４により相互に接続されている。

【0047】

バス２４には、さらに、入出力インタフェース２５が接続される。入出力インタフェース２５には、キーボード、マウスなどよりなる入力部２６、ディスプレイ、スピーカなどよりなる出力部２７が接続される。また、入出力インタフェース２５には、ハードディスクや不揮発性のメモリなどよりなる記憶部２８、ネットワークインタフェースなどよりなる通信部２９、リムーバブルメディア３１を駆動するドライブ３０が接続される。

【0048】

以上のように構成されるコンピュータでは、CPU２１が、例えば、記憶部２８に記憶されているプログラムを入出力インタフェース２５及びバス２４を介してRAM２３にロードして実行することにより、上述した進入禁止領域の設定を含む処理が行われる。

【0049】

図７は、制御装置１１の機能構成例を示すブロック図である。図７に示す機能部のうちの少なくとも一部は、図６のCPU２１により所定のプログラムが実行されることによって実現される。

【0050】

制御装置１１においては、人流計測部５１、人流データ記憶部５２、進入禁止領域設定部５３、および進入禁止領域地図記憶部５４が実現される。

【0051】

人流計測部５１は、移動ロボット１が導入された空間に設置されたカメラにより撮影された画像を取得する。カメラにより撮影された画像には、空間内を移動する人が写っている。人流計測部５１は、取得した画像を解析し、空間内を移動する人をトラッキングすることによって人流データを生成する。人感センサ、ToF(Time of Flight)センサなどの、カメラ以外のセンサにより検出されたセンサデータに基づいて人流データが生成されるようにしてもよい。

【0052】

図８は、人流データの例を示す図である。

【0053】

人流データは、空間内を移動する人毎に生成される。図８に示すように、人流データには、ID、軌跡、速度成分、加速度成分、および躍度成分が含まれる。

【0054】

IDは、空間内を移動する人の識別情報である。

【0055】

軌跡は、人の移動の軌跡を表す。例えば、空間内の位置の時系列データにより軌跡が表される。

【0056】

速度成分は、空間内を移動する人の速度を表す。空間内に設定されたＸ軸、Ｙ軸方向を基準として、各方向の成分（x,y）の速度が速度成分により表される。

【0057】

加速度成分は、空間内を移動する人の加速度を表す。空間内に設定されたＸ軸、Ｙ軸方向を基準として、各方向の成分（x,y）の加速度が加速度成分により表される。

【0058】

躍度成分は、空間内を移動する人の躍度を表す。空間内に設定されたＸ軸、Ｙ軸方向を基準として、各方向の成分（x,y）の躍度が躍度成分により表される。

【0059】

進入禁止領域の設定に用いられる他の情報が人流計測部５１により生成され、人流データに含められるようにしてもよい。加速度や躍度が人流データに含まれず、人流データに含まれる速度に基づいて、加速度や躍度が算出されるようにしてもよい。

【0060】

人流計測部５１は、このような各情報を含む人流データを人流データ記憶部５２（図７）に出力し、記憶させる。人流データ記憶部５２には、人流データのDBが構築される。人流データのDBを構築する処理が、人流計測フェーズの処理として行われる。

【0061】

進入禁止領域設定部５３は、人流データ記憶部５２に記憶されている人流データに基づいて、上述したようにして人の認知状態を推定する。進入禁止領域設定部５３は、人の認知状態の推定結果に基づいて進入禁止領域を設定し、進入禁止領域地図を生成する。

【0062】

図９は、進入禁止領域設定部５３が行う進入禁止領域設定フェーズの処理の流れを示す図である。

【0063】

進入禁止領域設定フェーズの処理には、初期化、速度ベクトルに基づくポテンシャルの更新、加速度ベクトルに基づくポテンシャルの更新、および、躍度ベクトルに基づくポテンシャルの更新の各処理が含まれる。

【0064】

図１０は、初期化の例を示す図である。

【0065】

初期化時、進入禁止領域設定部５３は、空間内の全ての領域である領域＃１乃至＃９のポテンシャルを最大に設定する。初期化後の状態においては、領域＃１乃至＃９の全ての領域が進入禁止領域として設定されることになる。移動ロボット１による行動計画時、ポテンシャルの低い領域を移動するように行動計画が行われる。

【0066】

図１０においては、空間全体が領域＃１乃至＃９の９つの領域により構成されているが、空間の形状、空間の広さに応じて、進入禁止領域地図の形状と、進入禁止領域地図を構成する領域の数は異なるものとなる。各領域の色の濃度はポテンシャルを表す。濃度が高い領域は、ポテンシャルが高い領域となる。図１１以降においても同様である。

【0067】

図１１は、速度ベクトルに基づくポテンシャルの更新の例を示す図である。

【0068】

図２を参照して説明したように、進入禁止領域となるような領域を認知している人が、進入禁止領域に対して法線方向に移動することは少ない。このことから、速度ベクトルに基づくポテンシャルの更新は、速度ベクトルの成分方向（Ｘ軸方向、Ｙ軸方向）の領域のポテンシャルを、ベクトル長に比例して低下させるようにして行われる。

【0069】

例えば、図１１の下段に示すように、領域＃８から領域＃５に進み、続けて領域＃５から領域＃１に向かって、ある人が移動したことを表す人流データがあるものとする。この人流データにより移動の状態が表される人は、例えば、領域＃８から領域＃５に進んだときに急停止し、方向転換をして、領域＃５から領域＃１に移動したものとする。このような移動により計測される領域＃５における速度ベクトルは、矢印Ａ１のように表される。

【0070】

この場合、矢印Ａ１により表される速度ベクトルの成分方向にある領域＃２、領域＃４のポテンシャルは、それぞれ、Ｙ軸方向、Ｘ軸方向のベクトル長に比例して低下させるように更新される。図１１の上段において、白抜きの太枠で囲んで示す領域＃２、領域＃４の濃度が図１０に示す濃度より低くなっていることは、それぞれの領域のポテンシャルが低下して更新されたことを表す。

【0071】

速度の寄与率を表す重みパラメータαが、速度ベクトルに基づくポテンシャルの更新において用いられる。領域＃２、領域＃４のポテンシャルの更新の程度は、ベクトル長と重みパラメータαに基づいて算出される。

【0072】

加速度ベクトルに基づくポテンシャルの更新と躍度ベクトルに基づくポテンシャルの更新においても、それぞれ、加速度の寄与率を表す重みパラメータβと、躍度の寄与率を表す重みパラメータγとが用いられる。重みパラメータα、β、γとして、それぞれ所定の値が設定される。

【0073】

なお、領域＃１、領域＃５、領域＃８のそれぞれのポテンシャルは、例えば速度ベクトルのベクトル長に比例して最小のポテンシャルに更新される。図１１の上段において、領域＃１、領域＃５、領域＃８が白色で示されていることは、それらの領域のポテンシャルとして最小の値が設定されていることを表す。

【0074】

速度ベクトルに基づく更新に続けて、加速度ベクトルに基づくポテンシャルの更新が行われる。

【0075】

図１２は、加速度ベクトルに基づくポテンシャルの更新の例を示す図である。

【0076】

図３を参照して説明したように、認知している進入禁止領域に接近すると人は減速する。このことから、加速度ベクトルに基づくポテンシャルの更新は、加速度ベクトルの成分方向にある領域のポテンシャルを、ベクトル長に比例して低下させるようにして行われる。

【0077】

上述した移動により計測される領域＃５における加速度ベクトルは、例えば図１２の下段の矢印Ａ２のように表される。

【0078】

この場合、矢印Ａ２により表される加速度ベクトルの成分方向にある領域＃４のポテンシャルは、例えばベクトル長に比例して低下させるように更新される。領域＃４のポテンシャルの更新の程度は、ベクトル長と重みパラメータβに基づいて算出される。図１２の上段において、白抜きの太枠で囲んで示す領域＃４の濃度が図１１に示す濃度より低くなっていることは、領域＃４のポテンシャルが低下して更新されたことを表す。

【0079】

加速度ベクトルに基づく更新に続けて、躍度ベクトルに基づくポテンシャルの更新が行われる。

【0080】

図１３は、躍度ベクトルに基づくポテンシャルの更新の例を示す図である。

【0081】

図４を参照して説明したように、進入禁止領域に近づいてからその進入禁止領域を認知した場合、人は急停止する。このことから、躍度ベクトルに基づくポテンシャルの更新は、進行方向（躍度ベクトルの方向の反対方向）の領域のポテンシャルを増加させるようにして行われる。

【0082】

上述した移動により計測される領域＃５における躍度ベクトルの方向は、例えば図１３の下段の矢印Ａ３のように表される。

【0083】

この場合、急停止の直前の進行方向にある領域＃２のポテンシャルは、例えばベクトル長に応じて増加させるように更新される。領域＃２のポテンシャルの更新の程度は、重みパラメータγに基づいて算出される。図１３の上段において、白抜きの太枠で囲んで示す領域＃２の濃度が図１２に示す濃度より高くなっていることは、領域＃２のポテンシャルが増加して更新されたことを表す。

【0084】

進入禁止領域地図の各領域のポテンシャルが、それぞれの人流データにより表される速度ベクトル、加速度ベクトル、躍度ベクトルに基づいて以上のようにして更新される。図７の進入禁止領域設定部５３は、人流データにより推定される移動中の人の認知状態に基づいて、移動ロボット１の行動計画に用いられる各領域のパラメータであるポテンシャルを設定するパラメータ設定部として機能する。

【0085】

各領域のポテンシャルが設定されることによって進入禁止領域設定部５３により生成された進入禁止領域地図は、進入禁止領域地図記憶部５４に出力され、記憶される。図７の吹き出しに示すように、進入禁止領域地図は、空間を構成する各グリッド（領域）に、障害物の情報を反映したポテンシャル勾配を設定したグリッドマップとなる。

【0086】

進入禁止領域地図記憶部５４に記憶された進入禁止領域地図がそれぞれの移動ロボット１に送信され、行動計画に用いられる。

【0087】

・移動ロボット１の構成
図１４は、移動ロボット１の構成例を示すブロック図である。

【0088】

移動ロボット１は、制御部１０１、移動部１０２、カメラ１０３、センサ１０４、通信部１０５、および電源部１０６により構成される。

【0089】

制御部１０１は、コンピュータにより構成される。制御部１０１は、CPUにより所定のプログラムを実行し、移動ロボット１の全体の動作を制御する。

【0090】

移動部１０２は、制御部１０１による制御に従ってモーターやギアを駆動させることによってタイヤを回転させ、スピードと方向を調整しながら移動ロボット１の移動を実現する。

【0091】

カメラ１０３は、RGB画像を撮影するRGBカメラ、IR画像を撮影するIRカメラなどにより構成される。カメラ１０３により撮影された画像は制御部１０１に出力される。

【0092】

センサ１０４は、加速度センサ、ジャイロセンサ、人感センサ、移動部１０２に設けられるタイヤの回転量を検出するエンコーダ、LiDARなどの各種のセンサにより構成される。センサ１０４によるセンシング結果を表す情報は制御部１０１に出力される。

【0093】

カメラ１０３とセンサ１０４のうちの少なくともいずれかが移動ロボット１の外部に設けられるようにしてもよい。この場合、移動ロボット１の外部に設けられたカメラにより撮影された画像、センサによるセンシング結果を表す情報は、無線通信を介して移動ロボット１に対して送信される。

【0094】

通信部１０５は、制御装置１１との間で無線通信を行う。例えば、通信部１０５は、制御装置１１から送信されてきた進入禁止領域地図を受信し、制御部１０１に出力する。

【0095】

電源部１０６は、バッテリを有している。電源部１０６は、移動ロボット１の各部に対して電源を供給する。

【0096】

制御部１０１においては、所定のプログラムが実行されることによって行動計画部１１１と移動制御部１１２が実現される。図５の走行フェーズの処理が、行動計画部１１１と移動制御部１１２により行われる。

【0097】

行動計画部１１１は、移動ロボット１の各種の行動を計画する。例えば、行動計画部１１１は、制御装置１１により生成された進入禁止領域地図に基づいて、進入禁止領域を回避しながら移動するように行動計画を行う。行動計画によって得られた軌道の情報は移動制御部１１２に供給される。

【0098】

行動計画において、各領域のポテンシャルがそのまま用いられるようにしてもよいし、閾値を用いた二値化後のポテンシャルが用いられるようにしてもよい。例えば、閾値以上のポテンシャルが設定されている領域は進入禁止領域として扱われる。

【0099】

移動制御部１１２は、移動部１０２を駆動させ、行動計画部１１１による行動計画によって得られた軌道に従って移動ロボット１を移動させる。

【0100】

以上のように、人の認知状態の推定結果に基づいてポテンシャルの設定が行われるため、制御装置１１は、信頼性の高い進入禁止領域を容易に設定することが可能となる。

【0101】

また、移動ロボット１は、信頼性の高い進入禁止領域に基づいて、進入禁止領域をより確実に回避しながら移動することができる。

【0102】

＜実施の形態１：基本形＞
人流計測フェーズにおいては、空間内の人の動きのトラッキングが行われる。人の動きのトラッキングが、カメラを含む、空間内に設置されたセンシングシステムを用いて行われるようにしてもよいし、移動ロボット１に搭載された内部のカメラを用いて行われるようにしてもよい。

【0103】

進入禁止領域設定フェーズにおいては、図９乃至図１３を参照して説明した手法に基づいてポテンシャルが更新され、進入禁止領域地図が生成される。

【0104】

走行フェーズにおいては、進入禁止領域地図を用いて行動計画が行われる。行動計画のアルゴリズムに応じて、適宜、進入禁止領域地図の利用形態が変更される。例えば、ポテンシャル勾配に基づく行動計画、または、閾値を基準として二値化した白黒画像に対して、RRT(Rapidly Exploring Random Tree)やA*などの手法を用いた行動計画が行われる。

【0105】

＜実施の形態２：ポテンシャルの更新を誤るケースに対する対応＞
人の認知状態に着目してポテンシャルの更新が行われるとした場合、ある人が、他人がいることを認知して避けた場合も、障害物を避けたものとしてポテンシャルの更新が行われてしまう。このような他人による干渉に応じた行動がポテンシャルの更新に反映されないように、人流データの無効化が行われるようにしてもよい。

【0106】

図１５は、人流データの例を示す図である。

【0107】

図１５には、領域＃１２から領域＃１５に移動してきた人物Ｈ１の軌道と、領域＃１８から領域＃１５に移動してきた人物Ｈ２の軌道が示されている。人物Ｈ１は、前方にいる人物Ｈ２を回避するように、領域＃１５から領域＃１６に向かって移動している。同様に、人物Ｈ２は、前方にいる人物Ｈ１を回避するように、領域＃１５から領域＃１４に向かって移動している。領域＃１１乃至＃１９から構成される空間内には障害物などがないものとする。

【0108】

人の認知状態に着目してポテンシャルの更新が行われるとした場合、障害物がないにも関わらず、このような回避行動がポテンシャルの更新に反映されてしまう。

【0109】

制御装置１１の進入禁止領域設定部５３においては、一定の範囲内に複数の人が存在する場合、その複数の人の人流データに基づくポテンシャルの更新が行われない。すなわち、人流データが無効なものとして扱われ、ポテンシャルの更新に用いられない。言い換えると、一定の範囲に存在する人が所定の数より少ない場合の人流データが人の認知状態の推定に用いられ、推定された人の認知状態に基づいて、ポテンシャルの更新が行われる。

【0110】

これにより、ある程度の人が混在する状況において計測された人流データを活用してポテンシャルの更新が行われるようにすることが可能となる。

【0111】

＜実施の形態３：環境に合わせた重みパラメータの設定＞
図１６は、空間の例を示す平面図である。

【0112】

図１６の上段に示す空間は、人の移動の方向が一様の方向となる通路のような空間である。通路の両脇には壁が存在する。図１６の例においては、下方向に向かって人物Ｈ１が移動している。

【0113】

このような空間において計測された人流データに基づいてポテンシャルの更新が行われるとした場合、人は対向する物体からできるだけ避けようとするため、長手方向（Ｘ軸方向）の移動に対して、短手方向（Ｙ軸方向）の移動の方が、禁止領域の存在とより大きな相関を持つと考えられる。すなわち、図１６の下段に示すように、通路内の特定領域が進入禁止領域として設定されやすくなる。

【0114】

この場合、空間の特徴に合わせて、ポテンシャルの更新に用いる要素に対して重み（バイアス）が設定される。制御装置１１の進入禁止領域設定部５３においては、重みを考慮して、ポテンシャルの更新が行われる。

【0115】

例えば、Ｘ軸方向の移動とＹ軸方向の移動のそれぞれに対して同じ重みパラメータα,β,γが設定されるのではなく、空間形状に合わせて、Ｘ軸方向の移動とＹ軸方向の移動のそれぞれに対して異なる重みパラメータα,β,γが設定される。

【0116】

図１６の例の場合、例えば速度ベクトルの寄与率を表す重みパラメータαに注目すると、Ｘ軸方向の移動に応じた重みパラメータα_ｘより、Ｙ軸方向の移動に応じた重みパラメータα_ｙの方が大きく設定される。これにより、Ｙ軸方向の移動に応じてポテンシャルの更新がより敏感に行われるような特性を、速度ベクトルに基づくポテンシャルの更新に持たせることが可能となる。

【0117】

このように、進入禁止領域設定部５３においては、形状などの、人が移動する空間の特性に応じた重みパラメータが設定され、ポテンシャルの更新が行われる。

【0118】

＜実施の形態４：付加情報を用いた重みパラメータの自動調整＞
ポテンシャルの更新において用いられる重みパラメータα，β，γが、センシングによって得られた付加情報に基づいて調整されるようにしてもよい。

【0119】

上述したように、重みパラメータαは、速度ベクトルに基づくポテンシャルの更新に用いられるパラメータである。重みパラメータβは、加速度ベクトルに基づくポテンシャルの更新に用いられるパラメータである。重みパラメータγは、躍度ベクトルに基づくポテンシャルの更新に用いられるパラメータである。

【0120】

例えば、移動する人の年齢に応じて重みパラメータの調整が行われる。この場合、重みパラメータの調整に用いられる付加情報は、年齢の推定結果となる。人流計測フェーズにおいては、カメラにより撮影された画像を解析するなどして、移動する人の年齢が推定される。

【0121】

移動する人が高齢者である場合、視力／認知機能／身体機能の低下などにより、その人の認知は、近傍の状態判断に頼りがちになる。この場合、重みパラメータβの値として小さい値が設定され、事前判断による移動がポテンシャルの更新に反映されにくくなるような調整が行われる。また、重みパラメータα，β，γの全ての値として小さい値が設定され、全ての移動が、ポテンシャルの更新に反映されにくくなるような調整が行われる。

【0122】

一方、移動する人が若者である場合、視力／認知機能／身体機能がいずれも高いことから、状況判断の信頼性が高いといえる。この場合、重みパラメータα，β，γの全ての値として大きい値が設定され、全ての移動が、ポテンシャルの更新に反映されやすくなるような調整が行われる。

【0123】

また、移動する人の視線に合わせて重みパラメータの調整が行われる。この場合、重みパラメータの調整に用いられる付加情報は、顔の向きとなる。ここでは、視線の方向と顔の向きが一致するものとされている。人流計測フェーズにおいては、カメラにより撮影された画像を解析するなどして、移動する人の顔の向きが検出される。

【0124】

通常、人は、進入禁止領域を視覚によって認知し、その後、回避行動を開始する。速度ベクトルの方向と視線方向が一致しない場合、直前に認知した進入禁止領域を目で追いながら回避行動を取っている可能性が高いと考えられる。

【0125】

速度ベクトルに基づくポテンシャルの更新において用いられる重みパラメータαの値として大きい値が設定され、移動速度がポテンシャルの更新に反映されやすくなるような調整が行われる。

【0126】

このように、制御装置１１の進入禁止領域設定部５３においては、年齢や視線などの、移動している人の特徴を付加情報として用いて重みパラメータが調整され、調整後の重みパラメータを用いてポテンシャルの更新が行われる。付加情報を用いることにより、進入禁止領域設定部５３は、より正確かつ詳細な認知状態を進入禁止領域の設定に反映させることが可能となる。

【0127】

＜実施の形態５：人の姿勢を考慮することによる３次元対応＞
ＸＹ平面上の速度、加速度、躍度を用いた処理に加えて、縦方向（Ｚ軸方向）についても同様の処理を行うことにより、３次元空間の進入禁止領域地図を生成することが可能となる。

【0128】

この場合、人流計測フェーズにおいては、ＸＹ平面上の位置の検出に加えて、３次元空間におけるボーン形状の推定が行われる。また、ボーン形状の推定結果に基づいて、図１７に示すように、移動している人の特定の部位としての例えば頭部と足先がそれぞれ検出される。

【0129】

図１７の例においては、頭部と足先のＹＺ平面上の位置が検出されている。人流計測フェーズにおいては、このような検出結果に基づいて、頭部の速度、加速度、躍度と、足先の速度、加速度、躍度を含む人流データが計測される。

【0130】

このような人流データに基づいて人の認知状態の推定が行われ、ＸＹ平面上の処理と同様にしてポテンシャルの更新が行われることにより、例えば、頭上に障害物がある場合に頭を下げるような回避行動が３次元空間上の各領域のポテンシャルの更新に反映される。なお、頭と足先の間の図１７の領域＃２５は、通行可能領域となるようにポテンシャルの更新が行われる。

【0131】

このように、３次元空間上の各領域のポテンシャルの更新が、人の認知状態の推定結果に基づいて行われるようにすることが可能である。３次元空間上の進入禁止領域地図を用いることにより、いわゆるドローンなどの飛行体が移動する場合の行動計画や、ロボットアーム等の行動計画にも本技術を適用することが可能となる。すなわち、本技術は、平面上を動く移動ロボット１の行動計画だけでなく、３次元空間上を動くロボットの行動計画にも適用可能である。

【0132】

＜その他＞
移動ロボット１がタイヤを用いて移動するロボットであるものとしたが、二足歩行が可能な人型のロボットや四足歩行が可能な動物型のロボットを用いる場合にも、本技術は適用可能である。すなわち、本技術は、ロボット、ドローン、ロボットアーム、自動車を含む各種の移動体の行動計画に適用可能である。

【0133】

人の認知状態の推定結果に基づいて更新される各領域のパラメータがポテンシャル法で用いられるポテンシャルであるものとしたが、行動計画に用いられる他のパラメータの設定が人の認知状態の推定結果に基づいて行われるようにしてもよい。

【0134】

以上においては、人流計測フェーズと進入禁止領域設定フェーズの処理が制御装置１１により行われ、走行フェーズの処理が移動ロボット１により行われるものとしたが、各フェーズの処理を担当する装置の組み合わせは任意に変更可能である。

【0135】

図１８乃至図２０は、情報処理システムの他の構成例を示すブロック図である。

【0136】

図１８の例においては、人流計測部５１と人流データ記憶部５２が制御装置１１に設けられ、進入禁止領域設定部５３、進入禁止領域地図記憶部５４、行動計画部１１１、および移動制御部１１２が移動ロボット１に設けられている。図１８に示す情報処理システムの構成は、人流計測フェーズの処理が制御装置１１により行われ、進入禁止領域設定フェーズと走行フェーズの処理が移動ロボット１により行われる場合の構成となる。

【0137】

図１９の例においては、人流計測部５１と人流データ記憶部５２が計測装置に設けられ、進入禁止領域設定部５３と進入禁止領域地図記憶部５４が制御装置１１に設けられ、行動計画部１１１と移動制御部１１２が移動ロボット１に設けられている。図１９に示す情報処理システムの構成は、人流計測フェーズの処理が計測装置により行われ、進入禁止領域設定フェーズの処理が制御装置１１により行われ、走行フェーズの処理が移動ロボット１により行われる場合の構成となる。

【0138】

このように、人流計測フェーズの処理が、移動ロボット１と制御装置１１以外の装置により行われるようにすることが可能である。

【0139】

図２０の例においては、人流計測部５１、人流データ記憶部５２、進入禁止領域設定部５３、進入禁止領域地図記憶部５４、行動計画部１１１、および移動制御部１１２が移動ロボット１に設けられている。図２０に示す情報処理システムの構成は、人流計測フェーズ、進入禁止領域設定フェーズ、および走行フェーズの全てのフェーズの処理が移動ロボット１により行われる場合の構成となる。移動ロボット１は、人流計測フェーズ、進入禁止領域設定フェーズ、および走行フェーズの全てのフェーズの処理を行う情報処理装置として機能する。

【0140】

・プログラムについて
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。

【0141】

インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図６に示されるリムーバブルメディア３１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM２２や記憶部２８に、あらかじめインストールしておくことができる。

【0142】

コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

【0143】

本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

【0144】

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

【0145】

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0146】

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0147】

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0148】

＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。

【0149】

（１）
人流データにより推定される移動中の人の認知状態に基づいて、移動体の行動計画に用いられる各領域のパラメータを設定するパラメータ設定部を備える
情報処理装置。
（２）
前記パラメータ設定部は、移動の軌跡とともに前記人流データに含まれる速度に基づいて人の認知状態を推定する
前記（１）に記載の情報処理装置。
（３）
前記パラメータ設定部は、移動の軌跡とともに前記人流データに含まれる加速度と躍度に基づいて人の認知状態を推定する
前記（２）に記載の情報処理装置。
（４）
前記パラメータ設定部は、前記人流データにより表される速度ベクトルに基づいて、前記速度ベクトルの成分方向にある領域の前記パラメータを更新する
前記（３）に記載の情報処理装置。
（５）
前記パラメータ設定部は、前記人流データにより表される加速度ベクトルに基づいて、前記加速度ベクトルの成分方向にある領域の前記パラメータを更新する
前記（４）に記載の情報処理装置。
（６）
前記パラメータ設定部は、前記人流データにより表される躍度ベクトルに基づいて、前記躍度ベクトルの成分方向と反対方向にある領域の前記パラメータを更新する
前記（５）に記載の情報処理装置。
（７）
前記パラメータは、ポテンシャル法によって前記行動計画を行う場合に用いられるポテンシャルであり、
前記パラメータ設定部は、
前記速度ベクトルに基づく前記ポテンシャルの更新と前記加速度ベクトルに基づく前記ポテンシャルの更新とを、前記ポテンシャルを低下させるようにして行い、
前記躍度ベクトルに基づく前記ポテンシャルの更新を、前記ポテンシャルを増加させるようにして行う
前記（６）に記載の情報処理装置。
（８）
前記パラメータ設定部は、一定の範囲に存在する人の数が所定の数より少ない場合の前記人流データにより推定される移動中の人の認知状態に基づいて、前記パラメータの設定を行う
前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
前記パラメータ設定部は、前記速度ベクトル、前記加速度ベクトル、および前記躍度ベクトルのそれぞれに基づく前記パラメータの更新の程度を表す重みを、人が移動する空間の形状に基づいて設定する
前記（６）または（７）に記載の情報処理装置。
（１０）
前記パラメータ設定部は、移動中の人の特徴に応じた付加情報に基づいて、前記パラメータの更新の程度を調整する
前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）
前記パラメータ設定部は、人の特定の部位の３次元空間上における移動の軌跡とともに前記人流データに含まれる速度と加速度に基づいて人の認知状態を推定し、３次元空間を構成する各領域の前記パラメータを設定する
前記（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
移動中の人をセンサデータに基づいて検出し、前記人流データを生成する人流計測部をさらに備える
前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
前記パラメータが設定された領域の情報である地図情報に基づいて前記行動計画を行う行動計画部をさらに備える
前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
情報処理装置が、
人流データにより推定される移動中の人の認知状態に基づいて、移動体の行動計画に用いられる各領域のパラメータを設定する
情報処理方法。
（１５）
コンピュータに、
人流データにより推定される移動中の人の認知状態に基づいて、移動体の行動計画に用いられる各領域のパラメータを設定する
処理を実行させるためのプログラム。

【符号の説明】

【0150】

１－１乃至１－３ 移動ロボット， １１ 制御装置， ５１ 人流計測部， ５２ 人流データ記憶部， ５３ 進入禁止領域設定部， ５４ 進入禁止領域地図記憶部， １０１ 制御部， １０２ 移動部， １０３ カメラ， １０４ センサ， １０５ 通信部， １１１ 行動計画部， １１２ 移動制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】