【文献】
大野隆造、他2名,”実空間における準実験にによるキャリアーバッグ・ベビーカー利用者に対する周辺歩行者の回避行動計測”,日本建築学会技術報告集,日本,一般社団法人日本建築学会,2015年,21巻47号,p.265−268
【文献】
劉 建宏、他,”パーソナルスペースを用いた障害物を回避する歩行者の群集流動”,土木学会論文集D,日本,社団法人土木学会,2008年,64巻4号,p.513−524
【文献】
遠田敦、他4名,”ロボットに対する人間の回避距離”,日本建築学会計画系論文集,日本,日本建築学会,2006年,71巻601号,p.81−85
【文献】
中川智皓、他5名,”パーソナルスペースを用いたパーソナルモビリティ・ビークルと歩行者の親和性評価実験”,日本機械学会論文集C編,日本,社団法人日本機械学会,2010年,76巻770号,p.2493−2499
【文献】
依田光正、他,”人間同士のすれ違い行動における回避領域の実験的研究”,人間工学,日本,一般社団法人日本人間工学会,1999年,Vol.35,No.1,p.9−15
(58)【調査した分野】(Int.Cl.,DB名)
上記変化検出手段は、移動方向が変化した位置を中心として、移動速度と加速度に応じた所定区間内で、近接している移動物体間の相対的な位置の変化を検出する、請求項1記載のパーソナルスペース推定装置。
上記パーソナルスペース推定手段は、移動物体の移動方向前方を楕円形状、移動方向後方を円形状でそれぞれ近似してパーソナルスペースを推定する、請求項1記載のパーソナルスペース推定装置。
【発明を実施するための形態】
【0011】
以下、図面を参照して本発明の一実施形態について詳細に説明する。
図1は、本実施形態に係るパーソナルスペース推定システム全体の構成を示すものである。同図の略中央では、任意の場所、例えば○○駅の駅前広場に設置された監視カメラ網の環境下で、歩行する2名の人物を移動物体MOA,MOBとして、移動ロボットを移動物体MORとして認識している状態を例示している。
【0012】
上記各移動物体MOA,MOB,MORの移動方向を矢印により例示すると共に、それぞれの仮想的なパーソナルスペースを破線による範囲PSA,PSB,PSRで示している。
【0013】
上記監視カメラ網は、本実施形態では、監視カメラCM1,CM2,…、レーザ測距儀RF1,RF2,…を含むと共に、上記移動ロボットである移動物体MORが搭載する深度センサ等も上記監視カメラ網の一部を構成する。他方、一部の監視カメラやレーザ測距儀等のみで監視カメラ網を構成するものとしても良い。なお、より簡易的な構成としては、上記レーザ測距儀RF1,RF2,…、及び移動物体MORが用いる深度センサが、水平面に沿った一次元走査により、二次元深度情報を取得するような構成としても良い。
【0014】
レーザ測距儀RF1,RF2,…、及び移動物体MORが用いる深度センサは、例えばLIDAR(Laser Imaging Detection And Ranging)スキャナで構成され、走査範囲内の3次元深度情報を取得する。
【0015】
上記監視カメラ網で得られた検出結果である画像情報及び深度情報等は、インターネットを含むネットワークNWを介して、サーバで構成された解析エンジンSV1に送られる。
【0016】
この解析エンジンSV1はまた、同じくネットワークNWを介して、サーバで構成されたデータベースSV2と接続される。
【0017】
図2は、上記解析エンジンSV1の機能構成を示すブロック図である。同図で、ネットワークNWを介して上記監視カメラ網から取得した画像情報、深度情報等は、解析エンジンSV1内の通信部11により受信され、移動計測部12に送られる。
【0018】
移動計測部12は、1サンプリングタイミング前(例えば、解析エンジンSV1にその時点で設定されているサンプリング周波数が60[Hz]であれば1/60[秒]前)に監視カメラ網から受信して記憶した画像情報、深度情報と、今回受信した同情報とを比較することで、画像中の移動物体を検知し、その移動軌跡と移動速度とを推定し、推定結果を移動物体情報保持部15に保持させると共に、移動状況判定部13へ出力する。
【0019】
移動状況判定部13は、移動計測部12の推定結果を受けて、複数の移動物体に関する近接判定を行なうと共に、近接していると判定した複数の移動物体に関する移動方向の変化区間を検出し、検出結果をパーソナルスペース推定部14へ出力する。
【0020】
パーソナルスペース推定部14は、移動状況判定部13で検出した複数の移動物体のそれぞれの特徴量を抽出した上でパーソナルスペースを推定するための演算処理を実行し、得た移動物体毎のパーソナルスペース等の情報を、上記通信部11を介してデータベースSV2にアップロードする。
【0021】
移動物体情報保持部15は、多数の移動物体に関する情報を一定時間、例えば5秒間分保持する。
【0022】
なお、上記
図2で説明した、移動物体のパーソナルスペースを推定するための構成は、解析エンジンSV1のみならず、移動ロボットである移動物体MOR自体が保持するものとしてもよい。
【0023】
その場合、当該移動物体MORは、自身が備える深度センサ等による走査範囲内での他の移動物体の検知から相互のパーソナルスペースの推定までの処理を、必要に応じてネットワークNWを介して上記解析エンジンSV1、データベースSV2とのデータ通信を行ないながら実行しても良いし、当該移動物体MOR内に実装した処理回路により単体で実行するものとしても良い。
【0024】
次に上記実施形態の動作について説明する。
図3は、1サンプリングタイミング毎に、解析エンジンSV1、または移動ロボットでである移動物体MORで実行される処理内容を示すフローチャートである。以下は、説明を簡略化するために、解析エンジンSV1側で実行される処理として説明する。
【0025】
その当初に解析エンジンSV1では、サンプリングタイミングとなるのを待期する(ステップS101)。
【0026】
サンプリングタイミングとなったと判断した時点で(ステップS101のYes)、通信部11を介して、移動計測部12が監視カメラ群から現時点での画像情報、深度情報等を計測情報として受信し(ステップS102)、直前のサンプリングタイミングで受信した同情報との差分(背景差分等)情報により移動物体を検知し、検知した移動物体毎にID情報を付与する。
【0027】
ここで移動計測部12では、移動物体を少なくとも1つ検知できたか否かを判断する(ステップS103)。移動物体を1つも検知できなかったと判断した場合(ステップS103のNo)、解析エンジンSV1では以後の処理をキャンセルして、再び上記ステップS101からの処理に戻り、次のサンプリングタイミングとなるのを待期する。
【0028】
また上記ステップS103において、移動物体を少なくとも1つ検知できたと判断した場合(ステップS103のYes)、移動計測部12では検知できたN個(N:自然数)の移動物体毎に、移動物体としてのID情報を付与すると共に、移動物体情報保持部15に保持している、直前の過去の一定時間分(例えば5秒間分)の情報を読出して、それらの移動軌跡推定と移動速度推定とを実行する(ステップS104)。
【0029】
現在の時刻tにおける移動物体MOAの位置XAtは、前サンプリングタイミングt-1における位置XAt-1を用いて
XAt=XAt-1+VAt-1・Δt
(但し、VAt-1:1サンプリングタイミング前の時刻t-1における移動速度、
Δt:1サンプリングレート。)
で推定算出できる。
【0030】
また現在の時刻tにおける移動物体MOAの移動速度VAtは、
VAt=(XAt−XAt-1)/Δt
で推定算出できる。
【0031】
N個の移動物体に関する移動軌跡推定と移動速度推定とを行なった時点で、それらを各移動物体のIDに関連付けて移動物体情報保持部15に保持させるとともに、これらN個の移動物体の推定結果を移動状況判定部13に出力する。
【0032】
移動状況判定部13では、上記移動計測部12が算出した推定結果から、N個の移動物体間で近接するものがあるか否かを判定する(ステップS105)。
【0033】
図4は、移動物体MOAと移動物体MOBの各移動状態を例示する図である。同図では、移動物体MOAが矢印Daの方向に推定速度VAt=(XAt−XAt-1)/Δtで移動している。
【0034】
一方、移動物体MOBは、矢印Dbの方向に推定速度VBt=(XBt−XBt-1)/Δtで移動している。このとき、移動物体MOA,MOB間の距離は、|XAt−XBt|として得られるので、移動状況判定部13は、「|XAt−XBt|<σ」(σ:例えば2[m])が成り立つか否かにより、これら移動物体MOA,MOBが近接しているか否かを判定する。
【0035】
移動状況判定部13が上記移動計測部12から得たN個の移動物体すべてについて上述した近接判定処理を行なった結果、近接するものがなかったと判定した場合(ステップS105のNo)、解析エンジンSV1では以後の処理をキャンセルして、再び上記ステップS101からの処理に戻り、次のサンプリングタイミングとなるのを待期する。
【0036】
また上記ステップS105において、少なくともN′個(N′:2以上の自然数)の近接する移動物体があると判定した場合(ステップS105のYes)、移動状況判定部13ではさらに、それら近接すると判断した移動物体すべてに、予め、移動区間のデータが蓄積中であることを示す検知タグが付与されているか否かを判断する(ステップS106)。
予め当該検知タグが付与されていない移動物体があると判断した場合(ステップS106のNo)、まだ移動区間のデータの蓄積が十分ではないものとして、移動状況判定部13は、それらN′個の移動物体に関して、それぞれ移動方向の変化量を算出する(ステップS107)。
【0037】
ここで移動状況判定部13は、移動方向の変化量が閾値δよりも大きくなる移動物体、及びこの移動物体と近接していると判定された移動物体の組み合わせを検知する。
【0038】
例えば上記
図4に示したような移動物体MOA,MOBの組み合わせにおいて、移動物体MOAの移動方向について注目した場合、
|XAt−XAt-1|−|XAt-1−XAt-2|>δ
が成り立てば、移動物体MOAが移動方向を大きく変化させており、且つ移動物体MOAと近接判定された相手は移動物体MOBであるので、移動物体MOAと移動物体MOBとの組み合わせでその少なくとも一方に移動方向の変化区間があったものとして検知する。
【0039】
上記ステップS107での算出結果に基づいて、移動状況判定部13は、上記N′個の移動物体に関して、移動方向が大きく変化する区間があった移動物体が少なくとも1つあったか否かを判定する(ステップS108)。ここで、移動方向が大きく変化する区間があった移動物体が1つもなかったと判定した場合(ステップS108のNo)、解析エンジンSV1では以後の処理をキャンセルして、再び上記ステップS101からの処理に戻り、次のサンプリングタイミングとなるのを待期する。
【0040】
また上記ステップS108において、移動方向が大きく変化する区間があった移動物体が少なくとも1つあったと判定した場合(ステップS108のYes)、移動状況判定部13は、移動方向が大きく変化する区間があったと判定した移動物体の数N″、及びそのN″個の移動物体と近接判定された移動物体の数とを加算したM個の移動物体に関する情報を、移動物体情報保持部15へ保持させると共に、パーソナルスペース推定部14へ出力する。
【0041】
パーソナルスペース推定部14では、M個の移動物体に関して、それぞれ特徴量の抽出処理を実行する(ステップS109)。
【0042】
この特徴量抽出処理では、既存の画像認識技術、顔認識技術等により、移動物体の属性、すなわち人物である場合の性別、年齢層や、推定移動速度、当該空間の広さを表す空間属性等を抽出する。
【0043】
その後、パーソナルスペース推定部14は、M個の移動物体それぞれに対し、移動方向の変化区間を算出する(ステップS110)。上記ステップS106において、対象とするすべての移動物体に、移動区間のデータが蓄積中であることを示す検知タグが付与されていると判断した場合(ステップS106のYes)、及び上記ステップS110において、M個の移動物体それぞれに対して移動方向の変化区間を算出した場合、移動状況判定部13は、算出したM個分の移動方向の変化区間AVのデータ量が十分に蓄積されたかどうかを判定する(ステップS111)。ここでまだ、M個の移動物体それぞれの変化区間AVのデータが十分に蓄積されていない移動物体があると判断した場合(ステップS111のNo)、移動状況判定部13は、上記検知タグが付与されていないと判断した移動物体に対して新規の検知タグを付与する(ステップS114)。その後、解析エンジンSV1では以後の処理をキャンセルして、再び上記ステップS101からの処理に戻り、次のサンプリングタイミングとなるのを待期する。
そして、上記ステップS111において、M個の移動物体それぞれの変化区間AVのデータが十分に蓄積されたと判定した時点で(ステップS111のYes)、パーソナルスペース推定部14が、当該データ量が十分であると判定した移動物体のパーソナルスペースを推定する処理を実行する(ステップS112)。
【0044】
まず、移動ロボットである移動物体MORを含めてパーソナルスペースを推定する場合について説明する。例えば
図5に示すように、移動ロボットである移動物体MORと人物である移動物体MOAが位置しているものとする。
【0045】
パーソナルスペース推定部14は、移動方向の変化を検出した前後の区間を次式
α(Vt′,at′)+Y
(但し、t′:方向変化判定がなされた時刻、
Vt′:方向変化判定された移動物体の速度、
at′:方向変化判定された移動物体の加速度、
α,Y:任意定数。)
で定義して、移動ロボットである移動物体MORと人物の移動物体MOAとの相対位置データを取得する。上記式中の加速度at′は、速度Vt′と、直前のサンプリングタイミングで得た速度Vt-1′とにより「(Vt′−Vt-1′)/Δt」で求める。
【0046】
図6は、移動物体MORの位置を原点0とした局所座標系における移動物体MOAの相対軌跡LCAを例示する図である。同図中、パーソナルスペース推定部14は、移動方向の変化検出点TPを中心として、上記「α(Vt′,at′)+Y」に対応した区間AVにおける移動ロボットである移動物体MORと人物の移動物体MOAとの相対位置データから、各移動物体のパーソナルスペースを推定する。
なお、移動方向の変化検出点TP以降のデータが取得できなかった移動物体に関しては、パーソナルスペースの推定処理が実行できないため、上記ステップS112,S113の処理を実行せず、以降のサンプリングタイミングでは区間AVのデータ量を満たすまでは当該移動物体の相対軌跡を算出することとする。
【0047】
個々のパーソナルスペースにおいては、移動方向前方を、長軸の1/2がb、短軸の1/2がaとなる楕円とすると共に、移動方向後方は半径aの円として近似し、近接判定された区間AVにおいて、最急降下法等で、以下の式で示すように推定処理を実行する。
【0049】
図7は、上記式で算出したパーソナルスペースを例示する図である。移動ロボットである移動物体MORのパーソナルスペースPSRを、その移動方向前方を長軸b、短軸aの楕円、移動方向後方を半径aの円で近似している。
【0050】
一方、人物の移動物体MOAのパーソナルスペースPSAを、その移動方向前方を長軸の1/2がb′、短軸の1/2がa′となる楕円、移動方向後方を半径a′の円で近似している。
【0051】
上記パーソナルスペースの推定演算は、解析エンジンSV1で行なうものとして説明しているが、上述した如く移動ロボットである移動物体MOR自体が、自身の深度センサ等で所得した情報に基づいて実行しても良い。
【0052】
次に、いずれも人物である移動物体が近接する際のパーソナルスペースを推定する場合について説明する。
図8に示すように、2人の人物である移動物体MOA,MOBの移動環境を考える。
【0053】
実行する演算式自体は、上記移動ロボットである移動物体MORを含む場合と同様であり、パーソナルスペース推定部14が移動方向の変化を検出した前後の区間を定義して、2人の人物の移動物体MOA,MOBの相対位置データを取得する。
【0054】
パーソナルスペース推定部14は、取得した相対位置データから、各移動物体のパーソナルスペースを推定する。
【0055】
移動物体MOA,MOBそれぞれのパーソナルスペースPSA,PSBにおいて、移動方向前方を、長軸の1/2がb、短軸の1/2がaとなる楕円とすると共に、移動方向後方は半径aの円として近似し、近接判定された区間において、最急降下法等で、上記式(1)〜式(4)で示したように推定処理を実行する。
【0056】
図9は、上記式で算出したパーソナルスペースを例示する図である。人物である移動物体MOBのパーソナルスペースPSBを、その移動方向前方を長軸b、短軸aの楕円、移動方向後方を半径aの円で近似している。
【0057】
一方、人物の移動物体MOAのパーソナルスペースPSAを、その移動方向前方を長軸の1/2がb′、短軸の1/2がa′となる楕円、移動方向後方を半径a′の円で近似している。
【0058】
このように、複数M個の移動物体それぞれのパーソナルスペースを推定するための演算処理を実行したパーソナルスペース推定部14は、各移動物体毎のパーソナルスペースを示す情報(a,b)、上記近接判定区間AVにおける平均速度、上記ステップS109で算出した抽出した移動物体の特徴量の情報、時刻情報を、画像処理等により算出した位置情報や、別途GPSセンサ等で取得した位置情報と関連付けて、通信部11を介して上記データベースSV2にアップロードさせた上で(ステップS113)、以上でサンプリングタイミングに応じた一連の処理を終えたものとして、上記ステップS101からの処理に戻り、次のサンプリングタイミングとなるのを待期する。
【0059】
図10は、データベースSV2にアップロードされた各地のパーソナルスペースのデータを例示する図である。同図では、パーソナルスペースが推定された場所、曜日種別、時間帯、性別、年齢層、(移動)速度、‥‥、パーソナルスペース(a,b)を一組のデータとして、アップロードしたデータを蓄積するものとしている。
【0060】
以上詳述した如く本実施形態によれば、演算処理の負担をより少なくしながら、ロボットだけでなく、周囲の人が安心、安全に移動するためのロボット走行技術に必要となる、ロボットや人の必要なパーソナルスペースを確実に推定することが可能となる。
【0061】
なお上記実施形態では、
図6で示したように、移動物体の速度と加速度とに対応した近接判定区間AVにおける相対位置からパーソナルスペースを推定するものとしたので、演算処理の負担を軽減しながら、ロボットだけでなく、周囲の人が安心、安全に移動するためのロボット走行技術に必要となる、ロボットや人のパーソナルスペースをより正確に推定できる。
【0062】
また上記実施形態では、パーソナルスペースの形状を移動物体の進行方向前方を楕円形状、移動方向後方を円形状で近似しているため、必要な演算をより簡略化することができる。
【0063】
さらに上記実施形態では、各地で推定されたパーソナルスペースの情報をその移動物体の特徴量を示す情報と共に上位の外部装置にアップロードするものとしたので、推定したパーソナルスペースの情報を統計的により有効に活用できる。
【0064】
なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。