(58)【調査した分野】(Int.Cl.,DB名)
前記高さ取得工程によって前記物体の高さが複数取得された場合に、最大値を前記物体の高さであると判定する高さ判定工程をさらに含むことを特徴とする請求項1に記載の物体認識方法。
前記状態判定工程では、前記共通スポットの形状に基づいて、検出した物体が複数人の人間であるか一人の人間であるかを判定することを特徴とする請求項1から請求項6のいずれか1項に記載の物体認識方法。
前記データ処理部は、前記第1スポット及び前記第2スポットが前記第1センサ及び前記第2センサを結ぶ直線方向に隣り合って存在する場合には、前記共通スポットに近いいずれか一方を前記共通スポットに変換することを特徴とする請求項10又は請求項11に記載の物体認識装置。
前記状態判定部は、前記共通スポットの形状及び過去の状態判定結果に基づいて、検出した物体が複数人の人間であるか一人の人間であるかを判定することを特徴とする請求項10から請求項14のいずれか1項に記載の物体認識装置。
【発明を実施するための形態】
【0034】
以下、添付図面を参照しながら、本発明に係る物体認識方法及び物体認識装置の好適な実施例について詳細に説明する。本発明は、屋内外を問わず様々な環境を検出対象領域とすることができる。そして検出対象領域を移動する人や動物を含む様々な対象の状態を認識して監視に利用することができる。本実施形態では、施設等の屋内通路を検出対象領域とし、この通路を移動する歩行者や車椅子の利用者を監視する場合を例に説明する。
【0035】
図1は、本実施の形態に係る物体認識装置1の概略構成を示すブロック図である。物体認識装置1は、第1センサ101と、第2センサ102と、これらの2つのセンサ101及び102を利用する認識処理部10とによって構成される。
【0036】
まず、第1センサ101及び第2センサ102について説明する。これら2つのセンサ101及び102は同一のセンサである。以下では第1センサ101について詳細を説明し、第2センサ102についての説明を省略する。なお
図1では、第2センサ102に含まれる第1センサ101と同じ構成部には同じ符号を付している。
【0037】
第1センサ101は、赤外線を投光する投光部110と、投光部110から投光されて検出対象物によって反射された赤外線を受光する受光部120と、投光部110及び受光部120の動作を制御する投受光回路130とを有している。
【0038】
投光部110は、例えば所定周波数の赤外線のパルス波を、複数の検出領域の各々に向けて投光する機能を有する。具体的には、例えば通路の床面を検出対象領域として、この検出対象領域が複数の検出領域に区分けされる。そして各検出領域に向けて、投光部110から赤外線が投光される。投光された赤外線は、各検出領域である床面、又は床上に存在する物体によって反射される。反射された赤外線は、投光部110と同期して動作する受光部120によって受光される。なお以下では、検出対象領域を複数に区分けした各検出領域を「検出ブロック領域」と記載する。
【0039】
投受光回路130は、投光部110及び受光部120の動作を制御する。投受光回路130は、予め行われる初期化動作によって、検出対象領域内に物体が存在しない場合の、受光部120による検出データを基準データとして記憶している。即ち基準データとは、投光部110から投光された赤外線が床面で反射されて受光部120によって検出されたデータである。初期化時には存在しなかった新たな物体が床面に現れると反射される赤外線の受光量が変化する。このため、投受光回路130は、検出データと、基準データとを比較することによって、検出した各検出ブロック領域に物体があるか否かを検出することができる。投受光回路130は、こうして検出した各検出ブロック領域における物体の有無を示すデータを認識処理部10へ出力する。
【0040】
ビデオカメラ等の撮像装置を利用した場合には、例えば数十万画素以上の解像度で、数ビット以上の階調で計測を行うことにより、通路を通過する人の行動や姿形を認識できる高精度な画像データが得られる。これに対し、第1センサ101によって得られるのは、通路床面を、例えば数十個から百個程度に区分けした縦横数百mmの各検出ブロック領域における物体の有無を示すデータのみである。即ち物体認識装置1で検出されるデータは画像データに比べて極端に解像度が低い。
【0041】
このため、第1センサ101を利用した計測では、検出対象領域である通路を人が通過しても、その人の動作の詳細や姿形を認識することはできずプライバシーの問題が生じない。またビデオカメラのような複雑な構造や高精度な計測が不要であるため、センサの製造及び運用に係るコストが低い。即ち安価なセンサを利用できるという利点がある。
【0042】
第1センサ101及び第2センサ102としては、例えば、エレベータの扉や自動ドアの開閉を制御するために人を検知するレーザセンサや赤外線センサ等の市販のセンサを利用することができる。このようなセンサの具体的な構成及び動作は、例えば特開平9−352194、特開平11−166979号公報、特公平8−33445号公報に開示されている。
【0043】
以下では、第1センサ101及び第2センサ102として、6行12列合計72個の各検出ブロック領域における物体の有無を検出可能な赤外線センサを利用するものとして説明を続ける。
【0044】
図2は、本実施形態における検出対象領域である通路200に第1センサ101及び第2センサ102を設置したときの状態を示す説明図である。
図2(A)は、通路200を上(天井側)から見たときの上面図を示し、
図2(B)は
図2(A)に示す矢印300の方向から通路200を見たときの側面図を示している。
【0045】
図2に示すように、第1センサ101及び第2センサ102は、対向する形で、通路200を形成する天井201、又は壁面(202及び203)に同じ高さで固定して設置される。そして、投光部110及び受光部120によって、
図2(A)に破線で示した各検出ブロック領域(A1からA72)における物体の有無を検出できるように、その位置が調整して設置される。即ち第1センサ101及び第2センサ102の2つのセンサは、各々が同じ領域(A1からA72)へ上方からセンサ光を投光して、各領域の物体の有無を検出できるように調整して設置される。なお以下では、特定の検出ブロックを指す場合を除いて、検出ブロック領域の番号をnと表して検出ブロック領域を「An」と記載する。
【0046】
図2では、検出対象領域20が矩形の場合を示しているが、本発明がこれに限定されるものではなく、例えば円形又は楕円形の床面形状を有するホールの場合や、建物形状によっては床面形状がいびつな形状である場合もある。このとき、床面全体を検出対象領域としたい場合には、その床面形状に外接する矩形形状を想定して、矩形を形成する対向する辺の中心線上で、各辺上又はその近傍に第1センサ101及び第2センサを対向するように設置すればよい。また床面の周辺部はほとんど使用せず検出対象領域に含める必要がないような場合には、床面形状に内接する矩形形状を想定して、同様に、対向する辺の中心線上で、各辺上又はその近傍に第1センサ101及び第2センサ102を設置すればよい。検出対象領域20を上方から計測するように設置された第1センサ101及び第2センサ102は、
図1に示すように、認識処理部10と有線又は無線で接続されている。
【0047】
図2に示すように、本実施例では、第1センサ101及び第2センサ102のY方向の距離Ws=1450mm、通路200の床面からの設置高さHs=2500mmである。各検出ブロック領域Anの大きさは、X方向の長さLb=275mm、Y方向の幅Wb=340mmである。これにより検出対象領域20の大きさは、通路200の床面上において72個の検出ブロック領域Anによって形成されるX方向の長さLa=3300mm、Y方向の幅Wa=2040mmの矩形領域となる。ただし、ここで示した第1センサ101及び第2センサ102と検出ブロック領域Anに係る各数値は、以下で具体的な説明を行うための例示であって、本発明がこれに限定されるものではない。
【0048】
ここで、検出ブロック領域Anとは、
図2(A)に示すように、通路200の床面上で、第1センサ101(又は第2センサ102)による1回の測定で物体の有無を検出可能な検出領域を示している。本実施例では、同図に示すように、第1センサ101側の検出ブロック領域A1から、X方向へA2、A3と続く6行12列の合計72個の検出ブロック領域によって検出対象領域20が形成される。第1センサ101及び第2センサ102は、この検出ブロック領域Anを、順に走査して各領域における物体の有無を検出する。センサによって各検出ブロック領域Anを計測する方法として、領域の数に合わせて設けられた72個の投光部110と、これに対応して設けられた72個の受光部120とを順に動作させることによって各検出ブロック領域Anを計測する方法がある。または、例えば6個の投光部110と、これに対応して設けられた6個の受光部120をアクチュエータ等によって動かして、各検出ブロック領域Anを1列毎に順に検出してもよい。
【0049】
なお、各検出ブロック領域Anを順に検出するのではなく、全ての検出ブロック領域Anを同時に検出してもよい。この場合には、各検出ブロック領域An毎に投光部110及び受光部120を設けて、投光部110とこれに対応する受光部120では同じ波長の光を利用するとともに、異なる検出ブロック領域Anを検出する投光部110及び受光部120では異なる波長の光を利用して検出を行えばよい。利用する光としては、赤外線やレーザ光の他、超音波等を利用することもできる。
【0050】
上述した通り、第1センサ101及び第2センサ102には、市販のセンサを利用することができる。例えば、1回の計測を約100mSec程度の間に行って全ての検出ブロック領域Anにおける物体の有無をセンサデータとして出力するとともに、この計測を連続して行うことができれば、センサの構造及び動作は特に限定されない。
【0051】
次に、認識処理部10について説明する。認識処理部10は、第1センサ101及び第2センサ102を制御するセンサ制御部11と、センサ制御部11から受けた第1センサ101及び第2センサ102のセンサデータを処理するデータ処理部12と、各種データや設定を記憶する記憶部13と、各種データに基づいて物体の状態を判定する状態判定部14と、状態判定部14による判定結果等の情報を表示する表示部15とを有している。
【0052】
なお、
図1のブロック図に示した認識処理部10に関し、記憶部13と表示部15を除く各部は、例えば、CPU、当該CPUにより実行されるソフトウェアプログラム、及び当該ソフトウェアプログラムを実行するCPUによって制御される各種ハードウェア等によって構成されている。各部の動作に必要なソフトウェアプログラムやデータの保存にはRAMやROM等のメモリやハードディスク等から構成される記憶部13が利用され、各種のデータや結果の表示には液晶ディスプレイ等の汎用の表示装置から構成される表示部15が利用される。
【0053】
センサ制御部11は、第1センサ101及び第2センサ102を制御するとともに、第1センサ101及び第2センサ102から出力されるセンサデータを受信して、データ処理部12に送信する機能を有する。
【0054】
センサ制御部11は、第1センサ101及び第2センサ102によって、
図2(A)に示す検出ブロック領域Anの1つを所定のタイミングで計測するように、これらのセンサを制御する。具体的には、
図2に示すように設置された第1センサ101及び第2センサ102を同期して動作させるとともに、第1センサ101及び第2センサ102による投光及び受光のタイミングが重ならないように制御する。また、例えば同一クロック数で動作する第1センサ101及び第2センサ102の動作クロックを同期させた上で、各センサからの投光及び受光の動作が異なるタイミングで行われるように制御する。なお、第1センサ101及び第2センサ102とセンサ制御部11との間は、例えば公知のシリアル通信を利用して有線又は無線で接続されている。
【0055】
また、センサ制御部11は、第1センサ101が、検出ブロック領域A1,A2,A3と順に、各領域を走査しながら計測する場合には、第2センサ102も同じ順でA1,A2,A3と順に計測するように投光部110及び受光部120の動作を制御する。即ち第1センサ101と第2センサ102が同じ検出ブロック領域Anを計測するように制御する。例えば、第1センサ101と第2センサ102は、数mSecから数十mSecずれたタイミングで同じ検出ブロック領域Anを計測する。しかし、検出対象となる人等の移動速度と比較すれば検出タイミングのずれは小さく、物体認識装置1では、2つのセンサ101及び102によって略同時に同じ領域にある物体の有無を検出することができる。
【0056】
データ処理部12は、センサ制御部11から受信した第1センサ101及び第2センサ102によるセンサデータから、状態判定部14による各種の判定処理を行うための検出データを生成する機能を有する。第1センサ101及び第2センサ102は、検出対象領域20の検出を繰り返して、例えば約100mSec毎に、全ての検出ブロック領域Anにおける物体の検出結果をセンサデータとして出力する。データ処理部12は、得られたセンサデータを検知ブロック領域An毎に加工処理して、加工データ13Aとして記憶部13内に保存する。1つの加工データ13には72個全ての検知ブロック領域Anのデータが含まれている。検出を行う間、順次記憶部13に保存される加工データ13Aは、記憶部13内で時系列で管理される。すなわち今回の加工データと過去の加工データとを記憶する。
【0057】
以下、
図3及び
図4を参照しながら、データ処理部12による処理の詳細について説明する。
図3は、データ処理部12によるデータ処理の流れを示すフローチャートである。また
図4は、データ処理部12によるデータ処理の例を示す説明図である。
【0058】
第1センサ101及び第2センサ102から得られるセンサデータは、
図2(A)に示した各検出ブロック領域An内における物体の有無を示している。このセンサデータを受信したデータ処理部12は、まず、第1センサ101及び第2センサ102による各センサデータと、検出ブロック領域Anとの関係を認識して、ORスポット及びANDスポットを作成加工する(
図3ステップS1)。
【0059】
ここで、「ORスポット」及び「ANDスポット」とは、その領域内に物体が存在することを示すセンサデータを得た検出ブロック領域Anを示している。ORスポットとは、第1センサ101又は第2センサ102のいずれか一方のセンサのみによって物体が存在することを検出した検出ブロック領域Anを示す。またANDスポット(共通スポット)とは、第1センサ101及び第2センサ102の両方のセンサによって物体が存在することを検出した検出ブロック領域Anを示す。なお以下では、ORスポットに関し、第1センサ101によって物体を検出したORスポット(第1スポット)と、第2センサ102によって物体を検出したORスポット(第2スポット)とを区別する場合には、「第1ORスポット」又は「第2ORスポット」と記載する。また第1ORスポット及び第2ORスポットの両方を含む場合には、単に「ORスポット」と記載する。
【0060】
図4に示すように、表示部15にORスポットを表示する際には、第1センサ101による第1ORスポット(図中の28、40、41及び42)と、第2センサ102による第2ORスポット(図中の16及び29)とが区別できるように表示される。例えば、表示部15上で、各検出ブロック領域Anを示す番号と共に、これを囲う領域境界又は領域内の色や形状等によって、そのORスポットが、第1センサ101又は第2センサ102のどちらのセンサによって検出されたデータであるかを認識できるように表示される。またORスポットとANDスポットについても、これらを区別できるように表示される。
図4以降の図では、ORスポットを円形領域、ANDスポットを矩形領域で表して区別するとともに、第1ORスポットと、第2ORスポットを、円形領域内の塗り模様によって区別して表す。
【0061】
以下では、検出された検出ブロック領域Anに係る情報を付加して、第1ORスポットを「OR1−An」と記載し、第2ORスポットを「OR2−An」と記載する。また同様にANDスポットを「AND−An」と記載する。例えば、
図4(A)に示すように第2センサ102によって物体が検出された第2ORスポットである検出ブロック領域A16を「OR2−A16」と記載し、検出ブロック領域A30で第1センサ101及び第2センサ102の両方で物体が検出されたANDスポットである検出ブロック領域A30を「AND−A30」と記載する。
【0062】
次に、データ処理部12は、第1センサ101によって検出された第1ORスポットと第2センサによって検出された第2ORスポットがY方向に隣り合って存在するか否かを判定する(ステップS2)。
【0063】
例えば、
図4(A)に示す変換前の状態では、第1センサ101によって検出されたOR1−A28と、第2センサ102によって検出されたOR2−A16がY方向に隣り合って存在している。また第1ORスポットOR1−A41と、第2ORスポットOR2−A29もY方向に隣り合って存在している。このときOR1−A28とOR1−A40は、Y方向に隣り合って存在するが、両方とも第1センサ101による検出結果であるため対象外であると判定される。
【0064】
次に、隣り合う第1ORスポット及び第2ORスポットが存在する場合には(
図3ステップS2;YES)、一方のORスポットのみをANDスポットに変換する(ステップS3)。このとき、ORスポットの周囲にあるANDスポットの状態を考慮して、ANDスポットへ変換するORスポットが選択される。
【0065】
具体的には、ANDスポットに変換するORスポットを、周囲のANDスポットと連続するように、又はANDスポットが集中して存在するように選択する。例えば、
図4(A)に示すOR2−A16とOR1−A28では、既に存在しているAND−A30に近いOR1−A28が選択される。そしてOR1−A28はANDスポットに変換されてAND−A28となる。
【0066】
また、
図4(A)に示すように、OR2−A29とOR1−A41では、AND−A30とORスポットからANDスポットに変換されたAND−A28との存在を考慮して、OR2−A29をANDスポットに変換する。なおANDスポットが無い場合には、記憶部13内に時系列で保存管理されている直前又は過去の加工データ13Aを参照して、この加工データ13AにあるANDスポットを考慮して同様の処理を行ってもよい。
【0067】
上述したように、第1センサ101及び第2センサ102は、略同じタイミングで、同じ検出ブロック領域Anの検出を行うため、その検出ブロック領域Anに物体が存在すれば、検出結果はANDスポットAND−Anとなる。このためANDスポットの存在によって、検出された物体の位置を認識することができる。しかし、物体が、隣り合う検出ブロック領域Anの境界付近に位置する場合には、いずれか一方のセンサ101又は102によって物体の存在が検出されない場合がある。その他、例えば、車椅子の車輪のスポーク等、検出される物体の材質や形状等が計測光の反射に影響することによっても同様に物体の存在が正しく検出されない場合がある。このような場合には、ANDスポットが存在しないことになるが、実際にはその位置に物体が存在している。上記処理は、ORスポットに係る検出結果から物体が存在する位置を判定してORスポットをANDスポットに変換するものである。
【0068】
判定(
図3ステップS2)の結果、隣り合う第1ORスポット及び第2ORスポットが存在しない場合には、ステップS3は省略されて(ステップS2;No)、ステップS4の判定がなされる。
【0069】
次に、ANDスポットが存在するか否かが判定される(
図3ステップS4)。ANDスポットは、計測当初からのANDスポットであってもよいし、上記処理(ステップS3)によってORスポットから変換されたANDスポットであってもよい。判定の結果、ANDスポットが存在すれば(ステップS4;YES)、データ処理部12は処理を終了する。ANDスポットが全く存在しない場合には(ステップS4;NO)、同じX座標上でY方向に、距離が2となる第1ORスポット及び第2ORスポットが存在するか否かを判定する(ステップS5)。
【0070】
ここで、「距離」とは、検出ブロック領域AnのX方向又はY方向の間隔を示し、例えば検出ブロック領域A16とA28とのY方向の距離は1、検出ブロック領域40とA42とのX方向の距離は2となる。
【0071】
例えば、
図4(B)に示す変換前の状態では、ANDスポットが存在せず、かつ、第1センサ101によって検出されたOR1−A41と、第2センサ102によって検出されたOR2−A17とが同じX座標上でY方向に距離2の状態で存在している。OR2−A18とOR2−A42も同じく距離2の状態で存在するが、両方とも第2センサ102による検出結果であるため対象外であると判定される。
【0072】
次に、条件を満たす第1ORスポット及び第2ORスポットが存在する場合には(
図3ステップS5;YES)、これらのORスポットの間にある検出ブロック領域AnをANDスポットとする(ステップS6)。
図4(B)に示すOR2−A17とOR1−A41では、検出ブロック領域A17と検出ブロックA41との間にある検出ブロックA29に、ANDスポットAND−A29が作成される。
【0073】
なお、表示部15にANDスポットを表示する際には、
図4(A)に示すように、第1センサ101及び第2センサ102によって検出されたANDスポット(AND−A30)と、上述した変換処理(ステップS3)によってORスポットを変換して作成されたANDスポット(AND−A28及びAND−A29)とは、区別できるように表示される。例えば、表示部15上で、各検出ブロック領域Anを示す番号と共に、これを囲う領域境界又は領域内の色や形状等よって両者を区別できるように表示される。
図4以降の図では、これら2種類のANDスポットを矩形領域内の塗り模様によって区別して表す。
【0074】
判定(
図3ステップS5)の結果、条件を満たす第1ORスポット及び第2ORスポットが存在しない場合(ステップS5;NO)には、ステップS6は省略されて、処理を終了する。データ処理部12による上述した処理(ステップS1からS6)によって生成された加工データ13Aは、記憶部13内に保存される。
【0075】
図1に示す記憶部13は、メモリやハードディスク等の記憶装置である。記憶部13内には、認識処理部10を構成する各構成部の機能及び動作を実現するために必要なプログラムやデータが記憶される。また記憶部13では、加工データ13Aに加えて、この加工データ13Aに基づいて判定された、高さ、位置、速度等の各判定結果と、これらに基づいて判定された物体の状態とを含む情報が、物体状態判定結果13C及び過去の判定データ13Dに保存される。また各判定を行う際に利用される判定式13Bも記憶されている。これらについての詳細は後述する。
【0076】
状態判定部14は、スポット形状判定部14A、高さ判定部14B、位置判定部14C、速度判定部14D、及びデータ参照部14Eを含み、データ処理部12によって生成された加工データ13Aに基づいて検出対象である物体の状態を判定する機能を有する。
【0077】
スポット形状判定部14Aは、データ処理部12によって加工生成された加工データ13Aに含まれるORスポット及びANDスポットの形状に関する判定を行う機能を有する。具体的には、例えば、ORスポット及びANDスポット、ORスポットのみ、又はANDスポットのみが隣接して5個以上存在する場合に、スポット形状判定部14Aは、これらを1つの「島」であると判定する。例えば
図5(A)に示す例では、検出対象領域20上で、離れた位置に2つの島30及び31が存在すると判定する。この判定結果に基づいて、状態判定部14は、複数の物体が存在すると判定することができる。スポット形状判定部14Aは、その他、加工データ13Aに基づいて、各島30及び31を形成するANDスポットの数、ORスポットの数、及びANDスポット間の距離の最大値等を判定する。判定は、記憶部13に記憶された判定式13Bに含まれる各項目に基づいて行われ、物体状態判定結果13Cとして記憶される。これらについての詳細は後述する。
【0078】
高さ判定部14Bは、加工データ13Aに基づいて物体の高さを判定する機能を有する。加工データ13Aにおいて、物体が存在する位置はANDスポットによって表されている。そしてANDスポットの周囲にできる各ORスポットは、第1センサ101又は第2センサ102から投光された赤外線が、ANDスポットに存在する物体によって遮られた影に相当する。
【0079】
具体的には、
図5(A)に示す島30は、ANDスポットであるAND−A28、AND−A29及びAND−A30の位置に物体が存在することを示している。そして第1ORスポット(OR1−A40、OR1−A41、OR1−A51、OR1−A52、OR1−A62、及びOR1−A63)は、第1センサ101から投光された赤外線の影ができる位置を示している。また第2ORスポット(OR2−A3、OR2−A15及びOR2−A16)は、第2センサ102から投光された赤外線の影ができる位置を示している。
【0080】
例えば、検出ブロック領域A29に物体が存在し、
図5(B)に示すように、検出対象領域20において、ANDスポットであるAND−A29と、第1ORスポットであるOR1−A40、OR1−A51及びOR1−A62が得られたとする。
図5(C)は、
図5(B)を、通路200に立って方向300から見た場合の状態を示している。各検出ブロック領域Anにおける物体を検出するため、高さH1の位置に設置された第1センサ101から各検出ブロック領域Anに向けて赤外線が投光される。このとき検出ブロック領域A29に高さH2の物体が存在すると、この物体によって赤外線が遮られて、
図5(C)に示すように影160となる領域ができる。検出ブロック領域A40、A51及びA62では、検出ブロック領域A29に存在する物体の影160となるために、第1ORスポットが検出される。即ち
図5(C)で検出されるOR1−A40、OR1−A51及びOR1−A62は、AND−A29として検出された物体の影である。
【0081】
高さ判定部14Bは、
図5(B)に示す第1センサ101とAND−A29との位置関係、即ち同図に示すL2及びW2に基づいて第1センサ101からAND−A29までの距離D1を算出する。同様に、第1センサ101とOR1−A62との位置関係、即ち同図に示すL1及びW1に基づいて第1センサ101からOR1−A62までの距離D2を算出する。そして、
図5(C)に示す位置関係から、先に算出したD1及びD2と、第1センサ101の設置された高さH1とに基づいて、ANDスポットAND−A29にある物体の高さH2を三角関数を用いて算出する。
【0082】
図5(C)の例において、高さ判定部14Bは、AND−A29にある物体の高さがH2より低い場合には、その高さを取得することができるが、高い場合にはその高さを取得することはできず高さがH2以上であるとの判定のみを行うこととなる。
図5から分かるように、物体認識装置1によって検出可能な物体の最大高さは、検出ブロック領域Anと、センサ101又は102との位置関係によって決定される。物体認識装置1は、検出対象領域20に対して
図2に示したように設置される際に、検出対象となる物体の高さや、検出したい物体の状態に応じて、判定処理に必要となる物体の高さが検出できるように調整して設置されている。
【0083】
具体的には、例えば、通路200を通過する歩行者と、車椅子に乗って移動する人とを区別して検出したい場合には、検出対象領域20において両者の区別に必要な高さが検出できるように第1センサ101及び第2センサ102が設置される。
図2に示す設置例では、取得できる高さが最も低くなる位置でも、高さ約1400mmを検出可能となっている。車椅子に乗って移動する人の高さが1400mmを超えることはないことから、このように設定されている。これにより高さを数値として取得することができず、高さが1400mmより高いとの判定しかできない場合でも、歩行者であると判定することができる。検出できる高さはセンサの設置位置によって変更することができるので、例えば、検出対象が子供である場合には、より低い高さを検出できるように第1センサ101及び第2センサ102の設置高さHsを調整すればよい。
【0084】
また、高さ判定部14Bは、一部のORスポットについてのみ高さを取得するように設定されている。ANDスポットに対して、どの検出ブロック領域AnのORスポットで高さを取得するかについては、予め設定された設定内容が記憶部13に記憶されている。具体的には、例えば検出結果にANDスポットが1個しか存在せず、その位置が
図6(A)に示すように検出ブロック領域A29である場合には、検出ブロック領域A38及びA39と、A50からA53と、A62からA65に第1センサ101による第1ORスポットがある場合に、各第1ORスポットについて物体の高さを取得するよう設定されている。また高さ判定部14Bは、検出結果にANDスポットが2個以上含まれ、そのうちの1個の位置が検出ブロック領域A29である場合には、
図6(B)に示すように、検出ブロック領域A50及びA51と、A62からA64に第1センサ101による第1ORスポットがある場合に物体の高さを取得するよう設定されている。このように、各検出ブロック領域AnにANDスポットがある場合に、その位置と、検出データ全体に含まれるANDスポットの数とに基づいて、高さを取得すべきORスポットの位置が記憶部13に設定記憶されている。高さ判定部14Bは、この設定に従って一部のORスポットのみについてANDスポットにある物体の高さを取得する。
【0085】
なお、物体の高さを取得する方法に関し、取得方法を説明するために各スポットの位置等に基づいて高さを算出する具体的な方法を示したが、本発明がこれに限定されるものではない。例えば、上述した方法で予め算出した高さを、テーブルとして記憶部13に記憶し、このテーブルを参照して高さに係る数値データを取得してもよい。センサ101及び102と、検出ブロック領域Anとは位置が固定されているので、上述した各条件に基づいて予め高さを取得することができる。
【0086】
具体的には、例えば、
図6(C)に示すように、検出されたANDスポットの位置と、このANDスポットに対して高さを取得するORスポットと、このORスポットが検出された場合の高さの算出値とを関連付けて記憶部13に記憶しておく。加工データ13Aにおいて、ANDスポットが1個しか検出されず、そのANDスポットがAND−A29であった場合には、高さ判定部14Bは、同図(C)に示す記憶部13内のテーブルを参照して、高さを取得するORスポットが同図(A)のように設定されていることを認識する。そして、高さ判定部14Bは、加工データ13Aにおいて、同図(A)に示した第1ORスポットが検出されている場合には、同図(C)に示すテーブルから、検出された第1ORスポットに対応する高さの算出値を取得する。例えば、検出ブロック領域A38に第1ORスポットが検出されている場合には、ANDスポットAND−A29で検出された物体の高さは、同図(C)のテーブルから1377mmとされる。このように、物体の高さは、処理時に算出してもよいし、処理前に算出して記憶したデータを取得して利用してもよい。
【0087】
なお、ANDスポットが1個である場合と複数個である場合とで、高さを取得するORスポットを変更するのは、ANDスポットが複数個である場合には1個である場合に比べて、検出結果に含まれる誤差が大きい可能性が高いからである。またANDスポットに対して高さを取得するORスポットの位置を限定するのは、他にANDスポットが存在する場合に、この影響を防ぐためである。
【0088】
また、第1センサ101及び第2センサ102と、ANDスポットとの関係から高さを取得する位置が限定される。具体的には、
図7(A)に示した第1センサ101及び第2センサ102と、検出ブロック領域A29にある物体との位置関係から分かるように、ANDスポットAND−A29にある物体の高さは、ANDスポットに近い方のセンサ101によってできた第1ORスポットOR1−A64に基づいて取得できる。このため、ANDスポットAND−A29にある物体の高さを取得する場合には、その物体に近い方のセンサである第1センサ101によってできた第1ORスポットのみについて高さを取得すればよい。
【0089】
さらに物体認識装置1が検出対象とする物体によって高さを取得するORスポットが限定される場合もある。具体的には、物体認識装置1の利用目的が、通路を通過する歩行者と、車椅子と、倒れた人とを認識することである場合には、例えば車椅子の高さ以上の高さのみを取得するように設定すればよい。すなわち車椅子の高さより低くなる検出ブロック領域Anでは、そこにORスポットができても高さを取得しないように設定する。このように高さを取得するORスポットを限定しても、取得された高さから車椅子であるか、立位の状態にある人であるかを認識することができる。また物体が存在することを検出しながら高さの取得が行われなかった場合には、車椅子の高さより低いものと判定されたことから、人が倒れた状態にあると判定することができる。
【0090】
なお、
図6(A)及び(B)では、説明を簡単にするために、第1センサ101の左半分の領域のみを示したが、実際には右半分の領域にも同様に高さの取得対象となるORスポットの位置が設定されている。また第2センサ102についても同様に高さの取得対象となるORスポットが設定されている。また
図6(A)及び(B)では、検出ブロック領域A29を例に説明したが、実際には同図(D)に示すように、検出ブロック領域A4及びA64を含む列から、A9及びA69を含む列に至る矩形領域140に含まれる36個の各検出ブロック領域にANDスポットがある場合について、高さ取得の対象となるORスポットが設定されている。
【0091】
また、高さを取得するANDスポットの位置を、
図6(D)の領域140内のANDスポットのみに限定する。これは、センサ101及び102の設置された位置から離れるほどセンサによる検出精度が低下することと、
図5(C)に示した位置関係から分かるようにセンサから離れた位置にある物体では影160が検出対象領域20を越えてその外側に至るため検出対象領域20内のデータを利用しても正確な高さが取得できないことを理由とする。このため、高い精度で高さを取得することが可能な矩形領域140のみを対象とし、この領域内にANDスポットが位置する場合にのみ高さを取得するものである。なお、このように高さを取得する領域を限定しても、検出対象が
図6(D)に示す通路200を移動する物体であることから、右側から左側へ(方向300)、又は左側から右側へ移動する物体が矩形領域140を通過する際に、その高さを取得することができる。
【0092】
また、高さ判定部14Bは、検出結果にANDスポットが複数個存在する場合には、所定条件を満たす場合にのみ、設定されたORスポットの各々について高さの取得を行う。例えば、複数のANDスポットが検出され、そのうちの1つが
図6(B)に示すようにAND−A29である場合に、検出ブロック領域A64に第1ORスポットOR1−A64が存在すれば、この位置で高さを取得するように設定されている。しかし、このとき
図7(B)に示すように、第1センサ101から検出ブロック領域A64に向けて投光された赤外線が遮られる領域141を設定して、少なくとも一部がこの領域141に含まれるANDスポットが存在する場合には、OR1−A64における高さの取得は行わない。具体的には、
図7(B)の例の場合には、検出ブロック領域A40、A41、A52及びA53にANDスポットが存在する場合には、所定条件を満たさないものとしてOR1−A64における高さの取得は行わない。高さ取得の対象となる他のORスポットについても同様に判定がなされ、AND−A29との間に他のANDスポットが存在する場合には、高さの取得は行わない。
【0093】
ANDスポットと、このANDスポットに対して高さを取得するように設定されたORスポットとの間に、他のANDスポットが存在する場合に高さを取得しない理由は、第1センサ101から投光された赤外線の方向に、2つのANDスポットが存在する場合には、検出結果が正確ではない可能性があるからである。第1センサ101から投光された赤外線が、
図7(A)に示すように、検出ブロック領域A29にある物体を検出した場合には、同図に示すように、第2センサ102から投光される赤外線の影161は、検出ブロック領域A29から第1センサ101側にできる。すなわち第2センサ102から検出ブロック領域A41、A53及び64に至る赤外線が、検出ブロック領域A29に存在する物体によって遮られて第2ORスポットが検出されることはない。この状況下で検出ブロック領域A41やA53等の位置にANDスポットが存在する場合には、上述したように、検出対象が検出ブロック領域の境界付近に存在したとか、検出対象となった物体の形状が車椅子の車輪であったこと等を原因として、正確な計測がなされなかった可能性がある。よって、このような場合には高さの取得を行わないこととするものである。
【0094】
このように、物体の位置を示すANDスポットに対して、高さを取得すべきORスポットを予め設定しておけば、他のORスポットについては高さを取得する処理が不要となるため、全体の処理量や処理時間を低減することができる。ただし本発明がこれに限定されるものではなく、検出結果に含まれる全てのORスポットについて高さを取得してもよいし、
図6(D)に示す領域140外にANDスポットがある場合にも高さを取得しても構わない。
【0095】
位置判定部14Cは、ORスポット及びANDスポットを含む島の重心の位置を算出する機能を有する。
図5(A)に示すように、複数の島30及び31が存在する場合には、各島の重心を算出する。重心の位置は、検出対象領域20をXY平面で表した場合のXY座標として算出される。
【0096】
速度判定部14Dは、検出対象である物体の移動速度を算出する機能を有する。第1センサ101及び第2センサ102から連続して出力されるセンサデータに基づいて、順次、データ処理部12によってORスポット及びANDスポットが生成され、位置判定部14Cによって重心の位置が算出される。速度判定部14Dは、計測が進むにつれて移動する重心の位置及び移動時間に基づいて物体の速度を算出する。ただし物体の移動速度の算出方法は、これに限定されるものではない。例えば、重心ではなく物体の移動方向における先端のORスポット又はANDスポットの移動速度を算出してもよいし、1回の計測毎ではなく
図6(D)に示す領域140等、所定領域を移動するのにかかった時間から速度を算出してもよい。
【0097】
データ参照部14Eは、過去に、スポット形状判定部14A等によって判定され記憶部13に記憶された過去の判定データ13Dを参照する機能を有する。参照された過去の判定データ13Dは、物体の現在の状態を判定するために利用される。これについての詳細は後述する。
【0098】
状態判定部14は、各部(14Aから14E)の判定データと、過去の判定データ13Dと、記憶部13に記憶された判定式13Bとを照合して、加工データ13Aを得た物体の状態を判定するものである。これについての詳細は後述する。
【0099】
表示部15は、液晶ディスプレイ等の表示装置であって、記憶部13に記憶された加工データ13Aや物体状態判定結果13C等を表示する機能を有する。また表示部15は、記憶部13に記憶された判定式13Bや高さ取得に係る設定内容等、センサ(101及び102)及び認識処理部10の機能及び動作に必要な設定情報を、図示しない操作部によって追加変更したり修正や削除をしたりする場合に、操作に必要となる情報を表示するために利用される。
【0100】
なお、認識処理部10が、表示部15及び記憶部13を内部に備える態様に限定されるものではない。認識処理部10とは独立して設けられた表示部15や記憶部13が、有線又は無線で認識処理部10に接続されてもよい。具体的には、例えば、認識処理部10が、外部にある記憶部13を利用して各種データの読み書きを行い、外部にある表示部15に加工データ13Aや物体状態判定結果13C等のデータを送信して表示部15がこれらのデータを表示してもよい。
【0101】
次に、
図8から
図12を参照しながら、上述した構成を有する物体認識装置1によって通路200を移動する物体を検出するとともに、物体の状態を認識する動作の詳細を、具体例を用いて説明する。
【0102】
図8は、物体認識装置1による物体認識の方法を示すフローチャートである。認識処理部10が動作を開始する際には、まず、第1センサ101及び第2センサ102の初期化を含む物体認識装置1全体の初期化が行われる(ステップS11)。
【0103】
利用するセンサによって初期化に必要となる処理内容は異なるが、初期化の目的は、第1センサ101及び第2センサ102によって、設定された検出ブロック領域An内の物体の有無を検出するために必要な処理を行うことにある。具体的には、例えば、通路200に検出対象となる物体が無い状態で、第1センサ101及び第2センサ102によって全ての検出ブロック領域Anを計測し、これをセンサデータに係る基準データとして記憶する処理を言う。人を検出対象としている場合には、検出対象領域内に、例えば椅子等の検出対象外の物体が存在していても初期化が行われる。検出ブロック領域Anに検出対象となる物体、すなわち人が現れると、第1センサ101及び第2センサ102によるセンサデータが変化するので、初期化によって記憶された基準データとの比較による検出が可能となる。
【0104】
初期化は、物体認識装置1の電源投入直後に1回行われる場合の他、所定時間毎に繰り返して行うこともできる。所定時間毎に行う場合には、所定時間が経過する度に、全ての検出ブロック領域Anに、検出対象となる物体を検出していないことを条件に、初期化が行われる。検出対象となる物体を検出した検出ブロック領域Anが1つでも存在する場合には初期化を行われないようになっている。初期化を行うタイミングは、図示しない操作部によって設定変更することができる。初期化に係る設定は、記憶部13に記憶されており、認識処理部10は、この設定内容に基づいて、第1センサ101及び第2センサ102を制御して初期化処理を実行する。
【0105】
次に、センサ制御部11による第1センサ101及び第2センサ102からのセンサデータの取得が開始される(ステップS12)。初期化が行われた後、センサ制御部11によって制御された第1センサ101及び第2センサは、同じ位置にある検出ブロック領域Anの物体の有無を所定のタイミングで計測する。第1センサ101及び第2センサ102による検出ブロック領域An毎の物体の有無を検出したデータは、センサ制御部11からデータ処理部12へ入力される。
【0106】
次に、データ処理部12は、第1センサ101及び第2センサ102によって計測されたセンサデータを処理することによって加工データ13Aを生成して記憶部13に保存する(ステップS13)。ここで行われるデータ処理は、
図3及び
図4を参照しながら上述したように、ORスポットからANDスポットへ変換する処理や、ANDスポットを生成する処理を含む。
【0107】
図9及び
図10に加工データ13Aの例を示す。記憶部13に保存される加工データ13Aは、
図2に示した72個の各検出ブロック領域Anに、ORスポット、ANDスポット、又は物体を検出しなかったことを示すデータのいずれか1つが割り当てられたデータとなる。加工データ13Aでは、第1センサ101によって検出された第1ORスポットと、第2センサ102によって検出された第2ORスポットは区別される。また第1センサ101及び第2センサ102によって検出されたANDスポットと、
図3に示したようにデータ処理部12によって生成されたANDスポットも区別される。
【0108】
次に、記憶部13に記憶された加工データ13Aに基づいて、状態判定部14による各種判定が行われる。以下では
図9及び
図10を参照しながら状態判定部14による動作の詳細を説明する。
【0109】
まず、スポット形状判定部14Aによる加工データ13Aのスポット形状の判定が行われる(
図8ステップS14)。具体的には、スポット形状判定部14Aは、ORスポット又はANDスポットである検出ブロック領域Anの数が5個以上の場合を「島」として、島の個数を判定する。例えば、複数の物体が検出された場合には、複数の島が存在することになる。
図9及び
図10に示す4つの検出例は、全てORスポット及びANDスポットが連続した状態で検出されているので島の個数は1つであると判定される。
【0110】
その他、スポット形状判定部14Aは、ANDスポットの数、ANDスポット及びORスポットを含む全てのスポットの数、ANDスポットのX方向の距離の最大値、ANDスポットのY方向の距離の最大値を判定する。ここで言う距離の最大値とは、島に含まれる複数のANDスポットのうち、最も離れた位置にあるANDスポットの間の距離を示す。またスポット形状判定部14Aは、加工データ13Aについて、
図2に示した中央6列の領域140にANDスポットが含まれるか否かを判定する。これはセンサ101及び102に近いために精度良く計測される検出ブロック領域Anに、物体の実在場所となるANDスポットが存在し、加工データ13Aの信頼性が高いものであることを判定するものである。
【0111】
このように、スポット形状判定部14Aを含む状態判定部14が判定する判定内容は、記憶部13内に判定式13Bとして記憶されている。
図11(A)に、判定式13Bの例を、同図(B)にこの判定式13Bを利用して加工データ13Aを判定する場合の例を示す。判定式13Bには、物体の状態の各々について、検出した物体がその状態にあると判定するための項目と、その項目で満たされるべき加工データ13Aの条件とがまとめられている。
【0112】
図11(A)に示すように、判定式13Bには、加工データ13Aを判定するための判定式と、記憶部13に記憶された過去の判定データ13Dを参照して判定するための判定式と、これらの判定式を満たした場合の加工データ13Aの判定結果である物体状態判定結果13Cとが含まれている。同図に示す判定式13Bでは、物体の4つの状態を判定することができる。No.1は人間が「一人」であることを判定するための判定条件であり、No.2は「車椅子」であることを判定するための判定条件であり、No.6は人が「四つん這い」の状態にあることを判定するための判定条件である。同様にNo.3からNo.5は人間が「複数人」存在することを判定するための判定条件である。「複数人」と判定される判定条件に、複数のパターンが含まれているのは、車椅子に乗る人とこの車椅子を補助する人を検出した場合や、複数人が横に並んで歩く場合や、縦に並んで歩く場合等を、全て「複数人」と判定することによる。
【0113】
第1センサ101及び第2センサ102によって得られた加工データ13Aが、
図11(A)に示す判定式13Bの「今回の加工データ」及び「過去の判定データ」の全ての項目を満たした場合に、この加工データ13Aを得た物体は「物体状態判定結果」に示された状態であると判定される。
【0114】
具体的には、例えば、
図11(B)は、ある加工データ13Aを示している。同図は、中央6列にANDスポットが「有り」、島の個数は「1」で、ANDスポットの数は「2」であるというように、
図11(A)に示す判定式13Bの各項目に対応する加工データ13Aのデータ内容を示している。なお「過去の判定データ」とは、この加工データ13Aを得た物体を
図2に示す検出対象領域20内で最初に検出したときから、この加工データ13Aが得られるまでの間に判定されたANDスポット及びORスポットの最大数、ANDスポット及びORスポットの距離の最大数、物体状態の判定結果等である。
図11(B)の例では、この物体に関して記憶部13に保存されている過去の判定データ13Dにおいて、「複数人」との判定結果を得たことはなく、過去の判定データ13Dで検出されていたANDスポットの最大数が「4」であったことを示している。
【0115】
加工データ13Aについて得られた
図11(B)に示すデータは、全ての項目で、同図(A)に示す判定式No.1を満たしている。よって、この加工データ13Aを得た物体は、判定式No.1の「物体状態判定結果」に示す「一人」の状態にあるものと判定される。以下では、ANDスポット及びORスポットの検出例を含む、より具体的な例を参照しながら、状態判定部14による処理内容を説明する。
【0116】
図9及び
図10に具体的な加工データ13Aの例を示す。
図12は、これらの加工データ13Aを、スポット形状判定部14Aを含む状態判定部14によって判定した際のデータを示している。
図9(A)に示す加工データ13Aの例では、
図12の例(a)に示すように、スポット形状判定部14Aによって、中央6列にANDスポットがあると判定され、島の個数は1個と判定される。ANDスポットの数は、AND−A29及びAND−A30の2個であり、ANDスポット及びORスポットを合わせた数は全部で17個であると判定される。またANDスポットのX方向の距離は、AND−A29からAND−A30の1であり、2つのANDスポットはY座標が同じであるからY方向の距離は0(ゼロ)であると判定される。
【0117】
同様に、
図12の例(b)から(d)には、
図9(B)、
図10(A)及び
図10(B)についての各判定結果が示されている。例えば、
図9(B)ではANDスポットのX方向の距離は、AND−A42からAND−A45までの距離であるから
図12の例(b)に示すように3となる。また
図10(A)ではANDスポットのY方向の距離は、例えばANDA18からAND−A30までの距離であるから
図12の例(c)に示すように1となる。
【0118】
なお、
図11に示した判定式13Bは一例であって、本発明がこれらの項目に限定されるものではない。例えば、これらの項目の他に、ORスポットのX方向の距離やY方向の距離、又はORスポットとANDスポットの数の比等の情報が、判定項目として判定式13Bに含まれる場合もある。判定したい物体の状態に応じて、その判定に必要な情報として適宜選択された判定項目が判定式13Bに含まれる。例えば、
図11の例では、島の個数は、物体が複数であるか否かを判定するために必要な情報であり、ANDスポットの数や距離は、物体の実在場所を示すと考えられるANDスポットの数や距離から物体の大きさ等を予測して物体の状態を判定するために必要となる。
【0119】
次に、高さ判定部14Bによって、加工データ13Aに基づいて、検出された物体の高さの判定が行われる(
図8ステップS15)。具体的には、
図5から
図7を参照しながら上述したように、ANDスポットとORスポットとの位置関係や、ANDスポットとORスポットとの間にあるANDスポットの存在等を考慮して、高さが取得される。
【0120】
例えば、
図9(A)に示した加工データ13Aの例では、AND−A29及びAND−A30の2つのANDスポットについて高さが取得されて高さ判定が行われる。
図9(A)の場合には、加工データ13Aに複数個のANDスポットが存在する。よって、
図6を参照しながら上述したように、予め設定された
図6(B)に示すANDスポットがエリア内に複数個ある場合の設定内容に基づき、AND−A29についての高さが取得されるORスポットとして、第1ORスポットOR1−A63が選択される。そして、
図7を参照しながら上述したようにANDA−29とOR1−A63との間に他のANDスポットが存在しないことが確認された後、
図6(C)を参照しながら上述したようにOR1−A63に基づく高さが1580mmとされる。AND−A30についても同様に設定内容に基づいての高さ取得が行われる。その結果、AND−A30に関しては、OR1−A53、OR1−A54、OR1−A65及びOR1−A66について、各々高さが1461mm、1416mm、1642mm及び1617mmと取得される。
【0121】
図9(A)では、高さが取得された第1ORスポットの下部に、取得された高さを表している。このように、予め設定された内容に基づいて高さが取得されたときに、複数の高さが取得された場合には、高さ判定部14Bは、取得された複数個の値から最大値を選択し、この値を検出した物体の高さであると判定する。その結果、
図9(A)に示す例では、ANDA−29及びAND−A30として検出された物体の高さは、
図12の例(a)に示すように、OR1−A65で取得された1642mmであると判定される。このように取得された複数個の高さから最大値を選択する理由は、検出対象領域20に物体が存在する場合に、センサと物体との位置関係等を原因として、物体の高さを実際より低く検出する場合はあっても、実際より高く検出する可能性は低いためである。
【0122】
図9(B)、
図10(A)及び(B)につていても、同様に高さ判定(ステップS15)が行われ、
図12の例(b)から(d)に示す結果が得られる。
図12の例(c)及び(d)では「高さ」の項目が「無し」となっている。これは、加工データ13Aに高さが取得されたORスポットが存在しなかったことを示している。例えば、
図6及び
図7を参照しながら上述したように、ANDスポットと高さを取得するよう設定されたORスポットとの間に別のANDスポットが存在した場合には、高さは取得されない。またORスポットの位置で取得される高さが、検出対象とする物体に基づいて設定された所定値より低い場合等にも、同様に高さは取得されない。
【0123】
図11の判定式13B、及び
図12の加工データに示すように、判定項目には「高さ取得条件」及び「高さ」の2つの項目が含まれている。ANDスポットと高さを取得するよう設定されたORスポットとの間に別のANDスポットが存在するために、高さを取得するための条件を満たさない場合には、
図12の加工データにおける「高さ取得条件」の項目が「NG」とされて「高さ」の項目も「無し」となる。「高さ取得条件」を満たしながら、高さが所定値より低いことから高さの取得を省略されたような場合には、「高さ取得条件」は「OK」とされるが「高さ」の項目は「無し」と表示される。これによりANDスポットについて設定された条件によって高さが取得されなかったのか、又は条件は満たすが高さが所定値さよりも低いために高さが取得されなかったのかを判定することができる。
図12の例(c)及び(d)の例では、「高さ取得条件」はいずれも「OK」となっているにも拘わらず、「高さ」が「無し」となっていることから、検出された物体の高さが設定された所定値よりも低いために高さが取得されなかったことが分かる。
【0124】
取得された高さは、判定に利用される他、検出した物体に関する情報として表示部15上の所定位置、又は重心位置等に表示される。
【0125】
次に、データ参照部14Eによって、記憶部13に保存されている過去の判定データ13Dに基づく判定が行われる(
図8ステップS16)。
図12に示すように判定式13Bに基づいて判定された結果は、記憶部13に保存されている。具体的には、
図2に示す通路200を人が右から左方向300に通過する場合に、検出ブロック領域A12からA72の列で検出対象領域20に進入する人の検出を開始した後、A1からA61の列を抜けて検出できなくなるまでの間、認識処理部10は、全ての判定データを記憶部13内に保持し時系列で管理している。そして、加工データ13Aの判定を行う際に、過去の判定データ13Dを、
図11及び
図12に示したように「過去の判定データ」として参照する。
【0126】
認識処理部10は、検出した物体が通路200を移動する場合には、その移動を認識して、加工データ13Aと、その判定データとを、同じ物体に関するデータとして関連付けて過去の判定データ13D内に保存する。データ参照部14Eは、検出した物体の加工データ13Aを判定する際に、その物体について保存された過去の判定データ13Dを参照して、例えば
図12の例(a)に示すように、過去に「複数人」以外として判定されていること、すなわち「複数人」として判定されていないことを利用して判定を行う。これにより、例えば「過去の判定データ」の項目において、過去に一度でも「複数人」と判定されている場合には、「今回の加工データ」の全ての項目が
図11(A)の判定式No.1に示す条件を満たしている場合でも、「一人」であるとは判定されない。同様に、過去に検出した物体の実在場所を示す「ANDスポットの最大数」が「6」を超えていた場合にも「一人」とは判定されない。その他、例えば、判定式No.2は、過去に「複数人」又は「一人」として判定されていた場合には、「車椅子」とは判定されないことを示している。
【0127】
なお、「過去の判定データ」に含まれる項目が、
図11(A)に示した項目に限定されるものではなく、例えば他に、検出した物体の大きさに関わるANDスポットやORスポットの距離等を参照してもよい。
【0128】
物体認識装置1では、安価なセンサを利用することができるが、センサの精度によっては、
図2に示す検出ブロック領域A1からA61の列や、A12からA72の列等、センサからの距離が離れた位置におけるセンサデータの信頼性が低い場合がある。例えば、センサから離れた位置で検出されるスポットでは検出できる高さが限られ、低い高さしか検出できないので検出高さの信頼性が低下する。このため、例えば、実際は一人であるのに、「一人」として認識されないことがある。このような場合に過去の判定データ13Dを利用する。
【0129】
例えば検出対象が一人の歩行者であるにも拘わらず、センサから離れた位置における加工データ13Aから「四つん這い」として判定されたものとする。その後、検出された物体が移動して、センサに近い
図6(D)に示した中央6列の領域140に達する。このとき得られた加工データ13Aから、「今回の加工データ」による判定と、「過去の判定データ」による判定とが、ともにNo.1の判定式を満たせば、物体状態判定結果13Cを「四つん這い」から「一人」に変更する。なお一旦「一人」と判定した後は、
図11(A)のNo.6の判定式から分かるように、過去の判定データ13Dを参照することによって同じ物体を再び「四つん這い」と判定することはない。このため物体が再び第1センサ101及び第2センサ102から離れた検出ブロック領域Anに達した際に、再び「四つん這い」と誤認識されることを回避することができる。
【0130】
センサから離れた位置にある検出ブロック領域Anでは検出高さに関する信頼性が低いため、上述したように誤認識する場合があるが、物体認識装置10では、このような誤認識による影響を回避する設定が可能となっている。例えば、
図2(A)に示す72個の検出ブロック領域Anのうち、予め設定された所定領域内の検出ブロック領域Anでは、判定処理は行うが、判定結果を表示したり、この判定結果に基づく報知等の処理を行わない設定とすることができる。なお報知処理の詳細については後述する。
【0131】
具体的には、例えば、
図2(A)に示す検出対象領域20において、
図6(D)に示す領域140の領域外にあるX軸正方向側の3列及びX軸負方向側の3列では、上述したように物体の状態を誤認識する可能性がある。この場合、誤認識回避の設定がされた物体認識装置10では、X軸正方向から検出対象領域20に進入してきた物体について、誤認識する可能性がある最初の3列では、判定処理は行うが、判定結果の表示や後述する報知に係る処理を行わない。そして、物体が移動してこの3列を通過し、物体の状態を正しく認識できる領域140内に入った後は、通常通りに判定結果の表示及び報知に係る処理を行う。これによりセンサから離れた位置で誤認識された場合でも、この結果を他の処理に利用せず、その後修正されて正しく認識された結果のみを利用することができるので、誤認識した結果を表示したり報知することによる混乱を回避することができる。
【0132】
なお、この物体がさらに移動して、
図6(D)に示す領域140の領域外、すなわちX軸負方向端側の3列に至った場合には、上述した通り再び誤認識されることはないので通常通りの処理を行う。またX軸負方向から進入した物体に対しても同様に動作する。
【0133】
物体認識装置10では、判定結果の表示とこれに基づく報知に係る処理を制限する所定領域を設定して記憶部13に記憶することにより、このような動作をすることが可能となっている。例えば、
図11(A)に示す判定式の「中央6列にANDスポット」の項目を利用して、
図6(D)に示す領域140内にANDスポットが無い場合に報知処理等を制限することができる。
【0134】
センサ精度が低い場合の他、物体が検出ブロック領域Anの境界付近を移動するような場合にも判定を誤る可能性がある。しかし、その瞬間の加工データ13Aに加えて、過去の判定データ13Dを参照して判定するので、正しい判定を行うことができる。このため安価なセンサを利用しながら物体の状態を正しく認識することができる。また誤判定が起こる可能性がある領域では、報知等の処理を制限することにより、誤報による混乱を回避して装置の信頼性を担保することができる。
【0135】
次に、位置判定部14Cによって、検出した物体の位置の判定が行われる(
図8ステップS17)。位置判定部14Cは、加工データ13Aに含まれるORスポット及びANDスポットを含む各島の重心の位置を算出して、この重心の位置を、検出した物体の位置と判定する。ただし位置の算出方法は、これに限定されず、例えば、検出した物体の実在場所を示すANDスポットのみから重心の位置を求めて、これを物体の位置としてもよい。
【0136】
物体の重心と判定された位置は、表示部15上に、検出結果を表示する際に利用される。例えば、表示部15上に、検出対象である通路200の様子を図や写真を利用して表示するとともに、算出した重心の位置に検出した物体として円形状や矩形形状の所定マークを表示する。計測中に連続して得られる加工データ13Aから重心の位置を算出して表示部15上に連続して表示することにより、物体が通路200を移動する様子を擬似的に表示することができる。
【0137】
検出した物体の表示は、表示部15上で物体のみを所定マークで表示する他、例えば、
図9及び
図10に示すような実際の加工データ13Aを表示してもよい。この場合には、実体が存在する場所を示すANDスポットの他に、実体によるセンサ光の影であるORスポットも表示される。このため、位置判定部14Cによって算出された重心の位置にあるANDスポット又はORスポットを、他のスポットと区別できるように、異なる色や形状で表示する。表示部15上では、他のANDスポットやORスポットと区別可能に表示された重心の位置を確認することにより、検出された物体が移動する様子を確認することができる。
【0138】
次に、速度判定部14Dによって、検出した物体の速度の判定が行われる(
図8ステップS18)。速度判定部14Dは、位置判定部14Cによって算出された重心位置が移動する様子から物体の移動速度を算出する。ただし物体の移動速度の算出方法は、これに限定されず、例えば、検出された物体の先端が
図6(D)に示す領域140を横断するのにかかった移動時間から算出してもよい。また所定ブロック数を移動するときにかかった所要時間から算出してもよい。
【0139】
算出された移動速度は、表示部15上の所定位置、又は位置判定部14Cによって算出された重心の位置に表示される。また算出した速度を、判定式13Bの「判定式」の一項目として利用してもよい。本実施例では屋内の通路200を検出対象としているが、例えば、物体認識装置1を屋外で利用する場合に、検出した物体の移動速度を、人と自転車や自動車等の乗り物とを区別して判定するために利用することができる。
【0140】
次に、状態判定部14によって、加工データ13A及び過去の判定データ13Dに基づいて得られた
図12に示した各データと、
図11(A)に示した判定式13Bとを比較して、検出した物体の状態に係る最終判定が行われる(
図8ステップS19)。状態判定部14は、上述した各判定(ステップS14からS18)の結果に基づき、検出した物体の状態を最終判定する。
【0141】
図9(A)に示す加工データ13Aで得られた
図12の例(a)に示す各項目の値を、
図11(A)の判定式13Bの対応する項目の値と比較する。「今回の加工データ」の各項目の値は、判定式No.1の各項目を全て満たしている。このため
図9(A)の加工データ13Aを得た物体の状態は「一人」であると判定される。すなわち通路200を移動する物体は歩行者であると最終判定される。また、ORスポットOR1−A65が最大高となり、歩行者は1642mm以上の高さであると判定される。
【0142】
図9(B)に示す検出例では、
図12の例(b)に示す「今回の加工データ」の各項目の値が、
図11(A)の判定式No.6の各項目の値を全て満たしている。このため
図9(B)の加工データ13Aを得た物体の状態は「四つん這い」であると判定される。
図9(B)の加工データ13Aでは、
図12の例(b)に示すように「高さ取得条件」が「OK」であるにも関わらず「高さ」が「無し」となっており、検出した物体の高さが低い状態であることが分かる。また「ANDスポットのX方向の距離」が大きいことから、検出した物体がX方向に大きいことが分かる。これらの結果から歩行者ではなく、人が「四つん這い」の状態であることを判定できる。
【0143】
なお、人が倒れて動かない状態にあるときは、速度判定部14Dによって判定された速度が0(ゼロ)の状態で所定時間変化しないことに基づいて人が倒れていることを判定することができる。これに加えて、認識処理部10は、人が通路200を這って進もうとしているような場合にも、この状態を正しく認識することができる。
【0144】
これにより、通路200を歩行中の人が倒れて動けない状態にある場合に加えて、助けを求めて通路200を這って進むような状態にある場合でも、これを正確に判定し、警報を発したり、管理者に報知する等の適切な対応を取ることが可能となる。
【0145】
図10(A)に示した検出例では、
図12の例(c)に示す「今回の加工データ」の各項目の値が、
図11(A)の判定式No.2の各項目の値を全て満たす。このため
図10(A)の加工データ13Aを得られた物体の状態は「車椅子」であると判定される。すなわち通路200を移動する物体は、車椅子に乗って移動する人であると最終判定される。
【0146】
図10(A)の加工データ13Aでは、
図12の例(c)に示すように「高さ取得条件」が「OK」であるにも関わらず「高さ」が「無し」となっており、検出した物体の高さが低いことが分かる。また「ANDスポットの数」及び「全てのスポットの数」が多く、物体とこれによって遮られて影となった領域が広いことが分かる。これらの結果から歩行者や四つん這いの人ではなく「車椅子」であると判定できる。
【0147】
またANDスポットのY方向の距離が1となっていることからも検出された物体が「車椅子」であることを判定できる。第1センサ101又は第2センサ102のいずれか1つを利用しただけでは、検出した物体のY方向の距離に関する情報は得られない。しかし、本実施の形態では、2つのセンサ101及び102を利用して、得られた結果をORスポットとANDスポットに分けて処理することによって、車椅子等の物体を検出した際に、その物体がY方向に幅が広く、1人の人間とは異なることを認識することができる。
【0148】
図10(B)に示した検出例では、
図12の例(d)に示す「今回の加工データ」の各項目の値が、
図11(A)の判定式No.3の各項目の値を全て満たしている。このため
図10(B)の加工データ13Aを得た物体の状態は「複数人」であると判定される。すなわち通路200を移動する物体には、複数の人が含まれると最終判定される。
【0149】
図10(B)の加工データ13Aでは、
図12の例(d)に示すように「島の個数」は「1」であり、島の数からは複数人であると判定できない。しかし、「ANDスポットの数」及び「全てのスポットの数」が多くなっている。また「高さ」が1580mmと判定されていることから「車椅子」ではないことが分かる。特に「全てのスポットの数」が多いことから「複数人」であると判定できる。
【0150】
また
図12の例(d)の結果では、ANDスポットのY方向の距離からも検出された物体が「複数人」であることを判定できる。上述したように、本実施の形態では、2つのセンサ101及び102を利用することによって、高さを取得できることに加えて、検出した物体の幅、すなわちY方向の大きさが大きく、1人の人間とは異なることを正しく認識することができる。
【0151】
なお、
図11(A)に示した判定式13Bでは、判定式No.3からNo.5は全て「複数人」と判定することとしているが、認識処理部10は、実際には、判定式No.3は「車椅子及びその補助者」、判定式No.4は「Y方向に並ぶ二人の歩行者」、判定式No.5は「X方向に並ぶ二人の歩行者」であると判定することができる。例えば
図10(B)の例では、スポットの数から歩行者、倒れた人、及び車椅子よりも実体が大きく、高さが1400mm以上あることから車椅子とその補助者であることを判定できる。
【0152】
しかし、認識処理部10は、複数人が並んで歩くような場合や、車椅子に乗った人とその車椅子の補助者が通路200を移動するような場合には、これらを全て「複数人」と判定する。例えば、介護施設等の施設において、通路200を通過する人が危険な状態にないことを監視したい場合には、一人で行動する人の状態を正しく認識することが重要となる。認識処理部10は、上述したように、一人で歩く人が倒れた場合や、車椅子に乗って一人で移動する人が車椅子から落ちた場合等に、これを正しく検出することができる。これに対し、複数人が存在する場合には、そのうちの一人が倒れた場合でも、他の一人が助けを呼ぶことができるため、一人で行動する場合に比べて安全上問題となる可能性が低い。このため認識処理部10は、これらをまとめて「複数人」と判定するものである。
【0153】
次に、状態判定部14によって、判定した結果が表示部15上に表示される(
図8ステップS20)。表示部15に表示される画面の例を
図13に示す。表示部15には、右下の枠152内に加工データ13Aがリアルタイムに表示される。そして、その上側の枠151内には、この加工データ13Aに基づいて検出した物体153が通路200を移動する様子が表示される。物体153を表示する位置では、過去の位置と現在の位置との比較から割り出された移動方向、及び加工データ13Aから得られた高さが分かるように表示される。
【0154】
そして画面の左側には、第1センサ101及び第2センサ102が設置された場所を示す情報が表示され、その下の枠154内には、加工データ13Aに基づいて判定された結果と移動速度が表示される。
【0155】
その下側の枠155内には、判定結果が条件を満たす場合に、警報音を鳴らすか否か、予め設定された携帯電話等の端末に通知を行うか否かを設定するためのチェックボックスが設けられている。警報音を鳴らす設定となっている場合には、例えば、検出した物体が所定時間以上停止している場合や、上記「四つん這い」の状態となった場合に、警報音を発することにより周囲にこれを報知する。また通知を行う設定となっている場合には、別途設定された携帯電話や固定電話へ自動的に発信動作を行い、通話状態になった際にモニター中の場所や状況を音声データによって再生してこれを報知する。また設定された携帯電話や携帯端末に向けて、モニター中の場所と状況を示す情報を含む電子メールを送信することもできる。このとき画面上で、枠内155の「危険」の文字を赤色や黄色等の色で点滅させて、危険な状態にあることを表示部15の画面上でも目視にて認識できるようになっている。なお、上述したように、センサから離れているために誤認識する可能性のある所定領域に関しては、報知及び通知の設定内容に拘わらず報知及び通知を行わない。
【0156】
画面上には、第1センサ101及び第2センサ102による検出を開始するための開始ボタン、検出を停止するための停止ボタンが設けられている。また再生ボタン156が設けられ、これを押すと、記憶部13に記憶されたデータの選択画面が表示されるようになっている。選択画面から、再生したい日時を選択すると、選択した加工データ13A及び物体状態判定結果13Cが画面上の枠内151から155で再生される。再生時には、画面左上の日時の表示によって、データが記録された日時を確認することができる。
【0157】
なお、データの表示先は、認識処理部10の備える表示部15に限定されない。例えば、有線又は無線で接続された別の表示装置へ向けてデータが送信され、その表示装置上で表示してもよい。表示先として携帯電話や携帯端末を利用してもよい。
【0158】
表示部15に表示された停止ボタン等による操作によって、検出及び認識処理を停止する指示がない限り(
図8ステップS21;No)、上述した処理(ステップS11からS20)が繰り返して行われる。処理を停止する指示があった場合には(ステップS21;Yes)、認識処理部10は動作を停止する。
【0159】
センサの設置に関し、本実施例では、第1センサ101及び第2センサ102を、通路200の両側で、天井201又は壁面(202及び203)に設ける例を示したが、2つのセンサを利用して同一領域の物体の有無を、設定された所定タイミングで検出することができれば、センサの設置方法がこれに限定されるものではない。
【0160】
例えば、2組以上のセンサを利用してもよい。
図14には、2組のセンサを利用する場合を例示している。上述したように第1センサ101及び第2センサ102を同期して動作させ、同様に第3センサ103及び第4センサ104を同期して動作させる。ただし、計測時に各組のセンサ光が互いに干渉しないように、第1センサ101及び第2センサ102と、第3センサ103及び第4センサ104とで、計測のタイミングをずらすように制御する。これにより1組のセンサによって計測可能なY方向の範囲より、通路200のY方向の幅が広い場合であっても、通路全体を計測し、上記説明と同様の効果を得ることができる。このように、安価なセンサを利用するために計測できる範囲が限られている場合でも、複数組のセンサを利用してその計測タイミングを制御すれば、2個1組のセンサの性能を超える範囲の物体の状態を、正しく認識することができるという効果がある。
【0161】
上述してきたように、赤外線やレーザ光を利用して所定領域内の物体の有無のみを検出するような安価なセンサを利用しながら、2つのセンサを1組として利用して、同一領域内の物体の有無を略同一の所定タイミングで計測することによって、物体の移動だけではなく、その物体の幅、奥行き及び高さに係る情報を取得することができる。これにより検出した物体が、立位状態にあるのか、車椅子で移動している状態にあるのか、床に伏した状態で動いているのか等の物体の状態を正しく認識することができる。この認識結果を利用すれば、歩行者や車椅子に乗る人が床に倒れた場合でも、その状態の変化をすぐに検出して適正な対応を取ることが可能である。
【0162】
特に、センサを1つしか利用しない場合には、センサ側から見た物体の様子しか認識することができないのに対し、本実施例では、2つのセンサを一組として利用することによって、センサ側から見た奥行き方向の物体の大きさを認識することができる。すなわち通路を移動する人や車椅子を、移動通路の幅方向に設置したセンサを利用しながら、その直交方向の物体の大きさを認識し、物体が「一人」であるか「複数人」であるかを正しく認識することができる。
【0163】
また、第1センサ101及び第2センサ102で検出された検出結果に基づく加工データ13Aは画像に比べて解像度が低いため、検出対象となった人の顔や動作の詳細を確認することができない。このためプライバシーの問題を生じさせることがなく、カメラを設定する必要がないので監視される側の人々が嫌悪感を示すこともない。
【0164】
さらに、物体認識装置1は、検出対象領域内に設けた検出ブロック領域Anにおける物体の有無を検出して処理するのみであることから、画像を撮像してデータ処理を行う場合に比べて取り扱うデータ量が小さくデータ処理時に装置にかかる負荷も小さい。このため物体認識装置1を利用した監視システムを安価に構築することが可能である。また画像処理を行うシステムに比べて処理能力が低いシステムであっても高速に処理することが可能である。