特許 7311299 人認識システムおよび人認識プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-10

(45)【発行日】2023-07-19

(54)【発明の名称】人認識システムおよび人認識プログラム

(51)【国際特許分類】

   G01S 17/89 20200101AFI20230711BHJP

   G06T 7/00 20170101ALI20230711BHJP

   G06T 7/12 20170101ALI20230711BHJP

【ＦＩ】

G01S17/89

G06T7/00 660Z

G06T7/12

【請求項の数】 6

(21)【出願番号】P 2019074567

(22)【出願日】2019-04-10

(65)【公開番号】P2020173145

(43)【公開日】2020-10-22

【審査請求日】2022-02-10

(73)【特許権者】

【識別番号】393031586

【氏名又は名称】株式会社国際電気通信基礎技術研究所

(74)【代理人】

【識別番号】100090181

【弁理士】

【氏名又は名称】山田 義人

(72)【発明者】

【氏名】足立 隆弘

(72)【発明者】

【氏名】岸本 学

(72)【発明者】

【氏名】速水 悦子

(72)【発明者】

【氏名】田中 浩

【審査官】山下 雅人

(56)【参考文献】

【文献】特開２００９－０８６９８６（ＪＰ，Ａ）

【文献】特開２００１－０１２９２２（ＪＰ，Ａ）

【文献】特開２００３－０５７００７（ＪＰ，Ａ）

【文献】特開２００３－０５８８８４（ＪＰ，Ａ）

【文献】特開２００５－１３４１２０（ＪＰ，Ａ）

【文献】特開２００７－２１３３５３（ＪＰ，Ａ）

【文献】特開２００６－０６４６９５（ＪＰ，Ａ）

【文献】特開平０６－１７６１５３（ＪＰ，Ａ）

【文献】特開２０１１－１８５６６４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／４８－ ７／５１

Ｇ０１Ｓ１７／００－１７／９５

Ｇ０１Ｖ ８／００－ ８／２６

Ｇ０１Ｂ１１／００－１１／３０

Ｇ０６Ｔ ７／００－ ７／９０

Ｇ０６Ｖ １／００－４０／７０

Ｇ０７Ｂ１１／００－１７／０４

(57)【特許請求の範囲】

【請求項1】

人が滞留するまたは通過する計測領域を上方から撮影して距離画像を出力する距離画像センサ、
前記距離画像から人の形状に類似した塊りを選別してその塊りを含む塊り距離画像を抽出する塊り距離画像抽出部、
前記塊り距離画像から高さの異なる複数の切断面で距離画像を切断した複数の横断面画像を生成する横断面画像生成部、および
前記複数の横断面画像に基づいて、前記塊り距離画像に含まれる人の位置および数を認識し、前記塊り距離画像の数および前記塊り距離画像に含まれる人の位置および数に応じて、前記計測領域に存在する人の位置および数を認識する人認識部を備える、人認識システム。

【請求項2】

前記人認識部は、前記複数の横断面画像から人の頭部と推定できるオブジェクトを検出することによって頭部を検出する頭部検出部を含み、前記頭部検出部で検出された頭部の位置および数を、前記計測領域に存在する人の位置および数として認識する、請求項１記載の人認識システム。

【請求項3】

前記頭部検出部は、前記複数の横断面画像に含まれる物体の輪郭線の大きさおよび当該輪郭線の形状に基づいて、頭部を検出する、請求項２記載の人認識システム。

【請求項4】

前記頭部検出部は、一定の高さ範囲における大きさ、形状および範囲から、独立した頭部として推定できなくなったオブジェクトを除外する除外部を含む、請求項２または３記載の人認識システム。

【請求項5】

前記人認識部は、前記頭部検出部が複数の頭部を検出した場合に、２以上の前記横断面画像における前記複数の頭部の互いの距離に応じて、前記計測領域に存在する人の数を検出する、請求項２から４までのいずれかに記載の人認識システム。

【請求項6】

人が滞留するまたは通過する計測領域を上方から撮影して距離画像を出力する距離画像センサを備える人認識システムのコンピュータを、
前記距離画像から人の形状に類似した塊りを選別してその塊りを含む塊り距離画像を抽出する塊り距離画像抽出部、
前記塊り距離画像から高さの異なる複数の切断面で距離画像を切断した複数の横断面画像を生成する横断面画像生成部、および
前記複数の横断面画像に基づいて、前記塊り距離画像に含まれる人の位置および数を認識し、前記塊り距離画像の数および前記塊り距離画像に含まれる人の位置および数に応じて、前記計測領域に存在する人の位置および数を認識する人認識部として機能させる、人認識プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は人認識システムおよび人認識プログラムに関し、特にたとえば、通路やゲート、店舗やイベント会場，住居などの人が滞留もしくは通過する領域に設けた距離画像センサからの距離画像に基づいて人とその人の属性を認識する、人認識システムおよび人認識プログラムに関する。

【背景技術】

【0002】

この種の技術は、たとえば、部屋や建物の入り口やゲートを通過する人数計測やエリア内の動線調査、デバイスを持たない不特定多数を対象とした映像を用いない個人情報に配慮した種々の計測等のために利用され得る。

【0003】

例えばこの発明の背景となる人数カウント装置の一例が特許文献１に開示されている。特許文献１では、人物存在領域として矩形情報を出力し、その矩形情報の縦横比または縦と横の長さに応じて人物存在状況を推定するが、その矩形比が異なる場合には、オクルージョンが発生していると判定し、上半身、下半身、右半身、左半身のような部分を検出することによって、人物が重なっている場合でも人数カウントができるとしている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開2012-108785号公報［G06T 1/00, 7/00, G06M 11/00］

【発明の開示】

【発明が解決しようとする課題】

【0005】

特許文献１の人数カウント装置では、矩形比で人だけを検出するので、複数の人が互いに密着している場合には、正確に人数カウントを行うのは困難である。

【0006】

それゆえに、この発明の主たる目的は、新規な、人認識システムおよび人認識プログラムを提供することである。

【0007】

この発明の他の目的は、距離画像を処理することによって正確に人の位置の検出および数のカウントを行うことができる、人認識システムおよび人認識プログラムを提供することである。

【課題を解決するための手段】

【0008】

この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、本発明の理解を助けるために後述する実施の形態との対応関係を示したものであって、本発明を何ら限定するものではない。

【0009】

第１の発明は、人が滞留するまたは通過する計測領域を上方から撮影して距離画像を出力する距離画像センサ、距離画像から人の形状に類似した塊りを選別してその塊りを含む塊り距離画像を抽出する塊り距離画像抽出部、塊り距離画像から高さの異なる複数の切断面で距離画像を切断した複数の横断面画像を生成する横断面画像生成部、および複数の横断面画像に基づいて、塊り距離画像に含まれる人の位置および数を認識し、塊り距離画像の数および塊り距離画像に含まれる人の位置および数に応じて、計測領域に存在する人の位置および数を認識する人認識部を備える、人認識システムである。

【0010】

第１の発明では、距離画像センサ（１２）は、人が滞留するまたは通過する計測領域を上方から撮影した距離画像を出力する。塊り距離画像抽出部（１４、Ｓ９）は、距離画像から人の形状に類似した塊り距離画像を抽出する。横断面画像生成部（１４、Ｓ１１、Ｓ２１、Ｓ２３、Ｓ４１）は、塊り距離画像から少なくとも人の体の一部を通る高さの複数の切断面で距離画像を切断した複数の横断面画像を生成する。人認識部（１４、Ｓ２５‐Ｓ３５、Ｓ４３）は、複数の横断面画像に基づいて、塊り距離画像に含まれる人の位置および数を認識し、塊り距離画像の数および塊り距離画像に含まれる人の位置および数に応じて、計測領域に存在する人の位置および数を認識する。

【0011】

第１の発明によれば、距離画像を処理することによって正確に計測領域内の人の位置の検出または人数カウントを行うことができる。

【0012】

第２の発明は、第１の発明に従属し、人認識部は、複数の横断面画像から人の頭部と推定できるオブジェクトを検出することによって頭部を検出する頭部検出部を含み、前記頭部検出部で検出された頭部の位置および数を、前記計測領域に存在する人の位置および数として認識する、人認識システムである。

【0013】

第２の発明では、人認識部（１４、Ｓ２５‐Ｓ３５、Ｓ４３）は、複数の横断面画像から人の頭部と推定できるオブジェクトを検出することによって頭部を検出する頭部検出部（１４、Ｓ２５）を含み、さらには、検出された頭部の位置および数を、計測領域に存在する人の位置および数として認識する。

【0014】

第２の発明によれば、人の頭部を検出し、頭部の位置および数を人の位置および数として認識するので、計測領域に存在する人の正確な位置および数が計測可能となる。

【0015】

第３の発明は、第２の発明に従属し、頭部検出部は、複数の横断面画像に含まれる物体の輪郭線の大きさおよび当該輪郭線の形状に基づいて、頭部を検出する、人認識システムである。

【0016】

第３の発明によれば、頭部の検出が一層正確に行える。
第４の発明は、第２または第３の発明に従属し、頭部検出部は、一定の高さ範囲における大きさ、形状および範囲から、独立した頭部として推定できなくなったオブジェクトを除外する除外部を含む、人認識システムである。
第４の発明では、除外部（１４、Ｓ３１‐Ｓ３３）は、たとえば、一定の高さ範囲において、他のオブジェクトと分離できないオブジェクト（他のオブジェクトと一体化したオブジェクト）や、オブジェクトの変化傾向から頭部として推定できなくなったオブジェクト等を除外オブジェクトとして除外する。
第４の発明では、たとえば、矩形形状などの丸みを帯びていない形状（荷物等であると推定される形状）のオブジェクト、頭部としては大きすぎる若しくは小さすぎるオブジェクト等を除外オブジェクトとして除外するので、人認識部によって正確に、人の位置および数を認識することができる。

【0017】

第５の発明は、第２から第４までのいずれかの発明に従属し、人認識部は、頭部検出部が複数の頭部を検出した場合に、２以上の横断面画像における複数の頭部の互いの距離に応じて、計測領域に存在する人の数を検出する、人認識システムである。

【0018】

第５の発明によれば、複数の人が近接している場合であっても、人数の計測を正確に行える。

【0022】

第６の発明は、人が滞留するまたは通過する計測領域を上方から撮影して距離画像を出力する距離画像センサを備える人認識システムのコンピュータを、距離画像から人の形状に類似した塊りを選別してその塊りを含む塊り距離画像を抽出する塊り距離画像抽出部、塊り距離画像から高さの異なる複数の切断面で距離画像を切断した複数の横断面画像を生成する横断面画像生成部、および複数の横断面画像に基づいて、塊り距離画像に含まれる人の位置および数を認識し、塊り距離画像の数および塊り距離画像に含まれる人の位置および数に応じて、計測領域に存在する人の位置および数を認識する人認識部として機能させる、人認識プログラムである。

【0023】

第６発明においても、第１の発明と同様の効果が期待できる。

【発明の効果】

【0024】

この発明によれば、距離画像を処理することによって正確に人の位置の検出および数のカウントを行うことができる。

【0025】

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

【図面の簡単な説明】

【0026】

【図1】図１はこの発明の一実施例の人認識システムを示す図解図である。

【図2】図２は図１実施例を示すブロック図である。

【図3】図３は図２に示すメモリのメモリマップの一例を示す図解図である。

【図4】図４は図２に示すコンピュータが実行する人認識動作の一例を示すフロー図である。

【図5】図５は図４実施例において取得した距離画像の一例を示す図解図である。

【図6】図６は図４実施例において前処理を施した距離画像の一例を示す図解図である。

【図7】図７は図４実施例における人認識ステップを詳細に示すフロー図である。

【図8】図８は人認識ステップにおける認識結果の一例を示す図解図である。

【図9】図９は人認識ステップにおける認識結果の他の例を示す図解図である。

【図10】図１０は人認識ステップにおける認識結果の他の例を示す図解図である。

【図11】図１１は図２に示すコンピュータが実行する、他の実施例における人認識動作の一例を示すフロー図である。

【図12】図１２は図１１実施例における人認識ステップを詳細に示すフロー図である。

【図13】図１３は人認識ステップにおける認識結果の一例を示す図解図である。

【発明を実施するための最良の形態】

【0027】

＜第１実施例＞
図１を参照して、この実施例の人認識システム１０は、人ＰＳＮが滞留するまたは通過する計測領域を規定するゲートＧＴの上方に設けられる距離画像センサ１２を含む。また、人認識システム１０に含まれる距離画像センサ１２の数は、単数（１つ）であっても良いし、複数（２以上）であっても良い。本実施例では、人認識システム１０には、１つの距離画像センサ１２が含まれる。距離画像センサ１２は、一例として、前後左右にそれぞれ４０°の視野角または画角を有する。

【0028】

なお、この実施例はゲートＧＴで規定された計測領域に存在する人を認識する実施例であるが、計測領域は、ゲートＧＴ等で規定される領域に限定されず、オープンスペースであっても良い。すなわち、この発明は、オープンスペースの一定の領域に存在する人を認識するシステムとしても利用可能であり、この発明の人認識システムは、オープンスペースにおける人を認識するためのシステムとしても利用できる、ということを予め指摘しておく。

【0029】

距離画像センサ１２は、所定領域（撮影領域）の距離画像を取得するためのセンサである。ただし、距離画像センサ１２の撮影領域には、少なくとも、ゲートＧＴで規定された計測領域が含まれる。すなわち、距離画像センサ１２は、計測領域の距離画像を取得するためのセンサである。この距離画像センサ１２は、赤外光またはレーザなどの光を照射し、対象物から反射した光（反射光）をＣＣＤ（Charge Coupled Device）センサなどの光学センサによって捉える。距離画像センサ１２は、光が戻るまでの時間を画素毎に計測または位相差を計算することで、対象物までの実際の距離を測定する。実施例の距離画像センサ１２には、ASUS（登録商標）製のXtion（登録商標）と言われる製品が採用されている。なお、他の実施例では、距離画像センサ１２は、Microsoft（登録商標）製のKinect（登録商標）センサ、パナソニック（登録商標）製の３次元距離画像センサD-IMager（登録商標）などを使用することも可能である。この種のセンサは、３次元距離計測センサ、３Ｄスキャナなどと言われる場合もある。

【0030】

なお、距離画像センサとしては、たとえばＬｉＤＡＲ（たとえば、Ｖｅｌｏｄｉｎｅ社製のイメージングユニットＬｉＤＡＲ（ＨＤＬ‐３２ｅ）（商品名））のような全方位レーザ距離計や、ステレオカメラなども利用可能である。

【0031】

距離画像センサ１２からの距離画像信号は、図２に示すように、コンピュータ１４に入力され、コンピュータ１４では、その距離画像信号をディジタルデータとして、たとえばＲＡＭのようなメモリ１６に記憶する。詳細は後述するが、コンピュータ１４は、メモリ１６に記憶された距離画像データを処理した結果から計測領域に存在する人の数を認識し、その結果をディスプレイ１８に表示しおよび／またはプリンタ（図示せず）に出力する。

【0032】

メモリ１６は、図３に示すように、プログラム記憶領域２０およびデータ記憶領域２２を含む。

【0033】

プログラム記憶領域２０には、データ取得プログラム２０ａ、前処理プログラム２０ｂ、塊り認識プログラム２０ｃおよび人認識プログラム２０ｄが予め設定されている。

【0034】

データ取得プログラム２０ａは、距離画像センサ１２からの距離画像信号を、撮影領域の全体の距離画像（全体距離画像）についての距離画像データ（３次元距離画像データ）として取り込んで、データ記憶領域２２の取得距離画像データ領域２２ａに記憶するプログラムである。

【0035】

前処理プログラム２０ｂは、取得距離画像データ領域２２ａに記憶した距離画像データのノイズ除去などの前処理を行うためのプログラムである。

【0036】

塊り認識プログラム２０ｃは、前処理を終えた距離画像データから所定形状の塊り距離画像についての距離画像データ（塊り距離画像データ）を抽出して、データ記憶領域２２の塊り距離画像データ領域２２ｃに記憶するプログラムである。

【0037】

人認識プログラム２０ｄは、上述の塊り距離画像から人の頭部の形状を抽出し、塊り距離画像に含まれる頭部の数を検出し、頭部の数を塊り距離画像毎の人数として認識して、データ記憶領域２２の人認識データ領域２２ｄに記憶するプログラムである。

【0038】

データ記憶領域２２は、上述の取得距離画像データ領域２２ａ、塊り距離画像データ領域２２ｃおよび人認識データ領域２２ｄの他に、背景距離画像データ領域２２ｂを含む。この背景距離画像データ領域２２ｂには、図１に示すゲートＧに人が存在しない背景だけの、距離画像センサ１２からの距離画像（背景距離画像）を記憶するための領域であり、この背景距離画像データは後述のように前処理プログラム２０ｂによる前処理に利用される。

【0039】

図４はこの実施例の人認識システム１０におけるコンピュータ１４の人認識動作のメイン処理を示すフロー図である。

【0040】

コンピュータ１４は、人認識動作のメイン処理を開始すると、ステップＳ１で、データ取得プログラム２０ａに従って、距離画像センサ１２からの距離画像信号を、距離画像データとして取得して取得距離画像データ領域２２ａに記憶する。この距離画像データが示す距離画像（３次元距離画像）２４の一例が、図５に示される。この図面は、以降の同様の図面と同じく、発明者等が実験で実際に取得したり処理したりした距離画像をグレースケールで示している。

【0041】

ただし、図５において濃い灰色の部分と薄い灰色の部分とが見えるが、濃い部分が薄い部分に比べて、距離画像センサ１２に近い部分である。また、図５は撮影領域に複数の人が存在する場合の距離画像を示す。

【0042】

次にステップＳ３、Ｓ５およびＳ７において、コンピュータ１４は前処理プログラム２０ｂに従って、図５のような距離画像のノイズ除去（ステップＳ３）、歪み補正（ステップＳ５）および背景情報除去（ステップＳ７）のような前処理を実行する。

【0043】

距離画像センサ１２の計測値には様々なノイズが混入しているので、必要に応じて、この種のノイズを、ステップＳ３で、平滑化やメディアンフィルタ等のフィルタを使用して除去する。具体的には、計測値の外れ値を除去し、平滑化（粗い量子化）し、小さすぎる物体、細すぎる物体を除去し、その結果を取得距離画像データ領域２２ａ（図３）または別の領域（図示せず）に記憶する。

【0044】

次のステップＳ５では、前処理の一環として、歪み補正を行う。赤外線レーザなどの光軸をレンズ等で曲げて広範囲の計測を行う距離画像センサの場合、歪曲収差等が発生するので、必要に応じて、ステップＳ５でこの補正を行い、その結果を取得距離画像データ領域２２ａ（図３）または別の領域（図示せず）に記憶する。

【0045】

ステップＳ７では背景情報除去処理を実行する。人や動きのあるもののみを検出するため、静的に存在するものの反射を学習し、計測値から除去する。具体的には、予め記憶している背景距離画像データをデータ記憶領域２２（図３）の背景距離画像データ領域２２ｂから読み出し、処理中の距離画像データからこの背景距離画像データを減算する。併せて、予め設定している計測領域の外側のデータを消去し、その結果（前処理が終わった距離画像データ）を取得距離画像データ領域２２ａ（図３）に記憶する。

【0046】

このような前処理が終わった距離画像２４の一例が、図６に示される。この図６で濃い灰色の部分２６が前処理の結果残った距離画像であり、薄い灰色の部分２８は範囲外などの理由で除去される。

【0047】

ステップＳ９では塊り分離処理を実行する。ここでは、前処理を終えた距離画像データ（図６）から、濃い灰色の部分２６のうち、人の形状に類似した塊りを選別して、塊りを含む所定形状の画像（塊り距離画像）３０（図８（Ａ））として抽出し、塊り距離画像３０毎の距離画像データ（塊り距離画像データ）に分離する。塊り距離画像３０の選別方法としては、たとえば、前処理を終えた距離画像に含まれる濃い灰色の部分２６のうち、２次元の大きさで考えると、Ｘ軸Ｙ軸がそれぞれ所定以上の長さおよびそれぞれ所定の長さ以下を有するサイズの画像であって、その画像に外接する長方形の面積とその画像の面積の比率が一定以上であり、縦横比が所定の比率の範囲であるなど、輪郭が人の形状に類似した画像を塊り距離画像として抽出する。したがって、人の形状に類似しない画像、たとえば矩形形状などの丸みを帯びていない形状の画像および大きすぎるまたは小さすぎる画像等については、塊り距離画像として抽出されない。すなわち、人の形状に類似しない画像は、人認識処理の対象から除外される。そして、前処理を終えた距離画像データから分離された塊り距離画像データは、塊り距離画像データ領域２２ｃに記憶される。

【0048】

なお、塊り距離画像３０の別の選別方法としては、距離画像に代えて、所定の高さ（たとえば１２００ｍｍ）の横断面画像を生成して、横断面画像に含まれる画像のうち、輪郭が人の形状に類似した画像を塊り距離画像として抽出するようにしても良い。

【0049】

続くステップＳ１１では、図７に示すサブルーチンに従って、塊り距離画像３０毎に人認識処理を実行する。簡単に説明すると、人認識処理は、塊り距離画像３０についての塊り距離画像データから複数の横断面画像３２を生成して、複数の横断面画像３２に基づいて、塊り距離画像３０に含まれる人の数を認識するための処理である。複数の横断面画像３２のそれぞれは、高さ（Ｚ軸方向）において、たとえば６００‐１８００ｍｍの範囲（切断範囲）の任意の高さで塊り距離画像データを切断した画像である（図８（Ｂ）、図９（Ｂ）および図１０（Ｂ））。

【0050】

コンピュータ１４は、人認識処理を開始すると、最初のステップＳ２１で、切断高さを第１の高さに設定する。ただし、第１の高さとは、切断範囲の上限または下限のうち、いずれか一方の高さのことである。この実施例では、第１の高さは、切断範囲の上限の高さであり、たとえば１８００ｍｍである。

【0051】

続いて、ステップＳ２３で、図８（Ｂ）、図９（Ｂ）および図１０（Ｂ）に示すように、切断高さで塊り距離画像を切断した横断面画像３２を生成する。ステップＳ２５で、生成した横断面画像３２からオブジェクト３４を検出する。ただし、オブジェクト３４とは、横断面画像３２に含まれる、人の頭部の形状に類似する物体（人の頭部として推定できる物体）のことである。ここでは、横断面画像３２の切断高さ、横断面画像３２に含まれる物体の輪郭線の大きさおよび当該輪郭線の形状（たとえば略丸い形状）等から、横断面画像３２に人の頭部として推定できるオブジェクト３４が存在するかどうかを検出する。つまり、一定の高さ範囲において略丸い閉じた領域は人の頭であると推定できる。また、ステップＳ２５では、人の頭部として推定できる複数のオブジェクト３４が互いに離れていれば、別のオブジェクト３４として検出する。

【0052】

続いて、ステップＳ２７では、新規オブジェクトが存在するかどうかを判断する。新規オブジェクトとは、直前のステップＳ２５で検出されたオブジェクト３４が、他の切断高さの横断面画像３２で既に検出されているオブジェクト３４とは異なるオブジェクト３４のことをいう。

【0053】

また、直前のステップＳ２５で検出されたオブジェクト３４が既に検出されているオブジェクト３４と異なるかどうかは、横断面画像３２の高さ、各オブジェクト３４の中心位置の距離および各オブジェクト３４同士が重複する面積の割合等に応じて判断される。つまり、これらの同一性判断のためのパラメータに従って、直前のステップＳ２５で検出されたオブジェクト３４が既に検出されているオブジェクト３４と同じオブジェクト３４であるか、別のオブジェクト３４であるかが判断される。なお、１つの塊り距離画像に複数のオブジェクト３４が存在するケースとしては、しがみついている、抱き合っている、子供を抱っこしている、または複数の人が密着している場合等、複数の人が近接している場合が考えられる（図８（Ａ）または図１０（Ａ））。このようなケースを想定して、ステップＳ２５で検出されたオブジェクト３４が既に検出されているオブジェクト３４と異なるかどうかが判断される。

【0054】

たとえば、図８（Ｂ）の上から３つ目の横断面画像３２Ｃまたは図１０（Ｂ）の上から２つ目の横断面画像３２Ｂでは、それまでに検出されている第１のオブジェクト３４ａとは異なる第２のオブジェクト３４ｂが検出される。これらの例では、第１のオブジェクト３４ａおよび第２のオブジェクト３４ｂは、横断面画像３２の高さ、中心位置の距離および重複する面積の割合等から、それぞれ別のオブジェクトとして認識される。すなわち、第２のオブジェクト３４ｂは、新規オブジェクトとして認識される。したがって、図８（Ｂ）および図１０（Ｂ）の例では、第２のオブジェクト３４ｂが検出されたときに、新規オブジェクトが存在すると判断される。

【0055】

図７に戻って、ステップＳ２７で“ＹＥＳ”であれば、つまり、新規オブジェクトが存在すると判断した場合は、ステップＳ２９で、新規オブジェクトを追跡リストに登録して、ステップＳ３５に進む。なお、追跡リストは、或る横断面画像３２から検出されたオブジェクト３４を追跡して、他の切断高さの横断面画像３２での当該オブジェクト３４の変化傾向を判定するためのリストである。この追跡リストは、人認識データ領域２２ｄに記憶される。

【0056】

一方、ステップＳ２７で“ＮＯ”であれば、つまり、新規オブジェクトが存在しないと判断した場合は、ステップＳ３１で、除外オブジェクトが存在するかどうかを判断する。除外オブジェクトとは、一定の高さ範囲における大きさ、形状および範囲等から、独立した頭部として推定できなくなったオブジェクトのことである。たとえば、除外オブジェクトとしては、一定の高さ範囲において、他のオブジェクト３４と分離できないオブジェクト（他のオブジェクトと一体化したオブジェクト）３４や、オブジェクト３４の変化傾向から頭部として推定できなくなったオブジェクト３４等が該当する。

【0057】

なお、頭部として推定できなくなったオブジェクト３４としては、矩形形状などの丸みを帯びていない形状（荷物等であると推定される形状）のオブジェクト３４、または、頭部としては大きすぎる若しくは小さすぎるオブジェクト３４等が該当する。

【0058】

また、或るオブジェクトが比較的低い高さ（たとえば１０００ｍｍ以下）で他のオブジェクトと一体化した場合であっても、一定の高さ範囲において分離している場合には、除外オブジェクトとして認識されないことがある。

【0059】

たとえば、図９（Ｂ）の上から１つ目の横断面画像３２Ａでは、第１のオブジェクト３４ａおよび第２のオブジェクト３４ｂが検出される。第１のオブジェクト３４ａおよび第２のオブジェクト３４ｂは、互いに離れているので、この段階では、別のオブジェクトとして認識される。したがって、第１のオブジェクト３４ａおよび第２のオブジェクト３４ｂの各々は、個別に追跡リストに登録される。しかしながら、図９（Ｂ）の上から２つ目より下の横断面画像３２Ｂ～３２Ｄでは、第１のオブジェクト３４ａおよび第２のオブジェクト３４ｂの両方を含む１つのオブジェクトのみが検出される。この場合には、１つ目の横断面画像３２Ａにおいて、本来１つのオブジェクトを、軽微な凹凸等によって２つのオブジェクトを検出したと判断する。したがって、横断面画像３２Ｂ～３２Ｄでは、一方のオブジェクトのみが追跡され、他方のオブジェクトは除外オブジェクトとして認識される。

【0060】

図９に示す例では、横断面画像３２Ａにおいて面積が大きい第１のオブジェクト３４ａのみが追跡され、第２のオブジェクト３４ｂは、除外オブジェクトとして認識される。なお、図９（Ａ）に示すような軽微な凹凸は、塊り距離画像３０に含まれる人の姿勢、帽子等の被り物等によって生じることがある。

【0061】

図７に戻って、ステップＳ３１で“ＹＥＳ”であれば、つまり、除外オブジェクトが存在すると判断した場合は、ステップＳ３３で、除外オブジェクトを追跡リストから除外（追跡リストから削除）して、ステップＳ３５に進む。このように、一定の高さ範囲に独立した頭部として推定できないオブジェクトは、追跡リストから削除（枝刈り）される。一方、ステップＳ３１で“ＮＯ”であれば、つまり、除外オブジェクトが存在しないと判断した場合は、ステップＳ３３を経ずにステップＳ３５に進む。

【0062】

そして、ステップＳ３５で、切断高さが第２の高さかどうかを判断する。ただし、第２の高さとは、切断範囲の上限または下限のうち、第１の高さと異なる方の高さのことである。この実施例では、第１の高さは、切断範囲の上限の高さであるので、第２の高さは、切断範囲の下限の高さ、たとえば６００ｍｍである。

【0063】

ステップＳ３５で“ＹＥＳ”であれば、つまり、切断高さが第２の高さであると判断した場合は、後述するステップＳ４１に進む。一方、ステップＳ３５で“ＮＯ”であれば、つまり、切断高さが第２の高さでないと判断した場合は、ステップＳ３７で、オブジェクト３４の面積（断面積）が所定面積以上かどうかを判断する。ここでは、塊り距離画像３０に含まれる全てのオブジェクト３４の合計面積が、塊り距離画像３０の全面積（横断面画像３２の全面積）に対して所定の割合（７５～９０％）を超えるかどうかを判断する。

【0064】

ステップＳ３７で“ＮＯ”であれば、つまり、オブジェクトの面積が所定面積以上でないと判断した場合は、ステップＳ３９で、切断高さを変更して、ステップＳ２３に戻る。ここでは、切断高さは、第１の高さから第２の高さに近づくように変更される。すなわち、切断高さは、切断範囲の上限または下限のうち、いずれか一方の高さから、他方の高さに近づくように変更される。この実施例では、切断高さは、切断範囲の上限の高さ（１８００ｍｍ）から切断範囲の下限の高さ（６００ｍｍ）に近づくように変更される。

【0065】

切断高さが変更される幅（変更幅）は、たとえば５～４０ｍｍである。ただし、切断高さの変更幅は、距離画像センサ１２の検出精度およびオブジェクトの状況によって適宜調整される。この実施例では、切断高さの変更幅は、初期設定としては、距離画像センサ１２の検出精度を考慮して１０～４０ｍｍに設定されている。ただし、横断面画像３２に含まれるオブジェクトの合計面積が、塊り距離画像３０の全面積（横断面画像３２の全面積）に対して所定の割合（１０～２０％）を超える場合、または直前の横断面画像３２に複数のオブジェクトが含まれる場合には、切断高さの変更幅が小さく（たとえば５～２０ｍｍ）設定される。また、直前の横断面画像３２にオブジェクトが含まれない場合には、切断高さの変更幅が大きく設定されても良い。

【0066】

一方、ステップＳ３７で“ＹＥＳ”であれば、つまり、オブジェクトの面積が所定面積以上であると判断した場合は、ステップＳ４１で、追跡リストに登録されたオブジェクト３４の頭部の数を、塊り距離画像３０に含まれる人数としてカウントして、ステップＳ４３で、追跡リストに登録されたオブジェクト３４の頭部の位置を、塊り距離画像３０に含まれる人の位置として検出して、メイン処理にリターンする。

【0067】

このように、第１実施例によれば、塊り距離画像３０毎に人認識処理を実行することによって、塊り距離画像３０毎の人の位置と数が認識される。そして、全体距離画像に含まれる塊り距離画像３０毎の人数を合計することによって、計測領域（全体距離画像）に存在する人数を認識することができる。また、計測領域（全体距離画像）に存在する人の位置を検出することができる。すなわち、或るタイミングで撮影された１フレームの距離画像を処理することによって正確に当該１フレームの距離画像内における、人数カウントおよび人の位置の検出を行うことができる。

さらに、第１実施例によれば、横断面画像３２に含まれる物体の輪郭線の大きさおよび当該輪郭線の形状から、人の頭部として推定できるオブジェクト３４が存在するかどうかを検出するので、頭部の検出が正確に行える。

【0068】

さらにまた、第１実施例によれば、或る横断面画像３２で複数のオブジェクト３４が検出された場合には、複数の横断面画像３２における各オブジェクト３４の互いの距離に応じて、別のオブジェクト３４であるかどうかを検出するので、複数の人が近接している場合であっても、人数の計測を正確に行える。たとえば、親が子を抱っこしているような状態であっても、親子を分離して検出することができる。

【0069】

＜第２実施例＞
第２実施例の人認識システム１０は、塊り分離処理を省略し、全体距離画像２４から複数の横断面画像３２を生成して、計測領域（全体距離画像）に存在する人の数を認識するようにした以外は第１実施例と同じである。以下、第２実施例の人認識システム１０について説明するが、第１実施例で説明した内容と重複する内容については省略することにする。

【0070】

図１１に示すように、第２実施例の人認識システム１０では、人認識動作のメイン処理においては、第１実施例で説明したステップＳ９の塊り分離処理が省略される。したがって、第２実施例では、ステップＳ７までの前処理が終わった全体距離画像２４に基づいて、ステップＳ１１で、人認識処理が実行される。

【0071】

コンピュータ１４は、人認識処理を開始すると、ステップＳ２１で、切断高さを第１の高さに設定し、ステップＳ５１で、設定された切断高さで全体距離画像２４を切断した横断面画像３２を生成する。

【0072】

そして、ステップＳ２５からステップＳ３５までの処理を第１実施例と同様に実行し、ステップＳ３５で“ＹＥＳ”であれば、つまり、切断高さが第２の高さであると判断した場合は、ステップＳ５３で、追跡リストに登録されたオブジェクト３４の数を、全体距離画像２４（計測領域）に含まれる人数としてカウントして、ステップＳ５５で、追跡リストに登録されたオブジェクト３４の頭部の位置を、全体距離画像２４（計測領域）に含まれる人の位置として検出して、メイン処理にリターンする。また、第２実施例の人認識処理では、第１実施例で説明したステップＳ３７が省略される。したがって、ステップＳ３５で“ＮＯ”であれば、つまり、切断高さが第２の高さでないと判断した場合はステップＳ３９で、切断高さを変更して、ステップＳ２３に戻る。

【0073】

このように、第２実施例によれば、図１３に示すように、全体距離画像２４に基づいて人認識処理を実行することによって、全体距離画像２４に含まれるオブジェクト３４の数を、全体距離画像２４に含まれる人数としてカウントして、計測領域に存在する人数を認識することができる。また、計測領域（全体距離画像）に存在する人の位置を検出することができる。すなわち、或るタイミングで撮影された１フレームの距離画像を処理することによって正確に人数カウントを行うことができる。

【0074】

上述の実施例では、図４（図７、図１１、図１２）のすべてのステップを１つのコンピュータ１４が実行するものとして説明したが、複数のコンピュータを用いてもよく、あるいは特定の処理をコンピュータではなくＤＳＰのような専用処理回路で処理するようにしてもよい。

【0075】

なお、上で挙げた角度、距離、時間の長さ、割合および変更幅などの具体的数値はいずれも単なる一例であり、必要に応じて適宜変更可能である。

【符号の説明】

【0076】

１０ …人認識システム
１２ …距離画像センサ
１４ …コンピュータ
１６ …メモリ
１８ …ディスプレイ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】