特許 7188240 人検出装置および人検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-05

(45)【発行日】2022-12-13

(54)【発明の名称】人検出装置および人検出方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221206BHJP

【ＦＩ】

G06T7/00 660B

【請求項の数】 8

(21)【出願番号】P 2019069969

(22)【出願日】2019-04-01

(65)【公開番号】P2020170247

(43)【公開日】2020-10-15

【審査請求日】2022-02-07

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】田中 清明

(72)【発明者】

【氏名】辻 郁奈

【審査官】真木 健彦

(56)【参考文献】

【文献】特開２０１７－２２７９５７（ＪＰ，Ａ）

【文献】特開２０１６－１５７１７０（ＪＰ，Ａ）

【文献】特開平１１－２６１８６８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

検出対象エリアの上方に設置された魚眼カメラにより得られた魚眼画像を解析して、前記検出対象エリア内に存在する人を検出する人検出装置であって、
魚眼画像から人体候補および物体を検出する検出部と、
前記人体候補の検出位置と前記人体候補の周辺に存在する前記物体の検出位置との位置関係に基づいて、前記人体候補が誤検出であるか否かを判定する誤検出判定部と、
を有することを特徴とする人検出装置。

【請求項2】

前記検出部は、前記物体の種類を特定し、
前記誤検出判定部は、前記物体の種類に基づいて、前記人体候補が誤検出であるか否かを判定する
ことを特徴とする請求項１に記載の人検出装置。

【請求項3】

前記検出部は、前記物体の除外領域を設定し、
前記誤検出判定部は、前記人体候補の検出位置と前記物体の除外領域との位置関係に基づいて、前記人体候補が誤検出であるか否かを判定する
ことを特徴とする請求項１または２に記載の人検出装置。

【請求項4】

前記誤検出判定部は、前記人体候補を囲む領域が、前記物体を囲む領域または前記物体の除外領域と重なり合う領域の割合に基づいて、前記人体候補が誤検出であるか否かを判定する
ことを特徴とする請求項１～３のいずれか１項に記載の人検出装置。

【請求項5】

検出対象エリアの上方に設置された魚眼カメラにより得られた魚眼画像を解析して、前記検出対象エリア内に存在する人を検出する人検出装置であって、
魚眼画像から人体候補および物体を検出する検出部と、
前記人体候補の検出位置と前記人体候補の周辺に存在する前記物体の検出位置との位置関係に基づいて、前記人体候補の姿勢を推定する姿勢推定部と、
を有することを特徴とする人検出装置。

【請求項6】

前記姿勢推定部は、前記人体候補の検出位置と前記物体の検出位置との位置関係について、前記魚眼画像よりも前のフレームからの変化に基づいて、前記人体候補の動作を推定する姿勢推定部と、
を有することを特徴とする請求項５に記載の人検出装置。

【請求項7】

検出対象エリアの上方に設置された魚眼カメラにより得られた魚眼画像を解析して、前記検出対象エリア内に存在する人を検出する人検出方法であって、
魚眼画像から人体候補および物体を検出する検出ステップと、
前記人体候補の検出位置と前記人体候補の周辺に存在する前記物体の検出位置との位置関係に基づいて、前記人体候補が誤検出であるか否かを判定する誤検出判定ステップと、を有することを特徴とする人検出方法。

【請求項8】

請求項７に記載の人検出方法の各ステップをコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、魚眼カメラの画像を用いて人を検出する技術に関する。

【背景技術】

【0002】

ビルディングオートメーション（ＢＡ）やファクトリーオートメーション（ＦＡ）の分野において、画像センサにより人の「数」・「位置」・「動線」などを自動で計測し、照明や空調などの機器を最適制御するアプリケーションが必要とされている。このような用途では、できるだけ広い範囲の画像情報を取得するために、魚眼レンズ（フィッシュアイレンズ）を搭載した超広角のカメラ（魚眼カメラ、全方位カメラ、全天球カメラなどと呼ばれるが、いずれも意味は同じである。本明細書では「魚眼カメラ」の語を用いる。）を利用することが多い。

【0003】

魚眼カメラで撮影された画像は大きく歪んでいる。それゆえ、魚眼カメラの画像（以後「魚眼画像」と呼ぶ。）から人体や顔などを検出する場合には、あらかじめ魚眼画像を平面展開することで歪みの少ない画像に補正した後に検出処理にかけるという方法が一般的である（特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－３９５３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来技術では次のような問題がある。一つは、魚眼画像を平面展開するという前処理が発生することで、全体の処理コストが大きくなるという問題である。これは、リアルタイムの検出処理を困難にし、機器制御の遅延を招く可能性があり、好ましくない。二つ目の問題は、魚眼カメラの真下など、ちょうど平面展開時の境界（画像の切れ目）の位置に存在する人や物体の像が、平面展開の処理によって大きく変形してしまったり、像が分断されてしまったりして、正しく検出できない恐れがあることである。

【0006】

これらの問題を回避するため、本発明者らは、魚眼画像をそのまま（「平面展開せずに」という意味である。）検出処理にかけるというアプローチを研究している。しかし、通常のカメラ画像に比べ、魚眼画像の場合は、検出対象となる人の見え方（人体の傾き、歪み、大きさ）のバリエーションが増加するため、検出が困難となる。特に、ＢＡやＦＡなどのアプリケーションを想定した場合、画像中に、椅子、パーソナルコンピュータ、ごみ箱、扇風機、サーキュレーターなど、人体や頭部と誤り易い物体が多く存在する。このため、物体を人体として認識してしまう誤検出が増加し、検出精度の低下を招きやすい。

【0007】

本発明は上記実情に鑑みなされたものであって、魚眼画像から高速に且つ高精度に人を検出する技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために本発明は、以下の構成を採用する。

【0009】

本発明の第一側面は、検出対象エリアの上方に設置された魚眼カメラにより得られた魚眼画像を解析して、前記検出対象エリア内に存在する人を検出する人検出装置であって、魚眼画像から人体候補および物体を検出する検出部と、前記人体候補の検出位置と前記人
体候補の周辺に存在する前記物体の検出位置との位置関係に基づいて、前記人体候補が誤検出であるか否かを判定する誤検出判定部と、を有することを特徴とする人検出装置を提供する。

【0010】

「魚眼カメラ」は、魚眼レンズを搭載したカメラであり、通常のカメラに比べて超広角での撮影が可能なカメラである。全方位カメラや全天球カメラも魚眼カメラの一種である。魚眼カメラは、検出対象エリアの上方から検出対象エリアを見下ろすように設置されていればよい。典型的には魚眼カメラの光軸が鉛直下向きとなるように設置されるが、魚眼カメラの光軸が鉛直方向に対して傾いていても構わない。

【0011】

「人体」は、人の全身でもよいし、半身（例えば、上半身、頭部と胴体など）でもよい。人体として検出した検出結果には人体ではない物体も含まれ得るため、検出した段階では「人体候補」とも呼ぶ。「物体」は、オフィスでの椅子、机、棚など、工場での作業台、各種装置などが挙げられる。「人体候補の検出位置」は、人体候補を囲む領域全体として、物体の検出位置との位置関係を特定してもよく、人体候補を囲む領域の中心座標として、物体の検出位置との位置関係を特定してもよい。同様に、「物体の検出位置」は、物体を囲む領域全体としてもよく、物体を囲む領域の中心座標としてもよい。「位置関係」は、人体候補と物体とが重なり合う位置関係、人体候補が物体に隣接して存在する位置関係などを含む。

【0012】

本発明は、検出された人体候補の検出位置と人体候補の周辺に存在する物体の検出位置との位置関係の妥当性を検証して誤検出判定を行うことにより、高精度な人検出を簡易な処理で実現することができる。しかも、魚眼画像を平面展開するなどの前処理が不要なため、高速な処理が実現できる。また、機器管理の観点からは、人検出の精度が向上することで、照明または空調を好適に制御することが可能となる。

【0013】

前記検出部は、前記物体の種類を特定し、前記誤検出判定部は、前記物体の種類に基づいて、前記人体候補が誤検出であるか否かを判定するものであってもよい。物体の種類によって、想定される人体との位置関係は異なる。例えば、人体は、椅子の上には座るが机の上に乗ることはない。このように、本発明は、物体の種類を考慮して、人体候補の検出位置と物体の検出位置との位置関係の妥当性を検証して誤検出判定を行うことで、より精度よく人体を検出することができる。

【0014】

前記検出部は、前記物体の除外領域を設定し、前記誤検出判定部は、前記人体候補の検出位置と前記物体の除外領域との位置関係に基づいて、前記人体候補が誤検出であるか否かを判定するものであってもよい。「除外領域」は、物体を囲む領域のうち、人体とは重なり合うことがないと想定される領域である。検出部は、例えば、人体候補の検出位置が除外領域と重なり合う場合、または人体候補の中心が除外領域に含まれる場合に、当該人体候補の検出が誤検出であったと判定することができる。除外領域は、既知の物体に対しては予め設定されてもよい。また、除外領域は、物体を囲む領域のうち、周囲から所定の幅の領域を除いた領域としてもよい。本発明は、人体候補の検出位置と物体の除外領域との位置関係の妥当性を検証して誤検出判定を行うことで、より精度よく人体を検出することができる。

【0015】

前記誤検出判定部は、前記人体候補を囲む領域が、前記物体を囲む領域または前記物体の除外領域と重なり合う領域の割合に基づいて、前記人体候補が誤検出であるか否かを判定するものであってもよい。重なり合う領域の割合は、重なり合う領域の面積を、人体候補を囲む領域面積で除算することによって算出することができる。誤検出判定部は、算出した割合が所定の閾値より大きい場合に、人体候補の検出が誤検出であったと判定することができる。本発明は、人体候補と物体とがどの程度重なり合うかによって位置関係の妥
当性を検証して誤検出判定を行うことで、より精度よく人体を検出することができる。

【0016】

本発明の別形態は、検出対象エリアの上方に設置された魚眼カメラにより得られた魚眼画像を解析して、前記検出対象エリア内に存在する人を検出する人検出装置であって、魚眼画像から人体候補および物体を検出する検出部と、前記人体候補の検出位置と前記人体候補の周辺に存在する前記物体の検出位置との位置関係に基づいて、前記人体候補の姿勢を推定する姿勢推定部と、を有することを特徴とする人検出装置を提供する。姿勢推定部は、物体との位置関係に基づいて、人体が立っているか座っているかといった姿勢を推定することができる。人検出装置は、人の姿勢を含め、より精度良く人体の検出をすることができる。人の姿勢を推定することで、照明または空調などの機器管理は、好適な制御が可能となる。

【0017】

前記姿勢推定部は、前記人体候補の検出位置と前記物体の検出位置との位置関係について、前記魚眼画像よりも前のフレームからの該位置関係の変化に基づいて、前記人体候補の動作を推定するものであってもよい。人体候補の検出位置と物体の検出位置との位置関係の変化から、人体の動作は推定することが可能である。姿勢推定部は、物体との位置関係の変化に基づいて、人体が立ちあがったり座ったりといった動作を推定することができる。人検出装置は、人の動作を含め、より精度良く人体の検出をすることができる。人の動作を推定することで、照明または空調などの機器管理は、好適な制御が可能となる。

【0018】

本発明の第二側面は、検出対象エリアの上方に設置された魚眼カメラにより得られた魚眼画像を解析して、前記検出対象エリア内に存在する人を検出する人検出方法であって、
魚眼画像から人体候補および物体を検出する検出ステップと、前記人体候補の検出位置と前記人体候補の周辺に存在する前記物体の検出位置との位置関係に基づいて、前記人体候補が誤検出であるか否かを判定する誤検出判定ステップと、を有することを特徴とする人検出方法を提供する。

【0019】

本発明は、上記手段の少なくとも一部を有する人検出装置として捉えてもよいし、検出した人を認識（識別）する人認識装置、検出した人をトラッキングする人追跡装置、あるいは画像処理装置や監視システムとして捉えてもよい。また、本発明は、上記処理の少なくとも一部を含む人検出方法、人認識方法、人追跡方法、画像処理方法、監視方法として捉えてもよい。また、本発明は、かかる方法を実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

【発明の効果】

【0020】

本発明によれば、魚眼画像から高速に且つ高精度に人を検出する技術を提供することができる。

【図面の簡単な説明】

【0021】

【図1】図１は、本発明に係る人検出装置の適用例を示す図である。

【図2】図２は、魚眼画像とバウンディングボックスの例を示す図である。

【図3】図３は、人検出装置を備える監視システムの構成例を示す図である。

【図4】図４は、人検出処理のフローチャートである。

【図5】図５は、検出部による人体候補の検出結果の例を示す図である。

【図6】図６は、検出部による物体の検出結果の例を示す図である。

【図7】図７は、誤検出除去リストを例示する図である。

【図8】図８は、物体との位置関係による誤検出の判定を説明する図である。

【図9】図９は、物体と重なる領域の割合による誤検出の判定を説明する図である。

【図10】図１０は、変形例に係る人検出装置を備える監視システムの構成例を示す図である。

【図11】図１１は、人の姿勢推定処理のフローチャートである。

【発明を実施するための形態】

【0022】

＜適用例＞
図１を参照して、本発明に係る人検出装置の適用例を説明する。人検出装置１は、検出対象エリア１１の上方（例えば天井１２など）に設置された魚眼カメラ１０により得られた魚眼画像を解析して、検出対象エリア１１内に存在する人１３を検出する装置である。この人検出装置１は、例えば、オフィスや工場などにおいて、検出対象エリア１１で作業をする人１３の検出、認識、追跡などを行う。

【0023】

人検出装置１は、魚眼画像から人体候補を検出する。図１の例では、魚眼画像から検出された３つの人体それぞれの領域が矩形のバウンディングボックス１４で示されている。また、机の上に置かれたノートパソコンが人体として誤検出され、バウンディングボックス１４で示されている。バウンディングボックス１４は、人体候補を囲む領域を表す閉図形あるいは枠線である。人体候補の検出結果は、人体候補の検出位置を含む。

【0024】

人検出装置１は、また、魚眼画像から物体を検出する。検出された物体は、人体候補のバウンディングボックス１４とは区別可能にバウンディングボックスによって示されてもよい。人検出装置１は、物体を検出するために予め用意された辞書を使用して、机、椅子、作業台、踏台といった物体の種類を特定することも可能である。物体の検出結果は、物体の検出位置および物体の種類を含む。

【0025】

人検出装置１は、人体候補の周辺に存在する物体を特定し、人体候補の検出位置と人体候補の周辺に存在する物体の検出位置との位置関係に基づいて、前記人体候補が誤検出であるか否かを判定する。誤検出と判定された人体候補は、人体の検出結果から除かれる。人検出装置１による人体の検出結果は、外部装置に出力され、例えば、人数のカウント、照明や空調など各種機器の制御、不審者の監視などに利用される。

【0026】

魚眼カメラ１０で検出対象エリア１１を見下ろすように撮影した場合、魚眼カメラ１０との位置関係に依存して人体の見え方（写り方）が大きく変わる。それゆえ、魚眼画像は、バウンディングボックス１４の形状やサイズが画像上の検出位置に応じて変化するという特性をもつ。人検出装置１は、このような魚眼画像の特性を考慮し、検出された人体候補のバウンディングボックス１４の形状やサイズの妥当性を検証するというシンプルな方法で誤検出判定を行うことによって、誤検出でないかどうかの判定を行う点に特徴の一つを有する。また、人検出装置１は、魚眼画像をそのまま（つまり、平面展開や歪み補正などの前処理を行わずに）人検出処理に用いる点にも特徴の一つを有する。

【0027】

＜実施形態＞
（魚眼画像の特性）
図２は、魚眼カメラ１０から取り込まれた魚眼画像の例を示す。画像座標系は、魚眼画像の左下のコーナーを原点（０，０）とし、横方向右側にｘ軸、縦方向上側にｙ軸をとる。

【0028】

光軸が鉛直下向きになるように魚眼カメラ１０を設置した場合、魚眼画像の中心には、魚眼カメラ１０の真下に存在する人を頭頂部から観察した像が表れる。そして、魚眼画像の端にいくにしたがって俯角が小さくなり、人を斜め上方から観察した像が表れることとなる。また、魚眼画像中の人体は、直立している場合には足元が画像の中心側、頭部が画像の端側に位置し、かつ、画像の中心を通る放射状の線（図２の破線）に略平行となるような角度で写る。また、魚眼画像の中心は比較的歪みが小さいが、魚眼画像の端にいくに
したがって画像の歪みが大きくなる。

【0029】

符号１４ａ～１４ｆは、魚眼画像中の人体の領域を囲むように配置されたバウンディングボックスを示す。本実施形態では、画像処理の便宜から、ｘ軸またはｙ軸と平行な四辺から構成される矩形のバウンディングボックスが用いられる。

【0030】

図２に示すように、魚眼画像の中央エリアに存在するバウンディングボックス（例えば、１４ａ）は略正方形となる。また、中央エリアに対し斜め４５度にあるエリアに存在するバウンディングボックス（例えば、１４ｂ、１４ｃ）も略正方形となる。中央エリアの上側および下側のエリアに存在するバウンディングボックス（例えば、１４ｄ）は縦長の長方形（ｙ軸に平行な長辺をもつ長方形）となり、画像の中心に近いほど正方形に近づき、画像の中心から離れるほど縦長になる。中央エリアの左側および右側のエリアに存在するバウンディングボックス（例えば、１４ｅ、１４ｆ）は横長の長方形（ｘ軸に平行な長辺をもつ長方形）となり、画像の中心に近いほど正方形に近づき、画像の中心から離れるほど横長になる。

【0031】

このように、魚眼画像は、画像中心を基準とした方位と距離に依存してバウンディングボックスの形状（例えば、アスペクト比）が変化する、という特性を有する。魚眼画像上の位置またはエリアごとのバウンディングボックスのアスペクト比は、魚眼カメラ１０の光学特性、魚眼カメラ１０と検出対象エリア１１の位置関係、および、平均的な人体のサイズを基に、幾何学的に計算（予測）することが可能である。

【0032】

また、図２に示すように、人体の写る大きさは、魚眼画像の中心が最も大きく、端にいくほど小さくなる。すなわち、魚眼画像は、画像中心を基準とした距離に依存してバウンディングボックスのサイズ（例えば、面積）が変化する（距離が遠くなるほどサイズが小さくなる）、という特性を有する。魚眼画像上の位置またはエリアごとのバウンディングボックスの面積についても、魚眼カメラ１０の光学特性、魚眼カメラ１０と検出対象エリア１１の位置関係、および、平均的な人体のサイズを基に、幾何学的に計算（予測）することが可能である。

【0033】

（監視システム）
図３を参照して、本発明の実施形態を説明する。図３は、本発明の実施形態に係る人検出装置１を適用した監視システム２の構成を例示するブロック図である。監視システム２は、魚眼カメラ１０と人検出装置１とを備えている。

【0034】

魚眼カメラ１０は、魚眼レンズを含む光学系と撮像素子（ＣＣＤやＣＭＯＳなどのイメージセンサ）を有する撮像装置である。魚眼カメラ１０は、例えば図１に示すように、検出対象エリア１１の天井１２などに、光軸を鉛直下向きにした状態で設置され、検出対象エリア１１の全方位（３６０度）の画像を撮影するとよい。魚眼カメラ１０は人検出装置１に対し有線（ＵＳＢケーブル、ＬＡＮケーブルなど）または無線（ＷｉＦｉなど）で接続され、魚眼カメラ１０で撮影された画像データは人検出装置１に取り込まれる。画像データはモノクロ画像、カラー画像のいずれでもよく、また画像データの解像度やフレームレートやフォーマットは任意である。本実施形態では、１０ｆｐｓ（１秒あたり１０枚）で取り込まれるモノクロ画像を用いることを想定している。

【0035】

本実施形態の人検出装置１は、画像入力部２０、検出部２１、記憶部２３、判定基準リスト２４、誤検出判定部２５、出力部２６を有している。画像入力部２０は、魚眼カメラ１０から画像データを取り込む機能を有する。取り込まれた画像データは検出部２１に引き渡される。この画像データは記憶部２３に格納されてもよい。

【0036】

検出部２１は、人体を検出するアルゴリズムを用いて、魚眼画像から人体候補を検出する機能を有する。人体検出辞書２２Ａは、魚眼画像に表れる人体の画像特徴があらかじめ登録されている辞書である。また、検出部２１は、人体ではない物体を検出するアルゴリズムを用いて、魚眼画像から人体の周辺に存在する物体を検出する機能を有する。物体検出辞書２２Ｂは、魚眼画像に表れる物体の画像特徴があらかじめ登録されている辞書である。物体検出辞書２２Ｂは、机、いす、棚、脚立など物体の種類ごとに画像特徴が登録されている。検出部２１は、物体検出辞書２２Ｂを参照して、検出した物体の種類を特定することができる。

【0037】

記憶部２３は、魚眼画像、検出結果などを記憶する機能を有する。記憶部２３は、検出部２１によって検出された人体と物体とを区別して記憶する。判定基準リスト２４は、人体と物体との位置関係に基づいて、誤検出か否かを判定したり、人体の姿勢を認識したりするために用いられる情報を記憶する機能を有する。この情報は、監視システム２の稼働に先立ち（例えば、監視システム２の工場出荷時、設置時、メンテナンス時などに）、あらかじめ設定される。また、監視システム２の稼働後に更新されてもよい。

【0038】

誤検出判定部２５は、検出部２１の検出結果を検証し、誤検出の有無を判定する機能を有する。出力部２６は、魚眼画像や検出結果などの情報を外部装置に出力する機能を有する。例えば、出力部２６は、外部装置としてのディスプレイに情報を表示してもよいし、外部装置としてのコンピュータに情報を転送してもよいし、外部装置としての照明装置や空調やＦＡ装置に対し情報や制御信号を送信してもよい。

【0039】

人検出装置１は、例えば、ＣＰＵ（プロセッサ）、メモリ、ストレージなどを備えるコンピュータにより構成することができる。その場合、図３に示す構成は、ストレージに格納されたプログラムをメモリにロードし、ＣＰＵが当該プログラムを実行することによって実現されるものである。かかるコンピュータは、パーソナルコンピュータ、サーバコンピュータ、タブレット端末、スマートフォンのような汎用的なコンピュータでもよいし、オンボードコンピュータのように組み込み型のコンピュータでもよい。あるいは、図３に示す構成の全部または一部を、ＡＳＩＣやＦＰＧＡなどで構成してもよい。あるいは、図３に示す構成の全部または一部を、クラウドコンピューティングや分散コンピューティングにより実現してもよい。

【0040】

（人検出処理）
図４は、人検出装置１による人検出処理のフローチャートである。図４に沿って人検出処理の全体的な流れを説明する。なお、図４のフローチャートは、１フレームの魚眼画像に対する処理を示している。図４の処理は、１０ｆｐｓで魚眼画像が入力される場合には、１秒間に１０回実行されることとなる。

【0041】

まず、画像入力部２０が魚眼カメラ１０から１フレームの魚眼画像を入力する（ステップＳ４０）。背景技術の欄で述べたように、従来は、魚眼画像の歪みを補正した平面展開画像を作成した後、検出や認識などの画像処理を行っていたが、本実施形態の監視システム２では、魚眼画像をそのまま（歪んだまま）検出や認識の処理に用いる。

【0042】

次に、検出部２１が魚眼画像から人体および人体の周辺に存在する物体を検出する（ステップＳ４１）。魚眼画像内に複数の人が存在する場合には、複数の人体および各人体の周辺に存在する物体が検出される。検出部２１は、人体を検出して当該人体の周辺に存在する物体を検出する処理を、それぞれの人体について実行してもよい。また、検出部２１は、魚眼画像に含まれる人体と物体とを検出した後、検出したそれぞれの人体に対して、周辺に存在する物体を特定するようにしてもよい。検出部２１は、検出した人体と当該人体の周辺に存在する物体とを対応付けて記憶部２３に格納することができる。

【0043】

検出部２１は、検出した物体の種類（机、いす、棚、脚立など）を識別する。物体の種類の識別は、物体認識とも称する。検出部２１により検出された物体の検出結果は、人体の誤検出の判定に用いられる。

【0044】

ここで、ステップＳ４１における人体の検出について説明する。検出部２１は、人体ではない物体（例えば、扇風機、デスクチェア、コート掛けなど、形状や色が人体と紛らわしい物）を、誤って人体として検出する場合がある。このように検出部２１が人体として検出した検出結果には人体ではない物体も含まれ得るため、この段階では「人体候補」と呼ぶ。

【0045】

図５は、検出部２１による人体候補の検出結果の例である。この例では、人体５０、５１、５２の他、人体ではない物体５３も人体候補として検出されてしまっている。符号５０ａ～５３ａは、各人体候補のバウンディングボックスを示している。

【0046】

人体候補の検出結果には、例えば、検出された人体候補の領域を示すバウンディングボックスの情報と、検出の信頼度（人体であることの確からしさ）の情報とが含まれるとよい。バウンディングボックスの情報は、例えば、バウンディングボックスの中心座標（ｘ，ｙ）、高さｈ、幅ｗ（人体候補の検出位置に相当）を含むとよい。人体候補の検出結果は、記憶部２３に格納される。

【0047】

なお、人体検出にはどのようなアルゴリズムを用いてもよい。例えば、ＨｏＧやＨａａｒ－ｌｉｋｅなどの画像特徴とブースティングを組み合わせた識別器を用いてもよいし、ディープラーニング（例えば、Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、ＹＯＬＯ、ＳＳＤなど）による人体認識を用いてもよい。本実施形態では、人体として人の全身を検出しているが、これに限らず、上半身など体の一部を検出対象としてもよい。

【0048】

次に、ステップＳ４１における物体の検出について説明する。図６は、検出部２１による物体の検出結果の例である。この例では、物体６０～物体６６が検出されている。物体の検出結果には、例えば、検出された物体の領域を示すバウンディングボックスの情報と、物体の種類とが含まれる。バウンディングボックスの情報は、例えば、バウンディングボックスの中心座標（ｘ，ｙ）、高さｈ、幅ｗ（物体の検出位置に相当）を含むとよい。バウンディングボックスの情報は、記憶部２３に格納される。

【0049】

物体６０は、机であると認識され、物体の種類として「机」が記憶部２３に格納される。また、物体６１～物体６６は、椅子であると認識され、物体の種類として「椅子」が記憶部２３に格納される。符号６０ａは物体６０（机）のバウンディングボックスを示し、符号６１ａ～６６ａは、物体６１～物体６６（椅子）のバウンディングボックスを示している。なお、図６に示す物体の検出結果は、出力部２６を介して、図５に示す人体候補の検出結果に重畳して、外部装置としてのディスプレイに表示されてもよい。

【0050】

なお、物体の検出および物体認識にはどのようなアルゴリズムを用いてもよく、人体検出と同様にブースティング（機械学習）やディープラーニングによる検出および認識が可能である。機械学習による物体認識では、検出対象エリア１１に存在する物体を教師データとして予め学習させておくことも可能である。

【0051】

次に、誤検出判定部２５は、検出部２１による人体候補の検出結果に含まれるバウンディングボックス５０ａ～５３ａのそれぞれについて、誤検出の判定を行う（ステップＳ４２）。誤検出か否かは、各人体候補とステップＳ４１で検出した物体との位置関係に基づいて判定される。例えば、他の物体と重なる領域の割合が所定の閾値より大きい場合、す
なわち、他の物体の上に存在するような場合、人体候補は人体ではないことが想定される。図５の例では、人体候補５３は、全体が机と重なっていることから人体ではなく、誤検出されたと判定される。誤検出判定の詳細は後述する。

【0052】

誤検出（つまり、人体でない）と判定された人体候補が発見された場合には（ステップＳ４３のＹＥＳ）、誤検出判定部２５は、記憶部２３に記憶されている検出結果を修正する（ステップＳ４４）。具体的には、誤検出判定部２５は、誤検出と判定された人体候補の情報を検出結果から除外してもよいし、あるいは、誤検出と判定された人体候補の信頼度を下げてもよい。最後に、出力部２６が、検出結果を外部装置に出力する（ステップＳ４５）。以上で１フレームの魚眼画像に対する処理が終了する。

【0053】

本実施形態の人検出処理によれば、魚眼画像をそのまま解析し、魚眼画像からダイレクトに人検出を行う。したがって、魚眼画像の平面展開や歪み補正といった前処理を省略でき、高速な人検出処理が可能である。魚眼画像をそのまま検出処理に用いる方法は、平面展開（歪み補正）した後に検出処理を行う方法に比べ、検出精度が低下するという課題がある。本実施形態では、人体の周辺に存在する物体との位置関係を検証することによって誤検出を排除するため、高精度な検出が実現できる。

【0054】

（誤検出判定）
誤検出判定部２５による誤検出判定の具体例を説明する。誤検出判定部２５は、人体候補の検出位置と人体候補の周辺に存在する物体の検出位置との位置関係に基づいて、人体候補が誤検出であるか否かを判定する。位置関係は、例えば、人体候補と物体とが重なり合う位置関係、人体候補が物体に隣接して存在する位置関係を含む。誤検出判定部２５は、さらに、重なり合う物体の種類、または隣接する物体の種類に応じて誤検出を判定してもよい。また、誤検出判定部２５は、人体候補と物体とが重なり合う程度、または隣接する物体との距離に応じて誤検出を判定してもよい。

【0055】

（１）位置関係および物体の種類による判定
人は会議室の机または工場内の作業台に対し、隣接する位置に存在したり、手が重なり合うように存在したりするが、机や作業台の上に乗ることはないと想定される。一方で、椅子または脚立などには、人が座ったり上ったりすることがある。このように、判定対象の人体候補が物体と重なり合ったり、物体に隣接したりする位置関係にある場合、物体の種類に基づいて、人体候補が人体であるか否かを判定することができる。ここでは、人体候補が物体と重なり合う場合における誤検出の判定について説明する。

【0056】

ステップＳ４１で検出した物体は、物体の種類とともに記憶部２３に格納される。また、判定基準リスト２４は、人が重なり合うことがないと想定される物体の種類を定義する誤検出除去リストを含む。図７は、誤検出除去リストを例示する図である。図７に例示されるように、机、棚、ライン作業台（流れ作業による生産、組立てなど一連の工程を行うための作業台）、作業台などは、人が重なり合うことがないと想定される物体である。

【0057】

誤検出判定部２５は、ステップＳ４１で検出した物体のうち、判定対象の人体候補と重なり合う物体を特定する。ステップＳ４１で検出した物体のバウンディングボックスの中心座標（ｘ，ｙ）、高さｈ、幅ｗは記憶部２３に格納されている。したがって、誤検出判定部２５は、人体候補のバウンディングボックスと物体のバウンディングボックスとが重なり合う物体を、人体候補と重なり合う物体として特定する。人体候補のバウンディングボックスと物体のバウンディングボックスとが重なるか否かは、各バウンディングボックスの中心座標間の距離、および各バウンディングボックスの高さｈ、幅ｗを用いて判定可能である。

【0058】

なお、ステップＳ４１において、各人体候補に対し、それぞれの人体候補と重なり合う物体を特定して検出した場合、各人体候補は、それぞれの人体候補と重なり合う物体と対応づけて記憶部２３に格納される。この場合、誤検出判定部２５は、記憶部２３を参照して、人体候補と重なり合う物体を取得（特定）することができる。

【0059】

誤検出判定部２５は、人体候補と重なり合う物体の検出結果から物体の種類を取得する。誤検出判定部２５は、取得した物体の種類が、図７に示す誤検出除去リストに含まれるか否かを判定する。物体の種類が誤検出除去リストに含まれていた場合、誤検出判定部２５は、ステップＳ４１における人体候補の検出が誤検出であったと判定する。

【0060】

例えば、図５の人体候補５３のバウンディングボックス５３ａは、図６の物体６０のバウンディングボックス６０ａと重なり合う。物体６０の種類は「机」である。誤検出除去リストには、「机」が含まれているため、誤検出判定部２５は、人体候補５３の検出が誤検出であったと判定することができる。

【0061】

（２）物体の除外領域との位置関係による判定
人体候補として検出された人は、机の端に手を置いたり、作業台の上で作業をしたりすることで、物体の周辺部分と重なり合う場合がある。一方、複数人で使用するような大型の机では、周囲から所定の幅を隔てた中央部分に人が重なることはないと考えられる。このように、人体候補と物体との位置関係、すなわち、人体候補が物体のどの部分と重なり合うかに基づいて、誤検出判定部２５は、人体候補が人体であるか否かを判定することができる。

【0062】

誤検出判定部２５は、例えば、人体候補の中心座標が、人体候補と重なり合う物体に対して設定された除外領域内に含まれる場合に、ステップＳ４１における人体候補の検出が誤検出であったと判定することができる。また、誤検出判定部２５は、人体候補のバウンディングボックスが除外領域と重なり合う場合に、ステップＳ４１における人体候補の検出が誤検出であったと判定してもよい。

【0063】

除外領域は、ステップＳ４１で検出された物体ごとに設定される。検出部２１は、例えば、バウンディングボックスの周囲から所定の幅の領域を除いた領域を、除外領域として設定することができる。また、棚のように、前面側で人体と重なり合うと想定される物体では、背面側（人体と重ならないない側）が除外領域として設定されてもよい。このように、検出部２１は、検出された物体の種類に基づいて除外領域を設定することも可能である。

【0064】

検出部２１は、検出した物体ごとに、設定した除外領域の中心座標（ｘ，ｙ）、高さｈ、幅ｗを算出し、記憶部２３に格納する。誤検出判定部２５は、記憶部２３に格納された除外領域の情報を参照して、人体候補の中心座標が、重なり合う物体の除外領域内に含まれるか否かを判定することができる。

【0065】

ここで、図８を用いて、物体との位置関係による誤検出の判定について説明する。物体として検出された物体６０（机）には、一点鎖線で示される除外領域６０ｂが設定されている。人体候補５０のバウンディングボックス５０ａは、机６０のバウンディングボックス６０ａと重なり合うが、除外領域６０ｂとは重ならない。この場合、誤検出判定部２５は、人体候補５０の検出は誤検出ではないと判定することができる。

【0066】

また、人体候補５３のバウンディングボックス５３ａは、除外領域６０ｂと重なっている。バウンディングボックス５３ａの中心座標は、除外領域６０ｂに含まれるため、誤検出判定部２５は、人体候補５３の検出は誤検出であると判定することができる。

【0067】

（３）物体と重なる割合で定まる位置関係による判定
人体候補が物体と重なる場合、誤検出判定部２５は、人体候補が物体と重なる領域の割合を用いて、人体候補が人体であるか否かを判定することができる。すなわち、人体候補が物体とどの程度重なり合うかによって定まる、人体候補と物体との位置関係に基づいて、誤検出判定部２５は、人体候補が人体であるか否かを判定することができる。

【0068】

人体候補が物体と重なる領域の割合は、例えば、人体候補のバウンディングボックスに対して、重なり合う物体のバウンディングボックスが占める領域の割合として算出することができる。誤検出判定部２５は、算出した割合が所定の閾値よりも大きい場合に、ステップＳ４１における人体候補の検出が誤検出であったと判定する。なお、所定の閾値は、物体の種類に応じて定められても良い。例えば、所定の閾値は、物体の種類が机の場合は３０％、物体の種類が椅子の場合は８０％と設定することができる。このように、椅子は人体と重なる領域が机よりも広いことが想定されるため、椅子に対する所定の閾値は、机よりも大きい値に設定することができる。所定の閾値は、予め判定基準リスト２４に格納される。

【0069】

ここで、図９を用いて、物体と重なる領域の割合による誤検出の判定について説明する。図９（Ａ）において、人体候補５０は、机６０および椅子６２と重なり合う。人体候補５０のバウンディングボックス５０ａと机６０のバウンディングボックス６０ａとが重なり合う領域を領域Ａ１とする。また、人体候補５０のバウンディングボックス５０ａと椅子６２のバウンディングボックス６２ａとが重なり合う領域を領域Ａ２とする。バウンディングボックス５０ａに対する領域Ａ１の割合が閾値以下であれば、誤検出判定部２５は、検出が誤検出でないと判定することができる。また、バウンディングボックス５０ａに対する領域Ａ２の割合が閾値以下であれば、誤検出判定部２５は、検出が誤検出でないと判定することができる。

【0070】

一方、図９（Ｂ）において、人体候補５３は、机６０と重なり合う。人体候補５３のバウンディングボックス５３ａは、机６０のバウンディングボックス６０ａの領域内に含まれる。このため、人体候補５３のバウンディングボックス５３ａに対して、机６０のバウンディングボックス６０ａが重なる領域の割合は１００％である。机に対する所定の閾値を３０％とした場合、バウンディングボックス５３ａにバウンディングボックス６０ａが重なる領域の割合は閾値を超える。したがって、誤検出判定部２５は、ステップＳ４１における人体候補の検出が誤検出であったと判定することができる。

【0071】

なお、上記の（１）から（３）の誤検出判定の方法は、適宜組み合わせることが可能である。例えば、誤検出判定部２５は、人体候補のバウンディングボックスと物体の除外領域とが重なる領域の割合に基づいて、人体候補の検出が誤検出であったか否かを判定してもよい。

【0072】

＜実施形態の作用効果＞
上記実施形態では、人検出装置１は、魚眼画像から人体および人体候補の周辺に存在する物体を検出する。人検出装置１は、人体候補の検出位置と物体の検出位置との位置関係に基づいて、人体候補の検出が誤検出であったか否かを判定する。これにより、人検出装置１は、魚眼画像から高速に且つ高精度に人を検出することができる。

【0073】

また、人検出装置１は、人体候補の検出位置と物体の検出位置との位置関係および物体の種類に基づいて、人体候補の検出が誤検出であったか否かを判定してもよい。物体の種類により人体候補と物体との位置関係の妥当性を検証するため、より精度よく人体を検出することができる。

【0074】

また、人検出装置１は、人体候補の検出位置と物体の除外領域との位置関係に基づいて、人体候補が誤検出であるか否かを判定してもよい。除外領域は、人体と重なり合わない領域として設定される。除外領域と重なり合う人体候補は、誤検出であったと判定することができるため、人検出装置１は、より精度よく人体を検出することができる。

【0075】

さらに、人検出装置１は、人体候補が物体と重なり合う領域の割合に基づいて、人体候補が誤検出であるか否かを判定してもよい。人検出装置１は、人体候補が物体とどの程度重なり合うかによって位置関係の妥当性を検証して誤検出判定を行うため、より精度よく人体を検出することができる。

【0076】

＜変形例＞
実施形態では、人体と周辺の物体との位置関係により、人体候補の検出が誤検出か否かを判定した。これに対し、変形例では、人体と周辺の物体との位置関係により、人体の姿勢を推定する。

【0077】

図１０は、変形例に係る人検出装置を備える監視システムの構成例を示す図である。変形例に係る人検出装置１は、図３に示す実施形態の構成に加え、姿勢推定部２７を備える。姿勢推定部２７は、魚眼画像から検出した人体または物体の検出結果に基づいて、検出した人体（人体候補）の姿勢および動作を推定する。姿勢推定部２７は、人体と周囲の物体との位置関係により人体の姿勢を推定することができる。また、姿勢推定部２７は、現フレームよりも前のフレームからの人体と物体との位置関係の変化によって、立ったり座ったりといった人体の動作を推定することができる。姿勢推定部２７は、前のフレームからの人体の形状の変化によっても、人体の動作の推定をすることができる。

【0078】

図１１は、人の姿勢推定処理のフローチャートである。図１１に沿って人の姿勢推定の全体的な流れを説明する。なお、図１１のフローチャートは、１フレームの魚眼画像に対する処理を示している。図１１の処理は、１０ｆｐｓで魚眼画像が入力される場合には、１秒間に１０回実行されることとなる。ステップＳ１００およびステップＳ１０１の処理は、図４のステップＳ４０およびステップＳ４１と同様であるため説明は省略する。

【0079】

姿勢推定部２７は、Ｓ１０１で検出した人体および物体の検出結果に基づいて、人の姿勢および動作を推定する（ステップＳ１０２）。姿勢推定部２７は、検出した人体の周辺にある物体の種類を取得する。物体が椅子であって、人体が椅子と重なり合う場合、検出した人は、座っていると推定される。物体が机であって、人体が机の前にいる場合も、人は座っていると推定される。

【0080】

姿勢推定部２７は、記憶部２３に格納された前のフレームにおける検出結果を参照して、人の動作を推定することも可能である。例えば、前のフレームで検出された椅子が現フレームで検出されず、椅子の周辺で人体が検出された場合、姿勢推定部２７は、立っていた人が座ったと推定することができる。また、姿勢推定部２７は、前のフレームで検出された人の体の形状が長くなった場合、座っている状態から立ち上がったと推定することができる。反対に、前のフレームで検出された人の体の形状が短くなった場合、姿勢推定部２７は、立っている状態から座ったと推定することができる。

【0081】

最後に、出力部２６は、推定した結果を外部装置に出力する（ステップＳ１０３）。以上で１フレームの魚眼画像に対する処理が終了する。

【0082】

＜変形例の作用効果＞
魚眼画像から検出した人体の画像を解析するだけでは、人の姿勢または動作まで推定す
ることは困難である。本変形例では、人検出装置１は、人体の周辺にある物体を検出し、人体と物体との位置関係に基づいて人体の姿勢および動作を推定することができる。このように、人検出装置１は、人の姿勢および動作を含め、精度良く人体の検出をすることができる。

【0083】

＜その他＞
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、図７に示したテーブルの値、上記実施形態で示した閾値などはいずれも説明のための例示にすぎない。また、上記実施形態では、矩形のバウンディングボックスを例示したが、矩形以外の形態（多角形、楕円、自由図形など）のバウンディングボックスを用いてもよい。

【0084】

＜付記１＞
（１）検出対象エリア（１１）の上方に設置された魚眼カメラ（１０）により得られた魚眼画像を解析して、前記検出対象エリア内に存在する人（１３）を検出する人検出装置（１）であって、
魚眼画像から人体候補および前記人体候補の周辺に存在する物体を検出する検出部（２１）と、
前記人体候補の検出位置と前記物体の検出位置との位置関係に基づいて、前記人体候補が誤検出であるか否かを判定する誤検出判定部（２５）と、
を有することを特徴とする人検出装置。

【0085】

（２）検出対象エリア（１１）の上方に設置された魚眼カメラ（１０）により得られた魚眼画像を解析して、前記検出対象エリア内に存在する人（１３）を検出する人検出装置（１）であって、
魚眼画像から人体候補および前記人体候補の周辺に存在する物体を検出する検出部（２１）と、
前記人体候補の検出位置と前記物体の検出位置との位置関係に基づいて、前記人体候補の姿勢を推定する姿勢推定部（２７）と、
を有することを特徴とする人検出装置。

【0086】

（３）検出対象エリア（１１）の上方に設置された魚眼カメラ（１０）により得られた魚眼画像を解析して、前記検出対象エリア内に存在する人（１３）を検出する人検出方法であって、
魚眼画像から人体候補および前記人体候補の周辺に存在する物体を検出する検出ステップ（Ｓ４１）と、
前記人体候補の検出位置と前記物体の検出位置との位置関係に基づいて、前記人体候補が誤検出であるか否かを判定する誤検出判定ステップ（Ｓ４２）と、
を有することを特徴とする人検出方法。

【符号の説明】

【0087】

１：人検出装置
２：監視システム
１０：魚眼カメラ
１１：検出対象エリア
１２：天井
１３：人

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】