特許 7413942 人体検出装置および人体検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-05

(45)【発行日】2024-01-16

(54)【発明の名称】人体検出装置および人体検出方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240109BHJP

【ＦＩ】

G06T7/00 660B

【請求項の数】 11

(21)【出願番号】P 2020117925

(22)【出願日】2020-07-08

(65)【公開番号】P2022015222

(43)【公開日】2022-01-21

【審査請求日】2023-02-16

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】田中 清明

【審査官】新井 則和

(56)【参考文献】

【文献】特開２０００－１０５８３５（ＪＰ，Ａ）

【文献】特開２０１１－０６０１６７（ＪＰ，Ａ）

【文献】特開２００４－００７１７４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

撮像された画像から人体を検出する人体検出手段と、
前記画像に基づいて、前記人体検出手段により検出された人体が動体であるか否かを判定する動体判定手段と、
前記人体検出手段により検出された人体が、前記画像にフレームインした人体がみせる所定の条件を満たしたか否かを判定する条件判定手段と、
前記所定の条件が満たされたと前記条件判定手段が判定するまで、第１のモードを維持し、前記所定の条件が満たされたと前記条件判定手段が判定したことに応じて、前記第１のモードから第２のモードへの切り替えを行うモード設定手段と、
前記第１のモードにおいては、前記人体検出手段により検出された人体が動体であると前記動体判定手段が判定した場合に、当該人体の情報を出力し、前記第２のモードにおいては、前記人体検出手段により検出された人体が動体であると前記動体判定手段が判定したか否かに拘わらずに、当該人体の情報を出力する情報出力手段と
を有することを特徴とする人体検出装置。

【請求項2】

前記モード設定手段は、前記人体検出手段により検出された人体ごとにモードを設定する
ことを特徴とする請求項１に記載の人体検出装置。

【請求項3】

前記動体判定手段は、前記第２のモードにおいては、前記人体検出手段により検出された人体が動体であるか否かを判定せず、前記第１のモードにおいて、前記人体検出手段により検出された人体が動体であるか否かを判定する
ことを特徴とする請求項１または２に記載の人体検出装置。

【請求項4】

前記モード設定手段は、前記人体検出手段により人体が検出されなくなった場合に、前記第１のモードへのリセットを行う
ことを特徴とする請求項１～３のいずれか１項に記載の人体検出装置。

【請求項5】

前記所定の条件は、人体が所定量よりも大きい動き量で所定時間よりも長く動いたという条件である
ことを特徴とする請求項１～４のいずれか１項に記載の人体検出装置。

【請求項6】

前記所定の条件は、現在までの所定期間における、人体が所定量よりも大きい動き量で動いた総時間が、所定時間よりも長いという条件である
ことを特徴とする請求項１～４のいずれか１項に記載の人体検出装置。

【請求項7】

前記所定の条件は、前記画像における所定範囲の外側から前記所定範囲の内側へ人体が移動したという条件である
ことを特徴とする請求項１～４のいずれか１項に記載の人体検出装置。

【請求項8】

前記所定の条件は、前記画像における所定範囲の内側から前記所定範囲の外側へ人体が移動したという条件である
ことを特徴とする請求項１～４のいずれか１項に記載の人体検出装置。

【請求項9】

前記人体検出手段は、前記画像から人体を検出する際に、検出した人体が人体であることの確からしさである信頼度を算出し、
前記所定の条件は、前記人体検出手段により検出された人体が動体であると前記動体判定手段が判定した際の当該人体の信頼度の累積値が所定値よりも高いという条件である
ことを特徴とする請求項１～４のいずれか１項に記載の人体検出装置。

【請求項10】

撮像された画像から人体を検出する人体検出ステップと、
前記画像に基づいて、前記人体検出ステップで検出された人体が動体であるか否かを判定する動体判定ステップと、
前記人体検出ステップで検出された人体が、前記画像にフレームインした人体がみせる所定の条件を満たしたか否かを判定する条件判定ステップと、
前記所定の条件が満たされたと前記条件判定ステップで判定されるまで、第１のモードを維持し、前記所定の条件が満たされたと前記条件判定ステップで判定されたことに応じて、前記第１のモードから第２のモードへの切り替えを行うモード設定ステップと、
前記第１のモードにおいては、前記人体検出ステップで検出された人体が動体であると前記動体判定ステップで判定された場合に、当該人体の情報を出力し、前記第２のモードにおいては、前記人体検出ステップで検出された人体が動体であると前記動体判定ステップで判定されたか否かに拘わらずに、当該人体の情報を出力する情報出力ステップと
を有することを特徴とする人体検出方法。

【請求項11】

請求項１０に記載の人体検出方法の各ステップをコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像された画像から人体を検出する技術に関する。

【背景技術】

【0002】

撮像された画像から人体を検出する技術として、動体検出や人体検出が知られている。動体検出に関する技術は、例えば、特許文献１に開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０００－１０５８３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、動体検出では、ロボットアームなどの動きのある物体を全て検出してしまう。また、動体検出では、静止した人体を検出できない。人体検出では、静止した人体を検出できるが、マネキン人形のように人体に類似した物体を人体として誤検出してしまうことがある。このため、動体検出でも人体検出でも、人体を高精度に検出できない。

【0005】

本発明は上記実情に鑑みなされたものであって、人体を高精度に検出できる技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために本発明は、以下の構成を採用する。

【0007】

本発明の第一側面は、撮像された画像から人体を検出する人体検出手段と、前記画像に基づいて、前記人体検出手段により検出された人体が動体であるか否かを判定する動体判定手段と、前記人体検出手段により検出された人体が、前記画像にフレームインした人体がみせる所定の条件を満たしたか否かを判定する条件判定手段と、前記所定の条件が満たされたと前記条件判定手段が判定するまで、第１のモードを維持し、前記所定の条件が満たされたと前記条件判定手段が判定したことに応じて、前記第１のモードから第２のモードへの切り替えを行うモード設定手段と、前記第１のモードにおいては、前記人体検出手段により検出された人体が動体であると前記動体判定手段が判定した場合に、当該人体の情報を出力し、前記第２のモードにおいては、前記人体検出手段により検出された人体が動体であると前記動体判定手段が判定したか否かに拘わらずに、当該人体の情報を出力する情報出力手段とを有することを特徴とする人体検出装置を提供する。人体の情報は、例えば、当該人体に割り当てられた識別子や、当該人体が検出された位置（または領域）を示す情報、等を含む。

【0008】

上述した構成では、検出された人体が、撮像された画像にフレームインした人体がみせる所定の条件を満たすまでは、検出された人体が動体であると判定された場合に、当該人体の情報が出力される（第１のモード）。つまり、動体検出と人体検出の組み合わせにより人体が検出される（動体検出の結果と人体検出の結果との論理積（ＡＮＤ）が人体の検出結果とされる）。こうすることで、動体である人体を高精度に検出できる。しかし、人体が静止した場合に、当該人体を検出できなくなってしまう。そこで、上述した構成では、検出された人体が所定の条件を満たした後では、検出された人体が動体であると判定されたか否かに拘わらずに、当該人体の情報を出力するとしている（第２のモード）。つまり、人体検出により人体が検出される。こうすることで、人体が静止しても、当該人体を
高精度に検出できる（撮像された画像に人体がフレームインした後であれば、人体検出により当該人体を高精度に検出できる）。

【0009】

前記モード設定手段は、前記人体検出手段により検出された人体ごとにモードを設定するとしてもよい。こうすることで、複数の人体を高精度に検出できる。

【0010】

前記動体判定手段は、前記第２のモードにおいては、前記人体検出手段により検出された人体が動体であるか否かを判定せず、前記第１のモードにおいて、前記人体検出手段により検出された人体が動体であるか否かを判定するとしてもよい。こうすることで、動体検出（人体検出手段により検出された人体が動体であるか否かの判定）の処理負荷を低減できる。

【0011】

撮像された画像から人体がフレームアウトすると、人体検出では、当該人体として、それに類似した他の物体が誤検出されることがある。このため、前記モード設定手段は、前記人体検出手段により人体が検出されなくなった場合に、前記第１のモードへのリセットを行うとしてもよい。こうすることで、動体検出と人体検出の組み合わせにより人体が検出されるようになるため、検出されなくなった人体に類似した他の物体が当該人体として誤検出されることを抑制できる。人体検出手段により人体が検出されなくなった場合は、例えば、人体検出手段により１回でも人体が検出されなかった場合や、人体検出手段により人体が検出されない状態が所定時間よりも長く継続した場合などである。

【0012】

人体は、撮像された画像にフレームインする際に、比較的大きい動き量で、比較的長い時間の動きを示すことが多い。このため、前記所定の条件は、人体が所定量よりも大きい動き量で所定時間よりも長く動いたという条件であるとしてもよい。前記所定の条件は、現在までの所定期間における、人体が所定量よりも大きい動き量で動いた総時間が、所定時間よりも長いという条件であるとしてもよい。後者の条件を所定の条件として用いることにより、人体が動きと静止を繰り返していても、第１のモードから第２のモードへの切り替えを好適に行うことができる。

【0013】

フレームインした人体が主に活動する場所（例えば、人が主に作業を行う場所）は、予め決まっていることが多い。このため、前記所定の条件は、前記画像における所定範囲の外側から前記所定範囲の内側へ人体が移動したという条件であるとしてもよい。こうすることで、初めから所定範囲内に存在する物体（人体でない）については、動体検出と人体検出の組み合わせが適用されるため、当該物体が人体として誤検出されることを抑制できる。所定範囲は、例えば、床や地面を真上から見下ろすように撮像した画像の中央部であり、そのような画像が魚眼画像である場合には、当該画像の中心からの距離が所定距離以下の円状の範囲である。

【0014】

人体がフレームインする際に通る場所（例えば、部屋の出入り口）は、予め決まっていることが多い。このため、前記所定の条件は、前記画像における所定範囲の内側から前記所定範囲の外側へ人体が移動したという条件であるとしてもよい。こうすることで、所定範囲以外の場所からフレームインした物体（人体でない）については、動体検出と人体検出の組み合わせが適用されるため、当該物体が人体として誤検出されることを抑制できる。

【0015】

前記人体検出手段は、前記画像から人体を検出する際に、検出した人体が人体であることの確からしさである信頼度を算出し、前記所定の条件は、前記人体検出手段により検出された人体が動体であると前記動体判定手段が判定した際の信頼度の累積値が所定値よりも高いという条件であるとしてもよい。こうすることで、上記累積値が低い物体については、動体検出と人体検出の組み合わせが適用されるため、人体に類似した他の物体が当該
人体として誤検出されることを抑制できる。また、人体が動きと静止を繰り返していても、第１のモードから第２のモードへの切り替えを好適に行うことができる。

【0016】

本発明の第二側面は、撮像された画像から人体を検出する人体検出ステップと、前記画像に基づいて、前記人体検出ステップで検出された人体が動体であるか否かを判定する動体判定ステップと、前記人体検出ステップで検出された人体が、前記画像にフレームインした人体がみせる所定の条件を満たしたか否かを判定する条件判定ステップと、前記所定の条件が満たされたと前記条件判定ステップで判定されるまで、第１のモードを維持し、前記所定の条件が満たされたと前記条件判定ステップで判定されたことに応じて、前記第１のモードから第２のモードへの切り替えを行うモード設定ステップと、前記第１のモードにおいては、前記人体検出ステップで検出された人体が動体であると前記動体判定ステップで判定された場合に、当該人体の情報を出力し、前記第２のモードにおいては、前記人体検出ステップで検出された人体が動体であると前記動体判定ステップで判定されたか否かに拘わらずに、当該人体の情報を出力する情報出力ステップとを有することを特徴とする人体検出方法を提供する。

【0017】

なお、本発明は、上記構成ないし機能の少なくとも一部を有する人体検出システムとして捉えることができる。また、本発明は、上記処理の少なくとも一部を含む、人体検出方法又は人体検出システムの制御方法や、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。

【発明の効果】

【0018】

本発明によれば、人体を高精度に検出できる。

【図面の簡単な説明】

【0019】

【図1】図１は、本発明が適用された人体検出装置の構成例を示すブロック図である。

【図2】図２（Ａ）は、本発明の第１の実施形態に係る人体検出システムの大まかな構成例を示す模式図であり、図２（Ｂ）は、当該実施形態に係るＰＣの構成例を示すブロック図である。

【図3】図３は、本発明の第１の実施形態に係る差分画像が生成される様子を示す図である。

【図4】図４は、本発明の第１の実施形態に係るＰＣの処理フロー例を示すフローチャートである。

【図5】図５は、本発明の第１の実施形態に係る動作の具体例を示す図である。

【図6】図６は、本発明の第２の実施形態に係るＰＣの処理フロー例を示すフローチャートである。

【図7】図７は、本発明の第２の実施形態に係る動作の具体例を示す図である。

【図8】図８は、本発明の第３の実施形態に係るＰＣの構成例を示すブロック図である。

【図9】図９は、本発明の第３の実施形態に係るＰＣの処理フロー例を示すフローチャートである。

【図10】図１０は、本発明の第３の実施形態に係る動作の具体例を示す図である。

【図11】図１１は、本発明の第４の実施形態に係るＰＣの構成例を示すブロック図である。

【図12】図１２は、本発明の第４の実施形態に係る活動範囲の一例を示す図である。

【図13】図１３は、本発明の第４の実施形態に係るＰＣの処理フロー例を示すフローチャートである。

【図14】図１４は、本発明の第５の実施形態に係る入出範囲の一例を示す図である。

【図15】図１５は、本発明の第５の実施形態に係るＰＣの処理フロー例を示すフローチャートである。

【図16】図１６は、本発明の第６の実施形態に係るＰＣの処理フロー例を示すフローチャートである。

【図17】図１７は、本発明の第６の実施形態に係る動作の具体例を示す図である。

【発明を実施するための形態】

【0020】

＜適用例＞
本発明の適用例について説明する。

【0021】

動体検出では、ロボットアームなどの動きのある物体を全て検出してしまう。また、動体検出では、静止した人体を検出できない。人体検出では、静止した人体を検出できるが、マネキン人形のように人体に類似した物体を人体として誤検出してしまうことがある。このため、動体検出でも人体検出でも、人体を高精度に検出できない。

【0022】

図１は、本発明が適用された人体検出装置１００の構成例を示すブロック図である。人体検出装置１００は、人体検出部１０１、動体判定部１０２、条件判定部１０３、モード設定部１０４、及び、情報出力部１０５を有する。人体検出部１０１は、撮像された画像から人体を検出する。動体判定部１０２は、撮像された画像に基づいて、人体検出部１０１により検出された人体が動体であるか否かを判定する。条件判定部１０３は、人体検出部１０１により検出された人体が、撮像された画像にフレームインした人体がみせる所定の条件を満たしたか否かを判定する。モード設定部１０４は、所定の条件が満たされたと条件判定部１０３が判定するまで、第１のモードを維持し、所定の条件が満たされたと条件判定部１０３が判定したことに応じて、第１のモードから第２のモードへの切り替えを行う。情報出力部１０５は、第１のモードにおいては、人体検出部１０１により検出された人体が動体であると動体判定部１０２が判定した場合に、当該人体の情報を出力する。また、情報出力部１０５は、第２のモードにおいては、人体検出部１０１により検出された人体が動体であると動体判定部１０２が判定したか否かに拘わらずに、当該人体の情報を出力する。人体検出部１０１は本発明の人体検出手段の一例であり、動体判定部１０２は本発明の動体判定手段の一例であり、条件判定部１０３は本発明の条件判定手段の一例である。そして、モード設定部１０４は本発明のモード設定手段の一例であり、情報出力部１０５は本発明の情報出力手段の一例である。人体の情報は、例えば、当該人体に割り当てられた識別子や、当該人体が検出された位置（または領域）を示す情報、等を含む。

【0023】

上述した構成では、検出された人体が、撮像された画像にフレームインした人体がみせる所定の条件を満たすまでは、検出された人体が動体であると判定された場合に、当該人体の情報が出力される（第１のモード）。つまり、動体検出と人体検出の組み合わせにより人体が検出される（動体検出の結果と人体検出の結果との論理積（ＡＮＤ）が人体の検出結果とされる）。こうすることで、動体である人体を高精度に検出できる。しかし、人体が静止した場合に、当該人体を検出できなくなってしまう。そこで、上述した構成では、検出された人体が所定の条件を満たした後では、検出された人体が動体であると判定されたか否かに拘わらずに、当該人体の情報を出力するとしている（第２のモード）。つまり、人体検出により人体が検出される。こうすることで、人体が静止しても、当該人体を高精度に検出できる（撮像された画像に人体がフレームインした後であれば、人体検出により当該人体を高精度に検出できる）。

【0024】

＜第１の実施形態＞
本発明の第１の実施形態について説明する。

【0025】

図２（Ａ）は、第１の実施形態に係る人体検出システムの大まかな構成例を示す模式図である。第１の実施形態に係る人体検出システムは、カメラ１０と、ＰＣ２００（パーソナルコンピュータ；人体検出装置）とを有する。カメラ１０とＰＣ２００は有線または無線で互いに接続されている。カメラ１０は、画像を撮像してＰＣ２００へ出力する。カメラ１０の撮像方向は特に限定されないが、第１の実施形態では床や地面を真上から見下ろすように画像が撮像されるとする。撮像された画像の種類も特に限定されないが、第１の実施形態では魚眼画像が撮像されるとする。ＰＣ２００は、カメラ１０で撮像された画像から人体を検出する。ＰＣ２００は、検出した人体の情報（人体に割り当てられた識別子や、人体が検出された位置（または領域）を示す情報、等）を表示部に表示したり、記憶媒体に記録したり、他の端末（遠隔地にいる管理者のスマートフォンなど）へ出力したりする。

【0026】

なお、第１の実施形態ではＰＣ１０がカメラ１０とは別体の装置であるものとするが、ＰＣ２００はカメラ１０に内蔵されてもよい。上述した表示部や記憶媒体は、ＰＣ２００の一部であってもよいし、そうでなくてもよい。また、ＰＣ２００の設置場所は特に限定されない。例えば、ＰＣ２００はカメラ１０と同じ部屋に設置されてもよいし、そうでなくてもよい。ＰＣ２００はクラウド上のコンピュータであってもよいし、そうでなくてもよい。ＰＣ２００は、管理者に携帯されるスマートフォンなどの端末であってもよい。

【0027】

図２（Ｂ）は、ＰＣ２００の構成例を示すブロック図である。ＰＣ２００は、入力部２１０、制御部２２０、記憶部２３０、及び、出力部２４０を有する。

【0028】

第１の実施形態では、カメラ１０が動画を撮像するとする。入力部２１０は、撮像された画像（動画のフレーム）をカメラ１０から取得して制御部２２０へ出力する処理を、順次行う。なお、カメラ１０は静止画の撮像を順次行うものであってもよく、その場合は、入力部２１０は、撮像された静止画をカメラ１０から取得して制御部２２０へ出力する処理を、順次行う。

【0029】

制御部２２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などを含み、各構成要素の制御や、各種情報処理などを行う。第１の実施形態では、制御部２２０は、撮像された画像から人体を検出し、検出した人体の情報（人体に割り当てられた識別子や、人体が検出された位置（または領域）を示す情報、等）を出力部２４０へ出力する。

【0030】

記憶部２３０は、制御部２２０で実行されるプログラムや、制御部２２０で使用される各種データなどを記憶する。例えば、記憶部２３０は、ハードディスクドライブ、ソリッドステートドライブ、等の補助記憶装置である。

【0031】

出力部２４０は、制御部２２０により出力された情報（検出された人体の情報）を、表示部に表示したり、記憶媒体に記録したり、他の端末（遠隔地にいる管理者のスマートフォンなど）へ出力したりする。

【0032】

制御部２２０について、より詳細に説明する。制御部２２０は、人体検出部２２１、動体判定部２２２、条件判定部２２３、モード設定部２２４、及び、情報出力部２２５を有する。

【0033】

人体検出部２２１は、カメラ１０により撮像された画像を入力部２１０から取得し、取
得した画像から人体を検出する。そして、人体検出部２２１は、検出した人体の情報を、動体判定部２２２と情報出力部２２５へ出力する。人体検出部２２１は本発明の人体検出手段の一例である。

【0034】

なお、人体検出部２２１による人体検出にはどのようなアルゴリズムを用いてもよい。例えば、ＨｏＧやＨａａｒ－ｌｉｋｅなどの画像特徴とブースティングを組み合わせた検出器（識別器）を用いて人体を検出してもよい。既存の機械学習により生成された学習済みモデルを用いて人体を検出してもよく、具体的にはディープラーニング（例えば、Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、ＹＯＬＯ、ＳＳＤなど）により生成された学習済みモデルを用いて人体を検出してもよい。

【0035】

動体判定部２２２は、カメラ１０により撮像された画像を入力部２１０から取得し、人体検出部２２１による検出結果（人体検出の結果）を人体検出部２２１から取得する。動体判定部２２２は、取得した画像に基づいて、人体検出部２２１により検出された人体が動体であるか否かを判定する。そして、動体判定部２２２は、動体検出（人体検出部２２１により検出された人体が動体であるか否かの判定）の結果を、条件判定部２２３と情報出力部２２５へ出力する。動体判定部２２２は本発明の動体判定手段の一例である。

【0036】

なお、動体判定部２２２による動体判定にはどのようなアルゴリズムを用いてもよい。例えば、動体判定部２２２は、背景差分法により動体を検出してもよいし、フレーム間差分法により動体を検出してもよい。背景差分法は、例えば、撮像された画像のうち、所定の背景画像との画素値の差分（絶対値）が所定の閾値以上の画素を、動き画素として検出する方法である。フレーム間差分法は、例えば、撮像された現在の画像（現在のフレーム）のうち、撮像された過去の画像（過去のフレーム）との画素値の差分が所定の閾値以上の画素を、動き画素として検出する方法である。フレーム間差分法において、例えば、過去のフレームは、現在のフレームの所定数前のフレームであり、所定数は１以上である。所定数（現在のフレームから過去のフレームまでのフレーム数）は、制御部２２０の処理（人体を検出し、検出した人体の情報を出力する処理）のフレームレートや、カメラ１０による撮像のフレームレートなどに応じて決定されてもよい。

【0037】

第１の実施形態では、動体判定部２２２は、動体検出において、差分画像を生成するとする。差分画像は、背景差分法であれば、撮像された画像と所定の背景画像との差分を表し、フレーム間差分法であれば、撮像された現在の画像と撮像された過去の画像との差分を表す。図３は、フレーム間差分法により差分画像が生成される様子を示す。図３の差分画像では、動き画素が白色の画素となっており、動き画素でない画素（非動き画素）が黒色の画素となっている。そして、動体判定部２２２は、人体検出部２２１により検出された人体の動き量を差分画像に基づいて算出し、算出した動き量が所定量よりも大きい人体を動体として判定（検出）するとする。人体の動き量は、例えば、人体の画素数に対する当該人体の領域における動き画素の数の割合である。図３に示すように、動体判定部２２２は、動き量を算出する際に、動体の領域（動き画素からなる領域）を膨らませる膨張処理や、動き画素で囲まれた領域の画素（非動き画素）を動き画素に変換する変換処理などを行ってもよい。図３では、変換処理は、白色で囲まれた領域（黒色）を白色で塗りつぶす塗りつぶし処理とも言える。

【0038】

条件判定部２２３は、動体判定部２２２による判定結果（動体検出の結果）を動体判定部２２２から取得する。そして、条件判定部２２３は、人体検出部２２１により検出された人体（動体判定部２２２により動体であると判定された人体）がフレームイン条件を満たしたか否かを、取得した判定結果に基づいて判定する。フレームイン条件は、撮像された画像にフレームインした人体がみせる所定の条件である。そして、条件判定部２２３は、フレームイン条件が満たされたか否かの判定結果を、モード設定部２２４へ出力する。
条件判定部２２３は本発明の条件判定手段の一例である。

【0039】

人体は、撮像された画像にフレームインする際に、比較的大きい動き量で、比較的長い時間の動きを示すことが多い。このため、第１の実施形態では、人体が所定量よりも大きい動き量で所定時間よりも長く動いたという条件を、フレームイン条件として用いる。

【0040】

モード設定部２２４は、ＰＣ２００のモード（動作モード）を設定する。第１の実施形態では、モード設定部２２４は、動体判定部２２２と情報出力部２２５に対してモードを設定するとする。また、デフォルトでは第１のモードが設定されているとする。モード設定部２２４は、条件判定部２２３による判定結果を条件判定部２２３から取得し、フレームイン条件が満たされたと条件判定部２２３が判定するまで、第１のモードを維持する。そして、モード設定部２２４は、フレームイン条件が満たされたと条件判定部２２３が判定したことに応じて、第１のモードから第２のモードへの切り替えを行う。モード設定部２２４は本発明のモード設定手段の一例である。

【0041】

第１の実施形態では、人体検出部２２１は１枚の画像から複数の人体を検出可能であり、モード設定部２２４は、人体検出部２２１により検出された人体ごとにモードを設定するとする。こうすることで、複数の人体を高精度に検出できる。なお、人体検出部２２１が１枚の画像から検出可能な人体の数が１つである場合には、人体とモードの紐づけは行わなくてもよい。

【0042】

情報出力部２２５は、人体検出部２２１による検出結果（人体検出の結果）を人体検出部２２１から取得し、動体判定部２２２による判定結果（動体検出の結果）を動体判定部２２２から取得する。そして、情報出力部２２５は、第１のモードにおいては、人体検出部２２１により検出された人体が動体であると動体判定部２２２が判定した場合に、当該人体の情報を、最終的な人体の検出結果として出力部２４０へ出力する。また、情報出力部２２５は、第２のモードにおいては、人体検出部２２１により検出された人体が動体であると動体判定部２２２が判定したか否かに拘わらずに、当該人体の情報を、最終的な人体の検出結果として出力部２４０へ出力する。このため、第１のモードは動体有効モードとも言うことができ、第２のモードは動体無効モードとも言うことができる。情報出力部２２５は本発明の情報出力手段の一例である。

【0043】

第１の実施形態では、動体判定部２２２は、第２のモードにおいては、人体検出部２２１により検出された人体が動体であるか否かを判定せず、第１のモードにおいて、人体検出部２２１により検出された人体が動体であるか否かを判定するとする。このため、第１のモードは動体検出モードとも言うことができ、第２のモードは動体非検出モードとも言うことができる。こうすることで、動体検出（人体検出部２２１により検出された人体が動体であるか否かの判定）の処理負荷を低減できる。なお、動体判定部２２２は、第１のモードでも第２のモードでも動体検出を行ってよい。その場合には、モード設定部２２４は、動体判定部２２２に対してはモードを設定せず、情報出力部２２５に対してモードを設定するとしてもよい。

【0044】

図４は、ＰＣ２００の処理フロー例を示すフローチャートである。ＰＣ２００は、図４の処理フローを繰り返し実行する。図４の処理フローの繰り返し周期は特に限定されないが、第１の実施形態では、カメラ１０による撮像のフレームレート（例えば３０ｆｐｓ）で図４の処理フローが繰り返されるとする。

【0045】

まず、入力部２１０は、撮像された画像（現在のフレーム）をカメラ１０から取得する（ステップＳ４０１）。次に、動体判定部２２２は、過去に撮像された画像（過去のフレーム）、または、所定の背景画像を、記憶部２３０から取得する（ステップＳ４０２）。
そして、動体判定部２２２は、ステップＳ４０１で取得された画像と、ステップＳ４０２で取得された画像とから、差分画像を生成する（ステップＳ４０３）。次に、人体検出部２２１は、ステップＳ４０１で取得された画像から人体を検出する（ステップＳ４０４）。そして、ステップＳ４０４で検出された人体ごとに、ステップＳ４０５～Ｓ４１２の処理が行われる。

【0046】

ステップＳ４０５では、人体検出部２２１は、処理対象の人体（今回検出した人体）を過去に検出したことがあるか否かを判定する（同一人体判定）。人体検出部２２１は、処理対象の人体を過去に検出したことが無ければ、新たな識別子（ＩＤ）を処理対象の人体に割り当て、処理対象の人体を過去に検出したことがあれば、過去に割り当てた識別子と同じ識別子を、処理対象の人体に割り当てる。同一人体判定の方法は特に限定されないが、例えば、処理対象の人体の位置（検出矩形の中心位置など）と前回検出された人体の位置との差が閾値以下である場合に、処理対象の人体が前回検出された人体と同じであると判定できる。処理対象の人体の領域（検出矩形など）と前回検出された人体の領域とのＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）が閾値以下である場合にも、処理対象の人体が前回検出された人体と同じであると判定できる。処理対象の人体を過去に検出したことがあるか否かは、Ｐｅｒｓｏｎ Ｒｅ－Ｉｄｅｎｔｉｆｉｃａｔｉｏｎでも判定できる。

【0047】

次に、動体判定部２２２や情報出力部２２５は、処理対象の人体について動体有効モード（動体検出モード；第１のモード）が設定されているか否かを判定する（ステップＳ４０６）。動体有効モードが設定されていると判定された場合（ステップＳ４０６：ＹＥＳ）にはステップＳ４０７へ処理が進められる。動体有効モードが設定されていないと判定された場合（ステップＳ４０６：ＮＯ）、つまり動体無効モード（動体非検出モード；第２のモード）が設定されていると判定された場合には、ステップＳ４１２へ処理が進められる。

【0048】

ステップＳ４０７では、動体判定部２２２は、ステップＳ４０３で生成した差分画像に基づいて、処理対象の人体の動き量Ｍを算出する。そして、動体判定部２２２は、ステップＳ４０７で算出した動き量Ｍが所定量Ｔｈ＿Ｍよりも大きいか否かを判定する（ステップＳ４０８）。動き量Ｍが所定量Ｔｈ＿Ｍよりも大きいと判定された場合（ステップＳ４０８：ＹＥＳ）には、動体判定部２２２は、処理対象の人体が動体であると判定する。そして、ステップＳ４０９へ処理が進められる。動き量Ｍが所定量Ｔｈ＿Ｍ以下であると判定された場合（ステップＳ４０８：ＮＯ）には、動体判定部２２２は、処理対象の人体が動体でないと判定する。そして、未処理の人体（ステップＳ４０４で検出されたが、ステップＳ４０５～Ｓ４１２の処理が行われていない人体）が残っている場合には、処理対象の人体が未処理の人体に切り替えられて、ステップＳ４０５～Ｓ４１２の処理が行われる。未処理の人体が残っていない場合には、図４の処理フローが終了する。

【0049】

ステップＳ４０９では、条件判定部２２３は、処理対象の人体の連続移動フレーム数Ｆ１を１インクリメントする。連続移動フレーム数Ｆ１は、人体検出部２２１により検出された人体が動体であると連続して判定されたフレーム数であり、人体が所定量よりも大きい動き量で動き続けた時間に相当する。連続移動フレーム数Ｆ１の初期値は０であり、対応する人体が人体検出部２２１により検出されなかったり、動体でないと判定されりすると、当該連続移動フレーム数Ｆ１は０にリセットされる。

【0050】

次に、条件判定部２２３は、処理対象の人体の連続移動フレーム数Ｆ１が所定数Ｔｈ＿Ｆ１よりも多いか否かを判定する（ステップＳ４１０）。所定数Ｔｈ＿Ｆ１は、「人体が所定量よりも大きい動き量で所定時間よりも長く動いた」というフレームイン条件における「所定時間」に相当する。連続移動フレーム数Ｆ１が所定数Ｔｈ＿Ｆ１よりも多いと判
定された場合（ステップＳ４１０：ＹＥＳ）、つまりフレームイン条件が満たされたと判定された場合には、ステップＳ４１１へ処理が進められる。連続移動フレーム数Ｆ１が所定数Ｔｈ＿Ｆ１以下であると判定された場合（ステップＳ４１０：ＮＯ）、つまりフレームイン条件が満たされなかったと判定された場合には、ステップＳ４１２へ処理が進められる。

【0051】

ステップＳ４１１では、モード設定部２２４は、処理対象の人体のモードを動体有効モードから動体無効モードへ切り替える。そして、ステップＳ４１２へ処理が進められる。

【0052】

ステップＳ４１２では、情報出力部２２５は、処理対象の人体の情報を出力する。そして、未処理の人体（ステップＳ４０４で検出されたが、ステップＳ４０５～Ｓ４１２の処理が行われていない人体）が残っている場合には、処理対象の人体が未処理の人体に切り替えられて、ステップＳ４０５～Ｓ４１２の処理が行われる。未処理の人体が残っていない場合には、図４の処理フローが終了する。

【0053】

図５は、図４の処理フローによる動作の具体例を示す。具体的には、図５は、フレーム、人体の識別子（ＩＤ）、人体検出部２２１による検出結果、動体判定部２２２による判定結果、連続移動フレーム数Ｆ１、及び、モードの一例を示す。人体検出部２２１による検出結果について、「〇」は人体が検出されたことを意味し、「×」は人体が検出されなかったことを意味する。動体判定部２２２による判定結果について、「〇」は人体が動体であると判定されたことを意味し、「×」は人体が動体でないと判定されたことを意味し、「－」は判定が行われなかったことを意味する。連続移動フレーム数Ｆ１と比較される所定数Ｔｈ＿Ｆ１は特に限定されないが、ここでは４であるとする。つまり、連続移動フレーム数Ｆ１が５に達すると、動体有効モードから動体無効モードへの切り替えが行われる。

【0054】

ＩＤ１は人体の識別子である。フレーム５で連続移動フレーム数Ｆ１が５に達するため、フレーム５とフレーム６の間で動体無効モードへの切り替えが行われる。これにより、ＩＤ１の人体が静止しても、当該人体の情報を出力できるようになる。

【0055】

ＩＤ２は、人体検出部２２１により人体として誤検出されたロボットアームの識別子である。人体検出部２２１がロボットアームを人体として誤検出する頻度は少なく、連続移動フレーム数Ｆ１が５に達しないため、動体有効モードが維持される。これにより、動体検出と人体検出の組み合わせが適用され続けるため、ロボットアームの情報が人体の情報として出力されることを抑制できる。

【0056】

ＩＤ３は、人体検出部２２１により人体として誤検出されたマネキン人形の識別子である。人体検出部２２１がマネキン人形を人体として誤検出したとしても、マネキン人形が動体であると判定される頻度は少なく、連続移動フレーム数Ｆ１が５に達しないため、動体有効モードが維持される。これにより、動体検出と人体検出の組み合わせが適用され続けるため、マネキン人形の情報が人体の情報として出力されることを抑制できる。

【0057】

以上述べたように、第１の実施形態では、検出された人体が、フレームイン条件を満たすまでは、検出された人体が動体であると判定された場合に、当該人体の情報が出力される（動体有効モード）。つまり、動体検出と人体検出の組み合わせにより人体が検出される（動体検出の結果と人体検出の結果との論理積（ＡＮＤ）が人体の検出結果とされる）。こうすることで、動体である人体を高精度に検出できる。しかし、人体が静止した場合に、当該人体を検出できなくなってしまう。そこで、第１の実施形態では、検出された人体がフレームイン条件を満たした後では、検出された人体が動体であると判定されたか否かに拘わらずに、当該人体の情報を出力するとしている（動体無効モード）。つまり、人
体検出により人体が検出される。こうすることで、人体が静止しても、当該人体を高精度に検出できる（撮像された画像に人体がフレームインした後であれば、人体検出により当該人体を高精度に検出できる）。

【0058】

＜第２の実施形態＞
本発明の第２の実施形態について説明する。第２の実施形態に係る人体検出システムの構成は第１の実施形態と同様であり、第２の実施形態に係るＰＣ２００（人体検出装置）の構成は第１の実施形態と同様である。第２の実施形態では、フレームイン条件が第１の実施形態と異なる。

【0059】

第１の実施形態で述べたように、人体は、撮像された画像にフレームインする際に、比較的大きい動き量で、比較的長い時間の動きを示すことが多い。このため、第２の実施形態では、現在までの所定期間における、人体が所定量よりも大きい動き量で動いた総時間が、所定時間よりも長いという条件を、フレームイン条件として用いる。こうすることで、人体が動きと静止を繰り返していても、動体有効モードから動体無効モードへの切り替えを好適に行うことができる。

【0060】

図６は、第２の実施形態に係るＰＣ２００の処理フロー例を示すフローチャートである。ＰＣ２００は、図６の処理フローを繰り返し実行する。図６の処理フローの繰り返し周期は特に限定されないが、第２の実施形態では、カメラ１０による撮像のフレームレート（例えば３０ｆｐｓ）で図６の処理フローが繰り返されるとする。

【0061】

ステップＳ６０１～Ｓ６０８の処理は、第１の実施形態のステップＳ４０１～Ｓ４０８の処理と同じである。ステップＳ６０８で動き量Ｍが所定量Ｔｈ＿Ｍよりも大きいと判定された場合（ステップＳ６０８：ＹＥＳ）には、動体判定部２２２は、処理対象の人体が動体であると判定する。そして、ステップＳ６０９へ処理が進められる。

【0062】

ステップＳ６０９では、条件判定部２２３は、現在までの所定数のフレームのうち、処理対象の人体が動体であると判定されたフレームの数（移動フレーム数Ｆ２）を算出する。所定数のフレームは、「現在までの所定期間における、人体が所定量よりも大きい動き量で動いた総時間が、所定時間よりも長い」というフレームイン条件における「所定期間」に相当する。移動フレーム数Ｆ２は、フレームイン条件における「人体が所定量よりも大きい動き量で動いた総時間」に相当する。

【0063】

次に、条件判定部２２３は、処理対象の人体の移動フレーム数Ｆ２が所定数Ｔｈ＿Ｆ２よりも多いか否かを判定する（ステップＳ６１０）。所定数Ｔｈ＿Ｆ２は、「現在までの所定期間における、人体が所定量よりも大きい動き量で動いた総時間が、所定時間よりも長い」というフレームイン条件における「所定時間」に相当する。移動フレーム数Ｆ２が所定数Ｔｈ＿Ｆ２よりも多いと判定された場合（ステップＳ６１０：ＹＥＳ）、つまりフレームイン条件が満たされたと判定された場合には、ステップＳ６１１へ処理が進められる。移動フレーム数Ｆ２が所定数Ｔｈ＿Ｆ２以下であると判定された場合（ステップＳ６１０：ＮＯ）、つまりフレームイン条件が満たされなかったと判定された場合には、ステップＳ６１２へ処理が進められる。

【0064】

ステップＳ６１１，Ｓ６１２の処理は、第１の実施形態のステップＳ４１１，Ｓ４１２の処理と同じである。

【0065】

図７は、図６の処理フローによる動作の具体例を示す。具体的には、図７は、フレーム、人体の識別子（ＩＤ）、人体検出部２２１による検出結果、動体判定部２２２による判定結果、移動フレーム数Ｆ２、及び、モードの一例を示す。図７には、第１の実施形態の
連続移動フレーム数Ｆ１も示されている。移動フレーム数Ｆ２を算出するために参照するフレーム（現在までの所定数のフレーム）の数は特に限定さないが、ここでは５であるとする。移動フレーム数Ｆ２と比較される所定数Ｔｈ＿Ｆ２は特に限定されないが、ここでは２であるとする。つまり、移動フレーム数Ｆ２（現在までの５フレームのうち、人体検出部２２１により検出された人体が動体であると判定されたフレームの数）が３に達すると、動体有効モードから動体無効モードへの切り替えが行われる。その他については、第１の実施形態と同じであるとする。

【0066】

ＩＤ１は人体の識別子である。フレーム５で移動フレーム数Ｆ２が３に達するため、フレーム５とフレーム６の間で動体無効モードへの切り替えが行われる。これにより、ＩＤ１の人体が静止しても、当該人体の情報を出力できるようになる。

【0067】

第１の実施形態では、人体検出部２２１により検出された人体が動体であると判定され続け、連続移動フレーム数Ｆ１が５に達しなければ、動体無効モードへの切り替えは行われない。このため、フレーム５とフレーム６の間で動体無効モードへの切り替えが行われない。一方で、第２の実施形態では、人体検出部２２１により検出された人体が動体であると断続的に判定されても、動体無効モードへの切り替えを好適に行うことができる。

【0068】

以上述べたように、第２の実施形態でも、フレームイン条件を満たしたことに応じて、動体検出と人体検出の組み合わせから人体検出への切り替えが行われるため、人体を高精度に検出できる。さらに、現在までの所定期間における、人体が所定量よりも大きい動き量で動いた総時間が、所定時間よりも長いという条件を、フレームイン条件としたことにより、人体が動きと静止を繰り返していても、上記切り替えを好適に行うことができる。

【0069】

＜第３の実施形態＞
本発明の第３の実施形態について説明する。第３の実施形態に係る人体検出システムの構成は第１の実施形態と同様である。第１の実施形態や第２の実施形態では、動体無効モードへの切り替え後は動体無効モードが維持されるが、第３の実施形態では、動体有効モードへのリセットが行われることがある。

【0070】

図８は、第３の実施形態に係るＰＣ２００（人体検出装置）の構成例を示すブロック図である。第３の実施形態に係るＰＣ２００は、第１の実施形態と同様の構成要素を有する。第３の実施形態では、モード設定部２２４は、人体検出部２２１による検出結果（人体検出の結果）を人体検出部２２１から取得し、取得した検出結果に基づいて動体有効モードへのリセットを行う。その他の処理は、第１の実施形態と同じであるとする。

【0071】

撮像された画像から人体がフレームアウトすると、人体検出では、当該人体として、それに類似した他の物体が誤検出されることがある。このため、第３の実施形態に係るモード設定部２２４は、人体検出部２２１により人体が検出されなくなった場合に、動体有効モードへのリセットを行う。こうすることで、動体検出と人体検出の組み合わせにより人体が検出されるようになるため、検出されなくなった人体に類似した他の物体が当該人体として誤検出されることを抑制できる。人体検出部２２１により人体が検出されなくなった場合は、人体検出部２２１により１回でも人体が検出されなかった場合であってもよいが、第３の実施形態では、人体検出部２２１により人体が検出されない状態が所定時間よりも長く継続した場合であるとする。

【0072】

図９は、第３の実施形態に係るＰＣ２００の処理フロー例を示すフローチャートである。ＰＣ２００は、図９の処理フローを繰り返し実行する。図９の処理フローの繰り返し周期は特に限定されないが、第３の実施形態では、カメラ１０による撮像のフレームレート（例えば３０ｆｐｓ）で図９の処理フローが繰り返されるとする。

【0073】

ステップＳ９０１～Ｓ９１２の処理は、第１の実施形態のステップＳ４０１～Ｓ４１２の処理と同じである。ステップＳ９０４で検出された人体ごとに、ステップＳ９０５～Ｓ９１２の処理が行われた後、ステップＳ９０４で検出されなかった人体ごとに、ステップＳ９１３～９１５の処理が行われる。ここで、ステップＳ９０４で検出されなかった人体とは、過去に検出されて識別子が割り当てられたが今回は検出されなかった人体のことである。

【0074】

ステップＳ９１３では、モード設定部２２４は、処理対象の人体の連続非検出フレーム数Ｆ３を１インクリメントする。連続非検出フレーム数Ｆ３は、人体検出部２２１により人体が検出されない状態が連続したフレーム数であり、人体検出部２２１により人体が検出されない状態の継続時間に相当する。連続非検出フレーム数Ｆ３の初期値は０であり、対応する人体が人体検出部２２１により検出されると、当該連続非検出フレーム数Ｆ３は０にリセットされる。

【0075】

次に、モード設定部２２４は、処理対象の人体の連続非検出フレーム数Ｆ３が所定数Ｔｈ＿Ｆ３よりも多いか否かを判定する（ステップＳ９１４）。所定数Ｔｈ＿Ｆ３は、所定時間に相当する。連続非検出フレーム数Ｆ３が所定数Ｔｈ＿Ｆ３よりも多いと判定された場合（ステップＳ９１４：ＹＥＳ）は、人体検出部２２１により処理対象の人体が検出されない状態が所定時間よりも長く継続した場合に相当する。この場合には、ステップＳ９１５へ処理が進められる。連続非検出フレーム数Ｆ３が所定数Ｔｈ＿Ｆ３以下であると判定された場合（ステップＳ９１４：ＮＯ）は、人体検出部２２１により人体が検出されない状態が所定時間よりも長くは継続していない場合に相当する。この場合には、未処理の人体（ステップＳ９０４で検出されなかったが、ステップＳ９１３～Ｓ９１５の処理が行われていない人体）が残っていれば、処理対象の人体が未処理の人体に切り替えられて、ステップＳ９１３～Ｓ９１５の処理が行われる。未処理の人体が残っていない場合には、図９の処理フローが終了する。

【0076】

ステップＳ９１５では、モード設定部２２４は、処理対象の人体のモードを動体有効モードへリセットする。そして、未処理の人体が残っていれば、処理対象の人体が未処理の人体に切り替えられて、ステップＳ９１３～Ｓ９１５の処理が行われる。未処理の人体が残っていない場合には、図９の処理フローが終了する。

【0077】

図１０は、図９の処理フローによる動作の具体例を示す。具体的には、図１０は、フレーム、人体の識別子（ＩＤ）、人体検出部２２１による検出結果、動体判定部２２２による判定結果、連続移動フレーム数Ｆ１、連続非検出フレーム数Ｆ３、及び、モードの一例を示す。連続非検出フレーム数Ｆ３と比較される所定数Ｔｈ＿Ｆ３は特に限定されないが、ここでは２であるとする。つまり、連続非検出フレーム数Ｆ３が３に達すると、動体有効モードへのリセットが行われる。その他については、第１の実施形態と同じであるとする。

【0078】

ＩＤ１は人体の識別子である。フレーム５で連続移動フレーム数Ｆ１が５に達するため、フレーム５とフレーム６の間で動体無効モードへの切り替えが行われる。これにより、ＩＤ１の人体が静止しても、当該人体の情報を出力できるようになる。そして、フレーム１０で連続非検出フレーム数Ｆ３が３に達するため、フレーム１０とフレーム１１の間で動体無効モードへの切り替えが行われる。これにより、ＩＤ１の人物に類似した他の物体の情報が出力されることを抑制できる。

【0079】

以上述べたように、第３の実施形態によれば、人体検出部２２１により人体が検出されなくなった場合に、動体有効モードへのリセットが行われる。これにより、動体検出と人
体検出の組み合わせにより人体が検出されるようになるため、検出されなくなった人体に類似した他の物体が当該人体として誤検出されることを抑制できる。

【0080】

＜第４の実施形態＞
本発明の第４の実施形態について説明する。第４の実施形態に係る人体検出システムの構成は第１の実施形態と同様である。第４の実施形態では、フレームイン条件が第１～第３の実施形態と異なる。

【0081】

図１１は、第４の実施形態に係るＰＣ２００（人体検出装置）の構成例を示すブロック図である。第４の実施形態に係るＰＣ２００は、第１の実施形態と同様の構成要素を有する。第４の実施形態では、条件判定部２２３は、人体検出部２２１による検出結果（人体検出の結果）を人体検出部２２１から取得し、動体判定部２２２による判定結果（動体検出の結果）を動体判定部２２２から取得する。そして、条件判定部２２３は、人体検出部２２１により検出された人体（動体判定部２２２により動体であると判定された人体）がフレームイン条件を満たしたか否かを、人体検出部２２１による検出結果に基づいて判定する。その他の処理は、第１の実施形態と同じであるとする。

【0082】

フレームインした人体が主に活動する場所（例えば、人が主に作業を行う場所）は、予め決まっていることが多い。このため、第４の実施形態では、撮像された画像における所定範囲の外側から当該所定範囲の内側へ人体が移動したという条件を、フレームイン条件として用いる。こうすることで、初めから所定範囲内に存在する物体（人体でない）については、動体検出と人体検出の組み合わせが適用されるため、当該物体が人体として誤検出されることを抑制できる。以後、この所定範囲を、活動範囲と記載する。活動範囲は、例えば、床や地面を真上から見下ろすように撮像した画像の中央部である。第４の実施形態では、第１の実施形態と同様に、床や地面を真上から見下ろすように魚眼画像が撮像されるとする。そして、図１２に示すように、活動範囲が、魚眼画像の中心からの距離が所定距離以下の円状の範囲であるとする。

【0083】

図１３は、第４の実施形態に係るＰＣ２００の処理フロー例を示すフローチャートである。ＰＣ２００は、図１３の処理フローを繰り返し実行する。図１３の処理フローの繰り返し周期は特に限定されないが、第４の実施形態では、カメラ１０による撮像のフレームレート（例えば３０ｆｐｓ）で図１３の処理フローが繰り返されるとする。

【0084】

ステップＳ１３０１～Ｓ１３０８の処理は、第１の実施形態のステップＳ４０１～Ｓ４０８の処理と同じである。ステップＳ１３０８で動き量Ｍが所定量Ｔｈ＿Ｍよりも大きいと判定された場合（ステップＳ１３０８：ＹＥＳ）には、動体判定部２２２は、処理対象の人体が動体であると判定する。そして、ステップＳ１３０９へ処理が進められる。

【0085】

ステップＳ１３０９では、条件判定部２２３は、ステップＳ１３０１で取得された画像の中心から、処理対象の人体の位置（検出矩形の中心位置など）までの距離Ｄを算出する。

【0086】

次に、条件判定部２２３は、検知フラグがＯＮになっているか否かを判定する（ステップＳ１３１０）。検知フラグがＯＮになっていると判定された場合（ステップＳ１３１０：ＹＥＳ）には、ステップＳ１３１３へ処理が進められる。検知フラグがＯＮになっていないと判定された場合（ステップＳ１３１０：ＮＯ）、つまり検知フラグがＯＦＦになっていると判定された場合には、ステップＳ１３１１へ処理が進められる。第４の実施形態では、検知フラグは、処理対象の人体が活動範囲の外側で検出されたか否かを示すフラグであり、処理対象の人体が活動範囲の外側で検出されたことに応じてＯＮとなる。つまり、検知フラグは、活動範囲の外側から活動範囲の内側へ人体が移動したというフレームイ
ン条件の前提条件が満たされたか否かを示すフラグであり、前提条件が満たされたことに応じてＯＮとなる。検知フラグの初期状態はＯＦＦである。

【0087】

ステップＳ１３１１では、条件判定部２２３は、ステップＳ１３０９で算出した距離Ｄが所定距離Ｔｈ＿Ｄ以上であるか否かを判定する。所定距離Ｔｈ＿Ｄは活動範囲の半径であり、距離Ｄが所定距離Ｔｈ＿Ｄ以上であれば、処理対象の人体は活動範囲の外側に位置し、距離Ｄが所定距離Ｔｈ＿Ｄ未満であれば、処理対象の人体は活動範囲の内側に位置する。従って、ステップＳ１３１１の判定は、上述した前提条件が満たされたか否かの判定とも言える。距離Ｄが所定距離Ｔｈ＿Ｄ以上であると判定された場合（ステップＳ１３１１：ＹＥＳ）、つまり前提条件が満たされたと判定された場合には、ステップＳ１３１２へ処理が進められる。距離Ｄが所定距離Ｔｈ＿Ｄ未満であると判定された場合（ステップＳ１３１１：ＮＯ）、つまり前提条件が満たされなかったと判定された場合には、ステップＳ１３１５へ処理が進められる。なお、第４の実施形態では、距離Ｄが所定距離Ｔｈ＿Ｄである位置を活動範囲の外側とするが、当該位置を活動範囲の内側としてもよい。

【0088】

ステップＳ１３１２では、条件判定部２２３は、検知フラグをＯＮにする。そして、ステップＳ１３１５へ処理が進められる。

【0089】

ステップＳ１３１３では、条件判定部２２３は、ステップＳ１３０９で算出した距離Ｄが所定距離Ｔｈ＿Ｄ未満であるか否かを判定する。ここで、上述した前提条件は既に満たされている。従って、ステップＳ１３１３の判定は、活動範囲の外側から活動範囲の内側へ人体が移動したというフレームイン条件が満たされたか否かの判定とも言える。距離Ｄが所定距離Ｔｈ＿Ｄ未満であると判定された場合（ステップＳ１３１３：ＹＥＳ）、つまりフレームイン条件が満たされたと判定された場合には、ステップＳ１３１４へ処理が進められる。距離Ｄが所定距離Ｔｈ＿Ｄ以上であると判定された場合（ステップＳ１３１３：ＮＯ）、つまりフレームイン条件が満たされなかったと判定された場合には、ステップＳ１３１５へ処理が進められる。

【0090】

ステップＳ１３１４，Ｓ１３１５の処理は、第１の実施形態のステップＳ４１１，Ｓ４１２の処理と同じである。

【0091】

以上述べたように、第４の実施形態でも、フレームイン条件を満たしたことに応じて、動体検出と人体検出の組み合わせから人体検出への切り替えが行われるため、人体を高精度に検出できる。さらに、活動範囲の外側から活動範囲の内側へ人体が移動したという条件を、フレームイン条件としたことにより、初めから活動範囲内に存在する物体（人体でない）が人体として誤検出されることを抑制できる。

【0092】

＜第５の実施形態＞
本発明の第５の実施形態について説明する。第５の実施形態に係る人体検出システムの構成は第１の実施形態と同様であり、第５の実施形態に係るＰＣ２００（人体検出装置）の構成は第４の実施形態と同様である。第５の実施形態では、フレームイン条件が第１～第４の実施形態と異なる。

【0093】

人体がフレームインする際に通る場所（例えば、部屋の出入り口）は、予め決まっていることが多い。このため、第５の実施形態では、撮像された画像における所定範囲の内側から当該所定範囲の外側へ人体が移動したという条件を、フレームイン条件として用いる。こうすることで、所定範囲以外の場所からフレームインした物体（人体でない）については、動体検出と人体検出の組み合わせが適用されるため、当該物体が人体として誤検出されることを抑制できる。以後、この所定範囲を、入出範囲と記載する。入出範囲は、例えば、図１４に示すように、撮像された画像に写っている通路の、当該通路が延びた方向
における端部である。

【0094】

図１５は、第５の実施形態に係るＰＣ２００の処理フロー例を示すフローチャートである。ＰＣ２００は、図１５の処理フローを繰り返し実行する。図１５の処理フローの繰り返し周期は特に限定されないが、第５の実施形態では、カメラ１０による撮像のフレームレート（例えば３０ｆｐｓ）で図１５の処理フローが繰り返されるとする。

【0095】

ステップＳ１５０１～Ｓ１５０８の処理は、第１の実施形態のステップＳ４０１～Ｓ４０８の処理と同じである。ステップＳ１５０８で動き量Ｍが所定量Ｔｈ＿Ｍよりも大きいと判定された場合（ステップＳ１５０８：ＹＥＳ）には、動体判定部２２２は、処理対象の人体が動体であると判定する。そして、ステップＳ１５０９へ処理が進められる。

【0096】

ステップＳ１５０９では、条件判定部２２３は、検知フラグがＯＮになっているか否かを判定する。検知フラグがＯＮになっていると判定された場合（ステップＳ１５０９：ＹＥＳ）には、ステップＳ１５１２へ処理が進められる。検知フラグがＯＮになっていないと判定された場合（ステップＳ１５０９：ＮＯ）、つまり検知フラグがＯＦＦになっていると判定された場合には、ステップＳ１５１０へ処理が進められる。第５の実施形態では、検知フラグは、処理対象の人体が入出範囲の内側で検出されたか否かを示すフラグであり、処理対象の人体が入出範囲の内側で検出されたことに応じてＯＮとなる。つまり、検知フラグは、入出範囲の内側から入出範囲の外側へ人体が移動したというフレームイン条件の前提条件が満たされたか否かを示すフラグであり、前提条件が満たされたことに応じてＯＮとなる。検知フラグの初期状態はＯＦＦである。

【0097】

ステップＳ１５１０では、条件判定部２２３は、処理対象の人体の位置（検出矩形の中心位置など）が入出範囲の内側にあるか否か、つまり上述した前提条件が満たされたか否かを判定する。処理対象の人体の位置が入出範囲の内側にあると判定された場合（ステップＳ１５１０：ＹＥＳ）、つまり前提条件が満たされたと判定された場合には、ステップＳ１５１１へ処理が進められる。処理対象の人体の位置が入出範囲の内側に無い（外側にある）と判定された場合（ステップＳ１５１０：ＮＯ）、つまり前提条件が満たされなかったと判定された場合には、ステップＳ１５１４へ処理が進められる。

【0098】

ステップＳ１５１１では、条件判定部２２３は、検知フラグをＯＮにする。そして、ステップＳ１５１４へ処理が進められる。

【0099】

ステップＳ１５１２では、条件判定部２２３は、処理対象の人体の位置が入出範囲の外側にあるか否かを判定する。ここで、上述した前提条件は既に満たされている。従って、ステップＳ１５１２の判定は、入出範囲の内側から入出範囲の外側へ人体が移動したというフレームイン条件が満たされたか否かの判定とも言える。処理対象の人体の位置が入出範囲の外側にあると判定された場合（ステップＳ１５１２：ＹＥＳ）、つまりフレームイン条件が満たされたと判定された場合には、ステップＳ１５１３へ処理が進められる。処理対象の人体の位置が入出範囲の外側に無い（内側にある）と判定された場合（ステップＳ１５１２：ＮＯ）、つまりフレームイン条件が満たされなかったと判定された場合には、ステップＳ１５１４へ処理が進められる。

【0100】

ステップＳ１５１３，Ｓ１５１４の処理は、第１の実施形態のステップＳ４１１，Ｓ４１２の処理と同じである。

【0101】

以上述べたように、第５の実施形態でも、フレームイン条件を満たしたことに応じて、動体検出と人体検出の組み合わせから人体検出への切り替えが行われるため、人体を高精度に検出できる。さらに、入出範囲の内側から入出範囲の外側へ人体が移動したという条
件を、フレームイン条件としたことにより、入出範囲以外の場所からフレームインした物体（人体でない）が人体として誤検出されることを抑制できる。

【0102】

＜第６の実施形態＞
本発明の第６の実施形態について説明する。第６の実施形態に係る人体検出システムの構成は第１の実施形態と同様であり、第６の実施形態に係るＰＣ２００（人体検出装置）の構成は第４の実施形態や第５の実施形態と同様である。第６の実施形態では、フレームイン条件が第１～第５の実施形態と異なる。

【0103】

第６の実施形態では、人体検出部２２１は、撮像された画像から人体を検出する際に、検出した人体が人体であることの確からしさである信頼度を算出する。信頼度の算出方法は特に限定されないが、例えば、信頼度は、検出された人体の特徴と、人体の特徴として予め定められた特徴との類似度である。算出された信頼度は、人体検出部２２１から条件判定部２２３へ通知される。そして、第６の実施形態では、人体検出部２２１により検出された人体が動体であると動体判定部２２２が判定した際の信頼度の累積値が所定値よりも高いという条件を、フレームイン条件として用いる。こうすることで、上記累積値が低い物体については、動体検出と人体検出の組み合わせが適用されるため、人体に類似した他の物体が当該人体として誤検出されることを抑制できる。また、人体が動きと静止を繰り返していても、動体有効モードから動体無効モードへの切り替えを好適に行うことができる。

【0104】

図１６は、第６の実施形態に係るＰＣ２００の処理フロー例を示すフローチャートである。ＰＣ２００は、図１６の処理フローを繰り返し実行する。図１６の処理フローの繰り返し周期は特に限定されないが、第６の実施形態では、カメラ１０による撮像のフレームレート（例えば３０ｆｐｓ）で図１６の処理フローが繰り返されるとする。

【0105】

ステップＳ１６０１～Ｓ１６０８の処理は、第１の実施形態のステップＳ４０１～Ｓ４０８の処理と同じである。ステップＳ１６０８で動き量Ｍが所定量Ｔｈ＿Ｍよりも大きいと判定された場合（ステップＳ１６０８：ＹＥＳ）には、動体判定部２２２は、処理対象の人体が動体であると判定する。そして、ステップＳ１６０９へ処理が進められる。

【0106】

ステップＳ１６０９では、条件判定部２２３は、処理対象の人体の信頼度を当該人体の累積信頼度Ｒに加算する。累積信頼度Ｒは、人体検出部２２１により検出された人体が動体であると動体判定部２２２が判定した際の信頼度の累積値である。

【0107】

次に、条件判定部２２３は、処理対象の人体の累積信頼度Ｒが所定値Ｔｈ＿Ｒよりも高いか否か、つまりフレームイン条件が満たされたか否かを判定する（ステップＳ１６１０）。累積信頼度Ｒが所定値Ｔｈ＿Ｒよりも高いと判定された場合（ステップＳ１６１０：ＹＥＳ）、つまりフレームイン条件が満たされたと判定された場合には、ステップＳ１６１１へ処理が進められる。累積信頼度Ｒが所定値Ｔｈ＿Ｒ以下であると判定された場合（ステップＳ１６１０：ＮＯ）、つまりフレームイン条件が満たされなかったと判定された場合には、ステップＳ１６１２へ処理が進められる。

【0108】

ステップＳ１６１１，Ｓ１６１２の処理は、第１の実施形態のステップＳ４１１，Ｓ４１２の処理と同じである。

【0109】

図１７は、図１６の処理フローによる動作の具体例を示す。具体的には、図１７は、フレーム、人体の識別子（ＩＤ）、人体検出部２２１による検出結果、動体判定部２２２による判定結果、累積信頼度Ｒ、及び、モードの一例を示す。図１７には、第１の実施形態の連続移動フレーム数Ｆ１も示されている。累積信頼度Ｒと比較される所定値Ｔｈ＿Ｒは
特に限定されないが、ここでは３０００であるとする。つまり、累積信頼度が３０００を超えると、動体有効モードから動体無効モードへの切り替えが行われる。その他については、第１の実施形態と同じであるとする。

【0110】

ＩＤ１は人体の識別子である。フレーム７で累積信頼度Ｒが３０００を超えるため、フレーム７とフレーム８の間で動体無効モードへの切り替えが行われる。これにより、ＩＤ１の人体が静止しても、当該人体の情報を出力できるようになる。第１の実施形態では、人体検出部２２１により検出された人体が動体であると判定され続け、連続移動フレーム数Ｆ１が５に達しなければ、動体無効モードへの切り替えは行われない。このため、フレーム７とフレーム８の間で動体無効モードへの切り替えが行われない。一方で、第２の実施形態では、人体検出部２２１により検出された人体が動体であると断続的に判定されても、動体無効モードへの切り替えを好適に行うことができる。

【0111】

ＩＤ２は、人体検出部２２１により人体として誤検出されたマネキン人形の識別子である。累積信頼度Ｒは３０００を超えないため、動体有効モードが維持される。マネキン人形はフレーム１～６の期間に動かされているため、フレーム５で連続移動フレーム数Ｆ１が５に達する。このため、第１の実施形態では、フレーム５とフレーム６の間で動体無効モードへの切り替えが行われ、マネキン人形の情報が人体の情報として出力され続けてしまう。一方で、第２の実施形態では、動体有効モードが維持されるため、マネキン人形の情報が人体の情報として出力されることを抑制できる。具体的には、マネキン人形が静止した後に、当該マネキン人形の情報が人体の情報として出力されなくなる。

【0112】

以上述べたように、第６の実施形態でも、フレームイン条件を満たしたことに応じて、動体検出と人体検出の組み合わせから人体検出への切り替えが行われるため、人体を高精度に検出できる。さらに、第６の実施形態では、人体検出部２２１により検出された人体が人体であることの確からしさが算出される。そして、人体検出部２２１により検出された人体が動体であると動体判定部２２２が判定した際の信頼度の累積値が所定値よりも高いという条件が、フレームイン条件として使用される。これにより、累積信頼度が低い物体については、動体検出と人体検出の組み合わせが適用されるため、人体に類似した他の物体が当該人体として誤検出されることを抑制できる。また、人体が動きと静止を繰り返していても、動体有効モードから動体無効モードへの切り替えを好適に行うことができる。

【0113】

＜その他＞
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、第２の実施形態や、第４の実施形態、第５の実施形態、第６の実施形態のフレームイン条件を用いる構成において、第３の実施形態のリセット（動体有効モードへのリセット）を行うようにしてもよい。

【0114】

＜付記１＞
撮像された画像から人体を検出する人体検出手段（１０１，２２１）と、
前記画像に基づいて、前記人体検出手段により検出された人体が動体であるか否かを判定する動体判定手段（１０２，２２２）と、
前記動体判定手段による判定結果に基づいて、前記人体検出手段により検出された人体が、前記画像にフレームインした人体がみせる所定の条件を満たしたか否かを判定する条件判定手段（１０３，２２３）と、
前記所定の条件が満たされたと前記条件判定手段が判定するまで、第１のモードを維持し、前記所定の条件が満たされたと前記条件判定手段が判定したことに応じて、前記第１のモードから第２のモードへの切り替えを行うモード設定手段（１０４，２２４）と、
前記第１のモードにおいては、前記人体検出手段により検出された人体が動体であると前記動体判定手段が判定した場合に、当該人体の情報を出力し、前記第２のモードにおいては、前記人体検出手段により検出された人体が動体であると前記動体判定手段が判定したか否かに拘わらずに、当該人体の情報を出力する情報出力手段（１０５，２２５）と
を有することを特徴とする人体検出装置（１００，２００）。

【0115】

＜付記２＞
撮像された画像から人体を検出する人体検出ステップ（Ｓ４０４，Ｓ６０４，Ｓ９０４，Ｓ１３０４，Ｓ１５０４，Ｓ１６０４）と、
前記画像に基づいて、前記人体検出ステップで検出された人体が動体であるか否かを判定する動体判定ステップ（Ｓ４０８，Ｓ６０８，Ｓ９０８，Ｓ１３０８，Ｓ１５０８，Ｓ１６０８）と、
前記動体判定ステップにおける判定結果に基づいて、前記人体検出ステップで検出された人体が、前記画像にフレームインした人体がみせる所定の条件を満たしたか否かを判定する条件判定ステップ（Ｓ４１０，Ｓ６１０，Ｓ９１０，Ｓ１３１３，Ｓ１５１２，Ｓ１６１０）と、
前記所定の条件が満たされたと前記条件判定ステップで判定されるまで、第１のモードを維持し、前記所定の条件が満たされたと前記条件判定ステップで判定されたことに応じて、前記第１のモードから第２のモードへの切り替えを行うモード設定ステップ（Ｓ４１１，Ｓ６１１，Ｓ９１１，Ｓ１３１４，Ｓ１５１３，Ｓ１６１１）と、
前記第１のモードにおいては、前記人体検出ステップで検出された人体が動体であると前記動体判定ステップで判定された場合に、当該人体の情報を出力し、前記第２のモードにおいては、前記人体検出ステップで検出された人体が動体であると前記動体判定ステップで判定されたか否かに拘わらずに、当該人体の情報を出力する情報出力ステップ（Ｓ４１２，Ｓ６１２，Ｓ９１２，Ｓ１３１５，Ｓ１５１４，Ｓ１６１２）と
を有することを特徴とする人体検出方法。

【符号の説明】

【0116】

１００：人体検出装置 １０１：人体検出部 １０２：動体判定部
１０３：条件判定部 １０４：モード設定部 １０５：情報出力部
１０：カメラ ２００：ＰＣ（人体検出装置）
２１０：入力部 ２２０：制御部 ２３０：記憶部 ２４０：出力部
２２１：人体検出部 ２２２：動体判定部 ２２３：条件判定部
２２４：モード設定部 ２２５：情報出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】