ホーム > 特許ランキング > 株式会社ジェイテクト
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024151463
(43)【公開日】2024-10-25
(54)【発明の名称】検出装置、検出方法、およびコンピュータプログラム
(51)【国際特許分類】
G06V 10/25 20220101AFI20241018BHJP
G06T 7/20 20170101ALI20241018BHJP
【ＦＩ】
G06V10/25
G06T7/20 300Z
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2023064808
(22)【出願日】2023-04-12
(71)【出願人】
【識別番号】000001247
【氏名又は名称】株式会社ジェイテクト
(74)【代理人】
【識別番号】110000280
【氏名又は名称】弁理士法人サンクレスト国際特許事務所
(72)【発明者】
【氏名】渡邉 浩平
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096FA02
5L096FA09
5L096FA64
5L096GA51
5L096HA03
(57)【要約】 （修正有）
【課題】適切な大きさのバウンディングボックスを生成する処理部、検出装置及び検出方法を提供する。
【解決手段】動作解析システムにおいて、処理装置（処理装置）は、人物が撮像された動画像を取得する第１処理と、動画像に含まれる画像について人物の画像領域Ａ１を検出する第２処理と、画像領域Ａ１に基づいてバウンディングボックスＢ１を生成する第３処理と、バウンディングボックスＢ１の状態または人物の状態を判定する第４処理と、第４処理の判定結果に応じて、バウンディングボックスＢ１の大きさを補正した補正バウンディングボックスＢＡ１を生成する第５処理と、画像のうち補正バウンディングボックスＢＡ１で囲まれた部分画像を用いて人物の関節点を検出する第６処理と、を実行する処理部を備える。
【選択図】図５
【解決手段】動作解析システムにおいて、処理装置（処理装置）は、人物が撮像された動画像を取得する第１処理と、動画像に含まれる画像について人物の画像領域Ａ１を検出する第２処理と、画像領域Ａ１に基づいてバウンディングボックスＢ１を生成する第３処理と、バウンディングボックスＢ１の状態または人物の状態を判定する第４処理と、第４処理の判定結果に応じて、バウンディングボックスＢ１の大きさを補正した補正バウンディングボックスＢＡ１を生成する第５処理と、画像のうち補正バウンディングボックスＢＡ１で囲まれた部分画像を用いて人物の関節点を検出する第６処理と、を実行する処理部を備える。
【選択図】図５
【特許請求の範囲】
【請求項1】
移動体が撮像された動画像を取得する第１処理と、
前記動画像に含まれる画像について前記移動体の画像領域を検出する第２処理と、
前記画像領域に基づいてバウンディングボックスを生成する第３処理と、
前記バウンディングボックスの状態または前記移動体の状態を判定する第４処理と、
前記第４処理の判定結果に応じて、前記バウンディングボックスの大きさを補正した補正バウンディングボックスを生成する第５処理と、
前記画像のうち前記補正バウンディングボックスで囲まれた部分画像を用いて前記移動体の特徴点を検出する第６処理と、
を実行する処理部を備える
検出装置。
前記動画像に含まれる画像について前記移動体の画像領域を検出する第２処理と、
前記画像領域に基づいてバウンディングボックスを生成する第３処理と、
前記バウンディングボックスの状態または前記移動体の状態を判定する第４処理と、
前記第４処理の判定結果に応じて、前記バウンディングボックスの大きさを補正した補正バウンディングボックスを生成する第５処理と、
前記画像のうち前記補正バウンディングボックスで囲まれた部分画像を用いて前記移動体の特徴点を検出する第６処理と、
を実行する処理部を備える
検出装置。
【請求項2】
前記バウンディングボックスの状態は、状態推定によって求めた前記バウンディングボックスの推定寸法と、前記バウンディングボックスの寸法との誤差を含み、
前記第４処理では、前記誤差と、所定の閾値と、の比較によって前記バウンディングボックスの状態を判定する
請求項１に記載の検出装置。
前記第４処理では、前記誤差と、所定の閾値と、の比較によって前記バウンディングボックスの状態を判定する
請求項１に記載の検出装置。
【請求項3】
前記補正バウンディングボックスの大きさは、前記推定寸法と、前記誤差とに基づいて定められる
請求項２に記載の検出装置。
請求項２に記載の検出装置。
【請求項4】
前記移動体の状態は、前記移動体の移動速度を含み、
前記第４処理では、前記移動速度と、所定の閾値と、の比較によって前記バウンディングボックスの状態を判定する
請求項１に記載の検出装置。
前記第４処理では、前記移動速度と、所定の閾値と、の比較によって前記バウンディングボックスの状態を判定する
請求項１に記載の検出装置。
【請求項5】
前記移動体は歩行中の人物であり、
前記移動体の状態は、前記移動体の歩行フェーズを含む
請求項１に記載の検出装置。
前記移動体の状態は、前記移動体の歩行フェーズを含む
請求項１に記載の検出装置。
【請求項6】
前記第５処理は、
前記第４処理の判定結果に応じて、前記バウンディングボックスの大きさよりも大きくなるように補正した仮補正バウンディングボックスを生成する処理と、
前記仮補正バウンディングボックスと、前記バウンディングボックス以外の他のバウンディングボックスとの重なり度合いを求める処理と、
前記仮補正バウンディングボックスを前記補正バウンディングボックスとする処理、または、大きさが小さくなるように前記仮補正バウンディングボックスを補正し前記重なり度合いを求める処理を再度行う処理、のいずれかを前記重なり度合いに応じて実行する処理と、を含む
請求項１に記載の検出装置。
前記第４処理の判定結果に応じて、前記バウンディングボックスの大きさよりも大きくなるように補正した仮補正バウンディングボックスを生成する処理と、
前記仮補正バウンディングボックスと、前記バウンディングボックス以外の他のバウンディングボックスとの重なり度合いを求める処理と、
前記仮補正バウンディングボックスを前記補正バウンディングボックスとする処理、または、大きさが小さくなるように前記仮補正バウンディングボックスを補正し前記重なり度合いを求める処理を再度行う処理、のいずれかを前記重なり度合いに応じて実行する処理と、を含む
請求項１に記載の検出装置。
【請求項7】
移動体の特徴点を検出する検出方法であって、
前記移動体が撮像された動画像を取得する第１ステップと、
前記動画像に含まれる画像について前記移動体の画像領域を検出する第２ステップと、
前記画像領域に基づいてバウンディングボックスを生成する第３ステップと、
前記バウンディングボックスの状態または前記移動体の状態を判定する第４ステップと、
前記第４ステップの判定結果に応じて、前記バウンディングボックスの大きさを補正した補正バウンディングボックスを生成する第５ステップと、
前記画像のうち前記補正バウンディングボックスで囲まれた部分画像を用いて前記移動体の特徴点を検出する第６ステップと、を含む
検出方法。
前記移動体が撮像された動画像を取得する第１ステップと、
前記動画像に含まれる画像について前記移動体の画像領域を検出する第２ステップと、
前記画像領域に基づいてバウンディングボックスを生成する第３ステップと、
前記バウンディングボックスの状態または前記移動体の状態を判定する第４ステップと、
前記第４ステップの判定結果に応じて、前記バウンディングボックスの大きさを補正した補正バウンディングボックスを生成する第５ステップと、
前記画像のうち前記補正バウンディングボックスで囲まれた部分画像を用いて前記移動体の特徴点を検出する第６ステップと、を含む
検出方法。
【請求項8】
移動体の特徴点を検出する検出処理をコンピュータに実行させるためのコンピュータプログラムであって、
コンピュータに、
前記移動体が撮像された動画像を取得する第１ステップと、
前記動画像に含まれる画像について前記移動体の画像領域を検出する第２ステップと、
前記画像領域に基づいてバウンディングボックスを生成する第３ステップと、
前記バウンディングボックスの状態または前記移動体の状態を判定する第４ステップと、
前記第４ステップの判定結果に応じて、前記バウンディングボックスの大きさを補正した補正バウンディングボックスを生成する第５ステップと、
前記画像のうち前記補正バウンディングボックスで囲まれた部分画像を用いて前記移動体の特徴点を検出する第６ステップと、を実行させる
コンピュータプログラム。
コンピュータに、
前記移動体が撮像された動画像を取得する第１ステップと、
前記動画像に含まれる画像について前記移動体の画像領域を検出する第２ステップと、
前記画像領域に基づいてバウンディングボックスを生成する第３ステップと、
前記バウンディングボックスの状態または前記移動体の状態を判定する第４ステップと、
前記第４ステップの判定結果に応じて、前記バウンディングボックスの大きさを補正した補正バウンディングボックスを生成する第５ステップと、
前記画像のうち前記補正バウンディングボックスで囲まれた部分画像を用いて前記移動体の特徴点を検出する第６ステップと、を実行させる
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検出装置、検出方法、およびコンピュータプログラムに関する。
【背景技術】
【0002】
従来から、人物等の移動体の特徴点を取得するために、バウンディングボックスが用いられることがある。
バウンディングボックスは、画像内における移動体の画像領域を囲む矩形状の境界枠である。画像のうち、バウンディングボックスによって囲まれた領域が切り出され、切り出された領域の画像を用いて移動体の特徴点の検出が行われる（例えば、特許文献１参照）。
バウンディングボックスは、画像内における移動体の画像領域を囲む矩形状の境界枠である。画像のうち、バウンディングボックスによって囲まれた領域が切り出され、切り出された領域の画像を用いて移動体の特徴点の検出が行われる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２２－１７８９３５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
バウンディングボックスは、画像中において検出された移動体の画像領域に対して生成される。
しかし、移動体が高速で移動している場合や、撮像条件が良好でない場合、移動体の画像領域にぶれが生じ、画像領域全体を含むようにバウンディングボックスを設けることができないおそれがある。
しかし、移動体が高速で移動している場合や、撮像条件が良好でない場合、移動体の画像領域にぶれが生じ、画像領域全体を含むようにバウンディングボックスを設けることができないおそれがある。
【0005】
画像領域全体を含むようにバウンディングボックスの大きさを適切に設定することができないと、精度良く移動体の特徴点の検出を行うことができない。
このため、バウンディングボックスの大きさを適切に設定することができる技術が望まれる。
このため、バウンディングボックスの大きさを適切に設定することができる技術が望まれる。
【課題を解決するための手段】
【0006】
実施形態である検出装置は、移動体が撮像された動画像を取得する第１処理と、前記動画像に含まれる画像について前記移動体の画像領域を検出する第２処理と、前記画像領域に基づいてバウンディングボックスを生成する第３処理と、前記バウンディングボックスの状態または前記移動体の状態を判定する第４処理と、前記第４処理の判定結果に応じて、前記バウンディングボックスの大きさを補正した補正バウンディングボックスを生成する第５処理と、前記画像のうち前記補正バウンディングボックスで囲まれた部分画像を用いて前記移動体の特徴点を検出する第６処理と、を実行する処理部を備える。
【発明の効果】
【0007】
本開示によれば、適切な大きさのバウンディングボックスを生成することができる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
最初に実施形態の内容を列記して説明する。
［実施形態の概要］
（１）実施形態である検出装置は、移動体が撮像された動画像を取得する第１処理と、前記動画像に含まれる画像について前記移動体の画像領域を検出する第２処理と、前記画像領域に基づいてバウンディングボックスを生成する第３処理と、前記バウンディングボックスの状態または前記移動体の状態を判定する第４処理と、前記第４処理の判定結果に応じて、前記バウンディングボックスの大きさを補正した補正バウンディングボックスを生成する第５処理と、前記画像のうち前記補正バウンディングボックスで囲まれた部分画像を用いて前記移動体の特徴点を検出する第６処理と、を実行する処理部を備える。
［実施形態の概要］
（１）実施形態である検出装置は、移動体が撮像された動画像を取得する第１処理と、前記動画像に含まれる画像について前記移動体の画像領域を検出する第２処理と、前記画像領域に基づいてバウンディングボックスを生成する第３処理と、前記バウンディングボックスの状態または前記移動体の状態を判定する第４処理と、前記第４処理の判定結果に応じて、前記バウンディングボックスの大きさを補正した補正バウンディングボックスを生成する第５処理と、前記画像のうち前記補正バウンディングボックスで囲まれた部分画像を用いて前記移動体の特徴点を検出する第６処理と、を実行する処理部を備える。
【0010】
上記構成によれば、動画像の撮像時に移動体が高速で移動していたり、撮像条件が良好でなかったりすることで、移動体の画像領域全体を含むようなバウンディングボックスを生成することができないおそれがある場合であっても、バウンディングボックスの状態または移動体の状態の判定結果に応じて、バウンディングボックスの大きさを補正した補正バウンディングボックスを生成するので、適切な大きさのバウンディングボックスを得ることができる。
【0011】
（２）上記検出装置において、前記バウンディングボックスの状態が、状態推定によって求めた前記バウンディングボックスの推定寸法と、前記バウンディングボックスの寸法との誤差を含む場合、前記第４処理では、前記誤差と、所定の閾値と、の比較によって前記バウンディングボックスの状態を判定することが好ましい。
【0012】
（３）上記検出装置において、前記補正バウンディングボックスの大きさは、前記推定寸法と、前記誤差とに基づいて定められてもよい。
この場合、バウンディングボックスの推定寸法に対し、誤差に基づく値を加算するように構成すれば、補正バウンディングボックスの大きさをバウンディングボックスの推定寸法よりも大きく設定することができる。これにより、移動体の画像領域全体を含むことができる補正バウンディングボックスを生成することができる。
この場合、バウンディングボックスの推定寸法に対し、誤差に基づく値を加算するように構成すれば、補正バウンディングボックスの大きさをバウンディングボックスの推定寸法よりも大きく設定することができる。これにより、移動体の画像領域全体を含むことができる補正バウンディングボックスを生成することができる。
【0013】
（４）上記検出装置において、前記移動体の状態が、前記移動体の移動速度を含む場合、前記第４処理では、前記移動速度と、所定の閾値と、の比較によって前記バウンディングボックスの状態を判定してもよい。
この場合、移動体の移動速度に応じて、補正バウンディングボックスを生成することができる。
この場合、移動体の移動速度に応じて、補正バウンディングボックスを生成することができる。
【0014】
（５）上記検出装置において、前記移動体は歩行中の人物である場合、前記移動体の状態は、前記移動体の歩行フェーズを含むものであってもよい。
この場合、歩行フェーズに応じて、補正バウンディングボックスを生成することができる。
この場合、歩行フェーズに応じて、補正バウンディングボックスを生成することができる。
【0015】
（６）上記検出装置において、前記第５処理は、前記第４処理の判定結果に応じて、前記バウンディングボックスの大きさよりも大きくなるように補正した仮補正バウンディングボックスを生成する処理と、前記仮補正バウンディングボックスと、前記バウンディングボックス以外の他のバウンディングボックスとの重なり度合いを求める処理と、前記仮補正バウンディングボックスを前記補正バウンディングボックスとする処理、または、大きさが小さくなるように前記仮補正バウンディングボックスを補正し前記重なり度合いを求める処理を再度行う処理、のいずれかを前記重なり度合いに応じて実行する処理と、を含むことが好ましい。
この場合、重なり度合いが所定の閾値以下になるまで仮補正バウンディングボックスを補正するように構成することができ、重なり度合いが抑制された補正バウンディングボックスを得ることができる。
この場合、重なり度合いが所定の閾値以下になるまで仮補正バウンディングボックスを補正するように構成することができ、重なり度合いが抑制された補正バウンディングボックスを得ることができる。
【0016】
（７）また、他の観点から見た実施形態は、移動体の特徴点を検出する検出方法である。この検出方法は、前記移動体が撮像された動画像を取得する第１ステップと、前記動画像に含まれる画像について前記移動体の画像領域を検出する第２ステップと、前記画像領域に基づいてバウンディングボックスを生成する第３ステップと、前記バウンディングボックスの状態または前記移動体の状態を判定する第４ステップと、前記第４ステップの判定結果に応じて、前記バウンディングボックスの大きさを補正した補正バウンディングボックスを生成する第５ステップと、前記画像のうち前記補正バウンディングボックスで囲まれた部分画像を用いて前記移動体の特徴点を検出する第６ステップと、を含む。
【0017】
（８）また、他の観点から見た実施形態は、移動体の特徴点を検出する検出処理をコンピュータに実行させるためのコンピュータプログラムである。このコンピュータプログラムは、コンピュータに、前記移動体が撮像された動画像を取得する第１ステップと、前記動画像に含まれる画像について前記移動体の画像領域を検出する第２ステップと、前記画像領域に基づいてバウンディングボックスを生成する第３ステップと、前記バウンディングボックスの状態または前記移動体の状態を判定する第４ステップと、前記第４ステップの判定結果に応じて、前記バウンディングボックスの大きさを補正した補正バウンディングボックスを生成する第５ステップと、前記画像のうち前記補正バウンディングボックスで囲まれた部分画像を用いて前記移動体の特徴点を検出する第６ステップと、を実行させるコンピュータプログラムである。
【0018】
［実施形態の詳細］
以下、好ましい実施形態について図面を参照しつつ説明する。
〔全体構成について〕
図１は、実施形態に係る動作解析システムの全体構成を示す図である。
実施形態に係る動作解析システム１は、移動体である人物を撮像し、撮像した動画に基づいて人物の動作解析を行うシステムである。
以下、好ましい実施形態について図面を参照しつつ説明する。
〔全体構成について〕
図１は、実施形態に係る動作解析システムの全体構成を示す図である。
実施形態に係る動作解析システム１は、移動体である人物を撮像し、撮像した動画に基づいて人物の動作解析を行うシステムである。
【0019】
動作解析システム１は、カメラ２と、処理装置４と、を備える。
カメラ２は、ＣＣＤ素子やＣＭＯＳ素子等の撮像素子およびレンズ等の光学機構を有する撮像装置である。カメラ２は、所定の撮像範囲を撮像し動画または静止画等の２次元の画像データを生成する機能を有する。カメラ２は、撮像範囲内の人物Ｍ１および人物Ｍ２を被写体とし、人物Ｍ１および人物Ｍ２が撮像された動画像を生成する。なお、人物Ｍ１および人物Ｍ２は、総括して人物Ｍと呼ぶことがある。
カメラ２は、処理装置４に通信可能に接続されている。カメラ２が生成する動画像は、データとして処理装置４へ与えられる。
カメラ２は、ＣＣＤ素子やＣＭＯＳ素子等の撮像素子およびレンズ等の光学機構を有する撮像装置である。カメラ２は、所定の撮像範囲を撮像し動画または静止画等の２次元の画像データを生成する機能を有する。カメラ２は、撮像範囲内の人物Ｍ１および人物Ｍ２を被写体とし、人物Ｍ１および人物Ｍ２が撮像された動画像を生成する。なお、人物Ｍ１および人物Ｍ２は、総括して人物Ｍと呼ぶことがある。
カメラ２は、処理装置４に通信可能に接続されている。カメラ２が生成する動画像は、データとして処理装置４へ与えられる。
【0020】
処理装置４は、処理部６と、記憶部８と、入出力部１０と、を備えるコンピュータ等により構成される。
処理部６は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等からなる。
処理部６は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等からなる。
【0021】
記憶部８は、例えば、フラッシュメモリ、ハードディスク、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等である。
記憶部８には、処理部６に実行させるためのコンピュータプログラムや、必要な情報が記憶されている。処理部６は、記憶部８のようなコンピュータ読み取り可能な非一過性の記録媒体に記憶されたコンピュータプログラムを実行することで、処理部６が有する各種処理機能を実現する。
記憶部８には、処理部６に実行させるためのコンピュータプログラムや、必要な情報が記憶されている。処理部６は、記憶部８のようなコンピュータ読み取り可能な非一過性の記録媒体に記憶されたコンピュータプログラムを実行することで、処理部６が有する各種処理機能を実現する。
【0022】
入出力部１０は、入力デバイスと、出力デバイスと、を含む。入力デバイスは処理装置４のオペレータによる操作を受け付ける機能を有する。入力デバイスには、キーボードやマウス、タッチパネル等が含まれる。出力デバイスは、処理装置４による処理に関する各種情報を外部へ向けて出力する機能を有する。出力デバイスには、モニタや、プリンタ、タッチパネル、スピーカ等が含まれる。
【0023】
図２は、動作解析システム１を用いた動作解析の手順を示すフローチャートである。
動作解析では、まず、カメラ２によって人物Ｍの撮像が行われる（図２中、ステップＳ１）。人物Ｍが撮像された動画像は、処理装置４に与えられる。処理装置４の処理部６は、動画像に基づいて、人物Ｍの特徴点である関節点を検出する（図２中、ステップＳ２）。
次いで、処理装置４は、検出した関節点に基づいて、人物Ｍの動作を把握し、動作解析を行う（図２中、ステップＳ３）。
処理装置４は、入出力部１０を介して外部へ動作解析の結果を出力する（ステップＳ４）。
動作解析では、まず、カメラ２によって人物Ｍの撮像が行われる（図２中、ステップＳ１）。人物Ｍが撮像された動画像は、処理装置４に与えられる。処理装置４の処理部６は、動画像に基づいて、人物Ｍの特徴点である関節点を検出する（図２中、ステップＳ２）。
次いで、処理装置４は、検出した関節点に基づいて、人物Ｍの動作を把握し、動作解析を行う（図２中、ステップＳ３）。
処理装置４は、入出力部１０を介して外部へ動作解析の結果を出力する（ステップＳ４）。
【0024】
ここで、処理装置４は、人物Ｍの関節点を検出する機能を有している。つまり、処理装置４は、人物（移動体）の関節点（特徴点）を検出する検出装置を構成する。
以下、処理装置４による関節点の検出処理について説明する。
以下、処理装置４による関節点の検出処理について説明する。
【0025】
〔第１実施形態に係る検出処理について〕
図３は、第１実施形態に係る関節点の検出処理を示すフローチャートである。
関節点の検出処理において、処理装置４の処理部６は、まず、カメラ２によって人物Ｍが撮像された動画像を取得する（図３中、ステップＳ１０：第１処理）。
次いで、処理部６は、動画像に含まれる複数の画像における人物Ｍの画像領域を検出し（図３中、ステップＳ１１：第２処理）、バウンディングボックスを生成する（図３中、ステップＳ１２：第３処理）。
図３は、第１実施形態に係る関節点の検出処理を示すフローチャートである。
関節点の検出処理において、処理装置４の処理部６は、まず、カメラ２によって人物Ｍが撮像された動画像を取得する（図３中、ステップＳ１０：第１処理）。
次いで、処理部６は、動画像に含まれる複数の画像における人物Ｍの画像領域を検出し（図３中、ステップＳ１１：第２処理）、バウンディングボックスを生成する（図３中、ステップＳ１２：第３処理）。
【0026】
図４は、動画像に含まれる画像にバウンディングボックスが生成される際の態様を説明するための図である。
図４に示すように、処理部６が取得する動画像１４は、複数の画像１６を含む。複数の画像１６は、時系列に連続している。
本実施形態において、動画像１４は、移動する２人の人物Ｍ１（第１移動体）および人物Ｍ２（第２移動体）を撮像した動画像である。
よって、複数の画像１６には、それぞれ、人物Ｍ１および人物Ｍ２が撮像されている。
図４に示すように、処理部６が取得する動画像１４は、複数の画像１６を含む。複数の画像１６は、時系列に連続している。
本実施形態において、動画像１４は、移動する２人の人物Ｍ１（第１移動体）および人物Ｍ２（第２移動体）を撮像した動画像である。
よって、複数の画像１６には、それぞれ、人物Ｍ１および人物Ｍ２が撮像されている。
【0027】
処理部６は、複数の画像１６それぞれについて、撮像されている人物全員を検出する。よって、処理部６は、人物Ｍ１の第１画像領域Ａ１および人物Ｍ２の第２画像領域Ａ２を検出する。第１画像領域Ａ１および第２画像領域Ａ２は、総括して画像領域Ａと呼ぶことがある。
なお、以下の説明では、１つの画像１６ａにおける１つの画像領域Ａ（第１画像領域Ａ１）に対する処理について説明するが、処理部６は、複数の画像１６に含まれる複数の第１画像領域Ａ１および複数の第２画像領域Ａ２それぞれに対して、同じ処理を行う。
なお、以下の説明では、１つの画像１６ａにおける１つの画像領域Ａ（第１画像領域Ａ１）に対する処理について説明するが、処理部６は、複数の画像１６に含まれる複数の第１画像領域Ａ１および複数の第２画像領域Ａ２それぞれに対して、同じ処理を行う。
【0028】
処理部６は、機械学習を利用した手法を用いて、画像１６から、人物Ｍの画像領域Ａを検出する。
人物Ｍの画像領域Ａを検出すると、処理部６は、バウンディングボックスを画像１６に生成する。
処理部６は、両画像領域Ａ１、Ａ２それぞれに対してバウンディングボックスを設ける。バウンディングボックスは画像領域Ａを囲む矩形状の境界線である。
人物Ｍの画像領域Ａを検出すると、処理部６は、バウンディングボックスを画像１６に生成する。
処理部６は、両画像領域Ａ１、Ａ２それぞれに対してバウンディングボックスを設ける。バウンディングボックスは画像領域Ａを囲む矩形状の境界線である。
【0029】
図４中、１つの画像１６ａにおいて、第１画像領域Ａ１は、第１バウンディングボックスＢ１によって囲まれている。第２画像領域Ａ２は、第２バウンディングボックスＢ２によって囲まれている。なお、第１バウンディングボックスＢ１および第２バウンディングボックスＢ２は、総括してバウンディングボックスＢと呼ぶことがある。
【0030】
処理部６は、画像領域Ａに基づいてバウンディングボックスＢを生成する。例えば、図４中、画像１６ａを構成する画素がＸ－Ｙ座標によって特定することができる場合、処理部６は、第１画像領域Ａ１におけるＸ座標の最大値および最小値を通過するＹ軸に平行な一対の直線と、第１画像領域Ａ１におけるＹ座標の最大値および最小値を通過するＸ軸に平行な一対の直線と、によって構成される矩形状の第１バウンディングボックスＢ１を生成する。
第２バウンディングボックスＢ２も同様に生成される。
第２バウンディングボックスＢ２も同様に生成される。
【0031】
なお、動画像１４の撮像時に人物Ｍが高速で移動していたり、撮像条件が良好でなかったりする場合、処理部６は、精度良く画像領域Ａを囲んだバウンディングボックスＢを生成できないおそれがある。
撮像時に人物Ｍが高速で移動していると、画像領域Ａにぶれが生じ、画像領域Ａの輪郭が明瞭に表れないことがある。このため、処理部６は、実際の画像領域Ａよりも小さい範囲のバウンディングボックスＢを生成することがある。
そこで、本実施形態の処理部６は、バウンディングボックスＢの状態を判定し、その判定結果に応じて、バウンディングボックスＢを用いて処理を継続するか、バウンディングボックスＢの大きさを補正した補正バウンディングボックスを生成するか、のいずれかを選択する。
撮像時に人物Ｍが高速で移動していると、画像領域Ａにぶれが生じ、画像領域Ａの輪郭が明瞭に表れないことがある。このため、処理部６は、実際の画像領域Ａよりも小さい範囲のバウンディングボックスＢを生成することがある。
そこで、本実施形態の処理部６は、バウンディングボックスＢの状態を判定し、その判定結果に応じて、バウンディングボックスＢを用いて処理を継続するか、バウンディングボックスＢの大きさを補正した補正バウンディングボックスを生成するか、のいずれかを選択する。
【0032】
処理部６は、バウンディングボックスＢを生成すると、まず、バウンディングボックスＢの推定寸法および誤差を求める（図３中、ステップＳ１３）。
図５は、処理部６がバウンディングボックスＢの推定寸法および誤差の求め方を説明するための図である。
図５は、処理部６がバウンディングボックスＢの推定寸法および誤差の求め方を説明するための図である。
【0033】
処理部６は、第１バウンディングボックスＢ１の推定寸法を状態推定によって求める。つまり、本実施形態において、第１バウンディングボックスＢ１の推定寸法とは状態推定によって求めた第１バウンディングボックスＢ１の寸法である。
図５に示すように、画像１６の人物Ｍ１の第１画像領域Ａ１に対して設けられた現在の第１バウンディングボックスＢ１の寸法は、幅ｗおよび高さｈを含む。幅ｗは第１バウンディングボックスＢ１のＸ座標（Ｘ方向）の寸法である。高さｈは第１バウンディングボックスＢ１のＹ座標（Ｙ方向）の寸法である。
図５に示すように、画像１６の人物Ｍ１の第１画像領域Ａ１に対して設けられた現在の第１バウンディングボックスＢ１の寸法は、幅ｗおよび高さｈを含む。幅ｗは第１バウンディングボックスＢ１のＸ座標（Ｘ方向）の寸法である。高さｈは第１バウンディングボックスＢ１のＹ座標（Ｙ方向）の寸法である。
【0034】
処理部６は、現在の第１バウンディングボックスＢ１の幅ｗおよび高さｈを求めると、カルマンフィルタを用いて第１バウンディングボックスＢ１の推定寸法を求める。推定寸法は、推定幅ｗｅおよび推定高さｈｅを含む。推定幅ｗｅは幅ｗの推定値である。推定高さｈｅは高さｈの推定値である。
処理部６は、過去の画像１６（１つ前のタイミングの画像１６）の第１バウンディングボックスＢ１の推定寸法（推定幅ｗｅおよび推定高さｈｅ）と、現在の第１バウンディングボックスＢ１の寸法（幅ｗおよび高さｈ）と、を用いて、カルマンフィルタによる状態推定を行う。処理部６は、この状態推定によって、現在の第１バウンディングボックスＢ１の推定寸法を求める。
処理部６は、過去の画像１６（１つ前のタイミングの画像１６）の第１バウンディングボックスＢ１の推定寸法（推定幅ｗｅおよび推定高さｈｅ）と、現在の第１バウンディングボックスＢ１の寸法（幅ｗおよび高さｈ）と、を用いて、カルマンフィルタによる状態推定を行う。処理部６は、この状態推定によって、現在の第１バウンディングボックスＢ１の推定寸法を求める。
【0035】
図５では、画像領域Ａに対して小さく設定されている第１バウンディングボックスＢ１が示されている。
また、処理部６が求めた推定寸法である推定幅ｗｅおよび推定高さｈｅは、幅ｗおよび高さｈよりも大きい値となっている。
推定寸法を求めると、処理部６は、第１バウンディングボックスＢ１の誤差を求める。
第１バウンディングボックスＢ１の誤差は、第１バウンディングボックスＢ１の推定寸法に対する誤差である。
処理部６は、推定幅ｗｅと幅ｗとの差分の標準偏差σｗを求める。
また、処理部６は、推定高さｈｅと高さｈとの差分の標準偏差σｈを求める。
処理部６は、標準偏差σｗおよび標準偏差σｈを、第１バウンディングボックスＢ１の誤差として求める。
なお、本実施形態において標準偏差σｗは、推定幅ｗｅと幅ｗとの差分の絶対値である。また、標準偏差σｈは、推定高さｈｅと高さｈとの差分の絶対値である。
また、処理部６が求めた推定寸法である推定幅ｗｅおよび推定高さｈｅは、幅ｗおよび高さｈよりも大きい値となっている。
推定寸法を求めると、処理部６は、第１バウンディングボックスＢ１の誤差を求める。
第１バウンディングボックスＢ１の誤差は、第１バウンディングボックスＢ１の推定寸法に対する誤差である。
処理部６は、推定幅ｗｅと幅ｗとの差分の標準偏差σｗを求める。
また、処理部６は、推定高さｈｅと高さｈとの差分の標準偏差σｈを求める。
処理部６は、標準偏差σｗおよび標準偏差σｈを、第１バウンディングボックスＢ１の誤差として求める。
なお、本実施形態において標準偏差σｗは、推定幅ｗｅと幅ｗとの差分の絶対値である。また、標準偏差σｈは、推定高さｈｅと高さｈとの差分の絶対値である。
【0036】
第１バウンディングボックスＢ１の誤差を求めると、処理部６は、次いで、誤差（標準偏差σｗおよび標準偏差σｈ）と、所定の閾値とを比較し、第１バウンディングボックスＢ１の状態を判定する。
より具体的に、処理部６は、標準偏差σｗが所定の閾値Ｔｗより小さく、かつ、標準偏差σｈが所定の閾値Ｔｈより小さいか否かを判定する（図３中、ステップＳ１４：第４処理）。
標準偏差σｗが所定の閾値Ｔｗより小さく、かつ、標準偏差σｈが所定の閾値Ｔｈより小さい場合、処理部６は、図３中、ステップＳ２１へ進み、画像１６のうちの第１バウンディングボックスＢ１によって囲まれる領域部分を部分画像として切り出し、さらに、部分画像を用いて人物Ｍ１の特徴点である関節点を検出し（図３中、ステップＳ２２）、処理を終える。図３中、ステップＳ２２については、後に説明する。
より具体的に、処理部６は、標準偏差σｗが所定の閾値Ｔｗより小さく、かつ、標準偏差σｈが所定の閾値Ｔｈより小さいか否かを判定する（図３中、ステップＳ１４：第４処理）。
標準偏差σｗが所定の閾値Ｔｗより小さく、かつ、標準偏差σｈが所定の閾値Ｔｈより小さい場合、処理部６は、図３中、ステップＳ２１へ進み、画像１６のうちの第１バウンディングボックスＢ１によって囲まれる領域部分を部分画像として切り出し、さらに、部分画像を用いて人物Ｍ１の特徴点である関節点を検出し（図３中、ステップＳ２２）、処理を終える。図３中、ステップＳ２２については、後に説明する。
【0037】
閾値Ｔｗおよび閾値Ｔｈは、第１バウンディングボックスＢ１が第１画像領域Ａ１を囲んでいると判断しうる値に設定される。
よって、標準偏差σｗおよび標準偏差σｈが、図３中のステップＳ１４の条件を満たす場合、第１バウンディングボックスＢ１は第１画像領域Ａ１を囲んでいると判断することができる。よって、処理部６は、第１バウンディングボックスＢ１によって部分画像を切り出し、関節点の検出を行う。
よって、標準偏差σｗおよび標準偏差σｈが、図３中のステップＳ１４の条件を満たす場合、第１バウンディングボックスＢ１は第１画像領域Ａ１を囲んでいると判断することができる。よって、処理部６は、第１バウンディングボックスＢ１によって部分画像を切り出し、関節点の検出を行う。
【0038】
標準偏差σｗおよび標準偏差σｈが、図３中のステップＳ１４の条件を満たさない場合、処理部６は、第１バウンディングボックスＢ１の大きさを補正した補正バウンディングボックスを生成し（第５処理）、補正バウンディングボックスによって囲まれる領域部分を部分画像として切り出し（図３中、ステップＳ２１）、さらに、部分画像を用いて人物Ｍ１の特徴点である関節点を検出し（図３中、ステップＳ２２）、処理を終える。
【0039】
より具体的に、標準偏差σｗおよび標準偏差σｈが、図３中のステップＳ１４の条件を満たさない場合、処理部６は、図３中、ステップＳ１５へ進み、仮補正バウンディングボックスを生成する。
仮補正バウンディングボックスは、第１バウンディングボックスＢ１を補正したバウンディングボックスである。処理部６は、第１バウンディングボックスＢ１に代えて仮補正バウンディングボックスを生成する。
仮補正バウンディングボックスは、第１バウンディングボックスＢ１を補正したバウンディングボックスである。処理部６は、第１バウンディングボックスＢ１に代えて仮補正バウンディングボックスを生成する。
【0040】
図５に示すように、仮補正バウンディングボックスＢＴ１は、第１バウンディングボックスＢ１の大きさよりも大きく設定される。
仮補正バウンディングボックスＢＴ１の寸法は、第１バウンディングボックスＢ１の推定寸法および誤差に基づいて求められる。
より具体的に、仮補正バウンディングボックスＢＴ１の幅ｗｔは、下記式（１）のように表される。
また、仮補正バウンディングボックスＢＴ１の高さｈｔは、下記式（２）のように表される。
ｗｔ ＝ ｗｅ ＋ ｎ × σｗ ・・・（１）
ｈｔ ＝ ｈｅ ＋ ｎ × σｈ ・・・（２）
仮補正バウンディングボックスＢＴ１の寸法は、第１バウンディングボックスＢ１の推定寸法および誤差に基づいて求められる。
より具体的に、仮補正バウンディングボックスＢＴ１の幅ｗｔは、下記式（１）のように表される。
また、仮補正バウンディングボックスＢＴ１の高さｈｔは、下記式（２）のように表される。
ｗｔ ＝ ｗｅ ＋ ｎ × σｗ ・・・（１）
ｈｔ ＝ ｈｅ ＋ ｎ × σｈ ・・・（２）
【0041】
上記式（１）および（２）中のｎは係数であり、本実施形態では、係数ｎは正の実数である。係数ｎの初期値は「３」である。
また、仮補正バウンディングボックスＢＴ１の重心位置と、第１バウンディングボックスＢ１の重心位置と、は一致している。つまり、仮補正バウンディングボックスＢＴ１の位置は、第１バウンディングボックスＢ１の重心位置に基づいて設定される。
仮補正バウンディングボックスＢＴ１は、一定の条件ｎを満たすと、補正バウンディングボックスＢＡ１とされる。
また、仮補正バウンディングボックスＢＴ１の重心位置と、第１バウンディングボックスＢ１の重心位置と、は一致している。つまり、仮補正バウンディングボックスＢＴ１の位置は、第１バウンディングボックスＢ１の重心位置に基づいて設定される。
仮補正バウンディングボックスＢＴ１は、一定の条件ｎを満たすと、補正バウンディングボックスＢＡ１とされる。
【0042】
仮補正バウンディングボックスＢＴ１を生成すると、処理部６は、仮補正バウンディングボックスＢＴ１に重複する他のバウンディングボックスの有無を判定する（図３中、ステップＳ１６）。
ステップＳ１６において、仮補正バウンディングボックスＢＴ１に重複する他のバウンディングボックスが有ると判定する場合、処理部６は、仮補正バウンディングボックスＢＴ１と、他のバウンディングボックスと、のＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）を求める（図３中、ステップＳ１７）。
ＩｏＵとは、２つの領域の重なり度合いを示す数値である。ＩｏＵは、２つの領域の共通部分を２つの領域の和集合で除算した値である。
ステップＳ１６において、仮補正バウンディングボックスＢＴ１に重複する他のバウンディングボックスが有ると判定する場合、処理部６は、仮補正バウンディングボックスＢＴ１と、他のバウンディングボックスと、のＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）を求める（図３中、ステップＳ１７）。
ＩｏＵとは、２つの領域の重なり度合いを示す数値である。ＩｏＵは、２つの領域の共通部分を２つの領域の和集合で除算した値である。
【0043】
ＩｏＵを求めると、処理部６は、重なり度合いを示すＩｏＵに応じて、仮補正バウンディングボックスＢＴ１を補正バウンディングボックスＢＡ１とする処理、または、大きさが小さくなるように仮補正バウンディングボックスＢＴ１を補正する処理、のいずれかを実行する。
より具体的に、処理部６は、図３中のステップＳ１８においてＩｏＵが所定の閾値ＴＩよりも大きいか否かを判定する。
ＩｏＵが閾値ＴＩよりも大きくない（ＩｏＵが閾値ＴＩ以下である）と判定すると、処理部６は、図３中のステップＳ２０へ進み、仮補正バウンディングボックスＢＴ１を補正バウンディングボックスＢＡ１とする（図３中、ステップＳ２０：第５処理）。その後、処理部６は、図３中、ステップＳ２１へ進み、画像１６のうちの補正バウンディングボックスＢＡ１によって囲まれる領域部分を部分画像として切り出し（図３中、ステップＳ２１）、さらに、部分画像を用いて人物Ｍ１の特徴点である関節点を検出し（図３中、ステップＳ２２：第６処理）、処理を終える。
より具体的に、処理部６は、図３中のステップＳ１８においてＩｏＵが所定の閾値ＴＩよりも大きいか否かを判定する。
ＩｏＵが閾値ＴＩよりも大きくない（ＩｏＵが閾値ＴＩ以下である）と判定すると、処理部６は、図３中のステップＳ２０へ進み、仮補正バウンディングボックスＢＴ１を補正バウンディングボックスＢＡ１とする（図３中、ステップＳ２０：第５処理）。その後、処理部６は、図３中、ステップＳ２１へ進み、画像１６のうちの補正バウンディングボックスＢＡ１によって囲まれる領域部分を部分画像として切り出し（図３中、ステップＳ２１）、さらに、部分画像を用いて人物Ｍ１の特徴点である関節点を検出し（図３中、ステップＳ２２：第６処理）、処理を終える。
【0044】
一方、図３中、ステップＳ１８において、ＩｏＵが閾値ＴＩよりも大きいと判定すると、処理部６は、図３中のステップＳ１９へ進み、仮補正バウンディングボックスＢＴ１を補正する（図３中、ステップＳ１９）。
処理部６は、上記式（１）および（２）中の係数ｎを調整することで、仮補正バウンディングボックスＢＴ１の寸法が小さくなるように補正する。
処理部６は、上記式（１）および（２）中の係数ｎを調整することで、仮補正バウンディングボックスＢＴ１の寸法が小さくなるように補正する。
【0045】
図６は、図４に示す第１バウンディングボックスＢ１を補正することで得られた仮補正バウンディングボックスＢＴ１と、第２バウンディングボックスＢ２と、が重複している状態を示す図である。
仮補正バウンディングボックスＢＴ１は、上述のように、第１バウンディングボックスＢ１よりも大きく設定される。このため、仮補正バウンディングボックスＢＴ１は、仮補正バウンディングボックスＢＴ１に隣接する他のバウンディングボックスである第２バウンディングボックスＢ２に大きく重複してしまうおそれがある。仮補正バウンディングボックスＢＴ１が第２バウンディングボックスＢ２に重複してしまうと、第１画像領域Ａ１の関節点の他、第２バウンディングボックスＢ２内の第２画像領域Ａ２の関節点を検出してしまうおそれがあり、関節点の検出精度の低下を生じさせるおそれがある。
仮補正バウンディングボックスＢＴ１は、上述のように、第１バウンディングボックスＢ１よりも大きく設定される。このため、仮補正バウンディングボックスＢＴ１は、仮補正バウンディングボックスＢＴ１に隣接する他のバウンディングボックスである第２バウンディングボックスＢ２に大きく重複してしまうおそれがある。仮補正バウンディングボックスＢＴ１が第２バウンディングボックスＢ２に重複してしまうと、第１画像領域Ａ１の関節点の他、第２バウンディングボックスＢ２内の第２画像領域Ａ２の関節点を検出してしまうおそれがあり、関節点の検出精度の低下を生じさせるおそれがある。
【0046】
そこで、処理部６は、仮補正バウンディングボックスＢＴ１の寸法が小さくなるように係数ｎを調整する。
処理部６は、例えば、係数ｎを初期値の「３」から「２．５」へ調整し、再度、図３中のステップＳ１７へ戻り、ＩｏＵを求める。係数ｎを「２．５」に調整した後、さらに、図３中のステップＳ１９に進んだ場合、処理部６は、係数ｎを「２．５」から「２．０」へ調整する。このように、処理部６は、ステップＳ１９を繰り返し実行することに応じて、係数ｎを段階的に小さい値に調整する。
処理部６は、例えば、係数ｎを初期値の「３」から「２．５」へ調整し、再度、図３中のステップＳ１７へ戻り、ＩｏＵを求める。係数ｎを「２．５」に調整した後、さらに、図３中のステップＳ１９に進んだ場合、処理部６は、係数ｎを「２．５」から「２．０」へ調整する。このように、処理部６は、ステップＳ１９を繰り返し実行することに応じて、係数ｎを段階的に小さい値に調整する。
【0047】
処理部６は、ＩｏＵが閾値ＴＩ以下であると判定するまで、図３中のステップＳ１７－Ｓ１９を繰り返し、ＩｏＵが閾値ＴＩ以下であると判定すると、図３中のステップＳ２０へ進み、仮補正バウンディングボックスＢＴ１を補正バウンディングボックスＢＡ１とする（図３中、ステップＳ２０）。
このように、本実施形態では、ＩｏＵが閾値ＴＩ以下になるまで仮補正バウンディングボックスＢＴ１を補正するので、ＩｏＵが抑制された補正バウンディングボックスＢＡ１を得ることができる。
なお、閾値ＴＩは、仮補正バウンディングボックスＢＴ１と他のバウンディングボックスとが重複していたとしても、互いの関節点の検出精度が低下しない程度の値に設定される。
このように、本実施形態では、ＩｏＵが閾値ＴＩ以下になるまで仮補正バウンディングボックスＢＴ１を補正するので、ＩｏＵが抑制された補正バウンディングボックスＢＡ１を得ることができる。
なお、閾値ＴＩは、仮補正バウンディングボックスＢＴ１と他のバウンディングボックスとが重複していたとしても、互いの関節点の検出精度が低下しない程度の値に設定される。
【0048】
図３中のステップＳ２０において、仮補正バウンディングボックスＢＴ１を補正バウンディングボックスとすると、処理部６は、図３中、ステップＳ２１へ進み、画像１６のうちの補正バウンディングボックスによって囲まれる領域部分を部分画像として切り出し（図３中、ステップＳ２１）、部分画像を用いて人物Ｍ１の特徴点である関節点を検出する（図３中、ステップＳ２２）。
【0049】
図７は、部分画像の一例を示す図である。図７は、第１画像領域Ａ１を含む部分画像１８を示している。
処理部６は、部分画像１８における人物Ｍ１の第１画像領域Ａ１を取得し、第１画像領域Ａ１に基づいて、人物Ｍ１の骨格ｍ１を推定する。さらに、処理部６は、骨格ｍ１に基づいて、人物Ｍ１の特徴点である複数の関節点ｍ２を検出する。
処理部６は、機械学習を利用した手法を用いて、人物Ｍ１の骨格ｍ１および複数の関節点ｍ２の推定を行う。骨格ｍ１および複数の関節点ｍ２の推定手法としては、オープンポーズ等の公知の手法が挙げられる。
人物画像に基づいて、関節点ｍ２を検出すると（図３中、ステップＳ２２）、処理部６は、処理を終える。
処理部６は、部分画像１８における人物Ｍ１の第１画像領域Ａ１を取得し、第１画像領域Ａ１に基づいて、人物Ｍ１の骨格ｍ１を推定する。さらに、処理部６は、骨格ｍ１に基づいて、人物Ｍ１の特徴点である複数の関節点ｍ２を検出する。
処理部６は、機械学習を利用した手法を用いて、人物Ｍ１の骨格ｍ１および複数の関節点ｍ２の推定を行う。骨格ｍ１および複数の関節点ｍ２の推定手法としては、オープンポーズ等の公知の手法が挙げられる。
人物画像に基づいて、関節点ｍ２を検出すると（図３中、ステップＳ２２）、処理部６は、処理を終える。
【0050】
上記構成によれば、動画像１４の撮像時に移動体である人物Ｍが高速で移動していたり、撮像条件が良好でなかったりすることで、人物Ｍの画像領域Ａ全体を含むようなバウンディングボックスＢを生成することができないおそれがある場合であっても、バウンディングボックスＢの状態の判定結果に応じて、バウンディングボックスＢの大きさを補正した補正バウンディングボックスを生成するので、適切な大きさのバウンディングボックスを得ることができる。
【0051】
また、本実施形態では、補正バウンディングボックスの寸法は、バウンディングボックスＢの推定寸法に、バウンディングボックスＢの誤差に基づく値を加算することで定めるように構成したので、補正バウンディングボックスの大きさをバウンディングボックスＢの推定寸法よりもより大きく設定することができる。これにより、画像領域Ａ全体を含むことができる補正バウンディングボックスを生成することができる。
【0052】
〔第２実施形態について〕
図８は、第２実施形態に係る関節点の検出処理を示すフローチャートである。
図８では、図３に示した第１実施形態に係る検出処理のフローチャートと異なる部分を示している。その他の部分については、図３と同様である。ここでは、第１実施形態と異なる部分についてのみ説明する。
図８は、第２実施形態に係る関節点の検出処理を示すフローチャートである。
図８では、図３に示した第１実施形態に係る検出処理のフローチャートと異なる部分を示している。その他の部分については、図３と同様である。ここでは、第１実施形態と異なる部分についてのみ説明する。
【0053】
【0054】
図８中、ステップＳ１２においてバウンディングボックスＢを生成すると、処理部６は、ステップＳ２３へ進み、人物Ｍ１の歩行速度（移動速度）を取得する。処理部６は、現在処理を行っている画像１６ａ、および画像１６ａよりも過去のタイミングの画像１６に基づいて、人物Ｍ１の歩行速度を求める。
処理部６は、現在処理を行っている画像１６ａの第１画像領域Ａ１、および過去のタイミングの画像１６の第１画像領域Ａ１を比較し、一定時間に対する第１画像領域Ａ１の移動量を求め、人物Ｍ１の歩行速度を求める。処理部６は、人物Ｍ１の状態として、歩行速度を求める。
処理部６は、現在処理を行っている画像１６ａの第１画像領域Ａ１、および過去のタイミングの画像１６の第１画像領域Ａ１を比較し、一定時間に対する第１画像領域Ａ１の移動量を求め、人物Ｍ１の歩行速度を求める。処理部６は、人物Ｍ１の状態として、歩行速度を求める。
【0055】
歩行速度を求めると、処理部６は、ステップＳ２４へ進み、歩行速度と、所定の閾値Ｔｖと、を比較し、人物Ｍ１の状態を判定する。
より具体的に、処理部６は、歩行速度が閾値Ｔｖよりも小さいか否かを判定する（図８中、ステップＳ２４：第４処理）。
より具体的に、処理部６は、歩行速度が閾値Ｔｖよりも小さいか否かを判定する（図８中、ステップＳ２４：第４処理）。
【0056】
歩行速度が閾値Ｔｖより小さいと判定される場合、処理部６は、図３中、ステップＳ２１へ進み、画像１６のうちの第１バウンディングボックスＢ１によって囲まれる領域部分を部分画像として切り出し（図３中、ステップＳ２１）、さらに、部分画像を用いて人物Ｍ１の特徴点である関節点を検出し（図３中、ステップＳ２２）、処理を終える。
【0057】
閾値Ｔｖは、第１バウンディングボックスＢ１が第１画像領域Ａ１を囲むように生成されうる歩行速度の上限値に設定される。
よって、歩行速度が閾値Ｔｖよりも小さいと判定される場合、第１バウンディングボックスＢ１は第１画像領域Ａ１を囲んでいると判断することができる。よって、処理部６は、第１バウンディングボックスＢ１によって部分画像を切り出し、関節点の検出を行う。
よって、歩行速度が閾値Ｔｖよりも小さいと判定される場合、第１バウンディングボックスＢ１は第１画像領域Ａ１を囲んでいると判断することができる。よって、処理部６は、第１バウンディングボックスＢ１によって部分画像を切り出し、関節点の検出を行う。
【0058】
歩行速度が閾値Ｔｖより小さくない（閾値Ｔｖ以上である）場合、処理部６は、ステップＳ１５へ進み、仮補正バウンディングボックスを生成する。
【0059】
図９は、本実施形態の仮補正バウンディングボックスＢＴ１を示す図である。
本実施形態における仮補正バウンディングボックスＢＴ１の寸法（幅ｗｔおよび高さｈｔ）は、下記式（３）（４）のように表される。
ｗｔ ＝ ｍ × ｗ ・・・（３）
ｈｔ ＝ ｍ × ｈ ・・・（４）
本実施形態における仮補正バウンディングボックスＢＴ１の寸法（幅ｗｔおよび高さｈｔ）は、下記式（３）（４）のように表される。
ｗｔ ＝ ｍ × ｗ ・・・（３）
ｈｔ ＝ ｍ × ｈ ・・・（４）
【0060】
上記式（３）および（４）中のｍは係数であり、本実施形態では、係数ｍは正の実数である。係数ｍの初期値は「１．３」である。
このように、本実施形態では、第１バウンディングボックスＢ１の幅ｗおよび高さｈに対して係数を乗算することで、第１バウンディングボックスＢ１よりも大きい仮補正バウンディングボックスＢＴ１が得られる。
また、係数ｍは、ステップＳ１５以降の処理であるステップＳ１９（図３参照）において、初期値に対して小さい値に調整される。処理部６は、ステップＳ１９を繰り返し実行することに応じて、係数ｍを、初期値の「１．３」から、「１．１」、「１．０５」といったように段階的に小さい値に調整する。
このように、本実施形態では、第１バウンディングボックスＢ１の幅ｗおよび高さｈに対して係数を乗算することで、第１バウンディングボックスＢ１よりも大きい仮補正バウンディングボックスＢＴ１が得られる。
また、係数ｍは、ステップＳ１５以降の処理であるステップＳ１９（図３参照）において、初期値に対して小さい値に調整される。処理部６は、ステップＳ１９を繰り返し実行することに応じて、係数ｍを、初期値の「１．３」から、「１．１」、「１．０５」といったように段階的に小さい値に調整する。
【0061】
処理部６は、ＩｏＵが閾値ＴＩ以下であると判定すると、仮補正バウンディングボックスＢＴ１を補正バウンディングボックスＢＡ１とする（図３中、ステップＳ２０）。
このように、本実施形態では、人物Ｍ１の歩行速度に応じて、補正バウンディングボックスＢＡ１を生成することができる。
このように、本実施形態では、人物Ｍ１の歩行速度に応じて、補正バウンディングボックスＢＡ１を生成することができる。
【0062】
本実施形態では、人物Ｍ１の状態として、歩行速度を求めた場合を例示したが、人物Ｍ１の状態として、人物Ｍ１の歩行フェーズを用いることもできる。
歩行フェーズの一例として、初期接地、荷重応答期、立脚中期、立脚終期、前遊脚期、遊脚初期、遊脚中期、遊脚終期、といったように、８つのフェーズに分けた場合、各フェーズに応じて、人物Ｍ１の状態を判定することができる。
歩行フェーズの一例として、初期接地、荷重応答期、立脚中期、立脚終期、前遊脚期、遊脚初期、遊脚中期、遊脚終期、といったように、８つのフェーズに分けた場合、各フェーズに応じて、人物Ｍ１の状態を判定することができる。
【0063】
図１０は、人物Ｍ１の状態として、歩行フェーズを用いる場合の関節点の検出処理を示すフローチャートである。
図１０では、ステップＳ１２においてバウンディングボックスＢを生成すると、処理部６は、ステップＳ３３へ進み、人物Ｍ１の歩行フェーズを取得する。処理部６は、現在処理を行っている画像１６ａにおける第１画像領域Ａ１に基づいて、人物Ｍ１の歩行フェーズを特定する。処理部６は、人物Ｍ１の歩行フェーズが上述の８つのフェーズのうちにいずれのフェーズであるかを特定する。
図１０では、ステップＳ１２においてバウンディングボックスＢを生成すると、処理部６は、ステップＳ３３へ進み、人物Ｍ１の歩行フェーズを取得する。処理部６は、現在処理を行っている画像１６ａにおける第１画像領域Ａ１に基づいて、人物Ｍ１の歩行フェーズを特定する。処理部６は、人物Ｍ１の歩行フェーズが上述の８つのフェーズのうちにいずれのフェーズであるかを特定する。
【0064】
歩行フェーズを特定すると、処理部６は、ステップＳ３４へ進み、歩行フェーズに応じて、第１バウンディングボックスＢ１を用いて関節点の検出を行うか、または、仮補正バウンディングボックスＢＴ１を生成し補正バウンディングボックスＢＡ１を生成するか、のいずれを行うかについて判定することができる。
このように、処理部６は、歩行フェーズに応じて、補正バウンディングボックスＢＡ１を生成することもできる。
このように、処理部６は、歩行フェーズに応じて、補正バウンディングボックスＢＡ１を生成することもできる。
【0065】
〔その他〕
今回開示した実施形態はすべての点で例示であって制限的なものではない。
上記実施形態では、移動体が人物Ｍの場合を例示したが、人物Ｍ以外の移動体を対象とすることもできる。人物Ｍ以外の移動体を対象とする場合、本実施形態のように関節点ではなく、対象となる移動体特有の特徴点が検出対象となる。
今回開示した実施形態はすべての点で例示であって制限的なものではない。
上記実施形態では、移動体が人物Ｍの場合を例示したが、人物Ｍ以外の移動体を対象とすることもできる。人物Ｍ以外の移動体を対象とする場合、本実施形態のように関節点ではなく、対象となる移動体特有の特徴点が検出対象となる。
【0066】
本発明の権利範囲は、上述の実施形態に限定されるものではなく、特許請求の範囲に記載された構成と均等の範囲内でのすべての変更が含まれる。
【符号の説明】
【0067】
４ 処理装置（検出装置）
６ 処理部
１４ 動画像
１６、１６ａ 画像
１８ 部分画像
Ａ 画像領域
Ｂ バウンディングボックス
ＢＡ１ 補正バウンディングボックス
ＢＴ１ 仮補正バウンディングボックス
Ｍ、Ｍ１、Ｍ２ 人物
６ 処理部
１４ 動画像
１６、１６ａ 画像
１８ 部分画像
Ａ 画像領域
Ｂ バウンディングボックス
ＢＡ１ 補正バウンディングボックス
ＢＴ１ 仮補正バウンディングボックス
Ｍ、Ｍ１、Ｍ２ 人物
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】