特開 2022-167586 情報処理装置、情報処理方法、及び制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022167586

(43)【公開日】2022-11-04

(54)【発明の名称】情報処理装置、情報処理方法、及び制御プログラム

(51)【国際特許分類】

   G06T 7/60 20170101AFI20221027BHJP

   G06T 7/00 20170101ALI20221027BHJP

【ＦＩ】

G06T7/60 300Z

G06T7/00 660B

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021073468

(22)【出願日】2021-04-23

(71)【出願人】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】100155712

【弁理士】

【氏名又は名称】村上 尚

(72)【発明者】

【氏名】張 超

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096FA05

5L096FA06

5L096FA55

5L096FA59

5L096FA60

5L096FA62

5L096FA67

5L096FA69

5L096GA08

5L096GA51

5L096HA11

(57)【要約】

【課題】撮像条件に関わらず、撮像画像から物体を正確に識別することが可能な情報処理装置、情報処理方法、及び制御プログラムを実現する。
【解決手段】第１外接多角形領域算出部（３２）は、特徴領域を包含する凸包外接領域としての第１外接多角形領域を算出する。慣性主軸算出部（３３）は、特徴領域の慣性主軸を算出する。領域分割部（３４）は、慣性主軸を用いて、特徴領域を分割する。領域選択部（３６）は、分割された特徴領域をそれぞれ包含する凸包外接領域としての２つの第２外接多角形領域と第１外接多角形領域との面積比に基づいて、第１外接多角形領域、または２つの第２外接多角形領域のいずれかを選択する。物体識別部（３７）は、選択された第１外接多角形領域、または２つの第２外接多角形領域に対して物体検出処理を実行する。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮像画像を処理する情報処理装置であって、
入力された撮像画像から、所定の特徴を有する特徴領域を検出する特徴領域検出部と、
前記特徴領域を包含する凸包外接領域としての第１外接多角形領域を算出する第１外接多角形領域算出部と、
前記特徴領域の慣性主軸を算出する慣性主軸算出部と、
算出された前記慣性主軸を用いて、前記特徴領域を分割する領域分割部と、
分割された前記特徴領域をそれぞれ包含する凸包外接領域としての２つの第２外接多角形領域を算出する第２外接多角形領域算出部と、
前記２つの第２外接多角形領域と前記第１外接多角形領域との面積比に基づいて、前記第１外接多角形領域、および、前記２つの第２外接多角形領域のいずれか一方を選択する領域選択部と、
前記領域選択部により選択された前記第１外接多角形領域、または前記２つの第２外接多角形領域に対して物体検出処理を実行する物体識別部と、を備える、情報処理装置。

【請求項2】

前記第１外接多角形領域算出部は、更に前記特徴領域を包含するバウンディングボックスを算出し、
前記慣性主軸算出部は、前記特徴領域の重心と、前記バウンディングボックスの中心または前記凸包外接領域の重心との位置関係に基づいて、前記慣性主軸を算出する、請求項１に記載の情報処理装置。

【請求項3】

前記物体識別部は、物体検出処理を実行することにより、人体を識別する、請求項１または２に記載の情報処理装置。

【請求項4】

前記特徴領域検出部は、前記特徴領域として、動きのある領域、所定範囲内の画素値を有する領域、および、エッジで囲まれた領域の少なくとも一つを検出する、請求項１から３のいずれか１項に記載の情報処理装置。

【請求項5】

撮像画像を処理する情報処理方法であって、
入力された撮像画像から、所定の特徴を有する特徴領域を検出する特徴領域検出工程と、
前記特徴領域を包含する凸包外接領域としての第１外接多角形領域を算出する第１外接多角形領域算出工程と、
前記特徴領域の慣性主軸を算出する慣性主軸算出工程と、
算出された前記慣性主軸を用いて、前記特徴領域を分割する領域分割工程と、
分割された前記特徴領域をそれぞれ包含する凸包外接領域としての２つの第２外接多角形領域を算出する第２外接多角形領域算出工程と、
前記２つの第２外接多角形領域と前記第１外接多角形領域との面積比に基づいて、前記第１外接多角形領域、および、前記２つの第２外接多角形領域のいずれか一方を選択する領域選択工程と、
前記領域選択工程により選択された前記第１外接多角形領域、または前記２つの第２外接多角形領域に対して物体検出処理を実行する物体識別工程と、を備える、情報処理方法。

【請求項6】

請求項１に記載の情報処理装置としてコンピュータを機能させるための制御プログラムであって、前記特徴領域検出部、前記第１外接多角形領域算出部、前記慣性主軸算出部、前記領域分割部、前記第２外接多角形領域算出部、前記領域選択部、及び前記物体識別部としてコンピュータを機能させるための制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、撮像画像を処理する情報処理装置、情報処理方法、及び制御プログラムに関する。

【背景技術】

【0002】

デジタルカメラなどの撮像装置では、撮像された撮像画像に対して所定の情報処理（データ処理）を行うことにより、当該撮像画像から人体などの物体を検出し、検出した物体や、当該物体を囲んだ枠体を表示部等の表示装置に表示させることが知られている。

【0003】

上記のような撮像装置では、撮像画像において撮像対象の物体とその影とを識別することが求められている。特許文献１には、所定の基準輝度値に基づき撮像画像を処理して、撮像対象の物体、例えば、人体と、その人体の影とを識別する技術が知られている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００８－２４５０６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところが、上記のような従来技術では、撮像画像の撮像条件によっては、撮像画像から物体を正確に識別できないことがあった。具体的には、従来技術では、周囲の明るさが暗い場合や逆光である場合などにおいて、撮像画像における物体とその影との各輝度値が互いに近い値となり、これら物体と影とを分割することができずに、撮像画像から当該物体を正確に識別できないことがあった。

【0006】

本開示は上記の問題点を鑑みてなされたものであり、撮像条件に関わらず、撮像画像から物体を正確に識別することが可能な情報処理装置、情報処理方法、及び制御プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示は、上述の課題を解決するために、以下の構成を採用する。

【0008】

本開示の一側面に係る情報処理装置は、撮像画像を処理する情報処理装置であって、入力された撮像画像から、所定の特徴を有する特徴領域を検出する特徴領域検出部と、前記特徴領域を包含する凸包外接領域としての第１外接多角形領域を算出する第１外接多角形領域算出部と、前記特徴領域の慣性主軸を算出する慣性主軸算出部と、算出された前記慣性主軸を用いて、前記特徴領域を分割する領域分割部と、分割された前記特徴領域をそれぞれ包含する凸包外接領域としての２つの第２外接多角形領域を算出する第２外接多角形領域算出部と、前記２つの第２外接多角形領域と前記第１外接多角形領域との面積比に基づいて、前記第１外接多角形領域、および、前記２つの第２外接多角形領域のいずれか一方を選択する領域選択部と、前記領域選択部により選択された前記第１外接多角形領域、または前記２つの第２外接多角形領域に対して物体検出処理を実行する物体識別部と、を備える。

【0009】

上記構成によれば、所定の特徴を有する特徴領域を検出するとともに、検出した特徴領域の慣性主軸を算出して、当該慣性主軸を用いて検出した特徴領域を分割している。また、分割前の特徴領域を包含する第１外接多角形領域と、分割後の２つの特徴領域をそれぞ
れ包含する第２外接多角形領域とに、対応する特徴領域を包含する凸包外接領域を用いている。これにより、領域選択部での第１外接多角形領域、または２つの第２外接多角形領域の選択処理を適切に、かつ、精度よく行うことが可能となり、物体識別部での物体検出処理を高精度に実行することができる。この結果、撮像条件に関わらず、撮像画像から物体を正確に識別することが可能となる。

【0010】

上記一側面に係る情報処理装置において、前記第１外接多角形領域算出部は、更に前記特徴領域を包含するバウンディングボックスを算出し、前記慣性主軸算出部は、前記特徴領域の重心と、前記バウンディングボックスの中心または前記凸包外接領域の重心との位置関係に基づいて、前記慣性主軸を算出してもよい。

【0011】

上記構成によれば、特徴領域の慣性主軸を精度よく算出することができる。この結果、撮像条件に関わらず、撮像画像から物体をより正確に識別することが可能となる。

【0012】

上記一側面に係る情報処理装置において、前記物体識別部は、物体検出処理を実行することにより、人体を識別してもよい。

【0013】

上記構成によれば、物体識別部は人体を精度よく識別することが可能となる。

【0014】

上記一側面に係る情報処理装置において、前記特徴領域検出部は、前記特徴領域として、動きのある領域、所定範囲内の画素値を有する領域、および、エッジで囲まれた領域の少なくとも一つを検出してもよい。

【0015】

上記構成によれば、撮像条件に関わらず、特徴領域を的確に検出することが可能となり、撮像画像から物体をより正確に識別することができる。

【0016】

また、本開示の一側面に係る情報処理方法は、撮像画像を処理する情報処理方法であって、入力された撮像画像から、所定の特徴を有する特徴領域を検出する特徴領域検出工程と、前記特徴領域を包含する凸包外接領域としての第１外接多角形領域を算出する第１外接多角形領域算出工程と、前記特徴領域の慣性主軸を算出する慣性主軸算出工程と、算出された前記慣性主軸を用いて、前記特徴領域を分割する領域分割工程と、分割された前記特徴領域をそれぞれ包含する凸包外接領域としての２つの第２外接多角形領域を算出する第２外接多角形領域算出工程と、前記２つの第２外接多角形領域と前記第１外接多角形領域との面積比に基づいて、前記第１外接多角形領域、および、前記２つの第２外接多角形領域のいずれか一方を選択する領域選択工程と、前記領域選択工程により選択された前記第１外接多角形領域、または前記２つの第２外接多角形領域に対して物体検出処理を実行する物体識別工程と、を備える。

【0017】

上記構成によれば、所定の特徴を有する特徴領域を検出するとともに、検出した特徴領域の慣性主軸を算出して、当該慣性主軸を用いて検出した特徴領域を分割している。また、分割前の特徴領域を包含する第１外接多角形領域と、分割後の２つの特徴領域をそれぞれ包含する第２外接多角形領域とに、対応する特徴領域を包含する凸包外接領域を用いている。これにより、領域選択工程での第１外接多角形領域、または２つの第２外接多角形領域の選択処理を適切に、かつ、精度よく行うことが可能となり、物体識別工程での物体検出処理を高精度に実行することができる。この結果、撮像条件に関わらず、撮像画像から物体を正確に識別することが可能となる。

【0018】

また、本開示の一側面に係る制御プログラムは、情報処理装置としてコンピュータを機能させるための制御プログラムであって、前記特徴領域検出部、前記第１外接多角形領域算出部、前記慣性主軸算出部、前記領域分割部、前記第２外接多角形領域算出部、前記領
域選択部、及び前記物体識別部としてコンピュータを機能させる。

【0019】

上記構成によれば、撮像条件に関わらず、撮像画像から物体を正確に識別することが可能となる。

【発明の効果】

【0020】

本開示によれば、撮像条件に関わらず、撮像画像から物体を正確に識別することが可能な情報処理装置、情報処理方法、及び制御プログラムを提供することができる。

【図面の簡単な説明】

【0021】

【図1】本開示の一実施形態に係る撮像装置の構成例を示すブロック図である。

【図2】上記撮像装置の動作例を示すフローチャートである。

【図3】上記撮像装置の具体的な動作例を説明する図である。

【図4】上記撮像装置の具体的な他の動作例を説明する図である。

【図5】上記撮像装置での効果の一例を説明する図である。

【図6】比較例での問題点を説明する図である。

【図7】上記撮像装置の具体的な他の動作例を説明する図である。

【発明を実施するための形態】

【0022】

〔実施形態〕
§１ 適用例
まず、図１を用いて、本開示が適用される場面の一例について説明する。図１は、本開示の一実施形態に係る撮像装置の構成例を示すブロック図である。尚、以下の説明では、デジタルカメラなどの撮像装置に本開示を適用した場合を例示して説明する。しかしながら、本開示は、撮像画像を処理する情報処理装置であれば何等限定されるものではなく、タブレット端末やスマートフォーンなどの携帯端末、あるいは撮像画像を出力する撮像部が別体に設けられたパーソナルコンピュータ等の情報処理端末などに本開示を適用することもできる。

【0023】

図１に示されるように、本実施形態の撮像装置１は、撮像部２と、撮像部２からの撮像画像を処理する制御部３とを備える。制御部３は、特徴領域検出部３１、第１外接多角形領域算出部３２、慣性主軸算出部３３、領域分割部３４、第２外接多角形領域算出部３５、領域選択部３６、及び物体識別部３７を備える。

【0024】

特徴領域検出部３１は、所定の特徴を有する特徴領域を、入力された撮像画像から検出する。第１外接多角形領域算出部３２は、特徴領域を包含する凸包外接領域としての第１外接多角形領域を算出する。慣性主軸算出部３３は、特徴領域の慣性主軸を算出する。なお、上記凸包外接領域とは、撮像画像において、特徴領域に含まれた全ての画素（ピクセル）を包含するように、当該特徴領域の最も外側に存在する、隣接した２つの画素を順次繋いだ直線（外接線）によって区切られる凸形状の領域をいう。

【0025】

領域分割部３４は、算出された慣性主軸を用いて、特徴領域を２つに分割する。第２外接多角形領域算出部３５は、分割された特徴領域をそれぞれ包含する凸包外接領域としての２つの第２外接多角形領域を算出する。領域選択部３６は、２つの第２外接多角形領域と第１外接多角形領域との面積比に基づいて、第１外接多角形領域、または２つの第２外接多角形領域のいずれかを選択する。物体識別部３７は、選択された第１外接多角形領域、または２つの第２外接多角形領域に対して物体検出処理を実行する。

【0026】

このようにして、制御部３は、入力された撮像画像から、特徴領域を包含する第１外接多角形領域（凸包外接領域）を求めている。また、制御部３は、特徴領域の慣性主軸を算
出して、算出した慣性主軸を用いて特徴領域を分割している。また、制御部３は、分割した特徴領域をそれぞれ包含する２つの第２外接多角形領域（凸包外接領域）を求めている。更に、制御部３は、分割後の２つの第２外接多角形領域、または分割前の第１外接多角形領域から物体検出処理対象の凸包外接領域を選択し、選択した凸包外接領域に対して、物体検出処理を実行して、入力された撮像画像から、人体などの物体を識別する。

【0027】

よって本実施形態によれば、撮像装置１は、所定の特徴を有する特徴領域を検出するとともに、検出した特徴領域の慣性主軸を算出して、当該慣性主軸を用いて検出した特徴領域を分割している。また、分割前の特徴領域を包含する第１外接多角形領域と、分割後の２つの特徴領域をそれぞれ包含する第２外接多角形領域とに、対応する特徴領域を包含する凸包外接領域を用いている。これにより、領域選択部での第１外接多角形領域、または２つの第２外接多角形領域の選択処理を適切に、かつ、精度よく行うことが可能となり、物体識別部での物体検出処理を高精度に実行することができる。この結果、撮像装置１は、撮像条件に関わらず、撮像画像から物体を正確に識別することが可能となる。

【0028】

§２ 構成例
＜撮像装置１の構成について＞
図１に示すように、撮像装置１は、撮像部２と、制御部３と、表示部４と、記憶部５とを備える。撮像装置１は、撮像部２で撮像した撮像画像を表示部４に表示させたり、記憶部５に記憶させたりする。また、撮像装置１は、撮像画像に対して、制御部３によって所定の（データ）処理を行うことで当該撮像画像に含まれた人体などの所定の物体を識別し、その識別結果を含めて表示部４に表示させたり、記憶部５に記憶させたりする。

【0029】

撮像部２は、図示しない撮像素子を備え、撮像装置１に対するユーザーの操作指示に応じて、動画像や静止画像を撮像する。撮像部２は、動画像や静止画像の撮像画像を制御部３に出力する。

【0030】

表示部４は、液晶ディスプレイパネルや発光ダイオードなどを備えており、所定の情報表示を行う。表示部４は、例えば、タッチパネルと一体に構成されることにより、ユーザーからの指示を受け付ける入力部として機能するように構成されてもよい。

【0031】

記憶部５は、制御部３によって用いられる各種データを記憶している。更に記憶部５はコンピュータに実行されることによって、コンピュータを制御部３として機能させる各種ソフトウェアを記憶していてもよい。また、記憶部５には、上記領域選択部３６での後述の領域選択処理に用いられる閾値が記憶されている。

【0032】

制御部３は、撮像装置１の各部を統括的に制御する機能を備えている演算装置である。制御部３は、例えば１つ以上のプロセッサ（例えばＣＰＵなど）が、１つ以上のメモリ（例えばＲＡＭやＲＯＭなど）に記憶されているプログラムを実行することで撮像装置１の各部を制御してもよい。また、制御部３は、上記のように、複数の機能ブロックを備えており、各機能ブロックは、所定のデータ処理を行うようになっている。

【0033】

ここで、制御部３の構成について説明する。制御部３は、入力された撮像画像から、所定の特徴を有する特徴領域を検出する特徴領域検出部３１と、第１外接多角形領域を算出する第１外接多角形領域算出部３２と、特徴領域の慣性主軸を算出する慣性主軸算出部３３とを備える。

【0034】

制御部３は、慣性主軸算出部３３が算出した慣性主軸を用いて、特徴領域検出部３１が検出した特徴領域を分割する領域分割部３４と、領域分割部３４からの分割された特徴領域をそれぞれ包含する２つの第２外接多角形領域を算出する第２外接多角形領域算出部３
５とを備える。

【0035】

制御部３は、第１外接多角形領域算出部３２が算出した第１外接多角形領域、および、第２外接多角形領域算出部３５が算出した２つの第２外接多角形領域のいずれか一方を選択する領域選択部３６と、領域選択部３６が選択した第１外接多角形領域、または２つの第２外接多角形領域から物体を識別する物体識別部３７とを備える。

【0036】

§３ 動作例
＜撮像装置１の動作例＞
図２～図４も参照して、本実施形態の撮像装置１の動作例について具体的に説明する。図２は、上記撮像装置の動作例を示すフローチャートである。図３は、上記撮像装置の具体的な動作例を説明する図である。図４は、上記撮像装置の具体的な他の動作例を説明する図である。

【0037】

図２において、ステップＳ１で、特徴領域検出部３１は、撮像部２から入力された撮像画像から、例えば、差分法を用いて、所定の特徴を有する特徴領域を抽出する。

【0038】

次に、ステップＳ２で、第１外接多角形領域算出部３２は、特徴領域検出部３１が検出した特徴領域を包含するバウンディングボックスを作成する。

【0039】

続いて、ステップＳ３で、慣性主軸算出部３３は、特徴領域の重心と、バウンディングボックスの中心とを算出する。また、慣性主軸算出部３３は、特徴領域の重心に基づいて、第１慣性主軸を算出し、更に第１慣性主軸の偏角θを算出する。尚、偏角θとは、後述するように、例えば、撮像画像での水平軸（Ｘ軸）及び垂直軸（Ｙ軸）のうち、例えば、Ｘ軸に対する慣性主軸の角度をいう。

【0040】

次に、ステップＳ４で、慣性主軸算出部３３は、ステップＳ３で求めた偏角θに対して、９０度加算することにより、当該偏角θを補正して、ステップＳ３で求めた第１慣性主軸とは傾きが９０度異なる第２慣性主軸を求める。

【0041】

続いて、ステップＳ５で、慣性主軸算出部３３は、ステップＳ３及びＳ４でそれぞれ求めた第１及び第２慣性主軸のうち、算出したバウンディングボックスの中心に基づいて、撮像画像により好適な慣性主軸を算出する。

【0042】

次に、ステップＳ６で、第１外接多角形領域算出部３２は、特徴領域検出部３１で抽出された特徴領域全体の凸包外接領域を算出する。

【0043】

続いて、ステップＳ７で、領域分割部３４は、ステップＳ１で抽出された特徴領域を、ステップＳ５で算出された慣性主軸を用いて、２つに分割する。その後、第２外接多角形領域算出部３５は、分割された分割後の２つの特徴領域についてのそれぞれの凸包外接領域を作成する。

【0044】

次に、ステップＳ８で、領域選択部３６は、ステップＳ７で作成した、分割後の２つの凸包外接領域と、ステップＳ６で求めた、分割前の凸包外接領域との面積比が予め設定された閾値以下であるか否かについて判定する。

【0045】

領域選択部３６は、上記面積比が閾値以下であることを判定した場合（Ｓ８でＹＥＳ）、領域選択部３６は、分割後の２つの凸包外接領域を選択して（ステップＳ９）、物体識別部３７に出力する。

【0046】

一方、領域選択部３６は、上記面積比が閾値を超えることを判定した場合（Ｓ８でＮＯ）、領域選択部３６は、ステップＳ６で求めた分割前の凸包外接領域を選択して（ステップＳ１０）、物体識別部３７に出力する。

【0047】

続いて、ステップＳ１１で、物体識別部３７は、領域選択部３６が選択した、分割後の２つの凸包外接領域、または分割前の凸包外接領域に対して、物体検出処理を行う。

【0048】

尚、上記のステップＳ１０の説明以外に、領域選択部３６が分割前の凸包外接領域に代えて、分割前の特徴領域、あるいはその分割前の特徴領域を包含するバウンディングボックスを選択する構成でもよい。

【0049】

ここで、図３及び図４を用いて、本実施形態の撮像装置１のより具体的な動作例について説明する。

【0050】

図３に示すように、特徴領域検出部３１は、入力された撮像画像において、例えば、人体の動体ピクセルとその影の動体ピクセルとを含んだ特徴領域１０１を検出する。この特徴領域検出部３１は、入力された撮像画像から、特徴領域１０１として、例えば、動きのある領域、所定範囲内の画素値（画素（ピクセル）の輝度値）を有する領域、および、エッジで囲まれた領域の少なくとも一つを検出する。

【0051】

つまり、特徴領域検出部３１は、所定の特徴として、「領域に動きがある」、「領域が所定範囲内の画素値を有する」、または「領域がエッジで囲まれている」などの特徴を検出する。また、上記所定範囲内の画素値とは、例えば、人体などの所定の物体が取り得る画素値の範囲を示している。また、物体の周囲の明るさなどの撮像条件は時刻に応じて変化するため、所定範囲内の画素値もまた時刻に応じて変化させてもよい。

【0052】

また、特徴領域検出部３１は、例えば、差分法を用いて、所定の物体である動体を含んだ特徴領域１０１を検出する。具体的には、特徴領域検出部３１は、動きの有無について、背景差分法、またはフレーム間差分法を用いて判定して、人体の動体ピクセルと影の動体ピクセルとを含んだ特徴領域１０１を検出する。

【0053】

背景差分法では、例えば、撮像画像のうち、所定の背景画像との画素値の差分（絶対値）が所定値以上の画素を、動きのある画素（動体ピクセル）として検出する。

【0054】

フレーム間差分法では、例えば、現在の撮像画像（現在のフレーム）のうち、過去の撮像画像（過去のフレーム）との画素値の差分が所定値以上の画素を、動きのある画素（動体ピクセル）として検出する。このフレーム間差分法において、例えば、過去のフレームは、現在のフレームの所定数前のフレームであり、所定数は１以上である。この所定数は、制御部３での情報処理のフレームレート（情報処理速度）や、撮像部２による撮像処理のフレームレート（撮像処理速度）などに応じて決定されてもよい。

【0055】

次に、第１外接多角形領域算出部３２は、例えば、上記特徴領域１０１を包含する矩形状の外形を有する、バウンディングボックス（Bounding Box）を算出する。具体的には、第１外接多角形領域算出部３２は、特徴領域１０１を包含する領域のうち、人体の動体ピクセル及び影の動体ピクセルを含んだバウンディングボックスＧを求める。バウンディングボックスＧは、撮像画像の水平軸に平行な直線と垂直軸に平行な直線とによって特徴領域を包含した矩形状によって構成されている。

【0056】

続いて、慣性主軸算出部３３は、特徴領域検出部３１が検出した特徴領域の慣性主軸を算出する。具体的には、慣性主軸算出部３３は、撮像画像において、検出された特徴領域
１０１の重心ＧＣを求めるとともに、算出されたバウンティングボックスＧの中心Ｇ１を求める。また、慣性主軸算出部３３は、重心ＧＣを通る特徴領域１０１の第１慣性主軸Ｋ１を算出する。

【0057】

また、慣性主軸算出部３３は、上記Ｘ軸に対する第１慣性主軸Ｋ１の偏角θを求め、更にこの偏角θに９０度を加えた角度（偏角（θ＋９０））でＸ軸と交わる、つまり、第１慣性主軸Ｋ１に直交する第２慣性主軸Ｋ２を求める。

【0058】

そして、慣性主軸算出部３３は、バウンディングボックスＧの中心Ｇ１に対する特徴領域１０１の重心ＧＣの位置関係に基づいて、当該特徴領域１０１の第１慣性主軸Ｋ１及び第２慣性主軸Ｋ２のうち、ステップＳ６で求められる凸包外接領域を分割するための１つの慣性主軸を決定する。

【0059】

具体的には、慣性主軸算出部３３は、撮像画像において、バウンディングボックスＧの中心Ｇ１を通るＸ軸とこれに直交するＹ軸により、バウンディングボックスＧを右上部分（第１象限）、右下部分（第４象限）、左上部分（第２象限）、及び左下部分（第３象限）で４分割したときに、重心ＧＣが右上部分または左下部分に存在するときは、第１慣性主軸Ｋ１を選択する。また、慣性主軸算出部３３は、重心ＧＣが右下部分または左上部分に存在するときは、第２慣性主軸Ｋ２を選択する。すなわち、図３に示す例では、重心ＧＣが右下部分に存在するので、慣性主軸算出部３３は、凸包外接領域の分割用の慣性主軸として第２慣性主軸Ｋ２を選択する。

【0060】

このように、慣性主軸算出部３３は、慣性主軸算出用外接多角形領域に存在する２つの慣性主軸のうち、撮像画像でのバウンディングボックスＧの中心Ｇ１と特徴領域の重心ＧＣとの位置関係に基づいて、凸包外接領域（第１外接多角形領域）を分割する慣性主軸を決定している。これにより、本実施形態の撮像装置１では、第１外接多角形領域をより適切に分割して、当該第１外接多角形領域に含まれる物体を高精度に識別することが可能となる。

【0061】

なお、慣性主軸算出部３３は、特徴領域検出部が検出した特徴領域の重心と、第１外接多角形領域算出部３２が算出した凸包外接領域の重心との位置関係に基づいて慣性主軸を決定してもよい。なお、慣性主軸算出部３３での慣性主軸の算出方法は、上述の２通りの算出方法に限定されるものではなく、公知の算出方法を適用することができる。

【0062】

図４に示すように、第１外接多角形領域算出部３２は、人体の動体ピクセル及びその影の動体ピクセルを含んだ動体ピクセル全体の特徴領域１０１（図３）を包含する凸包外接領域Ｔを算出する。この凸包外接領域Ｔは、特徴領域１０１に含まれた全ての画素を包含する最小の凸多角形（凸多面体）である。ここで凸多角形とは、内角が１８０°未満である頂点のみから構成される多角形である。より具体的には、凸包外接領域Ｔは、特徴領域１０１に含まれた画素のうち、最も外側に存在する、隣接する画素同士を直線で繋いだ形状によって構成されている。

【0063】

次に、領域分割部３４は、慣性主軸算出部３３で算出された第２慣性主軸Ｋ２を用いて、特徴領域を分割する。第２外接多角形領域算出部３５は、分割後の２つの特徴領域の一方に属する、人体の動体ピクセルを含んだ特徴領域を包含する凸包外接領域Ｔ１と、他方に属する、影の動体ピクセルを含んだ特徴領域を包含する凸包外接領域Ｔ２とを求める。

【0064】

そして、領域選択部３６は、分割後の上記２つの凸包外接領域Ｔ１及びＴ２の合計面積を分割前の凸包外接領域Ｔの面積で除算した面積比（つまり、画素数比）が閾値以下であることを判定すれば、領域選択部３６は、２つの凸包外接領域Ｔ１及びＴ２を選択して物
体識別部３７に出力する。また、領域選択部３６は、上記面積比が閾値を超えることを判定すれば、領域選択部３６は、分割前の凸包外接領域Ｔを選択して物体識別部３７に出力する。尚、上記合計面積において、凸包外接領域Ｔ１及びＴ２に重複部分が存在する場合には、その重複部分の面積については、凸包外接領域Ｔ１及びＴ２の面積和から減算する。

【0065】

このように、領域選択部３６は、分割後に作成した２つの凸包外接領域Ｔ１及びＴ２の合計面積と分割前の凸包外接領域Ｔの面積比を予め定められた閾値との比較をすることにより、物体識別部３７で物体検出処理を行う凸包外接領域を選択している。これにより、本実施形態の撮像装置１では、例えば、人体を高精度に識別することができる。つまり、特徴領域に人体が含まれている場合には、当該特徴領域の分割によって、人体の動体ピクセルを含んだ領域により近い分割領域（凸包外接領域Ｔ１）を求めることができるからである。

【0066】

次に、物体識別部３７は、領域選択部３６からの凸包外接領域に対して、物体検出処理を行うことにより、当該凸包外接領域に含まれた物体が人体などの所定の物体であるか否かについて識別する。具体的には、物体識別部３７は、例えば、ＨｏＧやＨａａｒ－ｌｉｋｅなどの画像特徴とブースティングを組み合わせた物体検出処理を実行する。物体識別部３７は、識別結果を表示部４に出力する。これにより、表示部４では、撮像部２からの撮像画像とともに、物体の識別結果も併せて表示することができる。

【0067】

尚、上記の説明以外に、物体識別部３７は、例えば、Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮ
Ｎ、ＹＯＬＯ、ＳＳＤなどのディープラーニングにより生成された学習済みモデルを用いてもよい。また、物体識別部３７が識別する物体としては、人体以外に、例えば、人以外の動物、自動車などの車輛、あるいは建物などの建築物などがある。

【0068】

以上のように、本実施形態の撮像装置１では、特徴領域検出部３１は撮像部２からの撮像画像から特徴領域を検出する。第１外接多角形領域算出部３２は、特徴領域を包含する凸包外接領域としての第１外接多角形領域と当該特徴領域を包含するバウンディングボックスを算出する。慣性主軸算出部３３は、特徴領域の慣性主軸を算出し、領域分割部３４は、算出された慣性主軸を用いて、特徴領域を２つに分割する。第２外接多角形領域算出部３５は、分割後の特徴領域をそれぞれ包含する凸包外接領域としての２つの第２外接多角形領域を算出する。領域選択部３６は、２つの第２外接多角形領域と第１外接多角形領域との面積比に基づいて、第１外接多角形領域、または２つの第２外接多角形領域のいずれかを選択する。物体識別部３７は、選択された第１外接多角形領域、または２つの第２外接多角形領域に対して物体検出処理を実行する。これにより、領域選択部３６での第１外接多角形領域、または２つの第２外接多角形領域の選択処理を適切に、かつ、精度よく行うことが可能となる。この結果、物体識別部３７は、物体検出処理を高精度に実行することができる。したがって、本実施形態の撮像装置１は、撮像条件に関わらず、撮像画像から物体を正確に識別することが可能となる。

【0069】

また、本実施形態では、第１外接多角形領域算出部３２は特徴領域を包含するバウンディングボックスを更に算出し、慣性主軸算出部３３は、特徴領域の重心とバウンディングボックスの中心とに基づいて、特徴領域の慣性主軸を算出しているので、慣性主軸の算出精度を容易に向上させることができ、ひいては物体の識別精度も容易に向上させることができる。

【0070】

なお、上記の説明では、第１外接多角形領域算出部３２がバウンディングボックス及び凸包外接領域を算出する構成について説明したが、本実施形態はこれに限定されるものではなく、例えば、第１外接多角形領域算出部３２が凸包外接領域のみ算出し、別途設けた
バウンティングボックス算出部によってバウンディングボックスを算出する構成でもよい。

【0071】

ここで、図５及び図６を用いて、本実施形態の撮像装置１において、第１外接多角形領域として凸包外接領域を用いた場合での具体的な効果について説明する。図５は、上記撮像装置での効果の一例を説明する図である。図６は、比較例での問題点を説明する図である。

【0072】

図５に示すように、撮像部２からの撮像画像において、例えば、人体に対して、その影が９０度以外の角度、例えば、９０度未満の角度で存在している場合、第１外接多角形領域算出部３２は、人体の動体ピクセル及び影の動体ピクセルを含んだ動体ピクセル全体の特徴領域を包含する凸包外接領域Ｔｔを算出する。領域分割部３４は、慣性主軸Ｋ３を用いて、特徴領域を分割して、第２外接多角形領域算出部３５は、人体の動体ピクセルを含んだ凸包外接領域Ｔｔ１と、影の動体ピクセルを含んだ凸包外接領域Ｔｔ２とを算出する。また、撮像画像では、凸包外接領域Ｔｔから凸包外接領域Ｔｔ１及びＴｔ２を減算した領域が人体の動体ピクセルと影の動体ピクセルとの間の空間に対応した凸包外接領域Ｔｔ３となる。

【0073】

このように、本実施形態の撮像装置１では、特徴領域を分割して、分割前の凸包外接領域Ｔｔと分割後の凸包外接領域Ｔｔ１及びＴｔ２との面積比と閾値との比較を行うことにより、人体に対して、その影が９０度以外の角度で存在している場合でも、人体の動体ピクセルを含んだ領域により近い凸包外接領域Ｔｔ１を算出することができるとともに、影の動体ピクセルを含んだ領域により近い凸包外接領域Ｔｔ２を算出することができる。更に、本実施形態では、人体の動体ピクセルと影の動体ピクセルとの間の空間により近い凸包外接領域Ｔｔ３とすることができる．この結果、本実施形態の撮像装置１では、撮像画像に含まれる人体及び影を正確に識別することができる。

【0074】

一方、比較例についての検証結果を以下に示す。この比較例では、本実施形態品と異なり、分割前の第１外接多角形領域あるいは分割後の第２外接多角形領域として、凸包外接領域が適用されずに、バウンディングボックスが適用される。

【0075】

すなわち、図６に示すように、比較例において、慣性主軸を用いて、バウンディングボックスを分割すると、比較例では、人体の動体ピクセルを含んだバウンディングボックスである外接領域ＨＢ１と、バウンディングボックスである影の動体ピクセルを含んだ外接領域ＨＢ２と、が新たに算出される。

【0076】

また、外接領域ＨＢ２には、図６に円Ｓ１及びＳ２にて示すように、実際の影の動体ピクセルよりも大きい領域が含まれている。すなわち、比較例では、外接領域ＨＢ２が実際の影の領域よりも大幅に大きな面積を有することになり、領域選択部３６における面積比の計算に悪影響を与えることになる。したがって、物体識別部３７に出力する領域を正しく選択することができないこととなり、物体識別部３７での当該撮像画像に含まれる人体及び影を正確に識別することが困難となる。すなわち、比較例よりも、面積比の算出に凸包外接領域を適用した本実施形態品の方が、人体に対して、その影が９０度以外の角度で存在している場合でも、人体及び影を正確に識別することができる。

【0077】

なお、上記の説明では、所定の物体として人体を識別する場合を例示して説明したが、本実施形態の撮像装置１はこれに限定されない。例えば、図７に示すように、人体２０１以外に、例えば、車両２０２を含む撮像画像にも適用することができる。

【0078】

具体的には、本実施形態の撮像装置１では、人体２０１については、上記面積比が閾値
以下となるため、人体２０１の動体ピクセルを含む凸包外接領域と、その人体２０１の影の動体ピクセルを含む凸包外接領域とに分けて作成される。このため、表示部４では、例えば、その表示画像Ｐ１において、人体２０１を含んだ枠２０３と、人体２０１の影を含んだ枠２０４とが表示される。

【0079】

また、車両２０２については、上記面積比が閾値を超えるため、車両２０２の動体ピクセルを含む凸包外接領域と、その車両２０２の影の動体ピクセルを含む凸包外接領域とが分割されない。このため、表示部４では、例えば、車両２０２とその影の双方を含んだ枠２０５が表示される。

【0080】

〔ソフトウェアによる実現例〕
撮像装置１の機能ブロック（特に、制御部３）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

【0081】

後者の場合、制御部３は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本開示の目的が達成される。

【0082】

上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることが
できる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、磁気ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などを更に備えていてもよい。

【0083】

また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

【0084】

本開示は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。

【符号の説明】

【0085】

１ 撮像装置
３ 制御部
３１ 特徴領域検出部
３２ 第１外接多角形領域算出部
３３ 慣性主軸算出部
３４ 領域分割部
３５ 第２外接多角形領域算出部
３６ 領域選択部
３７ 物体識別部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】