特許 7517407 画像認識システム、画像認識方法および画像認識プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-08

(45)【発行日】2024-07-17

(54)【発明の名称】画像認識システム、画像認識方法および画像認識プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240709BHJP

   G06V 10/82 20220101ALI20240709BHJP

   G06V 20/66 20220101ALI20240709BHJP

【ＦＩ】

G06T7/00 350C

G06T7/00 660Z

G06T7/00 300B

G06V10/82

G06V20/66

【請求項の数】 13

(21)【出願番号】P 2022510310

(86)(22)【出願日】2020-03-27

(86)【国際出願番号】 JP2020013931

(87)【国際公開番号】W WO2021192206

(87)【国際公開日】2021-09-30

【審査請求日】2022-08-02

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】平川 康史

【審査官】宮島 潤

(56)【参考文献】

【文献】特開２０１８－８４８９０（ＪＰ，Ａ）

【文献】特開２０１７－３３２５６（ＪＰ，Ａ）

【文献】特開２０１０－８６４８２（ＪＰ，Ａ）

【文献】高科 勇太 Yuta Takashina，画像処理による視覚障害者の見守りシステム Observing system for visually impaired person by image processing，電気学会研究会資料 The Papers of Technical Meeting on "Perception Information",IEE Japan，日本，一般社団法人電気学会 The Institute of Electrical Engineers of Japan(IEEJ)，2013年04月26日，p.47-52

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

Ｇ０６Ｔ １／００ － １／４０

Ｇ０６Ｔ ３／００ － ５／５０

Ｇ０６Ｔ ９／００ － ９／４０

(57)【特許請求の範囲】

【請求項1】

人物と前記人物に関連する対象オブジェクトとが撮像された第１画像から、前記人物の身体の少なくとも一部を表す人物領域を検出する第１検出部と、
前記人物領域の大きさが大きくなるほど大きい大きさで少なくとも前記人物領域を含み前記人物領域に対して予め位置及び範囲が設定された前記人物領域より大きな抽出領域を、前記第１画像から切り出す抽出画像生成部と、
切り出された前記抽出領域から前記対象オブジェクトを検出する第２検出部と、
を備え、
前記抽出画像生成部は、前記抽出領域に対して画像サイズの変換を行うことで第２画像を生成する第２画像生成部を有し、
前記第２検出部は、前記第２画像から、前記対象オブジェクトを表す画像領域であるオブジェクト領域を検出するオブジェクト検出部を有する
画像認識システム。

【請求項2】

前記第２画像生成部は、前記第２画像として、前記抽出領域から、幅方向の画素数が高さ方向の画素数に等しい画像を生成する
請求項１に記載の画像認識システム。

【請求項3】

前記第２画像生成部は、前記人物領域が有する画素数が所定サイズ未満の場合には前記第２画像の生成を行なわず、前記人物領域が有する画素数が前記所定サイズ以上である場合に前記抽出領域から前記第２画像を生成する
請求項１または２に記載の画像認識システム。

【請求項4】

前記オブジェクト検出部は、
前記第２画像から、前記対象オブジェクトを表すと推定される画像領域である１または複数の候補領域を検出する候補領域検出部と、
前記人物領域に対する前記１または複数の候補領域の相対的な位置情報に基づいて、前記１または複数の候補領域から、前記人物領域との距離が所定閾値未満である候補領域を前記オブジェクト領域として特定する特定部と
を有する
請求項１から３のいずれか一項に記載の画像認識システム。

【請求項5】

前記第２画像を表示する表示部をさらに備える
請求項１から４のいずれか一項に記載の画像認識システム。

【請求項6】

人物と前記人物に関連する対象オブジェクトとが撮像された第１画像から、前記人物の身体の少なくとも一部を表す人物領域を検出する第１検出部と、
前記人物領域の大きさが大きくなるほど大きい大きさで少なくとも前記人物領域を含み前記人物領域に対して予め位置及び範囲が設定された前記人物領域より大きな抽出領域を、前記第１画像から切り出す抽出画像生成部と、
切り出された前記抽出領域から前記対象オブジェクトを検出する第２検出部と、
を備え、
前記人物領域は、前記人物の身体の所定部位を含む領域であり、
前記第１検出部は、前記対象オブジェクトの種別を示す対象オブジェクト種別情報を取得し、前記対象オブジェクト種別情報に基づいて前記所定部位を選択し、前記第１画像から骨格推定モデルを用いて前記人物の身体の前記所定部位を推定し、推定された前記所定部位を含む範囲の領域を前記人物領域として検出する
画像認識システム。

【請求項7】

人物と前記人物に関連する対象オブジェクトとが撮像された第１画像から、前記人物の身体の少なくとも一部を表す人物領域を検出する第１検出部と、
前記人物領域の大きさが大きくなるほど大きい大きさで少なくとも前記人物領域を含み前記人物領域に対して予め位置及び範囲が設定された前記人物領域より大きな抽出領域を、前記第１画像から切り出す抽出画像生成部と、
切り出された前記抽出領域から前記対象オブジェクトを検出する第２検出部と、
を備え、
前記人物領域は、前記人物の身体の所定部位を含む領域であり、
前記第１検出部は、前記対象オブジェクトの種別を示す対象オブジェクト種別情報を取得し、前記対象オブジェクト種別情報に基づいて、前記所定部位を選択する部位選択部を有する
画像認識システム。

【請求項8】

人物と前記人物に関連する対象オブジェクトとが撮像された第１画像から、前記人物の身体の少なくとも一部を表す人物領域を検出する第１検出ステップと、
前記人物領域の大きさが大きくなるほど大きい大きさで少なくとも前記人物領域を含み前記人物領域に対して予め位置及び範囲が設定された前記人物領域より大きな抽出領域を、前記第１画像から切り出す抽出画像生成ステップと、
切り出された前記抽出領域から前記対象オブジェクトを検出する第２検出ステップと、
を備え、
前記抽出画像生成ステップは、前記抽出領域に対して画像サイズの変換を行うことで第２画像を生成する第２画像生成ステップを有し、
前記第２検出ステップは、前記第２画像から、前記対象オブジェクトを表す画像領域であるオブジェクト領域を検出するオブジェクト検出ステップを有する
画像認識方法。

【請求項9】

人物と前記人物に関連する対象オブジェクトとが撮像された第１画像から、前記人物の身体の少なくとも一部を表す人物領域を検出する第１検出ステップと、
前記人物領域の大きさが大きくなるほど大きい大きさで少なくとも前記人物領域を含み前記人物領域に対して予め位置及び範囲が設定された前記人物領域より大きな抽出領域を、前記第１画像から切り出す抽出画像生成ステップと、
切り出された前記抽出領域から前記対象オブジェクトを検出する第２検出ステップと、
を備え、
前記人物領域は、前記人物の身体の所定部位を含む領域であり、
前記第１検出ステップは、前記対象オブジェクトの種別を示す対象オブジェクト種別情報を取得し、前記対象オブジェクト種別情報に基づいて前記所定部位を選択し、前記第１画像から骨格推定モデルを用いて前記人物の身体の前記所定部位を推定し、推定された前記所定部位を含む範囲の領域を前記人物領域として検出する
画像認識方法。

【請求項10】

人物と前記人物に関連する対象オブジェクトとが撮像された第１画像から、前記人物の身体の少なくとも一部を表す人物領域を検出する第１検出ステップと、
前記人物領域の大きさが大きくなるほど大きい大きさで少なくとも前記人物領域を含み前記人物領域に対して予め位置及び範囲が設定された前記人物領域より大きな抽出領域を、前記第１画像から切り出す抽出画像生成ステップと、
切り出された前記抽出領域から前記対象オブジェクトを検出する第２検出ステップと、
を備え、
前記人物領域は、前記人物の身体の所定部位を含む領域であり、
前記第１検出ステップは、前記対象オブジェクトの種別を示す対象オブジェクト種別情報を取得し、前記対象オブジェクト種別情報に基づいて、前記所定部位を選択する部位選択ステップを有する
画像認識方法。

【請求項11】

人物と前記人物に関連する対象オブジェクトとが撮像された第１画像から、前記人物の身体の少なくとも一部を表す人物領域を検出する第１検出ステップと、
前記人物領域の大きさが大きくなるほど大きい大きさで少なくとも前記人物領域を含み前記人物領域に対して予め位置及び範囲が設定された前記人物領域より大きな抽出領域を、前記第１画像から切り出す抽出画像生成ステップと、
切り出された前記抽出領域から前記対象オブジェクトを検出する第２検出ステップと、
を備え、
前記抽出画像生成ステップは、前記抽出領域に対して画像サイズの変換を行うことで第２画像を生成する第２画像生成ステップを有し、
前記第２検出ステップは、前記第２画像から、前記対象オブジェクトを表す画像領域であるオブジェクト領域を検出するオブジェクト検出ステップを有する画像認識方法をコンピュータに実行させる画像認識プログラム。

【請求項12】

人物と前記人物に関連する対象オブジェクトとが撮像された第１画像から、前記人物の身体の少なくとも一部を表す人物領域を検出する第１検出ステップと、
前記人物領域の大きさが大きくなるほど大きい大きさで少なくとも前記人物領域を含み前記人物領域に対して予め位置及び範囲が設定された前記人物領域より大きな抽出領域を、前記第１画像から切り出す抽出画像生成ステップと、
切り出された前記抽出領域から前記対象オブジェクトを検出する第２検出ステップと、
を備え、
前記人物領域は、前記人物の身体の所定部位を含む領域であり、
前記第１検出ステップは、前記対象オブジェクトの種別を示す対象オブジェクト種別情報を取得し、前記対象オブジェクト種別情報に基づいて前記所定部位を選択し、前記第１画像から骨格推定モデルを用いて前記人物の身体の前記所定部位を推定し、推定された前記所定部位を含む範囲の領域を前記人物領域として検出する画像認識方法をコンピュータに実行させる画像認識プログラム。

【請求項13】

人物と前記人物に関連する対象オブジェクトとが撮像された第１画像から、前記人物の身体の少なくとも一部を表す人物領域を検出する第１検出ステップと、
前記人物領域の大きさが大きくなるほど大きい大きさで少なくとも前記人物領域を含み前記人物領域に対して予め位置及び範囲が設定された前記人物領域より大きな抽出領域を、前記第１画像から切り出す抽出画像生成ステップと、
切り出された前記抽出領域から前記対象オブジェクトを検出する第２検出ステップと、
を備え、
前記人物領域は、前記人物の身体の所定部位を含む領域であり、
前記第１検出ステップは、前記対象オブジェクトの種別を示す対象オブジェクト種別情報を取得し、前記対象オブジェクト種別情報に基づいて、前記所定部位を選択する部位選択ステップを有する画像認識方法をコンピュータに実行させる画像認識プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像認識システム、画像認識方法および非一時的なコンピュータ可読媒体に関する。

【背景技術】

【0002】

カメラが生成した撮像画像から物体を検出する技術が知られている。たとえば特許文献１では、学習済の畳み込みニューラルネットワーク（ＣＮＮ）を用いて、撮像画像に含まれる人物が所持しているかばんなどの所持品を検出する情報処理装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１９／２０７７２１号

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここでカメラが生成した撮像画像は、所定の画像サイズに縮小変換されて、学習済のＣＮＮの入力層に入力される。このとき撮像画像に検出対象の所持品が小さく映っている場合や検出対象の所持品が白杖などの長細いものである場合、縮小変換によって所持品を表す画像領域に画素潰れが生じる可能性がある。したがって、上述の特許文献１に記載の情報処理装置では所持品を検出することができず、物体の認識精度のさらなる向上が求められている。

【0005】

本開示の目的は、上述の課題に鑑み、画像に含まれる物体の認識精度を向上させることができる画像認識システム、画像認識方法および非一時的なコンピュータ可読媒体を提供することにある。

【課題を解決するための手段】

【0006】

本開示の一態様に係る画像認識システムは、第１検出部と、抽出画像生成部と、第２検出部とを備える。前記第１検出部は、人物に関連する対象オブジェクトが撮像された第１画像から、前記人物の身体の少なくとも一部を表す人物領域を検出する。前記抽出画像生成部は、前記人物領域に応じて設定された抽出領域を前記第１画像から切り出す。前記第２検出部は、切り出された前記抽出領域に基づいて、前記対象オブジェクトを検出する。

【0007】

本開示の一態様に係る画像認識方法は、第１検出ステップと、抽出画像生成ステップと、第２検出ステップとを備える。前記第１検出ステップは、人物に関連する対象オブジェクトが撮像された第１画像から、前記人物の身体の少なくとも一部を表す人物領域を検出する。前記抽出画像生成ステップは、前記人物領域に応じて設定された抽出領域を前記第１画像から切り出す。前記第２検出ステップは、切り出された前記抽出領域に基づいて、前記対象オブジェクトを検出する。

【0008】

本開示の一態様に係る非一時的なコンピュータ可読媒体は、画像認識方法をコンピュータに実行させる画像認識プログラムが格納されている。前記画像認識方法は、第１検出ステップと、抽出画像生成ステップと、第２検出ステップとを備える。前記第１検出ステップは、人物に関連する対象オブジェクトが撮像された第１画像から、前記人物の身体の少なくとも一部を表す人物領域を検出する。前記抽出画像生成ステップは、前記人物領域に応じて設定された抽出領域を前記第１画像から切り出す。前記第２検出ステップは、切り出された前記抽出領域に基づいて、前記対象オブジェクトを検出する。

【発明の効果】

【0009】

本開示により、画像に含まれる物体の認識精度を向上させることができる画像認識システム、画像認識方法および非一時的なコンピュータ可読媒体を提供することができる。

【図面の簡単な説明】

【0010】

【図1】実施形態１にかかる画像認識システムの構成を示すブロック図である。

【図2】実施形態２にかかる画像認識システムの構成を示すブロック図である。

【図3】実施形態２にかかる画像認識システムの処理を示すフローチャートである。

【図4】実施形態２にかかる画像認識システムの処理を説明するための図である。

【図5】実施形態２にかかる画像認識システムの処理を説明するための図である。

【図6】実施形態２にかかる画像認識システムの処理を説明するための図である。

【図7】実施形態２にかかる画像認識システムの処理を説明するための図である。

【図8】実施形態２にかかる画像認識システムの処理を説明するための図である。

【図9】実施形態２にかかる画像認識システムの表示の一例を示す図である。

【図10】実施形態３にかかる画像認識システムの構成を示すブロック図である。

【図11】実施形態３にかかる画像認識システムの処理を示すフローチャートである。

【図12】実施形態４にかかる画像認識システムの構成を示すブロック図である。

【図13】実施形態４にかかる画像認識システムの処理を示すフローチャートである。

【図14】実施形態５にかかる画像認識システムの構成を示すブロック図である。

【図15】実施形態５にかかる第２検出部のオブジェクト領域検出処理を示すフローチャートである。

【図16】実施形態５にかかる第２検出部のオブジェクト領域検出処理を説明するための図である。

【図17】実施形態６にかかる画像認識システムの構成を示すブロック図である。

【図18】実施形態６にかかる第１検出部の人物領域検出処理を示すフローチャートである。

【図19】実施形態６にかかる第１検出部の人物領域検出処理を説明するための図である。

【図20】実施形態７にかかる画像認識システムの構成を示すブロック図である。

【図21】実施形態７にかかる部位選択情報のデータ構造の一例を示す図である。

【図22】実施形態７にかかる第１検出部の人物領域検出処理を示すフローチャートである。

【図23】実施形態１～７にかかるコンピュータの構成図である。

【発明を実施するための形態】

【0011】

以下、実施形態を通じて本開示を説明するが、請求の範囲にかかる開示を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。なお、以下の記載において画像の画素数（画像サイズとも呼ぶ）または画像領域の画素数をＸ×Ｙと表記した場合、Ｘは矩形画像または矩形画像領域における幅方向の画素数を示し、Ｙは矩形画像または矩形画像領域における高さ方向の画素数を示すものとする。そしてＸおよびＹは自然数であるものとする。

【0012】

＜実施形態１＞
まず図１を用いて、本開示の実施形態１について説明する。図１は、実施形態１にかかる画像認識システム１０の構成を示すブロック図である。画像認識システム１０は、第１検出部１０１と、抽出画像生成部１０４と、第２検出部１０７とを備える。
第１検出部１０１は、人物に関連する対象オブジェクトが撮像された第１画像から、人物の身体の少なくとも一部を表す人物領域を検出する。
抽出画像生成部１０４は、人物領域に応じて設定された抽出領域を第１画像から切り出す。
第２検出部１０７は、切り出された抽出領域に基づいて、対象オブジェクトを検出する。

【0013】

このように実施形態１の構成によれば、画像認識システム１０は、不要領域を除いた抽出領域に基づいて対象オブジェクトを検出する。このため対象オブジェクトの検出のために、対象となる画像をＣＮＮの入力画像の画像サイズと同等の画像サイズになるように変換する場合に、対象オブジェクトを表す画像領域に画素潰れが生じることを回避することができる。これにより、画像に含まれる物体の認識精度を向上させることができる。

【0014】

＜実施形態２＞
次に図２～９を用いて、本開示の実施形態２について説明する。図２は、実施形態２にかかる画像認識システム２０の構成を示すブロック図である。画像認識システム２０は、撮像画像から人物に関連する対象オブジェクトを認識するコンピュータシステムである。
画像認識システム２０は、取得部２００と、第１検出部２０１と、抽出画像生成部２０４と、第２検出部２０７と、記憶部２１１とを備える。

【0015】

取得部２００は、対象オブジェクトの検出等の一連の認識処理に必要な各種情報を取得する。取得部２００は、監視カメラ等の撮像装置（不図示）から、またはユーザからの入力を受け付けることにより、第１画像Ｉ１を取得する。第１画像Ｉ１は、人物と、人物に関連する対象オブジェクトとが撮像されている。対象オブジェクトは、人物の所持品であってよい。人物の所持品は、人物が手に持っている物には限定されず、何らかの形で所持している物を含む。人物の所持品は、人が手に持っている物（白杖若しくはかばん等）、人が首から提げている物（身分証明書等）、人が頭に装着している物（帽子等）、または人が顔に装着している物（眼鏡等）であってよい。取得部２００は、取得した情報を第１検出部２０１に供給する。

【0016】

第１検出部２０１は、第１画像Ｉ１から、人物領域検出器を用いて人物の身体の少なくとも一部を表す人物領域を検出する。人物領域は、人物全体を表してもよく、人物の身体の一部を表してもよい。一例として人物の身体の一部は、手、腕、首、頭または顔等の部位である。人物領域検出器は、例えば入力画像から人物を表す画像領域または人物の特定の部位を表す画像領域を検出するように予め学習させた検出器であってよい。このような検出器は、任意の既存の物体検出モデルを用いてよい。本実施形態２で人物領域検出器は、学習済のＣＮＮを含むＳＳＤ（Single Shot MultiBox Detector）またはＷＳＳＤ（Weighted Single Shot MultiBox Detector）等の検出モデルを用いる。しかしこれに限らず、人物領域検出器は、ＳＶＭ（サポートベクトルマシン）等の他の任意の検出モデルを用いてもよい。
第１検出部２０１は、検出された人物領域にかかる情報を抽出画像生成部２０４に供給する。

【0017】

抽出画像生成部２０４は、第１画像Ｉ１から抽出領域を切り出す。ここで抽出領域は、第１検出部２０１によって検出された人物領域に応じて設定された画像領域である。たとえば抽出領域は、第１画像Ｉ１において、人物領域に対して予め定められた位置に、予め定められた範囲で配置される画像領域であってよい。また抽出領域は、第１画像Ｉ１において、人物領域を中心として予め定められた範囲に配置される画像領域であってよい。一例として抽出領域は、第１画像Ｉ１において人物領域の中心を中心として、人物領域の画素数に基づいて設定される画素数を有する画像領域であってよい。また抽出領域は、人物領域と同一の画像領域であってもよい。

【0018】

そして抽出画像生成部２０４は、切り出された抽出領域に基づいて第２画像Ｉ２を生成する。抽出画像生成部２０４は、抽出領域が後述する第２検出部２０７で用いられるオブジェクト検出器の入力画像の画像サイズと同等の画像サイズになるように、抽出領域に対して画像変換を行い、第２画像Ｉ２を生成する。
抽出画像生成部２０４は、生成した第２画像Ｉ２を第２検出部２０７に供給する。

【0019】

第２検出部２０７は、第２画像Ｉ２から、オブジェクト検出器を用いて対象オブジェクトを表す画像領域であるオブジェクト領域を検出する。ここでオブジェクト検出器は、入力画像から対象オブジェクトを表す画像領域を検出するように予め学習させた検出器であってよい。オブジェクト検出器は、学習済のＣＮＮを含むＳＳＤまたはＷＳＳＤ等の検出モデルを用いてよい。

【0020】

記憶部２１１は、対象オブジェクトの検出等の一連の認識処理に必要な各種情報を記憶する記憶媒体である。たとえば記憶部２１１は、第１検出部２０１が用いる人物領域検出器の学習済パラメータおよび第２検出部２０７が用いるオブジェクト検出器の学習済パラメータ等を記憶する。

【0021】

次に図３を用いて図４～８を参照しながら、画像認識システム２０の画像認識方法について説明する。図３は、実施形態２にかかる画像認識システム２０の処理を示すフローチャートである。図４～８は、実施形態２にかかる画像認識システム２０の処理を説明するための図である。

【0022】

まずステップＳ１０において、取得部２００は、第１画像Ｉ１を取得する。ここで第１画像Ｉ１は、図４に示すように、人物と、人物に関連する対象オブジェクトとが撮像されている。本例において対象オブジェクトは人物が手に持っている「白杖」である。図４に示すように、第１画像Ｉ１は、Ｘ１×Ｙ１の画素数を有する。本例では第１画像Ｉ１は、フルハイビジョンの撮像画像であり、すなわちＸ１は１９２０であり、Ｙ１は１０８０である。

【0023】

次にステップＳ１１において、第１検出部２０１は、第１画像Ｉ１から人物領域を検出する。本例において第１検出部２０１は、記憶部２１１から人物領域検出器の学習済パラメータを取得し、当該学習済パラメータを含む学習済の人物領域検出器を用いて、第１画像Ｉ１から人物全体である人物領域Ｐを検出する。図５に示すように、人物領域ＰはＸＰ１×ＹＰ１の画素数を有する（ＸＰ１＜Ｘ１かつＹＰ１＜Ｙ１）。

【0024】

このとき第１検出部２０１は、第１画像Ｉ１を、人物領域検出器の入力画像の画像サイズ（たとえば３００画素×３００画素）と同じ画像サイズになるように変換をし、当該変換後の画像を人物領域検出器に入力してよい。そして第１検出部２０１は、出力結果にかかる画像領域に基づいて、第１画像Ｉ１における人物領域Ｐを特定してよい。なお第１検出部２０１は、画像変換をする場合、後述するステップＳ１３において抽出画像生成部２０４が行う画像変換処理と同様の処理を行ってよい。
そして第１検出部２０１は、人物領域Ｐにかかる情報を抽出画像生成部２０４に供給する。

【0025】

次にステップＳ１２において、抽出画像生成部２０４は、人物領域に基づいて抽出領域を特定する。たとえば図６に示すように抽出画像生成部２０４は、人物領域Ｐの中心を中心として、ＸＡ１×ＹＡ１の画素数を有する画像領域を抽出領域Ａと特定する（ＸＰ１＜ＸＡ１＜Ｘ１かつＹＰ１＜ＹＡ１＜Ｙ１）。ここでＸＡ１およびＹＡ１はそれぞれ、ＸＰ１およびＹＰ１に基づいて設定されてよい。たとえばＸＡ１およびＹＡ１はそれぞれ、ＸＰ１およびＹＰ１のＮ倍（Ｎ＞１）の値を有してよい。Ｎは、予め定められてよい。

【0026】

次にステップＳ１３において、抽出画像生成部２０４は、特定された抽出領域に基づいて第２画像Ｉ２を生成する。たとえば図７に示すように、抽出画像生成部２０４は第１画像Ｉ１からＸＡ１×ＹＡ１の画素数を有する抽出領域Ａを切り出し、抽出領域ＡをＸ２×Ｙ２の画素数を有する第２画像Ｉ２に変換する。Ｘ２およびＹ２はそれぞれ、オブジェクト検出器の入力画像の画像サイズの幅方向の画素数および高さ方向の画素数と等しい。Ｘ２およびＹ２はそれぞれ、Ｘ１およびＹ１よりも小さい値を有してよい。本例ではＸ２およびＹ２は、いずれも３００である。

【0027】

このとき抽出画像生成部２０４は、抽出領域Ａおよび第２画像Ｉ２の画素数に基づいて、抽出領域Ａに対して拡大、縮小、伸張、または圧縮等の画像変換処理を行う。本例では、抽出画像生成部２０４は、抽出領域Ａに対して幅方向に（Ｘ２／ＸＡ１）倍、高さ方向に（Ｙ２／ＹＡ１）倍の画像変換処理を行う。たとえば抽出領域Ａを拡大または縮小する場合、抽出画像生成部２０４は、抽出領域Ａに含まれる所定の画素と周囲の画素との間隔を変更し、その間の画素を補間してよい。また抽出領域Ａを伸張する場合、抽出画像生成部２０４は、引き伸ばす方向の画素について、画素同士の間隔を拡げ、その間の画素を補間してよい。また抽出領域Ａを圧縮する場合、抽出画像生成部２０４は、縮める方向の画素について、画素同士の間隔を狭め、適宜画素を補間してよい。抽出画像生成部２０４は、抽出領域Ａを拡大または伸張する場合において、画素同士の間隔を広げることに代えて、拡大または伸張する方向にゼロパディングを行ってよい。
そして抽出画像生成部２０４は、生成した第２画像Ｉ２を第２検出部２０７に供給する。

【0028】

次にステップＳ１４において、第２検出部２０７は記憶部２１１からオブジェクト検出器の学習済パラメータを取得し、当該学習済パラメータを含む学習済のオブジェクト検出器を用いて第２画像Ｉ２からオブジェクト領域を検出する。上述の通りオブジェクト検出器の入力画像の画像サイズは、Ｘ２×Ｙ２と等しい。したがって本例では当該画像サイズは３００×３００である。たとえば図８に示すように第２検出部２０７は、第２画像Ｉ２において白杖を表すオブジェクト領域Ｂを検出する。

【0029】

次にステップＳ１５において、第２検出部２０７は、一連の処理を終了するか否かを判定する。第２検出部２０７は、終了する場合は処理を終了し、そうでない場合は処理をステップＳ１１に戻す。

【0030】

ここで特許文献１に記載の情報処理装置のようにステップＳ１１～１３を行わない場合、オブジェクト検出器には、Ｘ１×Ｙ１（＝１９２０×１０８０）からＸ２×Ｙ２（＝３００×３００）に縮小変換された第１画像Ｉ１が第２画像Ｉ２として入力される。つまり幅方向の画素数が（Ｘ２／Ｘ１）（＝約０．１６）倍、高さ方向の画素数が（Ｙ２／Ｙ１）（＝約０．２８）倍になるように第１画像Ｉ１が縮小変換される。ここで変換前の画像に対する変換後の画像の解像度の割合をＳとすると、幅方向のＳが（Ｘ２／Ｘ１）（＝約０．１６）、高さ方向のＳが（Ｙ２／Ｙ１）（＝約０．２８）となり、画像変換処理により画像の解像度が大きく低下する。このため第２画像Ｉ２のオブジェクト領域において画素潰れが生じやすくなる。しかし実施形態２によれば、ステップＳ１１～１３により切り出された抽出領域Ａを第２画像Ｉ２に変換するため、抽出領域Ａの画素数が第２画像Ｉ２の画素数に近づくほど画像変換による解像度の低下は軽減する。たとえば抽出領域Ａの画素数がＸ２×Ｙ２（＝３００×３００）と同程度である場合は、生成される第２画像Ｉ２の解像度は、第１画像Ｉ１における抽出領域Ａの解像度と同程度に維持される。したがってオブジェクト領域において画素潰れが生じることを回避することができ、これにより第１画像Ｉ１に含まれる対象オブジェクトの認識精度を向上させることができる。さらに抽出領域Ａは第１画像Ｉ１中の不要領域にかかる情報が除去されているため、計算コストを低減しつつ認識精度を向上させることができる。本実施形態２にかかる画像認識システム２０は、対象オブジェクトが幅および高さの一方の画素数が他方の画素数よりも大幅に小さい「白杖」である場合に特に顕著な効果を奏する。したがって画像認識システム２０は、監視カメラの映像を利用して「白杖」を所持するロービジョンの人物を特定し、特定された人物に対して音声案内を行う音声支援システム等に適用されることが可能となる。

【0031】

なお本実施形態２でオブジェクト検出器の入力画像の画像サイズは３００×３００、すなわちＸ２およびＹ２はいずれも３００であったが、Ｘ２およびＹ２はいずれも３００未満であってもよい。すなわちオブジェクト検出器の入力画像の画像サイズは、２００×２００であってもよく、１５０×１５０であってもよく、１００×１００であってもよい。この場合オブジェクト検出器は、予め定められた画像サイズの入力画像に応じて学習された検出器であってよい。ただしオブジェクト検出器の入力画像の画像サイズがこのような小さい値である場合、３００×３００である場合と比べて、生成される第２画像Ｉ２の解像度は低下する。しかしこのような場合でも変換前後の画像の解像度の割合ＳがステップＳ１１～１３を行わないでオブジェクト領域を検出する場合のＳよりも所定量大きくなるようにＸ２およびＹ２を定めることで、解像度の低下による認識精度への影響を緩和させることができる。しかもこの場合、第２検出部２０７はより軽量な検出器を用いてオブジェクト領域を検出することができるため、認識精度をある程度確保しつつ計算コストを大幅に低減させることができる。

【0032】

なお本実施形態２の画像認識システム２０は、表示部をさらに備えてよい。図９は、実施形態２にかかる画像認識システム２０の表示の一例を示す図である。本図に示すように、表示部は、第１画像Ｉ１と第２画像Ｉ２とを表示してよい。

【0033】

表示部は、第２画像Ｉ２からオブジェクト領域Ｂが検出されたことに応じて、オブジェクト領域Ｂを第２画像Ｉ２上に重畳表示してよい。
また表示部は、検出されたオブジェクト領域Ｂに対応する抽出領域Ａを第１画像Ｉ１上に重畳表示してよい。

【0034】

さらに本図に示すように、表示部はユーザから第１画像Ｉ１の入力を受け付ける画像入力手段を有してもよい。画像入力手段は、取得部２００に接続されてよい。そして表示部は、画像入力手段により第１画像Ｉ１の入力を受け付けたことに応じて第１画像Ｉ１を表示してよい。

【0035】

なお表示部は、ユーザから抽出領域Ａを重畳表示させた第１画像Ｉ１、第２画像Ｉ２またはオブジェクト領域Ｂを重畳表示させた第２画像Ｉ２の出力の要求を受け付ける画像出力手段を有してもよい。画像認識システム２０は、画像出力手段により当該出力の要求を受け付けたことに応じて、要求にかかる画像データを所定のデータ形式で出力してよい。

【0036】

＜実施形態３＞
次に図１０～１１を用いて、本開示の実施形態３について説明する。実施形態３は、第２画像Ｉ２の画像サイズが抽出領域のサイズに基づいて決定されることに特徴を有する。
図１０は、実施形態３にかかる画像認識システム３０の構成を示すブロック図である。実施形態３の画像認識システム３０は、実施形態２の画像認識システム２０と基本的には同様の構成および機能を有する。ただし実施形態３の画像認識システム３０は、抽出画像生成部２０４に代えて抽出画像生成部３０４を備える点で実施形態２と相違する。

【0037】

抽出画像生成部３０４は、抽出画像生成部２０４の構成および機能に加えて、サイズ決定部３０５をさらに有する。
サイズ決定部３０５は、抽出領域が有する画素数に基づいて、第２画像Ｉ２が有する画素数を決定する。たとえばサイズ決定部３０５は、抽出領域が有する画素数に基づいて、予め定められた第２画像Ｉ２が有し得る画素数のうちの１つを選択し、選択された画素数を第２画像Ｉ２が有する画素数として決定する。第２画像Ｉ２が有し得る画素数は、たとえば３００×３００と、２００×２００とを含んでよい。そして抽出画像生成部２０４は、決定された画素数に合わせて抽出領域を変換し、第２画像Ｉ２を生成する。

【0038】

なお実施形態３の記憶部２１１は、実施形態２の記憶部２１１が記憶する情報に加えて、第２画像Ｉ２が有し得る画素数ごとに、オブジェクト検出器の学習済パラメータを記憶する。たとえば記憶部２１１は、入力画像の画像サイズが３００×３００であるオブジェクト検出器の学習済パラメータと、入力画像の画像サイズが２００×２００であるオブジェクト検出器の学習済パラメータとを記憶する。

【0039】

図１１は、実施形態３にかかる画像認識システム３０の処理を示すフローチャートである。図１１に示すステップは、図３に示すステップＳ１３～１４に代えてステップＳ２０～２４を有する。なお図３に示すステップと同様のステップについては同一の記号を付して説明を省略する。

【0040】

ステップＳ２０において、抽出画像生成部３０４のサイズ決定部３０５は、ステップＳ１２で抽出画像生成部３０４が抽出領域Ａを特定したことに応じて、抽出領域Ａが有する画素数に基づいて、第２画像Ｉ２が有する画素数を決定する。

【0041】

たとえばサイズ決定部３０５は、抽出領域Ａの高さおよび幅方向の少なくとも一方の画素数が３００未満である場合は、第２画像Ｉ２が有する画素数を２００×２００に決定してよい。またサイズ決定部３０５は、高さ方向および幅方向のいずれの画素数も３００以上である場合は、第２画像Ｉ２が有する画素数を３００×３００に決定してよい。

【0042】

またサイズ決定部３０５は、変換前後の画像の解像度の割合Ｓが予め定められた参照値Ｓ０よりも大きくなるように、第２画像Ｉ２が有する画素数を決定してもよい。ここで変換前後の画像の解像度の割合Ｓは、第２画像Ｉ２の画素数を抽出領域Ａの画素数で除した値（すなわち、幅方向でＸ２／ＸＡ１または高さ方向でＹ２／ＹＡ１）である。たとえばサイズ決定部３０５は、第２画像Ｉ２の解像度を担保するため、第２画像Ｉ２が有し得る画素数のうち、抽出領域Ａの画素数と参照値Ｓ０との間の積よりも大きい画素数を第２画像Ｉ２の画素数として決定する。具体的には、サイズ決定部３０５は、第２画像Ｉ２が有し得るＸ２（またはＹ２）の値の中から、抽出領域Ａの高さおよび幅方向の画素数のうち小さいほうと参照値Ｓ０との間の積よりも大きいものを選択し、第２画像Ｉ２のＸ２（またはＹ２）として決定する。なおこのようにして選択されたＸ２（またはＹ２）の値が複数ある場合は、サイズ決定部３０５は、これらの値の最小値を第２画像Ｉ２のＸ２（またはＹ２）として決定してよい。これにより、計算コストを低減させることができる。

【0043】

そしてステップＳ２２において、抽出画像生成部３０４は、特定された抽出領域Ａおよび決定した第２画像Ｉ２の画素数に基づいて、ステップＳ１３と同様の処理を行い、第２画像Ｉ２を生成する。そして抽出画像生成部３０４は、生成した第２画像Ｉ２を第２検出部２０７に供給する。

【0044】

ステップＳ２４において、第２検出部２０７は、記憶部２１１から決定した第２画像Ｉ２の画素数に対応するオブジェクト検出器の学習済パラメータを取得する。そして第２検出部２０７は、当該学習済パラメータを含む学習済のオブジェクト検出器を用いて第２画像Ｉ２からオブジェクト領域Ｂを検出する。

【0045】

このように実施形態３によれば、画像認識システム３０は、切り出しにかかる抽出領域Ａのサイズに基づいて第２画像Ｉ２の画像サイズを決定する。したがって、オブジェクト領域の検出における入力画像の解像度を担保し、これにより認識精度を担保しつつ、計算コストを低減させることが可能となる。

【0046】

＜実施形態４＞
次に図１２～１３を用いて、本開示の実施形態４について説明する。ここで、第１画像Ｉ１上で人物が小さく映っている場合、その人物に関連する対象オブジェクトも小さく映っている可能性が高い。このような場合、対象オブジェクトのオブジェクト領域を精度よく検出することが困難となる。実施形態４は、人物領域Ｐが所定サイズ未満の場合に、後続のオブジェクト領域の検出処理が行われないことに特徴を有する。

【0047】

図１２は、実施形態４にかかる画像認識システム４０の構成を示すブロック図である。実施形態４の画像認識システム４０は、実施形態３の画像認識システム３０と基本的には同様の構成および機能を有する。ただし実施形態４の画像認識システム４０は、抽出画像生成部３０４に代えて抽出画像生成部４０４を備える点で実施形態３と相違する。

【0048】

抽出画像生成部４０４は、抽出画像生成部３０４の構成および機能に加えて、判定部４０６を有する。
判定部４０６は、人物領域Ｐが有する画素数に基づいて、第２画像Ｉ２を生成するか否かを判定する。つまり判定部４０６は、人物領域Ｐが有する画素数に基づいて、処理を後続のオブジェクト領域の検出ステップに進めるか否かを判定する。

【0049】

図１３は、実施形態４にかかる画像認識システム４０の処理を示すフローチャートである。図１３に示すステップは、図１１に示すステップに加えて、ステップＳ３０を有する。なお図１１に示すステップと同様のステップについては同一の記号を付して説明を省略する。

【0050】

ステップＳ３０において、抽出画像生成部４０４の判定部４０６は、ステップＳ１１で第１検出部２０１が第１画像Ｉ１から人物領域Ｐを検出したことに応じて、人物領域Ｐが有する画素数が予め定められた第１閾値よりも大きいか否かを判定する。具体的には判定部４０６は、人物領域Ｐが有する高さまたは幅方向の画素数が第１閾値よりも大きいか否かを判定する。判定部４０６は、当該画素数が第１閾値よりも大きいと判定した場合（ステップＳ３０でＹｅｓ）、処理をステップＳ１２に進める。一方、判定部４０６は、そうでない場合（ステップＳ３０でＮｏ）、処理をステップＳ１５に進める。

【0051】

このように実施形態４によれば、画像認識システム４０が人物領域Ｐの画素数に基づいて、第２画像Ｉ２を生成するか否かを判定するため、人物領域Ｐが所定サイズ未満である場合にはその後の処理を省略することができる。これにより計算コストを低減させるとともに、一連の認識処理のリアルタイム性を確保することが可能となる。

【0052】

なお判定部４０６は人物領域Ｐが有する画素数に代えて、抽出領域Ａが有する画素数に基づいて第２画像Ｉ２を生成するか否かを判定してもよい。この場合、図１３に示すステップＳ３０は省略される。そしてステップＳ１２において抽出画像生成部４０４は、人物領域Ｐに基づいて抽出領域Ａを特定し、抽出領域Ａが有する画素数が第１閾値よりも大きいか否かを判定する。判定部４０６は、当該画素数が第１閾値よりも大きいと判定した場合、処理をステップＳ２０に進める。一方、判定部４０６は、そうでない場合、処理をステップＳ１５に進める。このときも上述と同様の効果が得られる。

【0053】

＜実施形態５＞
次に図１４～１６を用いて、本開示の実施形態５について説明する。実施形態５はオブジェクト検出器の検出結果の中から、人物領域との間の相対的な位置情報に基づいてオブジェクト領域を特定することに特徴を有する。

【0054】

図１４は、実施形態５にかかる画像認識システム５０の構成を示すブロック図である。実施形態５の画像認識システム５０は、実施形態４の画像認識システム４０と基本的には同様の構成および機能を有する。ただし実施形態５の画像認識システム５０は、第２検出部２０７に代えて第２検出部５０７を備える点で実施形態４と相違する。

【0055】

第２検出部５０７は、基本的には第２検出部２０７と同様の機能を有するが、候補領域検出部５０８と特定部５０９とを有する。

【0056】

候補領域検出部５０８は、オブジェクト検出器を用いて、第２画像Ｉ２から１または複数の候補領域を検出する。ここで候補領域は、対象オブジェクトを表すと推定される画像領域である。

【0057】

特定部５０９は、人物領域Ｐに対する１または複数の候補領域の相対的な位置情報に基づいて、１または複数の候補領域から、オブジェクト領域Ｂを特定する。本実施形態５で相対的な位置情報は、例えば人物領域Ｐと候補領域との間の距離であってよい。

【0058】

次に図１５を用いて図１６を参照しながら、実施形態５にかかる第２検出部５０７のオブジェクト領域検出処理について説明する。図１５は、実施形態５にかかる第２検出部５０７のオブジェクト領域検出処理を示すフローチャートである。図１６は、実施形態５にかかる第２検出部５０７のオブジェクト領域検出処理を説明するための図である。

【0059】

まずステップＳ４０において、第２検出部５０７の候補領域検出部５０８は、記憶部２１１から第２画像Ｉ２の画素数に対応するオブジェクト検出器の学習済パラメータを取得する。そして候補領域検出部５０８は、当該学習済パラメータを含む学習済のオブジェクト検出器を用いて第２画像Ｉ２から候補領域を検出する。図１６に示すように、候補領域検出部５０８は第２画像Ｉ２に含まれる複数の候補領域Ｃ１，Ｃ２を検出する。

【0060】

次にステップＳ４２において、特定部５０９は、候補領域の各々について、第２画像Ｉ２における人物領域Ｐ２との間の距離を算出する。ここで第２画像Ｉ２における人物領域Ｐ２は、第１画像Ｉ１における人物領域Ｐに対応する画像領域である。図１６に示すように、各候補領域Ｃ１，Ｃ２と人物領域Ｐ２との間の距離ｄ１，ｄ２は、各候補領域の中心等の代表点と人物領域Ｐ２の中心等の代表点との間の距離であってよい。

【0061】

そして特定部５０９は、人物領域Ｐ２との間の距離が第２閾値未満である候補領域があるか否かを判定する。なお第２閾値は、予め定められた値であっても、人物領域Ｐ２の画素数に応じて設定された値であってもよい。特定部５０９は、人物領域Ｐ２との間の距離が第２閾値未満である候補領域があると判定した場合（ステップＳ４２でＹｅｓ）、処理をステップＳ４４に進める。一方で特定部５０９は、そうでない場合（ステップＳ４２でＮｏ）、処理を図１３に示すステップＳ１５に戻す。

【0062】

そしてステップＳ４４において、特定部５０９は、人物領域Ｐ２との間の距離が第２閾値未満である候補領域をオブジェクト領域Ｂと特定する。そして特定部５０９は処理を図１３に示すステップＳ１５に戻す。

【0063】

実施形態５によれば、画像認識システム５０は、人物との距離に基づいてその人物の所持品であるかの判定を行うため、人物が所持する対象オブジェクトを適切に検出することができ、認識精度を向上させることができる。たとえば対象オブジェクトが「白杖」の場合は、画像認識システム５０は、監視カメラの映像を利用して白杖を適切に検出し、さらには白杖を所持する人物を適切に特定することができる。

【0064】

なお第２閾値が人物領域Ｐ２の画素数に応じて動的に設定される場合は、画像認識システム５０は、人物が所持する対象オブジェクトをより適切に検出することが可能となり、認識精度がより向上する。

【0065】

なお実施形態５では画像認識システム５０は、人物領域Ｐ２との間の距離が第２閾値未満である候補領域をオブジェクト領域Ｂと特定した。しかしこれに代えて画像認識システム５０は、人物領域Ｐ２との間の距離が最も小さい候補領域をオブジェクト領域Ｂと特定してもよい。これによっても上述と同様の効果を得ることができる。

【0066】

＜実施形態６＞
次に図１７～１９を用いて、本開示の実施形態６について説明する。実施形態６は人物の骨格構造に基づいて人物領域が検出されることに特徴を有する。
図１７は、実施形態６にかかる画像認識システム６０の構成を示すブロック図である。実施形態６の画像認識システム６０は、実施形態５の画像認識システム５０と基本的には同様の構成および機能を有する。ただし実施形態６の画像認識システム６０は、第１検出部２０１に代えて第１検出部６０１を備える点で実施形態５と相違する。

【0067】

第１検出部６０１は、第１検出部２０１と基本的には同様の機能を有し、第１画像Ｉ１から人物領域Ｐを検出する。ここで本実施形態６では、人物領域Ｐは、人物の身体の部位を表す。たとえば人物領域Ｐは、手、首、頭または顔等の部位を表す。第１検出部６０１は、骨格推定部６０２を有する。

【0068】

骨格推定部６０２は、骨格推定モデルを用いて人物の二次元骨格構造を推定する。そして骨格推定部６０２は、推定された二次元骨格構造に基づいて、人物領域Ｐを検出する。骨格推定モデルは、機械学習により学習済の既存の骨格推定モデルであってよい。

【0069】

次に図１８を用いて図１９を参照しながら、実施形態６にかかる第１検出部６０１の人物領域検出処理について説明する。図１８は、実施形態６にかかる第１検出部６０１の人物領域検出処理を示すフローチャートである。また図１９は、実施形態６にかかる第１検出部６０１の人物領域検出処理を説明するための図である。

【0070】

まずステップＳ５０において、第１検出部６０１の骨格推定部６０２は、骨格推定モデルを用いて第１画像Ｉ１から人物の二次元骨格構造を推定する。ここで推定された二次元骨格構造は、関節等の特徴的な点であるキーポイントと、キーポイント間を結ぶボーンとから構成される。たとえば骨格推定部６０２は、まず第１画像Ｉ１の中からキーポイントとなり得る特徴点を抽出し、キーポイントの画像を機械学習した情報を参照して、人物の各キーポイントを検出する。図１９に示す例では、人物のキーポイントとして、頭Ｋ１、首Ｋ２、右肩Ｋ３１、左肩Ｋ３２、右肘Ｋ４１、左肘Ｋ４２、右手Ｋ５１、左手Ｋ５２、右腰Ｋ６１、左腰Ｋ６２、右膝Ｋ７１、左膝Ｋ７２、右足Ｋ８１、左足Ｋ８２を検出する。

【0071】

次にステップＳ５２において、骨格推定部６０２は、推定した二次元骨格構造に基づいて人物領域Ｐを特定する。図１９に示す例では対象オブジェクトが「白杖」であり、人物領域Ｐは人物の「手」を表す。したがって骨格推定部６０２は、検出した複数のキーポイントから人物の「手」に関連するキーポイントである右手Ｋ５１を選択し、右手Ｋ５１を含む所定範囲の領域を人物領域Ｐと特定してよい。

【0072】

このとき骨格推定部６０２は、キーポイント間を結ぶボーンの長さに基づいて人物領域Ｐの範囲を決定してよい。たとえば骨格推定部６０２は、右手Ｋ５１と右肘Ｋ４１とを結ぶボーンＢ４１の長さに基づいて、人物領域Ｐの範囲を決定し、人物領域Ｐを特定してよい。
そして骨格推定部６０２は、処理を図１３に示すステップＳ３０に戻す。

【0073】

なお図１５に示すステップＳ４２において、特定部５０９は、人物領域Ｐの推定時に選択したキーポイントに対応する点を人物領域Ｐ２の代表点として、候補領域と人物領域Ｐ２との間の距離の算出に用いてよい。

【0074】

このように実施形態６によれば、画像認識システム６０は、人物の骨格構造に基づいて人物領域を検出するため、人物領域に基づいて人物が所持する対象オブジェクトをより適切に検出することが可能となり、認識精度がより向上する。

【0075】

＜実施形態７＞
次に図２０～２２を用いて、本開示の実施形態７について説明する。実施形態７は対象オブジェクトの種別に応じて人物領域が特定されることに特徴を有する。
図２０は、実施形態７にかかる画像認識システム７０の構成を示すブロック図である。実施形態７の画像認識システム７０は、実施形態６の画像認識システム６０と基本的には同様の構成および機能を有する。ただし実施形態７の画像認識システム７０は、第１検出部６０１に代えて第１検出部７０１を備え、記憶部２１１に代えて記憶部７１１を備える点で実施形態６と相違する。

【0076】

第１検出部７０１は、第１検出部６０１の構成および機能に加えて、部位選択部７０３を有する。
部位選択部７０３は、対象オブジェクトの種別に基づいて、部位の種別を選択する。なお骨格推定部６０２は、選択された部位の種別に応じて人物領域Ｐを特定する。

【0077】

記憶部７１１は、記憶部２１１の構成および機能に加えて、対象オブジェクトの種別と部位の種別とを関連付ける部位選択情報を記憶する。また記憶部７１１は、部位の種別ごとの人物領域検出器の学習済パラメータと、対象オブジェクトの種別ごとのオブジェクト検出器の学習済パラメータとを記憶する。

【0078】

図２１は、実施形態７にかかる部位選択情報のデータ構造の一例を示す図である。部位選択情報は、対象オブジェクトの種別と、部位の種別とを含む。
対象オブジェクトの種別は、「白杖」、「かばん」または「帽子」等であってよい。
部位の種別は、対象オブジェクトの種別が「白杖」である場合は、「手」であってよく、対象オブジェクトの種別が「かばん」である場合は、「手」または「腕」であってよく、対象オブジェクトの種別が「帽子」である場合は、「頭」であってよい。

【0079】

なお部位選択情報は、本図に示すようにオブジェクト領域を特定する場合に用いる第２閾値に関連する値をさらに含んでもよい。部位選択情報に含まれる第２閾値に関連する値は、第２閾値の値であってもよく、人物領域Ｐ２を所定のサイズに正規化した場合の第２閾値の正規化値であってもよい。この場合、図１５に示すステップＳ４２において、特定部５０９は対象オブジェクトの種別および部位の種別に基づいて、記憶部７１１の部位選択情報から第２閾値に関連する値を取得し、これに基づいて第２閾値の値を設定してよい。そして特定部５０９は、人物領域Ｐ２との間の距離が第２閾値未満である候補領域があるか否かを判定してよい。

【0080】

図２２は、実施形態７にかかる第１検出部７０１の人物領域検出処理を示すフローチャートである。
まずステップＳ６０において、第１検出部７０１の部位選択部７０３は、取得部２００を介して対象オブジェクトの種別に関する対象オブジェクト種別情報を取得する。なお取得部２００は、ユーザからの入力を受け付けることにより対象オブジェクト種別情報を取得してよい。

【0081】

次にステップＳ６２において、部位選択部７０３は、記憶部７１１の部位選択情報を参照し、対象オブジェクトの種別に関連付けられた部位の種別を選択する。

【0082】

次にステップＳ６３において、第１検出部７０１の骨格推定部６０２は、図１８に示すステップＳ５０と同様に、骨格推定モデルを用いて第１画像Ｉ１から人物の二次元骨格構造を推定する。

【0083】

そしてステップＳ６４において、骨格推定部６０２は、推定した二次元骨格構造と、選択された部位の種別とに基づいて、人物領域Ｐを特定する。

【0084】

このように実施形態７によれば、画像認識システム７０は、対象オブジェクトの種別に基づいて人物領域Ｐを特定する。このため画像認識システム７０は人物領域Ｐに基づいてより適切に対象オブジェクトを検出することが可能となり、認識精度がより向上する。

【0085】

上述の実施形態１～７ではコンピュータは、パーソナルコンピュータやワードプロセッサ等を含むコンピュータシステムで構成される。しかしこれに限らず、コンピュータは、ＬＡＮ（ローカル・エリア・ネットワーク）のサーバ、コンピュータ（パソコン）通信のホスト、インターネット上に接続されたコンピュータシステム等によって構成されることも可能である。また、ネットワーク上の各機器に機能分散させ、ネットワーク全体でコンピュータを構成することも可能である。

【0086】

なお上述の実施形態１～７では、この開示をハードウェアの構成として説明したが、この開示は、これに限定されるものではない。この開示は、上述の人物領域検出処理、第２画像生成処理、オブジェクト領域検出処理等の画像認識処理を、後述するプロセッサ１０１０にコンピュータプログラムを実行させることにより実現することも可能である。

【0087】

図２３は、実施形態１～７にかかるコンピュータ１９００の構成図の一例である。図２３に示すように、コンピュータ１９００は、システム全体を制御するための制御部１０００を備えている。この制御部１０００には、データバス等のバスラインを介して、入力装置１０５０、記憶装置１２００、記憶媒体駆動装置１３００、通信制御装置１４００、および入出力Ｉ／Ｆ１５００が接続されている。

【0088】

制御部１０００は、プロセッサ１０１０と、ＲＯＭ１０２０と、ＲＡＭ１０３０とを備えている。
プロセッサ１０１０は、ＲＯＭ１０２０や記憶装置１２００等の各種記憶部に記憶されたプログラムに従って、各種の情報処理や制御を行う。
ＲＯＭ１０２０は、プロセッサ１０１０が各種制御や演算を行うための各種プログラムやデータが予め格納されたリードオンリーメモリである。

【0089】

ＲＡＭ１０３０は、プロセッサ１０１０にワーキングメモリとして使用されるランダムアクセスメモリである。このＲＡＭ１０３０には、本実施形態１～７による各種処理を行うための各種エリアが確保可能になっている。

【0090】

入力装置１０５０は、キーボード、マウスおよびタッチパネル等のユーザからの入力を受け付ける入力装置である。たとえばキーボードは、テンキー、各種機能を実行するための機能キーおよびカーソルキー等の各種キーが配置されている。マウスは、ポインティングデバイスであり、表示装置１１００に表示されたキーやアイコン等をクリックすることで対応する機能の指定を行う入力装置である。タッチパネルは、表示装置１１００の表面に配置される入力機器で、表示装置１１００に画面表示された各種操作キーに対応した、ユーザのタッチ位置を特定し、当該タッチ位置に対応して表示された操作キーの入力を受け付ける。

【0091】

表示装置１１００は、例えばＣＲＴや液晶ディスプレイ等が使用される。この表示装置には、キーボードやマウスによる入力結果が表示されたり、最終的に検索されたイメージ情報が表示されたりするようになっている。また表示装置１１００は、コンピュータ１９００の各種機能に応じて、タッチパネルから必要な各種操作を行うための操作キーを画像表示する。

【0092】

記憶装置１２００は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータ等の各種情報を読み書きするための駆動装置で構成されている。
この記憶装置１２００に使用される記憶媒体は、主としてハードディスク等が使用されるが、後述の記憶媒体駆動装置１３００で駆動対象となる非一時的なコンピュータ可読媒体（non-transitory computer readable medium）であればよい。
記憶装置１２００は、データ格納部１２１０、プログラム格納部１２２０および図示しないその他の格納部（例えば、この記憶装置１２００内に格納されているプログラムやデータ等をバックアップするための格納部）等を有している。プログラム格納部１２２０には、本実施形態１～７における各種処理を実現するためのプログラムが格納されている。データ格納部１２１０には、本実施形態１～７にかかる各種データベースの各種データを格納する。

【0093】

記憶媒体駆動装置１３００は、プロセッサ１０１０が外部の記憶媒体（外部記憶媒体）からコンピュータプログラムや文書を含むデータ等を読み込むための駆動装置である。
ここで、外部記憶媒体とは、コンピュータプログラムやデータ等が非一時的に記憶できる非一時的なコンピュータ可読媒体をいう。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また各種プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路並びに記憶媒体駆動装置１３００を介して、各種プログラムをコンピュータに供給できる。

【0094】

つまりコンピュータ１９００は、制御部１０００のプロセッサ１０１０が、記憶媒体駆動装置１３００にセットされた外部の記憶媒体から各種プログラムを読み込んで、記憶装置１２００の各部に格納する。

【0095】

そして、コンピュータ１９００が各種処理を実行する場合、記憶装置１２００から該当プログラムをＲＡＭ１０３０に読み込み、実行するようになっている。但しコンピュータ１９００は、記憶装置１２００からではなく、記憶媒体駆動装置１３００により外部の記憶媒体からＲＡＭ１０３０に直接プログラムを読み込んで実行することも可能である。また、コンピュータによっては各種プログラム等を予めＲＯＭ１０２０に記憶させておき、これをプロセッサ１０１０が実行するようにしてもよい。さらに、コンピュータ１９００は、各種プログラムやデータを、通信制御装置１４００を介して他の記憶媒体からダウンロードし、実行するようにしてもよい。

【0096】

通信制御装置１４００は、コンピュータ１９００と他のパーソナルコンピュータやワードプロセッサ等の各種外部電子機器との間をネットワーク接続するための制御装置である。通信制御装置１４００は、これら各種外部電子機器からコンピュータ１９００にアクセスすることを可能とする。

【0097】

入出力Ｉ／Ｆ１５００は、パラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続するためのインターフェースである。

【0098】

なお、プロセッサ１０１０として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）およびＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）等が用いられてもよい。また、これらのうち複数個を並列に用いてもよい。

【0099】

請求の範囲、明細書、および図面中において示したシステムおよび方法における各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのではない限り、任意の順序で実現しうる。請求の範囲、明細書および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順序で実施することが必須であることを意味するものではない。

【0100】

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【符号の説明】

【0101】

１０，２０，３０，４０，５０，６０，７０ 画像認識システム
１０１，２０１，６０１，７０１ 第１検出部
１０４，２０４，３０４，４０４ 抽出画像生成部
１０７，２０７，５０７ 第２検出部
２００ 取得部
２１１，７１１ 記憶部
３０５ サイズ決定部
４０６ 判定部
５０８ 候補領域検出部
５０９ 特定部
６０２ 骨格推定部
７０３ 部位選択部
Ｉ１ 第１画像
Ｉ２ 第２画像
Ｐ 人物領域
Ａ 抽出領域
１０００ 制御部
１０１０ プロセッサ
１０２０ ＲＯＭ
１０３０ ＲＡＭ
１０５０ 入力装置
１１００ 表示装置
１２００ 記憶装置
１２１０ データ格納部
１２２０ プログラム格納部
１３００ 記憶媒体駆動装置
１４００ 通信制御装置
１５００ 入出力Ｉ／Ｆ
１９００ コンピュータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】