知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-24
(45)【発行日】2024-07-02
(54)【発明の名称】情報処理装置、情報処理方法およびプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240625BHJP
G06V 10/82 20220101ALI20240625BHJP
【ＦＩ】
G06T7/00 350C
G06V10/82
【請求項の数】
10
(21)【出願番号】P 2022569394
(86)(22)【出願日】2020-12-16
(86)【国際出願番号】 JP2020046958
(87)【国際公開番号】W WO2022130534
(87)【国際公開日】2022-06-23
【審査請求日】2023-06-07
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】白石 壮馬
【審査官】千葉 久博
(56)【参考文献】
【文献】特開２０２０－１９７９５４（ＪＰ，Ａ）
【文献】特開２０２０－１８１２５５（ＪＰ，Ａ）
【文献】特開２０１９－６１５０５（ＪＰ，Ａ）
【文献】特開２０１３－８８２６８（ＪＰ，Ａ）
【文献】米国特許第９４８３７０１（ＵＳ，Ｂ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｖ １０／８２
(57)【特許請求の範囲】
【請求項1】
画像中の物体が存在する領域として、基準位置または基準方向がそれぞれ異なる複数の領域を特定する第１特定手段と、前記第１特定手段が特定した前記複数の領域に基づいて、前記物体の識別用領域を特定する第２特定手段と、
前記第２特定手段が特定した前記識別用領域に基づいて、前記物体を識別する識別手段と、を備え、
前記第１特定手段は、前記画像を表す画像データ、および、前記画像中の前記物体が存在する領域の候補を示す領域候補データを入力として、前記画像中の物体が存在する領域を示す複数の領域データを出力する１または複数の学習済モデルを用いて、前記複数の領域を特定し、
前記領域データは、前記領域データが示す領域と前記領域候補データが示す領域の候補との差分を示す、
情報処理装置。
【請求項2】
画像中の物体が存在する領域として、基準位置または基準方向がそれぞれ異なる複数の領域を特定する第１特定手段と、
前記第１特定手段が特定した前記複数の領域に基づいて、前記物体の識別用領域を特定する第２特定手段と、
前記第２特定手段が特定した前記識別用領域に基づいて、前記物体を識別する識別手段と、を備え、
前記第２特定手段は、前記画像における前記識別用領域内の部分画像を含み、当該部分画像以外を背景色で充填した識別用画像を生成し、
前記識別手段は、前記識別用画像を入力とし、前記物体の識別結果を出力する識別用学習済モデルを用いて、前記物体を識別する、
情報処理装置。
【請求項3】
前記背景色は、前記識別用学習済モデルが学習した教師データの背景色と同一である、
請求項２に記載の情報処理装置。
【請求項4】
画像中の物体が存在する領域として、基準位置または基準方向がそれぞれ異なる複数の領域を特定する第１特定手段と、
前記第１特定手段が特定した前記複数の領域に基づいて、前記物体の識別用領域を特定する第２特定手段と、
前記第２特定手段が特定した前記識別用領域に基づいて、前記物体を識別する識別手段と、を備え、
前記第１特定手段は、互いに傾きが異なる基準軸を有する前記複数の領域を特定する、
情報処理装置。
【請求項5】
前記第１特定手段は、前記画像を表す画像データ、および、前記画像中の前記物体が存在する領域の候補を示す領域候補データを入力として、前記画像中の物体が存在する領域を示す複数の領域データを出力する１または複数の学習済モデルを用いて、前記複数の領域を特定する、
請求項２から４のいずれか１項に記載の情報処理装置。
【請求項6】
画像中の物体が存在する領域の候補を示す領域候補データを生成する第１生成手段と、
前記画像中の前記物体が存在する領域であって、基準位置または基準方向が互いに異なる複数の領域をそれぞれ示す複数の領域データを生成する第２生成手段と、
前記画像を示す画像データ、および、前記領域候補データを入力とし、前記複数の領域データを出力する１または複数の学習済モデルを生成する第３生成手段と、
を備え、
前記第２生成手段は、互いに傾きが異なる基準軸を有する前記複数の領域をそれぞれ示す複数の領域データを生成する、
情報処理装置。
【請求項7】
情報処理装置が、
画像中の物体が存在する領域として、基準位置または基準方向がそれぞれ異なる複数の領域を特定し、
特定した前記複数の領域に基づいて、前記物体の識別用領域を特定し、
特定した前記識別用領域に基づいて、前記物体を識別する
ことを含み、
前記識別用領域を特定する工程において、前記画像における前記識別用領域内の部分画像を含み、当該部分画像以外を背景色で充填した識別用画像を生成し、
前記物体を識別する工程において、前記識別用画像を入力とし、前記物体の識別結果を出力する識別用学習済モデルを用いて、前記物体を識別する、
情報処理方法。
【請求項8】
情報処理装置が、
画像中の物体が存在する領域の候補を示す領域候補データを生成し、
前記画像中の前記物体が存在する領域であって、基準位置または基準方向が互いに異なる複数の領域をそれぞれ示す複数の領域データを生成し、
前記画像を示す画像データ、および、前記領域候補データを入力とし、前記複数の領域データを出力する１または複数の学習済モデルを生成する
ことを含み、
前記情報処理装置が、前記複数の領域データを生成する工程において、互いに傾きが異なる基準軸を有する前記複数の領域をそれぞれ示す複数の領域データを生成する、
情報処理方法。
【請求項9】
コンピュータを情報処理装置として機能させるプログラムであって、
前記プログラムは、前記コンピュータを、
画像中の物体が存在する領域として、基準位置または基準方向がそれぞれ異なる複数の領域を特定する第１特定手段と、
前記第１特定手段が特定した前記複数の領域に基づいて、前記物体の識別用領域を特定する第２特定手段と、
前記第２特定手段が特定した前記識別用領域に基づいて、前記物体を識別する識別手段と、として機能させ、
前記第２特定手段は、前記画像における前記識別用領域内の部分画像を含み、当該部分画像以外を背景色で充填した識別用画像を生成し、
前記識別手段は、前記識別用画像を入力とし、前記物体の識別結果を出力する識別用学習済モデルを用いて、前記物体を識別する、
ことを特徴とするプログラム。
【請求項10】
コンピュータを情報処理装置として機能させるプログラムであって、
前記プログラムは、前記コンピュータを、
画像中の物体が存在する領域の候補を示す領域候補データを生成する第１生成手段と、
前記画像中の前記物体が存在する領域であって、基準位置または基準方向が互いに異なる複数の領域をそれぞれ示す複数の領域データを生成する第２生成手段と、
前記画像を示す画像データ、および、前記領域候補データを入力とし、前記複数の領域データを出力する１または複数の学習済モデルを生成する第３生成手段と、
として機能させ、
前記第２生成手段は、互いに傾きが異なる基準軸を有する前記複数の領域をそれぞれ示す複数の領域データを生成する、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像に含まれる物体を識別する技術に関する。
【背景技術】
【0002】
画像に含まれる物体を識別する技術として、画像中の物体が存在する領域を特定し、特定した領域内の画像データに基づいて当該物体を識別することが行われている。このうち、画像中の物体が存在する領域を特定する技術を改善するものとして、非特許文献１には、物体の回転を考慮して物体が存在する領域を特定する技術が記載されている。
【先行技術文献】
【非特許文献】
【0003】
【文献】Liu et al., "Learning a Rotation Invariant Detector with Rotatable Bounding Box", arXiv:1711.09405v1, 26 Nov 2017, https://arxiv.org/pdf/1711.09405.pdf
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、非特許文献１に記載の技術では、特定される領域が矩形の領域に限定される。また、円形に近い物体について、当該物体が存在する領域の角度を一意に定めることが難しいという問題がある。そのため、非特許文献１の技術では、画像に含まれる物体の識別の精度が低い場合がある。
【0005】
本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的の一例は、画像に含まれる物体の識別の精度を向上させるための技術を提供することである。
【課題を解決するための手段】
【0006】
本発明の一側面に係る情報処理装置は、画像中の物体が存在する領域として、基準位置または基準方向がそれぞれ異なる複数の領域を特定する第１特定手段と、前記第１特定手段が特定した前記複数の領域に基づいて、前記物体の識別用領域を特定する第２特定手段と、前記第２特定手段が特定した前記識別用領域に基づいて、前記物体を識別する識別手段と、を備える。
【0007】
本発明の一側面に係る情報処理装置は、画像中の物体が存在する領域の候補を示す領域候補データを生成する第１生成手段と、前記画像中の前記物体が存在する領域であって、基準位置または基準方向が互いに異なる複数の領域をそれぞれ示す複数の領域データを生成する第２生成手段と、前記画像を示す画像データ、および、前記領域候補データを入力とし、前記複数の領域データを出力する１または複数の学習済モデルを生成する第３生成手段と、を備える。
【0008】
本発明の一側面に係る情報処理方法は、情報処理装置が、画像中の物体が存在する領域として、基準位置または基準方向がそれぞれ異なる複数の領域を特定し、特定した前記複数の領域に基づいて、前記物体の識別用領域を特定し、特定した前記識別用領域に基づいて、前記物体を識別することを含む。
【0009】
本発明の一側面に係るプログラムは、コンピュータを情報処理装置として機能させるプログラムであって、前記プログラムは、前記コンピュータを、画像中の物体が存在する領域として、基準位置または基準方向がそれぞれ異なる複数の領域を特定する第１特定手段と、前記第１特定手段が特定した前記複数の領域に基づいて、前記物体の識別用領域を特定する第２特定手段と、前記第２特定手段が特定した前記識別用領域に基づいて、前記物体を識別する識別手段と、として機能させる。
【発明の効果】
【0010】
本発明の一態様によれば、画像に含まれる物体の識別の精度を向上させることができる。
【図面の簡単な説明】
【0011】
【図1】本発明の例示的実施形態１に係る情報処理装置の構成を示すブロック図である。
【図2】本発明の例示的実施形態１に係る情報処理方法の流れを示すフロー図である。
【図3】本発明の例示的実施形態２に係る情報処理装置の構成を示すブロック図である。
【図4】本発明の例示的実施形態２に係る情報処理方法の流れを示すフロー図である。
【図5】本発明の例示的実施形態３に係る情報処理装置の構成を示すブロック図である。
【図6】本発明の例示的実施形態３に係る領域切出部の構成を示すブロック図である。
【図7】本発明の例示的実施形態３に係る領域切出方法および物体識別方法の流れを示すフロー図である。
【図8】本発明の例示的実施形態３に係る学習済モデルの一例を模式的に示した図である。
【図9】本発明の例示的実施形態３に係る領域を例示する図である。
【図10】本発明の例示的実施形態３に係る領域を例示する図である。
【図11】本発明の例示的実施形態３に係るパラメータの一例を示す図である。
【図12】本発明の例示的実施形態３に係る領域を例示する図である。
【図13】本発明の例示的実施形態４に係る領域切出部の構成を示すブロック図である。
【図14】本発明の例示的実施形態５に係る情報処理装置の構成を示すブロック図である。
【図15】本発明の例示的実施形態５に係る学習済モデルの生成方法の流れを示すフロー図である。
【図16】本発明の例示的実施形態５に係る領域データの生成方法の流れを示すフロー図である。
【図17】本発明の例示的実施形態５に係る領域データの生成方法の具体例を示す図である。
【図18】本発明の例示的実施形態６に係る情報処理装置の構成を示すブロック図である。
【図19】本発明の例示的実施形態６に係る領域切出部の構成を示すブロック図である。
【図20】本発明の例示的実施形態６に係る領域の切出し方法の具体例を示す図である。
【図21】本発明の例示的実施形態７に係る領域切出部の構成を示すブロック図である。
【図22】本発明の各例示的実施形態における情報処理装置のハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【0012】
〔例示的実施形態１〕
本発明の例示的実施形態１について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
本発明の例示的実施形態１について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
【0013】
＜情報処理装置の構成＞
本例示的実施形態に係る情報処理装置１０の構成について、図１を参照して説明する。図１は、情報処理装置１０の構成を示すブロック図である。情報処理装置１０は、画像に含まれる物体を識別する。
本例示的実施形態に係る情報処理装置１０の構成について、図１を参照して説明する。図１は、情報処理装置１０の構成を示すブロック図である。情報処理装置１０は、画像に含まれる物体を識別する。
【0014】
図１に示すように、情報処理装置１０は、第１特定部１１、第２特定部１２および識別部１３を備える。第１特定部１１は、本例示的実施形態において第１特定手段を実現する構成である。第２特定部１２は、本例示的実施形態において第２特定手段を実現する構成である。識別部１３は、本例示的実施形態において識別手段を実現する構成である。
【0015】
第１特定部１１は、画像中の物体が存在する領域として、基準位置または基準方向がそれぞれ異なる複数の領域を特定する。物体の領域は、画像に含まれる物体に対応する領域である。物体の領域は例えば、物体を含む多角形、楕円形または円形の領域である。また、物体の領域は例えば、物体が外接する矩形、物体が外接する楕円、または物体が外接する円の領域である。
【0016】
基準位置または基準方向は、物体が存在する領域を特定するために用いられる基準位置または基準方向である。基準方向は、一例として、物体の領域を示す矩形の基準軸の方向である。基準軸は、矩形を定める４辺のうちの２辺と平行な軸をいう。基準位置は、物体の領域を示す矩形の基準となる位置をいう。一例として、ひとつの物体につき複数の基準位置が用いられてもよい。
【0017】
基準方向がそれぞれ異なる複数の領域を特定するとは、一例として、物体が外接する矩形であって基準軸が異なる複数の矩形を、物体の領域として特定することをいう。また、一例として、基準位置がそれぞれ異なる複数の領域を特定するとは、物体を基準位置に基づいて複数に分割した場合に、分割した各部分に外接する矩形をそれぞれ特定することをいう。ただし、基準位置または基準方向がそれぞれ異なる複数の領域を特定する処理は、上述した処理に限定されない。
【0018】
第２特定部１２は、第１特定部１１が特定した複数の領域に基づいて、物体の領域を特定する。以下の説明では、第２特定部１２が特定する領域を「識別用領域」ともいう。識別用領域は、一例として、物体に外接する凸形状の多角形である。
【0019】
一例として、第２特定部１２は、第１特定部１１が特定した複数の領域の全てに含まれる領域（積集合）を識別用領域として特定する。また、一例として、第２特定部１２は、第１特定部１１が特定した複数の領域を全て含む領域（和集合）を、識別用領域として特定してもよい。また、一例として、第２特定部１２は、第１特定部１１が特定した複数の領域のうちの１以上の第１の領域の全てに含まれる領域と、第１特定部１１が特定した複数の領域のうちの１以上の第２の領域とを含む領域を、識別用領域として特定してもよい。ただし、第１特定部１１が特定した複数の領域の２以上の和集合および積集合の一方または両方を用いて識別用領域を特定する処理は、上述した処理に限定されない。
【0020】
識別部１３は、画像において第２特定部１２が特定した識別用領域に基づいて物体を識別する。一例として、識別部１３は、識別用領域以外の領域を所定の背景画像に変換した、物体を識別するために用いられる画像データを生成し、生成した画像データに基づき物体を識別してもよい。以下の説明では、説明の便宜上、画像において識別用領域以外の領域を「背景領域」ともいう。また、識別部１３が生成する画像データを「識別用画像データ」ともいう。背景画像は、例えば単色の画像であってもよく、所定のパターンで配色された配色パターンを含む画像であってもよい。一例として、背景画像は、白色の単色の画像であってもよく、また、黒色の単色の画像であってもよい。また、背景画像は、一例として、物体を識別するために用いる学習済モデルを構築する際に教師データとして用いられた画像データにおける背景の画像であってもよい。例えば、画像データに含まれる物体がパン等の商品である場合、背景画像は、商品が載せられたトレイの画像であってもよい。背景領域の色を所定の背景画像に変換する技術としては、公知の技術を採用可能である。
【0021】
＜情報処理方法の流れ＞
以上のように構成された情報処理装置１０が実行する情報処理方法Ｓ１０の流れについて、図２を参照して説明する。図２は、情報処理方法Ｓ１０の流れを示すフロー図である。図２に示すように、情報処理方法Ｓ１０は、ステップＳ１１～Ｓ１３を含む。
以上のように構成された情報処理装置１０が実行する情報処理方法Ｓ１０の流れについて、図２を参照して説明する。図２は、情報処理方法Ｓ１０の流れを示すフロー図である。図２に示すように、情報処理方法Ｓ１０は、ステップＳ１１～Ｓ１３を含む。
【0022】
（ステップＳ１１）
ステップＳ１１において、第１特定部１１は、画像データの表す画像に含まれる物体の領域を、基準位置または基準方向がそれぞれ異なる複数の領域を特定する。
ステップＳ１１において、第１特定部１１は、画像データの表す画像に含まれる物体の領域を、基準位置または基準方向がそれぞれ異なる複数の領域を特定する。
【0023】
（ステップＳ１２）
ステップＳ１２において、第２特定部１２は、ステップＳ１１で第１特定部１１が特定した複数の領域の２以上の和集合および積集合の一方または両方を用いて、物体の識別用領域を特定する。
ステップＳ１２において、第２特定部１２は、ステップＳ１１で第１特定部１１が特定した複数の領域の２以上の和集合および積集合の一方または両方を用いて、物体の識別用領域を特定する。
【0024】
（ステップＳ１３）
ステップＳ１３において、識別部１３は、第２特定部１２が特定した識別用領域に基づいて、画像中の物体を識別する。
ステップＳ１３において、識別部１３は、第２特定部１２が特定した識別用領域に基づいて、画像中の物体を識別する。
【0025】
＜本例示的実施形態の効果＞
以上のように、本例示的実施形態に係る情報処理装置１０は、異なる基準で特定した物体の複数の領域に基づき識別用領域を特定し、特定した識別用領域に基づいて物体の識別を行うことにより、背景の影響を抑えた識別処理が実現される。これにより、物体の識別の精度を向上させることができる。
以上のように、本例示的実施形態に係る情報処理装置１０は、異なる基準で特定した物体の複数の領域に基づき識別用領域を特定し、特定した識別用領域に基づいて物体の識別を行うことにより、背景の影響を抑えた識別処理が実現される。これにより、物体の識別の精度を向上させることができる。
【0026】
〔例示的実施形態２〕
本発明の例示的実施形態２について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を繰り返さない。
本発明の例示的実施形態２について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を繰り返さない。
【0027】
＜情報処理装置の構成＞
本例示的実施形態に係る情報処理装置１０Ａの構成について、図３を参照して説明する。図３は、情報処理装置１０Ａの構成を示すブロック図である。情報処理装置１０Ａは、画像に含まれる物体の領域を特定するために用いられる１または複数の学習済モデルを構築する。
本例示的実施形態に係る情報処理装置１０Ａの構成について、図３を参照して説明する。図３は、情報処理装置１０Ａの構成を示すブロック図である。情報処理装置１０Ａは、画像に含まれる物体の領域を特定するために用いられる１または複数の学習済モデルを構築する。
【0028】
図３に示すように、情報処理装置１０Ａは、第１生成部１４、第２生成部１５および第３生成部１６を備える。第１生成部１４は、本例示的実施形態において第１生成手段を実現する構成である。第２生成部１５は、本例示的実施形態において第２生成手段を実現する構成である。第３生成部１６は、本例示的実施形態において第３生成手段を実現する構成である。
【0029】
第１生成部１４は、画像中の物体が存在する領域の候補を示す領域候補データを生成する。領域の候補は、画像に含まれる物体の領域の候補となる領域である。物体の領域の候補は例えば、物体を含む多角形、楕円形または円形の領域である。また、物体の領域の候補は例えば、物体が外接する矩形、物体が外接する楕円、または物体が外接する円の領域である。
【0030】
領域候補データは、一例として、機械学習により構築された学習済モデルに画像データを入力して得られるデータである。領域候補を推定する学習済モデルは、一例として、Ｆａｓｔｅｒ Ｒ－ＣＮＮ（Regions with CNN features）等の物体検出の手法で用いられるＲＰＮ（Region Proposal Network）である。換言すると、領域候補データは、一例として、ＲＰＮに画像データを入力することにより得られるＲｏＩ（region-of-interest）であってもよい。
【0031】
第２生成部１５は、画像中の物体が存在する領域であって、基準位置または基準方向が互いに異なる複数の領域をそれぞれ示す複数の領域データを生成する。物体の領域は、画像に含まれる物体に対応する領域である。物体の領域は例えば、物体を含む多角形、楕円形または円形の領域である。また、物体の領域は例えば、物体が外接する矩形、物体が外接する楕円、または物体が外接する円の領域である。
【0032】
第３生成部１６は、画像を示す画像データ、および、領域候補データを入力とし、複数の領域データを出力する１または複数の学習済モデルを生成する。第３生成部１６がひとつの学習済モデルを生成する場合、当該学習済モデルは、複数の領域データを出力する学習済モデルである。一方、第３生成部１６が複数の学習済モデルを生成する場合、当該複数の学習済モデルは、一例として、各々異なる領域データを出力する。学習済モデルは、機械学習により構築される。学習済モデルは、一例として、ＣＮＮ（Convolution al Neural Network、畳み込みニューラルネットワーク）構造を有するモデルで実現可能である。
【0033】
＜学習済モデル生成方法の流れ＞
以上のように構成された情報処理装置１０Ａが実行する学習済モデルの生成方法Ｓ２０の流れについて、図４を参照して説明する。図４は、学習済モデルの生成方法Ｓ２０の流れを示すフロー図である。図４に示すように、学習済モデルの生成方法Ｓ２０は、ステップＳ２１～Ｓ２３を含む。
以上のように構成された情報処理装置１０Ａが実行する学習済モデルの生成方法Ｓ２０の流れについて、図４を参照して説明する。図４は、学習済モデルの生成方法Ｓ２０の流れを示すフロー図である。図４に示すように、学習済モデルの生成方法Ｓ２０は、ステップＳ２１～Ｓ２３を含む。
【0034】
（ステップＳ２１）
ステップＳ２１において、第１生成部１４は、画像中の物体が存在する領域の候補を示す領域候補データを生成する。
ステップＳ２１において、第１生成部１４は、画像中の物体が存在する領域の候補を示す領域候補データを生成する。
【0035】
（ステップＳ２２）
ステップＳ２２において、第２生成部１５は、画像中の物体が存在する領域であって、基準位置または基準方向が互いに異なる複数の領域をそれぞれ示す複数の領域データを生成する。
ステップＳ２２において、第２生成部１５は、画像中の物体が存在する領域であって、基準位置または基準方向が互いに異なる複数の領域をそれぞれ示す複数の領域データを生成する。
【0036】
（ステップＳ２３）
ステップＳ２３において、第３生成部１６は、画像を示す画像データ、および、領域候補データを入力とし、複数の領域データを出力する１または複数の学習済モデルを生成する。
ステップＳ２３において、第３生成部１６は、画像を示す画像データ、および、領域候補データを入力とし、複数の領域データを出力する１または複数の学習済モデルを生成する。
【0037】
＜本例示的実施形態の効果＞
以上のように、本例示的実施形態に係る情報処理装置１０Ａは、複数の領域データを出力する１または複数の学習済モデルを生成する。生成された１または複数の学習済モデルが物体の識別のために用いられることにより、本例示的実施形態に係る情報処理装置１０Ａによれば、物体の識別の精度を向上させることができる。
以上のように、本例示的実施形態に係る情報処理装置１０Ａは、複数の領域データを出力する１または複数の学習済モデルを生成する。生成された１または複数の学習済モデルが物体の識別のために用いられることにより、本例示的実施形態に係る情報処理装置１０Ａによれば、物体の識別の精度を向上させることができる。
【0038】
〔例示的実施形態３〕
本発明の例示的実施形態３について、図面を参照して詳細に説明する。なお、例示的実施形態１～２にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を繰り返さない。
本発明の例示的実施形態３について、図面を参照して詳細に説明する。なお、例示的実施形態１～２にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を繰り返さない。
【0039】
＜情報処理装置の構成＞
本例示的実施形態に係る情報処理装置１０Ｂについて、図５を参照して説明する。図５は、情報処理装置１０Ｂの構成を示すブロック図である。情報処理装置１０Ｂは、画像に含まれる物体を識別する装置である。図５に示すように、情報処理装置１０Ｂは、制御部１１０Ｂおよび記憶装置１２０Ｂを含む。
本例示的実施形態に係る情報処理装置１０Ｂについて、図５を参照して説明する。図５は、情報処理装置１０Ｂの構成を示すブロック図である。情報処理装置１０Ｂは、画像に含まれる物体を識別する装置である。図５に示すように、情報処理装置１０Ｂは、制御部１１０Ｂおよび記憶装置１２０Ｂを含む。
【0040】
制御部１１０Ｂは、画像取得部１１１、汎用物体検出部１１２、領域切出部１１３、識別部１１４、出力部１１５を備える。制御部１１０Ｂに含まれるこれらの機能ブロックの詳細については後述する。
【0041】
記憶装置１２０Ｂは、学習済モデルＬＭ１２および学習済モデルＬＭ１３を記憶する。
【0042】
情報処理装置１０Ｂは通信部（図示略）を備えていてもよい。通信部は、制御部１１０Ｂの制御の下に、ネットワーク（図示略）を介して他の装置との間で情報を送受信する。
【0043】
（画像取得部）
画像取得部１１１は、画像データを取得する。画像取得部１１１が取得する画像データは、画像を表すデータであり、一例として、画像の特徴マップ（feature maps）である。画像取得部１１１は、画像データを記憶装置１２０Ｂから読み出すことにより取得してもよく、また、他の装置から通信部を介して画像データを受信することにより取得してもよい。また、画像取得部１１１は、所定のファイル形式の画像データを特徴マップに変換する処理を実行することにより、画像データを取得してもよい。
画像取得部１１１は、画像データを取得する。画像取得部１１１が取得する画像データは、画像を表すデータであり、一例として、画像の特徴マップ（feature maps）である。画像取得部１１１は、画像データを記憶装置１２０Ｂから読み出すことにより取得してもよく、また、他の装置から通信部を介して画像データを受信することにより取得してもよい。また、画像取得部１１１は、所定のファイル形式の画像データを特徴マップに変換する処理を実行することにより、画像データを取得してもよい。
【0044】
（汎用物体検出部）
汎用物体検出部１１２は、画像中の物体が存在する領域の候補（以下、「領域候補」という）を検出する。本例示的実施形態では、汎用物体検出部１１２は、機械学習により構築された学習済モデルＬＭ１２を用いて物体の領域候補を検出する。
汎用物体検出部１１２は、画像中の物体が存在する領域の候補（以下、「領域候補」という）を検出する。本例示的実施形態では、汎用物体検出部１１２は、機械学習により構築された学習済モデルＬＭ１２を用いて物体の領域候補を検出する。
【0045】
学習済モデルＬＭ１２は、画像を表す画像データを入力として、物体の領域候補を示す領域候補データを出力する。学習済モデルＬＭ１２は、一例として、Ｆａｓｔｅｒ－ＲＣＮＮ等の物体検出の手法で用いられるＲＰＮである。換言すると、汎用物体検出部１１２は、画像取得部１１１が取得した画像データをＲＰＮに入力することにより得られるＲｏＩを物体の領域候補とする。なお、汎用物体検出部１１２が物体の領域候補を検出する手法は上述した手法に限られない。汎用物体検出部１１２は、一例として、Ｆａｓｔ Ｒ－ＣＮＮ等の物体検出の手法で用いられる既存の手法を用いて物体の領域候補を検出してもよい。汎用物体検出部１１２は、物体の領域候補を示す領域候補データを出力する。
【0046】
（領域切出部）
領域切出部１１３は、画像取得部１１１が取得した画像データと、汎用物体検出部１１２が検出した領域候補を用いて、物体の識別用領域を特定する。また、領域切出部１１３は、画像において識別用領域以外の領域を所定の背景画像に変換した識別用画像データを生成する。領域切出部１１３の詳細については後述する。
領域切出部１１３は、画像取得部１１１が取得した画像データと、汎用物体検出部１１２が検出した領域候補を用いて、物体の識別用領域を特定する。また、領域切出部１１３は、画像において識別用領域以外の領域を所定の背景画像に変換した識別用画像データを生成する。領域切出部１１３の詳細については後述する。
【0047】
（識別部）
識別部１１４は、領域切出部１１３が切り出した識別用領域に含まれる物体を識別する。識別部１１４は、一例として、機械学習により構築された学習済モデルＬＭ１４（識別用学習済モデル）を用いて物体を識別する。学習済モデルＬＭ１４は、画像データを入力とし、画像データに含まれる物体の推定結果を出力するよう機械学習により構築されたモデルである。学習済モデルＬＭ１４の学習に用いる画像データは、例えば、識別対象の物体を撮像した画像データであり得る。学習済モデルＬＭ１４は、例えばＣＮＮ構造を有するモデルで実現可能である。
識別部１１４は、領域切出部１１３が切り出した識別用領域に含まれる物体を識別する。識別部１１４は、一例として、機械学習により構築された学習済モデルＬＭ１４（識別用学習済モデル）を用いて物体を識別する。学習済モデルＬＭ１４は、画像データを入力とし、画像データに含まれる物体の推定結果を出力するよう機械学習により構築されたモデルである。学習済モデルＬＭ１４の学習に用いる画像データは、例えば、識別対象の物体を撮像した画像データであり得る。学習済モデルＬＭ１４は、例えばＣＮＮ構造を有するモデルで実現可能である。
【0048】
（出力部）
出力部１１５は、識別部１１４の識別結果を示す識別結果データを出力する。出力部１１５は、一例として、記憶装置１２０Ｂに識別結果データを記憶させることにより出力してもよい。また、出力部１１５は、識別結果データを他の装置に送信することにより出力してもよい。また、出力部１１５は、識別結果データを表示装置に表示させることにより出力してもよい。出力部１１５の出力態様は上述したものに限られず、他の態様であってもよい。
出力部１１５は、識別部１１４の識別結果を示す識別結果データを出力する。出力部１１５は、一例として、記憶装置１２０Ｂに識別結果データを記憶させることにより出力してもよい。また、出力部１１５は、識別結果データを他の装置に送信することにより出力してもよい。また、出力部１１５は、識別結果データを表示装置に表示させることにより出力してもよい。出力部１１５の出力態様は上述したものに限られず、他の態様であってもよい。
【0049】
【0050】
（第１特定部）
第１特定部３１は、画像中の物体が存在する領域として、基準位置または基準方向がそれぞれ異なる複数の領域を特定する。第１特定部３１は、一例として、物体に外接する矩形、円、楕円、および正方形の少なくともいずれかひとつの形状の領域を、物体の領域として特定する。
第１特定部３１は、画像中の物体が存在する領域として、基準位置または基準方向がそれぞれ異なる複数の領域を特定する。第１特定部３１は、一例として、物体に外接する矩形、円、楕円、および正方形の少なくともいずれかひとつの形状の領域を、物体の領域として特定する。
【0051】
本例示的実施形態において、第１特定部３１は、学習済モデルＬＭ１３を用いて物体の複数の領域を特定する。
【0052】
（学習済モデル）
学習済モデルＬＭ１３は、機械学習により構築された学習済モデルであり、画像を表す画像データ、および、画像中の物体が存在する領域の候補を示す領域候補データを入力として、画像中の物体が存在する領域を示す複数の領域データを出力する。学習済モデルＬＭ１３が出力する複数の領域データは、領域の抽出に関する基準位置または基準方向がそれぞれ異なる。
学習済モデルＬＭ１３は、機械学習により構築された学習済モデルであり、画像を表す画像データ、および、画像中の物体が存在する領域の候補を示す領域候補データを入力として、画像中の物体が存在する領域を示す複数の領域データを出力する。学習済モデルＬＭ１３が出力する複数の領域データは、領域の抽出に関する基準位置または基準方向がそれぞれ異なる。
【0053】
領域データは、一例として、物体の外接矩形の位置およびサイズを表すパラメータを含む。学習済モデルＬＭ１３を用いて物体の領域を特定する手法の詳細については後述する。
【0054】
（クラス識別部）
図６のクラス識別部３２は、画像取得部１１１が取得した画像データと、汎用物体検出部１１２が出力する領域候補データとに基づき、画像に含まれる物体のクラスの識別結果を示すデータを出力する。クラスの識別結果を示すデータは、一例として、複数の領域について各領域が背景であるか否かを示す情報を含む。
図６のクラス識別部３２は、画像取得部１１１が取得した画像データと、汎用物体検出部１１２が出力する領域候補データとに基づき、画像に含まれる物体のクラスの識別結果を示すデータを出力する。クラスの識別結果を示すデータは、一例として、複数の領域について各領域が背景であるか否かを示す情報を含む。
【0055】
（第２特定部）
第２特定部３３は、第１特定部３１が特定した複数の領域の２以上の和集合および積集合の一方または両方を用いて、物体の識別用領域を特定する。一例として、第２特定部３３は、第１特定部３１が特定した複数の領域の積集合を、識別用領域として特定する。識別用領域は、一例として、物体に外接する凸形状の多角形である。識別用領域の形状はこれに限られず、一例として、凹形状の多角形であってもよい。
第２特定部３３は、第１特定部３１が特定した複数の領域の２以上の和集合および積集合の一方または両方を用いて、物体の識別用領域を特定する。一例として、第２特定部３３は、第１特定部３１が特定した複数の領域の積集合を、識別用領域として特定する。識別用領域は、一例として、物体に外接する凸形状の多角形である。識別用領域の形状はこれに限られず、一例として、凹形状の多角形であってもよい。
【0056】
また、第２特定部３３は、識別用領域の特定処理において、クラス識別部３２が識別した領域毎のクラスに基づき、識別用領域を特定する。
【0057】
（生成部）
生成部３４は、画像において第２特定部３３が特定した識別用領域以外の領域を所定の背景画像に変換した識別用画像データを生成する。
生成部３４は、画像において第２特定部３３が特定した識別用領域以外の領域を所定の背景画像に変換した識別用画像データを生成する。
【0058】
＜物体識別方法の流れ＞
以上のように構成された情報処理装置１０Ｂが実行する物体識別方法Ｓ１０Ｂの流れについて、図７を参照して説明する。図７は、物体識別方法Ｓ１０Ｂの流れを示すフロー図である。図７に示すように、物体識別方法Ｓ１０Ｂは、ステップＳ３１～Ｓ３７を含む。
以上のように構成された情報処理装置１０Ｂが実行する物体識別方法Ｓ１０Ｂの流れについて、図７を参照して説明する。図７は、物体識別方法Ｓ１０Ｂの流れを示すフロー図である。図７に示すように、物体識別方法Ｓ１０Ｂは、ステップＳ３１～Ｓ３７を含む。
【0059】
（ステップＳ３１）
ステップＳ３１において、画像取得部１１１は、画像データを取得する。画像取得部１１１は、一例として、所定のファイル形式の画像データを特徴マップに変換する処理を実行し、特徴マップ画像データとして取得する。
ステップＳ３１において、画像取得部１１１は、画像データを取得する。画像取得部１１１は、一例として、所定のファイル形式の画像データを特徴マップに変換する処理を実行し、特徴マップ画像データとして取得する。
【0060】
（ステップＳ３２）
ステップＳ３２において、汎用物体検出部１１２は、画像に含まれる物体の大まかな領域である領域候補を特定する。一例として、汎用物体検出部１１２は、学習済モデルＬＭ１２に画像データを入力して得られる領域候補データを取得する。より具体的には、汎用物体検出部１１２は、一例として、ＲＰＮに特徴マップを入力することにより得られるＲｏＩを取得する。画像に複数の物体が含まれる場合、汎用物体検出部１１２は、複数の物体の領域候補を特定する。
ステップＳ３２において、汎用物体検出部１１２は、画像に含まれる物体の大まかな領域である領域候補を特定する。一例として、汎用物体検出部１１２は、学習済モデルＬＭ１２に画像データを入力して得られる領域候補データを取得する。より具体的には、汎用物体検出部１１２は、一例として、ＲＰＮに特徴マップを入力することにより得られるＲｏＩを取得する。画像に複数の物体が含まれる場合、汎用物体検出部１１２は、複数の物体の領域候補を特定する。
【0061】
（ステップＳ３３）
ステップＳ３３において、第１特定部３１は、画像に含まれる物体のそれぞれについて、互いに傾きが異なる基準軸を有する複数の領域を特定する。一例として、第１特定部３１は、学習済モデルＬＭ１３を用いて物体の領域を複数特定する。
ステップＳ３３において、第１特定部３１は、画像に含まれる物体のそれぞれについて、互いに傾きが異なる基準軸を有する複数の領域を特定する。一例として、第１特定部３１は、学習済モデルＬＭ１３を用いて物体の領域を複数特定する。
【0062】
図８は、学習済モデルＬＭ１３の一例を模式的に示した図である。図示のとおり、学習済モデルＬＭ１３には、画像データと領域候補データとを含む入力データが入力される。
【0063】
学習済モデルＬＭ１３は、例えば、畳み込み層と、プーリング層と、結合層とから成る。畳み込み層において、入力データはフィルタリングによる情報の畳み込みがなされる。畳み込みを経たデータは、プーリング層においてプーリング処理が施される。これにより、データ中の特徴の位置変化に対するモデルの認識能力が向上する。プーリング処理を経たデータは、結合層で処理されることによって、学習済モデルＬＭ１３の出力データに変換されて出力される。すなわち、学習済モデルＬＭ１３に入力された入力データを、図８に示す各層をこれらの順に通過させることにより、画像に含まれる物体の複数の領域を表す出力データが出力される。
【0064】
学習済モデルＬＭ１３は、切り出される領域の基準軸がそれぞれ異なる複数の領域を表す出力データを出力する。図９は、学習済モデルＬＭ１３が出力する出力データの示す複数の領域を例示する図である。この例で、学習済モデルＬＭ１３は、領域ｒ１３０～ｒ１３２の３つの領域を表す出力データを出力する。領域ｒ１３０は、基準軸ａ１３０に平行な２辺を有する、物体ＯＢＪ１の外接矩形の領域である。領域ｒ１３１は、基準軸ａ１３１に平行な２辺を有する、物体ＯＢＪ１の外接矩形の領域である。領域ｒ１３２は、基準軸ａ１３２に平行な２辺を有する外接矩形の領域である。
【0065】
図１０は、画像に複数の物体が含まれる場合において、学習済モデルＬＭ１３が出力する出力データの示す複数の領域を例示する図である。図１０において、画像Ｉｍｇ２１は、画像取得部１１１が取得する画像の一例である。図示のように、画像Ｉｍｇ２１は、複数の物体を含む。また、図において、画像Ｉｍｇ２２は、汎用物体検出部１１２が画像Ｉｍｇ２１から検出した、各物体の領域候補を例示する図である。画像Ｉｍｇ２３は、学習済モデルＬＭ１３が出力する出力データの示す複数の領域、すなわち、汎用物体検出部１１２の検出結果に基づき第１特定部３１が特定する複数の領域を例示する図である。画像Ｉｍｇ２４は、第２特定部３３が特定する、物体毎の識別用領域を例示する図である。
【0066】
図１０の例では、第１特定部３１は、画像Ｉｍｇ２１に含まれる複数の物体のそれぞれの領域を、学習済モデルＬＭ１３を用いて複数特定する。また、第２特定部３３は、第１特定部３１の特定結果に基づき、複数の物体の識別用領域を特定する。
【0067】
学習済モデルＬＭ１３が回帰するパラメータの具体例について、図面を参照しつつ説明する。図１１は、学習済モデルＬＭ１３が回帰するパラメータの具体例を示す図である。図において、中心点croi、高さhroi、幅wroiは、汎用物体検出部１１２が出力する領域候補データの示す領域候補の中心点、高さ、幅を示す。これらのパラメータは、ＲＰＮにより取得されるＲｏＩに含まれるパラメータである。
【0068】
図１１において、領域ｒ１４０～ｒ１４２は、学習済モデルＬＭ１３が出力する出力データが示す領域である。領域ｒ１４０～ｒ１４２は、中心点の座標、領域の高さ、および領域の幅により表される。図において、中心点cθ0、高さhθ0、幅wθ0は、領域ｒ１４０の中心点、高さ、幅を示す。中心点cθ1、高さhθ1、幅wθ1は、領域ｒ１４１の中心点、高さ、幅を示す。中心点cθ2、高さhθ2、幅wθ2は、領域ｒ１４２の中心点、高さ、幅を示す。
【0069】
図１１の例で、学習済モデルＬＭ１３が回帰するパラメータは、差分dxθi,c、dyθi,c、dhθi,c、dwθi,c、の４つのパラメータを含む。換言すると、図１１の例では、学習済モデルＬＭ１３が出力する領域データは、これら４つのパラメータを含む。差分dxθi,c、dyθi,c、dhθi,c、dwθi,c、はそれぞれ、以下の数１～数４で回帰される。
【0070】
【数1】
【0071】
【数2】
【0072】
【数3】
【0073】
【数4】
【0074】
数１～数４において、座標croi[x]は、中心点croiのｘ座標であり、座標croi[y]は、中心点croiのｙ座標である。座標cθi[x]は、中心点cθiのｘ座標であり、座標cθi[y]は、中心点cθiのｙ座標である。ｉ（０≦ｉ≦２）は、複数の基準軸に対応する添え字である。ｃは、クラス識別部３２の識別結果であるクラスインデックスに対応する添え字である。すなわち、図１１の例では、クラスごとに別のニューロンがアサインされる。
【0075】
図１２は、回帰情報に基づき復元される矩形の領域を例示する図である。上記（数１）～（数４）に基づき、矩形の領域ｒ１３ｉの中心点cθi、高さhθi、幅wθiは以下の（数５）～（数８）で算出される。
【0076】
【数5】
【0077】
【数6】
【0078】
【数7】
【0079】
【数8】
【0080】
第１特定部３１は、（数５）～（数８）で算出される矩形領域の中心点cθiのｘ座標cθi[x]、ｙ座標cθi[y]、高さhθi、幅wθiを用いて、矩形領域の頂点ａ、ｂ、ｃ、ｄを特定するためのベクトルhhalf、whalfを算出する。ベクトルhhalf、whalfは、以下の（数９）、（数１０）で表される。
【0081】
【数9】
【0082】
【数10】
【0083】
第１特定部３１が特定する矩形領域の頂点ａ、ｂ、ｃ、ｄは、ベクトルhhalf、whalfを用いて以下の式で表される。
・a = hhalf－whalf
・b = hhalf＋whalf
・c = －hhalf＋whalf
・d = －hhalf－whalf
・a = hhalf－whalf
・b = hhalf＋whalf
・c = －hhalf＋whalf
・d = －hhalf－whalf
【0084】
学習済モデルＬＭ１３が回帰するパラメータは、上述したパラメータ以外のものであってもよい。学習済モデルＬＭ１３が回帰するパラメータは、一例として、外接矩形の対角線長を表すパラメータであってもよい。
【0085】
（ステップＳ３４）
図７のステップＳ３４において、第２特定部３３は、第１特定部３１が特定した複数の領域の２以上の和集合および積集合の一方または両方を用いて、物体の識別用領域を特定する。一例として、第２特定部３３は、第１特定部３１が特定した複数の領域の積集合を、識別用領域として特定する。換言すると、第２特定部３３は、第１特定部３１が特定した複数の領域が重畳する領域を、識別用領域として特定する。図１１の例では、第２特定部３３は、外接矩形の領域ｒ１４０～ｒ１４２に含まれる領域の積集合である識別用領域ｒ１３を特定する。
図７のステップＳ３４において、第２特定部３３は、第１特定部３１が特定した複数の領域の２以上の和集合および積集合の一方または両方を用いて、物体の識別用領域を特定する。一例として、第２特定部３３は、第１特定部３１が特定した複数の領域の積集合を、識別用領域として特定する。換言すると、第２特定部３３は、第１特定部３１が特定した複数の領域が重畳する領域を、識別用領域として特定する。図１１の例では、第２特定部３３は、外接矩形の領域ｒ１４０～ｒ１４２に含まれる領域の積集合である識別用領域ｒ１３を特定する。
【0086】
第２特定部３３が特定する識別用領域は、第１特定部３１が特定した複数の領域の積集合に限られない。一例として、識別用領域は、ベースとなる所定の矩形領域を必ず含む領域であってもよい。識別用領域は例えば、領域ｒ１４０と領域ｒ１４１との両方に含まれる領域と、領域ｒ１４２（ベースとなる領域）との両方を含む領域であってもよい。また、識別用領域は、第１特定部３１が特定した複数の領域のうち、閾値以上の数の領域が重畳している領域であってもよい。
【0087】
また、一例として、識別用領域は、所定数以上の矩形領域に含まれる領域であってもよい。識別用領域は例えば、２以上の矩形領域に含まれる領域の和集合であってもよい。
【0088】
（ステップＳ３５）
ステップＳ３５において、生成部３４は、画像において第２特定部３３が特定した識別用領域以外の領域を所定の背景画像に変換した識別用画像データを生成する。一例として、生成部３４は、画像における識別用領域内の部分画像を含み、当該部分画像以外を背景色で充填して識別用画像を表す識別用画像データを生成する。背景色は、一例として、学習済モデルＬＭ１３が学習した教師データの背景色と同一である。一例として、学習済モデルＬＭ１３の機械学習において教師データとして用いられた画像データが、所定色のトレイに載ったパン等の商品を撮影した画像である場合、生成部３４は、識別用領域以外の領域を、上記所定色に変換した識別用画像データを生成する。
ステップＳ３５において、生成部３４は、画像において第２特定部３３が特定した識別用領域以外の領域を所定の背景画像に変換した識別用画像データを生成する。一例として、生成部３４は、画像における識別用領域内の部分画像を含み、当該部分画像以外を背景色で充填して識別用画像を表す識別用画像データを生成する。背景色は、一例として、学習済モデルＬＭ１３が学習した教師データの背景色と同一である。一例として、学習済モデルＬＭ１３の機械学習において教師データとして用いられた画像データが、所定色のトレイに載ったパン等の商品を撮影した画像である場合、生成部３４は、識別用領域以外の領域を、上記所定色に変換した識別用画像データを生成する。
【0089】
（ステップＳ３６）
ステップＳ３６において、識別部１１４は、生成部３４が生成した識別用画像データを用いて、領域切出部１１３が切り出した識別用領域に含まれる物体を識別する。識別部１１４は、一例として、生成部３４が生成した識別用画像データを、機械学習により構築された学習済モデルＬＭ１４に入力して得られる出力データに基づき、物体を識別する。
ステップＳ３６において、識別部１１４は、生成部３４が生成した識別用画像データを用いて、領域切出部１１３が切り出した識別用領域に含まれる物体を識別する。識別部１１４は、一例として、生成部３４が生成した識別用画像データを、機械学習により構築された学習済モデルＬＭ１４に入力して得られる出力データに基づき、物体を識別する。
【0090】
（ステップＳ３７）
出力部１１５は、識別部１１４の識別結果を示す識別結果データを出力する。出力部１１５が出力した識別結果データは、一例として、ＰＯＳ（Point of sale system）システムにおいて用いられる。例えば、ＰＯＳシステムは、出力部１１５が出力した識別結果データに基づき、利用者が購入しようとしている商品の代金を算出してもよい。なお、出力部１１５が出力した識別結果データは、ＰＯＳシステムで用いられるのに限られず、他の種々のシステムで活用され得る。
出力部１１５は、識別部１１４の識別結果を示す識別結果データを出力する。出力部１１５が出力した識別結果データは、一例として、ＰＯＳ（Point of sale system）システムにおいて用いられる。例えば、ＰＯＳシステムは、出力部１１５が出力した識別結果データに基づき、利用者が購入しようとしている商品の代金を算出してもよい。なお、出力部１１５が出力した識別結果データは、ＰＯＳシステムで用いられるのに限られず、他の種々のシステムで活用され得る。
【0091】
ところで、画像に含まれる物体の外接矩形を検出して物体を識別する場合、外接矩形内の領域に背景が多く含まれてしまい、物体の識別が適切に行えない場合がある。例えば、画像中に細長い形状の物体が斜めに含まれる場合、その物体の外接矩形内の領域に背景が多く含まれてしまったり、また、他の物体が含まれてしまったりするため、物体の識別が適切に行われない場合がある。
【0092】
＜本例示的実施形態の効果＞
本例示的実施形態によれば、情報処理装置１０Ｂは、異なる基準軸に基づき物体の領域を特定し、特定した複数の領域に基づき識別用領域を特定し、特定した識別用領域の外側を除外した画像データを用いて物体の識別を行う。これにより、背景の影響を抑えた識別処理を実行することができ、物体の識別の精度を向上させることができる。
本例示的実施形態によれば、情報処理装置１０Ｂは、異なる基準軸に基づき物体の領域を特定し、特定した複数の領域に基づき識別用領域を特定し、特定した識別用領域の外側を除外した画像データを用いて物体の識別を行う。これにより、背景の影響を抑えた識別処理を実行することができ、物体の識別の精度を向上させることができる。
【0093】
また、本例示的実施形態によれば、情報処理装置１０Ｂは、学習済モデルＬＭ１３を用いて複数の基準軸について物体の領域を特定する。そのため、情報処理装置１０Ｂは、ひとつの画像データを学習済モデルＬＭ１３に入力すればよい。換言すると、情報処理装置１０Ｂは、複数の基準軸のそれぞれに応じた領域の特定処理に際し、画像を基準軸に応じて回転させるといった処理の実行が不要である。これにより、領域の特定処理に係る計算コストが軽減される。
【0094】
また、本例示的実施形態では、第１特定部３１は、複数の外接矩形の推定処理を一括して実行する。そのため、本例示的実施形態によれば、推定処理に要する時間を、推定処理を順番に実行する場合に比べて短縮することができる。
【0095】
また、本例示的実施形態によれば、領域切出部１３３が用いる学習済モデルＬＭ１３は、識別部１１４が用いる学習済モデルＬＭ１４とは別途設けられている。そのため、例えば識別対象とする物体を追加する場合であっても、学習済モデルＬＭ１４を再学習させればよく、学習済モデルＬＭ１３を学習させ直す必要はない。
【0096】
上述の例示的実施形態では、情報処理装置１０Ｂが、図７のステップＳ３１～Ｓ３７の処理を実行する場合について説明した。情報処理装置１０Ｂは、ステップＳ３１～Ｓ３７の一部の処理を実行してもよい。一例として、情報処理装置１０Ｂは、ステップＳ３１～Ｓ３４の処理を実行し、ステップＳ３４で特定した識別用領域を出力してもよい。換言すると、図７のステップＳ３１～Ｓ３４を実行する装置と、ステップＳ３５～ステップＳ３７を実行する装置とが別体の装置であってもよい。
【0097】
〔例示的実施形態４〕
本発明の例示的実施形態４について、図面を参照して詳細に説明する。なお、例示的実施形態１～３にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
本発明の例示的実施形態４について、図面を参照して詳細に説明する。なお、例示的実施形態１～３にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
【0098】
本例示的実施形態に係る情報処理装置１０Ｃは、上述の例示的実施形態３の領域切出部１１３に代えて、領域切出部１１３Ｃを備える。
【0099】
図１３は、領域切出部１１３Ｃの構成を示すブロック図である。領域切出部１１３Ｃは、クラス識別部３２を備えない点、および第２特定部３３に代えて第２特定部３３Ｃを備える点において、領域切出部１１３と異なっている。
【0100】
第２特定部３３Ｃは、第１特定部３１が特定した複数の領域の２以上の和集合および積集合の一方または両方を用いて、物体の識別用領域を特定する。一例として、第２特定部３３は、第１特定部３１が特定した複数の領域の積集合を、識別用領域として特定する。
【0101】
本例示的実施形態によれば、情報処理装置１０Ｃは、異なる基準軸に基づき物体の領域を特定し、特定した複数の領域に基づき識別用領域を特定し、特定した識別用領域の外側を除外した画像データを用いて物体の識別を行う。これにより、背景の影響を抑えた識別処理を実行することができ、物体の識別の精度を向上させることができる。
【0102】
〔例示的実施形態５〕
本発明の例示的実施形態５について、図面を参照して詳細に説明する。なお、例示的実施形態１～４にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
本発明の例示的実施形態５について、図面を参照して詳細に説明する。なお、例示的実施形態１～４にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
【0103】
＜情報処理装置の構成＞
図１４は、本例示的実施形態に係る情報処理装置１０Ｄの構成を示すブロック図である。情報処理装置１０Ｄは、上述の例示的実施形態３の制御部１１０Ｂに代えて、制御部１１０Ｄを備える。制御部１１０Ｄは、推定フェーズ実行部１５０、および学習フェーズ実行部１６０を備える。
図１４は、本例示的実施形態に係る情報処理装置１０Ｄの構成を示すブロック図である。情報処理装置１０Ｄは、上述の例示的実施形態３の制御部１１０Ｂに代えて、制御部１１０Ｄを備える。制御部１１０Ｄは、推定フェーズ実行部１５０、および学習フェーズ実行部１６０を備える。
【0104】
推定フェーズ実行部１５０は、画像に含まれる物体を識別する。推定フェーズ実行部１５０が備える画像取得部１１１、汎用物体検出部１１２、領域切出部１１３、識別部１１４および出力部１１５は、上述の例示的実施形態３のそれらと同様であるため、同じ符号を付記し、その説明を繰り返さない。
【0105】
学習フェーズ実行部１６０は、第１生成部１２１、第２生成部１２２、第３生成部１２３を備える。
【0106】
（第１生成部）
第１生成部１２１は、画像に含まれる物体の領域候補を表す領域候補データを生成する。本例示的実施形態では、第１生成部１２１は、学習済モデルＬＭ１２に画像データを入力することにより得られる領域候補データを生成する。学習済モデルＬＭ１２が出力する領域候補データは、一例として、ＲＰＮの出力であるＲｏＩである。
第１生成部１２１は、画像に含まれる物体の領域候補を表す領域候補データを生成する。本例示的実施形態では、第１生成部１２１は、学習済モデルＬＭ１２に画像データを入力することにより得られる領域候補データを生成する。学習済モデルＬＭ１２が出力する領域候補データは、一例として、ＲＰＮの出力であるＲｏＩである。
【0107】
（第２生成部）
第２生成部１２２は、画像中の前記物体が存在する領域であって、基準位置または基準方向が互いに異なる複数の領域をそれぞれ示す複数の領域データを生成する。第２生成部１２２が行う、領域データを生成する手法については後述する。
第２生成部１２２は、画像中の前記物体が存在する領域であって、基準位置または基準方向が互いに異なる複数の領域をそれぞれ示す複数の領域データを生成する。第２生成部１２２が行う、領域データを生成する手法については後述する。
【0108】
（第３生成部）
第３生成部１２３は、入力データから複数の領域データを導出する学習済モデルＬＭ１３を生成する。
第３生成部１２３は、入力データから複数の領域データを導出する学習済モデルＬＭ１３を生成する。
【0109】
＜第２生成部の構成＞
第２生成部１２２は、画像取得部２２１、画像回転部２２２、物体検出部２２３、および外接矩形算出部２２４を含む。
第２生成部１２２は、画像取得部２２１、画像回転部２２２、物体検出部２２３、および外接矩形算出部２２４を含む。
【0110】
（画像取得部）
画像取得部２２１は、画像データを取得する。画像取得部２２１が取得する画像データは、画像を表すデータであり、一例として、画像の特徴マップ（feature maps）である。画像取得部２２１は、画像データを記憶装置１２０Ｂから読み出すことにより取得してもよく、また、他の装置から通信部を介して画像データを受信することにより取得してもよい。また、画像取得部２２１は、所定のファイル形式の画像データを特徴マップに変換する処理を実行することにより、画像データを取得してもよい。
画像取得部２２１は、画像データを取得する。画像取得部２２１が取得する画像データは、画像を表すデータであり、一例として、画像の特徴マップ（feature maps）である。画像取得部２２１は、画像データを記憶装置１２０Ｂから読み出すことにより取得してもよく、また、他の装置から通信部を介して画像データを受信することにより取得してもよい。また、画像取得部２２１は、所定のファイル形式の画像データを特徴マップに変換する処理を実行することにより、画像データを取得してもよい。
【0111】
（画像回転部）
画像回転部２２２は、画像取得部２２１が取得した画像データの表す画像を所定方向に回転させた回転画像を生成する。
画像回転部２２２は、画像取得部２２１が取得した画像データの表す画像を所定方向に回転させた回転画像を生成する。
【0112】
（物体検出部）
物体検出部２２３は、画像回転部２２２が生成した回転画像に含まれる物体の領域を特定する。一例として、物体検出部２２３は、画像データを学習済モデルに入力することにより得られる領域データに基づき、物体の領域を特定する。学習済モデルは、一例として、画像データを入力として、領域データを出力する学習済モデルであり、ＣＮＮ構造を有するモデルで実現可能である。物体検出部２２３が物体の領域を特定する手法としては、既存の手法が適用され得る。
物体検出部２２３は、画像回転部２２２が生成した回転画像に含まれる物体の領域を特定する。一例として、物体検出部２２３は、画像データを学習済モデルに入力することにより得られる領域データに基づき、物体の領域を特定する。学習済モデルは、一例として、画像データを入力として、領域データを出力する学習済モデルであり、ＣＮＮ構造を有するモデルで実現可能である。物体検出部２２３が物体の領域を特定する手法としては、既存の手法が適用され得る。
【0113】
（外接矩形算出部）
外接矩形算出部２２４は、領域を上記所定方向と反対方向に回転させた回転領域を示すデータを、領域データとして生成する。
外接矩形算出部２２４は、領域を上記所定方向と反対方向に回転させた回転領域を示すデータを、領域データとして生成する。
【0114】
＜学習済モデル生成方法の流れ＞
以上のように構成された情報処理装置１０Ｄが実行する、学習済モデルの生成方法Ｓ２０Ｄの流れについて、図１５を参照して説明する。図１５は、学習済モデルの生成方法Ｓ２０Ｄの流れを示すフロー図である。図１５に示すように、学習済モデルの生成方法Ｓ２０Ｄは、ステップＳ５１～Ｓ５３を含む。
以上のように構成された情報処理装置１０Ｄが実行する、学習済モデルの生成方法Ｓ２０Ｄの流れについて、図１５を参照して説明する。図１５は、学習済モデルの生成方法Ｓ２０Ｄの流れを示すフロー図である。図１５に示すように、学習済モデルの生成方法Ｓ２０Ｄは、ステップＳ５１～Ｓ５３を含む。
【0115】
（ステップＳ５１）
ステップＳ５１において、第１生成部１２１は、画像を表す画像データと、当該画像に含まれる物体の領域候補を表す領域候補データとを含む入力データを生成する。画像データが表す画像に含まれる物体の数は、１つであってもよく、複数であってもよい。
ステップＳ５１において、第１生成部１２１は、画像を表す画像データと、当該画像に含まれる物体の領域候補を表す領域候補データとを含む入力データを生成する。画像データが表す画像に含まれる物体の数は、１つであってもよく、複数であってもよい。
【0116】
（ステップＳ５２）
ステップＳ５２において、第２生成部１２２は、画像中の前記物体が存在する領域であって、基準位置または基準方向が互いに異なる複数の領域をそれぞれ示す複数の領域データを生成する。第２生成部１２２が複数の領域データを生成する手法については後述する。
ステップＳ５２において、第２生成部１２２は、画像中の前記物体が存在する領域であって、基準位置または基準方向が互いに異なる複数の領域をそれぞれ示す複数の領域データを生成する。第２生成部１２２が複数の領域データを生成する手法については後述する。
【0117】
（ステップＳ５３）
ステップＳ５３において、第３生成部１２３は、各々が入力データから複数の領域データを導出する学習済モデルＬＭ１３を生成する。換言すると、第３生成部１２３は、入力データと複数の領域データとを教師データとした機械学習により学習済モデルＬＭ１３を構築する。教師データに含まれる入力データは、画像を表す画像データ、および、当該画像データについて第１生成部１２１が生成した領域候補データを含む。教師データに含まれる複数の領域データは、第２生成部が生成した複数の領域データである。学習済モデルＬＭ１３の学習に用いる画像データは、例えば、識別対象の物体を撮像した多数の画像データであり得る。なお、学習済モデルＬＭ１３の学習に用いる画像データと、学習済モデルＬＭ１４の学習に用いる画像データとは同一であってもよい。
ステップＳ５３において、第３生成部１２３は、各々が入力データから複数の領域データを導出する学習済モデルＬＭ１３を生成する。換言すると、第３生成部１２３は、入力データと複数の領域データとを教師データとした機械学習により学習済モデルＬＭ１３を構築する。教師データに含まれる入力データは、画像を表す画像データ、および、当該画像データについて第１生成部１２１が生成した領域候補データを含む。教師データに含まれる複数の領域データは、第２生成部が生成した複数の領域データである。学習済モデルＬＭ１３の学習に用いる画像データは、例えば、識別対象の物体を撮像した多数の画像データであり得る。なお、学習済モデルＬＭ１３の学習に用いる画像データと、学習済モデルＬＭ１４の学習に用いる画像データとは同一であってもよい。
【0118】
＜領域データ生成方法の流れ＞
図１６は、第２生成部１２２が実行する複数の領域データの生成方法Ｓ２１Ｄの流れを示すフロー図である。図１６に示すように、複数の領域データの生成方法Ｓ２１Ｄは、ステップＳ４１～Ｓ４５を含む。
図１６は、第２生成部１２２が実行する複数の領域データの生成方法Ｓ２１Ｄの流れを示すフロー図である。図１６に示すように、複数の領域データの生成方法Ｓ２１Ｄは、ステップＳ４１～Ｓ４５を含む。
【0119】
（ステップＳ４１）
ステップＳ４１において、画像取得部２２１は、画像データを取得する。
ステップＳ４１において、画像取得部２２１は、画像データを取得する。
【0120】
（ステップＳ４２）
第２生成部１２２は、角度θｉ（ｉは１≦ｉ≦Ｎを満たす整数）のそれぞれについて、ステップＳ４２～Ｓ４４の処理を実行することにより、複数の領域データを生成する。本例示的実施形態において、複数の領域データは、互いに傾きが異なる基準軸を有する複数の領域をそれぞれ示す。
第２生成部１２２は、角度θｉ（ｉは１≦ｉ≦Ｎを満たす整数）のそれぞれについて、ステップＳ４２～Ｓ４４の処理を実行することにより、複数の領域データを生成する。本例示的実施形態において、複数の領域データは、互いに傾きが異なる基準軸を有する複数の領域をそれぞれ示す。
【0121】
まず、ステップＳ４２において、画像回転部２２２は、画像取得部２２１が取得した画像データの表す画像を、所定方向に角度（－θｉ）だけ回転させた画像（以下、「回転画像」という）を生成する。
【0122】
図１７は、領域データの生成方法の具体例を示す図である。図において、画像Ｉｍｇ３１は、回転前の画像を表す。画像Ｉｍｇ３２は、画像回転部２２２が画像Ｉｍｇ３１を角度（－θｉ）だけ回転させた回転画像である。
【0123】
（ステップＳ４３）
図１６のステップＳ４３において、物体検出部２２３は、画像回転部２２２が生成した回転画像に含まれる物体の領域を特定する。
図１６のステップＳ４３において、物体検出部２２３は、画像回転部２２２が生成した回転画像に含まれる物体の領域を特定する。
【0124】
（ステップＳ４４）
ステップＳ４４において、外接矩形算出部２２４は、領域を角度（＋θｉ）だけ回転させた回転領域を示す領域データを生成する。図１７の領域ｒ３３は、物体検出部２２３が画像Ｉｍｇ３２において特定した領域ｒ３２を、角度（＋θｉ）だけ回転させた領域である。
ステップＳ４４において、外接矩形算出部２２４は、領域を角度（＋θｉ）だけ回転させた回転領域を示す領域データを生成する。図１７の領域ｒ３３は、物体検出部２２３が画像Ｉｍｇ３２において特定した領域ｒ３２を、角度（＋θｉ）だけ回転させた領域である。
【0125】
第２生成部１２２は、角度θｉ（ｉは１≦ｉ≦Ｎを満たす整数）のそれぞれについて、ステップＳ４２～Ｓ４４の処理を実行することにより、画像に含まれるひとつの物体について、複数の領域データを特定する。
【0126】
（ステップＳ４５）
図１６のステップＳ４５において、外接矩形算出部２２４は、特定した複数の領域データを記憶装置１２０Ｂに記憶する。
図１６のステップＳ４５において、外接矩形算出部２２４は、特定した複数の領域データを記憶装置１２０Ｂに記憶する。
【0127】
＜本例示的実施形態の効果＞
以上のように、本例示的実施形態によれば、情報処理装置１０Ｄは、画像中の前記物体が存在する領域であって、基準位置または基準方向が互いに異なる複数の領域をそれぞれ示す複数の領域データを生成する。また、情報処理装置１０Ｄは、生成した領域データを教師データとして機械学習させた学習済モデルを生成する。この学習済モデルが物体の識別に用いられることにより、背景の影響を抑えた識別処理が実現される。
以上のように、本例示的実施形態によれば、情報処理装置１０Ｄは、画像中の前記物体が存在する領域であって、基準位置または基準方向が互いに異なる複数の領域をそれぞれ示す複数の領域データを生成する。また、情報処理装置１０Ｄは、生成した領域データを教師データとして機械学習させた学習済モデルを生成する。この学習済モデルが物体の識別に用いられることにより、背景の影響を抑えた識別処理が実現される。
【0128】
情報処理装置１０Ｄが行う領域データの生成方法は、上述の例示的実施形態に示したものに限られない。一例として、情報処理装置１０Ｄは、セグメンテーション用のアノテーションに基づいて、回転した外接矩形を算出してもよい。
【0129】
〔例示的実施形態６〕
本発明の例示的実施形態６について、図面を参照して詳細に説明する。なお、例示的実施形態１～５にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
本発明の例示的実施形態６について、図面を参照して詳細に説明する。なお、例示的実施形態１～５にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
【0130】
＜情報処理装置の構成＞
図１８は、情報処理装置１０Ｅの構成を示すブロック図である。情報処理装置１０Ｅは、上述の例示的実施形態５の制御部１１０Ｄに代えて、制御部１１０Ｅを備える。制御部１１０Ｅは、推定フェーズ実行部１５０Ｅ、および学習フェーズ実行部１６０Ｅを備える。
図１８は、情報処理装置１０Ｅの構成を示すブロック図である。情報処理装置１０Ｅは、上述の例示的実施形態５の制御部１１０Ｄに代えて、制御部１１０Ｅを備える。制御部１１０Ｅは、推定フェーズ実行部１５０Ｅ、および学習フェーズ実行部１６０Ｅを備える。
【0131】
推定フェーズ実行部１５０Ｅは、推定フェーズ実行部１５０が備える領域切出部１１３に代えて、領域切出部１１３Ｅを備える。学習フェーズ実行部１６０Ｅは、学習フェーズ実行部１６０の第２生成部１２２に代えて、第２生成部１２２Ｅを備える。
【0132】
（領域切出部）
領域切出部１１３Ｅは、画像取得部１１１が取得した画像データと、汎用物体検出部１１２が検出した領域候補を用いて、物体の識別用領域を特定する。領域切出部１１３の詳細については後述する。
領域切出部１１３Ｅは、画像取得部１１１が取得した画像データと、汎用物体検出部１１２が検出した領域候補を用いて、物体の識別用領域を特定する。領域切出部１１３の詳細については後述する。
【0133】
（第２生成部）
第２生成部１２２Ｅは、上述の例示的実施形態５の外接矩形算出部２２４に代えて、部分矩形算出部２２４Ｅを備える。部分矩形算出部２２４Ｅは、学習済モデルＬＭ１３Ｅの教師データに含まれる領域データを生成する。本例示的実施形態において、複数の領域データは、互いに異なる基準位置を有する複数の領域をそれぞれ示す。
第２生成部１２２Ｅは、上述の例示的実施形態５の外接矩形算出部２２４に代えて、部分矩形算出部２２４Ｅを備える。部分矩形算出部２２４Ｅは、学習済モデルＬＭ１３Ｅの教師データに含まれる領域データを生成する。本例示的実施形態において、複数の領域データは、互いに異なる基準位置を有する複数の領域をそれぞれ示す。
【0134】
（領域切出部の構成）
図１９は、領域切出部１１３Ｅの構成を例示するブロック図である。領域切出部１１３Ｅは、第１特定部３１Ｅ、クラス識別部３２、第２特定部３３Ｅ、および生成部３４を備える。第１特定部３１Ｅは、複数の基準位置に基づき物体の領域を複数特定する。第２特定部３３Ｅは、特定した複数の領域を包含する領域（和集合）を、物体の識別用領域として特定する。
図１９は、領域切出部１１３Ｅの構成を例示するブロック図である。領域切出部１１３Ｅは、第１特定部３１Ｅ、クラス識別部３２、第２特定部３３Ｅ、および生成部３４を備える。第１特定部３１Ｅは、複数の基準位置に基づき物体の領域を複数特定する。第２特定部３３Ｅは、特定した複数の領域を包含する領域（和集合）を、物体の識別用領域として特定する。
【0135】
第１特定部３１Ｅは、画像に含まれる物体の領域をそれぞれ異なる基準位置に基づき複数特定する。より具体的には、第１特定部３１Ｅは、学習済モデルＬＭ１３Ｅを用いた推定結果に基づき、物体の領域を特定する。
【0136】
学習済モデルＬＭ１３Ｅは、機械学習により構築された学習済モデルであり、画像に含まれる物体の領域を表す領域データを複数出力する。学習済モデルＬＭ１３Ｅが出力する複数の領域データは、領域の抽出に関する基準位置がそれぞれ異なっている。
【0137】
学習済モデルＬＭ１３Ｅの入力データは、画像データと、領域候補データとを含む。学習済モデルＬＭ１３Ｅの出力データは、物体の領域を表す複数の領域データを含む。各領域データは、一例として、物体の外接矩形の位置およびサイズを表すパラメータを含む。
【0138】
図２０は、領域の切り出し方法の具体例を示す図である。図２０において、画像データＩｍｇ５０は、領域の第１の切り出し方法の具体例を示す図であり、画像データＩｍｇ５２は、領域の第２の切り出し方法の具体例を示す図である。この例で、学習済モデルＬＭ１３Ｅは、部分領域ｐ１５０～ｐ１５２を示す出力データを出力する。部分領域ｐ１５０は、領域候補データの示す領域候補Ｒ１５０を所定の基準位置に基づき分割した部分領域である。部分領域ｐ１５１は、領域候補データの示す領域候補Ｒ１５０を所定の基準位置に基づき分割した部分領域である。部分領域ｐ１５２は、領域候補データの示す領域候補Ｒ１５０を所定の基準位置に基づき分割した部分領域である。
【0139】
画像データＩｍｇ６０の例では、部分領域ｐ１６０は、領域候補データの示す領域候補を所定の基準位置に基づき分割した部分領域ｐ１６０である。部分領域ｐ１６１は、領域候補データの示す領域候補Ｒ１６０を所定の基準位置に基づき分割した部分領域である。部分領域ｐ１６２は、領域候補データの示す領域候補Ｒ１６０を所定の基準位置に基づき分割した部分領域である。
【0140】
第２特定部３３Ｅは、第１特定部３１Ｅが特定した複数の領域を包含する領域を、物体の識別用領域として特定する。一例として、第２特定部３３Ｅは、部分領域ｐ１５０～ｐ１５２を包含する領域ｐ１５を識別用領域として特定する。また、一例として、第２特定部３３Ｅは、部分領域ｐ１６０～ｐ１６２を包含する領域ｐ１６を識別用領域として特定してもよい。また、一例として、第２特定部３３Ｅは、領域ｐ１５と領域ｐ１６との積集合である領域ｐ１７を、識別用領域として特定してもよい。
【0141】
学習済モデルＬＭ１３Ｅの学習フェーズにおいては、部分矩形算出部２２４Ｅは、一例として、図２０の部分領域ｐ１５０～ｐ１５２を表す領域データ、または部分領域ｐ１６０～ｐ１６２を表す領域データを生成する。部分矩形算出部２２４Ｅは、一例として、物体検出部２２３が検出した物体の領域を所定の軸方向（例えば、ｘ軸方向、ｙ軸方向、等）に３分割した各領域を表す領域データを生成してもよい。この場合、第３生成部１２３は、部分矩形算出部２２４Ｅが生成した複数の領域データを教師データとして用いて学習済モデルＬＭ１３Ｅを機械学習させる。
【0142】
本例示的実施形態によれば、情報処理装置１０Ｅは、異なる基準位置に基づき物体の領域を特定し、特定した複数の領域を包含する識別用領域を特定し、特定した識別用領域の外側を除外した画像データを用いて物体の識別を行う。これにより、背景の影響を抑えた識別処理を実行することができ、物体の識別の精度を向上させることができる。
【0143】
〔例示的実施形態７〕
本発明の例示的実施形態７について、図面を参照して詳細に説明する。なお、例示的実施形態１～６にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
本発明の例示的実施形態７について、図面を参照して詳細に説明する。なお、例示的実施形態１～６にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
【0144】
本例示的実施形態に係る情報処理装置１０Ｇは、上述の実施形態３に係る領域切出部１１３に代えて、領域切出部１１３Ｇおよび記憶装置１２０Ｇを備える。図２１は、領域切出部１１３Ｇの構成を例示するブロック図である。領域切出部１１３Ｇは、第１特定部３１に代えて、第１特定部３１Ｇを備える。記憶装置１２０Ｇは、学習済モデルＬＭ１３に代えて、学習済モデルＬＭ１３０～ＬＭ１３２を備える。このように、本例示的実施形態では、複数の領域データを出力する学習済モデルＬＭ１３を用いる替わりに、それぞれが領域データを出力する複数の学習済モデルＬＭ１３０～ＬＭ１３２を用いる点において上述の実施形態３とは異なっている。
【0145】
本例示的実施形態において、第１特定部３１Ｇは、画像を表す画像データ、および、画像中の物体が存在する領域の候補を示す領域候補データを入力として、画像中の物体が存在する領域を示す複数の領域データを出力する学習済モデルＬＭ１３０～ＬＭ１３２を用いて、物体の複数の領域を特定する。
【0146】
第１特定部３１は、外接矩形推定部３１１ａ～３１１ｃを備える。外接矩形推定部３１１ａ～３１１ｃは、画像に含まれる物体の領域をそれぞれ異なる基準で特定する。本例示的実施形態において、外接矩形推定部３１１ａ～３１１ｃは、画像に含まれる物体の領域をそれぞれ異なる基準軸に基づき特定する。より具体的には、外接矩形推定部３１１ａ～３１１ｃはそれぞれ、学習済モデルＬＭ１３０～ＬＭ１３２を用いた推定結果に基づき、物体の領域を特定する。以下の説明では、外接矩形推定部３１１ａ～３１１ｃを各々区別する必要がない場合には、これらを「外接矩形推定部３１１」と称する。
【0147】
（学習済モデル）
学習済モデルＬＭ１３０～ＬＭ１３２は機械学習により構築された学習済モデルである。学習済モデルＬＭ１３０～ＬＭ１３２はそれぞれ、画像を表す画像データ、および、画像中の物体が存在する領域の候補を示す領域候補データを入力として、画像中の物体が存在する領域を示す領域データを出力する。学習済モデルＬＭ１３０～ＬＭ１３２は、各々が出力する領域データの示す領域の基準位置または基準方向が互いに異なるように学習されている。
学習済モデルＬＭ１３０～ＬＭ１３２は機械学習により構築された学習済モデルである。学習済モデルＬＭ１３０～ＬＭ１３２はそれぞれ、画像を表す画像データ、および、画像中の物体が存在する領域の候補を示す領域候補データを入力として、画像中の物体が存在する領域を示す領域データを出力する。学習済モデルＬＭ１３０～ＬＭ１３２は、各々が出力する領域データの示す領域の基準位置または基準方向が互いに異なるように学習されている。
【0148】
学習済モデルＬＭ１３０～ＬＭ１３２の入力データは、画像データと領域候補データとを含む。学習済モデルＬＭ１３０～ＬＭ１３２の出力データは、物体の領域を表す領域データであり、一例として、物体の外接矩形の位置およびサイズを表すパラメータを含む。
【0149】
外接矩形推定部３１１ａ～３１１ｃは、複数の基準軸に基づき物体の領域を複数特定する。一例として、外接矩形推定部３１１ａ～３１１ｃは、学習済モデルＬＭ１３０～ＬＭ１３２を用いて基準軸毎の物体の外接矩形を検出する。
【0150】
学習済モデルＬＭ１３０～ＬＭ１３２は、切り出される領域の基準軸がそれぞれ異なっている。学習済モデルＬＭ１３０～ＬＭ１３２が出力する領域データは、一例として、図９の領域ｒ１３０～ｒ１３２である。この場合、図９の基準軸ａ１３０～ａ１３２はそれぞれ、学習済モデルＬＭ１３０～ＬＭ１３２について定められた基準軸である。
【0151】
一例として、学習済モデルＬＭ１３０が出力する出力データは、基準軸ａ１３０に平行な２辺を有する、物体ＯＢＪ１の外接矩形の領域ｒ１３０を示す。学習済モデルＬＭ１３１が出力する出力データは、基準軸ａ１３１に平行な２辺を有する、物体ＯＢＪ１の外接矩形の領域ｒ１３１を示す。学習済モデルＬＭ１３２が出力する出力データは、基準軸ａ１３２に平行な２辺を有する外接矩形の領域ｒ１３２を示す。
【0152】
〔例示的実施形態８〕
本発明の例示的実施形態８について、図面を参照して詳細に説明する。なお、例示的実施形態１～７にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
本発明の例示的実施形態８について、図面を参照して詳細に説明する。なお、例示的実施形態１～７にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
【0153】
本例示的実施形態に係る情報処理装置１０Ｆは、上述の実施形態３に係る領域切出部１１３に代えて、領域切出部１１３Ｆを備える。図２２は、領域切出部１１３Ｆの構成を例示するブロック図である。領域切出部１１３Ｆは、第１特定部３１に代えて、第１特定部３１Ｆを備える。
【0154】
第１特定部３１Ｆは、外接矩形推定部３１２、および回転部３１３を備える。外接矩形推定部３１２は、画像に含まれる物体の領域を複数の基準で特定する。本例示的実施形態において、外接矩形推定部３１２は、画像に含まれる物体の領域を、複数の基準軸に基づき特定する。より具体的には、外接矩形推定部３１２は、学習済モデルＬＭ１３Ｆを用いた推定結果に基づき、物体の領域を特定する。
【0155】
学習済モデルＬＭ１３Ｆは、機械学習により構築された、画像に含まれる物体の領域を表す出力データを出力する学習済モデルである。学習済モデルＬＭ１３Ｆの入力データは、画像データと、候補領域データとを含む。学習済モデルＬＭ１３Ｆの出力データは、物体の領域を表す領域データであり、一例として、物体の外接矩形の位置およびサイズを表すパラメータを含む。
【0156】
回転部３１３は、複数の基準軸ａθｉ（ｉは、１≦ｉ≦Ｎを満たす整数）に基づき画像を回転した回転画像データを生成し、生成した回転画像データを外接矩形推定部３１２に供給する。一例として、回転部３１３は識別対象である画像Ｉｍｇ０を角度θ１だけ回転させた回転画像Ｉｍｇ１、画像Ｉｍｇ０を角度θ２だけ回転させた回転画像Ｉｍｇ２、の２つの回転画像を生成する。
【0157】
この場合、外接矩形推定部３１２は、画像Ｉｍｇ０を表す画像データと領域候補データとを学習済モデルＬＭ１３Ｆに入力することにより得られる第１の領域データを取得する。また、外接矩形推定部３１２は、画像Ｉｍｇ１を表す画像データと領域候補データとを学習済モデルＬＭ１３Ｆに入力することにより得られる第２の領域データを取得する。また、外接矩形推定部３１２は、画像Ｉｍｇ３を表す画像データと領域候補データとを学習済モデルＬＭ１３Ｆに入力することにより得られる第３の領域データを取得する。外接矩形推定部３１２は、取得した第１の領域データ、第２の領域データ、および第３の領域データを第２特定部３３に供給する。
【0158】
第２特定部３３は、第１特定部３１Ｆが特定した複数の領域の２以上の和集合および積集合の一方または両方を用いて、物体の識別用領域を特定する。第２特定部３３が識別用領域を特定する手法は上述の例示的実施形態３と同様であり、その詳細な説明を繰り返さない。
【0159】
〔例示的実施形態９〕
上述の各例示的実施形態では、領域切出部１１３は、Ｆａｓｔｅｒ－ＲＣＮＮ等の物体検出の手法で用いられるＲＰＮの出力であるＲｏＩを学習済モデルＬＭ１３の入力データとして用いた。学習済モデルＬＭ１３の入力データとして用いる領域候補データは、上述した各例示的実施形態で示したものに限られない。領域候補データは例えば、ＳＳＤ（Single Shot MultiBox Detector）、ＹＯＬＯ（You Only Look Once）等の他の物体検出の手法に係るデータであってもよい。一例として、ＹＯＬＯにおいて画像全体をグリッド分割した各領域を表すデータを、学習済モデルＬＭ１３の入力データとして用いてもよい。
上述の各例示的実施形態では、領域切出部１１３は、Ｆａｓｔｅｒ－ＲＣＮＮ等の物体検出の手法で用いられるＲＰＮの出力であるＲｏＩを学習済モデルＬＭ１３の入力データとして用いた。学習済モデルＬＭ１３の入力データとして用いる領域候補データは、上述した各例示的実施形態で示したものに限られない。領域候補データは例えば、ＳＳＤ（Single Shot MultiBox Detector）、ＹＯＬＯ（You Only Look Once）等の他の物体検出の手法に係るデータであってもよい。一例として、ＹＯＬＯにおいて画像全体をグリッド分割した各領域を表すデータを、学習済モデルＬＭ１３の入力データとして用いてもよい。
【0160】
〔ソフトウェアによる実現例〕
情報処理装置１０、１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、１０Ｅの一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
情報処理装置１０、１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、１０Ｅの一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
【0161】
後者の場合、情報処理装置１０、１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、１０Ｅは、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図２２に示す。コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣを情報処理装置１０、１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、１０Ｅとして動作させるためのプログラムＰが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、情報処理装置１０、１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、１０Ｅの各機能が実現される。
【0162】
プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせなどを用いることができる。
【0163】
なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。
【0164】
また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。
【0165】
〔付記事項１〕
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
【0166】
〔付記事項２〕
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
【0167】
（付記１）
画像中の物体が存在する領域として、基準位置または基準方向がそれぞれ異なる複数の領域を特定する第１特定手段と、
前記第１特定手段が特定した前記複数の領域に基づいて、前記物体の識別用領域を特定する第２特定手段と、
前記第２特定手段が特定した前記識別用領域に基づいて、前記物体を識別する識別手段と、
を備える情報処理装置。
画像中の物体が存在する領域として、基準位置または基準方向がそれぞれ異なる複数の領域を特定する第１特定手段と、
前記第１特定手段が特定した前記複数の領域に基づいて、前記物体の識別用領域を特定する第２特定手段と、
前記第２特定手段が特定した前記識別用領域に基づいて、前記物体を識別する識別手段と、
を備える情報処理装置。
【0168】
上記の構成によれば、情報処理装置は、異なる基準で特定した物体の複数の領域に基づき識別用領域を特定し、特定した識別用領域に基づいて物体の識別を行うことにより、背景の影響を抑えた識別処理が実現される。これにより、物体の識別の精度を向上させることができる。
【0169】
（付記２）
前記第１特定手段は、前記画像を表す画像データ、および、前記画像中の前記物体が存在する領域の候補を示す領域候補データを入力として、前記画像中の物体が存在する領域を示す複数の領域データを出力する１または複数の学習済モデルを用いて、前記複数の領域を特定する、
付記１に記載の情報処理装置。
前記第１特定手段は、前記画像を表す画像データ、および、前記画像中の前記物体が存在する領域の候補を示す領域候補データを入力として、前記画像中の物体が存在する領域を示す複数の領域データを出力する１または複数の学習済モデルを用いて、前記複数の領域を特定する、
付記１に記載の情報処理装置。
【0170】
上記の構成によれば、機械学習により構築された学習済モデルから得られる出力データを用いて物体の領域を複数特定し、特定した複数の領域に基づいて物体の識別用領域を特定する。これにより、画像に含まれる物体の識別用領域の特定の精度を高くすることができる。
【0171】
（付記３）
前記領域データは、前記領域データが示す領域と前記領域候補データが示す領域の候補との差分を示す、
付記２に記載の情報処理装置。
前記領域データは、前記領域データが示す領域と前記領域候補データが示す領域の候補との差分を示す、
付記２に記載の情報処理装置。
【0172】
上記の構成によれば、各学習モデルが出力する領域データが示す領域と領域候補データが示す領域の候補との差分に基づいて、各領域データが示す領域を特定することができる。
【0173】
（付記４）
前記第１特定手段は、前記画像を表す画像データを入力として、前記領域候補データを出力する学習済モデルを用いて取得した前記領域候補データを前記学習済モデルに入力する、
付記３に記載の情報処理装置。
前記第１特定手段は、前記画像を表す画像データを入力として、前記領域候補データを出力する学習済モデルを用いて取得した前記領域候補データを前記学習済モデルに入力する、
付記３に記載の情報処理装置。
【0174】
上記の構成によれば、情報処理装置は、学習モデルを用いて領域候補データを取得することができる。
【0175】
（付記５）
前記第２特定手段は、前記画像における前記識別用領域内の部分画像を含み、当該部分画像以外を背景色で充填した識別用画像を生成し、
前記識別手段は、前記識別用画像を入力とし、前記物体の識別結果を出力する識別用学習済モデルを用いて、前記物体を識別する、
付記１から４のいずれか１つに記載の情報処理装置。
前記第２特定手段は、前記画像における前記識別用領域内の部分画像を含み、当該部分画像以外を背景色で充填した識別用画像を生成し、
前記識別手段は、前記識別用画像を入力とし、前記物体の識別結果を出力する識別用学習済モデルを用いて、前記物体を識別する、
付記１から４のいずれか１つに記載の情報処理装置。
【0176】
上記の構成によれば、情報処理装置は、識別用学習済モデルに入力するための識別用画像として、識別用領域以外の領域を背景色で充填した識別用画像を生成する。これにより、学習済モデルを用いた物体の識別の精度を向上させることができる。
【0177】
（付記６）
前記背景色は、前記識別用学習済モデルが学習した教師データの背景色と同一である、付記５に記載の情報処理装置。
前記背景色は、前記識別用学習済モデルが学習した教師データの背景色と同一である、付記５に記載の情報処理装置。
【0178】
上記の構成によれば、識別用画像の背景色が、識別用学習済モデルが学習した教師データの背景色と同一であるので、物体の識別の精度を向上させることができる。
【0179】
（付記７）
前記第１特定手段は、互いに傾きが異なる基準軸を有する前記複数の領域を特定する、
付記１から６のいずれか１つに記載の情報処理装置。
前記第１特定手段は、互いに傾きが異なる基準軸を有する前記複数の領域を特定する、
付記１から６のいずれか１つに記載の情報処理装置。
【0180】
上記の構成によれば、識別用領域に含まれる背景を少なくすることができ、この識別用領域に基づき物体の識別を行うことにより、物体の識別の精度を向上させることができる。
【0181】
（付記８）
前記第２特定手段は、前記複数の領域の積集合に基づいて、前記識別用領域を特定する、
付記７に記載の情報処理装置。
前記第２特定手段は、前記複数の領域の積集合に基づいて、前記識別用領域を特定する、
付記７に記載の情報処理装置。
【0182】
上記の構成によれば、識別用領域に含まれる背景を少なくすることができ、この識別用領域に基づき物体の識別を行うことにより、物体の識別の精度を向上させることができる。
【0183】
（付記９）
前記第１特定手段は、互いに異なる基準位置を有する前記複数の領域を特定する、
付記１から６の何れか１つに記載の情報処理装置。
前記第１特定手段は、互いに異なる基準位置を有する前記複数の領域を特定する、
付記１から６の何れか１つに記載の情報処理装置。
【0184】
上記の構成によれば、識別用領域に含まれる背景を少なくすることができ、この識別用領域に基づき物体の識別を行うことにより、物体の識別の精度を向上させることができる。
【0185】
（付記１０）
前記第２特定手段は、前記複数の領域の和集合に基づいて、前記識別用領域を特定する、
付記９に記載の情報処理装置。
前記第２特定手段は、前記複数の領域の和集合に基づいて、前記識別用領域を特定する、
付記９に記載の情報処理装置。
【0186】
上記の構成によれば、識別用領域に含まれる背景を少なくすることができ、この識別用領域に基づき物体の識別を行うことにより、物体の識別の精度を向上させることができる。
【0187】
（付記１１）
画像中の物体が存在する領域の候補を示す領域候補データを生成する第１生成手段と、
前記画像中の前記物体が存在する領域であって、基準位置または基準方向が互いに異なる複数の領域をそれぞれ示す複数の領域データを生成する第２生成手段と、
前記画像を示す画像データ、および、前記領域候補データを入力とし、前記複数の領域データを出力する１または複数の学習済モデルを生成する第３生成手段と、
を備える情報処理装置。
画像中の物体が存在する領域の候補を示す領域候補データを生成する第１生成手段と、
前記画像中の前記物体が存在する領域であって、基準位置または基準方向が互いに異なる複数の領域をそれぞれ示す複数の領域データを生成する第２生成手段と、
前記画像を示す画像データ、および、前記領域候補データを入力とし、前記複数の領域データを出力する１または複数の学習済モデルを生成する第３生成手段と、
を備える情報処理装置。
【0188】
上記の構成によれば、情報処理装置は、画像における物体の領域を、領域の特定に関する基準位置または基準方向がそれぞれ異なる基準で特定した、物体を識別するために用いる複数の領域データを生成する。また、情報処理装置は、生成した領域データを教師データとして機械学習させた学習済モデルを生成する。これらの学習済モデルが物体の識別に用いられることにより、背景の影響を抑えた識別処理が実現される。
【0189】
（付記１２）
前記第２生成手段は、互いに傾きが異なる基準軸を有する前記複数の領域をそれぞれ示す複数の領域データを生成する、
付記１１の記載の情報処理装置。
前記第２生成手段は、互いに傾きが異なる基準軸を有する前記複数の領域をそれぞれ示す複数の領域データを生成する、
付記１１の記載の情報処理装置。
【0190】
上記の構成によれば、情報処理装置は、互いに傾きが異なる基準軸を有する複数の領域をそれぞれ表す複数の領域データを生成し、生成した領域データを教師データとして用いて学習済モデルを機械学習させる。これらの学習済モデルが物体の識別に用いられることにより、背景の影響を抑えた識別処理が実現される。
【0191】
（付記１３）
前記第２生成手段は、
前記画像を所定方向に回転させた回転画像を生成する回転画像生成手段と、
前記回転画像に含まれる物体の領域を特定する領域特定手段と、
前記領域を前記所定方向と反対方向に回転させた回転領域を示すデータを、前記領域データとして生成する回転領域生成手段と、を備える、
付記１２に記載の情報処理装置。
前記第２生成手段は、
前記画像を所定方向に回転させた回転画像を生成する回転画像生成手段と、
前記回転画像に含まれる物体の領域を特定する領域特定手段と、
前記領域を前記所定方向と反対方向に回転させた回転領域を示すデータを、前記領域データとして生成する回転領域生成手段と、を備える、
付記１２に記載の情報処理装置。
【0192】
上記の構成によれば、情報処理装置は、物体の識別のために用いる学習済モデルの教師データを生成することができる。
【0193】
（付記１４）
前記第２生成手段は、互いに異なる基準位置を有する前記複数の領域をそれぞれ示す複数の領域データを生成する、
付記１１に記載の情報処理装置。
前記第２生成手段は、互いに異なる基準位置を有する前記複数の領域をそれぞれ示す複数の領域データを生成する、
付記１１に記載の情報処理装置。
【0194】
上記の構成によれば、上記の構成によれば、情報処理装置は、互いに異なる基準位置を有する複数の領域をそれぞれ表す複数の領域データを生成し、生成した領域データを教師データとして用いて学習済モデルを機械学習させる。これらの学習済モデルが物体の識別に用いられることにより、背景の影響を抑えた識別処理が実現される。
【0195】
（付記１５）
情報処理装置が、
画像中の物体が存在する領域として、基準位置または基準方向がそれぞれ異なる複数の領域を特定し、
特定した前記複数の領域に基づいて、前記物体の識別用領域を特定し、
特定した前記識別用領域に基づいて、前記物体を識別する、
ことを含む情報処理方法。
情報処理装置が、
画像中の物体が存在する領域として、基準位置または基準方向がそれぞれ異なる複数の領域を特定し、
特定した前記複数の領域に基づいて、前記物体の識別用領域を特定し、
特定した前記識別用領域に基づいて、前記物体を識別する、
ことを含む情報処理方法。
【0196】
上記の構成によれば、付記１と同様の効果を奏する。
【0197】
（付記１６）
コンピュータを情報処理装置として機能させるプログラムであって、
前記プログラムは、前記コンピュータを、
画像中の物体が存在する領域として、基準位置または基準方向がそれぞれ異なる複数の領域を特定する第１特定手段と、
前記第１特定手段が特定した前記複数の領域に基づいて、前記物体の識別用領域を特定する第２特定手段と、
前記第２特定手段が特定した前記識別用領域に基づいて、前記物体を識別する識別手段と、として機能させる、
ことを特徴とするプログラム。
コンピュータを情報処理装置として機能させるプログラムであって、
前記プログラムは、前記コンピュータを、
画像中の物体が存在する領域として、基準位置または基準方向がそれぞれ異なる複数の領域を特定する第１特定手段と、
前記第１特定手段が特定した前記複数の領域に基づいて、前記物体の識別用領域を特定する第２特定手段と、
前記第２特定手段が特定した前記識別用領域に基づいて、前記物体を識別する識別手段と、として機能させる、
ことを特徴とするプログラム。
【0198】
上記の構成によれば、付記１と同様の効果を奏する。
【0199】
（付記１７）
コンピュータを情報処理装置として機能させるプログラムを記憶した記憶媒体であって、
前記プログラムは、前記コンピュータを、
画像中の物体が存在する領域として、基準位置または基準方向がそれぞれ異なる複数の領域を特定する第１特定手段と、
前記第１特定手段が特定した前記複数の領域に基づいて、前記物体の識別用領域を特定する第２特定手段と、
前記第２特定手段が特定した前記識別用領域に基づいて、前記物体を識別する識別手段と、として機能させる、
ことを特徴とするプログラムを記憶した記憶媒体。
コンピュータを情報処理装置として機能させるプログラムを記憶した記憶媒体であって、
前記プログラムは、前記コンピュータを、
画像中の物体が存在する領域として、基準位置または基準方向がそれぞれ異なる複数の領域を特定する第１特定手段と、
前記第１特定手段が特定した前記複数の領域に基づいて、前記物体の識別用領域を特定する第２特定手段と、
前記第２特定手段が特定した前記識別用領域に基づいて、前記物体を識別する識別手段と、として機能させる、
ことを特徴とするプログラムを記憶した記憶媒体。
【0200】
上記の構成によれば、付記１と同様の効果を奏する。
【0201】
〔付記事項３〕
上述した実施形態の一部又は全部は、更に、以下のように表現することもできる。
上述した実施形態の一部又は全部は、更に、以下のように表現することもできる。
【0202】
少なくとも１つのプロセッサを備え、前記プロセッサは、
画像中の物体が存在する領域として、基準位置または基準方向がそれぞれ異なる複数の領域を特定する第１特定処理と、
前記第１特定処理において特定した前記複数の領域に基づいて、前記物体の識別用領域を特定する第２特定処理と、
前記第２特定処理において特定した前記識別用領域に基づいて、前記物体を識別する識別処理と、を実行する情報処理装置。
画像中の物体が存在する領域として、基準位置または基準方向がそれぞれ異なる複数の領域を特定する第１特定処理と、
前記第１特定処理において特定した前記複数の領域に基づいて、前記物体の識別用領域を特定する第２特定処理と、
前記第２特定処理において特定した前記識別用領域に基づいて、前記物体を識別する識別処理と、を実行する情報処理装置。
【0203】
なお、この情報処理装置は、更にメモリを備えていてもよく、このメモリには、前記第１特定処理と、前記第２特定処理と、前記生成処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
【符号の説明】
【0204】
１０、１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、１０Ｅ 情報処理装置
１１、３１ 第１特定部
１２、３３、３３Ｃ 第２特定部
１３ 識別部
３４ 生成部
１４、１２１ 第１生成部
１５、１２２、１２２Ｅ 第２生成部
１６、１２３ 第３生成部
３２ クラス識別部
１１０Ｂ、１１０Ｄ、１１０Ｅ 制御部
１１１、２２１ 画像取得部
１１２ 汎用物体検出部
１１３、１１３Ｃ、１１３Ｅ 領域切出部
１１４ 識別部
１１５ 出力部
１２０Ｂ 記憶装置
１５０、１５０Ｅ 推定フェーズ実行部
１６０、１６０Ｅ 学習フェーズ実行部
２２２ 画像回転部
２２３ 物体検出部
２２４ 外接矩形算出部
３１１ａ、３１１ｂ、３１１ｃ、３１２ 外接矩形推定部
１１、３１ 第１特定部
１２、３３、３３Ｃ 第２特定部
１３ 識別部
３４ 生成部
１４、１２１ 第１生成部
１５、１２２、１２２Ｅ 第２生成部
１６、１２３ 第３生成部
３２ クラス識別部
１１０Ｂ、１１０Ｄ、１１０Ｅ 制御部
１１１、２２１ 画像取得部
１１２ 汎用物体検出部
１１３、１１３Ｃ、１１３Ｅ 領域切出部
１１４ 識別部
１１５ 出力部
１２０Ｂ 記憶装置
１５０、１５０Ｅ 推定フェーズ実行部
１６０、１６０Ｅ 学習フェーズ実行部
２２２ 画像回転部
２２３ 物体検出部
２２４ 外接矩形算出部
３１１ａ、３１１ｂ、３１１ｃ、３１２ 外接矩形推定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】