特開 2024-154580 訓練用データ生成装置、訓練装置、物体検出装置、および訓練用データ生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024154580

(43)【公開日】2024-10-31

(54)【発明の名称】訓練用データ生成装置、訓練装置、物体検出装置、および訓練用データ生成方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20241024BHJP

   G06T 7/00 20170101ALI20241024BHJP

【ＦＩ】

G06T7/70 A

G06T7/00 350B

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023068477

(22)【出願日】2023-04-19

(71)【出願人】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】池田 直樹

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA05

5L096EA03

5L096FA02

5L096FA62

5L096FA66

5L096FA67

5L096FA69

5L096GA51

5L096HA11

5L096JA11

5L096KA04

5L096MA03

(57)【要約】

【課題】高所などに設けられた第１の視点から撮影された画像から物体を精度よく検出するための訓練済みモデルを訓練するための訓練用データを効率よく生成することができる訓練用データ生成装置、訓練装置、物体検出装置、および訓練用データ生成方法を提供する。
【解決手段】本開示の訓練用データ生成装置は、第１視点とは異なる第２視点から対象物体を撮影した画像において、前記対象物体を検出する物体検出モデルを訓練するための訓練用データを生成する訓練用データ生成装置であって、前記第１視点から前記対象物体を撮影した第１画像を第２画像に貼り付ける貼付位置に基づいて、前記第１画像を変換して第３画像を生成する画像変換部と、前記第２画像の前記貼付位置に前記第３画像を貼り付けて前記訓練用データを生成する貼付部と、を備える。
【選択図】図１０

【特許請求の範囲】

【請求項1】

第１視点とは異なる第２視点から対象物体を撮影した画像において、前記対象物体を検出する物体検出モデルを訓練するための訓練用データを生成する訓練用データ生成装置であって、
前記第１視点から前記対象物体を撮影した第１画像を第２画像に貼り付ける貼付位置に基づいて、前記第１画像を変換して第３画像を生成する画像変換部と、
前記第２画像の前記貼付位置に前記第３画像を貼り付けて前記訓練用データを生成する貼付部と、
を備える、訓練用データ生成装置。

【請求項2】

前記画像変換部は、前記貼付位置に基づいて、前記第１画像を縮小または拡大して前記第３画像を生成する、
請求項１に記載の訓練用データ生成装置。

【請求項3】

前記画像変換部は、前記第２画像内の所定の基準点と、前記第２画像の前記貼付位置に貼り付けられた場合の前記第１画像内の前記対象物体と、の距離に基づいて、前記第１画像を縮小または拡大して前記第３画像を生成する、
請求項２に記載の訓練用データ生成装置。

【請求項4】

前記画像変換部は、前記第２視点の高さにさらに基づいて、前記第１画像を縮小または拡大して前記第３画像を生成する、
請求項３に記載の訓練用データ生成装置。

【請求項5】

前記画像変換部は、前記貼付位置に基づいて、前記第１画像を回転して前記第３画像を生成する、
請求項１から４のいずれか一項に記載の訓練用データ生成装置。

【請求項6】

前記画像変換部は、前記第２画像内の所定の基準点を通過する基準線と、前記第２画像の前記貼付位置に貼り付けられた場合の前記第１画像内の前記対象物体および前記基準点を通過する直線と、のなす角に基づいて、前記第１画像を回転して前記第３画像を生成する、
請求項５に記載の訓練用データ生成装置。

【請求項7】

複数の前記第１画像のそれぞれの前記貼付位置を、それぞれ異なる位置に設定する位置設定部をさらに備える、
請求項１に記載の訓練用データ生成装置。

【請求項8】

請求項１に記載の訓練用データ生成装置が出力する前記訓練用データを取得する取得部と、
前記訓練用データを用いて前記物体検出モデルを訓練する訓練部と、
を備える、訓練装置。

【請求項9】

請求項８に記載の訓練装置が訓練した訓練済みの前記物体検出モデルを格納するモデル格納部と、
前記物体検出モデルを用いて、前記第２画像から前記対象物体を検出する物体検出部と、
を備える、物体検出装置。

【請求項10】

第１の視点から対象物体を撮影した画像において、前記対象物体を検出する訓練済みモデルを訓練するための訓練用データを生成する訓練用データ生成装置が有するコンピューターが実行する訓練用データ生成方法であって、
前記第１の視点とは異なる第２の視点から前記対象物体を撮影した第１画像を第２画像に貼り付ける貼付位置に基づいて、前記第１画像を変換して第３画像を生成し、
前記第２画像の前記貼付位置に前記第３画像を貼り付けて前記訓練用データを生成する、
訓練用データ生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、訓練用データ生成装置、訓練装置、物体検出装置、および訓練用データ生成方法に関する。

【背景技術】

【0002】

ディープラーニングなどの機械学習技術の進展によって、様々な技術分野に機械学習技術が利用されるようになってきている。例えば、カメラなどの撮影装置が撮影した画像から人などの物体を検出する物体検出技術に機械学習技術が適用されることにより、精度よく物体検出を行うことが期待される。

【0003】

例えば、特許文献１には、機械学習技術を用いて生成された物体検出モデルに対し、撮影装置で得られた画像データを入力する際、画像の奥の方に小さく写った物体を拡大することで、物体検出モデルが精度よく物体検出を行うことができるようになる物体検出方法が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第６９３２７５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

物体検出技術において、例えば高所に設けられた監視カメラが撮影した画像が用いられることがある。一般的に、高所から撮影された画像では、例えば検出対象の物体と同じ高さから撮影された画像とは物体の写り方（大きさや向きなど）が異なる。高所から撮影された画像から物体を検出する訓練済みモデルを訓練するためには、訓練用データとして、物体と同じ高さから撮影された画像よりも、高所から撮影された画像を用いた方が、検出精度のよい訓練済みモデルを生成できると考えられる。

【0006】

また、精度よく物体を検出できる訓練済みモデルを訓練するためには、大量の訓練用データが用意されることが好ましい。

【0007】

しかしながら、高所から撮影された画像は、物体と同じ高さから撮影された画像よりも数が少なく、新たに用意するためには大きなコストが掛かってしまう。

【0008】

本開示は、高所などに設けられた第１の視点から撮影された画像から物体を精度よく検出するための訓練済みモデルを訓練するための訓練用データを効率よく生成することができる訓練用データ生成装置、訓練装置、物体検出装置、および訓練用データ生成方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

本開示の一態様に係る訓練用データ生成装置は、第１視点とは異なる第２視点から対象物体を撮影した画像において、前記対象物体を検出する物体検出モデルを訓練するための訓練用データを生成する訓練用データ生成装置であって、前記第１視点から前記対象物体を撮影した第１画像を第２画像に貼り付ける貼付位置に基づいて、前記第１画像を変換して第３画像を生成する画像変換部と、前記第２画像の前記貼付位置に前記第３画像を貼り付けて前記訓練用データを生成する貼付部と、を備える。

【0010】

本開示の一態様に係る訓練装置は、上記の訓練用データ生成装置が出力する前記訓練用データを取得する取得部と、前記訓練用データを用いて前記物体検出モデルを訓練する訓練部と、を備える。

【0011】

本開示の一態様に係る物体検出装置は、上記の訓練装置が訓練した訓練済みの前記物体検出モデルを格納するモデル格納部と、前記物体検出モデルを用いて、前記第２画像から前記対象物体を検出する物体検出部と、を備える。

【0012】

本開示の一態様に係る訓練用データ生成方法は、第１の視点から対象物体を撮影した画像において、前記対象物体を検出する訓練済みモデルを訓練するための訓練用データを生成する訓練用データ生成装置が有するコンピューターが実行する訓練用データ生成方法であって、前記第１の視点とは異なる第２の視点から前記対象物体を撮影した第１画像を第２画像に貼り付ける貼付位置に基づいて、前記第１画像を変換して第３画像を生成し、前記第２画像の前記貼付位置に前記第３画像を貼り付けて前記訓練用データを生成する。

【発明の効果】

【0013】

本開示は、高所などに設けられた第１の視点から撮影された画像から物体を精度よく検出するための訓練済みモデルを訓練するための訓練用データを効率よく生成することができる。

【図面の簡単な説明】

【0014】

【図1】本開示の実施の形態に係る訓練用データ生成装置と、訓練装置と、物体検出装置と、の関係を説明するための図

【図2】通常視点画像、および上方視点画像のそれぞれにおける、物体の写り方の違いを説明するための図

【図3】訓練用データ生成装置の構成を例示するブロック

【図4】リサイズ処理について説明するためのフローチャート

【図5】画像変換部による、第１画像のリサイズ処理について説明するための図

【図6】距離Ｄの算出方法について説明するための図

【図7】テーブル形式で表されたリサイズ情報を例示した図

【図8】回転処理について説明するためのフローチャート

【図9】角度θの算出方法について説明するための図

【図10】訓練用データ生成装置の動作例を説明するためのフローチャート

【図11】訓練用データ生成装置によって生成された訓練用画像の例を示す図

【図12】訓練装置の構成を例示するブロック図

【図13】物体検出装置の構成を例示するブロック図

【発明を実施するための形態】

【0015】

以下、図面を参照して本開示の実施の形態について詳細に説明する。

【0016】

［概要］
図１は、本開示の実施の形態に係る訓練用データ生成装置１０と、訓練装置２０と、物体検出装置３０と、の関係を説明するための図である。以下説明する実施の形態では、訓練用データ生成装置１０が、物体検出モデルを訓練するための訓練用データを生成する。訓練装置２０が、訓練用データ生成装置１０が生成した訓練用データを用いて、物体検出モデルを訓練する。物体検出装置３０は、訓練装置２０が訓練した訓練済みの物体検出モデルを用いて、物体検出を実行する。

【0017】

本実施の形態では、検出対象の物体とほぼ同じ高さの第１視点に配置された撮影装置から物体を撮影した画像を通常視点画像と記載する。また、検出対象の物体とは異なる高さ（例えば、物体より高所）の第２視点に配置された撮影装置から物体を撮影した画像を上方視点画像と記載する。通常視点画像の例としては、例えば地上付近に設置されたカメラが、地上に立つ人などの物体を撮影した画像が挙げられる。上方視点画像の例としては、街灯の上部や屋内における天井など、高所に設置されたカメラが、地上に立つ人などの物体を撮影した画像が挙げられる。なお、本開示において、検出対象の物体は人ではなくてもよく、例えば車両、動物、各種の機械、装置などであってもよい。また、本開示において、第２視点は物体に対する高所ではなくてもよく、例えば地上付近、すなわち足下であってもよい。この場合、第２視点から撮影された画像は、地上すれすれから物体を見上げるような画像となる。

【0018】

図２は、通常視点画像、および上方視点画像のそれぞれにおける、物体の写り方の違いを説明するための図である。図１では、上方視点画像として、魚眼レンズを有するカメラが高所に設置された場合の画像を例示している。

【0019】

図２に示す例では、上方視点画像においては、高さがより高い頭部がより大きく、高さがより低い足部がより小さく写ることが多い。また、上方視点画像においては、足部が頭部および胴体部に隠れ、足部全体が写らないことがある。一方、通常視点画像においては、頭部および足部が本来の大きさで写っており、足部が頭部や胴体部に隠れることは少ない。さらに、図１に示す例では上方視点画像が魚眼レンズで撮影されているため、足部が画像の中心を向くように向きが変化している。

【0020】

本実施の形態の訓練用データ生成装置１０は、通常視点画像を用いて、上方視点画像でから検出対象の物体を検出するための訓練済みモデルを訓練するための訓練用データを生成する。一般的に、高所に設置されたカメラにより撮影される上方視点画像は、地上に設置された（または地上に立つ人物が操作する）カメラにより撮影される通常視点画像よりも入手しにくいことが想定される。本実施の形態の訓練用データ生成装置１０によれば、入手しやすい通常視点画像を用いて上方視点画像の訓練用データを生成することができるので、比較的入手しにくい上方視点画像の数を補うことができる。これにより、訓練装置２０は訓練用データ生成装置１０により生成された、十分な量の訓練用データを用いて、物体検出モデルの訓練を行うことができる。また、訓練装置２０により訓練された物体検出モデルを用いて物体検出処理を行う物体検出装置３０は、上方視点画像から精度よく物体を検出することができるようになる。

【0021】

本実施の形態において、訓練用データ生成装置１０は、物体検出装置３０が物体検出処理を実行する際に用いられる物体検出モデルを訓練するための訓練用データを生成する必要がある。このため、訓練用データ生成装置１０が生成すべき訓練用データは、物体検出装置３０が物体を検出するために用いる上方視点画像の高さに合わせた画像データとすることが好適である。従って、本実施の形態では、物体検出装置３０が物体を検出するために用いる上方視点画像の高さのパラメータが、予め訓練用データ生成装置１０に設定されているものとする。なお、訓練用データ生成装置１０は、複数の高さの上方視点画像に対応した訓練用データを生成可能であってもよい。この場合、例えば訓練用データ生成装置１０における訓練用データの生成開始時に、操作者などによって所望の高さが選択されればよい。

【0022】

［訓練用データ生成装置１０の構成］
訓練用データ生成装置１０は、通常視点画像である第１画像を土台となる第２画像に貼り付けるとき、第１画像に写る物体が予め設定された高さの上方視点画像における写り方となるように第１画像を変換して第３画像とした上で、第２画像に貼り付けて訓練用画像を生成する。訓練用データ生成装置１０により生成された訓練用画像のデータが、訓練用データとして訓練装置２０に出力される。

【0023】

第１画像を貼り付ける土台となる第２画像は、第１画像よりも大きいサイズの画像であり、例えば空白の画像である。

【0024】

図３は、訓練用データ生成装置１０の構成を例示するブロック図である。図３に示すように、訓練用データ生成装置１０は、画像取得部１１と、位置設定部１２と、画像変換部１３と、貼付部１４と、を有する。

【0025】

画像取得部１１は、通常視点画像である第１画像を、例えば撮影装置や記憶装置などから取得する。また、画像取得部１１は、第１画像を変換して貼り付けることで訓練用データの土台となる第２画像を他の記憶装置などから取得する。位置設定部１２は、第１画像を第２画像に貼り付ける際の貼付位置を設定する。画像変換部１３は、位置設定部１２が設定した貼付位置に基づいて、第１画像を変換して第３画像を生成する。貼付部１４は、画像変換部１３が変換した第３画像を、第２画像の貼付位置に貼り付けて訓練用データを生成する。

【0026】

これにより、訓練用データ生成装置１０は、複数の第１画像の入力に対応して、大量の訓練用データを生成することができる。なお、位置設定部１２は、複数の第１画像のそれぞれの貼付位置を、第２画像のそれぞれ異なる位置に設定する。画像変換部１３は、複数の第１画像のそれぞれに対して変換処理を行い、複数の第３画像を生成する。貼付部１４は、複数の第３画像のそれぞれを、それぞれに対応する貼付位置において、第２画像に貼り付けることにより、複数の訓練用データを生成する。

【0027】

位置設定部１２が貼付位置を設定する方法としては、例えばランダムに設定する方法が挙げられる。複数の第１画像が入力される場合、位置設定部１２は、それぞれの第１画像に対し、第２画像内のそれぞれ異なる位置をランダムに設定すればよい。

【0028】

画像変換部１３は、貼付位置に基づいて、第１画像に対し、拡大、縮小、または回転などのうち、少なくともいずれかの変換処理を行って、第３画像を生成する。すなわち、第３画像とは、通常視点画像である第１画像に対し、上方視点からの画像に近づけるための変換処理が実施された画像である。

【0029】

貼付部１４は、第３画像を、土台となる第２画像に対し、設定された貼付位置に貼り付けることにより、訓練用データを生成する。

【0030】

＜画像変換部１３による変換処理＞
（１）リサイズ処理
画像変換部１３は、第２画像内に予め設けられている基準点と、貼付位置に貼り付けられた場合の第１画像に写る物体と、の距離に基づいて、第１画像のリサイズ処理を行う。リサイズ処理は、第１画像を拡大または縮小して第１画像に写る物体の大きさを変更する処理である。リサイズ処理には、第２画像に対する第１画像の貼付位置に基づくリサイズ処理と、訓練用データ生成装置１０が生成すべき訓練用画像の視点の高さに基づくリサイズ処理と、の２種類の処理が含まれる。

【0031】

図４は、リサイズ処理について説明するためのフローチャートである。

【0032】

ステップＳ１において、画像変換部１３は、入力された第１画像を用いて、第１画像に写る物体を検出し、対象物体を囲う矩形の領域である物体領域を設定する。図５は、第１画像Ｉ１および第１画像Ｉ１内の物体領域Ｏについて説明するための図である。画像変換部１３が第１画像から物体を検出する方法については、既知の物体検出方法が適宜採用されればよい。

【0033】

ステップＳ２において、画像変換部１３は、位置設定部１２により設定された貼付位置に第１画像Ｉ１を貼り付けた場合の、第２画像Ｉ２の基準点Ｐ＿ｒｅｆと物体領域Ｏとの距離Ｄを算出する。第２画像Ｉ２の基準点Ｐ＿ｒｅｆと物体領域Ｏとの距離Ｄとは、具体的には、基準点Ｐ＿ｒｅｆと物体領域Ｏの中心点Ｐ＿ｃｅｎとの距離である。

【0034】

図６は、距離Ｄの算出方法について説明するための図である。図６には、位置設定部１２によって設定された、第２画像Ｉ２内の貼付位置に、リサイズ処理が実施される前の第１画像Ｉ１が貼り付けられた様子が示されている。

【0035】

基準点Ｐ＿ｒｅｆは、第２画像Ｉ２内に予め設定されている特定の点である。図６に示す例では、基準点Ｐ＿ｒｅｆは第２画像Ｉ２の中心点である。なお、本開示では、第２画像Ｉ２の基準点Ｐ＿ｒｅｆは第２画像Ｉ２の中心点に限られず、他の位置であってもよい。第２画像Ｉ２の基準点Ｐ＿ｒｅｆは、例えば訓練用データ生成装置１０によって生成される訓練用データを撮影したことが想定される第２視点の位置などに基づいて、予め第２画像Ｉ２内に設定されればよい。

【0036】

図６に示すように、画像変換部１３は、位置設定部１２により設定された貼付位置に第１画像Ｉ１を貼り付けた場合の物体領域Ｏの中心点Ｐ＿ｃｅｎと、第２画像Ｉ２の基準点（中心点）Ｐ＿ｒｅｆとの距離Ｄを、幾何学的に算出する。

【0037】

ステップＳ３において、画像変換部１３は、予め設定されているリサイズ情報に基づいて、物体領域Ｏをリサイズする大きさを決定する。リサイズ情報とは、訓練用データ生成装置１０に予め設定されている視点の高さ毎に、算出した距離Ｄと、リサイズ処理後の物体領域Ｏの大きさとの関係を設定した情報である。リサイズ情報は、例えば訓練用データ生成装置１０が有する図示しない記憶部などに予め記憶されている。

【0038】

図７は、テーブル形式で表されたリサイズ情報を例示した図である。図７に示す例では、距離Ｄは、基準点Ｐ＿ｒｅｆから第２画像内の最も遠い点までの距離を１．０としたときの割合で示されている。また、図７に示す例では、リサイズすべき物体領域Ｏの大きさは、第２画像Ｉ２全体の大きさに対する割合で示されている。図７に示す例では、視点の高さが３ｍである場合と５ｍである場合のそれぞれについて、距離Ｄに応じたリサイズ後の物体領域Ｏの大きさが設定されている。図７に示す例では、視点の高さがより高い５ｍである場合の方が、リサイズ後の大きさがより小さくなるように設定されている。

【0039】

ステップＳ４において、画像変換部１３は、ステップＳ３で決定した大きさが、元の大きさ、すなわち入力された第１画像Ｉ１における物体領域Ｏの大きさより大きいか否かを判断する。例えば入力された第１画像Ｉ１における物体領域Ｏの大きさが第２画像Ｉ２の７％に相当しており、ステップＳ３で決定した大きさが第２画像Ｉ２の１０％であった場合、画像変換部１３は、ステップＳ３で決定した大きさが、入力された第１画像Ｉ１における物体領域Ｏの大きさより大きいと判断する。一方、例えば入力された第１画像Ｉ１における物体領域Ｏの大きさが第２画像Ｉ２の７％に相当しており、ステップＳ３で決定した大きさが第２画像Ｉ２の５％であった場合、画像変換部１３は、ステップＳ３で決定した大きさが、入力された第１画像Ｉ１における物体領域Ｏの大きさ以下であると判断する。

【0040】

ステップＳ４において、ステップＳ３で決定した大きさが入力された第１画像Ｉ１における物体領域Ｏの大きさより大きいと判断した場合（ステップＳ４：ＹＥＳ）、画像変換部１３は、処理をステップＳ５に進め、そうでない場合（ステップＳ４：ＮＯ）処理をステップＳ６に進める。

【0041】

ステップＳ５において、画像変換部１３は、物体領域Ｏの大きさがステップＳ３で決定した大きさとなるまで、第１画像Ｉ１全体を拡大する。

【0042】

ステップＳ６において、画像変換部１３は、物体領域Ｏの大きさがステップＳ３で決定した大きさとなるまで、第１画像Ｉ１全体を縮小する。

【0043】

このように、画像変換部１３が第１画像に対し、リサイズ処理を施すことにより、リサイズ処理後の第１画像が第２画像の貼付位置に貼り付けられたとき、第１視点（通常視点）よりも第２視点（上方視点）から撮影された画像に近い画像を生成することができる。

【0044】

このように、画像変換部１３は、訓練用データ生成装置１０が生成すべき訓練用画像の視点の高さに応じて、異なる大きさに物体領域の大きさをリサイズ処理することにより、精度よく物体を検出できる物体検出モデルを訓練する訓練用画像を生成するためのリサイズ処理を行うことができる。

【0045】

（２）回転処理
図２に例示したように、例えば上方視点画像が魚眼レンズを有する撮影装置などにより撮影される場合、上方視点画像内の物体の向きが通常視点画像とは異なる向きとなることがある。これに対応するため、画像変換部１３は、第１画像に対し、以下説明する回転処理を行う。

【0046】

図８は、回転処理について説明するためのフローチャートである。

【0047】

ステップＳ１１において、画像変換部１３は、第１画像に写る物体を検出し、物体を囲う矩形の物体領域を設定する。本ステップＳ１１における動作は、図４に示すリサイズ処理におけるステップＳ１で説明した動作と同じ動作である。画像変換部１３は、リサイズ処理と回転処理の両方を行う場合、後に実行される処理における物体領域の設定動作を省略してもよい。

【0048】

ステップＳ１２において、画像変換部１３は、位置設定部１２により設定された貼付位置に第１画像Ｉ１を貼り付けた場合の、第２画像Ｉ２の基準点Ｐ＿ｒｅｆを通る基準線Ｌ＿ｒｅｆと、第２画像Ｉ２の貼付位置に貼り付けられた場合の第１画像内の物体領域Ｏおよび基準点Ｐ＿ｒｅｆを通過する直線Ｌ１と、のなす角度θを算出する。

【0049】

図９は、角度θの算出方法について説明するための図である。図９には、位置設定部１２によって設定された、第２画像Ｉ２内の貼付位置に、リサイズ処理が実施される前の第１画像Ｉ１が貼り付けられた様子が示されている。

【0050】

基準線Ｌ＿ｒｅｆは、第２画像Ｉ２の基準点Ｐ＿ｒｅｆを通る直線であればよく、図９に示す例では、第２画像Ｉ２の左右方向に対して垂直な直線である。

【0051】

また、図９に示す例では、第２画像Ｉ２の貼付位置に貼り付けられた場合の第１画像Ｉ１内の物体領域および基準点Ｐ＿ｒｅｆを通過する直線Ｌ１は、対象物体を囲う物体領域Ｏの中心点Ｐ＿ｃｅｎと基準点Ｐ＿ｒｅｆとを結んだ直線である。

【0052】

画像変換部１３は、基準線Ｌ＿ｒｅｆと直線Ｌ１とのなす角度θを、図９に示すように幾何学的に算出すればよい。

【0053】

ステップＳ１３において、画像変換部１３は、第１画像Ｉ１を、ステップＳ１２で算出した角度θ、回転させる。例えば角度θが例えば－４５°である場合、画像変換部１３は、第１画像を－４５°回転させる。また、例えば角度θが１３５°である場合、画像変換部１３は、第１画像を１３５°回転させる。

【0054】

なお、上述の説明では、第１画像Ｉ１を回転させる角度の大きさを、第２画像の基準線Ｌ＿ｒｅｆと、第２画像Ｉ２の貼付位置に貼り付けられた場合の第１画像内の物体領域Ｏおよび基準点Ｐ＿ｒｅｆを通過する直線Ｌ１と、のなす角度θと同じ角度としたが、本開示はこれに限定されない。画像変換部１３は、回転処理において、角度θに所定の演算を加えて算出した角度、第１画像を回転させるようにしてもよい。

【0055】

以上説明したように、画像変換部１３は、第２画像に第１画像を貼り付ける貼付位置に基づいて、リサイズ処理および回転処理を実行する。なお、画像変換部１３は、例えばリサイズ処理が完了してから回転処理を行ってもよいし、回転処理が完了してからリサイズ処理を行ってもよい。

【0056】

［訓練用データ生成装置１０の動作例］
次に、訓練用データ生成装置１０全体の動作例について説明する。図１０は、訓練用データ生成装置１０の動作例を説明するためのフローチャートである。

【0057】

ステップＳ２１において、訓練用データ生成装置１０の画像取得部１１は、第１画像および第２画像を取得する。画像取得部１１は、例えば訓練用データ生成装置１０に接続されており、予め撮影された第１画像および予め生成された第２画像を記憶している外部の記憶装置などから第１画像および第２画像を取得すればよい。また、画像取得部１１は、訓練用データ生成装置１０に接続された撮影装置などから直接第１画像を取得してもよい。

【0058】

ステップＳ２２において、訓練用データ生成装置１０の位置設定部１２は、第１画像を第２画像に貼り付ける貼付位置を設定する。上述したように、位置設定部１２は、例えば第２画像内のランダムな位置に貼付位置を設定すればよい。ステップＳ２１で複数の異なる第１画像が取得された場合、位置設定部１２は、第１画像毎にそれぞれ異なる位置に貼付位置を設定すればよい。

【0059】

ステップＳ２３において、訓練用データ生成装置１０の画像変換部１３は、第１画像に対し、設定された貼付位置に応じた画像変換処理（上述したリサイズ処理および回転処理）を実行し、第３画像を生成する。なお、画像変換部１３は、必要に応じて、リサイズ処理または回転処理のいずれかを実行しなくてもよい。また、リサイズ処理と回転処理の両方を行う場合、画像変換部１３は、どちらの処理を先に行ってもよい。

【0060】

ステップＳ２４において、訓練用データ生成装置１０の貼付部１４は、ステップＳ２３で生成された第３画像を、ステップＳ２で設定された貼付位置において、第２画像に貼り付ける。

【0061】

ステップＳ２５において、貼付部１４は、第２画像に第３画像を貼り付けた訓練用画像を含むデータを、訓練用データとして出力する。訓練用データ生成装置１０から出力された訓練用データは、図１に示したように、訓練装置２０に入力される。

【0062】

図１１は、訓練用データ生成装置１０によって生成された訓練用画像の例を示す図である。図１１Ａは、訓練用データ生成装置１０に入力された第１画像Ｉ１が第２画像Ｉ２に貼り付けられる前の様子を、図１１Ｂは、第１画像が変換された第３画像Ｉ３が第２画像の貼付位置に貼り付けられた様子を、それぞれ示している。図１１Ｂでは、第１画像Ｉ１が縮小され、かつ回転されて第２画像Ｉ２に貼り付けられた様子が示されている。

【0063】

図１１Ｂに示すように、訓練用データ生成装置１０が生成した訓練用画像は、通常視点画像である第１画像Ｉ１を第３画像Ｉ３に変換して第２画像Ｉ２に貼り付けたことにより、上方視点画像に近い画像となっている。これにより、訓練装置２０が、上方視点画像から物体を精度よく検出するための物体検出モデルを効率よく訓練することができる。

【0064】

［訓練装置２０］
次に、訓練装置２０について説明する。図１２は、訓練装置２０の構成を例示するブロック図である。図１２に示すように、訓練装置２０は、訓練用データ取得部２１と、訓練対象モデル格納部２２と、訓練部２３と、を備える。

【0065】

訓練用データ取得部２１は、訓練用データ生成装置１０から出力される訓練用データを取得する。訓練用データ取得部２１は、本開示の取得部の一例である。

【0066】

訓練対象モデル格納部２２は、訓練用データを用いて訓練されている物体検出モデルが格納される。

【0067】

訓練部２３は、訓練用データを用いて、訓練対象モデル格納部２２に格納されている物体検出モデルを訓練する。

【0068】

訓練部２３は、訓練が完了した物体検出モデルを、訓練済みモデルとして物体検出装置３０に出力する。

【0069】

［物体検出装置３０］
次に、物体検出装置３０について説明する。図１３は、物体検出装置３０の構成を例示するブロック図である。図１３に示すように、物体検出装置３０は、訓練済みモデル取得部３１と、画像取得部３２と、訓練済みモデル格納部３３と、物体検出部３４と、を備える。

【0070】

訓練済みモデル取得部３１は、訓練装置２０から出力された訓練済みの物体検出モデルを取得する。

【0071】

画像取得部３２は、物体を検出する対象となる画像データを取得する。

【0072】

訓練済みモデル格納部３３は、訓練装置２０から取得した訓練済みの物体検出モデルを格納する。

【0073】

物体検出部３４は、訓練済みの物体検出モデルを用いて、画像取得部３２が取得した画像データから物体を検出する。物体検出部３４に採用される物体検出の手法については既知の技術が適宜採用されればよい。既知の物体検出の手法の例として、例えばＹＯＬＯ（You Only Look Once）が挙げられる。

【0074】

以上、本開示の実施例について詳述したが、本開示は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本開示の要旨の範囲内において、種々の変形や変更が可能である。

【符号の説明】

【0075】

１０ 訓練用データ生成装置
１１ 画像取得部
１２ 位置設定部
１３ 画像変換部
１４ 貼付部
２０ 訓練装置
２１ 訓練用データ取得部
２２ 訓練対象モデル格納部
２３ 訓練部
３０ 物体検出装置
３１ モデル取得部
３２ 画像取得部
３３ モデル格納部
３４ 物体検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】