特許 7376201 情報処理システム、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-10-30

(45)【発行日】2023-11-08

(54)【発明の名称】情報処理システム、情報処理方法及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231031BHJP

【ＦＩ】

G06T7/00 350C

【請求項の数】 9

(21)【出願番号】P 2023148371

(22)【出願日】2023-09-13

【審査請求日】2023-09-13

【早期審査対象出願】

(73)【特許権者】

【識別番号】515237795

【氏名又は名称】アキュイティー株式会社

(74)【代理人】

【識別番号】110004222

【氏名又は名称】弁理士法人創光国際特許事務所

(72)【発明者】

【氏名】佐藤 眞平

(72)【発明者】

【氏名】和田 悟

【審査官】千葉 久博

(56)【参考文献】

【文献】特開２０２３－３５９７（ＪＰ，Ａ）

【文献】特開２０２２－７７８０５（ＪＰ，Ａ）

【文献】特開２０２２－７１８２２（ＪＰ，Ａ）

【文献】特開２０００－２５１０７４（ＪＰ，Ａ）

【文献】特表２０２２－５３４１２３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

三次元空間における三次元位置及び撮像方向が特定されている第１撮像装置が撮像した前記三次元空間に配置されている物体であって、前記物体の特徴を示す複数の特徴点それぞれの位置に、当該位置を特定するためのマーカーが付されている前記物体の画像データである第１画像データに基づいて、前記複数の特徴点それぞれに対応する前記マーカーの三次元位置を特定し、特定した複数の前記マーカーそれぞれの三次元位置に基づいて前記複数の特徴点それぞれの三次元位置を特定する三次元位置特定部と、
前記三次元空間において前記物体を撮像する第２撮像装置の三次元位置及び撮像方向を示す撮像装置情報を取得する装置情報取得部と、
前記第２撮像装置が撮像した前記物体の画像データである第２画像データを取得する画像取得部と、
前記装置情報取得部が取得した前記撮像装置情報が示す前記第２撮像装置の三次元位置及び撮像方向と、前記三次元位置特定部が特定した前記複数の特徴点それぞれの三次元位置とに基づいて、前記第２撮像装置が前記物体を撮像した場合に生成される前記第２画像データが示す画像における前記複数の特徴点それぞれの二次元位置を特定する二次元位置特定部と、
前記画像取得部が取得した前記第２画像データと、前記二次元位置特定部が特定した前記複数の特徴点それぞれの前記二次元位置とを含むデータセットを生成する生成部と、
を有する情報処理システム。

【請求項2】

前記三次元位置特定部は、前記物体と前記マーカーを示す三次元モデルを配置した三次元仮想空間を表示部に表示させ、前記三次元仮想空間において、前記マーカーに対応する前記特徴点の指定を受け付けることにより、前記特徴点の三次元位置を特定する、
請求項１に記載の情報処理システム。

【請求項3】

前記生成部は、前記第２画像データから前記マーカーを消去し、前記マーカーを消去した後の前記第２画像データと、前記二次元位置特定部が特定した前記複数の特徴点それぞれの前記二次元位置とを含むデータセットを生成する、
請求項１に記載の情報処理システム。

【請求項4】

三次元空間に配置されている物体の向きを変化させた場合において、前記三次元空間における三次元位置及び撮像方向が特定されている第１撮像装置が撮像した前記物体の複数の向きそれぞれに対応する画像データである第１画像データに基づいて、前記複数の向きそれぞれに対応する、前記物体の特徴を示す複数の特徴点それぞれの三次元位置を特定する三次元位置特定部と、
前記三次元空間において前記物体を撮像する第２撮像装置の三次元位置及び撮像方向を示す撮像装置情報を取得する装置情報取得部と、
前記第２撮像装置が撮像した前記物体の前記複数の向きそれぞれに対応する画像データである第２画像データを取得する画像取得部と、
前記装置情報取得部が取得した前記撮像装置情報が示す前記第２撮像装置の三次元位置及び撮像方向と、前記三次元位置特定部が特定した前記物体の前記複数の向きそれぞれに対応する前記複数の特徴点それぞれの三次元位置とに基づいて、前記第２撮像装置が前記複数の向きそれぞれに対応して前記物体を撮像した場合に生成される前記第２画像データが示す画像における前記複数の特徴点それぞれの二次元位置を特定する二次元位置特定部と、
前記画像取得部が取得した前記物体の前記複数の向きそれぞれに対応する前記第２画像データと、前記二次元位置特定部が当該第２画像データに対して特定した前記複数の特徴点それぞれの前記二次元位置とを含むデータセットを生成する生成部と、
を有する情報処理システム。

【請求項5】

前記装置情報取得部は、前記三次元空間において前記物体を撮像する複数の前記第２撮像装置それぞれに対応する前記撮像装置情報を取得し、
前記画像取得部は、複数の前記第２撮像装置それぞれが撮像した前記第２画像データを取得し、
前記二次元位置特定部は、複数の前記第２撮像装置それぞれに対応する前記撮像装置情報が示す前記第２撮像装置の三次元位置及び撮像方向と、前記三次元位置特定部が特定した前記複数の特徴点それぞれの三次元位置とに基づいて、複数の前記第２撮像装置それぞれが前記物体を撮像した場合に生成される前記第２画像データが示す画像における前記複数の特徴点それぞれの二次元位置を特定し、
前記生成部は、複数の前記第２撮像装置それぞれが撮像した前記第２画像データと、前記二次元位置特定部が当該第２画像データに対して特定した前記複数の特徴点それぞれの前記二次元位置とを含むデータセットを生成する、
請求項１又は４に記載の情報処理システム。

【請求項6】

コンピュータが実行する、
三次元空間における三次元位置及び撮像方向が特定されている第１撮像装置が撮像した前記三次元空間に配置されている物体であって、前記物体の特徴を示す複数の特徴点それぞれの位置に、当該位置を特定するためのマーカーが付されている前記物体の画像データである第１画像データに基づいて、前記複数の特徴点それぞれに対応する前記マーカーの三次元位置を特定し、特定した複数の前記マーカーそれぞれの三次元位置に基づいて前記複数の特徴点それぞれの三次元位置を特定するステップと、
前記三次元空間において前記物体を撮像する第２撮像装置の三次元位置及び撮像方向を示す撮像装置情報を取得するステップと、
前記第２撮像装置が撮像した前記物体の画像データである第２画像データを取得するステップと、
取得した前記撮像装置情報が示す前記第２撮像装置の三次元位置及び撮像方向と、特定した前記複数の特徴点それぞれの三次元位置とに基づいて、前記第２撮像装置が前記物体を撮像した場合に生成される前記第２画像データが示す画像における前記複数の特徴点それぞれの二次元位置を特定するステップと、
取得した前記第２画像データと、特定した前記複数の特徴点それぞれの前記二次元位置とを含むデータセットを生成するステップと、
を有する情報処理方法。

【請求項7】

コンピュータが実行する、
三次元空間に配置されている物体の向きを変化させた場合において、前記三次元空間における三次元位置及び撮像方向が特定されている第１撮像装置が撮像した前記物体の複数の向きそれぞれに対応する画像データである第１画像データに基づいて、前記複数の向きそれぞれに対応する、前記物体の特徴を示す複数の特徴点それぞれの三次元位置を特定するステップと、
前記三次元空間において前記物体を撮像する第２撮像装置の三次元位置及び撮像方向を示す撮像装置情報を取得するステップと、
前記第２撮像装置が撮像した前記物体の前記複数の向きそれぞれに対応する画像データである第２画像データを取得するステップと、
取得した前記撮像装置情報が示す前記第２撮像装置の三次元位置及び撮像方向と、特定した前記物体の前記複数の向きそれぞれに対応する前記複数の特徴点それぞれの三次元位置とに基づいて、前記第２撮像装置が前記複数の向きそれぞれに対応して前記物体を撮像した場合に生成される前記第２画像データが示す画像における前記複数の特徴点それぞれの二次元位置を特定するステップと、
取得した前記物体の前記複数の向きそれぞれに対応する前記第２画像データと、当該第２画像データに対して特定した前記複数の特徴点それぞれの前記二次元位置とを含むデータセットを生成するステップと、
を有する情報処理方法。

【請求項8】

コンピュータを、
三次元空間における三次元位置及び撮像方向が特定されている第１撮像装置が撮像した前記三次元空間に配置されている物体であって、前記物体の特徴を示す複数の特徴点それぞれの位置に、当該位置を特定するためのマーカーが付されている前記物体の画像データである第１画像データに基づいて、前記複数の特徴点それぞれに対応する前記マーカーの三次元位置を特定し、特定した複数の前記マーカーそれぞれの三次元位置に基づいて前記複数の特徴点それぞれの三次元位置を特定する三次元位置特定部、
前記三次元空間において前記物体を撮像する第２撮像装置の三次元位置及び撮像方向を示す撮像装置情報を取得する装置情報取得部、
前記第２撮像装置が撮像した前記物体の画像データである第２画像データを取得する画像取得部、
前記装置情報取得部が取得した前記撮像装置情報が示す前記第２撮像装置の三次元位置及び撮像方向と、前記三次元位置特定部が特定した前記複数の特徴点それぞれの三次元位置とに基づいて、前記第２撮像装置が前記物体を撮像した場合に生成される前記第２画像データが示す画像における前記複数の特徴点それぞれの二次元位置を特定する二次元位置特定部、及び、
前記画像取得部が取得した前記第２画像データと、前記二次元位置特定部が特定した前記複数の特徴点それぞれの前記二次元位置とを含むデータセットを生成する生成部、
として機能させるプログラム。

【請求項9】

コンピュータを、
三次元空間に配置されている物体の向きを変化させた場合において、前記三次元空間における三次元位置及び撮像方向が特定されている第１撮像装置が撮像した前記物体の複数の向きそれぞれに対応する画像データである第１画像データに基づいて、前記複数の向きそれぞれに対応する、前記物体の特徴を示す複数の特徴点それぞれの三次元位置を特定する三次元位置特定部、
前記三次元空間において前記物体を撮像する第２撮像装置の三次元位置及び撮像方向を示す撮像装置情報を取得する装置情報取得部、
前記第２撮像装置が撮像した前記物体の前記複数の向きそれぞれに対応する画像データである第２画像データを取得する画像取得部、
前記装置情報取得部が取得した前記撮像装置情報が示す前記第２撮像装置の三次元位置及び撮像方向と、前記三次元位置特定部が特定した前記物体の前記複数の向きそれぞれに対応する前記複数の特徴点それぞれの三次元位置とに基づいて、前記第２撮像装置が前記複数の向きそれぞれに対応して前記物体を撮像した場合に生成される前記第２画像データが示す画像における前記複数の特徴点それぞれの二次元位置を特定する二次元位置特定部、及び、
前記画像取得部が取得した前記物体の前記複数の向きそれぞれに対応する前記第２画像データと、前記二次元位置特定部が当該第２画像データに対して特定した前記複数の特徴点それぞれの前記二次元位置とを含むデータセットを生成する生成部、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

従来、物体を撮像した画像データから物体の位置を推定する技術が知られている。例えば、特許文献１には、物体を撮像した複数の学習用の画像データと、複数の学習用の画像データが示す画像のそれぞれに写る物体の特徴点の位置情報とが含まれるデータセットを用いて機械学習することにより、物体を撮像した画像データの入力に対して物体の特徴点の位置を推定する推定モデルを生成し、当該推定モデルを用いて、物体を撮像した画像データから物体の特徴点の位置を推定する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２２－０７７８０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来、推定モデルの学習を行うためのデータセットを生成する場合、データセットを生成する作業者が、物体の画像データにおける物体の特徴点を見つけ出して、当該特徴点の位置情報を手動で生成する必要があり、データセットの生成作業が煩雑であるという問題があった。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、物体の特徴点の位置を推定するための推定モデルの学習に用いるデータセットを効率よく生成することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様に係る情報処理システムは、三次元空間における三次元位置及び撮像方向が特定されている第１撮像装置が撮像した前記三次元空間に配置されている物体の画像データである第１画像データに基づいて、前記物体の特徴を示す複数の特徴点それぞれの三次元位置を特定する三次元位置特定部と、前記三次元空間において前記物体を撮像する第２撮像装置の三次元位置及び撮像方向を示す撮像装置情報を取得する装置情報取得部と、前記第２撮像装置が撮像した前記物体の画像データである第２画像データを取得する画像取得部と、前記装置情報取得部が取得した前記撮像装置情報が示す前記第２撮像装置の三次元位置及び撮像方向と、前記三次元位置特定部が特定した前記複数の特徴点それぞれの三次元位置とに基づいて、前記第２撮像装置が前記物体を撮像した場合に生成される前記第２画像データが示す画像における前記複数の特徴点それぞれの二次元位置を特定する二次元位置特定部と、前記画像取得部が取得した前記第２画像データと、前記二次元位置特定部が特定した前記複数の特徴点それぞれの前記二次元位置とを含むデータセットを生成する生成部と、を有する。

【0007】

前記物体の複数の特徴点それぞれに対応する位置に、前記三次元位置特定部が当該位置を特定するためのマーカーが付されており、前記三次元位置特定部は、前記第１撮像装置が撮像した前記第１画像データに基づいて、前記複数の特徴点それぞれに対応する複数の前記マーカーの三次元位置を特定し、特定した複数の前記マーカーそれぞれの三次元位置に基づいて前記複数の特徴点それぞれの三次元位置を特定してもよい。

【0008】

前記三次元位置特定部は、前記物体と前記マーカーを示す三次元モデルを配置した三次元仮想空間を表示部に表示させ、前記三次元仮想空間において、前記マーカーに対応する前記特徴点の指定を受け付けることにより、前記特徴点の三次元位置を特定してもよい。

【0009】

前記生成部は、前記第２画像データから前記マーカーを消去し、前記マーカーを消去した後の前記第２画像データと、前記二次元位置特定部が特定した前記複数の特徴点それぞれの前記二次元位置とを含むデータセットを生成してもよい。

【0010】

前記装置情報取得部は、前記三次元空間において前記物体を撮像する複数の前記第２撮像装置それぞれに対応する前記撮像装置情報を取得し、前記画像取得部は、複数の前記第２撮像装置それぞれが撮像した前記第２画像データを取得し、前記二次元位置特定部は、複数の前記第２撮像装置それぞれに対応する前記撮像装置情報が示す前記第２撮像装置の三次元位置及び撮像方向と、前記三次元位置特定部が特定した前記複数の特徴点それぞれの三次元位置とに基づいて、複数の前記第２撮像装置それぞれが前記物体を撮像した場合に生成される前記第２画像データが示す画像における前記複数の特徴点それぞれの二次元位置を特定し、前記生成部は、複数の前記第２撮像装置それぞれが撮像した前記第２画像データと、前記二次元位置特定部が当該第２画像データに対して特定した前記複数の特徴点それぞれの前記二次元位置とを含むデータセットを生成してもよい。

【0011】

前記三次元位置特定部は、前記物体の向きを変化させた場合における、前記物体の複数の向きそれぞれに対応する前記第１画像データに基づいて、前記複数の向きそれぞれに対応する前記物体の前記特徴点の三次元位置を特定し、前記画像取得部は、前記第２撮像装置が撮像した前記物体の複数の向きそれぞれに対応する前記第２画像データを取得し、前記二次元位置特定部は、前記撮像装置情報が示す前記第２撮像装置の三次元位置及び撮像方向と、前記三次元位置特定部が特定した前記物体の複数の向きそれぞれに対応する前記複数の特徴点それぞれの三次元位置とに基づいて、前記画像取得部が取得した前記物体の複数の向きそれぞれに対応する前記第２画像データが示す画像における前記複数の特徴点それぞれの二次元位置を特定し、前記生成部は、前記物体の複数の向きそれぞれに対応する前記第２画像データと、前記二次元位置特定部が当該第２画像データに対して特定した前記複数の特徴点それぞれの前記二次元位置とを含むデータセットを生成してもよい。

【0012】

本発明の第２の態様に係る情報処理方法は、コンピュータが実行する、三次元空間における三次元位置及び撮像方向が特定されている第１撮像装置が撮像した前記三次元空間に配置されている物体の画像データである第１画像データに基づいて、前記物体の特徴を示す複数の特徴点それぞれの三次元位置を特定するステップと、前記三次元空間において前記物体を撮像する第２撮像装置の三次元位置及び撮像方向を示す撮像装置情報を取得するステップと、前記第２撮像装置が撮像した前記物体の画像データである第２画像データを取得するステップと、取得した前記撮像装置情報が示す前記第２撮像装置の三次元位置及び撮像方向と、特定した前記複数の特徴点それぞれの三次元位置とに基づいて、前記第２撮像装置が前記物体を撮像した場合に生成される前記第２画像データが示す画像における前記複数の特徴点それぞれの二次元位置を特定するステップと、取得した前記第２画像データと、特定した前記複数の特徴点それぞれの前記二次元位置とを含むデータセットを生成するステップと、を有する。

【0013】

本発明の第３の態様に係るプログラムは、コンピュータを、三次元空間における三次元位置及び撮像方向が特定されている第１撮像装置が撮像した前記三次元空間に配置されている物体の画像データである第１画像データに基づいて、前記物体の特徴を示す複数の特徴点それぞれの三次元位置を特定する三次元位置特定部、前記三次元空間において前記物体を撮像する第２撮像装置の三次元位置及び撮像方向を示す撮像装置情報を取得する装置情報取得部、前記第２撮像装置が撮像した前記物体の画像データである第２画像データを取得する画像取得部、前記装置情報取得部が取得した前記撮像装置情報が示す前記第２撮像装置の三次元位置及び撮像方向と、前記三次元位置特定部が特定した前記複数の特徴点それぞれの三次元位置とに基づいて、前記第２撮像装置が前記物体を撮像した場合に生成される前記第２画像データが示す画像における前記複数の特徴点それぞれの二次元位置を特定する二次元位置特定部、及び、前記画像取得部が取得した前記第２画像データと、前記二次元位置特定部が特定した前記複数の特徴点それぞれの前記二次元位置とを含むデータセットを生成する生成部、として機能させる。

【発明の効果】

【0014】

本発明によれば、物体の特徴点の位置を推定するための推定モデルの学習に用いるデータセットを効率よく生成することができるという効果を奏する。

【図面の簡単な説明】

【0015】

【図1】情報処理システムの概要を示す図である。

【図2】情報処理装置の機能構成を示す図である。

【図3】特徴点から離れた位置にマーカーが付された例を示す図である。

【図4】情報処理装置における処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0016】

［情報処理システムＳの概要］
図１は、情報処理システムＳの概要を示す図である。情報処理システムＳは、第１撮像装置１と、複数の第２撮像装置２と、情報処理装置１０とを有する。情報処理システムＳは、三次元空間に配置されている物体Ｏを第２撮像装置２が撮像することにより生成された画像データと、当該画像データが示す画像に写る物体Ｏの複数の特徴点の当該画像データにおける二次元位置とを含むデータセットを生成するシステムである。

【0017】

情報処理装置１０は、物体Ｏが撮影可能に設置された、第１撮像装置１と、複数の第２撮像装置２とに通信可能に接続されている。図１においては、３台の第１撮像装置１が設けられている例を示している。第１撮像装置１は、例えば、赤外光を照射し、物体から放射される赤外線を可視化するためのモーションキャプチャ用のカメラであり、三次元空間における三次元位置及び撮像方向が予め特定されている。

【0018】

第２撮像装置２は、例えば二次元画像データを生成するカラーカメラ、モノクロカメラ、深度センシングカメラであり、第１撮像装置１と同様に三次元空間における三次元位置及び撮像方向が予め特定されている。深度センシングカメラには、ＴｏＦ（Time Of Flight）カメラ及びＬｉＤＡＲ（Light Detection And Ranging）カメラが含まれているものとする。

【0019】

物体Ｏは、例えば車両、ロボット、人体等であるが、これに限らず、任意の物体であってもよい。物体Ｏの複数の特徴点それぞれに対応する位置には、マーカーＭが付されている。マーカーＭは、第１撮像装置１が撮像した第１画像データに基づいて情報処理装置１０が特徴点を特定するために用いられる。

【0020】

情報処理装置１０は、第１撮像装置１が撮像した物体Ｏの画像データである第１画像データに写るマーカーＭの三次元位置を特定する。マーカーＭの三次元位置を特定する方法については後述する。そして、情報処理装置１０は、特定したマーカーＭの三次元位置に基づいて、物体Ｏの特徴を示す複数の特徴点それぞれの三次元位置を特定する。

【0021】

情報処理装置１０は、予め定められている第２撮像装置２の三次元位置及び撮像方向と、特定した複数の特徴点それぞれの三次元位置とに基づいて、第２撮像装置２が撮像した物体Ｏの画像データである第２画像データが示す画像における、複数の特徴点それぞれの二次元位置を特定する。

【0022】

情報処理装置１０は、第２画像データと、複数の特徴点それぞれの二次元位置を示す二次元位置情報とを含むデータセットを生成する。データセットは、物体Ｏを撮像した第２画像データに基づいて物体Ｏの特徴点それぞれの二次元位置を推定する推定モデルの学習に用いられる。このようにすることで、情報処理装置１０は、推定モデルの学習に用いるデータセットを効率よく生成することができる。

【0023】

［情報処理装置１０の機能構成］
続いて、情報処理装置１０の構成の詳細を説明する。図２は、情報処理装置１０の機能構成を示す図である。情報処理装置１０は、通信部１１と、表示部１２と、操作部１３と、記憶部１４と、制御部１５とを有する。

【0024】

通信部１１は、通信ケーブルを介して第１撮像装置１及び第２撮像装置２等の機器とデータを送受信するための通信インターフェースであり、例えば、ＵＳＢ（Universal Serial Bus）（登録商標）インターフェースである。

【0025】

表示部１２は、例えば、液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等により構成される。
操作部１３は、マウスやキーボード等のユーザの操作を受け付ける入力デバイスである。

【0026】

記憶部１４は、各種のデータを記憶する記憶媒体であり、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及びハードディスク等を有する。記憶部１４は、制御部１５が実行するプログラムを記憶する。記憶部１４は、制御部１５を、装置情報取得部１５１、第１画像取得部１５２、三次元位置特定部１５３、二次元位置特定部１５４、第２画像取得部１５５、生成部１５６、及び出力部１５７として機能させるプログラムを記憶する。

【0027】

制御部１５は、例えばＣＰＵ（Central Processing Unit）である。制御部１５は、記憶部１４に記憶されたプログラムを実行することにより、装置情報取得部１５１、第１画像取得部１５２、三次元位置特定部１５３、二次元位置特定部１５４、第２画像取得部１５５、生成部１５６、及び出力部１５７として機能する。

【0028】

装置情報取得部１５１は、三次元空間において物体Ｏを撮像する複数の第２撮像装置２それぞれの三次元空間における三次元位置及び撮像方向を示す撮像装置情報を取得する。装置情報取得部１５１は、例えば記憶部１４に記憶されている撮影装置情報を取得する。

【0029】

撮影装置情報を作成する方法は任意であるが、例えば以下の方法により撮影装置情報が作成される。情報処理装置１０に接続された複数の第１撮像装置１が、複数の第１撮像装置１の相対位置を特定するための第１治具を撮像することにより生成された画像データに基づいて、これらの第１撮像装置１それぞれの相対位置が予め特定されている。また、当該複数の第１撮像装置１により、三次元空間における三次元座標系を定義するための第２治具を撮像することにより生成された画像データに基づいて、三次元空間に対して三次元座標系が定義され、三次元座標系における当該複数の第１撮像装置１それぞれの三次元座標系における三次元位置及び撮像方向が予め特定されている。

【0030】

また、当該複数の第１撮像装置１と、複数の第２撮像装置２とにより、第２撮像装置２の三次元位置及び撮像方向を特定するための第３治具を撮像することにより生成された画像データに基づいて、当該複数の第２撮像装置２の三次元座標系における三次元位置及び撮像方向が予め特定されている。そして、予め特定された、複数の第２撮像装置２それぞれの三次元位置及び撮像方向を示す撮像装置情報が、記憶部１４に記憶される。

【0031】

第１画像取得部１５２は、三次元空間における三次元位置及び撮像方向が予め特定されている複数の第１撮像装置１それぞれが撮像した、三次元空間に配置されている物体Ｏの画像データである第１画像データを取得する。例えば、第１画像取得部１５２は、複数の第１撮像装置１が同時に撮像することにより生成された複数の第１画像データを取得する。

【0032】

ここで、物体Ｏの複数の特徴点のそれぞれには、図１に示すように、複数のマーカーＭが付されている。マーカーＭは、例えば、赤外線を反射する反射マーカー、又は赤外線を発光する自己発光型マーカーである。第１画像取得部１５２は、複数の第１撮像装置１それぞれが撮像した、複数のマーカーＭが付されている物体Ｏの赤外線画像データである第１画像データを取得する。なお、複数の第１画像データが示す画像には、マーカーＭがそれぞれ写っているものとする。

【0033】

三次元位置特定部１５３は、第１画像取得部１５２が第１撮像装置１から取得した第１画像データに基づいて、物体Ｏの特徴を示す複数の特徴点それぞれの三次元位置を特定する。三次元位置特定部１５３は、例えば三角測量方法を用いることにより、複数の第１画像データそれぞれにおけるマーカーＭの二次元座標に基づいて、マーカーＭの三次元位置を特定する。三次元位置特定部１５３は、マーカーＭと特徴点との相対位置に基づいて、マーカーＭの三次元位置から特徴点の三次元位置を特定する。

【0034】

三次元位置特定部１５３は、第１撮像装置１が撮像した第１画像データに基づく、複数の特徴点それぞれに対応する複数のマーカーＭの三次元位置を特定する。そして、三次元位置特定部１５３は、特定した複数のマーカーＭそれぞれの三次元位置に基づいて、物体Ｏの複数の特徴点それぞれの三次元位置を特定する。

【0035】

例えば、マーカーＭが物体Ｏの特徴点に付されている場合、三次元位置特定部１５３は、特定したマーカーＭの三次元位置を、特徴点の三次元位置と特定する。ここで、物体Ｏにおける特徴点の位置によっては、第１撮像装置１から特徴点が見えない場合がある。このような場合、特徴点から離れた位置にマーカーＭを付して、三次元位置特定部１５３が、マーカーＭの三次元位置と、マーカーＭの三次元位置に対する特徴点の三次元位置の相対位置とに基づいて、特徴点の三次元位置を特定してもよい。図３は、特徴点から離れた位置にマーカーＭが付された例を示す図である。図３に示す例では、物体Ｏの複数の特徴点Ｆと異なる位置にマーカーＭが設けられている。

【0036】

マーカーＭの三次元位置とマーカーＭと特徴点の三次元位置との相対位置を三次元位置特定部１５３が認識するために、三次元位置特定部１５３は、マーカーＭが付された物体Ｏを撮影することにより生成された第１画像データに基づく物体Ｏの三次元モデルの画像を表示部１２に表示させ、当該画像において、特徴点の三次元位置を受け付けてもよい。三次元位置特定部１５３は、操作部１３を介して、三次元仮想モデルにおいてマーカーＭに対応する特徴点の指定を受け付けることにより、マーカーＭの三次元位置に対する特徴点の三次元位置の相対位置を特定する。三次元位置特定部１５３は、マーカーＭの三次元位置と相対位置とに基づいて当該特徴点の三次元位置を特定することができる。このようにすることで、情報処理装置１０は、特徴点が第１撮像画像データに写らない位置にあり、マーカーＭが第１撮像画像データに写る位置にある場合であっても、マーカーＭに対応する特徴点の三次元位置を特定することができる。

【0037】

なお、情報処理装置１０が三次元位置特定部１５３を有しておらず、複数の第１撮像装置１が撮像した第１画像データに基づいて、物体Ｏに付されたマーカーＭの三次元位置を特定する三次元位置特定装置が、三次元位置特定部１５３として機能してもよい。

【0038】

二次元位置特定部１５４は、装置情報取得部１５１が取得した撮像装置情報が示す複数の第２撮像装置２それぞれの三次元位置及び撮像方向と、三次元位置特定部１５３が特定した物体Ｏの複数の特徴点それぞれの三次元位置とに基づいて、複数の第２撮像装置２それぞれが物体Ｏを撮像した場合に生成される第２画像データが示す画像における物体Ｏの複数の特徴点それぞれの二次元位置を特定する。

【0039】

二次元位置特定部１５４は、第２撮像装置２の三次元位置及び撮像方向から当該第２撮像装置２を用いて撮像した場合に、当該第２撮像装置２により生成された第２画像データが示す画像のどの位置に、複数の特徴点それぞれが写るのかを特定する。例えば、二次元位置特定部１５４は、複数の第２撮像装置２のそれぞれについて、三次元空間において、撮像装置情報が示す第２撮像装置２の三次元位置から、撮像装置情報が示す第２撮像装置２の撮像方向に対して第２撮像装置２が撮像を行うことにより生成される第２画像データに対応する画像平面を特定する。

【0040】

そして、二次元位置特定部１５４は、三次元位置特定部１５３が特定した複数の特徴点それぞれに対し、第２撮像装置２の三次元位置と、特徴点の三次元位置との両方を通る直線を算出する。二次元位置特定部１５４は、複数の特徴点それぞれに対応する直線それぞれの、特定した画像平面との交点の、画像平面に対応する二次元座標系における二次元位置を、第２画像データが示す画像における当該複数の特徴点それぞれの二次元位置と特定する。なお、二次元位置特定部１５４は、公知の座標変換の行列式を用いて、複数の特徴点それぞれの三次元座標系の座標位置を、特定した画像平面に対応する二次元座標系の座標位置に変換してもよい。

【0041】

第２画像取得部１５５は、複数の第２撮像装置２それぞれが撮像した物体Ｏの画像データである第２画像データを取得する。第２画像取得部１５５は、第１撮像装置１が第１画像データを生成したときの状態と同じ状態の物体Ｏを撮像した第２画像データを取得する。例えば、第２画像取得部１５５は、第１撮像装置１が物体Ｏを撮像するタイミングと同じタイミングで複数の第２撮像装置２それぞれが撮像した物体Ｏの画像データである第２画像データを取得する。

【0042】

なお、第１撮像装置１と、第２撮像装置２との撮像タイミングが同一であることとしたが、これに限らない。物体Ｏの状態が時間の経過に応じて変化しない場合には、第１撮像装置１と、第２撮像装置２との撮像タイミングが異なっていてもよい。また、複数の物体Ｏの状態が時間の経過に応じて変化しない場合には、複数の第２撮像装置２それぞれの撮像タイミングが異なっていてもよい。

【0043】

生成部１５６は、第２画像取得部１５５が取得した複数の第２画像データと、二次元位置特定部１５４が複数の第２画像データのそれぞれに対して特定した、複数の特徴点それぞれの二次元位置とを含むデータセットを生成する。例えば、生成部１５６は、第２画像取得部１５５が取得した第２画像データに対して画像処理を行うことにより、当該第２画像データから、マーカーＭを示す画像データを消去する。そして、生成部１５６は、マーカーＭを消去した後の第２画像データと、二次元位置特定部１５４が当該第２画像データが生成された状態と同じ状態で物体Ｏが撮像された第１画像データに基づいて特定した複数の特徴点それぞれの二次元位置を示す二次元位置情報とを含むデータセットを生成する。

【0044】

出力部１５７は、生成部１５６が生成したデータセットを出力する。例えば、出力部１５７は、生成部１５６が生成したデータセットを記憶部１４に記憶させる。

【0045】

なお、生成部１５６は、複数の第２撮像装置２それぞれが一つの向きの物体Ｏを撮像した複数の第２画像データそれぞれに対応するデータセットを生成したが、これに限らない。例えば、生成部１５６は、複数の向きそれぞれに対応する物体Ｏを複数の第２撮像装置２それぞれにより撮像したときの複数の第２画像データに対応するデータセットを生成してもよい。

【0046】

この場合、制御部１５は、生成部１５６により生成されたデータセットを出力部１５７が出力した後に物体Ｏの向きを変化させる調整部を有する。例えば、所定の軸を中心に回転する回転テーブル上に物体Ｏを配置しておく。そして、調整部は、出力部１５７がデータセットを出力したことに応じて、所定の軸を中心に回転テーブルを回転させ、物体Ｏの向きを変化させる。そして、三次元位置特定部１５３は、調整部が物体Ｏの向きを変化させた場合における、物体Ｏの複数の向きそれぞれに対応する第１画像データに基づいて、複数の向きそれぞれに対応する物体Ｏの特徴点の三次元位置を特定する。

【0047】

ここで、調整部が回転テーブルを回転させ、物体Ｏの向きを変化させることとしたが、これに限らず、情報処理装置１０とは異なる装置又は手動により物体Ｏの向きを変化させてもよい。また、物体ＯがＡＧＶ（Automatic Guided Vehicle）やドローン等の自身で向きを変更可能な物体である場合には、調整部、情報処理装置１０とは異なる装置、又は手動により物体Ｏに指示情報を送信し、物体Ｏに向きを自ら変化させるようにしてもよい。

【0048】

第２画像取得部１５５は、複数の第２撮像装置２それぞれが撮像した物体Ｏの複数の向きそれぞれに対応する第２画像データを取得する。そして、二次元位置特定部１５４は、撮像装置情報が示す複数の第２撮像装置２の三次元位置及び撮像方向と、三次元位置特定部１５３が、当該第２画像データが生成された状態と同じ状態で物体Ｏが撮像された第１画像データに基づいて特定した物体Ｏの複数の向きそれぞれに対応する複数の特徴点それぞれの三次元位置とに基づいて、第２画像取得部１５５が取得した物体Ｏの複数の向きそれぞれに対応する第２画像データにおける複数の特徴点それぞれの二次元位置を特定する。

【0049】

そして、生成部１５６は、物体Ｏの複数の向きそれぞれに対応する第２画像データと、二次元位置特定部１５４が第１画像データに基づいて特定した複数の特徴点それぞれの二次元位置とを含むデータセットを生成する。このようにすることで、情報処理装置１０は、物体Ｏを様々な方向から撮像した第２画像データに対応するデータセットを効率的に生成することができる。

【0050】

［動作フロー］
続いて、情報処理装置１０の処理の流れについて説明する。図４は、情報処理装置１０における処理の流れの一例を示すフローチャートである。本フローチャートでは、物体Ｏを回転テーブルに配置させておき、回転テーブルを回転させながら物体Ｏの複数の向きそれぞれに対応するデータセットを生成するときの処理の流れについて説明する。

【0051】

まず、装置情報取得部１５１は、複数の第２撮像装置２それぞれの三次元空間における三次元位置及び撮像方向を示す撮像装置情報を取得する（Ｓ１）。
続いて、第１画像取得部１５２は、複数の第１撮像装置１それぞれが撮像した物体Ｏの画像データである第１画像データを取得する（Ｓ２）。また、第２画像取得部１５５は、複数の第２撮像装置２それぞれが撮像した物体Ｏの画像データである第２画像データを取得する（Ｓ３）。

【0052】

続いて、三次元位置特定部１５３は、Ｓ２において取得された第１画像データに基づいて、三次元空間における、物体Ｏの特徴を示す複数の特徴点それぞれの三次元位置を特定する（Ｓ４）。
続いて、二次元位置特定部１５４は、Ｓ１において取得された撮像装置情報が示す複数の第２撮像装置２それぞれの三次元位置及び撮像方向と、Ｓ４において特定された物体Ｏの複数の特徴点それぞれの三次元位置とに基づいて、複数の第２撮像装置２それぞれが物体Ｏを撮像した場合に生成される第２画像データに対応する物体Ｏの複数の特徴点それぞれの二次元位置を特定する（Ｓ５）。

【0053】

続いて、生成部１５６は、Ｓ３において取得された複数の第２画像データと、Ｓ５において特定された、複数の第２画像データそれぞれに対応する複数の特徴点それぞれの二次元位置とを含むデータセットを生成する（Ｓ６）。続いて、出力部１５７は、生成部１５６が生成したデータセットを出力する（Ｓ７）。

【0054】

続いて、制御部１５は、データセットの生成を終了するか否かを判定する（Ｓ８）。例えば、制御部１５は、操作部１３を介してデータセットを生成する処理を終了する指示を受け付けたか否かを判定することにより、データセットの生成を終了するか否かを判定する。制御部１５は、データセットの生成を終了すると判定すると、本フローチャートに係る処理を終了する。

【0055】

また、制御部１５は、データセットの生成を終了しないと判定すると、Ｓ９に処理を移し、回転テーブルを回転させて物体Ｏの向きを変化させる。その後、制御部１５は、Ｓ２に処理を移す。これにより、Ｓ２からＳ７の処理が繰り返され、データセットの生成が繰り返される。なお、本フローチャートでは、初めにＳ１に係る処理を実行し、撮像装置情報を取得することとしたが、これに限らない。Ｓ１に係る処理は、撮像装置情報を用いる処理であるＳ５の前の任意のタイミングで実行されてもよい。

【0056】

［変形例］
なお、上述の説明では、情報処理装置１０に複数の第２撮像装置２が接続され、生成部１５６が、複数の第２撮像装置２それぞれが撮像した第２画像データと、二次元位置特定部１５４が当該第２画像データに対して特定した複数の特徴点それぞれの二次元位置とを含むデータセットを生成することとしたが、これに限らない。情報処理装置１０には、１台の第２撮像装置２が接続され、生成部１５６が、１台の第２撮像装置２が撮像した第２画像データと、当該第２画像データが生成された状態と同じ状態で物体Ｏが撮像された第１画像データに基づいて二次元位置特定部１５４が特定した複数の特徴点それぞれの二次元位置とを含むデータセットを生成してもよい。

【0057】

また、上述の説明では、複数の第１撮像装置１が情報処理装置１０に接続され、三次元位置特定部１５３が、複数の第１撮像装置１が物体Ｏを撮像した第１画像データに基づいて、物体Ｏの特徴を示す複数の特徴点それぞれの三次元位置を特定したが、これに限らない。情報処理装置１０には、１台の第１撮像装置１が接続され、１台の第１撮像装置１が物体Ｏを撮像した第１画像データに基づいて、物体Ｏの特徴を示す複数の特徴点それぞれの三次元位置を特定してもよい。

【0058】

この場合、物体Ｏに対し、所定の模様が付されたマーカーを付しておく。所定の模様は、例えば、第１撮像装置１が撮像した画像データが示す画像に写るマーカーの状態に基づいて、三次元位置特定部１５３がマーカーの傾きと、回転角とを検出できるような模様である。三次元位置特定部１５３は、例えば１台の第１撮像装置１が物体Ｏを撮像した第１画像データが示す画像に写るマーカーの大きさを特定するとともに、マーカーの模様に基づいて、マーカーの傾き及び回転角を特定する。そして、三次元位置特定部１５３は、特定したマーカーの大きさ、傾き及び回転角に基づいて、マーカーの三次元位置を特定する。

【0059】

また、第１撮像装置１として、１台で三次元位置を特定可能なモーションキャプチャ用のカメラを採用してもよい。そして、三次元位置特定部１５３は、当該第１撮像装置１が測定したマーカーの三次元位置を示す三次元位置情報を取得することにより、マーカーの三次元位置を特定してもよい。

【0060】

また、上述の説明では、物体ＯにマーカーＭを付しておき、三次元位置特定部１５３がマーカーＭの三次元位置を特定することにより物体Ｏの特徴点の三次元位置を特定することとしたが、これに限らない。物体Ｏが人等の関節を有する物体であり、マーカーを設けることなく関節を特定可能である場合には、物体Ｏにマーカーを付さなくてもよい。そして、三次元位置特定部１５３は、物体Ｏの関節の三次元位置を、物体の特徴点の三次元位置として特定してもよい。

【0061】

［情報処理システムＳによる効果］
以上説明したように、本実施形態に係る情報処理システムＳにおいて、情報処理装置１０は、三次元空間における三次元位置及び撮像方向が特定されている第１撮像装置１が撮像した物体Ｏの画像データである第１画像データに基づいて、物体Ｏの特徴を示す複数の特徴点それぞれの三次元位置を特定し、物体Ｏを撮像する第２撮像装置２の三次元位置及び撮像方向と、特定した複数の特徴点それぞれの三次元位置とに基づいて、第２撮像装置２が撮像した物体Ｏの画像データである第２画像データが示す画像における複数の特徴点それぞれの二次元位置を特定する。そして、情報処理装置１０は、第２撮像装置が撮像した第２画像データと、特定した複数の特徴点それぞれの二次元位置とを含むデータセットを生成する。このようにすることで、情報処理装置１０は、物体の特徴点の位置を推定するための推定モデルの学習に用いるデータセットを効率よく生成することができる。

【0062】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0063】

１ 第１撮像装置
２ 第２撮像装置
１０ 情報処理装置
１１ 通信部
１２ 表示部
１３ 操作部
１４ 記憶部
１５ 制御部
１５１ 装置情報取得部
１５２ 第１画像取得部
１５３ 三次元位置特定部
１５４ 二次元位置特定部
１５５ 第２画像取得部
１５６ 生成部
１５７ 出力部
Ｓ 情報処理システム

【要約】

【課題】物体の特徴点の位置を推定するための推定モデルの学習に用いるデータセットを効率よく生成する。
【解決手段】情報処理装置１０は、三次元位置及び撮像方向が特定されている第１撮像装置１が撮像した物体Ｏの第１画像データに基づいて、物体Ｏの特徴を示す複数の特徴点それぞれの三次元位置を特定する三次元位置特定部１５３と、第２撮像装置２の三次元位置及び撮像方向を示す撮像装置情報を取得する装置情報取得部１５１と、第２撮像装置２が撮像した物体Ｏの第２画像データを取得する第２画像取得部１５５と、第２撮像装置２の三次元位置及び撮像方向と、特定された複数の特徴点それぞれの三次元位置とに基づいて、第２画像データが示す画像における複数の特徴点それぞれの二次元位置を特定する二次元位置特定部１５４と、第２画像データと、特定された複数の特徴点それぞれの二次元位置とを含むデータセットを生成する生成部１５６と、を有する。
【選択図】図２

【図1】

【図2】

【図3】

【図4】