ホーム > 特許ランキング > 株式会社ＮＴＴドコモ
▶ 株式会社ＮＴＴドコモの特許一覧 ▶ 株式会社セックの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024143162
(43)【公開日】2024-10-11
(54)【発明の名称】３次元モデル生成装置
(51)【国際特許分類】
G06T 1/00 20060101AFI20241003BHJP
G06T 7/55 20170101ALI20241003BHJP
G06T 17/00 20060101ALI20241003BHJP
【ＦＩ】
G06T1/00 315
G06T7/55
G06T17/00
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023055692
(22)【出願日】2023-03-30
(71)【出願人】
【識別番号】392026693
【氏名又は名称】株式会社ＮＴＴドコモ
(71)【出願人】
【識別番号】501493358
【氏名又は名称】株式会社セック
(74)【代理人】
【識別番号】110003177
【氏名又は名称】弁理士法人旺知国際特許事務所
(72)【発明者】
【氏名】佐藤 里奈
(72)【発明者】
【氏名】原 未來
(72)【発明者】
【氏名】小林 洸陽
(72)【発明者】
【氏名】高木 純平
(72)【発明者】
【氏名】村中 勇輝
(72)【発明者】
【氏名】杉江 卓哉
【テーマコード（参考）】
5B057
5B080
5L096
【Ｆターム（参考）】
5B057BA24
5B057CA13
5B057DA06
5B057DB03
5B057DC05
5B080AA13
5L096CA24
5L096FA66
5L096FA67
5L096FA69
5L096HA08
(57)【要約】
【課題】推定された深度情報を用いて２次元画像から３次元モデルを生成する場合の、当該３次元モデルの精度を向上する。
【解決手段】３次元モデル３次元モデル生成装置１０は、第１マーカーＭ１と第２マーカーＭ２とが配置された現実空間ＲＳを撮像装置３０が撮像することによって得られた２次元画像ＤＰに基づいて、現実空間ＲＳ上の複数の点から撮像装置３０までの各相対距離を示す深度情報を推定する深度情報推定部１１２と、第１マーカー画像ＭＰ１の形状に基づいて、第１マーカーＭ１から撮像装置３０までの第１絶対距離を算出する第１算出部１１４と、第２マーカー画像ＭＰ２の形状に基づいて、第２マーカーＭ２から撮像装置３０までの第２絶対距離を算出する第２算出部１１５と、第１絶対距離及び第２絶対距離に基づいて、複数の相対距離を複数の絶対距離に変換する変換部１１６と、を備える。
【選択図】図２
【解決手段】３次元モデル３次元モデル生成装置１０は、第１マーカーＭ１と第２マーカーＭ２とが配置された現実空間ＲＳを撮像装置３０が撮像することによって得られた２次元画像ＤＰに基づいて、現実空間ＲＳ上の複数の点から撮像装置３０までの各相対距離を示す深度情報を推定する深度情報推定部１１２と、第１マーカー画像ＭＰ１の形状に基づいて、第１マーカーＭ１から撮像装置３０までの第１絶対距離を算出する第１算出部１１４と、第２マーカー画像ＭＰ２の形状に基づいて、第２マーカーＭ２から撮像装置３０までの第２絶対距離を算出する第２算出部１１５と、第１絶対距離及び第２絶対距離に基づいて、複数の相対距離を複数の絶対距離に変換する変換部１１６と、を備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
現実空間を撮像装置が撮像することによって得られた２次元画像に基づいて、前記２次元画像の複数の画素と一対一に対応する前記現実空間上の複数の点から前記撮像装置までの各相対距離を示す深度情報を推定する深度情報推定部と、
ユーザによって指定された前記２次元画像上の第１点の位置を示す第１位置と、前記２次元画像上の第２点の位置を示す第２位置とを受け付ける受付部と、
前記第１点に対応する現実空間上の第１特徴点から前記撮像装置までの第１絶対距離及び前記第２点に対応する現実空間上の第２特徴点から前記撮像装置までの第２絶対距離を取得する取得部と、
前記第１位置及び前記第１絶対距離、並びに前記第２位置及び前記第２絶対距離に基づいて、前記複数の画素に一対一に対応する複数の相対距離を複数の絶対距離に変換する変換部と、
前記変換部によって変換された前記複数の絶対距離と前記２次元画像とに基づいて、前記現実空間を示す３次元モデルを生成する生成部と、
を備える３次元モデル生成装置。
ユーザによって指定された前記２次元画像上の第１点の位置を示す第１位置と、前記２次元画像上の第２点の位置を示す第２位置とを受け付ける受付部と、
前記第１点に対応する現実空間上の第１特徴点から前記撮像装置までの第１絶対距離及び前記第２点に対応する現実空間上の第２特徴点から前記撮像装置までの第２絶対距離を取得する取得部と、
前記第１位置及び前記第１絶対距離、並びに前記第２位置及び前記第２絶対距離に基づいて、前記複数の画素に一対一に対応する複数の相対距離を複数の絶対距離に変換する変換部と、
前記変換部によって変換された前記複数の絶対距離と前記２次元画像とに基づいて、前記現実空間を示す３次元モデルを生成する生成部と、
を備える３次元モデル生成装置。
【請求項2】
第１マーカーと第２マーカーとが配置された現実空間を撮像装置が撮像することによって得られた２次元画像に基づいて、前記２次元画像の複数の画素と一対一に対応する前記現実空間上の複数の点から前記撮像装置までの各相対距離を示す深度情報を推定する深度情報推定部と、
前記２次元画像に含まれる前記第１マーカーを示す第１マーカー画像及び前記第２マーカーを示す第２マーカー画像を認識する認識部と、
前記第１マーカー画像の形状に基づいて、前記第１マーカーから前記撮像装置までの第１絶対距離を算出する第１算出部と、
前記第２マーカー画像の形状に基づいて、前記第２マーカーから前記撮像装置までの第２絶対距離を算出する第２算出部と、
前記第１絶対距離及び前記第２絶対距離に基づいて、前記複数の画素に一対一に対応する複数の相対距離を複数の絶対距離に変換する変換部と、
前記変換部によって変換された前記複数の絶対距離と前記２次元画像とに基づいて、前記現実空間を示す３次元モデルを生成する生成部と、
を備える３次元モデル生成装置。
前記２次元画像に含まれる前記第１マーカーを示す第１マーカー画像及び前記第２マーカーを示す第２マーカー画像を認識する認識部と、
前記第１マーカー画像の形状に基づいて、前記第１マーカーから前記撮像装置までの第１絶対距離を算出する第１算出部と、
前記第２マーカー画像の形状に基づいて、前記第２マーカーから前記撮像装置までの第２絶対距離を算出する第２算出部と、
前記第１絶対距離及び前記第２絶対距離に基づいて、前記複数の画素に一対一に対応する複数の相対距離を複数の絶対距離に変換する変換部と、
前記変換部によって変換された前記複数の絶対距離と前記２次元画像とに基づいて、前記現実空間を示す３次元モデルを生成する生成部と、
を備える３次元モデル生成装置。
【請求項3】
前記変換部は、前記第１絶対距離及び前記第２絶対距離に基づいて、相対距離を絶対距離に変換するためのパラメータを算出し、算出されたパラメータを用いて前記複数の画素に一対一に対応する複数の相対距離を複数の絶対距離に変換する、
請求項２に記載の３次元モデル生成装置。
請求項２に記載の３次元モデル生成装置。
【請求項4】
前記２次元画像の中から前記現実空間の平面に対応する部分画像を検出する検出部と、
前記第１算出部は、
前記第１マーカー画像の形状に基づいて、前記第１絶対距離、前記第１マーカーの姿勢を示す姿勢情報、及び前記第１マーカーの３次元座標を算出し、
前記平面に前記第１マーカーが配置される場合、前記第１マーカーの３次元座標及び前記姿勢情報に基づいて、前記部分画像の１以上の画素に対応する前記平面上の１以上の点から前記撮像装置までの１以上の絶対距離を算出し、
前記生成部は、前記平面上の１以上の点について、前記変換部によって変換された絶対距離の代りに、前記第１算出部によって算出された前記１以上の絶対距離を用いることによって、前記３次元モデルを生成する、
請求項２に記載の３次元モデル生成装置。
前記第１算出部は、
前記第１マーカー画像の形状に基づいて、前記第１絶対距離、前記第１マーカーの姿勢を示す姿勢情報、及び前記第１マーカーの３次元座標を算出し、
前記平面に前記第１マーカーが配置される場合、前記第１マーカーの３次元座標及び前記姿勢情報に基づいて、前記部分画像の１以上の画素に対応する前記平面上の１以上の点から前記撮像装置までの１以上の絶対距離を算出し、
前記生成部は、前記平面上の１以上の点について、前記変換部によって変換された絶対距離の代りに、前記第１算出部によって算出された前記１以上の絶対距離を用いることによって、前記３次元モデルを生成する、
請求項２に記載の３次元モデル生成装置。
【請求項5】
第１マーカーが配置された平面を含む現実空間を撮像装置が撮像することによって得られた２次元画像に基づいて、前記２次元画像の複数の画素と一対一に対応する前記現実空間上の複数の点から前記撮像装置までの各相対距離を示す深度情報を推定する深度情報推定部と、
前記２次元画像に含まれる、前記第１マーカーを示す第１マーカー画像を認識する認識部と、
前記２次元画像の中から前記平面に対応する部分画像を検出する検出部と、
前記第１マーカー画像の形状に基づいて、前記第１マーカーから前記撮像装置までの絶対距離を示す第１絶対距離、前記第１マーカーの３次元座標、及び前記第１マーカーの姿勢を示す姿勢情報を算出する第１算出部と、
前記第１マーカーの３次元座標及び前記姿勢情報に基づいて、前記部分画像の１つの画素に対応する前記平面上の点から前記撮像装置までの絶対距離を示す第２絶対距離を算出する第２算出部と、
前記第１絶対距離及び前記第２絶対距離に基づいて、前記複数の画素に一対一に対応する複数の相対距離を複数の絶対距離に変換する変換部と、
前記変換部によって変換された前記複数の絶対距離と前記２次元画像とに基づいて、前記現実空間を示す３次元モデルを生成する生成部と、
を備える３次元モデル生成装置。
前記２次元画像に含まれる、前記第１マーカーを示す第１マーカー画像を認識する認識部と、
前記２次元画像の中から前記平面に対応する部分画像を検出する検出部と、
前記第１マーカー画像の形状に基づいて、前記第１マーカーから前記撮像装置までの絶対距離を示す第１絶対距離、前記第１マーカーの３次元座標、及び前記第１マーカーの姿勢を示す姿勢情報を算出する第１算出部と、
前記第１マーカーの３次元座標及び前記姿勢情報に基づいて、前記部分画像の１つの画素に対応する前記平面上の点から前記撮像装置までの絶対距離を示す第２絶対距離を算出する第２算出部と、
前記第１絶対距離及び前記第２絶対距離に基づいて、前記複数の画素に一対一に対応する複数の相対距離を複数の絶対距離に変換する変換部と、
前記変換部によって変換された前記複数の絶対距離と前記２次元画像とに基づいて、前記現実空間を示す３次元モデルを生成する生成部と、
を備える３次元モデル生成装置。
【請求項6】
前記検出部は、前記第１絶対距離及び前記姿勢情報に基づいて、前記部分画像を検出する、請求項４又は５に記載の３次元モデル生成装置。
【請求項7】
前記平面には、前記第２マーカーと第３マーカーが位置し、
前記認識部は、前記２次元画像に含まれる前記第３マーカーを示す第３マーカー画像を認識し、
前記第３マーカー画像の形状に基づいて、前記第３マーカーから前記撮像装置までの第３絶対距離を算出する第３算出部を更に備え、
前記検出部は、前記第１絶対距離、前記第２絶対距離及び前記第３絶対距離に基づいて、前記部分画像を検出する、請求項４又は５に記載の３次元モデル生成装置。
前記認識部は、前記２次元画像に含まれる前記第３マーカーを示す第３マーカー画像を認識し、
前記第３マーカー画像の形状に基づいて、前記第３マーカーから前記撮像装置までの第３絶対距離を算出する第３算出部を更に備え、
前記検出部は、前記第１絶対距離、前記第２絶対距離及び前記第３絶対距離に基づいて、前記部分画像を検出する、請求項４又は５に記載の３次元モデル生成装置。
【請求項8】
第１マーカーが配置された平面を含む現実空間を撮像装置が撮像することによって得られた２次元画像に基づいて、前記２次元画像の複数の画素と一対一に対応する前記現実空間上の複数の点から前記撮像装置までの各相対距離を示す深度情報を推定する深度情報推定部と、
前記２次元画像に含まれる、前記第１マーカーを示す第１マーカー画像を認識する認識部と、
前記２次元画像の中から前記平面に対応する部分画像を検出する検出部と、
前記第１マーカー画像の形状に基づいて、前記第１マーカーから前記撮像装置までの絶対距離を示す第１絶対距離、前記第１マーカーの３次元座標、並びに前記第１マーカーの姿勢を示す姿勢情報を算出する第１算出部と、
前記第１マーカーの３次元座標及び前記姿勢情報に基づいて、前記部分画像の１以上の画素に対応する前記平面上の１以上の点から前記撮像装置までの１以上の絶対距離を算出する第２算出部と、
前記１以上の絶対距離のうち少なくとも１つの絶対距離及び前記第１絶対距離に基づいて、前記複数の画素に一対一に対応する複数の相対距離を複数の絶対距離に変換する変換部と、
前記第２算出部によって算出された絶対距離、及び前記複数の絶対距離のうち前記第２算出部によって算出された絶対距離を除いた絶対距離と、前記２次元画像とに基づいて、前記現実空間を示す３次元モデルを生成する生成部と、
を備える３次元モデル生成装置。
前記２次元画像に含まれる、前記第１マーカーを示す第１マーカー画像を認識する認識部と、
前記２次元画像の中から前記平面に対応する部分画像を検出する検出部と、
前記第１マーカー画像の形状に基づいて、前記第１マーカーから前記撮像装置までの絶対距離を示す第１絶対距離、前記第１マーカーの３次元座標、並びに前記第１マーカーの姿勢を示す姿勢情報を算出する第１算出部と、
前記第１マーカーの３次元座標及び前記姿勢情報に基づいて、前記部分画像の１以上の画素に対応する前記平面上の１以上の点から前記撮像装置までの１以上の絶対距離を算出する第２算出部と、
前記１以上の絶対距離のうち少なくとも１つの絶対距離及び前記第１絶対距離に基づいて、前記複数の画素に一対一に対応する複数の相対距離を複数の絶対距離に変換する変換部と、
前記第２算出部によって算出された絶対距離、及び前記複数の絶対距離のうち前記第２算出部によって算出された絶対距離を除いた絶対距離と、前記２次元画像とに基づいて、前記現実空間を示す３次元モデルを生成する生成部と、
を備える３次元モデル生成装置。
【請求項9】
前記現実空間は、前記平面と前記第１マーカーが配置されていない他の平面を含み、
前記検出部は、前記２次元画像の中から前記他の平面に対応する他の部分画像を検出し、
前記第２算出部は、前記平面と前記他の平面とがなす角度、前記第１マーカーの３次元座標及び前記姿勢情報に基づいて、前記他の部分画像の１以上の画素に対応する前記他の平面上の１以上の点から前記撮像装置までの１以上の絶対距離を、更に算出し、
前記変換部は、前記平面に関する１以上の絶対距離及び前記他の平面に関する１以上の絶対距離のうち少なくとも１つの絶対距離と、前記第１絶対距離とに基づいて、前記複数の画素に一対一に対応する複数の相対距離を複数の絶対距離に変換する、
請求項８に記載の３次元モデル生成装置。
前記検出部は、前記２次元画像の中から前記他の平面に対応する他の部分画像を検出し、
前記第２算出部は、前記平面と前記他の平面とがなす角度、前記第１マーカーの３次元座標及び前記姿勢情報に基づいて、前記他の部分画像の１以上の画素に対応する前記他の平面上の１以上の点から前記撮像装置までの１以上の絶対距離を、更に算出し、
前記変換部は、前記平面に関する１以上の絶対距離及び前記他の平面に関する１以上の絶対距離のうち少なくとも１つの絶対距離と、前記第１絶対距離とに基づいて、前記複数の画素に一対一に対応する複数の相対距離を複数の絶対距離に変換する、
請求項８に記載の３次元モデル生成装置。
【請求項10】
前記現実空間は、物体を含み、
前記物体と前記平面との距離、又は前記物体と前記他の平面との距離は、閾値以下であり、
前記平面上の点及び前記他の平面上の点のうち、前記物体と最も近い点である基準点は、前記平面上の１以上の点又は前記他の平面上の１以上の点に含まれ、
前記検出部は、前記２次元画像に基づいて前記物体に対応する物体画像を検出し、
前記第２算出部は、前記基準点の三次元座標を算出する、
請求項９に記載の３次元モデル生成装置。
前記物体と前記平面との距離、又は前記物体と前記他の平面との距離は、閾値以下であり、
前記平面上の点及び前記他の平面上の点のうち、前記物体と最も近い点である基準点は、前記平面上の１以上の点又は前記他の平面上の１以上の点に含まれ、
前記検出部は、前記２次元画像に基づいて前記物体に対応する物体画像を検出し、
前記第２算出部は、前記基準点の三次元座標を算出する、
請求項９に記載の３次元モデル生成装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、３次元モデル生成装置に関する。
【背景技術】
【0002】
従来、３次元スキャナ、又はＬｉＤＡＲスキャナ等の深度カメラによって生成される２次元画像に基づいて、３次元モデルを生成する技術が利用されてきた。
【0003】
例えば、特許文献１は、３次元スキャナ、又は深度カメラによって生成される２次元画像に基づいて、３次元モデルを生成する技術を開示している。特許文献１に係る技術においては、仮想オブジェクトに対する変更操作が２次元画像にマッピングされ、当該マッピングによって変更された２次元画像に基づいて３次元モデルが変更される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２２－０９２７４２号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ＬｉＤＡＲスキャナ等の計測装置を用いずに３次元モデルを生成する場合、２次元画像から深度を推定し、推定した深度情報を用いて空間の３次元モデルを生成する方法を採用することが考えられる。しかし、推定された深度情報は、ＬｉＤＡＲスキャナ等の計測装置を用いる場合と比較して精度が低いため、３次元モデルの精度が低いといった問題があった。
【0006】
そこで、本発明は、推定された深度情報を用いて２次元画像から３次元モデルを生成する場合に、当該３次元モデルの精度を向上することを目的とする。
【課題を解決するための手段】
【0007】
本発明の第１の好適な態様に係る３次元モデル生成装置は、現実空間を撮像装置が撮像することによって得られた２次元画像に基づいて、前記２次元画像の複数の画素と一対一に対応する前記現実空間上の複数の点から前記撮像装置までの各相対距離を示す深度情報を推定する深度情報推定部と、ユーザによって指定された前記２次元画像上の第１点の位置を示す第１位置と、前記２次元画像上の第２点の位置を示す第２位置とを受け付ける受付部と、前記第１点に対応する現実空間上の第１特徴点から前記撮像装置までの第１絶対距離及び前記第２点に対応する現実空間上の第２特徴点から前記撮像装置までの第２絶対距離を取得する取得部と、前記第１位置及び前記第１絶対距離、並びに前記第２位置及び前記第２絶対距離に基づいて、前記複数の画素に一対一に対応する複数の相対距離を複数の絶対距離に変換する変換部と、前記変換部によって変換された前記複数の絶対距離と前記２次元画像とに基づいて、前記現実空間を示す３次元モデルを生成する生成部と、を備える。
【0008】
本発明の第２の好適な態様に係る３次元モデル生成装置は、第１マーカーと第２マーカーとが配置された現実空間を撮像装置が撮像することによって得られた２次元画像に基づいて、前記２次元画像の複数の画素と一対一に対応する前記現実空間上の複数の点から前記撮像装置までの各相対距離を示す深度情報を推定する深度情報推定部と、前記２次元画像に含まれる前記第１マーカーを示す第１マーカー画像及び前記第２マーカーを示す第２マーカー画像を認識する認識部と、前記第１マーカー画像の形状に基づいて、前記第１マーカーから前記撮像装置までの第１絶対距離を算出する第１算出部と、前記第２マーカー画像の形状に基づいて、前記第２マーカーから前記撮像装置までの第２絶対距離を算出する第２算出部と、前記第１絶対距離及び前記第２絶対距離に基づいて、前記複数の画素に一対一に対応する複数の相対距離を複数の絶対距離に変換する変換部と、前記変換部によって変換された前記複数の絶対距離と前記２次元画像とに基づいて、前記現実空間を示す３次元モデルを生成する生成部と、を備える。
【0009】
本発明の第３の好適な態様に係る３次元モデル生成装置は、第１マーカーが配置された平面を含む現実空間を撮像装置が撮像することによって得られた２次元画像に基づいて、前記２次元画像の複数の画素と一対一に対応する前記現実空間上の複数の点から前記撮像装置までの各相対距離を示す深度情報を推定する深度情報推定部と、前記２次元画像に含まれる、前記第１マーカーを示す第１マーカー画像を認識する認識部と、前記２次元画像の中から前記平面に対応する部分画像を検出する検出部と、前記第１マーカー画像の形状に基づいて、前記第１マーカーから前記撮像装置までの絶対距離を示す第１絶対距離、前記第１マーカーの３次元座標、及び前記第１マーカーの姿勢を示す姿勢情報を算出する第１算出部と、前記第１マーカーの３次元座標及び前記姿勢情報に基づいて、前記部分画像の１つの画素に対応する前記平面上の点から前記撮像装置までの絶対距離を示す第２絶対距離を算出する第２算出部と、前記第１絶対距離及び前記第２絶対距離に基づいて、前記複数の画素に一対一に対応する複数の相対距離を複数の絶対距離に変換する変換部と、前記変換部によって変換された前記複数の絶対距離と前記２次元画像とに基づいて、前記現実空間を示す３次元モデルを生成する生成部と、を備える。
【0010】
本発明の第４の好適な態様に係る３次元モデル生成装置は、第１マーカーが配置された平面を含む現実空間を撮像装置が撮像することによって得られた２次元画像に基づいて、前記２次元画像の複数の画素と一対一に対応する前記現実空間上の複数の点から前記撮像装置までの各相対距離を示す深度情報を推定する深度情報推定部と、前記２次元画像に含まれる、前記第１マーカーを示す第１マーカー画像を認識する認識部と、前記２次元画像の中から前記平面に対応する部分画像を検出する検出部と、前記第１マーカー画像の形状に基づいて、前記第１マーカーから前記撮像装置までの絶対距離を示す第１絶対距離、前記第１マーカーの３次元座標、並びに前記第１マーカーの姿勢を示す姿勢情報を算出する第１算出部と、前記第１マーカーの３次元座標及び前記姿勢情報に基づいて、前記部分画像の１以上の画素に対応する前記平面上の１以上の点から前記撮像装置までの１以上の絶対距離を算出する第２算出部と、前記１以上の絶対距離のうち少なくとも１つの絶対距離及び前記第１絶対距離に基づいて、前記複数の画素に一対一に対応する複数の相対距離を複数の絶対距離に変換する変換部と、前記第２算出部によって算出された絶対距離、及び前記複数の絶対距離のうち前記第２算出部によって算出された絶対距離を除いた絶対距離と、前記２次元画像とに基づいて、前記現実空間を示す３次元モデルを生成する生成部と、を備える。
【発明の効果】
【0011】
本発明によれば、推定された深度情報を用いて２次元画像から３次元モデルを生成する場合に、当該３次元モデルの精度を向上できる。
【図面の簡単な説明】
【0012】
【図1】生成システム１の全体構成を示す図。
【図2】３次元モデル生成装置１０の構成例を示すブロック図。
【図3A】撮像装置３０から受信された２次元画像ＤＰの一例を示す図。
【図3B】撮像装置３０から受信された２次元画像ＤＰの他の例を示す図。
【図4】第１学習済みモデルＬＭ１から出力される深度マップＤＭの例を示す図。
【図5】カメラ座標系であるＸＹＺ座標系を示す図。
【図6】マーカーＭ１，Ｍ２から撮像装置３０までの絶対距離の例を示す図。
【図7】マーカーＭ１，Ｍ２から撮像装置３０までの相対距離の逆数の例を示す図。
【図8】３次元モデル生成装置１０の動作例を示すフローチャート。
【図9】３次元モデル生成装置１０Ａの構成例を示すブロック図。
【図10】部分画像ＳＧ１の例を示す図。
【図11】マーカーＭ１が配置される平面上の１以上の点の絶対距離の算出方法を示す図。
【図12】マーカーＭ１が配置される平面上の１以上の点の絶対距離の算出方法を示す図。
【図13】マーカーＭ１が配置される平面上の１以上の点の絶対距離の算出方法を示す図。
【図14】マーカーＭ１が配置される平面上の１以上の点の絶対距離の算出方法を示す図。
【図15】マーカーＭ１が配置される平面上の１以上の点の絶対距離の算出方法を示す図。
【図16】マーカーＭ１が配置される平面上の１以上の点の絶対距離の算出方法を示す図。
【図17】マーカーＭ１が配置される平面上の１以上の点の絶対距離の算出方法を示す図。
【図18】マーカーＭ１が配置される平面上の１以上の点の絶対距離の算出方法を示す図。
【図19】マーカーＭ１が配置される平面上の１以上の点の絶対距離の算出方法を示す図。
【図20】３次元モデル生成装置１０Ａの動作例を示すフローチャート。
【図21】３次元モデル生成装置１０Ｂの構成例を示すブロック図。
【図22】３次元モデル生成装置１０Ｂの動作例を示すフローチャート。
【図23】３次元モデル生成装置１０Ｃの構成例を示すブロック図。
【図24】３次元モデル生成装置１０Ｃの動作例を示すフローチャート。
【図25】３次元モデル生成装置１０Ｄの構成例を示すブロック図。
【図26】マーカーＭ１が配置される平面と、他の平面がなす角度の例を示す図。
【図27】３次元モデル生成装置１０Ｄの動作例を示すフローチャート。
【図28】変形例１に係る点Ｂの３次元座標の算出方法を示す図。
【図29】３次元モデル生成装置１０Ｅの構成例を示すブロック図。
【図30】撮像装置３０から受信された２次元画像ＤＰの一例を示す図。
【発明を実施するための形態】
【0013】
【0014】
１－１：第１実施形態の構成
１－１－１：全体構成
図１は、生成システム１の全体構成を示す。図１に示されるように、生成システム１は、３次元モデル生成装置１０及び撮像装置３０を備える。３次元モデル生成装置１０と撮像装置３０とは、通信網ＮＥＴを介して、互いに通信可能に接続される。撮像装置３０は、現実空間を撮像することによって２次元画像ＤＰを生成する装置である。撮像装置３０は、例えば、コンビニエンスストア、商業施設、又は公共施設等に配置される監視カメラが該当する。撮像装置３０は、レンズ、撮像素子、処理回路、及び通信回路を備える。レンズを介して入射した光は撮像素子に結像する。撮像素子は光を電気信号に変換する。処理回路は、撮像素子から出力される信号を増幅し、増幅された信号をＤＡ変換することによって、２次元画像ＤＰを示す画像データを出力する。通信回路は通信網ＮＥＴを介して画像データを３次元モデル生成装置１０に送信する。なお、３次元モデル生成装置１０は、通信網ＮＥＴを介して画像データを取得する代わりに、記録メディアに記録された画像データを読み込むことによって、画像データを取得してもよい。
１－１－１：全体構成
図１は、生成システム１の全体構成を示す。図１に示されるように、生成システム１は、３次元モデル生成装置１０及び撮像装置３０を備える。３次元モデル生成装置１０と撮像装置３０とは、通信網ＮＥＴを介して、互いに通信可能に接続される。撮像装置３０は、現実空間を撮像することによって２次元画像ＤＰを生成する装置である。撮像装置３０は、例えば、コンビニエンスストア、商業施設、又は公共施設等に配置される監視カメラが該当する。撮像装置３０は、レンズ、撮像素子、処理回路、及び通信回路を備える。レンズを介して入射した光は撮像素子に結像する。撮像素子は光を電気信号に変換する。処理回路は、撮像素子から出力される信号を増幅し、増幅された信号をＤＡ変換することによって、２次元画像ＤＰを示す画像データを出力する。通信回路は通信網ＮＥＴを介して画像データを３次元モデル生成装置１０に送信する。なお、３次元モデル生成装置１０は、通信網ＮＥＴを介して画像データを取得する代わりに、記録メディアに記録された画像データを読み込むことによって、画像データを取得してもよい。
【0015】
３次元モデル生成装置１０は、撮像装置３０が撮像することによって得られた２次元画像ＤＰに基づいて、現実空間を示す３次元モデルを生成する。３次元モデルは現実空間に配置された構造物及び物体を３次元データで表現する。構造物は、例えば、ドア、壁面及び床面が該当する。物体は、例えば、什器及び商品が該当する。
【0016】
本実施形態において、３次元モデル生成装置１０は、撮像装置３０によって生成された２次元画像ＤＰに基づいて、当該２次元画像ＤＰに対応する現実空間上の複数の点から撮像装置３０までの相対距離を推定する。また、３次元モデル生成装置１０は、現実空間に配置されたＡＲマーカーを用いることにより、複数の点の相対距離を、複数の点の絶対距離に変換する。更に３次元モデル生成装置１０は、複数の点の絶対距離と２次元画像ＤＰとに基づいて、３次元モデルを生成する。
【0017】
１－１－２：３次元モデル生成装置の構成
図２は、３次元モデル生成装置１０の構成例を示すブロック図である。３次元モデル生成装置１０は、処理装置１１、記憶装置１２、入力装置１３、通信装置１４、及びディスプレイ１５を備える。３次元モデル生成装置１０が有する各要素は、情報を通信するための単体又は複数のバスによって相互に接続される。
図２は、３次元モデル生成装置１０の構成例を示すブロック図である。３次元モデル生成装置１０は、処理装置１１、記憶装置１２、入力装置１３、通信装置１４、及びディスプレイ１５を備える。３次元モデル生成装置１０が有する各要素は、情報を通信するための単体又は複数のバスによって相互に接続される。
【0018】
処理装置１１は、３次元モデル生成装置１０の全体を制御するプロセッサである。処理装置１１は、例えば、単数又は複数のチップを用いて構成される。また、処理装置１１は、例えば、周辺装置とのインターフェース、演算装置及びレジスタ等を含む中央処理装置（ＣＰＵ：Central Processing Unit）を用いて構成される。なお、処理装置１１が有する機能の一部又は全部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、及びＦＰＧＡ（Field Programmable Gate Array）等のハードウェアによって実現してもよい。処理装置１１は、各種の処理を並列的又は逐次的に実行する。
【0019】
記憶装置１２は、処理装置１１による読取及び書込が可能な記録媒体である。また、記憶装置１２は、処理装置１１が実行する制御プログラムＰＲ１を含む複数のプログラムを記憶する。記憶装置１２は、処理装置１１のワークエリアとして機能する。また、記憶装置１２は、第１学習済みモデルＬＭ１を記憶する。第１学習済みモデルＬＭ１は、後述の深度情報推定部１１２が、２次元画像の複数の画素と一対一に対応する現実空間上の複数の点から、撮像装置３０までの各相対距離を示す深度情報を推定するために用いられる。
【0020】
第１学習済みモデルＬＭ１は、学習フェーズにおいて、複数の教師データを学習することによって生成される。複数の教師データの各々は、現実空間を撮像した２次元画像と、当該２次元画像に含まれる複数の画素と一対一に対応する複数の相対距離を示す深度マップとの組である。
【0021】
また、第１学習済みモデルＬＭ１は、３次元モデル生成装置１０の外部において生成される。第１学習済みモデルＬＭ１は、例えば、図示しないサーバにおいて生成される。この場合、３次元モデル生成装置１０は、通信網ＮＥＴを介して図示しないサーバから第１学習済みモデルＬＭ１を取得する。
【0022】
入力装置１３は、３次元モデル生成装置１０の管理者からの操作を受け付ける。例えば、入力装置１３は、キーボード、タッチパッド、タッチパネル又はマウス等のポインティングデバイスを含んで構成される。ここで、入力装置１３は、タッチパネルを含んで構成される場合、ディスプレイ１５を兼ねてもよい。
【0023】
通信装置１４は、他の装置と通信を行うための、送受信デバイスとしてのハードウェアである。また、通信装置１４は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、及び通信モジュール等とも呼ばれる。通信装置１４は、有線接続用のコネクターを備えてもよい。また、通信装置１４は、無線通信インターフェースを備えていてもよい。有線接続用のコネクター及びインターフェース回路としては有線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢに準拠した製品が挙げられる。また、無線通信インターフェースとしては無線ＬＡＮ及びＢｌｕｅｔｏｏｔｈ（登録商標）等に準拠した製品が挙げられる。
【0024】
ディスプレイ１５は、画像を表示するデバイスである。ディスプレイ１５は、処理装置１１の制御のもとで各種の画像を表示する。
【0025】
以上の構成において、処理装置１１は、制御プログラムＰＲ１を記憶装置１２から読み出す。処理装置１１は、読み出された制御プログラムＰＲ１を実行することによって、通信制御部１１１、深度情報推定部１１２、認識部１１３、第１算出部１１４、第２算出部１１５、変換部１１６、及び生成部１１７として、機能する。
【0026】
通信制御部１１１は、通信装置１４に、撮像装置３０から、現実空間が撮像された２次元画像を受信させる。
【0027】
図３Ａは、撮像装置３０から受信された２次元画像ＤＰの一例を示す図である。２次元画像ＤＰは、撮像装置３０が、現実空間ＲＳを撮像することで生成された画像である。図３Ａに示される例において、現実空間ＲＳには、側壁ＳＷ、対向壁ＦＷ、及び床面ＦＬが存在する。また、現実空間ＲＳには、マーカーＭ１及びＭ２が配置される。マーカーＭ１及びＭ２は、ＡＲマーカーである。マーカーＭ１は、側壁ＳＷにマーカーＭ１が配置される。マーカーＭ２は、撮像装置３０に対向する対向壁ＦＷに配置される。マーカーＭ１は、「第１マーカー」の一例である。マーカーＭ２は、「第２マーカー」の一例である。
【0028】
図２に示される深度情報推定部１１２は、２次元画像ＤＰに基づいて、２次元画像ＤＰの複数の画素と一対一に対応する現実空間ＲＳ上の複数の点から、撮像装置３０までの各相対距離を示す深度情報を推定する。具体的には、深度情報推定部１１２は、第１学習済みモデルＬＭ１に２次元画像ＤＰを入力することによって、第１学習済みモデルＬＭ１から出力される深度マップを取得する。
【0029】
図４は、深度マップＤＭの一例を示す図である。深度マップＤＭは、深度情報推定部１１２が、図３に示される２次元画像ＤＰを第１学習済みモデルＬＭ１に入力した結果、第１学習済みモデルＬＭ１から出力される。図４に示される深度マップＤＭは、グレースケールを用いて表現される。深度マップＤＭでは、撮像装置３０から見て、奥に位置する箇所に対応する画素は、手前に位置する箇所に対応する画素と比較して、暗く表現される。
【0030】
認識部１１３は、２次元画像ＤＰに含まれる、マーカー画像ＭＰ１及びＭＰ２を認識する。マーカーＭ１を示すマーカー画像ＭＰ１は、「第１マーカー画像」の一例である。マーカーＭ２を示すマーカー画像ＭＰ２は、「第２マーカー画像」の一例である。マーカーＭ１とマーカーＭ２とは、白黒のパターンを含む。マーカーＭ１のパターンとマーカーＭ２のパターンとは、同一であってもよいし、互いに異なってもよい。認識部１１３は、一般的な画像認識方法を用いることで、マーカー画像ＭＰ１及びＭＰ２の各々を認識できる。例えば、認識部１１３は、２次元画像ＤＰを２値化し、パターンマッチングによって、２値化された２次元画像ＤＰの中からマーカーＭ１のパターンとマーカーＭ２のパターンとを検出してもよい。
【0031】
第１算出部１１４は、マーカー画像ＭＰ１の形状に基づいて、マーカーＭ１から撮像装置３０までの絶対距離を算出する。絶対距離はマーカーの中心点から撮像装置３０の焦点までの距離を意味する。マーカーＭ１から撮像装置３０までの絶対距離は、「第１絶対距離」の一例である。ここで、「マーカー画像ＭＰ１の形状」には、２次元画像ＤＰ上でのマーカー画像ＭＰ１の四隅の座標が含まれる。
【0032】
図５は、現実空間ＲＳにおけるカメラ座標系を示す図である。図５に示されるように、第１算出部１１４は、撮像装置３０の位置を原点とするカメラ座標系を設定する。カメラ座標系の原点は、例えば、撮像装置３０の光学系の焦点である。具体的には、第１算出部１１４は、撮像装置３０の光軸に沿った軸をＺ軸とし、Ｚ軸に直交するＸ軸、及びＺ軸に直交するＹ軸を設定する。Ｘ軸とＹ軸とは互いに直交する。また、Ｘ軸は、２次元画像ＤＰの横軸と並行である。Ｙ軸は、２次元画像ＤＰの縦軸と並行である。
【0033】
図２において、第１算出部１１４は、２次元画像ＤＰにおけるマーカー画像ＭＰ１の４隅の点（４個の頂点）の（Ｘ，Ｙ）座標値を取得する。この（Ｘ，Ｙ）座標値は、２次元画像ＤＰ上の画像座標系で表現される。第１算出部１１４は、４隅の点の（Ｘ，Ｙ）座標値に基づいて、現実空間ＲＳにおけるマーカーＭ１から撮像装置３０までの絶対距離を算出する。より具体的には、撮像装置３０の内部パラメータと４隅の点の（Ｘ，Ｙ）座標値とを用いて、絶対距離が算出される。絶対距離は、例えば、マーカーＭ１の中心から撮像装置３０のレンズの焦点までの距離を示す。内部パラメータには、画角、及びレンズの歪等の撮像装置３０の光学特性が反映される。
【0034】
第１マーカーＭ１のサイズは既知である。サイズは第１マーカーＭ１の縦の長さと横の長さである。
また、マーカー画像ＭＰ１の４隅の点の（Ｘ，Ｙ）座標値からマーカー画像ＭＰ１の４辺の長さが算出される。第１算出部１１４は、第１マーカーＭ１のサイズ、マーカー画像ＭＰ１の４辺の長さ及び内部パラメータに基づいて、絶対距離を算出してもよい。
また、マーカー画像ＭＰ１の４隅の点の（Ｘ，Ｙ）座標値からマーカー画像ＭＰ１の４辺の長さが算出される。第１算出部１１４は、第１マーカーＭ１のサイズ、マーカー画像ＭＰ１の４辺の長さ及び内部パラメータに基づいて、絶対距離を算出してもよい。
【0035】
第２算出部１１５は、第１算出部１１４と同様の方法を用いることで、マーカー画像ＭＰ２の形状に基づいて、マーカーＭ２から撮像装置３０までの絶対距離を算出する。マーカーＭ２から撮像装置３０までの絶対距離は、「第２絶対距離」の一例である。
【0036】
変換部１１６は、マーカーＭ１から撮像装置３０までの絶対距離と、マーカーＭ２から撮像装置３０までの絶対距離とに基づいて、２次元画像ＤＰの複数の画素に一対一に対応する複数の相対距離を、複数の絶対距離に変換する。
【0037】
具体的には、変換部１１６は、マーカーＭ１から撮像装置３０までの絶対距離と、マーカーＭ２から撮像装置３０までの絶対距離に変換するためのパラメータを、最初に算出する。
【0038】
図６は、マーカーＭ１，Ｍ２から撮像装置３０までの絶対距離の例を示す図である。図６に示されるように、例えば、マーカーＭ１から撮像装置３０までの絶対距離が４９７ｃｍであるとする。また、マーカーＭ２から撮像装置３０までの絶対距離が７６３ｃｍであるとする。図７は、マーカーＭ１，Ｍ２から撮像装置３０までの相対距離の逆数の例を示す図である。図７に示されるように、マーカーＭ１から撮像装置３０までの相対距離の逆数が、１４．２２であるとする。また、マーカーＭ２から撮像装置３０までの相対距離の逆数が、４．８８であるとする。
【0039】
絶対距離をＤａｂｓ，相対距離をＤｒｅｌとした場合、ＤａｂｓとＤｒｅｌとの間には、以下の数式（１）が成立する。
１／Ｄａｂｓ＝ａ／Ｄｒｅｌ＋ｂ 数式（１）
ここで、ａはスケールに関するパラメータ、ｂはシフトに関するパラメータである。
１／Ｄａｂｓ＝ａ／Ｄｒｅｌ＋ｂ 数式（１）
ここで、ａはスケールに関するパラメータ、ｂはシフトに関するパラメータである。
【0040】
マーカーＭ１及びマーカーＭ２の各々の絶対距離と相対距離とを数式（１）に代入すると、以下の数式（２）及び数式（３）が成立する。
１／４．９７［ｍ］＝ａ×１４．２２＋ｂ 数式（２）
１／７．６３［ｍ］＝ａ×４．８８＋ｂ 数式（３）
１／４．９７［ｍ］＝ａ×１４．２２＋ｂ 数式（２）
１／７．６３［ｍ］＝ａ×４．８８＋ｂ 数式（３）
【0041】
変換部１１６は、数式（２）と数式（３）からなる連立方程式を解くことにより、ａ＝０．００８，ｂ＝０．０９４というパラメータを算出する。変換部１１６は、ａ＝０．００８，ｂ＝０．０９４というパラメータを、数式（１）に代入することで、以下の数式（４）を取得する。
１／Ｄａｂｓ＝０．００８／Ｄｒｅｌ＋０．０９４ 数式（４）
１／Ｄａｂｓ＝０．００８／Ｄｒｅｌ＋０．０９４ 数式（４）
【0042】
数式（４）は、２次元画像ＤＰに含まれる複数の画素に一対一に対応する、現実空間ＲＳの全ての点について成立する。したがって、変換部１１６は、数式（４）を用いることで、２次元画像ＤＰに含まれる複数の画素に一対一に対応する複数の相対距離を、複数の絶対距離に変換できる。また、絶対距離と比例関係にある相対距離であれば、数式（１）を使用することで相対距離から別の相対距離へ変換できる。
【0043】
なお、変換部１１６は、マーカーＭ１及びマーカーＭ２の各々の絶対距離と相対距離だけではなく、他のマーカーの絶対距離と相対距離とに基づいて、パラメータを算出してもよい。例えば、図３Ｂに示されるようにマーカーＭ１及びマーカーＭ２加えて、対向壁ＦＷにマーカーＭ３が配置され、床面ＦＬにマーカーＭ４が配置されてもよい。この場合、処理装置１１は、第１算出部１１４と同様に、マーカーＭ３から撮像装置３０までの絶対距離と、マーカーＭ４から撮像装置３０までの絶対距離とを算出する。変換部１１６は、マーカーＭ１～Ｍ４の絶対距離と相対距離とに基づいて、数式（２）及び数式（３）と同様の４つの数式を設定する。変換部１１６は、４つの数式の解の近似値として、ａ及びｂを算出してもよい。変換部１１６は、より多くの数式を用いるほど、２次元画像ＤＰに含まれる複数の画素に一対一に対応する複数の相対距離を複数の絶対距離に、より正確に変換する数式（１）を設定できる。即ち、変換部１１６は、第１絶対距離及び第２絶対距離に基づいて、複数の相対距離を複数の絶対距離に変換するが、「第１絶対距離及び第２絶対距離に基づいて」とは、「第１絶対距離及び第２絶対距離に少なくとも基づいて」の意味である。
【0044】
図２において、生成部１１７は、変換部１１６によって変換された複数の絶対距離と、２次元画像ＤＰとに基づいて、現実空間ＲＳを示す３次元モデルを生成する。生成部１１７は、例えば、複数の絶対距離及び２次元画像と、３次元モデルとの関係を機械学習によって訓練済みの学習モデルを用いて、３次元モデルを生成してもよい。
【0045】
生成部１１７が、２次元画像ＤＰに基づいて、現実空間ＲＳを示す３次元モデルを生成する場合、一般的な方法を用いると、当該３次元モデルにおいて、現実空間ＲＳにおける直線や平面に対応する箇所に、ゆらぎ、すなわち凹凸が発生することがある。そこで、生成部１１７は、生成した３次元モデルを、立方体又は直方体の形状をした単位空間であるＶｏｘｅｌを用いて表現することが好適である。
【0046】
１－２：第１実施形態の動作
図８は、３次元モデル生成装置１０の動作例を示すフローチャートである。
図８は、３次元モデル生成装置１０の動作例を示すフローチャートである。
【0047】
ステップＳ１において、処理装置１１は、通信制御部１１１として機能する。処理装置１１は、通信装置１４に、撮像装置３０から、現実空間ＲＳが撮像された２次元画像ＤＰを受信させる。
【0048】
ステップＳ２において、処理装置１１は、深度情報推定部１１２として機能する。処理装置１１は、２次元画像ＤＰに基づいて、２次元画像ＤＰの複数の画素と一対一に対応する現実空間ＲＳ上の複数の点から、撮像装置３０までの各相対距離を示す深度情報を推定する。
【0049】
ステップＳ３において、処理装置１１は、認識部１１３として機能する。処理装置１１は、２次元画像ＤＰに含まれる、マーカーＭ１～Ｍ２を示すマーカー画像ＭＰ１～ＭＰ２を認識する。
【0050】
ステップＳ４において、処理装置１１は、第１算出部１１４として機能する。処理装置１１は、マーカー画像ＭＰ１の形状に基づいて、マーカーＭ１から撮像装置３０までの絶対距離を算出する。
【0051】
ステップＳ５において、処理装置１１は、第２算出部１１５として機能する。処理装置１１は、マーカー画像ＭＰ２の形状に基づいて、マーカーＭ２から撮像装置３０までの絶対距離を算出する。
【0052】
ステップＳ６において、処理装置１１は、変換部１１６として機能する。処理装置１１は、マーカーＭ１から撮像装置３０までの絶対距離と、マーカーＭ２から撮像装置３０までの絶対距離に基づいて、２次元画像ＤＰの複数の画素に一対一に対応する複数の相対距離を、複数の絶対距離に変換する。
【0053】
ステップＳ７において、処理装置１１は、生成部１１７として機能する。処理装置１１は、ステップＳ６において変換された複数の絶対距離と、２次元画像ＤＰを示す画像情報とに基づいて、現実空間ＲＳを示す３次元モデルを生成する。
【0054】
１－３：第１実施形態が奏する効果
以上の説明によれば、３次元モデル生成装置としての３次元モデル生成装置１０は、深度情報推定部１１２と、認識部１１３と、第１算出部１１４と、第２算出部１１５と、変換部１１６と、生成部１１７と、を備える。深度情報推定部１１２は、第１マーカーとしてのマーカーＭ１と、第２マーカーとしてのマーカーＭ２とが配置された現実空間ＲＳを撮像装置３０が撮像することによって得られた２次元画像ＤＰに基づいて、２次元画像ＤＰの複数の画素と一対一に対応する現実空間ＲＳ上の複数の点から、撮像装置３０までの各相対距離を示す深度情報を推定する。認識部１１３は、２次元画像ＤＰに含まれるマーカーＭ１を示す第１マーカー画像としてのマーカー画像ＭＰ１、及びマーカーＭ２を示す第２マーカー画像としてのマーカー画像ＭＰ２を認識する。第１算出部１１４は、マーカー画像ＭＰ１の形状に基づいて、マーカーＭ１から撮像装置３０までの第１絶対距離を算出する。第２算出部１１５は、マーカー画像ＭＰ２の形状に基づいて、マーカーＭ２から撮像装置３０までの第２絶対距離を算出する。変換部１１６は、第１絶対距離及び第２絶対距離に基づいて、複数の画素に一対一に対応する複数の相対距離を複数の絶対距離に変換する。生成部１１７は、変換部１１６によって変換された複数の絶対距離と、２次元画像ＤＰを示す画像情報とに基づいて、現実空間ＲＳを示す３次元モデルを生成する。
以上の説明によれば、３次元モデル生成装置としての３次元モデル生成装置１０は、深度情報推定部１１２と、認識部１１３と、第１算出部１１４と、第２算出部１１５と、変換部１１６と、生成部１１７と、を備える。深度情報推定部１１２は、第１マーカーとしてのマーカーＭ１と、第２マーカーとしてのマーカーＭ２とが配置された現実空間ＲＳを撮像装置３０が撮像することによって得られた２次元画像ＤＰに基づいて、２次元画像ＤＰの複数の画素と一対一に対応する現実空間ＲＳ上の複数の点から、撮像装置３０までの各相対距離を示す深度情報を推定する。認識部１１３は、２次元画像ＤＰに含まれるマーカーＭ１を示す第１マーカー画像としてのマーカー画像ＭＰ１、及びマーカーＭ２を示す第２マーカー画像としてのマーカー画像ＭＰ２を認識する。第１算出部１１４は、マーカー画像ＭＰ１の形状に基づいて、マーカーＭ１から撮像装置３０までの第１絶対距離を算出する。第２算出部１１５は、マーカー画像ＭＰ２の形状に基づいて、マーカーＭ２から撮像装置３０までの第２絶対距離を算出する。変換部１１６は、第１絶対距離及び第２絶対距離に基づいて、複数の画素に一対一に対応する複数の相対距離を複数の絶対距離に変換する。生成部１１７は、変換部１１６によって変換された複数の絶対距離と、２次元画像ＤＰを示す画像情報とに基づいて、現実空間ＲＳを示す３次元モデルを生成する。
【0055】
３次元モデル生成装置１０は、以上の構成を有するので、２次元画像ＤＰを構成する複数の画素に一対一に対応する現実空間ＲＳ上の複数の点から撮像装置３０までの各絶対距離と２次元画像ＤＰとに基づいて、３次元モデルを生成する。絶対距離に基づいて３次元モデルを生成することによって、現実空間を絶対スケールで模した３次元モデルを生成できる。また、深度情報推定部１１２によって推定される各相対距離は、マーカー画像の形状に基づいて算出される絶対距離よりも精度が低い。したがって、３次元モデル生成装置１０は、２次元画像ＤＰを構成する複数の画素に一対一に対応する現実空間ＲＳ上の複数の点から撮像装置３０までの各相対距離と２次元画像ＤＰとに基づいて、３次元モデルを生成する場合と比較して、３次元モデルの精度を高くできる。また、変換部１１６は、第１絶対距離及び第２絶対距離に基づいて、複数の画素に一対一に対応する複数の相対距離を複数の絶対距離に変換するので、現実空間ＲＳ上の複数の点から撮像装置３０までの全ての絶対距離を、マーカーを用いて算出する必要がない。よって、３次元モデル生成装置１０は、絶対距離を算出する手間を削減できる。
【0056】
また、３次元モデル生成装置１０において、変換部１１６は、第１絶対距離及び第２絶対距離に基づいて、相対距離を絶対距離に変換するためのパラメータを算出し、算出されたパラメータを用いて複数の画素に一対一に対応する複数の相対距離を複数の絶対距離に変換する。
【0057】
３次元モデル生成装置１０は、以上の構成を有するので、複数の画素に一対一に対応する複数の絶対距離の全てを直接測定するのではなく、複数の画素に一対一に対応する複数の相対距離を、複数の絶対距離にまとめて変換することで、処理負荷を低減できる。
【0058】
２：第２実施形態
本発明の第２実施形態に係る３次元モデル生成装置１０Ａを含む生成システム１の構成について説明する。第２実施形態に係る生成システム１は、３次元モデル生成装置１０の代りに３次元モデル生成装置１０Ａを備える点を除いて、第１実施形態に係る生成システム１と同様に構成される。以下では説明の簡略化のため、３次元モデル生成装置１０Ａに含まれる構成要素のうち、３次元モデル生成装置１０に含まれる構成要素と同一の構成要素については、同一の符号を適用し、その機能の説明を省略することがある。
本発明の第２実施形態に係る３次元モデル生成装置１０Ａを含む生成システム１の構成について説明する。第２実施形態に係る生成システム１は、３次元モデル生成装置１０の代りに３次元モデル生成装置１０Ａを備える点を除いて、第１実施形態に係る生成システム１と同様に構成される。以下では説明の簡略化のため、３次元モデル生成装置１０Ａに含まれる構成要素のうち、３次元モデル生成装置１０に含まれる構成要素と同一の構成要素については、同一の符号を適用し、その機能の説明を省略することがある。
【0059】
第１実施形態に係る３次元モデル生成装置１０は、現実空間ＲＳにマーカーＭ１とマーカーＭ２とを配置し、マーカーＭ１から撮像装置３０までの絶対距離とマーカーＭ２から撮像装置３０までの絶対距離とを算出した。マーカーＭ１及びマーカーＭ２に対応する２つの絶対距離と、マーカーＭ１及びマーカーＭ２に対応する２つの相対距離に基づいて、数式（１）のパラメータａ及びｂが算出され、変換部１１６は数式（１）を用いて、複数の相対距離を複数の絶対距離に変換した。これに対して、第２実施形態に係る３次元モデル生成装置１０Ａは、現実空間ＲＳに配置されたマーカーＭ１が配置された平面を検出し、検出された平面に属する１以上の点について、相対距離から絶対距離に変更することなく、絶対距離を直接算出する点で、第１実施形態に係る３次元モデル生成装置１０と相違する。
【0060】
２－１：第２実施形態の構成
図９は、３次元モデル生成装置１０Ａの構成例を示すブロック図である。３次元モデル生成装置１０Ａは、３次元モデル生成装置１０に比較して、処理装置１１の代りに処理装置１１Ａを、記憶装置１２の代りに記憶装置１２Ａを備える。
図９は、３次元モデル生成装置１０Ａの構成例を示すブロック図である。３次元モデル生成装置１０Ａは、３次元モデル生成装置１０に比較して、処理装置１１の代りに処理装置１１Ａを、記憶装置１２の代りに記憶装置１２Ａを備える。
【0061】
記憶装置１２Ａは、記憶装置１２に比較して、制御プログラムＰＲ１の代りに制御プログラムＰＲ１Ａを記憶する。また、記憶装置１２Ａは、第１学習済みモデルＬＭ１に加えて、第２学習済みモデルＬＭ２を記憶する。第２学習済みモデルＬＭ２は、後述の検出部１１８が、２次元画像ＤＰにおいて、現実空間ＲＳに含まれる複数の平面と一対一に対応する複数の部分画像を検出するために用いられる。
【0062】
第２学習済みモデルＬＭ２は、学習フェーズにおいて、教師データを学習することによって生成される。第２学習済みモデルＬＭ２を生成するために用いられる教師データは、現実空間ＲＳを撮像した２次元画像ＤＰと、当該２次元画像ＤＰにおいて、現実空間ＲＳに含まれる複数の平面と一対一に対応する複数の部分画像を示す部分画像マップとの組を複数有する。
【0063】
また、第２学習済みモデルＬＭ２は、３次元モデル生成装置１０Ａの外部において生成される。第２学習済みモデルＬＭ２は、図示しないサーバにおいて生成されることが好適である。この場合、３次元モデル生成装置１０Ａは、通信網ＮＥＴを介して図示しないサーバから第２学習済みモデルＬＭ２を取得する。
【0064】
処理装置１１Ａは、制御プログラムＰＲ１Ａを記憶装置１２Ａから読み出す。処理装置１１Ａは、読み出された制御プログラムＰＲ１Ａを実行することによって、通信制御部１１１、深度情報推定部１１２、認識部１１３、検出部１１８、第１算出部１１４Ａ、第２算出部１１５、変換部１１６Ａ、及び生成部１１７Ａとして機能する。すなわち、処理装置１１Ａは、処理装置１１と同一の通信制御部１１１、深度情報推定部１１２、認識部１１３、第２算出部１１５、及び変換部１１６を有する。また、処理装置１１Ａは、処理装置１１に備わる第１算出部１１４の代りに第１算出部１１４Ａを、変換部１１６の代りに変換部１１６Ａを、生成部１１７の代りに生成部１１７Ａを有する。更に、処理装置１１Ａは、これらの機能ブロックに加えて、検出部１１８を有する。
【0065】
検出部１１８は、２次元画像ＤＰの中から、現実空間ＲＳに存在する1以上の平面に一対一に対応する１以上の部分画像を検出する。部分画像の検出方法は、任意であるが、本実施形態では、第２学習済みモデルＬＭ２を用いる。具体的には、検出部１１８は、２次元画像ＤＰを、第２学習済みモデルＬＭ２に入力し、第２学習済みモデルＬＭ２から出力される部分画像マップを取得する。部分画像マップは、２次元画像ＤＰに含まれる１以上の平面を示す。検出部１１８は、例えば、図３Ａに示される２次元画像ＤＰに基づいて、マーカーＭ１が配置される平面である側壁ＳＷに対応する部分画像と、対向壁ＦＷに対応する部分画像と、床面ＦＬに対応する部分画像とを検出する。更に、検出部１１８は、部分画像マップに含まれる１以上の部分画像の中から、マーカーＭ１が配置された平面に対応する部分画像を検出する。
【0066】
図１０は、検出部１１８によって検出される、マーカーＭ１が配置された平面に対応する部分画像ＳＧ１の例を示す図である。図１０に示される２次元画像ＤＰにおいて、ハッチングが適用された領域が、部分画像ＳＧ１である。
【0067】
第１算出部１１４Ａは、第１算出部１１４と同様に、マーカー画像ＭＰ１の形状に基づいて、マーカーＭ１から撮像装置３０までの絶対距離を算出する。また、第１算出部１１４Ａは、マーカー画像ＭＰ１の形状に基づいて、マーカーＭ１の姿勢を示す姿勢情報、及びカメラ座標系で表現されるマーカーＭ１の中心点Ｍの３次元座標を算出する。姿勢情報は、マーカーＭ１に含まれる主たる平面の、カメラ座標系における傾きを示す情報である。具体的には、当該姿勢情報は、カメラ座標系におけるＺ軸方向の単位ベクトルを回転させる、回転行列によって示される。
【0068】
更に、第１算出部１１４Ａは、マーカーＭ１の姿勢を示す姿勢情報、及びカメラ座標系で表現されるマーカーＭ１の中心点Ｍの３次元座標を用いて、マーカーＭ１が配置される平面上の１以上の点の絶対距離を算出する。第１算出部１１４Ａが算出する絶対距離の数は任意である。部分画像ＳＧ１が、Ｎ個の画素から構成される場合、絶対距離の数は１以上Ｎ以下である。即ち、第１算出部１１４Ａは、部分画像ＳＧ１を構成する全ての画素について絶対距離を算出してもよい。
【0069】
【0070】
当該算出方法の概略は、以下の通りである。図１１に示されるマーカーＭ１の中心点Ｍを含みカメラ座標系のＸＺ平面と並行な平面を第１平面とする。第１算出部１１４Ａは、第１平面とマーカーＭ１が配置される平面である側壁ＳＷとが交わる直線上において、マーカーＭ１から距離ｄだけ移動した点Ａ１の３次元座標を算出する。次に、点Ａ１を含みカメラ座標系のＸＹ平面と並行な平面を第２平面とする。第１算出部１１４Ａは、マーカーＭ１が配置される側壁ＳＷと、第２平面とが交わる直線上において、点Ａ１から距離ｅだけ移動した点Ｂ１の３次元座標を算出する。距離ｄ及び距離ｅを適宜設定することによって、点Ｂ１は、側壁ＳＷ上の任意の点とできる。第１算出部１１４Ａは、点Ｂ１の３次元座標に基づいて、点Ｂ１の絶対距離を算出する。
【0071】
マーカーＭ１の中心点Ｍの座標は（ａ，ｂ，ｃ）である。座標（ａ，ｂ，ｃ）はカメラ座標系で表現される。最初に、第１算出部１１４Ａは、図１２に示されるＺ軸方向の単位ベクトルに対して、マーカーＭ１の姿勢情報によって示される回転行列を乗じることで、図１３に示されるマーカーＭ１の主たる平面の法線方向の単位ベクトル（ｖ，ｕ，ｗ）を算出する。第１算出部１１４Ａは、図１４に示されるように、マーカーＭ１の中心点Ｍの座標（ａ，ｂ、ｃ）に、マーカーＭ１の主たる平面の法線方向の単位ベクトルを加算することで、マーカーＭ１の中心点Ｍから、法線方向に単位ベクトル分だけ移動した点Ｐ１の座標（ａ＋ｖ，ｂ＋ｕ，ｃ＋ｗ）を算出する。
【0072】
次に、第１算出部１１４Ａは、マーカーＭ１の中心点Ｍの座標（ａ，ｂ，ｃ）から、点Ｐ１の座標（ａ＋ｖ，ｂ＋ｕ，ｃ＋ｗ）までの３次元ベクトルの（ｘ，ｚ）成分を用いて、ＸＺ平面における側壁ＳＷの角度を算出する。すなわち、第１算出部１１４Ａは、カメラ座標系のＸＺ平面における、マーカーＭ１の中心点Ｍ（ｘ，ｚ）＝（ａ，ｃ）から、点Ｐ１（ｘ，ｚ）＝（ａ＋ｖ，ｃ＋ｗ）までの２次元ベクトルを用いて、ＸＺ平面における側壁ＳＷの角度を算出する。同様に、第１算出部１１４Ａは、マーカーＭ１の中心点（ｘ，ｙ，ｚ）＝（ａ，ｂ，ｃ）から、点Ｐ１（ｘ，ｙ，ｚ）＝（ａ＋ｖ，ｂ＋ｕ，ｃ＋ｗ）までの３次元ベクトルの（ｘ，ｙ）成分を用いて、ＸＹ平面における側壁ＳＷの角度を算出する。すなわち、第１算出部１１４Ａは、カメラ座標系のＸＹ平面における、マーカーＭ１の中心点Ｍ（ｘ，ｙ）＝（ａ，ｂ）から、点Ｐ１（ｘ，ｙ）＝（ａ＋ｖ，ｂ＋ｕ）までの２次元ベクトルを用いて、ＸＹ平面における側壁ＳＷの角度を算出する。
【0073】
具体的には、図１５に示されるように、第１算出部１１４Ａは、ＸＺ平面において、マーカーＭ１の中心点（ｘ，ｚ）＝（ａ，ｃ）から、Ｘ軸方向に単位ベクトル分だけ移動した点Ｑ１を設定する。点Ｑ１のＸＺ平面における座標値は、（ｘ，ｚ）＝（ａ＋１，ｃ）となる。マーカーＭ１から点Ｑ１までのベクトルをα１、マーカーＭ１から点Ｑ１までのベクトルをβ１とする。また、側壁ＳＷとベクトルα１とがなす角度をθ１，ベクトルα１とベクトルβ１とがなす角度をθ１’とする。ベクトルβ１は、マーカーＭ１の主たる平面に対する法線ベクトルであると共に、マーカーＭ１は側壁ＳＷ上に配置されているため、ベクトルβ１は、側壁ＳＷに対する法線ベクトルとなる。したがって、θ１とθ１’との合計値は、π／２となる。なお、説明の便宜上、図１５において、側壁ＳＷとベクトルβ１とがなす角度は、π／２にはなっていない。
【0074】
第１算出部１１４Ａは、内積の公式に基づく以下の数式（５）を用いることで、θ１’の値を算出する。
【数1】
【0075】
第１算出部１１４Ａは、数式（５）を用いて算出したθ１’をπ／２から減算することで、側壁ＳＷのＸＺ平面における角度θ１を算出する。
【0076】
同様に、図１６に示されるように、第１算出部１１４Ａは、ＸＹ平面において、マーカーＭ１の中心点Ｍ（ｘ，ｙ）＝（ａ，ｂ）から、Ｘ軸方向に単位ベクトル分だけ移動した点Ｒ１を設定する。点Ｒ１のＸＹ平面における座標値は、（ｘ，ｙ）＝（ａ＋１，ｂ）となる。マーカーＭ１から点Ｒ１までのベクトルをα２、マーカーＭ１から点Ｒ１までのベクトルをβ２とする。また、側壁ＳＷとベクトルα２とがなす角度をθ２，ベクトルα２とベクトルβ２とがなす角度をθ２’とする。ベクトルβ２は、マーカーＭ１の主たる平面に対する法線ベクトルであると共に、マーカーＭ１は側壁ＳＷ上に配置されているため、ベクトルβ２は、側壁ＳＷに対する法線ベクトルとなる。したがって、θ２とθ２’との合計値は、π／２となる。なお、説明の便宜上、図１６において、側壁ＳＷとベクトルβ２とがなす角度は、π／２にはなっていない。
【0077】
第１算出部１１４Ａは、内積の公式に基づく以下の数式（６）を用いることで、θ２’の値を算出する。
【数2】
【0078】
第１算出部１１４Ａは、数式（６）を用いて算出したθ２’をπ／２から減算することで、側壁ＳＷのＸＹ平面における角度θ２を算出する。
【0079】
【0080】
また、図１８に示されるように、第１算出部１１４Ａは、図１１における点Ｂ１のカメラ座標系で表現される座標値を、θ２を用いて、（ｘ，ｙ，ｚ）＝（ａ＋ｄ・ｃｏｓθ１＋ｅ・ｃｏｓθ２，ｂ＋ｅ・ｓｉｎθ２，ｃ＋ｄ・ｓｉｎθ１）と算出する。なお、以下では説明の便宜上、点Ｂ１の座標値（ｘ，ｙ，ｚ）＝（ａ＋ｄ・ｃｏｓθ１＋ｅ・ｃｏｓθ２，ｂ＋ｅ・ｓｉｎθ２，ｃ＋ｄ・ｓｉｎθ１）を、（ｘ，ｙ，ｚ）＝（ａ’，ｂ’，ｃ’）と記載する。
【0081】
第１算出部１１４Ａは、最後に、点Ｂ１が側壁ＳＷの面内に位置する点であるか否かについて判定する。図１９に示されるように、第１算出部１１４は、点Ｂ１のカメラ座標系で表現される座標値（ｘ，ｙ，ｚ）＝（ａ’，ｂ’，ｃ’）を、撮像装置３０の内部パラメータである２つの行列Ｇ及びＨを用いた、以下の数式（７）によって、２次元画像ＤＰ上の座標値（ｘ，ｙ）＝（ａｘ，ｂｙ）に変換する。
【数3】
【0082】
２次元画像ＤＰ上の座標値（ｘ，ｙ）＝（ａｘ，ｂｙ）が検出部１１８によって検出された部分画像ＳＧ１に含まれる場合、第１算出部１１４Ａは、点Ｂ１が側壁ＳＷの面内に位置する点であると判定する。更に、第１算出部１１４Ａは、点Ｂ１が側壁ＳＷの面内に位置する点であると判定した場合、Ｂ１のカメラ座標系で表現される３次元座標値を用いて、点Ｂ１から撮像装置３０までの絶対距離を、側壁ＳＷ上の１つの点から撮像装置３０までの絶対距離として算出する。
【0083】
図９に示される変換部１１６は、第１実施形態と同様に、マーカーＭ１に対応する絶対距離とマーカーＭ２に対応する絶対距離とに基づいて、複数の相対距離を複数の絶対距離に変換する。上述したように第１算出部１１４Ａは、マーカーＭ１の三次元座標に基づいて、マーカーＭ１が属する平面の１以上の点について、絶対座標を算出する。第１算出部１１４Ａによって算出された絶対座標は、マーカーＭ１の三次元座標から幾何学的に算出された座標であるので、変換部１１６によって変換された絶対座標よりも精度が高い。
【0084】
生成部１１７Ａは、側壁ＳＷとしての平面上の１以上の点について、変換部１１６Ａによって変換された絶対距離の代りに、第１算出部１１４Ａによって算出された１以上の絶対距離を用いることによって、３次元モデルを生成する。生成部１１７Ａは、一例として、現実空間ＲＳにおける側壁ＳＷについては、２次元画像ＤＰにおける部分画像ＳＧ１の全ての画素に対応する絶対距離を用いることで、３次元モデルを生成してもよい。
【0085】
２－２：第２実施形態の動作
図２０は、３次元モデル生成装置１０Ａの動作例を示すフローチャートである。
図２０は、３次元モデル生成装置１０Ａの動作例を示すフローチャートである。
【0086】
ステップＳ１１～Ｓ１３は、図８におけるステップＳ１～Ｓ３と同一の動作であるため、その説明を省略する。
【0087】
ステップＳ１４において、処理装置１１Ａは、検出部１１８として機能する。処理装置１１Ａは、２次元画像ＤＰの中から、現実空間ＲＳにおいて、マーカーＭ１が配置された平面に対応する部分画像ＳＧ１を検出する。
【0088】
ステップＳ１５において、処理装置１１Ａは、第１算出部１１４Ａとして機能する。処理装置１１Ａは、マーカー画像ＭＰ１の形状に基づいて、マーカーＭ１の姿勢を示す姿勢情報、及びカメラ座標系で表現されるマーカーＭ１の中心点Ｍの３次元座標を算出する。
【0089】
ステップＳ１６は、図８におけるステップＳ４と同一の動作であるため、その説明を省略する。
【0090】
ステップＳ１７において、処理装置１１Ａは、第１算出部１１４Ａとして機能する。処理装置１１Ａは、マーカーＭ１の姿勢を示す姿勢情報、及びカメラ座標系で表現されるマーカーＭ１の中心点Ｍの３次元座標を用いて、マーカーＭ１が配置される平面上の１以上の点の絶対距離を算出する。
【0091】
ステップＳ１８及びステップ１９は、図８におけるステップＳ５及びステップＳ６と同一の動作であるため、その説明を省略する。
【0092】
ステップＳ２０において、処理装置１１Ａは、生成部１１７Ａとして機能する。処理装置１１Ａは、マーカーＭ１が配置される平面については、第１算出部１１４Ａによって算出された１以上の絶対距離を用いることによって、３次元モデルを生成する。また、生成部１１７Ａは、現実空間ＲＳにおける、マーカーＭ１が配置される平面以外の要素については、第１実施形態に係る第１算出部１１４と同様の方法を用いて、３次元モデルを生成する。
【0093】
２－３：第２実施形態が奏する効果
以上の説明によれば、３次元モデル生成装置としての３次元モデル生成装置１０Ａは、検出部１１８を備える。検出部１１８は、２次元画像ＤＰの中から現実空間ＲＳの平面に対応する部分画像ＳＧ１を検出する。第１算出部１１４Ａは、第１マーカー画像としてのマーカー画像ＭＰ１の形状に基づいて、第１マーカーとしてのマーカーＭ１の姿勢を示す姿勢情報及びマーカーＭ１の３次元座標を算出する。また、第１算出部１１４Ａは、上記の平面にマーカーＭ１が配置される場合、マーカーＭ１の３次元座標及び姿勢情報に基づいて、部分画像ＳＧ１の１以上の画素に対応する上記の平面上の１以上の点から撮像装置３０までの１以上の絶対距離を算出する。生成部１１７Ａは、上記の平面上の１以上の点について、変換部１１６Ａによって変換された絶対距離の代りに、第１算出部１１４Ａによって算出された１以上の絶対距離を用いることによって、３次元モデルを生成する。
以上の説明によれば、３次元モデル生成装置としての３次元モデル生成装置１０Ａは、検出部１１８を備える。検出部１１８は、２次元画像ＤＰの中から現実空間ＲＳの平面に対応する部分画像ＳＧ１を検出する。第１算出部１１４Ａは、第１マーカー画像としてのマーカー画像ＭＰ１の形状に基づいて、第１マーカーとしてのマーカーＭ１の姿勢を示す姿勢情報及びマーカーＭ１の３次元座標を算出する。また、第１算出部１１４Ａは、上記の平面にマーカーＭ１が配置される場合、マーカーＭ１の３次元座標及び姿勢情報に基づいて、部分画像ＳＧ１の１以上の画素に対応する上記の平面上の１以上の点から撮像装置３０までの１以上の絶対距離を算出する。生成部１１７Ａは、上記の平面上の１以上の点について、変換部１１６Ａによって変換された絶対距離の代りに、第１算出部１１４Ａによって算出された１以上の絶対距離を用いることによって、３次元モデルを生成する。
【0094】
３次元モデル生成装置１０Ａは、マーカーＭ１が配置される平面については、第１算出部１１４Ａによって算出された絶対座標に基づいて、３次元モデルを生成する。第１算出部１１４Ａによって算出された絶対座標は、変換部１１６によって変換された絶対座標よりも精度が高いので、相対座標から変換された絶対座標に基づいて３次元モデルを生成する場合と比較して、３次元モデルの精度が向上する。
【0095】
３：第３実施形態
本発明の第３実施形態に係る３次元モデル生成装置１０Ｂを含む生成システム１について説明する。第３実施形態に係る生成システム１は、３次元モデル生成装置１０の代りに３次元モデル生成装置１０Ｂを備える点を除いて、第１実施形態に係る生成システム１と同様に構成される。以下では説明の簡略化のため、３次元モデル生成装置１０Ｂに含まれる構成要素のうち、３次元モデル生成装置１０及び３次元モデル生成装置１０Ａに含まれる構成要素と同一の構成要素については、同一の符号を適用し、その機能の説明を省略することがある。
本発明の第３実施形態に係る３次元モデル生成装置１０Ｂを含む生成システム１について説明する。第３実施形態に係る生成システム１は、３次元モデル生成装置１０の代りに３次元モデル生成装置１０Ｂを備える点を除いて、第１実施形態に係る生成システム１と同様に構成される。以下では説明の簡略化のため、３次元モデル生成装置１０Ｂに含まれる構成要素のうち、３次元モデル生成装置１０及び３次元モデル生成装置１０Ａに含まれる構成要素と同一の構成要素については、同一の符号を適用し、その機能の説明を省略することがある。
【0096】
第１実施形態に係る３次元モデル生成装置１０及び第２実施形態に係る３次元モデル生成装置１０Ａは、マーカーＭ１とマーカーＭ２とが配置された現実空間ＲＳにおいて、マーカーＭ１から撮像装置３０までの絶対距離とマーカーＭ２から撮像装置３０までの絶対距離とを算出した。これに対して、第３実施形態に係る３次元モデル生成装置１０Ｂは、現実空間ＲＳに配置されたマーカーＭ１のみを用いて３次元モデルを生成する点で、２個のマーカーを必要とする３次元モデル生成装置１０及び３次元モデル生成装置１０Ａと相違する。
【0097】
３－１：第３実施形態の構成
図２１は、３次元モデル生成装置１０Ｂの構成例を示すブロック図である。３次元モデル生成装置１０Ｂは、３次元モデル生成装置１０に比較して、処理装置１１の代りに処理装置１１Ｂを、記憶装置１２の代りに記憶装置１２Ｂを備える。
図２１は、３次元モデル生成装置１０Ｂの構成例を示すブロック図である。３次元モデル生成装置１０Ｂは、３次元モデル生成装置１０に比較して、処理装置１１の代りに処理装置１１Ｂを、記憶装置１２の代りに記憶装置１２Ｂを備える。
【0098】
記憶装置１２Ｂは、記憶装置１２に比較して、制御プログラムＰＲ１の代りに制御プログラムＰＲ１Ｂを記憶する。また、記憶装置１２Ｂは、記憶装置１２Ａと同様に、第１学習済みモデルＬＭ１に加えて、第２学習済みモデルＬＭ２を記憶する。
【0099】
処理装置１１Ｂは、制御プログラムＰＲ１Ｂを記憶装置１２Ｂから読み出す。処理装置１１Ｂは、読み出した制御プログラムＰＲ１Ｂを実行することによって、通信制御部１１１、深度情報推定部１１２、認識部１１３、検出部１１８、第１算出部１１４Ｂ、第２算出部１１５Ｂ、変換部１１６Ｂ、及び生成部１１７として機能する。すなわち、処理装置１１Ｂは、処理装置１１と同一の通信制御部１１１、深度情報推定部１１２、認識部１１３、及び生成部１１７を有する。また、処理装置１１Ｂは、処理装置１１に備わる第１算出部１１４の代りに第１算出部１１４Ｂを、第２算出部１１５の代りに第２算出部１１５Ｂを、変換部１１６の代りに変換部１１６Ｂを有する。更に、処理装置１１Ｂは、これらの機能ブロックに加えて、第２実施形態と同様に、検出部１１８を有する。
【0100】
第１算出部１１４Ｂは、第２実施形態に係る第１算出部１１４Ａと同様に、マーカー画像ＭＰ１の形状に基づいて、マーカーＭ１の姿勢を示す姿勢情報、及びカメラ座標系で表現されるマーカーＭ１の中心点Ｍの３次元座標を算出する。更に、第１算出部１１４Ｂは、マーカーＭ１から撮像装置３０までの絶対距離を算出する。ただし、第１算出部１１４Ｂは、第１算出部１１４Ａとは異なり、マーカーＭ１が配置される平面上の１以上の点の絶対距離の算出を、必須の機能とはしない。
【0101】
第２算出部１１５Ｂは、第１実施形態に係る第１算出部１１４Ａと同様に、マーカーＭ１の３次元座標及び姿勢情報に基づいて、部分画像ＳＧ１の１つの画素に対応する側壁ＳＷとしての平面上の点から、撮像装置３０までの絶対距離を算出する。すなわち、第２算出部１１５Ｂは、図１１における点Ｂ１を仮想的な第２マーカーとして、当該点Ｂ１から撮像装置３０までの絶対距離を算出する。点Ｂ１から撮像装置３０までの絶対距離は、第３実施形態における「第２絶対距離」の一例である。第２算出部１１５Ｂによって算出される点Ｂ１から撮像装置３０までの絶対距離は、マーカーＭ１の三次元座標から幾何学的に算出された座標であるので、第１算出部１１４Ｂによって算出されるマーカーＭ１から撮像装置３０までの絶対距離と同等の精度を有する。
【0102】
変換部１１６Ｂは、変換部１１６と同様に、マーカーＭ１から撮像装置３０までの絶対距離と、点Ｂ１から撮像装置３０までの絶対距離とに基づいて、２次元画像ＤＰの複数の画素に一対一に対応する複数の相対距離を、複数の絶対距離に変換する。なお、第２算出部１１５Ｂは、マーカーＭ１が属する平面の２以上の点について、絶対距離を算出してもよい。この場合、絶対距離に対応するマーカーＭ１が属する平面の２以上の点は、物理的なマーカーを代替する仮想マーカーとして機能する。この仮想マーカーを用いることによって、パラメータａ及びｂをより正確に算出される。したがって、現実空間ＲＳにおいて、複数のマーカーを配置する手間が削減される。ここで、複数の仮想マーカーをマーカーＭ１が属する平面に配置する場合、複数の仮想マーカーは当該平面に分散されて配置されることが好ましい。更に、複数の仮想マーカーは、等間隔で配置されることが好ましい。
【0103】
３－２：第３実施形態の動作
図２２は、３次元モデル生成装置１０Ｂの動作例を示すフローチャートである。
図２２は、３次元モデル生成装置１０Ｂの動作例を示すフローチャートである。
【0104】
ステップＳ２１～Ｓ２６は、図２０におけるステップＳ１１～Ｓ１６と同一の動作であるため、その説明を省略する。
【0105】
ステップＳ２７において、処理装置１１Ｂは、第２算出部１１５Ｂとして機能する。処理装置１１Ｂは、マーカーＭ１の３次元座標及び姿勢情報に基づいて、部分画像ＳＧ１の１つの画素に対応する平面上の点から撮像装置３０までの絶対距離を算出する。
【0106】
ステップＳ２８において、処理装置１１Ｂは、変換部１１６Ｂとして機能する。処理装置１１Ｂは、マーカーＭ１から撮像装置３０までの絶対距離と、点Ｂ１から撮像装置３０までの絶対距離とに基づいて、２次元画像ＤＰの複数の画素に一対一に対応する複数の相対距離を、複数の絶対距離に変換する。
【0107】
ステップＳ２９は、図８におけるステップＳ７と同一の動作であるため、その説明を省略する。
【0108】
３－３：第３実施形態が奏する効果
以上の説明によれば、３次元モデル生成装置としての３次元モデル生成装置１０Ｂは、深度情報推定部１１２と、認識部１１３と、検出部１１８と、第１算出部１１４Ｂと、第２算出部１１５Ｂと、変換部１１６Ｂと、生成部１１７と、を備える。深度情報推定部１１２は、第１マーカーとしてのマーカーＭ１が配置された平面を含む現実空間ＲＳを撮像装置３０が撮像することによって得られた２次元画像ＤＰに基づいて、２次元画像ＤＰの複数の画素と一対一に対応する現実空間ＲＳ上の複数の点から撮像装置３０までの各相対距離を示す深度情報を推定する。認識部１１３は、２次元画像ＤＰに含まれる、第１マーカーとしてのマーカーＭ１を示す、第１マーカー画像としてのマーカー画像ＭＰ１を認識する。検出部１１８は、２次元画像ＤＰの中から上記の平面に対応する部分画像ＳＧ１を検出する。第１算出部１１４Ｂは、マーカー画像ＭＰ１の形状に基づいて、マーカーＭ１から撮像装置３０までの絶対距離を示す第１絶対距離、マーカーＭ１の３次元座標、及びマーカーＭ１の姿勢を示す姿勢情報を算出する。第２算出部１１５Ｂは、マーカーＭ１の３次元座標、及び上記の姿勢情報に基づいて、部分画像ＳＧ１の１つの画素に対応する平面上の点から撮像装置３０までの絶対距離を示す第２絶対距離を算出する。変換部１１６Ｂは、第１絶対距離及び第２絶対距離に基づいて、上記の複数の画素に一対一に対応する複数の相対距離を複数の絶対距離に変換する。生成部１１７は、変換部１１６Ｂによって変換された複数の絶対距離と、２次元画像ＤＰを示す画像情報と、に基づいて、現実空間ＲＳを示す３次元モデルを生成する。
以上の説明によれば、３次元モデル生成装置としての３次元モデル生成装置１０Ｂは、深度情報推定部１１２と、認識部１１３と、検出部１１８と、第１算出部１１４Ｂと、第２算出部１１５Ｂと、変換部１１６Ｂと、生成部１１７と、を備える。深度情報推定部１１２は、第１マーカーとしてのマーカーＭ１が配置された平面を含む現実空間ＲＳを撮像装置３０が撮像することによって得られた２次元画像ＤＰに基づいて、２次元画像ＤＰの複数の画素と一対一に対応する現実空間ＲＳ上の複数の点から撮像装置３０までの各相対距離を示す深度情報を推定する。認識部１１３は、２次元画像ＤＰに含まれる、第１マーカーとしてのマーカーＭ１を示す、第１マーカー画像としてのマーカー画像ＭＰ１を認識する。検出部１１８は、２次元画像ＤＰの中から上記の平面に対応する部分画像ＳＧ１を検出する。第１算出部１１４Ｂは、マーカー画像ＭＰ１の形状に基づいて、マーカーＭ１から撮像装置３０までの絶対距離を示す第１絶対距離、マーカーＭ１の３次元座標、及びマーカーＭ１の姿勢を示す姿勢情報を算出する。第２算出部１１５Ｂは、マーカーＭ１の３次元座標、及び上記の姿勢情報に基づいて、部分画像ＳＧ１の１つの画素に対応する平面上の点から撮像装置３０までの絶対距離を示す第２絶対距離を算出する。変換部１１６Ｂは、第１絶対距離及び第２絶対距離に基づいて、上記の複数の画素に一対一に対応する複数の相対距離を複数の絶対距離に変換する。生成部１１７は、変換部１１６Ｂによって変換された複数の絶対距離と、２次元画像ＤＰを示す画像情報と、に基づいて、現実空間ＲＳを示す３次元モデルを生成する。
【0109】
第２算出部１１５Ｂによって算出される第２絶対距離は、マーカーＭ１の三次元座標から幾何学的に算出された座標であるので、第１算出部１１４Ｂによって算出される第１絶対距離と同等の精度を有する。このため、変換部１１６Ｂは、２個のマーカーを用いる場合と、同等の精度で複数の相対距離を複数の絶対距離に変換できる。よって、３次元モデル生成装置１０Ｂは、１つのマーカーＭ１を現実空間ＲＳに配置するだけで、３次元モデルを生成できる。
【0110】
４：第４実施形態
本発明の第４実施形態に係る３次元モデル生成装置１０Ｃを含む生成システム１について説明する。第４実施形態に係る生成システム１は、３次元モデル生成装置１０Ｂの代りに３次元モデル生成装置１０Ｃを備える点を除いて、第３実施形態に係る生成システム１と同様に構成される。以下では説明の簡略化のため、３次元モデル生成装置１０Ｃに含まれる構成要素のうち、３次元モデル生成装置１０、３次元モデル生成装置１０Ａ及び３次元モデル生成装置１０Ｂに含まれる構成要素と同一の構成要素については、同一の符号を適用し、その機能の説明を省略することがある。
本発明の第４実施形態に係る３次元モデル生成装置１０Ｃを含む生成システム１について説明する。第４実施形態に係る生成システム１は、３次元モデル生成装置１０Ｂの代りに３次元モデル生成装置１０Ｃを備える点を除いて、第３実施形態に係る生成システム１と同様に構成される。以下では説明の簡略化のため、３次元モデル生成装置１０Ｃに含まれる構成要素のうち、３次元モデル生成装置１０、３次元モデル生成装置１０Ａ及び３次元モデル生成装置１０Ｂに含まれる構成要素と同一の構成要素については、同一の符号を適用し、その機能の説明を省略することがある。
【0111】
第３実施形態に係る３次元モデル生成装置１０Ｂは、第１算出部１１４Ｂが算出した第１絶対距離と、第２算出部１１５Ｂが算出した第２絶対距離とに基づいて、複数の相対距離を複数の絶対距離に変換し、変換された複数の絶対距離を用いて３次元モデルを生成した。これに対して、第４実施形態の３次元モデル生成装置１０Ｃは、現実空間ＲＳに配置されたマーカーＭ１が配置された平面を検出し、検出された平面に属する１以上の点について、絶対距離を算出する。３次元モデル生成装置１０Ｃは、３次元モデルの生成において、算出された絶対距離及び相対距離から変換された絶対距離が、現実空間ＲＳの同一の点から撮像装置３０までの距離である場合、算出された絶対距離を用いることによって、３次元モデルを生成する点で、第３実施形態に係る３次元モデル生成装置１０Ｂと相違する。
【0112】
４－１：第４実施形態の構成
図２４は、３次元モデル生成装置１０Ｃの構成例を示すブロック図である。３次元モデル生成装置１０Ｃは、３次元モデル生成装置１０に比較して、処理装置１１の代りに処理装置１１Ｃを、記憶装置１２の代りに記憶装置１２Ｃを備える。
図２４は、３次元モデル生成装置１０Ｃの構成例を示すブロック図である。３次元モデル生成装置１０Ｃは、３次元モデル生成装置１０に比較して、処理装置１１の代りに処理装置１１Ｃを、記憶装置１２の代りに記憶装置１２Ｃを備える。
【0113】
記憶装置１２Ｃは、記憶装置１２に比較して、制御プログラムＰＲ１の代りに制御プログラムＰＲ１Ｃを記憶する。また、記憶装置１２Ｃは、記憶装置１２Ａと同様に、第１学習済みモデルＬＭ１に加えて、第２学習済みモデルＬＭ２を記憶する。
【0114】
処理装置１１Ｃは、制御プログラムＰＲ１Ｃを記憶装置１２Ｃから読み出して、読み出した制御プログラムＰＲ１Ｂを実行することによって、通信制御部１１１、深度情報推定部１１２、認識部１１３、検出部１１８、第１算出部１１４Ｂ、第２算出部１１５Ｃ、変換部１１６Ｃ、及び生成部１１７Ｃとして機能する。すなわち、処理装置１１Ｃは、その機能ブロックとして、処理装置１１と同一の通信制御部１１１、深度情報推定部１１２、認識部１１３、及び生成部１１７を有する。また、処理装置１１Ｃは、処理装置１１に備わる第１算出部１１４の代りに、第３実施形態と同様の第１算出部１１４Ｂを、第２算出部１１５の代りに第２算出部１１５Ｃを、変換部１１６の代りに変換部１１６Ｃを、生成部１１７の代りに生成部１１７Ｃを有する。更に、処理装置１１Ｃは、これらの機に加えて、第２実施形態と同様に、検出部１１８を有する。
【0115】
第２算出部１１５Ｃは、第２実施形態の第１算出部１１４Ａと同様に、マーカーＭ１の３次元座標及び姿勢情報に基づいて、マーカーＭ１が配置される平面上の１以上の点から撮像装置３０までの１以上の絶対距離を算出する。第２算出部１１５Ｃは、マーカー画像ＭＰ１が含まれる部分画像ＳＧ１（図１０参照）を構成する全ての画素について絶対距離を算出してもよい。
【0116】
変換部１１６Ｃは、側壁ＳＷとしての平面上の１以上の点から撮像装置３０までの１以上の絶対距離のうち、少なくとも１つの絶対距離と、マーカーＭ１から撮像装置３０までの絶対距離と、に基づいて、２次元画像ＤＰの複数の画素に一対一に対応する複数の相対距離を、複数の絶対距離に変換する。側壁ＳＷとしての平面上の１以上の点から撮像装置３０までの１以上の絶対距離のうち少なくとも１つの絶対距離は、点Ｂ１から撮像装置３０までの絶対距離であってもよい。
【0117】
生成部１１７Ｃは、第２算出部１１５Ｃによって算出された絶対距離、及び変換部１１６Ｃによって変換された複数の絶対距離のうち第２算出部１１５Ｃによって算出された絶対距離を除いた絶対距離と、２次元画像ＤＰを示す画像情報とに基づいて、現実空間ＲＳを示す３次元モデルを生成する。生成部１１７Ｃは、一例として、現実空間ＲＳにおける側壁ＳＷについては、２次元画像ＤＰにおける部分画像ＳＧ１の全ての画素に対応する絶対距離を用いることで、３次元モデルを生成してもよい。
【0118】
４－２：第４実施形態の動作
図２４は、３次元モデル生成装置１０Ｃの動作例を示すフローチャートである。
図２４は、３次元モデル生成装置１０Ｃの動作例を示すフローチャートである。
【0119】
ステップＳ３１～Ｓ３６は、図２２におけるステップＳ２１～Ｓ２６と同一の動作であるため、その説明を省略する。
【0120】
ステップＳ３７において、処理装置１１Ｃは、第２算出部１１５Ｃとして機能する。処理装置１１Ｃは、マーカーＭ１の３次元座標及び姿勢情報に基づいて、部分画像ＳＧ１の１以上の画素に対応する平面上の１以上の点から、撮像装置３０までの１以上の絶対距離を算出する。
【0121】
ステップＳ３８において、処理装置１１Ｂは、変換部１１６Ｃとして機能する。処理装置１１Ｃは、ステップＳ３７において算出された１以上の絶対距離のうち少なくとも１つの絶対距離、及び第１絶対距離に基づいて、複数の画素に一対一に対応する複数の相対距離を複数の絶対距離に変換する。
【0122】
ステップＳ３９において、処理装置１１Ｂは、生成部１１７Ｃとして機能する。処理装置１１Ｃは、ステップＳ３７において算出された絶対距離、及びステップＳ３８において変換された複数の絶対距離のうちステップＳ３７において算出された絶対距離を除いた絶対距離と、２次元画像ＤＰを示す画像情報とに基づいて、現実空間ＲＳを示す３次元モデルを生成する。
【0123】
４－３：第４実施形態が奏する効果
以上の説明によれば、３次元モデル生成装置としての３次元モデル生成装置１０Ｃは、深度情報推定部１１２と、認識部１１３と、検出部１１８と、第１算出部１１４Ｂと、第２算出部１１５Ｃと、変換部１１６Ｃと、生成部１１７Ｃと、を備える。深度情報推定部１１２は、第１マーカーとしてのマーカーＭ１が配置された平面を含む現実空間ＲＳを撮像装置３０が撮像することによって得られた２次元画像ＤＰに基づいて、２次元画像ＤＰの複数の画素と一対一に対応する現実空間ＲＳ上の複数の点から撮像装置３０までの各相対距離を示す深度情報を推定する。認識部１１３は、２次元画像ＤＰに含まれる、第１マーカーとしてのマーカーＭ１を示す、第１マーカー画像としてのマーカー画像ＭＰ１を認識する。検出部１１８は、２次元画像ＤＰの中から上記の平面に対応する部分画像ＳＧ１を検出する。第１算出部１１４Ｂは、マーカー画像ＭＰ１の形状に基づいて、マーカーＭ１から撮像装置３０までの絶対距離を示す第１絶対距離、マーカーＭ１の３次元座標、及びマーカーＭ１の姿勢を示す姿勢情報を算出する。第２算出部１１５Ｃは、マーカーＭ１の３次元座標及び上記の姿勢情報に基づいて、部分画像ＳＧ１の１以上の画素に対応する平面上の１以上の点から撮像装置３０までの１以上の絶対距離を算出する。変換部１１６Ｃは、上記の１以上の絶対距離のうち少なくとも１つの絶対距離、及び第１絶対距離に基づいて、上記の複数の画素に一対一に対応する複数の相対距離を複数の絶対距離に変換する。生成部１１７Ｃは、第２算出部１１５Ｃによって算出された絶対距離、及び上記の複数の絶対距離のうち第２算出部１１５Ｃによって算出された絶対距離を除いた絶対距離と、２次元画像ＤＰを示す画像情報とに基づいて、現実空間ＲＳを示す３次元モデルを生成する。
以上の説明によれば、３次元モデル生成装置としての３次元モデル生成装置１０Ｃは、深度情報推定部１１２と、認識部１１３と、検出部１１８と、第１算出部１１４Ｂと、第２算出部１１５Ｃと、変換部１１６Ｃと、生成部１１７Ｃと、を備える。深度情報推定部１１２は、第１マーカーとしてのマーカーＭ１が配置された平面を含む現実空間ＲＳを撮像装置３０が撮像することによって得られた２次元画像ＤＰに基づいて、２次元画像ＤＰの複数の画素と一対一に対応する現実空間ＲＳ上の複数の点から撮像装置３０までの各相対距離を示す深度情報を推定する。認識部１１３は、２次元画像ＤＰに含まれる、第１マーカーとしてのマーカーＭ１を示す、第１マーカー画像としてのマーカー画像ＭＰ１を認識する。検出部１１８は、２次元画像ＤＰの中から上記の平面に対応する部分画像ＳＧ１を検出する。第１算出部１１４Ｂは、マーカー画像ＭＰ１の形状に基づいて、マーカーＭ１から撮像装置３０までの絶対距離を示す第１絶対距離、マーカーＭ１の３次元座標、及びマーカーＭ１の姿勢を示す姿勢情報を算出する。第２算出部１１５Ｃは、マーカーＭ１の３次元座標及び上記の姿勢情報に基づいて、部分画像ＳＧ１の１以上の画素に対応する平面上の１以上の点から撮像装置３０までの１以上の絶対距離を算出する。変換部１１６Ｃは、上記の１以上の絶対距離のうち少なくとも１つの絶対距離、及び第１絶対距離に基づいて、上記の複数の画素に一対一に対応する複数の相対距離を複数の絶対距離に変換する。生成部１１７Ｃは、第２算出部１１５Ｃによって算出された絶対距離、及び上記の複数の絶対距離のうち第２算出部１１５Ｃによって算出された絶対距離を除いた絶対距離と、２次元画像ＤＰを示す画像情報とに基づいて、現実空間ＲＳを示す３次元モデルを生成する。
【0124】
第２算出部１１５Ｃによって算出される１以上の絶対距離は、マーカーＭ１の三次元座標から幾何学的に算出された座標であるので、第１算出部１１４Ｂによって算出される第１絶対距離と同等の精度を有する。このため、変換部１１６Ｃは、２個のマーカーを用いる場合と、同等の精度で複数の相対距離を複数の絶対距離に変換できる。よって、３次元モデル生成装置１０Ｂは、１つのマーカーＭ１を現実空間ＲＳに配置するだけで、３次元モデルを生成できる。
【0125】
３次元モデル生成装置１０Ｃは、マーカーＭ１が配置される平面については、第２算出部１１５Ｃによって算出された絶対座標に基づいて、３次元モデルを生成する。第２算出部１１５Ｃによって算出された絶対座標は、変換部１１６Ｃによって変換された絶対座標よりも精度が高いので、相対座標から変換された絶対座標に基づいて３次元モデルを生成する場合と比較して、３次元モデルの精度が向上する。
【0126】
５：第５実施形態
本発明の第５実施形態に係る３次元モデル生成装置１０Ｄを含む生成システム１について説明する。第５実施形態に係る生成システム１は、３次元モデル生成装置１０Ｃの代りに３次元モデル生成装置１０Ｄを備える点を除いて、第４実施形態に係る生成システム１と同様に構成される。以下では説明の簡略化のため、３次元モデル生成装置１０Ｄに含まれる構成要素のうち、３次元モデル生成装置１０、３次元モデル生成装置１０Ａ、３次元モデル生成装置１０Ｂ及び３次元モデル生成装置１０Ｃに含まれる構成要素と同一の構成要素については、同一の符号を適用し、その機能の説明を省略することがある。
本発明の第５実施形態に係る３次元モデル生成装置１０Ｄを含む生成システム１について説明する。第５実施形態に係る生成システム１は、３次元モデル生成装置１０Ｃの代りに３次元モデル生成装置１０Ｄを備える点を除いて、第４実施形態に係る生成システム１と同様に構成される。以下では説明の簡略化のため、３次元モデル生成装置１０Ｄに含まれる構成要素のうち、３次元モデル生成装置１０、３次元モデル生成装置１０Ａ、３次元モデル生成装置１０Ｂ及び３次元モデル生成装置１０Ｃに含まれる構成要素と同一の構成要素については、同一の符号を適用し、その機能の説明を省略することがある。
【0127】
第２実施形態、第３実施形態、及び第４実施形態に係る３次元モデル生成装置１０Ａ、１０Ｂ、及び１０Ｃは、現実空間ＲＳに配置されたマーカーＭ１が配置された平面に属する１以上の点について、マーカーＭ１の３次元座標を用いて、絶対距離を算出した。しかし、絶対距離を間接的に算出できるのは、マーカーＭ１が配置された平面に限られていた。これに対して、第５実施形態の３次元モデル生成装置１０Ｄは、マーカーＭ１が配置された平面とは異なる他の平面に属する点について、マーカーＭ１の３次元座標を用いて、他の平面に属する点から撮像装置３０までの絶対距離を算出する点で、
３次元モデル生成装置１０Ａ、１０Ｂ、及び１０Ｃと相違する。
３次元モデル生成装置１０Ａ、１０Ｂ、及び１０Ｃと相違する。
【0128】
５－１：第５実施形態の構成
図２５は、３次元モデル生成装置１０Ｄの構成例を示すブロック図である。３次元モデル生成装置１０Ｄは、３次元モデル生成装置１０に比較して、処理装置１１の代りに処理装置１１Ｄを、記憶装置１２の代りに記憶装置１２Ｄを備える。
図２５は、３次元モデル生成装置１０Ｄの構成例を示すブロック図である。３次元モデル生成装置１０Ｄは、３次元モデル生成装置１０に比較して、処理装置１１の代りに処理装置１１Ｄを、記憶装置１２の代りに記憶装置１２Ｄを備える。
【0129】
記憶装置１２Ｄは、記憶装置１２に比較して、制御プログラムＰＲ１の代りに制御プログラムＰＲ１Ｄを記憶する。また、記憶装置１２Ｄは、記憶装置１２Ａと同様に、第１学習済みモデルＬＭ１に加えて、第２学習済みモデルＬＭ２を記憶する。
【0130】
処理装置１１Ｄは、制御プログラムＰＲ１Ｄを記憶装置１２Ｄから読み出す。処理装置１１Ｄは、読み出された制御プログラムＰＲ１Ｄを実行することによって、通信制御部１１１、深度情報推定部１１２、認識部１１３、検出部１１８、第１算出部１１４Ｂ、第２算出部１１５Ｃ、変換部１１６Ｃ、及び生成部１１７Ｃとして機能する。すなわち、処理装置１１Ｃは、処理装置１１と同一の通信制御部１１１、深度情報推定部１１２、及び認識部１１３を有する。また、処理装置１１Ｄは、処理装置１１に備わる第１算出部１１４の代りに、第３実施形態と同様の第１算出部１１４Ｂを、第２算出部１１５の代りに第２算出部１１５Ｄを、変換部１１６の代りに変換部１１６Ｄを、生成部１１７の代りに、第４実施形態と同様の生成部１１７Ｃを有する。また、処理装置１１Ｄは、処理装置１１Ａに備わる検出部１１８の代りに検出部１１８Ｄを有する。更に、処理装置１１Ｄは、取得部１１９を有する。
【0131】
取得部１１９は、マーカーＭ１が配置される平面と、他の平面とがなす角度を取得する。取得部１１９は、例えば３次元モデル生成装置１０Ｄのユーザが、入力装置１３を用いて入力した情報に基づいて、当該角度を取得する。なお、現実空間ＲＳにおいては、隣接する２つの壁及び隣接する床と壁は、直交することが一般的である。また、対向する２つの壁及び対向する床と天井は、平行であることが一般的である。このため、隣接する平面の角度として９０度が規定値として設定されてもよい。あるいは、予め形状が既知である構造物のである場合には、記憶装置１２Ｄが規定値を記憶し、取得部１１９が記憶装置１２Ｄから規定値を読み出してもよい。
【0132】
図２６は、取得部１１９が取得する、マーカーＭ１が配置される平面と、他の平面がなす角度の例を示す図である。図２６に示される例において、取得部１１９は、マーカーＭ１が配置される平面である側壁ＳＷと、他の平面である対向壁ＦＷとがなす角度θ３を取得する。
【0133】
図２５に示される第２算出部１１５Ｄは、マーカーＭ１が配置される平面と他の平面とがなす角度、マーカーＭ１の３次元座標、及び姿勢情報に基づいて、他の部分画像の１以上の画素に対応する他の平面上の１以上の点から撮像装置３０までの１以上の絶対距離を算出する。他の部分画像は、２次元画像ＤＰ中の対向壁ＦＷに対応する画像である。
【0134】
具体的には、第２算出部１１５Ｄは、図１１～図１９に示される第２実施形態に係る方法と同様の方法を用いることで、マーカーＭ１が配置される側壁ＳＷ上の任意の点の３次元座標を算出できる。ここでは、第２算出部１１５Ｄは、当該任意の点として、側壁ＳＷと対向壁ＦＷとが交わる直線上の点Ｂ１の３次元座標を算出する。第２算出部１１５Ｄは、マーカーＭ１の姿勢情報と、取得部１１９によって取得された角度θ３を用いることで、対向壁ＦＷの平面をカメラ座標系において特定する。
【0135】
ここで、点Ｂ１を含みカメラ座標系のＸＺ平面と並行な平面を第３平面とする。第２算出部１１５Ｄは、第２実施形態において、マーカーＭ１の３次元座標から点Ｂ１の３次元座標を算出したのと同様の方法を用いることで、対向壁ＦＷと第３平面とが交わる直線上において、点Ｂ１から距離ｆだけ移動した点Ｃ１の３次元座標を算出する。次に、点Ｃ１を含みカメラ座標系のＹＺ平面と並行な平面を第４平面とする。第２算出部１１５Ｄは、対向壁ＦＷと第４平面とが交わる直線上において、点Ｃ１から距離ｇだけ移動した点Ｄ１の３次元座標を算出する。点Ｄ１の３次元座標はカメラ座標系で表現される。最後に、第２算出部１１５Ｄは、点Ｄ１の３次元座標を用いることで、点Ｄ１から撮像装置３０までの絶対距離を算出する。ここで、第２算出部１１５Ｄは、点Ｄ１を、対向壁ＦＷ上の任意の点とすることができる。
【0136】
図２５に示される変換部１１６Ｄは、マーカーＭ１が配置される平面に関する１以上の絶対距離、及び他の平面に関する１以上の絶対距離のうち少なくとも１つの絶対距離と、第１算出部１１４Ｂによって算出されるマーカーＭ１の第１絶対距離とに基づいて、２次元画像ＤＰの複数の画素に一対一に対応する複数の相対距離を、複数の絶対距離に変換する。図２６に示される例において、変換部１１６Ｄは、側壁ＳＷ内の１点以上の点の絶対距離、及び対向壁ＦＷ内の１点以上の点の絶対距離のうち少なくとも１つの絶対距離と、マーカーＭ１の第１絶対距離とに基づいて、複数の相対距離を複数の絶対距離に変換する。
【0137】
ここで、図２６に示されるように、現実空間ＲＳは物体ＯＢ１を含むものとする。また物体ＯＢ１と対向壁ＦＷとの距離ｄｏは、閾値以下であるとする。閾値は、生成された３次元モデルにおいてｄ０＝0とみなせる程度に設定することが好ましい。なお、物体ＯＢ１と対向壁ＦＷとの距離ｄｏが閾値以下にある場合だけではなく、物体ＯＢ１と側壁ＳＷとの距離が閾値以下にある場合も同様である。更に、対向壁ＦＷにおいて、物体ＯＢ１と最も近い点である基準点Ｑ１は、第２算出部１１５Ｄによって絶対距離が算出された１以上の点に含まれるものとする。換言すれば、第２算出部１１５Ｄは、絶対距離の算出対象に基準点Ｑ１が含まれるように他の平面の１以上の点を設定する。上述したように、第２算出部１１５Ｄは、他の平面の１以上の点について絶対距離を算出する場合、他の平面の１以上の点の三次元座標を算出する。したがって、第２算出部１１５Ｄは、基準点Ｑ１の三次元座標を算出する。
【0138】
検出部１１８Ｄは、２次元画像ＤＰに基づいて、物体ＯＢ１に対応する物体画像ＯＰ１を検出する。
【0139】
第２算出部１１５Ｄは、第４実施形態に係る第２算出部１１５Ｃと同様に、マーカーＭ１の３次元座標及び姿勢情報に基づいて、部分画像ＳＧ１の１以上の画素に対応する平面上の１以上の点から撮像装置３０までの１以上の絶対距離を算出する。
【0140】
５－２：第５実施形態の動作
図２７は、３次元モデル生成装置１０Ｄの動作例を示すフローチャートである。
図２７は、３次元モデル生成装置１０Ｄの動作例を示すフローチャートである。
【0141】
ステップＳ４１～Ｓ４６は、図２４におけるステップＳ３１～Ｓ３６と同一の動作であるため、その説明を省略する。
【0142】
ステップＳ４７において、処理装置１１Ｄは、取得部１１９として機能する。処理装置１１Ｄは、マーカーＭ１が配置される平面と、他の平面とがなす角度を取得する。
【0143】
ステップＳ４８において、処理装置１１Ｄは、第２算出部１１５Ｄとして機能する。処理装置１１Ｄは、マーカーＭ１の３次元座標及び姿勢情報に基づいて、部分画像ＳＧ１の１以上の画素に対応する平面上の１以上の点から撮像装置３０までの１以上の絶対距離を算出する。また、処理装置１１Ｄは、マーカーＭ１が配置される平面と他の平面とがなす角度、マーカーＭ１の３次元座標、及び上記の姿勢情報に基づいて、他の部分画像の１以上の画素に対応する他の平面上の１以上の点から撮像装置３０までの１以上の絶対距離を算出する。
【0144】
ステップＳ４９において、処理装置１１Ｄは、変換部１１６Ｄとして機能する。処理装置１１Ｄは、マーカーＭ１が配置される平面に関する１以上の絶対距離、及び他の平面に関する１以上の絶対距離のうち少なくとも１つの絶対距離と、ステップＳ４６において算出されるマーカーＭ１の第１絶対距離とに基づいて、２次元画像ＤＰの複数の画素に一対一に対応する複数の相対距離を、複数の絶対距離に変換する。
【0145】
ステップＳ５０は、図２４におけるステップＳ３９と同一の動作であるため、その説明を省略する。
【0146】
５－３：第５実施形態が奏する効果
生成システム１において、現実空間ＲＳは、マーカーＭ１が配置される平面と、マーカーＭ１が配置されていない他の平面を含む。検出部１１８Ｄは、２次元画像ＤＰの中から他の平面に対応する他の部分画像を検出する。第２算出部１１５Ｄは、マーカーＭ１が配置されている平面と、他の平面とがなす角度、マーカーＭ１の３次元座標及び姿勢情報に基づいて、他の部分画像の１以上の画素に対応する他の平面上の１以上の点から撮像装置３０までの１以上の絶対距離を、更に算出する。変換部１１６Ｄは、マーカーＭ１が配置される平面に関する１以上の絶対距離、及び他の平面に関する１以上の絶対距離のうち少なくとも１つの絶対距離と、第１絶対距離とに基づいて、複数の画素に一対一に対応する複数の相対距離を複数の絶対距離に変換する。
生成システム１において、現実空間ＲＳは、マーカーＭ１が配置される平面と、マーカーＭ１が配置されていない他の平面を含む。検出部１１８Ｄは、２次元画像ＤＰの中から他の平面に対応する他の部分画像を検出する。第２算出部１１５Ｄは、マーカーＭ１が配置されている平面と、他の平面とがなす角度、マーカーＭ１の３次元座標及び姿勢情報に基づいて、他の部分画像の１以上の画素に対応する他の平面上の１以上の点から撮像装置３０までの１以上の絶対距離を、更に算出する。変換部１１６Ｄは、マーカーＭ１が配置される平面に関する１以上の絶対距離、及び他の平面に関する１以上の絶対距離のうち少なくとも１つの絶対距離と、第１絶対距離とに基づいて、複数の画素に一対一に対応する複数の相対距離を複数の絶対距離に変換する。
【0147】
３次元モデル生成装置１０Ｄは、マーカーＭ１が配置されていない他の平面に属する任意の点から撮像装置３０までの絶対距離を算出する。変換部１１６Ｄは、他の平面に関する１以上の絶対距離を考慮して、複数の相対距離を複数の絶対距離に変換するこことで、３次元モデルの精度を向上できる。
【0148】
また、生成システム１Ｄにおいて、現実空間ＲＳは、物体ＯＢ１を含む。物体ＯＢ１と平面との距離、又は物体ＯＢ１と他の平面との距離は、閾値以下である。平面上の点及び他の平面上の点のうち、物体ＯＢ１と最も近い点である基準点Ｑ１は、平面上の１以上の点又は他の平面上の１以上の点に含まれる。検出部１１８Ｄは、２次元画像ＤＰに基づいて、物体ＯＢ１に対応する物体画像ＯＰ１を検出する。第２算出部１１５Ｄは、基準点Ｑ１の三次元座標を算出する。
【0149】
３次元モデル生成装置１０Ｄは、基準点Ｑ１の３次元座標を算出するので、物体ＯＢ１が位置する３次元座標を知ることができる。例えば、物体ＯＢ１が人物であり、当該人物の足が床面ＦＬに接している場合、床面ＦＬに位置する基準点Ｑ１の三次元座標を知ることができる。
【0150】
６：変形例
本開示は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を併合してもよい。
本開示は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を併合してもよい。
【0151】
６－１：変形例１
上記のように第２実施形態に係る３次元モデル生成装置１０Ａにおいて、検出部１１８は、２次元画像ＤＰの中から、現実空間ＲＳにおいて、マーカーＭ１が配置された平面に対応する部分画像ＳＧ１を検出する。上記の例において、検出部１１８は、２次元画像ＤＰの中から、現実空間ＲＳにおいて、側壁ＳＷに対応する部分画像ＳＧ１を検出する。
上記のように第２実施形態に係る３次元モデル生成装置１０Ａにおいて、検出部１１８は、２次元画像ＤＰの中から、現実空間ＲＳにおいて、マーカーＭ１が配置された平面に対応する部分画像ＳＧ１を検出する。上記の例において、検出部１１８は、２次元画像ＤＰの中から、現実空間ＲＳにおいて、側壁ＳＷに対応する部分画像ＳＧ１を検出する。
【0152】
しかし、検出部１１８による部分画像ＳＧ１の検出が困難である場合、３次元モデル生成装置１０のユーザは、ディスプレイ１５に表示される２次元画像ＤＰ上において、側壁ＳＷ内の任意の点をクリックし、第１算出部１１４Ａは、当該任意の点の２次元座標に基づいて、点Ｂ１のカメラ座標系で表現される３次元座標を算出してもよい。
【0153】
図２８は、変形例１に係る点Ｂの３次元座標の算出方法を示す図である。第１算出部１１４Ａは、２次元画像ＤＰにおいて、ユーザがクリックした点Ｂ１’の２次元座標（ｘ，ｙ）＝（ｃｘ，ｘｙ）を取得する。
【0154】
しかし、第１算出部１１４Ａは、点Ｂ１’の２次元座標に、撮像装置３０の内部パラメータである２つの行列Ｇ及びＨを適用しても、深度が不明なため、点Ｂ１の３次元座標は一意には特定されない。
【0155】
そこで、第１算出部１１４Ａは、マーカーＭ１の姿勢情報を用いることで、点Ｂ１’の２次元座標に行列Ｇ及びＨを適用することによって算出されるベクトルγと、側壁ＳＷとの交点として、点Ｂ１の３次元座標（ｘ，ｙ，ｚ）＝（ｃａ，ｃｂ，ｃｃ）を算出する。
【0156】
６－２：変形例２
上述した各実施形態において、マーカーはＡＲマーカーを例示したが、本開示はこれに限定されない。マーカーは現実空間に配置される他の物体と識別される特定の物体であればよい。特定の物体は、例えば、壁に配置されるポスター又は時計、若しくは避難路を示す非常灯であってもよい。これらの特定の物体は、認識部１１３によって認識される。
上述した各実施形態において、マーカーはＡＲマーカーを例示したが、本開示はこれに限定されない。マーカーは現実空間に配置される他の物体と識別される特定の物体であればよい。特定の物体は、例えば、壁に配置されるポスター又は時計、若しくは避難路を示す非常灯であってもよい。これらの特定の物体は、認識部１１３によって認識される。
【0157】
６－３：変形例３
上述した各実施形態及び変形例では、何らかのマーカーを必要としたが、本開示はこれに限定されない。図２９に示される変形例３に係る第２実施形態に係る３次元モデル生成装置１０Ｅは、現実空間にマーカーを配置しなくても３次元モデルを生成できる。
上述した各実施形態及び変形例では、何らかのマーカーを必要としたが、本開示はこれに限定されない。図２９に示される変形例３に係る第２実施形態に係る３次元モデル生成装置１０Ｅは、現実空間にマーカーを配置しなくても３次元モデルを生成できる。
【0158】
現実空間に配置される撮像装置３０の3次元座標及び撮像装置３０の光軸の向きが既知であり、且つ、撮像装置３０によって撮像された２次元画像ＤＰに写っている物体の位置が既知である場合がある。コンビニエンスストア、公共施設、又はオフィス等の施設では、設計時の３次元のレイアウトデータが存在することがある。例えば、図３０において対向壁ＦＷと側壁ＳＷとの境界に位置するソファの第1特徴点Ｐ１の位置、及び対向壁ＦＷと床面ＦＬとの境界に位置する第２特徴点Ｐ２の位置が既知である場合を想定する。第1特徴点Ｐ１の位置、及び第２特徴点Ｐ２の位置は、現実空間の３次元座標で表現される。
【0159】
２次元画像ＤＰ上の第１点Ｐ１１は第１特徴点Ｐ１に対応する。２次元画像ＤＰ上の第２点Ｐ２２は第２特徴点Ｐ２に対応する。ここで、特徴点Ｐ１から撮像装置３０までの第１絶対距離Ｌ１と特徴点Ｐ２から撮像装置３０までの第２絶対距離Ｌ２は既知である。
【0160】
３次元モデル生成装置１０Ｅは、第１絶対距離及び第２絶対距離が既知であることを前提とする。図２９に示される３次元モデル生成装置１０Ｅは、図２に示される第１実施形態の３次元モデル生成装置１０と比較して、処理装置１１の代りに処理装置１１Ｅを、記憶装置１２の代りに記憶装置１２Ｅを備える。
【0161】
記憶装置１２Ｅは、記憶装置１２に比較して、制御プログラムＰＲ１の代りに制御プログラムＰＲ１Ｅを記憶する。処理装置１１Ｅは、制御プログラムＰＲ１Ｅを記憶装置１２Ｅから読み出す。処理装置１１Ｅは、読み出された制御プログラムＰＲ１Ｅを実行することによって、通信制御部１１１、深度情報推定部１１２、受付部１１３Ｅ、取得部１１４Ｅ、変換部１１６、及び生成部１１７として機能する。すなわち、処理装置１１Ｅは、処理装置１１と同一の通信制御部１１１、深度情報推定部１１２、変換部１１６及び生成部１１７を有する。
【0162】
ディスプレイ１５に図３０に示される２次元画像ＤＰが表示されている場合を想定する。ユーザがディスプレイ１５に表示される２次元画像ＤＰにおいてユーザが第１点Ｐ１１を指又はタッチペンでタッチすると、入力装置１３から出力される出力信号に基づいて、受付部１１３Ｅは、第１点Ｐ１１の位置を示す第１位置を受け付ける。同様に、受付部１１３Ｅは、ユーザがディスプレイ１５に表示される２次元画像ＤＰにおいてユーザが第２点Ｐ２２を指又はタッチペンでタッチすると、入力装置１３から出力される出力信号に基づいて、第２点Ｐ２２の位置を示す第２位置を受け付ける。第１点Ｐ１１の位置及び第２点Ｐ２２の位置は、２次元画像ＤＰにおける２次元座標で与えられる。さらに、ユーザが入力装置１３を用いて、第１絶対距離及び第２絶対距離を入力すると、取得部１１４Ｅは、第１絶対距離及び第２絶対距離を取得する。
変換部１１６は、第１位置及び第１絶対距離、並びに第２位置及び第２絶対距離に基づいて、２次元画像ＤＰの複数の画素に一対一に対応する複数の相対距離を複数の絶対距離に変換する。具体的には、変換部１１６は、第１位置に対応する相対距離と第１絶対距離の組、及び第２位置に対応する相対距離と第１絶対距離の組に基づいて、数式（１）のパラメータａ及びパラメータｂを算出する。変換部１１６は、パラメータａ及びパラメータｂを用いて、複数の相対距離を複数の絶対距離に変換する。
変換部１１６は、第１位置及び第１絶対距離、並びに第２位置及び第２絶対距離に基づいて、２次元画像ＤＰの複数の画素に一対一に対応する複数の相対距離を複数の絶対距離に変換する。具体的には、変換部１１６は、第１位置に対応する相対距離と第１絶対距離の組、及び第２位置に対応する相対距離と第１絶対距離の組に基づいて、数式（１）のパラメータａ及びパラメータｂを算出する。変換部１１６は、パラメータａ及びパラメータｂを用いて、複数の相対距離を複数の絶対距離に変換する。
【0163】
６－４：変形例４
第２実施形態に係る３次元モデル生成装置１０Ａでは、検出部１１８が、第２学習済みモデルＬＭ２を用いて、２次元画像ＤＰにおいて、現実空間ＲＳに含まれる複数の平面と一対一に対応する複数の部分画像を検出していた。しかし、検出部１１８は、他の方法を用いて、複数の部分画像を検出してもよい。
第２実施形態に係る３次元モデル生成装置１０Ａでは、検出部１１８が、第２学習済みモデルＬＭ２を用いて、２次元画像ＤＰにおいて、現実空間ＲＳに含まれる複数の平面と一対一に対応する複数の部分画像を検出していた。しかし、検出部１１８は、他の方法を用いて、複数の部分画像を検出してもよい。
【0164】
例えば、検出部１１８は、１つのマーカーＭ１の絶対距離及び姿勢情報に基づいて、マーカーＭ１が配置された平面に対応する部分画像を検出してもよい。
【0165】
あるいは、マーカーＭ１及びＭ２に加えて、第３のマーカーＭ３が１つの平面に配置される場合、検出部１１８は、マーカーＭ１の絶対距離、マーカーＭ２の絶対距離、及びマーカーＭ３の絶対距離に基づいて、マーカーＭ１～Ｍ３が配置される平面に対応する部分画像を検出してもよい。より詳細には、この場合、認識部１１３は、２次元画像ＤＰに含まれるマーカー画像ＭＰ３を認識する。また、図９には図示されない第３算出部１２０が、マーカー画像ＭＰ３の形状に基づいて、マーカーＭ３から撮像装置３０までの絶対距離を算出する。検出部１１８は、マーカーＭ１の絶対距離、及びマーカーＭ２の絶対距離に加えて、第３算出部１２０によって算出されたマーカーＭ３の絶対距離に基づいて、マーカーＭ１～Ｍ３が配置された平面に対応する部分画像を検出してもよい。
【0166】
７：その他
（１）上述した実施形態では、記憶装置１２～１２Ｄは、ＲＯＭ及びＲＡＭなどを例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、ＣＤ－ＲＯＭ（Compact Disc－ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。また、プログラムは、電気通信回線を介して通信網ＮＥＴから送信されてもよい。
（１）上述した実施形態では、記憶装置１２～１２Ｄは、ＲＯＭ及びＲＡＭなどを例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、ＣＤ－ＲＯＭ（Compact Disc－ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。また、プログラムは、電気通信回線を介して通信網ＮＥＴから送信されてもよい。
【0167】
（２）上述した実施形態において、説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
【0168】
（３）上述した実施形態において、入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
【0169】
（４）上述した実施形態において、判定は、１ビットを用いて表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
【0170】
（５）上述した実施形態において例示した処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
【0171】
（６）図２、図９、図２１、図２３、図２５、及び図２９に例示された各機能は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
【0172】
（７）上述した実施形態において例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称を用いて呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
【0173】
また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
【0174】
（８）前述の各形態において、「システム」及び「ネットワーク」という用語は、互換的に使用される。
【0175】
（９）本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。
【0176】
（１０）上述した実施形態において、「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的な結合又は接続であっても、論理的な結合又は接続であっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」を用いて読み替えられてもよい。本開示において使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。
【0177】
（１１）上述した実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
【0178】
（１２）本開示において使用される「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。
【0179】
（１３）上述した実施形態において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。更に、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。
【0180】
（１４）本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
【0181】
（１５）本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」等の用語も、「異なる」と同様に解釈されてもよい。
【0182】
（１６）本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行う通知に限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
【0183】
以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施できる。したがって、本開示の記載は、例示説明を目的とし、本開示に対して何ら制限的な意味を有さない。
【符号の説明】
【0184】
１…生成システム、１０～１０Ｄ…３次元モデル生成装置、１１～１１Ｅ…処理装置、１２～１２Ｅ…記憶装置、１３…入力装置、１４…通信装置、１５…ディスプレイ、３０…撮像装置、１１１…通信制御部、１１２…深度情報推定部、１１３…認識部、１１４～１１４Ｂ…第１算出部、１１３Ｅ…受付部、１１４Ｅ…取得部、１１５，１１５Ｂ，１１５Ｃ，１１５Ｄ…第２算出部、１１６～１１６Ｄ…変換部、１１７，１１７Ａ，１１７Ｃ…生成部、１１８，１１８Ｄ…検出部、１１９…取得部、ＬＭ１，ＬＭ２…学習済みモデル、Ｍ１～Ｍ４…マーカー、ＭＰ１，ＭＰ２…マーカー画像、ＯＢ１…物体、ＯＰ１…物体画像、ＰＲ１～ＰＲ１Ｅ…制御プログラム、ＳＧ１…部分画像
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
