知財求人 - 知財ポータルサイト「IP Force」
特開2024-100317移動体の三次元モデル製造装置、移動体の三次元モデル製造方法、プログラム及び記録媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024100317
(43)【公開日】2024-07-26
(54)【発明の名称】移動体の三次元モデル製造装置、移動体の三次元モデル製造方法、プログラム及び記録媒体
(51)【国際特許分類】
G06T 7/55 20170101AFI20240719BHJP
G06T 7/194 20170101ALI20240719BHJP
【ＦＩ】
G06T7/55
G06T7/194
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2023004227
(22)【出願日】2023-01-16
(71)【出願人】
【識別番号】000232092
【氏名又は名称】ＮＥＣソリューションイノベータ株式会社
(74)【代理人】
【識別番号】100115255
【弁理士】
【氏名又は名称】辻丸 光一郎
(74)【代理人】
【識別番号】100201732
【弁理士】
【氏名又は名称】松縄 正登
(74)【代理人】
【識別番号】100154081
【弁理士】
【氏名又は名称】伊佐治 創
(74)【代理人】
【識別番号】100227019
【弁理士】
【氏名又は名称】安 修央
(72)【発明者】
【氏名】石田 州裕
(72)【発明者】
【氏名】外村 彰英
(72)【発明者】
【氏名】片山 紘希
(72)【発明者】
【氏名】山上 辰典
(72)【発明者】
【氏名】山地 智
(72)【発明者】
【氏名】高橋 昌也
(72)【発明者】
【氏名】足立 浩基
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096BA03
5L096BA04
5L096CA04
5L096DA02
5L096GA10
5L096HA08
5L096HA11
(57)【要約】
【課題】 移動体の画像から三次元モデルを生成可能な移動体の三次元モデル製造装置を提供する。
【解決手段】 本発明の移動体の三次元モデル製造装置は、画像取得部、移動体検出部、マスク画像生成部、及び三次元モデル生成部を含み、
前記画像取得部は、移動体を撮像した複数の画像を取得し、
前記移動体検出部は、前記複数の画像から移動体を検出し、
前記マスク画像生成部は、前記複数の画像から、検出した前記移動体以外の背景画像をマスクした複数のマスク画像を生成し、
前記三次元モデル生成部は、前記複数のマスク画像から、前記移動体の三次元モデルを生成する。
【選択図】 図１
【解決手段】 本発明の移動体の三次元モデル製造装置は、画像取得部、移動体検出部、マスク画像生成部、及び三次元モデル生成部を含み、
前記画像取得部は、移動体を撮像した複数の画像を取得し、
前記移動体検出部は、前記複数の画像から移動体を検出し、
前記マスク画像生成部は、前記複数の画像から、検出した前記移動体以外の背景画像をマスクした複数のマスク画像を生成し、
前記三次元モデル生成部は、前記複数のマスク画像から、前記移動体の三次元モデルを生成する。
【選択図】 図１
【特許請求の範囲】
【請求項1】
画像取得部、移動体検出部、マスク画像生成部、及び三次元モデル生成部を含み、
前記画像取得部は、移動体を撮像した複数の画像を取得し、
前記移動体検出部は、前記複数の画像から移動体を検出し、
前記マスク画像生成部は、前記複数の画像から、検出した前記移動体以外の背景画像をマスクした複数のマスク画像を生成し、
前記三次元モデル生成部は、前記複数のマスク画像から、前記移動体の三次元モデルを生成する、移動体の三次元モデル製造装置。
前記画像取得部は、移動体を撮像した複数の画像を取得し、
前記移動体検出部は、前記複数の画像から移動体を検出し、
前記マスク画像生成部は、前記複数の画像から、検出した前記移動体以外の背景画像をマスクした複数のマスク画像を生成し、
前記三次元モデル生成部は、前記複数のマスク画像から、前記移動体の三次元モデルを生成する、移動体の三次元モデル製造装置。
【請求項2】
前記三次元モデル生成部は、特徴点抽出部、点群データ生成部、及びモデル生成部を含み、
前記特徴点抽出部は、前記複数のマスク画像から、前記移動体の特徴点を抽出し、
前記点群データ生成部は、前記特徴点に基づいて、前記移動体の三次元点群データを生成し、
前記モデル生成部は、前記三次元点群データに基づいて前記三次元モデルを生成する、請求項１記載の三次元モデル製造装置。
前記特徴点抽出部は、前記複数のマスク画像から、前記移動体の特徴点を抽出し、
前記点群データ生成部は、前記特徴点に基づいて、前記移動体の三次元点群データを生成し、
前記モデル生成部は、前記三次元点群データに基づいて前記三次元モデルを生成する、請求項１記載の三次元モデル製造装置。
【請求項3】
画像取得工程、移動体検出工程、マスク画像生成工程、及び三次元モデル生成工程を含み、
前記画像取得工程は、移動体を撮像した複数の画像を取得し、
前記移動体検出工程は、前記複数の画像から移動体を検出し、
前記マスク画像生成工程は、前記複数の画像から、検出した前記移動体以外の背景画像をマスクした複数のマスク画像を生成し、
前記三次元モデル生成工程は、前記複数のマスク画像から、前記移動体の三次元モデルを生成する、移動体の三次元モデル製造方法。
前記画像取得工程は、移動体を撮像した複数の画像を取得し、
前記移動体検出工程は、前記複数の画像から移動体を検出し、
前記マスク画像生成工程は、前記複数の画像から、検出した前記移動体以外の背景画像をマスクした複数のマスク画像を生成し、
前記三次元モデル生成工程は、前記複数のマスク画像から、前記移動体の三次元モデルを生成する、移動体の三次元モデル製造方法。
【請求項4】
前記三次元モデル生成工程は、特徴点抽出工程、点群データ生成工程、及びモデル生成工程を含み、
前記特徴点抽出工程は、前記複数のマスク画像から、前記移動体の特徴点を抽出し、
前記点群データ生成工程は、前記特徴点に基づいて、前記移動体の三次元点群データを生成し、
前記モデル生成工程は、前記三次元点群データに基づいて前記三次元モデルを生成する、請求項３記載の三次元モデル製造方法。
前記特徴点抽出工程は、前記複数のマスク画像から、前記移動体の特徴点を抽出し、
前記点群データ生成工程は、前記特徴点に基づいて、前記移動体の三次元点群データを生成し、
前記モデル生成工程は、前記三次元点群データに基づいて前記三次元モデルを生成する、請求項３記載の三次元モデル製造方法。
【請求項5】
画像取得手順、移動体検出手順、マスク画像生成手順、及び三次元モデル生成手順を含み、
前記画像取得手順は、移動体を撮像した複数の画像を取得し、
前記移動体検出手順は、前記複数の画像から移動体を検出し、
前記マスク画像生成手順は、前記複数の画像から、検出した前記移動体以外の背景画像をマスクした複数のマスク画像を生成し、
前記三次元モデル生成手順は、前記複数のマスク画像から、前記移動体の三次元モデルを生成し、
前記各手順をコンピュータに実行させるためのプログラム。
前記画像取得手順は、移動体を撮像した複数の画像を取得し、
前記移動体検出手順は、前記複数の画像から移動体を検出し、
前記マスク画像生成手順は、前記複数の画像から、検出した前記移動体以外の背景画像をマスクした複数のマスク画像を生成し、
前記三次元モデル生成手順は、前記複数のマスク画像から、前記移動体の三次元モデルを生成し、
前記各手順をコンピュータに実行させるためのプログラム。
【請求項6】
前記三次元モデル生成手順は、特徴点抽出手順、点群データ生成手順、及びモデル生成手順を含み、
前記特徴点抽出手順は、前記複数のマスク画像から、前記移動体の特徴点を抽出し、
前記点群データ生成手順は、前記特徴点に基づいて、前記移動体の三次元点群データを生成し、
前記モデル生成手順は、前記三次元点群データに基づいて前記三次元モデルを生成する、請求項５記載のプログラム。
前記特徴点抽出手順は、前記複数のマスク画像から、前記移動体の特徴点を抽出し、
前記点群データ生成手順は、前記特徴点に基づいて、前記移動体の三次元点群データを生成し、
前記モデル生成手順は、前記三次元点群データに基づいて前記三次元モデルを生成する、請求項５記載のプログラム。
【請求項7】
画像取得手順、移動体検出手順、マスク画像生成手順、及び三次元モデル生成手順を含み、
前記画像取得手順は、移動体を撮像した複数の画像を取得し、
前記移動体検出手順は、前記複数の画像から移動体を検出し、
前記マスク画像生成手順は、前記複数の画像から、検出した前記移動体以外の背景画像をマスクした複数のマスク画像を生成し、
前記三次元モデル生成手順は、前記複数のマスク画像から、前記移動体の三次元モデルを生成し、
前記各手順をコンピュータに実行させるためのプログラムを記録しているコンピュータ読み取り可能な記録媒体。
前記画像取得手順は、移動体を撮像した複数の画像を取得し、
前記移動体検出手順は、前記複数の画像から移動体を検出し、
前記マスク画像生成手順は、前記複数の画像から、検出した前記移動体以外の背景画像をマスクした複数のマスク画像を生成し、
前記三次元モデル生成手順は、前記複数のマスク画像から、前記移動体の三次元モデルを生成し、
前記各手順をコンピュータに実行させるためのプログラムを記録しているコンピュータ読み取り可能な記録媒体。
【請求項8】
前記三次元モデル生成手順は、特徴点抽出手順、点群データ生成手順、及びモデル生成手順を含み、
前記特徴点抽出手順は、前記複数のマスク画像から、前記移動体の特徴点を抽出し、
前記点群データ生成手順は、前記特徴点に基づいて、前記移動体の三次元点群データを生成し、
前記モデル生成手順は、前記三次元点群データに基づいて前記三次元モデルを生成する、請求項７記載の記録媒体。
前記特徴点抽出手順は、前記複数のマスク画像から、前記移動体の特徴点を抽出し、
前記点群データ生成手順は、前記特徴点に基づいて、前記移動体の三次元点群データを生成し、
前記モデル生成手順は、前記三次元点群データに基づいて前記三次元モデルを生成する、請求項７記載の記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、移動体の三次元モデル製造装置、移動体の三次元モデル製造方法、プログラム及び記録媒体に関する。
【背景技術】
【0002】
近年、物体検出、検査、設計、製造等、様々な技術分野において三次元モデルの需要がある。そこで、撮影画像から三次元モデルを生成する方法が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２２－１０７２６９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１に記載の方法では、橋梁等の非移動体を撮影した画像から三次元モデルを生成することができる一方、車両等の移動体を撮影した画像からは三次元モデルを生成できないという課題がある。
【0005】
そこで本発明は、移動体の画像から三次元モデルを生成可能な移動体の三次元モデル製造装置、移動体の三次元モデル製造方法、プログラム及び記録媒体の提供を目的とする。
【課題を解決するための手段】
【0006】
前記目的を達成するために、本発明の移動体の三次元モデル製造装置は、
画像取得部、移動体検出部、マスク画像生成部、及び三次元モデル生成部を含み、
前記画像取得部は、移動体を撮像した複数の画像を取得し、
前記移動体検出部は、前記複数の画像から移動体を検出し、
前記マスク画像生成部は、前記複数の画像から、検出した前記移動体以外の背景画像をマスクした複数のマスク画像を生成し、
前記三次元モデル生成部は、前記複数のマスク画像から、前記移動体の三次元モデルを生成する。
画像取得部、移動体検出部、マスク画像生成部、及び三次元モデル生成部を含み、
前記画像取得部は、移動体を撮像した複数の画像を取得し、
前記移動体検出部は、前記複数の画像から移動体を検出し、
前記マスク画像生成部は、前記複数の画像から、検出した前記移動体以外の背景画像をマスクした複数のマスク画像を生成し、
前記三次元モデル生成部は、前記複数のマスク画像から、前記移動体の三次元モデルを生成する。
【0007】
本発明の移動体の三次元モデル製造方法は、
画像取得工程、移動体検出工程、マスク画像生成工程、及び三次元モデル生成工程を含み、
前記画像取得工程は、移動体を撮像した複数の画像を取得し、
前記移動体検出工程は、前記複数の画像から移動体を検出し、
前記マスク画像生成工程は、前記複数の画像から、検出した前記移動体以外の背景画像をマスクした複数のマスク画像を生成し、
前記三次元モデル生成工程は、前記複数のマスク画像から、前記移動体の三次元モデルを生成する。
画像取得工程、移動体検出工程、マスク画像生成工程、及び三次元モデル生成工程を含み、
前記画像取得工程は、移動体を撮像した複数の画像を取得し、
前記移動体検出工程は、前記複数の画像から移動体を検出し、
前記マスク画像生成工程は、前記複数の画像から、検出した前記移動体以外の背景画像をマスクした複数のマスク画像を生成し、
前記三次元モデル生成工程は、前記複数のマスク画像から、前記移動体の三次元モデルを生成する。
【0008】
本発明のプログラムは、
画像取得手順、移動体検出手順、マスク画像生成手順、及び三次元モデル生成手順を含み、
前記画像取得手順は、移動体を撮像した複数の画像を取得し、
前記移動体検出手順は、前記複数の画像から移動体を検出し、
前記マスク画像生成手順は、前記複数の画像から、検出した前記移動体以外の背景画像をマスクした複数のマスク画像を生成し、
前記三次元モデル生成手順は、前記複数のマスク画像から、前記移動体の三次元モデルを生成し、
前記各手順をコンピュータに実行させるためのプログラムである。
画像取得手順、移動体検出手順、マスク画像生成手順、及び三次元モデル生成手順を含み、
前記画像取得手順は、移動体を撮像した複数の画像を取得し、
前記移動体検出手順は、前記複数の画像から移動体を検出し、
前記マスク画像生成手順は、前記複数の画像から、検出した前記移動体以外の背景画像をマスクした複数のマスク画像を生成し、
前記三次元モデル生成手順は、前記複数のマスク画像から、前記移動体の三次元モデルを生成し、
前記各手順をコンピュータに実行させるためのプログラムである。
【0009】
本発明の記録媒体は、
画像取得手順、移動体検出手順、マスク画像生成手順、及び三次元モデル生成手順を含み、
前記画像取得手順は、移動体を撮像した複数の画像を取得し、
前記移動体検出手順は、前記複数の画像から移動体を検出し、
前記マスク画像生成手順は、前記複数の画像から、検出した前記移動体以外の背景画像をマスクした複数のマスク画像を生成し、
前記三次元モデル生成手順は、前記複数のマスク画像から、前記移動体の三次元モデルを生成し、
前記各手順をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
画像取得手順、移動体検出手順、マスク画像生成手順、及び三次元モデル生成手順を含み、
前記画像取得手順は、移動体を撮像した複数の画像を取得し、
前記移動体検出手順は、前記複数の画像から移動体を検出し、
前記マスク画像生成手順は、前記複数の画像から、検出した前記移動体以外の背景画像をマスクした複数のマスク画像を生成し、
前記三次元モデル生成手順は、前記複数のマスク画像から、前記移動体の三次元モデルを生成し、
前記各手順をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の効果】
【0010】
本発明によれば、移動体の画像から三次元モデルを生成できる。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
以下、本発明の実施形態について図を用いて説明する。本発明は、以下の実施形態には限定されない。以下の各図において、同一部分には、同一符号を付している。また、各実施形態の説明は、特に言及がない限り、互いの説明を援用でき、各実施形態の構成は、特に言及がない限り、組合せ可能である。
【0013】
［実施形態１］
図１は、本実施形態の移動体の三次元モデル製造装置１０（以下「本装置」ともいう。）の一例の構成を示すブロック図である。図１に示すように、本装置１０は、画像取得部１１、移動体検出部１２、マスク画像生成部１３、及び三次元モデル生成部１４を含む。図１に示すように、三次元モデル生成部１４は、例えば、特徴点抽出部１４１、点群データ生成部１４２、及びモデル生成部１４３を含んでもよい。また、本装置１０は、図示していないが、例えば、入力部、出力部、表示部及び／又は記憶部を含んでもよい。
図１は、本実施形態の移動体の三次元モデル製造装置１０（以下「本装置」ともいう。）の一例の構成を示すブロック図である。図１に示すように、本装置１０は、画像取得部１１、移動体検出部１２、マスク画像生成部１３、及び三次元モデル生成部１４を含む。図１に示すように、三次元モデル生成部１４は、例えば、特徴点抽出部１４１、点群データ生成部１４２、及びモデル生成部１４３を含んでもよい。また、本装置１０は、図示していないが、例えば、入力部、出力部、表示部及び／又は記憶部を含んでもよい。
【0014】
本装置１０は、例えば、前記各部を含む１つの装置でもよいし、前記各部が、通信回線網を介して接続可能な装置でもよい。また、本装置１０は、前記通信回線網を介して、後述する外部装置と接続可能である。前記通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。前記通信回線網は、例えば、インターネット回線、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）、電話回線、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＤＴＮ（Ｄｅｌａｙ Ｔｏｌｅｒａｎｔ Ｎｅｔｗｏｒｋｉｎｇ）、ＬＰＷＡ（Ｌｏｗ Ｐｏｗｅｒ Ｗｉｄｅ Ａｒｅａ）、Ｌ５Ｇ（ローカル５Ｇ）、等があげられる。無線通信としては、例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ローカル５Ｇ、ＬＰＷＡ等が挙げられる。前記無線通信としては、各装置が直接通信する形態（Ａｄ Ｈｏｃ通信）、インフラストラクチャ（infrastructure通信）、アクセスポイントを介した間接通信等であってもよい。本装置１０は、例えば、システムとしてサーバに組み込まれていてもよい。また、本装置１０は、例えば、本発明のプログラムがインストールされたパーソナルコンピュータ（ＰＣ、例えば、デスクトップ型、ノート型）、スマートフォン、タブレット端末等であってもよい。本装置１０は、例えば、前記各部のうち少なくとも一つがサーバ上にあり、その他の前記各部が端末上にあるような、クラウドコンピューティングやエッジコンピューティング等の形態であってもよい。
【0015】
図２に、本装置１０のハードウェア構成のブロック図を例示する。本装置１０は、例えば、中央処理装置（ＣＰＵ、ＧＰＵ等）１０１、メモリ１０２、バス１０３、記憶装置１０４、入力装置１０５、出力装置１０６、通信デバイス１０７等を含む。本装置１０の各部は、それぞれのインタフェース（Ｉ／Ｆ）により、バス１０３を介して相互に接続されている。
【0016】
中央処理装置１０１は、コントローラ（システムコントローラ、Ｉ／Ｏコントローラ等）等により、他の構成と連携動作し、本装置１０の全体の制御を担う。本装置１０において、中央処理装置１０１により、例えば、本発明のプログラムやその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的には、例えば、中央処理装置１０１が、画像取得部１１、移動体検出部１２、マスク画像生成部１３、及び三次元モデル生成部１４として機能する。本装置１０は、演算装置として、ＣＰＵ、ＧＰＵ（Graphics Processing Unit）、ＡＰＵ（Accelerated Processing Unit）等の他の演算装置を備えてもよいし、これらの組合せを備えてもよい。
【0017】
バス１０３は、例えば、外部装置とも接続できる。前記外部装置は、例えば、ユーザの端末、外部記憶装置（外部データベース等）、プリンタ、外部入力装置、外部表示装置、外部撮像装置等があげられる。本装置１０は、例えば、バス１０３に接続された通信デバイス１０７により、外部ネットワーク（前記通信回線網）に接続でき、外部ネットワークを介して、他の装置と接続することもできる。
【0018】
メモリ１０２は、例えば、メインメモリ（主記憶装置）が挙げられる。中央処理装置１０１が処理を行う際には、例えば、後述する記憶装置１０４に記憶されている本発明のプログラム等の種々の動作プログラムを、メモリ１０２が読み込み、中央処理装置１０１は、メモリ１０２からデータを受け取って、プログラムを実行する。前記メインメモリは、例えば、ＲＡＭ（ランダムアクセスメモリ）である。また、メモリ１０２は、例えば、ＲＯＭ（読み出し専用メモリ）であってもよい。
【0019】
記憶装置１０４は、例えば、前記メインメモリ（主記憶装置）に対して、いわゆる補助記憶装置ともいう。前述のように、記憶装置１０４には、本発明のプログラムを含む動作プログラムが格納されている。記憶装置１０４は、例えば、記録媒体と、記録媒体に読み書きするドライブとの組合せであってもよい。前記記録媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、ＨＤ（ハードディスク）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＭＯ、ＤＶＤ、フラッシュメモリー、メモリーカード等が挙げられる。記憶装置１０４は、例えば、記録媒体とドライブとが一体化されたハードディスクドライブ（ＨＤＤ）、及びソリッドステートドライブ（ＳＳＤ）であってもよい。本装置１０が前記記憶部を含む場合、例えば、記憶装置１０４は、前記記憶部として機能する。
【0020】
本装置１０において、メモリ１０２及び記憶装置１０４は、ログ情報、外部データベース（図示せず）や外部の装置から取得した情報、本装置１０によって生成した情報、本装置１０が処理を実行する際に用いる情報等の種々の情報を記憶することも可能である。この場合、メモリ１０２及び記憶装置１０４は、例えば、前述の本装置のユーザの情報等を記憶していてもよい。なお、少なくとも一部の情報は、例えば、メモリ１０２及び記憶装置１０４以外の外部サーバに記憶されていてもよいし、複数の端末にブロックチェーン技術等を用いて分散して記憶されていてもよい。
【0021】
本装置１０は、例えば、さらに、入力装置１０５、出力装置１０６を備える。入力装置１０５は、例えば、タッチパネル、トラックパッド、マウス等のポインティングデバイス；キーボード；カメラ、スキャナ等の撮像手段；ＩＣカードリーダ、磁気カードリーダ等のカードリーダ；マイク等の音声入力手段；等があげられる。出力装置１０６は、例えば、ＬＥＤディスプレー、液晶ディスプレー等の表示装置；スピーカ等の音声出力装置；プリンタ；等があげられる。本実施形態１において、入力装置１０５と出力装置１０６とは、別個に構成されているが、入力装置１０５と出力装置１０６とは、タッチパネルディスプレーのように、一体として構成されてもよい。
【0022】
つぎに、本実施形態の移動体の三次元モデル製造方法の一例を、図３のフローチャートに基づき説明する。本実施形態の移動体の三次元モデル製造方法は、例えば、図１又は図２の装置１０を用いて、次のように実施する。なお、本実施形態の移動体の三次元モデル製造方法は、図１又は図２の装置１０の使用には限定されない。
【0023】
まず、画像取得部１１は、移動体を撮像した複数の画像を取得する（Ｓ１、画像取得工程）。前記移動体は、例えば、移動している対象であれば特に制限されない。前記移動体は、例えば、ヒト等の生物でもよいし、非生物の物体でもよい。前記移動体の具体例としては、例えば、車両、船舶、航空機等の乗り物；コンベア等の移動手段により運ばれる物品（例えば、生産ラインにおける製品、中間品；空港や物流拠点等において運搬される荷物等）；があげられる。前記画像の枚数は、特に制限されず、撮影された画像にオーバーラップ（重なり）があればよく、任意の枚数とできる。具体例として、例えば、前記移動体を移動体の上部から撮像した画像である場合、３０枚以上であることが好ましい。画像取得部１１は、例えば、前記移動体を撮像した外部の撮像装置から、前記複数の画像を取得してもよいし、本装置１０の入力装置（例えば、カメラ等の撮像装置）１０５により撮像した画像を取得してもよい。また、画像取得部１１は、例えば、前記撮像装置が撮像した画像を記録した記憶装置またはサーバ装置から前記画像を取得してもよい。前記外部の撮像装置は、例えば、監視カメラのように固定された撮像装置でもよいし、車載カメラのような非固定の撮像装置でもよいが、固定された撮像装置であることが好ましい。前記外部の撮像装置が非固定の撮像装置である場合、例えば、前記移動体と前記撮像装置とは、相対的に移動している関係であることが好ましい。前記「相対的に移動している」とは、例えば、前記撮像装置の移動方向及び移動速度の少なくとも一方と、前記移動体の移動方向及び少なくとも一方とが、互いに異なる関係であることを意味する。画像取得部１１は、例えば、取得した前記複数の画像をメモリ１０２、記憶装置１０４、又は本装置１０外の外部記憶装置に記憶してもよい。
【0024】
つぎに、移動体検出部１２は、前記複数の画像から移動体を検出する（Ｓ２、移動体検出工程）。前記移動体の検出は、例えば、検出する移動体の種類に応じて適切な画像解析手法により実行できる。前記画像解析手法は、例えば、機械学習を利用した方法でもよいし、機械学習を利用しない方法でもよい。移動体検出部１２は、例えば、Ｏｐｅｎ ＣＶを利用して前記移動体を検出できる。具体例として、例えば、Ｏｐｅｎ ＣＶ等のあらかじめ決められた多数のパターンを、様々な学習画像に対してあてはめておき、画像の輝度変化等を特徴として抽出するカスケード分類器；ＳＳＤ（Single Shot Multibox Detector）、ＹＯＬＯ（You Only Look Once）等の深層学習を用いた物体検出器；等を用いて前記移動体を検出できる。移動体検出部１２は、例えば、前記画像において、検出した移動体をバウンディングボックス等で境界を指定してもよい。
【0025】
つぎに、マスク画像生成部１３は、前記複数の画像から、検出した前記移動体以外の背景画像をマスクした複数のマスク画像を生成する（Ｓ３、マスク画像生成工程）。マスク画像生成部１３は、例えば、前記画像において、前記移動体が含まれる画素を切り抜くことで前記マスク画像を生成してもよいし、前記以外の箇所を背景とし、前記背景部分について、白または黒に置換することで生成してもよい。マスク画像生成部１３は、例えば、生成した前記マスク画像をメモリ１０２、記憶装置１０４、又は本装置１０外の外部記憶装置に記憶してもよい。
【0026】
三次元モデル生成部１４は、前記複数のマスク画像から、前記移動体の三次元モデルを生成する（Ｓ４、三次元モデル生成工程）。三次元モデル生成部１４は、例えば、前記複数のマスク画像から、前記画像を撮像した撮像装置の前記移動体に対する相対位置情報を推定し、前記相対位置情報に基づいて前記三次元モデルを生成してもよい。三次元モデル生成部１４は、例えば、前記複数のマスク画像を、公知のフォトグラメトリ処理を実行可能なソフトウェア（例えば、openSFM等）に入力することにより、前記三次元モデルを生成できる。また、三次元モデル生成部１４は、例えば、特徴点抽出部１４１、点群データ生成部１４２、及びモデル生成部１４３を含んでもよい。三次元モデル生成部１４が、特徴点抽出部１４１、点群データ生成部１４２、及びモデル生成部１４３を含む場合の処理について、図４を用いて説明する。図４は、三次元モデル生成部１４の処理の一例を示すフローチャートである。
【0027】
まず、特徴点抽出部１４１は、前記複数のマスク画像から、前記移動体の特徴点を抽出する（Ｓ４Ａ、特徴点抽出工程）。特徴点抽出部１４１は、例えば、前記複数のマスク画像において、ユーザが指定した領域を前記特徴点として抽出してもよいし、画像解析技術により、前記複数のマスク画像における、移動体の共通部分を前記特徴点として抽出してもよい。点群データ生成部１４２は、前記特徴点に基づいて、前記移動体の三次元点群データを生成する（Ｓ４Ｂ、点群データ生成工程）。モデル生成部１４３は、前記三次元点群データに基づいて前記三次元モデルを生成する（Ｓ４Ｃ、モデル生成工程)。
【0028】
以下、図５を用いて、本実施形態の三次元モデル製造装置１０の利用例を説明する。まず、三次元モデル製造装置１０の利用に先立ち、移動体（車両）３０を撮像できる位置（例えば、移動体３０の上部）に、撮像装置２０を配置する。移動体３０は、図５（Ａ）に示すように、位置Ａから、位置Ｂ、Ｃ、Ｄを経由して位置Ｅまで移動する。撮像装置２０は、移動する移動体３０を経時的に撮像し、位置Ａ、位置Ｂ、位置Ｃ、位置Ｄ、位置Ｅに存在する移動体３０を撮像した複数の画像を撮像する。本装置１０は、画像取得部１１により、撮像装置２０から移動体３０を撮像した複数の画像を取得する。つぎに、移動体検出部１２は、前記複数の画像から移動体３０を検出し、マスク画像生成部１３は、各画像において、検出した移動体３０以外の背景画像をマスクした複数のマスク画像を生成する。本装置１０は、例えば、前記複数のマスク画像を生成することにより、図５（Ｂ）に示すように、移動体３０の移動（位置Ａから、位置Ｂ、Ｃ、Ｄを経由して位置Ｅまでの移動）を、疑似的な撮像装置２０の移動（位置Ａ’から、位置Ｂ’、Ｃ’、Ｄ’を経由して位置Ｅ’までの移動）として扱うことが可能になる。これにより、位置Ａの移動体３０を撮像した画像から生成したマスク画像について、停止した移動体３０を位置Ａ’に存在する撮像装置２０で撮像した画像として処理することができる。そして、三次元モデル生成部１４は、前記複数のマスク画像から移動体３０の三次元モデルを生成できる。
【0029】
本実施形態の移動体の三次元モデル製造装置は、例えば、移動体を撮像した画像から三次元モデルを生成できる。このため、また、本実施形態の移動体の三次元モデル製造装置によれば、３Ｄスキャナ等の高価な機材を用いずに三次元モデルを生成できる。また、本実施形態の移動体の三次元モデル製造装置により製造した三次元モデルは、例えば、移動体の検出に使用する検出器の学習に用いる教師データとして利用できるため、本実施形態の移動体の三次元モデル製造装置は、例えば、移動体検出用教師データの生成支援装置ともいう。本実施形態の移動体の三次元モデル製造装置によれば、移動体を撮像した画像から三次元モデルを生成できるため、生成した三次元モデルを教師データとして機械学習させることにより、高精度に移動体を検出・追跡する学習モデルを製造できる。
【0030】
［実施形態２］
本実施形態のプログラムは、前述の移動体の三次元モデル製造方法の各工程を、コンピュータに実行させるためのプログラムである。具体的に、本実施形態のプログラムは、コンピュータに、画像取得手順、移動体検出手順、マスク画像生成手順、及び三次元モデル生成手順を実行させるためのプログラムである。
本実施形態のプログラムは、前述の移動体の三次元モデル製造方法の各工程を、コンピュータに実行させるためのプログラムである。具体的に、本実施形態のプログラムは、コンピュータに、画像取得手順、移動体検出手順、マスク画像生成手順、及び三次元モデル生成手順を実行させるためのプログラムである。
【0031】
前記画像取得手順は、移動体を撮像した複数の画像を取得し、
前記移動体検出手順は、前記複数の画像から移動体を検出し、
前記マスク画像生成手順は、前記複数の画像から、検出した前記移動体以外の背景画像をマスクした複数のマスク画像を生成し、
前記三次元モデル生成手順は、前記複数のマスク画像から、前記移動体の三次元モデルを生成する。
前記移動体検出手順は、前記複数の画像から移動体を検出し、
前記マスク画像生成手順は、前記複数の画像から、検出した前記移動体以外の背景画像をマスクした複数のマスク画像を生成し、
前記三次元モデル生成手順は、前記複数のマスク画像から、前記移動体の三次元モデルを生成する。
【0032】
また、本実施形態のプログラムは、コンピュータを、画像取得手順、移動体検出手順、マスク画像生成手順、及び三次元モデル生成手順として機能させるプログラムということもできる。
【0033】
本実施形態のプログラムは、前記本発明の移動体の三次元モデル製造装置及び移動体の三次元モデル製造方法における記載を援用できる。前記各手順は、例えば、「手順」を「処理」と読み替え可能である。また、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体は、例えば、非一時的なコンピュータ可読記録媒体（non-transitory computer-readable storage medium）である。前記記録媒体は、特に制限されず、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、フラッシュメモリー（例えば、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢフラッシュメモリー、ＳＤ／ＳＤＨＣカード等）、光ディスク（例えば、ＣＤ‐Ｒ／ＣＤ‐ＲＷ、ＤＶＤ‐Ｒ／ＤＶＤ‐ＲＷ、ＢＤ‐Ｒ／ＢＤ‐ＲＥ等）、光磁気ディスク（ＭＯ）、フロッピー（登録商標）ディスク（ＦＤ）等があげられる。また、本実施形態のプログラム（例えば、プログラミング製品、又はプログラム製品ともいう）は、例えば、外部のコンピュータから配信される形態であってもよい。前記「配信」は、例えば、通信回線網を介した配信でもよいし、有線で接続された装置を介した配信であってもよい。本実施形態のプログラムは、配信された装置にインストールされて実行されてもよいし、インストールされずに実行されてもよい。
【0034】
以上、実施形態を参照して本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をできる。
【0035】
＜付記＞
上記の実施形態の一部又は全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
画像取得部、移動体検出部、マスク画像生成部、及び三次元モデル生成部を含み、
前記画像取得部は、移動体を撮像した複数の画像を取得し、
前記移動体検出部は、前記複数の画像から移動体を検出し、
前記マスク画像生成部は、前記複数の画像から、検出した前記移動体以外の背景画像をマスクした複数のマスク画像を生成し、
前記三次元モデル生成部は、前記複数のマスク画像から、前記移動体の三次元モデルを生成する、移動体の三次元モデル製造装置。
（付記２）
前記三次元モデル生成部は、特徴点抽出部、点群データ生成部、及びモデル生成部を含み、
前記特徴点抽出部は、前記複数のマスク画像から、前記移動体の特徴点を抽出し、
前記点群データ生成部は、前記特徴点に基づいて、前記移動体の三次元点群データを生成し、
前記モデル生成部は、前記三次元点群データに基づいて前記三次元モデルを生成する、付記１記載の三次元モデル製造装置。
（付記３）
画像取得工程、移動体検出工程、マスク画像生成工程、及び三次元モデル生成工程を含み、
前記画像取得工程は、移動体を撮像した複数の画像を取得し、
前記移動体検出工程は、前記複数の画像から移動体を検出し、
前記マスク画像生成工程は、前記複数の画像から、検出した前記移動体以外の背景画像をマスクした複数のマスク画像を生成し、
前記三次元モデル生成工程は、前記複数のマスク画像から、前記移動体の三次元モデルを生成する、移動体の三次元モデル製造方法。
（付記４）
前記三次元モデル生成工程は、特徴点抽出工程、点群データ生成工程、及びモデル生成工程を含み、
前記特徴点抽出工程は、前記複数のマスク画像から、前記移動体の特徴点を抽出し、
前記点群データ生成工程は、前記特徴点に基づいて、前記移動体の三次元点群データを生成し、
前記モデル生成工程は、前記三次元点群データに基づいて前記三次元モデルを生成する、付記３記載の三次元モデル製造方法。
（付記５）
画像取得手順、移動体検出手順、マスク画像生成手順、及び三次元モデル生成手順を含み、
前記画像取得手順は、移動体を撮像した複数の画像を取得し、
前記移動体検出手順は、前記複数の画像から移動体を検出し、
前記マスク画像生成手順は、前記複数の画像から、検出した前記移動体以外の背景画像をマスクした複数のマスク画像を生成し、
前記三次元モデル生成手順は、前記複数のマスク画像から、前記移動体の三次元モデルを生成し、
前記各手順をコンピュータに実行させるためのプログラム。
（付記６）
前記三次元モデル生成手順は、特徴点抽出手順、点群データ生成手順、及びモデル生成手順を含み、
前記特徴点抽出手順は、前記複数のマスク画像から、前記移動体の特徴点を抽出し、
前記点群データ生成手順は、前記特徴点に基づいて、前記移動体の三次元点群データを生成し、
前記モデル生成手順は、前記三次元点群データに基づいて前記三次元モデルを生成する、付記５記載のプログラム。
（付記７）
画像取得手順、移動体検出手順、マスク画像生成手順、及び三次元モデル生成手順を含み、
前記画像取得手順は、移動体を撮像した複数の画像を取得し、
前記移動体検出手順は、前記複数の画像から移動体を検出し、
前記マスク画像生成手順は、前記複数の画像から、検出した前記移動体以外の背景画像をマスクした複数のマスク画像を生成し、
前記三次元モデル生成手順は、前記複数のマスク画像から、前記移動体の三次元モデルを生成し、
前記各手順をコンピュータに実行させるためのプログラムを記録しているコンピュータ読み取り可能な記録媒体。
（付記８）
前記三次元モデル生成手順は、特徴点抽出手順、点群データ生成手順、及びモデル生成手順を含み、
前記特徴点抽出手順は、前記複数のマスク画像から、前記移動体の特徴点を抽出し、
前記点群データ生成手順は、前記特徴点に基づいて、前記移動体の三次元点群データを生成し、
前記モデル生成手順は、前記三次元点群データに基づいて前記三次元モデルを生成する、付記７記載の記録媒体。
上記の実施形態の一部又は全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
画像取得部、移動体検出部、マスク画像生成部、及び三次元モデル生成部を含み、
前記画像取得部は、移動体を撮像した複数の画像を取得し、
前記移動体検出部は、前記複数の画像から移動体を検出し、
前記マスク画像生成部は、前記複数の画像から、検出した前記移動体以外の背景画像をマスクした複数のマスク画像を生成し、
前記三次元モデル生成部は、前記複数のマスク画像から、前記移動体の三次元モデルを生成する、移動体の三次元モデル製造装置。
（付記２）
前記三次元モデル生成部は、特徴点抽出部、点群データ生成部、及びモデル生成部を含み、
前記特徴点抽出部は、前記複数のマスク画像から、前記移動体の特徴点を抽出し、
前記点群データ生成部は、前記特徴点に基づいて、前記移動体の三次元点群データを生成し、
前記モデル生成部は、前記三次元点群データに基づいて前記三次元モデルを生成する、付記１記載の三次元モデル製造装置。
（付記３）
画像取得工程、移動体検出工程、マスク画像生成工程、及び三次元モデル生成工程を含み、
前記画像取得工程は、移動体を撮像した複数の画像を取得し、
前記移動体検出工程は、前記複数の画像から移動体を検出し、
前記マスク画像生成工程は、前記複数の画像から、検出した前記移動体以外の背景画像をマスクした複数のマスク画像を生成し、
前記三次元モデル生成工程は、前記複数のマスク画像から、前記移動体の三次元モデルを生成する、移動体の三次元モデル製造方法。
（付記４）
前記三次元モデル生成工程は、特徴点抽出工程、点群データ生成工程、及びモデル生成工程を含み、
前記特徴点抽出工程は、前記複数のマスク画像から、前記移動体の特徴点を抽出し、
前記点群データ生成工程は、前記特徴点に基づいて、前記移動体の三次元点群データを生成し、
前記モデル生成工程は、前記三次元点群データに基づいて前記三次元モデルを生成する、付記３記載の三次元モデル製造方法。
（付記５）
画像取得手順、移動体検出手順、マスク画像生成手順、及び三次元モデル生成手順を含み、
前記画像取得手順は、移動体を撮像した複数の画像を取得し、
前記移動体検出手順は、前記複数の画像から移動体を検出し、
前記マスク画像生成手順は、前記複数の画像から、検出した前記移動体以外の背景画像をマスクした複数のマスク画像を生成し、
前記三次元モデル生成手順は、前記複数のマスク画像から、前記移動体の三次元モデルを生成し、
前記各手順をコンピュータに実行させるためのプログラム。
（付記６）
前記三次元モデル生成手順は、特徴点抽出手順、点群データ生成手順、及びモデル生成手順を含み、
前記特徴点抽出手順は、前記複数のマスク画像から、前記移動体の特徴点を抽出し、
前記点群データ生成手順は、前記特徴点に基づいて、前記移動体の三次元点群データを生成し、
前記モデル生成手順は、前記三次元点群データに基づいて前記三次元モデルを生成する、付記５記載のプログラム。
（付記７）
画像取得手順、移動体検出手順、マスク画像生成手順、及び三次元モデル生成手順を含み、
前記画像取得手順は、移動体を撮像した複数の画像を取得し、
前記移動体検出手順は、前記複数の画像から移動体を検出し、
前記マスク画像生成手順は、前記複数の画像から、検出した前記移動体以外の背景画像をマスクした複数のマスク画像を生成し、
前記三次元モデル生成手順は、前記複数のマスク画像から、前記移動体の三次元モデルを生成し、
前記各手順をコンピュータに実行させるためのプログラムを記録しているコンピュータ読み取り可能な記録媒体。
（付記８）
前記三次元モデル生成手順は、特徴点抽出手順、点群データ生成手順、及びモデル生成手順を含み、
前記特徴点抽出手順は、前記複数のマスク画像から、前記移動体の特徴点を抽出し、
前記点群データ生成手順は、前記特徴点に基づいて、前記移動体の三次元点群データを生成し、
前記モデル生成手順は、前記三次元点群データに基づいて前記三次元モデルを生成する、付記７記載の記録媒体。
【産業上の利用可能性】
【0036】
本発明によれば、例えば、移動体を撮像した画像から三次元モデルを生成できる。このため、本発明は、三次元モデルを利用する様々な分野、特に、物体検出、物体追跡等の分野において好適に利用できる。
【符号の説明】
【0037】
１０ 移動体の三次元モデル製造装置
１１ 画像取得部
１２ 移動体検出部
１３ マスク画像生成部
１４ 三次元モデル生成部
１０１ 中央処理装置
１０２ メモリ
１０３ バス
１０４ 記憶装置
１０５ 入力装置
１０６ 出力装置
１０７ 通信デバイス
１１ 画像取得部
１２ 移動体検出部
１３ マスク画像生成部
１４ 三次元モデル生成部
１０１ 中央処理装置
１０２ メモリ
１０３ バス
１０４ 記憶装置
１０５ 入力装置
１０６ 出力装置
１０７ 通信デバイス
【図1】
【図2】
【図3】
【図4】
【図5】
