特開2022-181116三次元キャプチャ装置、および、三次元キャプチャシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022181116
(43)【公開日】2022-12-07
(54)【発明の名称】三次元キャプチャ装置、および、三次元キャプチャシステム
(51)【国際特許分類】
H04N 5/225 20060101AFI20221130BHJP
G01B 11/245 20060101ALI20221130BHJP
G06T 7/593 20170101ALI20221130BHJP
【ＦＩ】
H04N5/225 800
G01B11/245 H
H04N5/225 100
G06T7/593
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2021087961
(22)【出願日】2021-05-25
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】猪股 宏文
(72)【発明者】
【氏名】別井 圭一
【テーマコード（参考）】
2F065
5C122
5L096
【Ｆターム（参考）】
2F065AA04
2F065AA53
2F065BB05
2F065BB15
2F065CC11
2F065FF05
2F065FF67
2F065JJ02
2F065JJ05
2F065JJ25
2F065MM02
2F065QQ31
2F065SS02
2F065SS13
5C122DA12
5C122EA55
5C122FA06
5C122FA18
5C122FB02
5C122FB03
5C122FC03
5C122FC04
5C122FD07
5C122FH04
5C122FH12
5C122GE06
5C122GE11
5C122HA75
5C122HA88
5C122HB01
5C122HB10
5L096AA09
5L096BA03
5L096CA05
5L096CA13
5L096CA16
5L096DA02
5L096EA14
5L096FA66
5L096FA69
5L096HA02
(57)【要約】
【課題】移動する大きなサイズの構造物を、高い精度で三次元キャプチャする。
【解決手段】三次元キャプチャ装置２は、複数のラインセンサ１１１Ｌ，１１１Ｒが長手方向の同一直線上に配置されているステレオラインセンサ装置１１と、複数のラインセンサ１２１Ｌ，１２１Ｒが長手方向の同一直線上に配置されているステレオラインセンサ装置１２とを備え、ステレオラインセンサ装置１１のラインセンサ１１１Ｌ，１１１Ｒの長手方向と、ステレオラインセンサ装置１２のラインセンサ１２１Ｌ，１２１Ｒが長手方向とが交差するようにステレオラインセンサ装置１１，１２が設置されている。
【選択図】図１
【解決手段】三次元キャプチャ装置２は、複数のラインセンサ１１１Ｌ，１１１Ｒが長手方向の同一直線上に配置されているステレオラインセンサ装置１１と、複数のラインセンサ１２１Ｌ，１２１Ｒが長手方向の同一直線上に配置されているステレオラインセンサ装置１２とを備え、ステレオラインセンサ装置１１のラインセンサ１１１Ｌ，１１１Ｒの長手方向と、ステレオラインセンサ装置１２のラインセンサ１２１Ｌ，１２１Ｒが長手方向とが交差するようにステレオラインセンサ装置１１，１２が設置されている。
【選択図】図１
【特許請求の範囲】
【請求項1】
複数のラインセンサが長手方向の同一直線上に配置されている複数の撮影部を備え、
各前記撮影部のラインセンサの長手方向が交差するように各前記撮影部が設置されている、
ことを特徴とする三次元キャプチャ装置。
各前記撮影部のラインセンサの長手方向が交差するように各前記撮影部が設置されている、
ことを特徴とする三次元キャプチャ装置。
【請求項2】
各前記撮影部は、同一方向を光軸とする複数の光学系を備える、
ことを特徴とする請求項１に記載の三次元キャプチャ装置。
ことを特徴とする請求項１に記載の三次元キャプチャ装置。
【請求項3】
各前記撮影部のうち少なくとも２台が備える複数の光学系の光軸は平行である、
ことを特徴とする請求項２に記載の三次元キャプチャ装置。
ことを特徴とする請求項２に記載の三次元キャプチャ装置。
【請求項4】
被写体の移動量を計測する移動量計測部を更に備える、
ことを特徴とする請求項１に記載の三次元キャプチャ装置。
ことを特徴とする請求項１に記載の三次元キャプチャ装置。
【請求項5】
各前記撮影部の台数は、３台以上であり、
各前記撮影部が撮影した撮影データから被写体の移動量を推定する移動量推定部を更に備える、
ことを特徴とする請求項１に記載の三次元キャプチャ装置。
各前記撮影部が撮影した撮影データから被写体の移動量を推定する移動量推定部を更に備える、
ことを特徴とする請求項１に記載の三次元キャプチャ装置。
【請求項6】
前記被写体の移動量に基づき、各前記撮影部が撮影した撮影データを補正する補正部を更に備える、
ことを特徴とする請求項４または５に記載の三次元キャプチャ装置。
ことを特徴とする請求項４または５に記載の三次元キャプチャ装置。
【請求項7】
各前記撮影部が撮影した撮影データから、それぞれ視差マップデータを生成する視差マップ生成部と、
前記視差マップ生成部が生成した各前記視差マップデータから、それぞれ三次元点群データを生成する点群データ生成部と、
前記点群データ生成部が作成した各前記三次元点群データを合成する点群データ合成部と、
を更に備えることを特徴とする請求項１に記載の三次元キャプチャ装置。
前記視差マップ生成部が生成した各前記視差マップデータから、それぞれ三次元点群データを生成する点群データ生成部と、
前記点群データ生成部が作成した各前記三次元点群データを合成する点群データ合成部と、
を更に備えることを特徴とする請求項１に記載の三次元キャプチャ装置。
【請求項8】
前記点群データ合成部が合成した合成三次元点群データを三次元メッシュデータに変換する三次元メッシュ変換部、
を更に備えることを特徴とする請求項７に記載の三次元キャプチャ装置。
を更に備えることを特徴とする請求項７に記載の三次元キャプチャ装置。
【請求項9】
前記三次元メッシュデータを所望の視点からの表示画像に変換する三次元メッシュ表示部、
を更に備えることを特徴とする請求項８に記載の三次元キャプチャ装置。
を更に備えることを特徴とする請求項８に記載の三次元キャプチャ装置。
【請求項10】
複数のラインセンサが長手方向の同一直線上に配置されている複数の撮影部を備え、
各前記撮影部のラインセンサの長手方向が交差するように各前記撮影部が設置されている、
ことを特徴とする三次元キャプチャシステム。
各前記撮影部のラインセンサの長手方向が交差するように各前記撮影部が設置されている、
ことを特徴とする三次元キャプチャシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、三次元キャプチャ装置、および、三次元キャプチャシステムに関する。
【背景技術】
【0002】
自動車などのように、大きくて複雑な構造物の出荷検査や中古製品の品質点検において、点検者が各部位を点検している。しかし、自動車ならば車体下側のように、目視で検出し辛い部位がある。昨今、自動車の車種は多様化し、点検する部品の位置などが、それぞれ異なるため、そのような構造物の各部位の点検が容易ではなくなってきている。
【0003】
そこで、このように大きく複雑な構造物を、仮想現実空間上で三次元化して、目視したい位置や向きの画像で、点検者が点検できるようにすることが提案されている。
【0004】
特許文献１には、特別な装置を必要とすることなく、ステレオカメラのキャリブレーションを行うことができる３次元座標取得装置の発明が記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第４８１４６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
大きな構造物を計測する場合、これを撮影すると撮影データが膨大となり、膨大な撮影データの処理に膨大な時間が掛かる。特にステレオエリアセンサによる方法では、撮影画像が連写枚数分発生して、大量になる。そして、大量の枚数分のステレオマッチングする処理時間も膨大になる。ステレオエリアセンサによる撮影方法では、ステレオマッチングの対象が２軸（二次元）となる分、三次元合成において、画像のつなぎ目が目立たない精度を実現することが難しい。
【0007】
ステレオラインセンサ１台による撮影方法では、ステレオラインセンサによる撮影方法に比べ、データ量が大幅に少なくてすむが、ラインセンサの垂直な方向の三次元情報を得ることができず、構造物外観の三次元情報が十分に取れない。更にステレオラインセンサ１台による撮影方法では、被写体の移動速度が変化する場合、誤った三次元情報が求められてしまう。
【0008】
そこで、本発明は、移動する大きなサイズの構造物を、高い精度で三次元キャプチャすることを課題とする。
【課題を解決するための手段】
【0009】
前記した課題を解決するため、本発明の三次元キャプチャ装置は、複数のラインセンサが長手方向の同一直線上に配置されている複数の撮影部を備え、各前記撮影部のラインセンサの長手方向が交差するように各前記撮影部が設置されている、ことを特徴とする。
【0010】
本発明の三次元キャプチャシステムは、複数のラインセンサが長手方向の同一直線上に配置されている複数の撮影部を備え、各前記撮影部のラインセンサの長手方向が交差するように各前記撮影部が設置されている、ことを特徴とする。
その他の手段については、発明を実施するための形態のなかで説明する。
その他の手段については、発明を実施するための形態のなかで説明する。
【発明の効果】
【0011】
本発明によれば、移動する大きなサイズの構造物を、高い精度で三次元キャプチャすることが可能となる。
【図面の簡単な説明】
【0012】
【図1】第１の実施形態に係る三次元キャプチャ装置の構成図である。
【図2A】ステレオラインセンサ装置の配置例を示す平面図である。
【図2B】ステレオラインセンサ装置の配置例を示す斜視図である。
【図3A】ステレオラインセンサ装置の配置例を示す平面図である。
【図3B】ステレオラインセンサ装置の配置例を示す斜視図である。
【図4】三次元キャプチャ装置のブロック図である。
【図5】三次元キャプチャ装置が生成する各種データを示す概念図である。
【図6】ステレオラインセンサ装置の動作を示す図である。
【図7A】ステレオラインセンサ装置で自動車を撮影する動作を示す図である。
【図7B】ステレオラインセンサ装置で自動車を撮影する動作を示す図である。
【図8A】ステレオラインセンサ装置で列車を撮影する動作を示す図である。
【図8B】ステレオラインセンサ装置で列車を撮影する動作を示す図である。
【図9】三次元キャプチャ装置の動作を示す図である。
【図10】三次元キャプチャ装置の処理を示すフローチャートである。
【図11】撮影処理を示すフローチャートである。
【図12】各画像データの補正処理を示すフローチャートである。
【図13】視差マップ生成処理を示すフローチャートである。
【図14】点群データ生成処理を示すフローチャートである。
【図15】合成点群データ生成処理を示すフローチャートである。
【図16】三次元メッシュデータ生成処理を示すフローチャートである。
【図17】三次元メッシュデータの表示処理を示すフローチャートである。
【図18】第２の実施形態に係るステレオラインセンサ装置の配置例を示す平面図である。
【図19】変形例のステレオラインセンサ装置の配置例を示す平面図である。
【図20】第２の実施形態に係る三次元キャプチャ装置のブロック図である。
【図21】三次元キャプチャ装置が生成する各種データを示す概念図である。
【図22A】被写体の移動量を計測する方法を説明する平面図である。
【図22B】被写体の移動量を計測する方法を説明する斜視図である。
【図23】被写体の移動量を計測する方法を説明する図である。
【図24】被写体の移動量の計測処理を示すフローチャートである。
【発明を実施するための形態】
【0013】
以降、本発明を実施するための形態を、各図を参照して詳細に説明する。
以下、「三次元情報」とは、被写体の外観における複数の注目点の直交座系上の座標値の集合を意味する。三次元情報は、構造物の外観を、１以上の三角形平面（ポリゴン）の二頂点を結ぶ辺で接続された形状で近似して表現している。三次元情報では、構造物表の色を表現するために、各頂点に配色情報が付与される。
以下、「三次元情報」とは、被写体の外観における複数の注目点の直交座系上の座標値の集合を意味する。三次元情報は、構造物の外観を、１以上の三角形平面（ポリゴン）の二頂点を結ぶ辺で接続された形状で近似して表現している。三次元情報では、構造物表の色を表現するために、各頂点に配色情報が付与される。
【0014】
「オクルージョン」とは、三次元情報を求める上で、ある領域が他の物の陰になって、ステレオセンサ（ラインセンサ、エリアセンサ）に写っていないか、または、三次元情報を得る上で必要な情報が揃っていない状態のことをいう。オクルージョンの領域は、三次元情報にて中空として扱われる。
【0015】
《第１の実施形態》
第１の実施形態の三次元キャプチャ装置では、２台のステレオラインセンサ装置をクロスさせて配置し、被写体を撮影する。三次元キャプチャ装置は、それぞれ結合した画像（計２枚）を生成し、それぞれ２枚の結合画像間でステレオマッチングして視差情報を生成して三次元情報を得る。三次元キャプチャ装置は更に、それぞれで得られた三次元情報を合成することで、１台のステレオラインセンサ装置では取得できない向きの三次元情報を相互に補完する。本実施形態では、エリアセンサでなく、ラインセンサによって、データも膨大にならず、オクルージョンの少ない三次元キャプチャができるようになる。
第１の実施形態の三次元キャプチャ装置では、２台のステレオラインセンサ装置をクロスさせて配置し、被写体を撮影する。三次元キャプチャ装置は、それぞれ結合した画像（計２枚）を生成し、それぞれ２枚の結合画像間でステレオマッチングして視差情報を生成して三次元情報を得る。三次元キャプチャ装置は更に、それぞれで得られた三次元情報を合成することで、１台のステレオラインセンサ装置では取得できない向きの三次元情報を相互に補完する。本実施形態では、エリアセンサでなく、ラインセンサによって、データも膨大にならず、オクルージョンの少ない三次元キャプチャができるようになる。
【0016】
図１は、第１の実施形態に係る三次元キャプチャ装置２の構成図である。
三次元キャプチャ装置２は、ステレオラインセンサ装置１１，１２と移動量センサ３を含み、キーボード２４１とマウス２４２とディスプレイ２３１とが接続されて構成される。この三次元キャプチャ装置２は、被写体の三次元情報をキャプチャするものであり、例えば汎用のコンピュータに三次元キャプチャプログラムをインストールすることで具現化される。なお、本発明は単一のコンピュータで構成された三次元キャプチャ装置２に限られず、複数の装置が連携して動作する三次元キャプチャシステムとして実現されてもよい。
三次元キャプチャ装置２は、ステレオラインセンサ装置１１，１２と移動量センサ３を含み、キーボード２４１とマウス２４２とディスプレイ２３１とが接続されて構成される。この三次元キャプチャ装置２は、被写体の三次元情報をキャプチャするものであり、例えば汎用のコンピュータに三次元キャプチャプログラムをインストールすることで具現化される。なお、本発明は単一のコンピュータで構成された三次元キャプチャ装置２に限られず、複数の装置が連携して動作する三次元キャプチャシステムとして実現されてもよい。
【0017】
ステレオラインセンサ装置１１は、２台のラインセンサ装置１１Ｌ，１１Ｒを含んで構成される。
ラインセンサ装置１１Ｌは、ラインセンサ１１１Ｌと、レンズを含む光学系１１２Ｌとを含んで構成される。ラインセンサ装置１１Ｒは、ラインセンサ１１１Ｒと、レンズを含む光学系１１２Ｒとを含んで構成される。ラインセンサ１１１Ｌ，１１１Ｒは、ＣＣＤ（Charge Coupling Device）またはＣＭＯＳ（Complementary-MOS）で構成された一次元の撮像素子である。光学系１１２Ｌは、ラインセンサ１１１Ｌに対して光学像を結像するものである。光学系１１２Ｒは、ラインセンサ１１１Ｒに対して光学像を結像するものである。
ラインセンサ装置１１Ｌは、ラインセンサ１１１Ｌと、レンズを含む光学系１１２Ｌとを含んで構成される。ラインセンサ装置１１Ｒは、ラインセンサ１１１Ｒと、レンズを含む光学系１１２Ｒとを含んで構成される。ラインセンサ１１１Ｌ，１１１Ｒは、ＣＣＤ（Charge Coupling Device）またはＣＭＯＳ（Complementary-MOS）で構成された一次元の撮像素子である。光学系１１２Ｌは、ラインセンサ１１１Ｌに対して光学像を結像するものである。光学系１１２Ｒは、ラインセンサ１１１Ｒに対して光学像を結像するものである。
【0018】
ラインセンサ１１１Ｌとラインセンサ１１１Ｒは、距離Ｌだけ離間して、その長手方向が同一直線に位置するように配置されている。つまり、ステレオラインセンサ装置１１は、複数のラインセンサ１１１Ｌ，１１１Ｒが長手方向の同一直線上に配置されている撮影部である。そして光学系１１２Ｌの光軸と、光学系１１２Ｒの光軸とは平行である。
【0019】
ステレオラインセンサ装置１２は、２台のラインセンサ装置１２Ｌ，１２Ｒを含んで構成される。
ラインセンサ装置１２Ｌは、ラインセンサ１２１Ｌと、レンズを含む光学系１２２Ｌとを含んで構成される。ラインセンサ装置１２Ｒは、ラインセンサ１２１Ｒと、レンズを含む光学系１２２Ｒとを含んで構成される。ラインセンサ１２１Ｌ，１２１Ｒは、ＣＣＤまたはＣＭＯＳで構成された一次元の撮像素子である。光学系１２２Ｌは、ラインセンサ１２１Ｌに対して光学像を結像するものである。光学系１２２Ｒは、ラインセンサ１２１Ｒに対して光学像を結像するものである。
ラインセンサ装置１２Ｌは、ラインセンサ１２１Ｌと、レンズを含む光学系１２２Ｌとを含んで構成される。ラインセンサ装置１２Ｒは、ラインセンサ１２１Ｒと、レンズを含む光学系１２２Ｒとを含んで構成される。ラインセンサ１２１Ｌ，１２１Ｒは、ＣＣＤまたはＣＭＯＳで構成された一次元の撮像素子である。光学系１２２Ｌは、ラインセンサ１２１Ｌに対して光学像を結像するものである。光学系１２２Ｒは、ラインセンサ１２１Ｒに対して光学像を結像するものである。
【0020】
２台のラインセンサ１２１Ｌ，１２１Ｒは、距離Ｌだけ離間して、その長手方向が同一直線に位置するように配置されている。つまり、ステレオラインセンサ装置１２は、複数のラインセンサ１２１Ｌ，１２１Ｒが長手方向の同一直線上に配置されている撮影部である。そして光学系１２２Ｌの光軸と、光学系１２２Ｒの光軸とは平行である。
【0021】
移動量センサ３は、ステレオラインセンサ装置１１，１２に近接して設けられており、これらの光軸方向の被写体の移動量と移動方向とを計測する移動量計測部である。
【0022】
三次元キャプチャ装置２は更に、ラインセンサインタフェース２５と、ＭＰＵ（Micro Processing Unit）２１と、メモリ２２と、グラフィックインタフェース２３と、入力インタフェース２４とを含んで構成される。
【0023】
ラインセンサインタフェース２５は、ステレオラインセンサ装置１１，１２との間でデータを送受信するためのインタフェースである。
ＭＰＵ２１は、この三次元キャプチャ装置２を統括制御する処理装置であり、メモリ２２をワークエリアとして用いる。メモリ２２は、揮発性メモリや不揮発性メモリであり、情報を記憶する記憶部である。
ＭＰＵ２１は、この三次元キャプチャ装置２を統括制御する処理装置であり、メモリ２２をワークエリアとして用いる。メモリ２２は、揮発性メモリや不揮発性メモリであり、情報を記憶する記憶部である。
【0024】
グラフィックインタフェース２３は、例えばＧＰＵ（Graphic Processing Unit）であり、ディスプレイ２３１に表示される画像を生成する。入力インタフェース２４は、マウス２４２やキーボード２４１から信号を受信するためのインタフェースであり、例えばシリアル信号コントローラやＵＳＢ（登録商標）（Universal Serial BUS）ホストコントローラなどである。
【0025】
本実施形態の三次元キャプチャ装置２は、一次元のラインセンサ１１１Ｌ，１１１Ｒ，１２１Ｌ，１２１Ｒによる撮影画像データを処理する。これにより、エリアセンサを採用する場合に比べて比較的小さな画像（データ容量）として扱え、ステレオマッチング処理も軽くなる。また、エリアセンサを採用する場合に比べて、誤差の発生要因を減らすことができる。
【0026】
図２Ａは、ステレオラインセンサ装置１１，１２の配置例を示す平面図である。
ここでステレオラインセンサ装置１１は、一次元のラインセンサ１１１Ｌ，１１１Ｒが距離Ｌだけ離間して、その長手方向が同一の直線１１５に位置するように配置されている。
ここでステレオラインセンサ装置１１は、一次元のラインセンサ１１１Ｌ，１１１Ｒが距離Ｌだけ離間して、その長手方向が同一の直線１１５に位置するように配置されている。
【0027】
ステレオラインセンサ装置１２は、一次元のラインセンサ１２１Ｌ，１２１Ｒが距離Ｌだけ離間して、その長手方向が同一の直線１２５に位置するように配置されている。ステレオラインセンサ装置１１，１２は、ラインセンサ１１１Ｌ，１１１Ｒの長手方向とラインセンサ１２１Ｌ，１２１Ｒの長手方向が交差するように設置されている。
【0028】
直線１１５と直線１２５との交点は、ラインセンサ１１１Ｌ，１１１Ｒと等距離であり、かつラインセンサ１２１Ｌ，１２１Ｒと等距離である。即ち、ラインセンサ１１１Ｌ，１１１Ｒとラインセンサ１２１Ｌ，１２１Ｒは、同心円上に配置されている。
【0029】
図２Ｂは、ステレオラインセンサ装置１１，１２の配置例を示す斜視図である。
ラインセンサ１１１Ｌの上方には、光学系１１２Ｌが配置されている。ラインセンサ１１１Ｒの上方には、光学系１１２Ｒが配置されている。光学系１１２Ｌの光軸１１３Ｌと、光学系１１２Ｒの光軸１１３Ｒとは平行である。つまり、ステレオラインセンサ装置１１は、同一方向を光軸とする光学系１１２Ｌ，１１２Ｒを備える。ステレオラインセンサ装置１１による被写体４上の視野１１４は、ラインセンサ１１１Ｌを光学系１１２Ｌの倍率で拡大し、光軸１１３Ｌの方向に射影したものと、ラインセンサ１１１Ｒを光学系１１２Ｒの倍率で拡大し、光軸１１３Ｒの方向に射影したものである。
ラインセンサ１１１Ｌの上方には、光学系１１２Ｌが配置されている。ラインセンサ１１１Ｒの上方には、光学系１１２Ｒが配置されている。光学系１１２Ｌの光軸１１３Ｌと、光学系１１２Ｒの光軸１１３Ｒとは平行である。つまり、ステレオラインセンサ装置１１は、同一方向を光軸とする光学系１１２Ｌ，１１２Ｒを備える。ステレオラインセンサ装置１１による被写体４上の視野１１４は、ラインセンサ１１１Ｌを光学系１１２Ｌの倍率で拡大し、光軸１１３Ｌの方向に射影したものと、ラインセンサ１１１Ｒを光学系１１２Ｒの倍率で拡大し、光軸１１３Ｒの方向に射影したものである。
【0030】
ラインセンサ１２１Ｌの上方には、光学系１２２Ｌが配置されている。ラインセンサ１２１Ｒの上方には、光学系１２２Ｒが配置されている。光学系１２２Ｌの光軸１２３Ｌと、光学系１１２Ｒの光軸１２３Ｒとは平行である。つまり、ステレオラインセンサ装置１２は、同一方向を光軸とする光学系１２２Ｌ，１２２Ｒを備える。ステレオラインセンサ装置１１による被写体４上の視野１２４は、ラインセンサ１２１Ｌを光学系１２２Ｌの倍率で拡大し、光軸１２３Ｌの方向に射影したものと、ラインセンサ１２１Ｒを光学系１２２Ｒの倍率で拡大し、光軸１２３Ｒの方向に射影したものである。
【0031】
この構成では、ラインセンサを採用したことによるオクルージョンが、２台のステレオラインセンサ装置１１，１２により、相互に補完可能となる。なお、光軸１１３Ｌ，１１３Ｒと光軸１２３Ｌ，１２３Ｒとは、平行であることが望ましい。
【0032】
図３Ａは、変形例のステレオラインセンサ装置１１，１２の配置例を示す平面図である。
ステレオラインセンサ装置１１，１２は、交差している。直線１１５と直線１２５との交点は、ラインセンサ１２１Ｒ，１１１Ｌと等距離であり、かつラインセンサ１２１Ｌ，１１１Ｒと等距離である。即ち、ラインセンサ１２１Ｒ，１１１Ｌは、第１の同心円上に配置されており、ラインセンサ１２１Ｌ，１１１Ｒは、第２の同心円上に配置されている。
ステレオラインセンサ装置１１，１２は、交差している。直線１１５と直線１２５との交点は、ラインセンサ１２１Ｒ，１１１Ｌと等距離であり、かつラインセンサ１２１Ｌ，１１１Ｒと等距離である。即ち、ラインセンサ１２１Ｒ，１１１Ｌは、第１の同心円上に配置されており、ラインセンサ１２１Ｌ，１１１Ｒは、第２の同心円上に配置されている。
【0033】
図３Ｂは、変形例のステレオラインセンサ装置１１，１２の配置例を示す斜視図である。
ラインセンサ１１１Ｌの上方には、光学系１１２Ｌが配置されている。ラインセンサ１１１Ｒの上方には、光学系１１２Ｒが配置されている。光学系１１２Ｌの光軸１１３Ｌと、光学系１１２Ｒの光軸１１３Ｒとは平行である。ステレオラインセンサ装置１１による被写体４上の視野１１４は、ラインセンサ１１１Ｌを光学系１１２Ｌの倍率で拡大し、光軸１１３Ｌの方向に射影したものと、ラインセンサ１１１Ｒを光学系１１２Ｒの倍率で拡大し、光軸１１３Ｒの方向に射影したものである。
ラインセンサ１１１Ｌの上方には、光学系１１２Ｌが配置されている。ラインセンサ１１１Ｒの上方には、光学系１１２Ｒが配置されている。光学系１１２Ｌの光軸１１３Ｌと、光学系１１２Ｒの光軸１１３Ｒとは平行である。ステレオラインセンサ装置１１による被写体４上の視野１１４は、ラインセンサ１１１Ｌを光学系１１２Ｌの倍率で拡大し、光軸１１３Ｌの方向に射影したものと、ラインセンサ１１１Ｒを光学系１１２Ｒの倍率で拡大し、光軸１１３Ｒの方向に射影したものである。
【0034】
ラインセンサ１２１Ｌの上方には、光学系１２２Ｌが配置されている。ラインセンサ１２１Ｒの上方には、光学系１２２Ｒが配置されている。光学系１２２Ｌの光軸１２３Ｌと、光学系１１２Ｒの光軸１２３Ｒとは平行である。ステレオラインセンサ装置１１による被写体４上の視野１２４は、ラインセンサ１２１Ｌを光学系１２２Ｌの倍率で拡大し、光軸１２３Ｌの方向に射影したものと、ラインセンサ１２１Ｒを光学系１２２Ｒの倍率で拡大し、光軸１２３Ｒの方向に射影したものである。
【0035】
変形例の構成においても、ラインセンサを採用したことによるオクルージョンが、相互補完可能となる。なお、光軸１１３Ｌ，１１３Ｒと光軸１２３Ｌ，１２３Ｒとは、平行であることが望ましい。
【0036】
図４は、三次元キャプチャ装置２のブロック図である。
三次元キャプチャ装置２のＭＰＵ２１（図１参照）は、不図示の制御プログラムを実行することにより、撮影部５１、速度変化補正部５２、視差マップ生成部５３、点群データ生成部５４、点群データ合成部５５、三次元メッシュ変換部５６、三次元メッシュ表示部５７の各部を具現化する。
三次元キャプチャ装置２のＭＰＵ２１（図１参照）は、不図示の制御プログラムを実行することにより、撮影部５１、速度変化補正部５２、視差マップ生成部５３、点群データ生成部５４、点群データ合成部５５、三次元メッシュ変換部５６、三次元メッシュ表示部５７の各部を具現化する。
【0037】
撮影部５１は、ステレオラインセンサ装置１１，１２を制御して撮影データを取得する。速度変化補正部５２は、被写体の速度変化に応じて撮影データを補正する。速度変化補正部５２は、被写体の移動量に基づき、各撮影部が撮影した撮影データを補正する補正部である。
【0038】
視差マップ生成部５３は、ステレオラインセンサ装置１１の左右のステレオ画像から視差マップデータを生成し、ステレオラインセンサ装置１２の左右のステレオ画像から視差マップデータを生成する。点群データ生成部５４は、２つの視差マップデータから、それぞれ点群データを生成する。点群データ合成部５５は、２つの点群データを合成する。これにより、視差マップ生成部５３は、オクルージョンを補完できる。
【0039】
三次元メッシュ変換部５６は、点群データ合成部５５が合成した点群データを三次元メッシュデータに変換する。三次元メッシュ表示部５７は、三次元メッシュデータを所望の視点からの表示画像に変換して画面に表示する。
【0040】
図５は、三次元キャプチャ装置２が生成する各種データを示す概念図である。
三次元キャプチャ装置２が生成する各種データは、メモリ２２に格納されている。
左撮影データ６１１Ｌは、撮影部５１がラインセンサ１１１Ｌによって撮影したデータである。右撮影データ６１１Ｒは、撮影部５１がラインセンサ１１１Ｒによって撮影したデータである。左撮影データ６１１Ｌと右撮影データ６１１Ｒとは、ステレオ画像を構成する。
三次元キャプチャ装置２が生成する各種データは、メモリ２２に格納されている。
左撮影データ６１１Ｌは、撮影部５１がラインセンサ１１１Ｌによって撮影したデータである。右撮影データ６１１Ｒは、撮影部５１がラインセンサ１１１Ｒによって撮影したデータである。左撮影データ６１１Ｌと右撮影データ６１１Ｒとは、ステレオ画像を構成する。
【0041】
左撮影データ６１２Ｌは、撮影部５１がラインセンサ１２１Ｌによって撮影したデータである。右撮影データ６１２Ｒは、撮影部５１がラインセンサ１２１Ｒによって撮影したデータである。左撮影データ６１２Ｌと右撮影データ６１２Ｒとは、ステレオ画像を構成する。
【0042】
移動量ログデータ６４は、移動量センサ３が、各撮影タイミングにおける被写体の移動量を計測したデータである。
補正後左撮影データ６２１Ｌは、左撮影データ６１１Ｌを移動量ログデータ６４に基づいて補正したものである。補正後右撮影データ６２１Ｒは、右撮影データ６１１Ｒを移動量ログデータ６４に基づいて補正したものである。
補正後左撮影データ６２１Ｌは、左撮影データ６１１Ｌを移動量ログデータ６４に基づいて補正したものである。補正後右撮影データ６２１Ｒは、右撮影データ６１１Ｒを移動量ログデータ６４に基づいて補正したものである。
【0043】
補正後左撮影データ６２２Ｌは、左撮影データ６１２Ｌを移動量ログデータ６４に基づいて補正したものである。補正後右撮影データ６２２Ｒは、右撮影データ６１２Ｒを移動量ログデータ６４に基づいて補正したものである。
【0044】
補正後視差マップデータ６３１は、補正後左撮影データ６２１Ｌと補正後右撮影データ６２１Ｒとに基づく視差マップのデータである。補正後視差マップデータ６３２は、補正後左撮影データ６２２Ｌと補正後右撮影データ６２２Ｒに基づく視差マップのデータである。
【0045】
三次元点群データ６５１は、補正後視差マップデータ６３１を三次元の点群データに変換したものである。三次元点群データ６５２は、補正後視差マップデータ６３２を三次元の点群データに変換したものである。
合成三次元点群データ６６は、三次元点群データ６５１と三次元点群データ６５２とを合成したものである。三次元メッシュデータ６７は、合成三次元点群データ６６を三次元のメッシュデータに変換したものである。
合成三次元点群データ６６は、三次元点群データ６５１と三次元点群データ６５２とを合成したものである。三次元メッシュデータ６７は、合成三次元点群データ６６を三次元のメッシュデータに変換したものである。
【0046】
図６は、ステレオラインセンサ装置１１の動作を示す図である。なお、ステレオラインセンサ装置１２も同様に動作する。
本実施形態のラインセンサ１１１Ｒ，１１１Ｌは、多くの産業用センサと同様に、外部からのシャッタ同期信号に同期して撮像する。なお、ラインセンサ１１１Ｒ，１１１Ｌは、物理的なシャッタ機構に依らず、撮像素子を電子的に制御する電子シャッタにより、撮像を行う。
本実施形態のラインセンサ１１１Ｒ，１１１Ｌは、多くの産業用センサと同様に、外部からのシャッタ同期信号に同期して撮像する。なお、ラインセンサ１１１Ｒ，１１１Ｌは、物理的なシャッタ機構に依らず、撮像素子を電子的に制御する電子シャッタにより、撮像を行う。
【0047】
なお、本実施形態のラインセンサ１１１Ｒ，１１１Ｌは、１本のケーブルで同期信号の受信と撮影データの送信とを兼用する。なお、これに限られず、同期信号の受信用ケーブルと撮影データの送信用ケーブルとを独立に有してもよい。また、同期信号は、三次元キャプチャ装置２によって生成されなくても、外付けの装置によって生成されてもよい。
【0048】
ラインセンサ１１１Ｒ，１１１Ｌは、三次元キャプチャ装置２の撮影部５１からの撮影開始指示を行けて、撮影を開始し、撮影画像データを撮影部５１へ送信する。そして、ラインセンサ１１１Ｒ，１１１Ｌは、三次元キャプチャ装置２の撮影部５１からの撮影終了指示を受けて、撮影を終了する。
【0049】
ラインセンサ１１１Ｒ，１１１Ｌとは、同期信号の受信により、同時に撮像する。ラインセンサ１１１Ｒ，１１１Ｌは、それぞれレンズを有する光学系１１２Ｒ，１１２Ｌにより、０度より大きな視野角の平たい視野を有する。
【0050】
ラインセンサ１１１Ｒ，１１１Ｌは、一直線上に既定の距離（基線長）を開けて、同じ方向になるように配置されている。ラインセンサ１１１Ｒの視野１２６と、ラインセンサ１１１Ｌの視野１１６とが重複する領域を有する。この重複した領域が、被写体４の三次元情報を得ることができる範囲となる。被写体４の各部位の三次元情報を得る方法は、主に、２台のラインセンサを使った三角測量の原理に基づく。
【0051】
図７Ａと図７Ｂは、ステレオラインセンサ装置１１，１２で自動車７１を撮影する動作を示す図である。図７Ａは、自動車７１の側面図である。図７Ｂは、自動車７１の背面図である。
図７Ａと図７Ｂに示すように、ステレオラインセンサ装置１１，１２は、車体の下側かつ左右のタイヤの内側に配置されている。
図７Ａと図７Ｂに示すように、ステレオラインセンサ装置１１，１２は、車体の下側かつ左右のタイヤの内側に配置されている。
【0052】
図８Ａと図８Ｂは、ステレオラインセンサ装置１１，１２で列車７２を撮影する動作を示す図である。
図８Ａと図８Ｂに示すように、ステレオラインセンサ装置１１，１２は、列車７２の車体の下側かつ左右の車輪の内側に配置されている。
図８Ａと図８Ｂに示すように、ステレオラインセンサ装置１１，１２は、列車７２の車体の下側かつ左右の車輪の内側に配置されている。
【0053】
図９は、三次元キャプチャ装置２の動作を示す図である。
速度変化補正部５２は、移動量ログデータ６４に基づき、左撮影データ６１１Ｌを補正した補正後左撮影データ６２１Ｌを生成する。速度変化補正部５２は、移動量ログデータ６４に基づき、右撮影データ６１１Ｒを補正した補正後右撮影データ６２１Ｒを生成する。
速度変化補正部５２は、移動量ログデータ６４に基づき、左撮影データ６１１Ｌを補正した補正後左撮影データ６２１Ｌを生成する。速度変化補正部５２は、移動量ログデータ６４に基づき、右撮影データ６１１Ｒを補正した補正後右撮影データ６２１Ｒを生成する。
【0054】
速度変化補正部５２は、移動量ログデータ６４に基づき、左撮影データ６１２Ｌを補正した補正後左撮影データ６２２Ｌを生成する。速度変化補正部５２は、移動量ログデータ６４に基づき、右撮影データ６１２Ｒを補正した補正後右撮影データ６２２Ｒを生成する。
【0055】
視差マップ生成部５３は、補正後左撮影データ６２１Ｌと補正後右撮影データ６２１Ｒから両者の視差を計算し、補正後視差マップデータ６３１を生成する。
視差マップ生成部５３は、補正後左撮影データ６２２Ｌと補正後右撮影データ６２２Ｒから両者の視差を計算し、補正後視差マップデータ６３２を生成する。
視差マップ生成部５３は、補正後左撮影データ６２２Ｌと補正後右撮影データ６２２Ｒから両者の視差を計算し、補正後視差マップデータ６３２を生成する。
【0056】
点群データ生成部５４は、補正後視差マップデータ６３１から三次元点群データ６５１を生成し、補正後視差マップデータ６３２から三次元点群データ６５２を生成する。点群データ合成部５５は、三次元点群データ６５１と三次元点群データ６５２から、合成三次元点群データ６６を生成する。
【0057】
三次元メッシュ変換部５６は、合成三次元点群データ６６から三次元メッシュデータ６７を生成する。
【0058】
図１０は、三次元キャプチャ装置２の処理を示すフローチャートである。
処理を開始すると、撮影部５１は、被写体の移動量を計測し、並行して各ステレオラインセンサ装置１１，１２による撮影を実行する（ステップＳ１０）。速度変化補正部５２は、計測した移動量に基づき、速度変化を補正する（ステップＳ１１）。
処理を開始すると、撮影部５１は、被写体の移動量を計測し、並行して各ステレオラインセンサ装置１１，１２による撮影を実行する（ステップＳ１０）。速度変化補正部５２は、計測した移動量に基づき、速度変化を補正する（ステップＳ１１）。
【0059】
視差マップ生成部５３は、各ステレオラインセンサ装置１１，１２の左右の撮影データから視差マップを生成する（ステップＳ１２）。点群データ生成部５４は、各視差マップから各点群データ生成する（ステップＳ１３）。点群データ合成部５５は、各点群データを合成する（ステップＳ１４）。
【0060】
三次元メッシュ変換部５６は、合成した点群データを三次元メッシュに変換する（ステップＳ１５）。三次元メッシュ表示部５７が、三次元メッシュを表示すると（ステップＳ１６）、図１０の処理を終了する。
【0061】
図１１は、撮影処理を示すフローチャートである。この撮影処理は、図１０のステップＳ１０の処理に相当する。
撮影部５１は、移動量センサ３へ移動量の計測開始を指示し、メモリ２２へ移動量ログデータ６４の記録を開始する（ステップＳ２０）。移動量の計測結果は、少なくても、地上平面上の二次元のベクトル値として出力される。ただし、鉛直方向も含んだ三次元ベクトル値として出力されるデバイスであってもよい。
撮影部５１は、移動量センサ３へ移動量の計測開始を指示し、メモリ２２へ移動量ログデータ６４の記録を開始する（ステップＳ２０）。移動量の計測結果は、少なくても、地上平面上の二次元のベクトル値として出力される。ただし、鉛直方向も含んだ三次元ベクトル値として出力されるデバイスであってもよい。
【0062】
撮影部５１は、ラインセンサインタフェース２５を介して、ステレオラインセンサ装置１１，１２へシャッタ同期信号の出力を開始させ、撮影開始指示を送信する（ステップＳ２１）。撮影部５１は、各ステレオラインセンサ装置１１，１２から、ラインセンサインタフェース２５を介して、撮影データを受信する（ステップＳ２２）。
【0063】
撮影部５１は、保存の際に、各ラインセンサの向きに合わせて保存領域を埋めてゆく（ステップＳ２３）。すなわち、撮影部５１は、ラインセンサ１１１Ｌからのデータを左撮影データ６１１Ｌとして保存する。撮影部５１は、ラインセンサ１１１Ｒからのデータを右撮影データ６１１Ｒとして保存する。撮影部５１は、ラインセンサ１２１Ｌからのデータを左撮影データ６１２Ｌとして保存する。撮影部５１は、ラインセンサ１２１Ｒからのデータを右撮影データ６１２Ｒとして保存する。撮影部５１は、ブランクまたは重複する画素をバイリニア補完などで補完する（ステップＳ２４）。
【0064】
撮影部５１は、ラインセンサインタフェース２５を介して、各ラインセンサへ撮影終了指示を送り、シャッタ同期信号の出力を止める（ステップＳ２５）。そして、撮影部５１は、移動量センサ３へ計測の終了を指示する（ステップＳ２６）。
【0065】
【0066】
速度変化補正部５２は、移動量ログデータ６４に基づき、左撮影データ６１１Ｌと右撮影データ６１１Ｒと左撮影データ６１２Ｌと右撮影データ６１２Ｒを、均一の移動速度で撮った状態に補正する（ステップＳ３０）。速度変化補正部５２は、補正の際、ブランクになる領域および重複する領域は、バイリニア補完などで値を補完する（ステップＳ３１）。そして、速度変化補正部５２は、各画像データを補正した結果を、補正後画像データとして保存する（ステップＳ３２）。
【0067】
速度変化補正部５２は、左撮影データ６１１Ｌの画像データを補正した結果を、補正後左撮影データ６２１Ｌへ保存し、右撮影データ６１１Ｒの画像データを補正した結果を、補正後右撮影データ６２１Ｒへ保存し、左撮影データ６１２Ｌの画像データを補正した結果を、補正後左撮影データ６２２Ｌへ保存し、右撮影データ６１２Ｒの画像データを補正した結果を、補正後右撮影データ６２２Ｒへ保存する。
【0068】
以上によって、左撮影データ６１１Ｌと右撮影データ６１１Ｒと左撮影データ６１２Ｌと右撮影データ６１２Ｒには、縦横ともに、距離に比例するピッチに画素が並ぶ状態なる。
【0069】
図１３は、視差マップ生成処理を示すフローチャートである。この処理は、図１０のステップＳ１２の処理に相当する。
視差マップ生成部５３は、移動量補正後のステレオ画像で、ステレオマッチング処理を行い視差マップデータを求め（ステップＳ４０）、各視差マップデータをメモリ２２に保存する（ステップＳ４１）。
視差マップ生成部５３は、移動量補正後のステレオ画像で、ステレオマッチング処理を行い視差マップデータを求め（ステップＳ４０）、各視差マップデータをメモリ２２に保存する（ステップＳ４１）。
【0070】
ここで視差マップ生成部５３は、ステレオラインセンサ装置１１からの２つの画像に基づき、各部位の視差情報を求める。そして視差マップ生成部５３は、ステレオラインセンサ装置１２からの２つの画像に基づき、各部位の視差情報を求める。
【0071】
この方法は、一般的に、２つの画像間で相互に類似部位を探索し、それぞれ類似する位置の差を取って視差とする方法である。この方法では、画像の視差と、ステレオラインセンサ装置内の２個のラインセンサの長手方向の設置位置のズレに基づいて、三角測量の要領で、ラインセンサからの相対位置を三次元の座標値として求めている。
【0072】
図１４は、点群データ生成処理を示すフローチャートである。この撮影処理は、図１０のステップＳ１３の処理に相当する。
点群データ生成部５４は、各視差マップデータと左右のラインセンサの間隔に基づき、三角測量の計算で、それぞれ点群データを生成し（ステップＳ５０）、生成した点群データをメモリ２２に保存して（ステップＳ５１）、図１４の処理を終了する。
点群データ生成部５４は、各視差マップデータと左右のラインセンサの間隔に基づき、三角測量の計算で、それぞれ点群データを生成し（ステップＳ５０）、生成した点群データをメモリ２２に保存して（ステップＳ５１）、図１４の処理を終了する。
【0073】
図１５は、合成点群データ生成処理を示すフローチャートである。この撮影処理は、図１０のステップＳ１４の処理に相当する。
点群データ合成部５５は、複数の三次元点群データ６５１，６５２をマージする（ステップＳ６０）。このマージは、両方の点群データが有する点群データを合成することを意味する。点群データ合成部５５は、マージした合成三次元点群データ６６をメモリ２２に保存すると（ステップＳ６１）、図１５の処理を終了する。
点群データ合成部５５は、複数の三次元点群データ６５１，６５２をマージする（ステップＳ６０）。このマージは、両方の点群データが有する点群データを合成することを意味する。点群データ合成部５５は、マージした合成三次元点群データ６６をメモリ２２に保存すると（ステップＳ６１）、図１５の処理を終了する。
【0074】
図１６は、三次元メッシュデータ生成処理を示すフローチャートである。この処理は、図１０のステップＳ１５の処理に相当する。
三次元メッシュ変換部５６は、合成三次元点群データ６６に基づき、それらを包含する三次元メッシュデータ６７を生成する（ステップＳ７０）。点群データからメッシュを求めるため、三次元メッシュ変換部５６は、近くの頂点から三角形を形成して、一辺を共有する三角形を近くの頂点を用いて形成する。以下同様に繰り返して、構造物の形状を模した、三角形の集合（メッシュ）である三次元メッシュデータ６７を得ることができる。
そして三次元メッシュ変換部５６は、三次元メッシュデータ６７をメモリ２２に保存すると（ステップＳ７１）、図１６の処理を終了する。
三次元メッシュ変換部５６は、合成三次元点群データ６６に基づき、それらを包含する三次元メッシュデータ６７を生成する（ステップＳ７０）。点群データからメッシュを求めるため、三次元メッシュ変換部５６は、近くの頂点から三角形を形成して、一辺を共有する三角形を近くの頂点を用いて形成する。以下同様に繰り返して、構造物の形状を模した、三角形の集合（メッシュ）である三次元メッシュデータ６７を得ることができる。
そして三次元メッシュ変換部５６は、三次元メッシュデータ６７をメモリ２２に保存すると（ステップＳ７１）、図１６の処理を終了する。
【0075】
図１７は、三次元メッシュデータの表示処理を示すフローチャートである。この処理は、図１０のステップＳ１６の処理に相当する。
三次元メッシュ表示部５７は、キーボード２４１やマウス２４２の入力によって視点座標を定める（ステップＳ８０）。そして三次元メッシュ表示部５７は、三次元メッシュデータ６７のうち視点座標と注目点座標の視野に入る部分を、パースペクティブ表示でディスプレイに表示する（ステップＳ８１）。
三次元メッシュ表示部５７は、キーボード２４１やマウス２４２の入力によって視点座標を定める（ステップＳ８０）。そして三次元メッシュ表示部５７は、三次元メッシュデータ６７のうち視点座標と注目点座標の視野に入る部分を、パースペクティブ表示でディスプレイに表示する（ステップＳ８１）。
【0076】
三次元メッシュデータ６７から、パースペクティブ表示を得る方法として、グラフィックインタフェース２３のうち大半のものに搭載される三次元描画機能、例えばOpenGL（登録商標）やValkanやMetalなどを使用するのが一般的である。
【0077】
《第１の実施形態の効果》
第１の実施形態によれば、撮影された構造物の１点に対して、２つの視点からの画像が得られるため、ステレオマチングによる三次元化が可能となり、画像データの削減と処理時間の短縮が期待できる。
第１の実施形態によれば、撮影された構造物の１点に対して、２つの視点からの画像が得られるため、ステレオマチングによる三次元化が可能となり、画像データの削減と処理時間の短縮が期待できる。
【0078】
更に、２台のラインセンサのステレオマッチングにより、マッチング対象が、１軸（１次元）で済む分、精度の向上の期待ができる。ステレオラインセンサ１台では、ラインセンサに垂直方向にオクルージョンが発生するが、交差した２台のステレオラインセンサにより、オクルージョンを相互補完で削減できる。
【0079】
また、本実施形態では、エリアセンサでなくラインセンサによって画像を得ている、データも膨大にならず、オクルージョンの少ない三次元キャプチャができる。
【0080】
《第２の実施形態》
第２の実施形態では、３台以上のステレオラインセンサをそれぞれ異なる向きに配置にし、ラインセンサの撮影画像から速度変化を推定し、画像データを補正可能としている。
第２の実施形態では、３台以上のステレオラインセンサをそれぞれ異なる向きに配置にし、ラインセンサの撮影画像から速度変化を推定し、画像データを補正可能としている。
【0081】
図１８は、第２実施形態のステレオラインセンサ装置１１，１２，１３の配置例を示す平面図である。
第２の実施形態のステレオラインセンサ装置１１，１２，１３は、６０度の角度で交差している。
第２の実施形態のステレオラインセンサ装置１１，１２，１３は、６０度の角度で交差している。
【0082】
ステレオラインセンサ装置１１は、一次元のラインセンサ１１１Ｌ，１１１Ｒが距離Ｌだけ離間して、その長手方向が同一の直線１１５に位置するように配置されている。
ステレオラインセンサ装置１２は、一次元のラインセンサ１２１Ｌ，１２１Ｒが距離Ｌだけ離間して、その長手方向が同一の直線１２５に位置するように配置されている。
ステレオラインセンサ装置１３は、一次元のラインセンサ１３１Ｌ，１３１Ｒが距離Ｌだけ離間して、その長手方向が同一の直線１３５に位置するように配置されている。
ステレオラインセンサ装置１２は、一次元のラインセンサ１２１Ｌ，１２１Ｒが距離Ｌだけ離間して、その長手方向が同一の直線１２５に位置するように配置されている。
ステレオラインセンサ装置１３は、一次元のラインセンサ１３１Ｌ，１３１Ｒが距離Ｌだけ離間して、その長手方向が同一の直線１３５に位置するように配置されている。
【0083】
これら直線１１５，１２５，１３５の交点は、ラインセンサ１１１Ｌ，１１１Ｒと等距離であり、ラインセンサ１２１Ｌ，１２１Ｒと等距離であり、かつラインセンサ１３１Ｌ，１３１Ｒと等距離である。即ち、ラインセンサ１１１Ｌ，１１１Ｒとラインセンサ１２１Ｌ，１２１Ｒとラインセンサ１３１Ｌ，１３１Ｒは、同心円上に配置されている。
【0084】
図１９は、変形例のステレオラインセンサ装置１１，１２，１３の配置例を示す平面図である。
ステレオラインセンサ装置１１，１２と、ステレオラインセンサ装置１２，１３と、ステレオラインセンサ装置１３，１１とは、それぞれ交差している。
ステレオラインセンサ装置１１，１２と、ステレオラインセンサ装置１２，１３と、ステレオラインセンサ装置１３，１１とは、それぞれ交差している。
【0085】
直線１１５と直線１２５との交点と、直線１２５と直線１３５との交点と、直線１３５と直線１１５との交点は、正三角形の頂点に位置している。これによりラインセンサ１１１Ｌ，１１１Ｒと、ラインセンサ１２１Ｌ，１２１Ｒと、ラインセンサ１３１Ｌ，１３１Ｒは、同心円上に配置される。この配置だと、被写体の移動方向が何れであっても、ステレオラインセンサ装置１１，１２，１３のうち何れか２つは、移動方向とは異なる方向にスキャン可能である。よって、ステレオラインセンサ装置１１，１２，１３のうち２台により、移動量センサ無しでも移動量の計測が可能となり、かつ三次元キャプチャが可能となる。
【0086】
図２Ａや図３Ａに示した２台のステレオラインセンサ装置１１，１２では、何れか一方が被写体の移動方向と平行となる場合がある。このとき、ステレオラインセンサ装置１１，１２は、正しく三次元キャプチャできず、死角となるおそれがある。三次元キャプチャシステムを、それぞれ異なる角度で配置した３台以上のステレオラインセンサ装置１１，１２，１３で構成することにより、この死角をなくすことができる。
【0087】
図２０は、第２の実施形態に係る三次元キャプチャ装置２のブロック図である。
三次元キャプチャ装置２のＭＰＵ２１（図１参照）は、不図示の制御プログラムを実行することにより、第１の実施形態と同様な撮影部５１、速度変化補正部５２、視差マップ生成部５３、点群データ生成部５４、点群データ合成部５５、三次元メッシュ変換部５６、三次元メッシュ表示部５７の各部と、移動量推定部５８とを具現化する。
三次元キャプチャ装置２のＭＰＵ２１（図１参照）は、不図示の制御プログラムを実行することにより、第１の実施形態と同様な撮影部５１、速度変化補正部５２、視差マップ生成部５３、点群データ生成部５４、点群データ合成部５５、三次元メッシュ変換部５６、三次元メッシュ表示部５７の各部と、移動量推定部５８とを具現化する。
【0088】
移動量推定部５８は、撮影データに基づき、被写体の移動量を推定して移動量ログデータ６４１を生成する。本実施形態では、ステレオラインセンサ装置１１，１２，１３のうち２台の画像データから、移動量を推定しているので、移動量センサ３が不要となり、コスト低減が期待できる。
【0089】
図２１は、三次元キャプチャ装置２が生成する各種データを示す概念図である。
三次元キャプチャ装置２は、第１の実施形態と同様なデータに加え、視差マップ生データ６８１，６８２と、正射影生画像データ６９１，６９２とを生成している。
三次元キャプチャ装置２は、第１の実施形態と同様なデータに加え、視差マップ生データ６８１，６８２と、正射影生画像データ６９１，６９２とを生成している。
【0090】
《移動量推定の説明》
ここでは、３台のステレオラインセンサ装置１１，１２，１３のうち、ステレオラインセンサ装置１１，１２の画像を使用するものとして説明する。
ここでは、３台のステレオラインセンサ装置１１，１２，１３のうち、ステレオラインセンサ装置１１，１２の画像を使用するものとして説明する。
【0091】
移動量推定部５８は、ステレオラインセンサ装置１１，１２からの生画像データで、視差マップ生データ６８１，６８２を生成して保存する。この時、視差マップ生データ６８１，６８２は、横軸を距離とし、縦軸を時間とする画像となる。
移動量推定部５８は、２台のステレオラインセンサ装置１１，１２のどちらを基準としてもよい。図２２Ａと図２２Ｂでは、１台目のステレオラインセンサ装置１１の視野１１４を基準にして、ステレオラインセンサ装置１２の視野１２４に基づいて、被写体の移動量を推定する処理を説明している。ここで白色矩形は、被写体の特徴部である。
移動量推定部５８は、２台のステレオラインセンサ装置１１，１２のどちらを基準としてもよい。図２２Ａと図２２Ｂでは、１台目のステレオラインセンサ装置１１の視野１１４を基準にして、ステレオラインセンサ装置１２の視野１２４に基づいて、被写体の移動量を推定する処理を説明している。ここで白色矩形は、被写体の特徴部である。
【0092】
図２２Ａは、被写体の移動量を計測する方法を説明する平面図である。図２２Ｂは、被写体の移動量を計測する方法を説明する斜視図である。
１台目のステレオラインセンサ装置１１が、或る時間に被写体の特徴部を検出し、ステレオラインセンサ装置１２が、所定時間経過後にこの特徴部を検出したことを示している。ステレオラインセンサ装置１１の視野１１４と、ステレオラインセンサ装置１２の視野１２４とその交差角度は既知であるため、被写体の特徴部の検出により、これらを式（１）に代入することで、その被写体の移動距離Ｌｉ,ｊを算出できる。
１台目のステレオラインセンサ装置１１が、或る時間に被写体の特徴部を検出し、ステレオラインセンサ装置１２が、所定時間経過後にこの特徴部を検出したことを示している。ステレオラインセンサ装置１１の視野１１４と、ステレオラインセンサ装置１２の視野１２４とその交差角度は既知であるため、被写体の特徴部の検出により、これらを式（１）に代入することで、その被写体の移動距離Ｌｉ,ｊを算出できる。
【0093】
【数1】
【0094】
ここに、αＬ，αＵ，βＬ，βＵは、１台目のステレオラインセンサ装置１１と２台目のステレオラインセンサ装置１２の設置位置と向きから決まる係数である。
【0095】
図２３は、被写体の移動量を計測する方法を説明する図である。
例えば、正射影表示に変換された正射影生画像データ６９１内の規定数の画素ブロックに着目し、その画素ブロックと相関が高いブロックを、正射影生画像データ６９２内で検索する。随時、正射影生画像データ６９１と、正射影生画像データ６９２とを検索していくことで、２台のステレオラインセンサ装置１１，１２の位置関係と、特徴部分の画像内位置から、その特徴部分の移動時間と移動距離が求まる。
例えば、正射影表示に変換された正射影生画像データ６９１内の規定数の画素ブロックに着目し、その画素ブロックと相関が高いブロックを、正射影生画像データ６９２内で検索する。随時、正射影生画像データ６９１と、正射影生画像データ６９２とを検索していくことで、２台のステレオラインセンサ装置１１，１２の位置関係と、特徴部分の画像内位置から、その特徴部分の移動時間と移動距離が求まる。
【0096】
ここで、ｔＬ
ｉは、正射影生画像データ６９２にて２つの特徴部分６０２Ｌ，６０２Ｒを検知した時刻である。ｘＬ
ｉ，Ｊは、特徴部分６０２Ｒを検出した座標である。ｘＬ
ｉ，Ｊ＋１は、特徴部分６０２Ｌを検出した座標である。
【0097】
ｔＵ
ｉ，ｊは、正射影生画像データ６９２にて右側の特徴部分６０１Ｒを検知した時刻である。なお、特徴部分６０１Ｒは、正射影生画像データ６９２の特徴部分６０２Ｒに対応している。ｘＵ
ｉ，Ｊは、特徴部分６０１Ｒを検出した座標である。
【0098】
ｔＵ
ｉ，ｊ＋１は、左側の特徴部分６０１Ｌを検知した時刻である。なお、特徴部分６０１Ｌは、正射影生画像データ６９２の特徴部分６０２Ｌに対応している。ｘＵ
ｉ，Ｊ＋１は、左側の特徴部分６０１Ｌを検出した座標である。
【0099】
この距離と特徴部分の座標および検出時刻を式（２）に代入することで、この座標に係る移動速度Ｖｉ，ｊを計測できる。なお、移動速度は、ラインごとに平均または加重平均をとることが望ましい。
【数2】
【0100】
式（３）により、各ラインの速度から被写体の移動量Ｖｉを求める。
【数3】
【0101】
この被写体の移動量Ｖｉを、移動量ログデータ６４１へ保存する。これにより、移動量センサ３を不要とすることができる。
【0102】
図２４は、被写体の移動量の計測処理を示すフローチャートである。
視差マップ生成部５３は、各左右撮影データをステレオマッチング処理して、ステレオラインセンサ装置ごとの視差マップデータを生成する（ステップＳ９０）。そして視差マップ生成部５３は、生成された視差マップデータから、ステレオラインセンサ装置ごとの正射影の画像を生成し（ステップＳ９１）、生成した正射影の画像を、ステレオラインセンサ装置ごとの視差マップ生データとして保存する（ステップＳ９２）。
視差マップ生成部５３は、各左右撮影データをステレオマッチング処理して、ステレオラインセンサ装置ごとの視差マップデータを生成する（ステップＳ９０）。そして視差マップ生成部５３は、生成された視差マップデータから、ステレオラインセンサ装置ごとの正射影の画像を生成し（ステップＳ９１）、生成した正射影の画像を、ステレオラインセンサ装置ごとの視差マップ生データとして保存する（ステップＳ９２）。
【0103】
移動量推定部５８は、一方の視差マップ生データの規定数の画素ブロックに着目し、その画素ブロックと相関が高い画素ブロックを、他方の視差マップ生データ)内で検索し、画像内の距離を求める（ステップＳ９３）。そして移動量推定部５８は、各画像ブロックの画像内の距離と、２台のステレオラインセンサ装置の視野の位置関係から、その画素ブロック間の所要時間を求める（ステップＳ９４）。
【0104】
移動量推定部５８は、各ラインの各画素について既知の距離を所要時間で除算して速度を求め（ステップＳ９５）、各画素から計算した速度の平均を求めて各ラインの速度とする（ステップＳ９６）。そして移動量推定部５８は、各ラインの速度から移動量を求めると（ステップＳ９７）、図２４の処理を終了する。
【0105】
また、以下に変形例を記載する。三次元合成処理にて、２台のステレオラインセンサ装置からの生成された点群データを光軸方向に正射影し、それぞれ二次元画像に変換する。２台のステレオラインセンサ装置の間には位置のズレがある。そのずれを、２枚の二次元画像間の相関をとって求め、一方の点群データの座標値へ反映して位置ずれを解消する。位置ずれの解消後、２つの点群データを、１つの点群データとして扱えるように、メモリ２２へ保存する。この変形例の処理でも、移動量センサなしに移動量を計測可能である。
【0106】
第２の実施形態によれば、専用の速度計測デバイスが不要であり、コスト低減が期待できる。
【0107】
本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば上記した実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。
【0108】
上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路などのハードウェアで実現してもよい。上記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈して実行することにより、ソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリ、ハードディスク、ＳＳＤ（Solid State Drive）などの記録装置、または、フラッシュメモリカード、ＤＶＤ（Digital Versatile Disk）などの記録媒体に置くことができる。
【0109】
各実施形態に於いて、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には、殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【0110】
１１，１２，１３ ステレオラインセンサ装置
１１Ｌ，１１Ｒ，１２Ｌ，１２Ｒ，１３Ｌ，１３Ｒ ラインセンサ装置
１１１Ｌ，１１１Ｒ，１２１Ｌ，１２１Ｒ，１３１Ｌ，１３１Ｒ ラインセンサ
１１２Ｌ，１１２Ｒ，１２２Ｌ，１２２Ｒ 光学系
１１３Ｌ，１１３Ｒ，１２３Ｌ，１２３Ｒ 光軸
１１４、１１６，１２４、１２６ 視野
１１５，１２５，１３５ 直線
２ 三次元キャプチャ装置
２１ ＭＰＵ
２２ メモリ
２３ グラフィックインタフェース
２４ 入力インタフェース
２４１ キーボード
２４２ マウス
２３１ ディスプレイ
２５ ラインセンサインタフェース
３ 移動量センサ
４ 被写体
４１ 目標
５１ 撮影部
５２ 速度変化補正部
５３ 視差マップ生成部
５４ 点群データ生成部
５５ 点群データ合成部
５６ 三次元メッシュ変換部
５７ 三次元メッシュ表示部
５８ 移動量推定部
６１１Ｌ 左撮影データ
６１１Ｒ 右撮影データ
６２１Ｌ 補正後左撮影データ
６２１Ｒ 補正後右撮影データ
６１２Ｌ 左撮影データ
６１２Ｒ 右撮影データ
６２２Ｌ 補正後左撮影データ
６２２Ｒ 補正後右撮影データ
６３１，６３２ 補正後視差マップデータ
６８１，６８２ 視差マップ生データ
６９１，６９２ 正射影生画像データ
６４，６４１ 移動量ログデータ
６５１，６５２ 三次元点群データ
６６ 合成三次元点群データ
６７ 三次元メッシュデータ
７ 被写体
７１ 自動車
７２ 列車
１１Ｌ，１１Ｒ，１２Ｌ，１２Ｒ，１３Ｌ，１３Ｒ ラインセンサ装置
１１１Ｌ，１１１Ｒ，１２１Ｌ，１２１Ｒ，１３１Ｌ，１３１Ｒ ラインセンサ
１１２Ｌ，１１２Ｒ，１２２Ｌ，１２２Ｒ 光学系
１１３Ｌ，１１３Ｒ，１２３Ｌ，１２３Ｒ 光軸
１１４、１１６，１２４、１２６ 視野
１１５，１２５，１３５ 直線
２ 三次元キャプチャ装置
２１ ＭＰＵ
２２ メモリ
２３ グラフィックインタフェース
２４ 入力インタフェース
２４１ キーボード
２４２ マウス
２３１ ディスプレイ
２５ ラインセンサインタフェース
３ 移動量センサ
４ 被写体
４１ 目標
５１ 撮影部
５２ 速度変化補正部
５３ 視差マップ生成部
５４ 点群データ生成部
５５ 点群データ合成部
５６ 三次元メッシュ変換部
５７ 三次元メッシュ表示部
５８ 移動量推定部
６１１Ｌ 左撮影データ
６１１Ｒ 右撮影データ
６２１Ｌ 補正後左撮影データ
６２１Ｒ 補正後右撮影データ
６１２Ｌ 左撮影データ
６１２Ｒ 右撮影データ
６２２Ｌ 補正後左撮影データ
６２２Ｒ 補正後右撮影データ
６３１，６３２ 補正後視差マップデータ
６８１，６８２ 視差マップ生データ
６９１，６９２ 正射影生画像データ
６４，６４１ 移動量ログデータ
６５１，６５２ 三次元点群データ
６６ 合成三次元点群データ
６７ 三次元メッシュデータ
７ 被写体
７１ 自動車
７２ 列車
【図1】
【図2A】
【図2B】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8A】
【図8B】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22A】
【図22B】
【図23】
【図24】