特開 2024-135125 三次元情報処理装置及び三次元情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024135125

(43)【公開日】2024-10-04

(54)【発明の名称】三次元情報処理装置及び三次元情報処理方法

(51)【国際特許分類】

   G01B 11/245 20060101AFI20240927BHJP

   H04N 23/69 20230101ALI20240927BHJP

【ＦＩ】

G01B11/245 H

H04N23/69

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023045659

(22)【出願日】2023-03-22

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(74)【代理人】

【識別番号】100114937

【弁理士】

【氏名又は名称】松本 裕幸

(74)【代理人】

【識別番号】100162868

【弁理士】

【氏名又は名称】伊藤 英輔

(72)【発明者】

【氏名】鈴木 敦

【テーマコード（参考）】

2F065

5C122

【Ｆターム（参考）】

2F065AA51

2F065BB05

2F065FF11

2F065JJ05

2F065JJ09

2F065LL06

5C122DA13

5C122EA61

5C122FA18

5C122FD04

5C122FE05

5C122FH11

5C122FH18

5C122HB01

(57)【要約】

【課題】複数の測距カメラによりそれぞれ得られた三次元情報を好適に合成する。
【解決手段】三次元情報処理装置は、第１点群データ取得装置により第１のズーム倍率で取得した被写体の点群データである第１点群データを取得する第１取得部と、第１点群データ取得装置が第１点群データを取得する画角と、少なくとも一部が互いに重なり合う画角で点群データを取得する第２点群データ取得装置であって、第２点群データ取得装置により第２のズーム倍率で取得した被写体の点群データである第２点群データを取得する第２取得部と、第１点群データに含まれる点群と第２点群データに含まれる点群のうち、重複部分を特定する特定部と、特定された重複部分を突合させた場合における、第１点群データに対する第２点群データの縮小拡大倍率を算出する算出部と、算出された縮小拡大倍率が所定の閾値より小さいか否かを判定する判定部とを備える。
【選択図】図６

【特許請求の範囲】

【請求項1】

第１点群データ取得装置により第１のズーム倍率で取得した被写体の点群データである第１点群データを取得する第１取得部と、
前記第１点群データ取得装置が前記第１点群データを取得する画角と、少なくとも一部が互いに重なり合う画角で点群データを取得する第２点群データ取得装置であって、前記第２点群データ取得装置により第２のズーム倍率で取得した被写体の点群データである第２点群データを取得する第２取得部と、
前記第１点群データに含まれる点群と前記第２点群データに含まれる点群のうち、重複部分を特定する特定部と、
特定された前記重複部分を突合させた場合における、前記第１点群データに対する前記第２点群データの縮小拡大倍率を算出する算出部と、
算出された前記縮小拡大倍率が所定の閾値より小さいか否かを判定する判定部と、
を備える三次元情報処理装置。

【請求項2】

前記判定部により、算出された前記縮小拡大倍率が所定の閾値より大きいと判定された場合、前記第２点群データ取得装置のズーム倍率を制御する制御信号を出力するズーム倍率制御部を更に備える
請求項１に記載の三次元情報処理装置。

【請求項3】

前記ズーム倍率制御部は、前記第１点群データを取得する第１点群データ取得装置のズーム倍率を取得し、取得したズーム倍率に応じて、前記第２点群データ取得装置のズーム倍率を制御する制御信号を出力する
請求項２に記載の三次元情報処理装置。

【請求項4】

前記第１点群データ取得装置が前記第１点群データを取得する画角と、少なくとも一部が互いに重なり合う画角で点群データを取得する第３点群データ取得装置であって、前記第３点群データ取得装置により第３のズーム倍率で取得した被写体の点群データである第３点群データを取得する第３取得部と、
前記第１点群データ取得装置が前記第１点群データを取得する画角と互いに重なり合わない画角で点群データを取得する第４点群データ取得装置であって、前記第４点群データ取得装置から第４点群データを取得する第４取得部を更に備え、
前記特定部は、前記第４点群データに含まれる点群と前記第２点群データに含まれる点群のうち重複部分を特定し、前記第４点群データに含まれる点群と前記第３点群データに含まれる点群のうち重複部分を特定し、
前記算出部は、特定された前記重複部分を突合させた場合における前記第４点群データに対する前記第２点群データの縮小拡大倍率と、特定された前記重複部分を突合させた場合における前記第４点群データに対する前記第３点群データの縮小拡大倍率とを算出し、
前記ズーム倍率制御部は、前記第４点群データに対する前記第２点群データの縮小拡大倍率と、前記第４点群データに対する前記第３点群データの縮小拡大倍率とに基づき、前記第４点群データ取得装置のズーム倍率を制御する制御信号を出力する
請求項２又は請求項３に記載の三次元情報処理装置。

【請求項5】

第１点群データ取得装置により第１のズーム倍率で取得した被写体の点群データである第１点群データを取得する第１取得工程と、
第２点群データ取得装置により第２のズーム倍率で取得した被写体の点群データである第２点群データを取得する第２取得工程と、
前記第１点群データに含まれる点群と前記第２点群データに含まれる点群のうち、重複部分を特定する特定工程と、
特定された前記重複部分を突合させた場合における、前記第１点群データに対する前記第２点群データの縮小拡大倍率を算出する算出工程と、
算出された前記縮小拡大倍率が所定の閾値より小さいか否かを判定する判定工程と、
を有する三次元情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、三次元情報処理装置及び三次元情報処理方法に関する。

【背景技術】

【0002】

従来、複数台の測距カメラを用いて、多視点から被写体の三次元情報を取得することが行われている。複数台の測距カメラからそれぞれ得られた三次元情報は、１つの三次元情報に合成される。複数台の測距カメラを用いて多視点から被写体の三次元情報を取得することにより、１台の測距カメラにより１方向から三次元情報を取得する場合と比べて、より再現度の高い三次元情報を取得することが可能となる。複数台の測距カメラから得られた三次元情報を１つの三次元情報に合成するための技術として、例えば特許文献１に記載された技術を例示することができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平７－１７４５３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、測距カメラにズームレンズを適用することにより、カメラの撮影位置を変えることなく光学的に拡大及び縮小をすることができる。複数台の測距カメラそれぞれにズームレンズを適用した場合、ズームレンズの機械的なばらつきや制御誤差等を原因として、測距カメラごとに縮小拡大倍率が異なってしまう場合がある。縮小拡大倍率にばらつきがある複数台の測距カメラから得られた三次元情報を１つの三次元情報に合成すると接合部分に不整合が生じてしまうことから、デジタル的に縮小処理又は拡大処理を行うことを要する。このような縮小処理又は拡大処理を行った結果、全体としての三次元情報の品質が損なわれてしまう可能性がある。例えば、２つの三次元情報を合成する際、一方をデジタル的に拡大処理して接合すると、拡大処理した側の解像度が、拡大処理をしていない側の解像度と比べて粗くなってしまい、全体としてアンバランスな三次元情報となってしまうといった問題があった。

【0005】

本発明は、このような状況に鑑みてなされたものであって、複数の測距カメラによりそれぞれ得られた三次元情報を好適に合成することが可能な三次元情報処理装置及び三次元情報処理方法の提供を目的とする。

【課題を解決するための手段】

【0006】

［１］本発明の一態様は、第１点群データ取得装置により第１のズーム倍率で取得した被写体の点群データである第１点群データを取得する第１取得部と、前記第１点群データ取得装置が前記第１点群データを取得する画角と、少なくとも一部が互いに重なり合う画角で点群データを取得する第２点群データ取得装置であって、前記第２点群データ取得装置により第２のズーム倍率で取得した被写体の点群データである第２点群データを取得する第２取得部と、前記第１点群データに含まれる点群と前記第２点群データに含まれる点群のうち、重複部分を特定する特定部と、特定された前記重複部分を突合させた場合における、前記第１点群データに対する前記第２点群データの縮小拡大倍率を算出する算出部と、算出された前記縮小拡大倍率が所定の閾値より小さいか否かを判定する判定部とを備える三次元情報処理装置である。

【0007】

［２］また、本発明の一態様は、上記［１］に記載の三次元情報処理装置において、前記判定部により、算出された前記縮小拡大倍率が所定の閾値より大きいと判定された場合、前記第２点群データ取得装置のズーム倍率を制御する制御信号を出力するズーム倍率制御部を更に備えるものである。

【0008】

［３］また、本発明の一態様は、上記［２］に記載の三次元情報処理装置において、前記ズーム倍率制御部は、前記第１点群データを取得する第１点群データ取得装置のズーム倍率を取得し、取得したズーム倍率に応じて、前記第２点群データ取得装置のズーム倍率を制御する制御信号を出力するものである。

【0009】

［４］また、本発明の一態様は、上記［１］から［３］のいずれかに記載の三次元情報処理装置は、 前記第１点群データ取得装置が前記第１点群データを取得する画角と、少なくとも一部が互いに重なり合う画角で点群データを取得する第３点群データ取得装置であって、前記第３点群データ取得装置により第３のズーム倍率で取得した被写体の点群データである第３点群データを取得する第３取得部と、前記第１点群データ取得装置が前記第１点群データを取得する画角と互いに重なり合わない画角で点群データを取得する第４点群データ取得装置であって、前記第４点群データ取得装置から第４点群データを取得する第４取得部を更に備え、前記特定部は、前記第４点群データに含まれる点群と前記第２点群データに含まれる点群のうち重複部分を特定し、前記第４点群データに含まれる点群と前記第３点群データに含まれる点群のうち重複部分を特定し、前記算出部は、特定された前記重複部分を突合させた場合における前記第４点群データに対する前記第２点群データの縮小拡大倍率と、特定された前記重複部分を突合させた場合における前記第４点群データに対する前記第３点群データの縮小拡大倍率とを算出し、前記ズーム倍率制御部は、前記第４点群データに対する前記第２点群データの縮小拡大倍率と、前記第４点群データに対する前記第３点群データの縮小拡大倍率とに基づき、前記第４点群データ取得装置のズーム倍率を制御する制御信号を出力するものである。

【0010】

［５］また、本発明の一態様は、第１点群データ取得装置により第１のズーム倍率で取得した被写体の点群データである第１点群データを取得する第１取得工程と、第２点群データ取得装置により第２のズーム倍率で取得した被写体の点群データである第２点群データを取得する第２取得工程と、前記第１点群データに含まれる点群と前記第２点群データに含まれる点群のうち、重複部分を特定する特定工程と、特定された前記重複部分を突合させた場合における、前記第１点群データに対する前記第２点群データの縮小拡大倍率を算出する算出工程と、算出された前記縮小拡大倍率が所定の閾値より小さいか否かを判定する判定工程とを有する三次元情報処理方法である。

【発明の効果】

【0011】

本発明によれば、複数の測距カメラによりそれぞれ得られた三次元情報を好適に合成することができる。

【図面の簡単な説明】

【0012】

【図1】一実施形態に係る三次元情報取得システムの機能構成の一例を示す機能構成図である。

【図2】本実施形態に係る三次元情報取得システムが備える複数のカメラによりそれぞれ取得される点群データの範囲を示す図である。

【図3】本実施形態に係る三次元情報処理方法が有する各工程の概要について説明するための図である。

【図4】本実施形態に係る三次元情報取得システムが備える複数のカメラによりそれぞれ取得された点群データの合成点群について示す第１の図である。

【図5】本実施形態に係る三次元情報取得システムが備える複数のカメラによりそれぞれ取得された点群データの合成点群について示す第２の図である。

【図6】本実施形態に係る三次元情報処理装置の機能構成の一例を示す機能構成図である。

【図7】本実施形態に係る三次元情報処理方法の一連の流れを示すフローチャートである。

【図8】本実施形態の三次元情報処理装置の内部構成の一例を示すブロック図である。

【発明を実施するための形態】

【0013】

本発明の態様に係る三次元情報処理装置及び三次元情報処理方法について、好適な実施の形態を掲げ、添付の図面を参照しながら以下、詳細に説明する。なお、以下で説明する実施形態は一例に過ぎず、本発明が適用される実施形態は、以下の実施形態に限られない。また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。また、以下の図面においては、各構成をわかりやすくするために、各構造における縮尺および数等を、実際の構造における縮尺および数等と異ならせる場合がある。

【0014】

［実施形態］
図１は、一実施形態に係る三次元情報取得システムの機能構成の一例を示す機能構成図である。同図を参照しながら、三次元情報取得システム１の機能構成の一例について説明する。以降の説明において、ｘ軸、ｙ軸及びｚ軸の三次元直交座標系によってカメラの撮像角度等について説明する場合がある。なお、同図に示すｘ軸、ｙ軸及びｚ軸は、カメラから見た座標系ではなく、各図における相対的な方向を表すための三次元軸である。

【0015】

三次元情報取得システム１は、三次元情報処理装置１０と、１台のマスターカメラ２１と、１台以上のサブカメラとを備える。図示する一例では、１台以上のサブカメラの一例として、サブカメラ２２と、サブカメラ２３と、サブカメラ２４とが示されている。以下の説明において、マスターカメラ２１を第１点群データ取得装置と記載し、サブカメラ２２を第２点群データ取得装置と記載し、サブカメラ２３を第３点群データ取得装置と記載し、サブカメラ２４を第４点群データ取得装置と記載する場合がある。また、以下の説明において、三次元情報取得システム１に含まれる複数のサブカメラをそれぞれ区別しない場合は、単にサブカメラと記載する場合がある。

【0016】

本実施形態において、三次元情報取得システム１が備えるサブカメラの台数は任意であってもよい。サブカメラの台数を増やし、様々な角度から被写体の三次元情報を取得することにより、より正確に被写体全体の三次元情報を取得することができる。

【0017】

マスターカメラ２１及びサブカメラは、いずれも測距カメラである。以下の説明において、マスターカメラ２１とサブカメラとを区別しない場合は、測距カメラと記載する場合がある。本実施形態に係る測距カメラは、撮像する画像（又は映像）に対応して、被写体との距離を二次元的に測定することにより、被写体の三次元情報を取得する。測距カメラにより取得される被写体の三次元情報とは、例えば三次元点群データであってもよい。測距カメラは、例えばＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式を用いて、被写体に対して二次元的に光を照射し、反射光を受光するまでの時間に基づいて距離を計測するものであってもよい。

【0018】

ここで、隣接する測距カメラの画角は、少なくとも一部が互いに重複していることが好適である。例えば、マスターカメラ２１の画角とサブカメラ２２の画角は、少なくとも一部が互いに重複しており、サブカメラ２２の画角とサブカメラ２４の画角は、少なくとも一部が互いに重複しており、サブカメラ２４の画角とサブカメラ２３の画角は、少なくとも一部が互いに重複しており、サブカメラ２３の画角とマスターカメラ２１の画角は、少なくとも一部が互いに重複していることが好適である。少なくとも一部が互いに重複している範囲を有することにより、各測距カメラが取得した三次元情報を、三次元情報処理装置１０により合成することができる。なお、マスターカメラ２１とサブカメラ２４のような、互いに隣接しない測距カメラの画角は、互いに重複していることを要しない。

【0019】

なお、図示する一例では、説明の簡略化のため、被写体のｘ－ｙ平面における三次元的形状を網羅的に取得する場合の一例について説明している。換言すれば、図示する一例では、各測距カメラ隣接する測距カメラの画角は、少なくともｘ－ｙ平面において一部が互いに重複していることを示している。しかしながら、本実施形態はこの一例に限定されず、ｚ軸方向を含む三次元的に、被写体の三次元的形状を取得することが好適である。例えば、三次元情報取得システム１は、マスターカメラ２１の画角と、少なくともｘ－ｚ平面において一部が互いに重複する画角を有する第４のサブカメラ（不図示）を備えていてもよい。三次元情報取得システム１は、第４のサブカメラを更に備えることにより、被写体をｚ軸方向から観察した場合における三次元情報を取得することができる。

【0020】

各測距カメラは、ズームレンズを備え、縮小拡大倍率を変化させることができる。以下の説明において、ズームレンズが有する機構により設定された縮小拡大倍率を、ズーム位置、又はズーム倍率等と記載する場合がある。マスターカメラ２１は、例えばオペレータの操作に基づき、ズーム位置が設定される。マスターカメラ２１は、オペレータの操作に基づき設定されたズーム位置に関する情報を、三次元情報処理装置１０に出力する。三次元情報処理装置１０は、マスターカメラ２１からズーム位置に関する情報を取得し、取得したズーム位置に関する情報に基づき、各サブカメラのズーム位置を算出し、算出したズーム位置に関する情報を各サブカメラに出力する。なお、三次元情報処理装置１０は、マスターカメラ２１のズーム位置を、そのまま各サブカメラのズーム位置として適用してもよい。

【0021】

ここで、三次元情報処理装置１０は、サブカメラに対して、２回のズーム位置の調整を行う。第１回目の調整とは、マスターカメラ２１から取得されたズーム位置に基づく、粗調整である。各測距カメラは、粗調整が行われた状態で、被写体の三次元情報を取得し、取得した情報を三次元情報処理装置１０に出力する。三次元情報処理装置１０は、各測距カメラから三次元情報を取得し、取得した三次元情報に基づき、第２回目のズーム位置調整を行う。すなわち、第２回目のズーム位置調整とは、第１回目の粗調整に対応して、微調整であるということができる。各測距カメラは、微調整が行われた状態で、被写体の三次元情報を取得し、取得した情報を三次元情報処理装置１０に出力する。三次元情報処理装置１０は、各測距カメラから三次元情報を取得し、取得した三次元情報を１つに合成することにより、被写体の三次元情報を生成する。

【0022】

図２は、本実施形態に係る三次元情報取得システムが備える複数のカメラによりそれぞれ取得される点群データの範囲を示す図である。同図を参照しながら、隣接する測距カメラの画角の一部が互いに重複している場合の一例について説明する。同図に示す三次元直交座標系は、図１に示した座標系に対応する。

【0023】

図２（Ｃ）は、ｘ－ｙ平面における被写体の形状の一例を模式的に示している。換言すれば、図２（Ｃ）は、被写体をｚ軸方向からみた平面図であるということもできる。図２（Ａ）は、サブカメラ２２方向から当該被写体の三次元情報を取得した場合に取得可能な範囲を示している。図２（Ｄ）は、マスターカメラ２１方向から当該被写体の三次元情報を取得した場合に取得可能な範囲を示している。本実施形態に係る測距カメラは、例えばＴｏＦ方式により測距された点群データを取得するものであるため、測距カメラから光を照射可能な位置の三次元情報を取得することができる。

【0024】

例えば従来技術のように１台の測距カメラのみにより三次元情報を取得しようとする場合、図２（Ａ）又は図２（Ｄ）のように被写体の半分しか三次元情報を取得することができない。しかしながら三次元情報取得システム１によれば、様々な角度から多視点的に被写体の三次元情報を取得することが可能となる。ここで、図２（Ｂ）は、マスターカメラ２１方向から取得された三次元情報と、サブカメラ２２方向から取得された三次元情報との重複部分（オーバーラップ部分）である。本実施形態に係る測距カメラの画角と、互いに隣接するカメラの画角とは、互いに重複部分を有する。

【0025】

図３は、本実施形態に係る三次元情報処理方法が有する各工程の概要について説明するための図である。同図を参照しながら、本実施形態に係る三次元情報処理方法が有する各工程について説明する。

【0026】

（工程Ｐ１０）本工程ではズーム位置の粗調整が行われる。ズーム位置の粗調整は、マスターカメラ２１のズーム位置がオペレータ等により変更された場合に行われる。三次元情報処理装置１０は、マスターカメラ２１のズーム位置を取得し、取得したズーム位置に応じて、各サブカメラのズーム位置を制御する。取得したズーム位置に応じて各サブカメラのズーム位置を制御することとは、例えばマスターカメラ２１の縮小拡大倍率と同様となるよう、各サブカメラの縮小拡大倍率を設定することであってもよい。ここで、粗調整によるズーム位置の調整では、ズームレンズの機械的なばらつきや、制御誤差等を原因として、取得された点群データの倍率が互いに一致しない場合がある。そこで、三次元情報取得システム１は、更に微調整を行うことにより、各測距カメラのズーム位置を正確に合わせる。

【0027】

（工程Ｐ２０）本工程ではズーム位置の微調整が行われる。ズーム位置の微調整とは、工程Ｐ１０の粗調整が行われた状態で三次元情報を取得し、取得した三次元情報に基づいて行われるズーム位置の調整である。ズーム位置の微調整として、具体的には、工程Ｐ２１乃至工程Ｐ２４を有する。以下、それぞれの工程について詳細に説明する。

【0028】

（工程Ｐ２１）まず、工程Ｐ１０の粗調整が行われた状態で、三次元情報処理装置１０は、各測距カメラから点群データを取得する。

【0029】

（工程Ｐ２２）次に、三次元情報処理装置１０は、隣接する測距カメラから取得した点群データを合成する。ここで、点群データの合成は、一方の点群データを基準として、他方の点群データを縮小又は拡大することにより行われる。基準となる点群データの優先順位は、第１にマスターカメラ２１により取得された点群データ、第２にマスターカメラ２１に隣接するサブカメラにより取得された点群データ、第３にマスターカメラ２１に隣接するサブカメラに更に隣接するサブカメラにより取得された点群データであってもよい。

【0030】

（工程Ｐ２３）次に、三次元情報処理装置１０は、工程Ｐ２２による点群データの合成に用いられた縮小拡大倍率が、所定の閾値以上であるか否かを判定する。ここで、微調整工程においては、既にズーム位置を一致させる粗調整が行われたうえで取得された点群データを用いているため、理論的には、縮小拡大倍率を行わなくても正確に合成可能なはずである。しかしながらズームレンズの機械的なばらつきや制御誤差等により、実際には一致しない場合がある。したがって、工程Ｐ２２による点群データの合成に用いられた縮小拡大倍率は、誤差であるということもできる。よって、工程Ｐ２３は、誤差算出工程であるということもできる。

【0031】

（工程Ｐ２４）もし、工程Ｐ２３により算出された誤差が所定の閾値以上であれば、算出された誤差に基づいて、更にズーム位置を変更する。ズーム位置が変更された場合、さらに工程Ｐ２１による点群データの取得工程に処理を戻すことにより、誤差が所定の閾値以内となるまで、微調整を繰り返す。なお、工程Ｐ２３により算出された誤差が所定の閾値より小さくなった場合、三次元情報取得システム１は、処理を完了する。

【0032】

図４は、本実施形態に係る三次元情報取得システムが備える複数のカメラによりそれぞれ取得された点群データの合成点群について示す第１の図である。図５は、本実施形態に係る三次元情報取得システムが備える複数のカメラによりそれぞれ取得された点群データの合成点群について示す第２の図である。次に、図４及び図５を参照しながら、本実施形態に係る点群データの合成について説明する。

【0033】

図４の左側に示すのは、マスターカメラ２１により取得された点群データの一部である。また、同図の右側に示すのは、マスターカメラ２１に隣接するサブカメラにより取得された点群データの一部である。点群データが互いに重複する部分を、接合部分ＪＰとして図示する。ここで、点群ＰＣ１と、点群ＰＣ２とは、同一の場所を撮像した点群である。図から明らかなように、点群ＰＣ１と、点群ＰＣ２とは、互いに大きさが異なる。そのため、マスターカメラ２１により取得された点群データとマスターカメラ２１に隣接するサブカメラにより取得された点群データとをそのまま接合すると、合成点群がアンバランスなものとなってしまう。図示する一例では、マスターカメラ２１により取得された点群データを基準として、マスターカメラ２１に隣接するサブカメラにより取得された点群データを縮小することにより、合成点群を生成する。

【0034】

図５は、マスターカメラ２１に隣接するサブカメラにより取得された点群データを縮小することにより、合成点群を生成した場合における合成点群である。マスターカメラ２１に隣接するサブカメラにより取得された点群データを縮小することにより、合成点群がアンバランスなものとならずに、合成点群を生成することができている。しかしながら、この状態では、一方をデジタル的に処理して接合しているため、双方の解像度があっておらず、全体としてアンバランスな点群データとなってしまう。したがって、本実施形態によれば、合成点群を生成した際に用いた縮小拡大倍率に基づき、ズーム位置を更に制御し、再度点群データを取得することにより、アンバランスな点群データとなってしまうことを抑止する。

【0035】

図６は、本実施形態に係る三次元情報処理装置の機能構成の一例を示す機能構成図である。同図を参照しながら、三次元情報処理装置１０の機能構成の一例について説明する。同図は、一例として１台のマスターカメラ２１と、３台のサブカメラとを用いる場合の一例について示している。しかしながら本実施形態はこの一例に限定されず、サブカメラの台数を任意に増減することができる。

【0036】

三次元情報処理装置１０は、第１取得部１１１と、第２取得部１１２と、第３取得部１１３と、第４取得部１１４と、特定部１２と、算出部１３と、判定部１４と、ズーム倍率制御部１５とを備える。これらの各機能部は、例えば、電子回路を用いて実現される。また、各機能部は、必要に応じて、半導体メモリや磁気ハードディスク装置などといった記憶手段を内部に備えてよい。また、各機能を、コンピュータおよびソフトウェアによって実現するようにしてもよい。

【0037】

第１取得部１１１は、マスターカメラ２１から第１点群データＰＣ１を取得する。第１点群データＰＣ１とは、マスターカメラ２１により第１のズーム倍率で取得された被写体の点群データである。第１取得部１１１は、取得した第１点群データＰＣ１を特定部１２に提供する。第２取得部１１２は、サブカメラ２２から第２点群データＰＣ２を取得する。第２点群データＰＣ２とは、サブカメラ２２により第２のズーム倍率で取得された被写体の点群データである。第２取得部１１２は、取得した第２点群データＰＣ２を特定部１２に提供する。第３取得部１１３は、サブカメラ２３から第３点群データＰＣ３を取得する。第３点群データＰＣ３とは、サブカメラ２３により第３のズーム倍率で取得された被写体の点群データである。第３取得部１１３は、取得した第３点群データＰＣ３を特定部１２に提供する。第４取得部１１４は、サブカメラ２４から第４点群データＰＣ４を取得する。第４点群データＰＣ４とは、サブカメラ２４により第４のズーム倍率で取得された被写体の点群データである。第４取得部１１４は、取得した第４点群データＰＣ４を特定部１２に提供する。

【0038】

ここで、第１のズーム倍率乃至第４のズーム倍率は、互いに同一であることが好適である。マスターカメラ２１のズーム倍率が変更されたことに伴い、マスターカメラ２１とサブカメラのズーム倍率が異なっている場合は、上述した粗調整を行うことにより、理論的なズーム倍率を同一とする。

【0039】

特定部１２は、互いに隣接して設置された測距カメラからそれぞれ取得された点群データのうち、重複部分を特定する。重複部分の特定には、既存のアルゴリズムが用いられてもよい。各測距カメラが、いずれの測距カメラと互いに隣接して設置されているかの情報は、不図示の記憶部に予め記憶されていてもよい。なお、設置に関する情報が記憶されていない場合であっても、既存の画像処理アルゴリズムを用いて、互いに隣接する測距カメラを特定してもよい。特定部１２は、特定した重複部分に関する情報を特定情報ＳＩとして算出部１３に出力する。

【0040】

図示する一例において、測距カメラの配置は、図１に示すとおりであるとする。すなわち、マスターカメラ２１とサブカメラ２２とが互いに隣接し、サブカメラ２２とサブカメラ２４とが互いに隣接し、サブカメラ２４とサブカメラ２３とが互いに隣接し、サブカメラ２３とマスターカメラ２１とが互いに隣接する。また、マスターカメラ２１とサブカメラ２４とは互いに隣接しない。

【0041】

まず、マスターカメラ２１に隣接するサブカメラの微調整について説明する。特定部１２は、マスターカメラ２１に隣接するサブカメラについて、重複部分を特定する。この場合、特定部１２は、マスターカメラ２１から取得された第１点群データＰＣ１に含まれる点群とサブカメラ２２から取得された第２点群データＰＣ２に含まれる点群のうち、重複部分を特定する。また、特定部１２は、マスターカメラ２１から取得された第１点群データＰＣ１に含まれる点群と、サブカメラ２４から取得された第４点群データＰＣ４に含まれる点群のうち、重複部分を特定する。

【0042】

算出部１３は、特定部１２により特定された重複部分を突合させた場合において、マスターカメラ２１から取得された第１点群データＰＣ１に含まれる点群を基準とした場合の、サブカメラ２２から取得された第２点群データＰＣ２の縮小拡大倍率を算出する。また、算出部１３は、特定部１２により特定された重複部分を突合させた場合において、マスターカメラ２１から取得された第１点群データＰＣ１に含まれる点群を基準とした場合の、サブカメラ２３から取得された第３点群データＰＣ３の縮小拡大倍率を算出する。算出部１３は、算出した縮小拡大倍率が含まれる情報を、算出情報ＣＩとして判定部１４に出力する。

【0043】

判定部１４は、算出された縮小拡大倍率が所定の閾値より小さいか否かを判定する。ここで、所定の閾値は予め設定され、不図示の記憶部に記憶されていてもよい。所定の閾値とは、例えば、ずれが生じている点群の数として定められていてもよく、例えば３から４点程度のずれが生じていたら、微調整が必要と判定されてもよい。判定部１４は、判定した結果を、判定情報ＪＩとしてズーム倍率制御部１５に出力する。

【0044】

ズーム倍率制御部１５は、判定部１４により、縮小拡大倍率が所定の閾値より大きいと判定された場合、サブカメラのズーム位置（ズーム倍率）を制御する制御信号を出力する。ズーム位置は、サブカメラごとに制御される。具体的には、ズーム倍率制御部１５は、第２点群データＰＣ２の縮小拡大倍率が所定の閾値より大きいと判定された場合、サブカメラ２２のズーム倍率を制御する制御信号ＺＩ２をサブカメラ２２に出力する。また、ズーム倍率制御部１５は、第３点群データＰＣ３の縮小拡大倍率が所定の閾値より大きいと判定された場合、サブカメラ２３のズーム倍率を制御する制御信号ＺＩ３をサブカメラ２３に出力する。

【0045】

次に、マスターカメラ２１に隣接しないサブカメラの微調整について説明する。図示する一例において、マスターカメラ２１とサブカメラ２４とは、互いに隣接しない。一方、サブカメラ２４は、マスターカメラ２１と互いに隣接するサブカメラ２２及びサブカメラ２３には隣接する。そこで、サブカメラ２４の微調整では、マスターカメラ２１と互いに隣接するサブカメラ２２及びサブカメラ２３のそれぞれを基準とする縮小拡大倍率を求め、２つの縮小拡大倍率に基づいて微調整を行う。２つの縮小拡大倍率に基づいた微調整とは、例えば、２つの縮小拡大倍率の平均値を採用することであってもよい。なお、２つの縮小拡大倍率に基づいた微調整として、平均値以外の統計演算値、例えば中央値や、最頻値等が用いられてもよい。

【0046】

この場合、特定部１２は、サブカメラ２２から取得された第２点群データＰＣ２に含まれる点群とサブカメラ２４から取得された第４点群データＰＣ４に含まれる点群のうち、重複部分を特定する。また、特定部１２は、サブカメラ２３から取得された第３点群データＰＣ３に含まれる点群とサブカメラ２４から取得された第４点群データＰＣ４に含まれる点群のうち、重複部分を特定する。

【0047】

また、算出部１３は、特定部１２により特定された重複部分を突合させた場合において、マスターカメラ２１に隣接するサブカメラ２２から取得された第２点群データＰＣ２に含まれる点群を基準とした場合の、サブカメラ２４から取得された第４点群データＰＣ４の縮小拡大倍率を算出する。更に算出部１３は、特定部１２により特定された重複部分を突合させた場合において、マスターカメラ２１に隣接するサブカメラ２３から取得された第第３点群データＰＣ３に含まれる点群を基準とした場合の、サブカメラ２４から取得された第４点群データＰＣ４の縮小拡大倍率を算出する。

【0048】

ズーム倍率制御部１５は、第２点群データＰＣ２に含まれる点群を基準とする第４点群データＰＣ４の縮小拡大倍率と、第３点群データＰＣ３に含まれる点群を基準とする第４点群データＰＣ４の縮小拡大倍率とに基づき、サブカメラ２４のズーム倍率を制御する制御信号ＺＩ４をサブカメラ２４に出力する。具体的には、ズーム倍率制御部１５は、第２点群データＰＣ２に含まれる点群を基準とする第４点群データＰＣ４の縮小拡大倍率と、第３点群データＰＣ３に含まれる点群を基準とする第４点群データＰＣ４の縮小拡大倍率との平均値に基づき、サブカメラ２４のズーム倍率を決定してもよい。

【0049】

また、ズーム倍率制御部１５は、上述したようなズーム位置の微調整に加えて、ズーム位置の粗調整も行う。ズーム倍率制御部１５は、マスターカメラ２１からズーム位置に関する情報ＺＩ１を取得すると、取得した情報ＺＩ１に応じて、サブカメラ２２のズーム倍率を制御する制御信号ＺＩ２をサブカメラ２２に出力し、サブカメラ２３のズーム倍率を制御する制御信号ＺＩ３をサブカメラ２３に出力し、サブカメラ２４のズーム倍率を制御する制御信号ＺＩ４をサブカメラ２４に出力する。

【0050】

図７は、本実施形態に係る三次元情報処理方法の一連の流れを示すフローチャートである。同図を参照しながら、三次元情報処理装置１０により行われる三次元情報処理方法の一連の流れについて説明する。

【0051】

（ステップＳ１１）まず、オペレータにより、マスターカメラ２１の画角合わせが行われる。当該画角合わせは、オペレータが直接マスターカメラ２１を操作することにより行われる。当該画角合わせを行うことにより、マスターカメラ２１のズーム位置が決定される。

【0052】

（ステップＳ１３）次に、三次元情報処理装置１０は、決定されたマスターカメラ２１のズーム位置に関する情報を取得する。三次元情報処理装置１０は、取得した情報に基づき、各サブカメラ（サブカメラ２２乃至サブカメラ２４）に対してズーム位置を制御する制御信号を出力する。

【0053】

（ステップＳ１５）各サブカメラ（サブカメラ２２乃至サブカメラ２４）は、三次元情報処理装置１０からの制御信号を取得する。各サブカメラは、取得した制御信号に応じたズーム位置へ移動する。なお、ステップＳ１１からステップＳ１５までの工程が、粗調整工程に該当する。

【0054】

（ステップＳ２１）三次元情報処理装置１０は、マスターカメラ２１及びマスターカメラ２１に隣接するサブカメラのカラー点群情報を生成する。マスターカメラ２１に隣接するサブカメラとは、具体的には、サブカメラ２２及びサブカメラ２３である。

【0055】

（ステップＳ２２）三次元情報処理装置１０は、生成されたカラー点群情報に基づき、合成点群を構成し、重複する点群データのマッチングを行う。具体的には、三次元情報処理装置１０は、マスターカメラ２１の点群データとサブカメラ２２の点群データとの重複部分を特定することによりマッチングを行う。また、三次元情報処理装置１０は、マスターカメラ２１の点群データとサブカメラ２３の点群データとの重複部分を特定することによりマッチングを行う。

【0056】

（ステップＳ２３）三次元情報処理装置１０は、重複部分を突合させた場合における最小拡大倍率を算出する。具体的には、三次元情報処理装置１０は、マスターカメラ２１の点群データとサブカメラ２２の点群データの重複部分を突合させた場合における最小拡大倍率を算出する。また、三次元情報処理装置１０は、マスターカメラ２１の点群データとサブカメラ２３の点群データの重複部分を突合させた場合における最小拡大倍率を算出する。

【0057】

（ステップＳ２４）三次元情報処理装置１０は、算出された縮小拡大倍率が所定の閾値以上であるか否かを判定する。最小拡大倍率が所定の閾値以上であるか否かとは、点群のずれが何点であるかであってもよい。具体的には、本実施形態において、サブカメラ２２側の縮小拡大倍率と、サブカメラ２３側の縮小拡大倍率とが算出されるため、三次元情報処理装置１０は、それぞれの縮小拡大倍率が所定の閾値以上であるか否かを判定する。三次元情報処理装置１０は、いずれかの縮小拡大倍率が所定の閾値以上である場合（すなわち、ステップＳ２４；ＹＥＳ）処理をステップＳ２５に進める。三次元情報処理装置１０は、いずれの縮小拡大倍率の所定の閾値より小さい場合（すなわち、ステップＳ２４；ＮＯ）処理をステップＳ２６に進める。

【0058】

（ステップＳ２５）三次元情報処理装置１０は、縮小拡大倍率が所定の閾値以上であったサブカメラのズーム位置（ズーム倍率）を制御する。

【0059】

（ステップＳ２６）三次元情報処理装置１０は、マスターカメラ２１に隣接する全てのサブカメラ（具体的には、サブカメラ２２及びサブカメラ２３）について、微調整を行った場合、すなわち縮小拡大倍率が閾値より小さいことを確認した場合（すなわち、ステップＳ２６；ＹＥＳ）、処理をステップＳ３１に進める。また、三次元情報処理装置１０は、マスターカメラ２１に隣接する全てのサブカメラ（具体的には、サブカメラ２２及びサブカメラ２３）について、微調整が完了していない場合、すなわちいずれかの縮小拡大倍率が閾値以上である場合（すなわち、ステップＳ２６；ＮＯ）、処理をステップＳ２１に戻し、微調整工程を繰り返す。

【0060】

（ステップＳ３１）三次元情報処理装置１０は、マスターカメラ２１に隣接しないサブカメラのカラー点群情報を生成する。マスターカメラ２１に隣接しないサブカメラとは、具体的には、サブカメラ２４である。

【0061】

（ステップＳ３２）三次元情報処理装置１０は、サブカメラ２４の一方に隣接するサブカメラであるサブカメラ２２との間で、ズーム補正位置を算出する。具体的には、三次元情報処理装置１０は、上述したステップＳ２２及びステップＳ２３と同様の処理を行うことにより、サブカメラ２２との間における縮小拡大倍率を算出する。

【0062】

（ステップＳ３３）三次元情報処理装置１０は、サブカメラ２４の他方に隣接するサブカメラであるサブカメラ２３との間で、ズーム補正位置を算出する。ステップＳ３２と同様に、三次元情報処理装置１０は、上述したステップＳ２２及びステップＳ２３と同様の処理を行うことにより、サブカメラ２３との間における縮小拡大倍率を算出する。

【0063】

（ステップＳ３４）三次元情報処理装置１０は、サブカメラ２４の両方にそれぞれ隣接するサブカメラ（ずなわち、サブカメラ２２及びサブカメラ２３）のズーム縮小拡大倍率の平均に基づいて、マスターカメラ２１に隣接しない特定のサブカメラ（すなわち、サブカメラ２４）のズーム位置（ズーム倍率）を制御する。

【0064】

なお、ステップＳ２１からステップＳ３４までの工程が、微調整工程に該当する。詳細には、ステップＳ２１からステップＳ２６までの工程が、マスターカメラ２１に隣接するサブカメラについての微調整工程に該当し、ステップＳ３１からステップＳ３４までの工程が、マスターカメラ２１に隣接しないサブカメラについての微調整工程に該当する。

【0065】

図８は、本実施形態の三次元情報処理装置１０の内部構成の一例を示すブロック図である。三次元情報処理装置１０の少なくとも一部の機能は、コンピュータを用いて実現され得る。図示するように、そのコンピュータは、中央処理装置９０１と、ＲＡＭ９０２と、入出力ポート９０３と、入出力デバイス９０４や９０５等と、バス９０６と、を含んで構成される。コンピュータ自体は、既存技術を用いて実現可能である。中央処理装置９０１は、ＲＡＭ９０２等から読み込んだプログラムに含まれる命令を実行する。中央処理装置９０１は、各命令にしたがって、ＲＡＭ９０２にデータを書き込んだり、ＲＡＭ９０２からデータを読み出したり、算術演算や論理演算を行ったりする。ＲＡＭ９０２は、データやプログラムを記憶する。ＲＡＭ９０２に含まれる各要素は、アドレスを持ち、アドレスを用いてアクセスされ得るものである。なお、ＲＡＭは、「ランダムアクセスメモリー」の略である。入出力ポート９０３は、中央処理装置９０１が外部の入出力デバイス等とデータのやり取りを行うためのポートである。入出力デバイス９０４や９０５は、入出力デバイスである。入出力デバイス９０４や９０５は、入出力ポート９０３を介して中央処理装置９０１との間でデータをやりとりする。バス９０６は、コンピュータ内部で使用される共通の通信路である。例えば、中央処理装置９０１は、バス９０６を介してＲＡＭ９０２のデータを読んだり書いたりする。また、例えば、中央処理装置９０１は、バス９０６を介して入出力ポートにアクセスする。

【0066】

［実施形態のまとめ］
以上説明した実施形態によれば、三次元情報処理装置１０は、第１取得部１１１を備えることによりマスターカメラ２１（第１点群データ取得装置）により第１のズーム倍率で取得した被写体の点群データである第１点群データを取得し、第２取得部１１２を備えることにより、サブカメラ２２（第２点群データ取得装置）により第２のズーム倍率で取得した被写体の点群データである第２点群データを取得する。ここで、マスターカメラ２１が第１点群データを取得する画角と、サブカメラ２２が第２点群データを取得する画角とは、少なくとも一部が互いに重なり合う。また、三次元情報処理装置１０は、特定部１２を備えることにより第１点群データに含まれる点群と第２点群データに含まれる点群のうち重複部分を特定し、算出部１３を備えることにより特定された重複部分を突合させた場合における第１点群データに対する第２点群データの縮小拡大倍率を算出し、判定部１４を備えることにより算出された縮小拡大倍率が所定の閾値より小さいか否かを判定する。すなわち、三次元情報処理装置１０によれば、複数の測距カメラによりそれぞれ得られた点群データを合成する際における一方の縮小拡大倍率が所定の閾値以上であるか否かを判定することができる。よって、三次元情報処理装置１０によれば、縮小拡大倍率が所定の閾値より小さい場合に合成を行うことにより、複数の測距カメラによりそれぞれ得られた三次元情報を好適に合成することができる。

【0067】

また、三次元情報処理装置１０によれば、二次元情報ではなく、三次元情報を用いて合成を行う。したがって、本実施形態によれば、より多くの情報を用いて合成することができるため、合成精度をあげることができる。

【0068】

また、上述した三次元情報処理装置１０によれば、ズーム倍率制御部１５を更に備えることにより、判定部１４により縮小拡大倍率が所定の閾値より大きいと判定された場合、サブカメラのズーム倍率を制御する制御信号を出力するしたがって、本実施形態によれば、縮小拡大倍率が所定の閾値より大きい場合には、ズーム位置を調整し、再度点群データを取得することができる。よって、三次元情報処理装置１０によれば、マスターカメラ２１と同様の解像度の情報をサブカメラでも取得することができ、複数の測距カメラによりそれぞれ得られた三次元情報を好適に合成することができる。

【0069】

また、上述した三次元情報処理装置１０によれば、ズーム倍率制御部１５は、マスターカメラ２１のズーム倍率を取得し、取得したズーム倍率に応じて、サブカメラのズーム倍率を制御する制御信号を出力する。すなわち、三次元情報処理装置１０は、微調整を行う前に、サブカメラのズーム倍率をマスターカメラ２１のズーム倍率に合わせる粗調整をおこなう。三次元情報処理装置１０によれば、点群データを合成する前に光学ズームによる粗調整を行うことで、合成する際の処理を軽減することができる。また、三次元情報処理装置１０によれば、粗調整を行うことで、デジタル合成の際の縮小率又は拡大率を小さく抑えることができるため、画質の劣化を最小限に抑止することができる。

【0070】

また、上述した三次元情報処理装置１０によれば、第３取得部１１３を更に備えることにより、サブカメラ２３（第３点群データ取得装置）により第３のズーム倍率で取得した被写体の点群データである第３点群データを取得する。マスターカメラ２１が第１点群データを取得する画角と、サブカメラ２３が第３点群データを取得する画角とは、少なくとも一部が互いに重なり合う。また、三次元情報処理装置１０は、第４取得部１１４を更に備えることにより、サブカメラ２４（第４点群データ取得装置）から第４点群データを取得する。マスターカメラ２１が第１点群データを取得する画角と、サブカメラ２４が第４点群データを取得する画角とは、互いに重なり合わない。また、三次元情報処理装置１０によれば、特定部１２は、第４点群データに含まれる点群と第２点群データに含まれる点群のうち重複部分を特定し、第４点群データに含まれる点群と第３点群データに含まれる点群のうち重複部分を特定する。すなわち、特定部１２は、マスターカメラ２１に隣接するサブカメラと、マスターカメラ２１に隣接しないサブカメラの重複部分を特定する。さらに、三次元情報処理装置１０によれば、算出部１３は、特定された重複部分を突合させた場合における第４点群データに対する第２点群データの縮小拡大倍率と、第４点群データに対する第３点群データの縮小拡大倍率とを算出する。ズーム倍率制御部１５は、第４点群データに対する第２点群データの縮小拡大倍率と、第４点群データに対する第３点群データの縮小拡大倍率とに基づき（例えば、平均値を採用することにより）、マスターカメラ２１に隣接しないサブカメラ２４のズーム倍率を制御する制御信号を出力する。すなわち、三次元情報処理装置１０は、マスターカメラ２１に隣接しないサブカメラ２４のズーム倍率を微調整するときは、マスターカメラ２１に隣接するサブカメラであって、マスターカメラ２１に隣接しないサブカメラ２４の両側のサブカメラに基づいて微調整を行う。したがって、三次元情報処理装置１０によれば、測距カメラの台数が増えて、マスターカメラ２１に隣接しないサブカメラが存在する場合であっても、誤差が蓄積されてアンバランスな三次元情報となることを抑止することができる。

【0071】

なお、上述した実施形態における三次元情報取得システム１が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

【0072】

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

【0073】

以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。また、上述した各実施形態を適宜組み合わせてもよい。

【符号の説明】

【0074】

１…三次元情報取得システム、１０…三次元情報処理装置、２１…マスターカメラ、２２…サブカメラ、２３…サブカメラ、２４…サブカメラ、１１１…第１取得部、１１２…第２取得部、１１３…第３取得部、１１４…第４取得部、１２…特定部、１３…算出部、１４…判定部、１５…ズーム倍率制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】