(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-05
(45)【発行日】2024-11-13
(54)【発明の名称】撮影条件決定方法、撮影条件決定システム、撮影条件決定装置、及びプログラム
(51)【国際特許分類】
G01S 7/497 20060101AFI20241106BHJP
G01S 17/86 20200101ALI20241106BHJP
G01S 17/89 20200101ALI20241106BHJP
【FI】
G01S7/497
G01S17/86
G01S17/89
(21)【出願番号】P 2023522017
(86)(22)【出願日】2021-05-17
(86)【国際出願番号】 JP2021018636
(87)【国際公開番号】W WO2022244069
(87)【国際公開日】2022-11-24
【審査請求日】2023-11-10
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【氏名又は名称】家入 健
(72)【発明者】
【氏名】安倍 次朗
(72)【発明者】
【氏名】小野 善将
【審査官】梶田 真也
(56)【参考文献】
【文献】特開2019-100856(JP,A)
【文献】国際公開第2013/111229(WO,A1)
【文献】特開2020-193820(JP,A)
【文献】特表2010-540933(JP,A)
【文献】特開2010-175423(JP,A)
【文献】特開2011-180022(JP,A)
【文献】特開2017-032280(JP,A)
【文献】特開2006-242943(JP,A)
【文献】特開2019-078746(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/48 - 7/51
G01S 17/00 - 17/95
G01B 11/00 - 11/30
G01C 3/00 - 3/32
G06T 1/00 - 1/40
G06T 3/00 - 9/40
G06T 11/60 - 13/80
G06T 17/05
G06T 19/00 - 19/20
H04N 5/222- 5/257
(57)【特許請求の範囲】
【請求項1】
撮影条件決定装置が行う撮影条件決定方法であって、
物体の位置を表現する基準データを保持する第1ステップと、
前記基準データ上での対象物の位置を表現する指示オブジェクトを保持する第2ステップと、
前記基準データ及び前記指示オブジェクトに基づいて、前記対象物を撮影するLiDAR(Light Detection And Ranging)の撮影条件を決定する第3ステップと、
前記撮影条件を出力する第4ステップと、を含
み、
前記第3ステップでは、
前記指示オブジェクトまでの距離又は入射角度に基づいて、撮影領域を算出し、
前記撮影領域の中から、前記撮影条件として、撮影位置を決定し、
前記撮影位置から前記指示オブジェクトまでの方向ベクトルに基づいて、前記撮影条件として、撮影姿勢を決定する、
撮影条件決定方法。
【請求項2】
前記第4ステップでは、前記LiDAR及びカメラのうち少なくとも前記LiDARを含む撮影装置を用いて前記基準データを取得する撮影制御部に対し、前記撮影条件を出力し、
前記撮影制御部は、前記撮影条件に基づいて、前記撮影装置の状態を変える、
請求項1に記載の撮影条件決定方法。
【請求項3】
前記第3ステップでは、
前記基準データの特定の位置から、前記指示オブジェクトの中心への、方向ベクトルを算出し、
前記方向ベクトルに基づいて、前記撮影条件として、前記撮影装置の現在の姿勢から撮影姿勢までの変位を決定する、
請求項
2に記載の撮影条件決定方法。
【請求項4】
前記第3ステップでは、
前記対象物が物体で遮られない領域で、かつ、物理的に撮影可能な領域である撮影領域を算出するか、又は、前記指示オブジェクトまでの距離又は入射角度に基づいて、撮影領域を算出し、
前記撮影領域の中から、前記撮影装置の現在位置との位置関係に基づいて、撮影位置を決定し、
前記撮影条件として、前記撮影装置の現在位置から前記撮影位置までの経路を決定する、
請求項
2に記載の撮影条件決定方法。
【請求項5】
物体の位置を表現する基準データを保持する基準データ保持部と、
前記基準データ上での対象物の位置を表現する指示オブジェクトを保持する指示オブジェクト保持部と、
前記基準データ及び前記指示オブジェクトに基づいて、前記対象物を撮影するLiDAR(Light Detection And Ranging)の撮影条件を決定する撮影条件決定部と、
前記撮影条件を出力する撮影条件出力部と、を備え
、
前記撮影条件決定部は、
前記指示オブジェクトまでの距離又は入射角度に基づいて、撮影領域を算出し、
前記撮影領域の中から、前記撮影条件として、撮影位置を決定し、
前記撮影位置から前記指示オブジェクトまでの方向ベクトルに基づいて、前記撮影条件として、撮影姿勢を決定する、
撮影条件決定システム。
【請求項6】
物体の位置を表現する基準データを保持する基準データ保持部と、
前記基準データ上での対象物の位置を表現する指示オブジェクトを保持する指示オブジェクト保持部と、
前記基準データ及び前記指示オブジェクトに基づいて、前記対象物を撮影するLiDAR(Light Detection And Ranging)の撮影条件を決定する撮影条件決定部と、
前記撮影条件を出力する撮影条件出力部と、を備え
、
前記撮影条件決定部は、
前記指示オブジェクトまでの距離又は入射角度に基づいて、撮影領域を算出し、
前記撮影領域の中から、前記撮影条件として、撮影位置を決定し、
前記撮影位置から前記指示オブジェクトまでの方向ベクトルに基づいて、前記撮影条件として、撮影姿勢を決定する、
撮影条件決定装置。
【請求項7】
コンピュータに、
物体の位置を表現する基準データを保持する第1手順と、
前記基準データ上での対象物の位置を表現する指示オブジェクトを保持する第2手順と、
前記基準データ及び前記指示オブジェクトに基づいて、前記対象物を撮影するLiDAR(Light Detection And Ranging)の撮影条件を決定する第3手順と、
前記撮影条件を出力する第4手順と、
を実行させるためのプログラム
であって、
前記第3手順では、
前記指示オブジェクトまでの距離又は入射角度に基づいて、撮影領域を算出し、
前記撮影領域の中から、前記撮影条件として、撮影位置を決定し、
前記撮影位置から前記指示オブジェクトまでの方向ベクトルに基づいて、前記撮影条件として、撮影姿勢を決定する、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、撮影条件決定方法、撮影条件決定システム、撮影条件決定装置、及びコンピュータ可読媒体に関する。
【背景技術】
【0002】
LiDAR(Light Detection And Ranging)は、撮影現場を撮影し、撮影現場に存在する対象物までの距離を測定することで、その対象物の形状を測定することが可能な技術である。LiDARによる対象物までの距離を測定する方式としては、例えば、ToF(Time of Flight)方式が挙げられる。LiDARは、広範囲にわたって、対象物の形状を測定できるため、施設の点検等に利用されている。
【0003】
詳細には、LiDARは、撮影現場の撮影時に、撮影現場に存在する対象物に対して光を照射することにより、対象物までの距離及び対象物の形状を測定する。このとき、LiDARは、LiDARにより測定された対象物上の測定点の3次元座標の集合である点群データ(Point Cloud Data)を取得する。
【0004】
点群データを用いて、施設の点検を行う関連技術としては、例えば、特許文献1に開示された技術が挙げられる。特許文献1に開示された技術においては、施設内の部位のうち、変更された変更部位を検出するために、点群データを用いる。詳細には、まず、レーザスキャナ等である3次元計測器により疎点群データを取得する。次に、予め記憶されている3次元詳細データと、取得された疎点群データと、を位置合わせする。次に、対象空間領域のうち、疎点群データが存在する空間を判定対象空間とし、判定対象空間での3次元詳細データと疎点群データの相違量を算出する。次に、相違量の算出結果に基づいて、3次元詳細データから変更された変更部位を検出する。その後、3次元計測器を判定対象空間内で移動させて、上記と同様に、疎点群データの取得及び変更部位の検出を行う。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、LiDARにより取得される点群データには、対象物上の測定点の3次元座標のデータの他に、測定点の反射輝度(測定点での反射光の強度)のデータも含まれる。しかし、LiDARにより取得される点群データは、LiDARの撮影条件(例えば、撮影位置、撮影姿勢等)に依存する。
【0007】
例えば、LiDARにより取得される点群データに含まれる反射輝度のデータは、LiDARと対象物との位置関係(例えば、距離、入射角度等)に依存する。
また、LiDARが点群データを取得できる範囲は、光の直線性に起因して、LiDARと遮蔽物との位置関係に依存する。
また、LiDARにより取得される点群データの一定画角に含まれる内容は、LiDARの撮影位置や撮影姿勢に依存する。
【0008】
そのため、LiDARにより対象物を適切に撮影するためには、LiDARの適切な撮影条件を決定する必要がある。
しかし、特許文献1に開示された技術は、施設内の変更部位を検出するために、3次元計測器を判定対象空間内で移動させる技術である。そのため、特許文献1には、対象物を適切に撮影するための適切な撮影条件の決定方法については何ら開示されていない。
【0009】
そこで本開示の目的は、上記の課題を解決し、LiDARの適切な撮影条件を決定することができる撮影条件決定方法、撮影条件決定システム、撮影条件決定装置、及びコンピュータ可読媒体を提供することにある。
【課題を解決するための手段】
【0010】
一態様による撮影条件決定方法は、
撮影条件決定装置が行う撮影条件決定方法であって、
物体の位置を表現する基準データを保持する第1ステップと、
前記基準データ上での対象物の位置を表現する指示オブジェクトを保持する第2ステップと、
前記基準データ及び前記指示オブジェクトに基づいて、前記対象物を撮影するLiDAR(Light Detection And Ranging)の撮影条件を決定する第3ステップと、
前記撮影条件を出力する第4ステップと、を含む。
【0011】
一態様による撮影条件決定システムは、
物体の位置を表現する基準データを保持する基準データ保持部と、
前記基準データ上での対象物の位置を表現する指示オブジェクトを保持する指示オブジェクト保持部と、
前記基準データ及び前記指示オブジェクトに基づいて、前記対象物を撮影するLiDAR(Light Detection And Ranging)の撮影条件を決定する撮影条件決定部と、
前記撮影条件を出力する撮影条件出力部と、を備える。
【0012】
一態様による撮影条件決定装置は、
物体の位置を表現する基準データを保持する基準データ保持部と、
前記基準データ上での対象物の位置を表現する指示オブジェクトを保持する指示オブジェクト保持部と、
前記基準データ及び前記指示オブジェクトに基づいて、前記対象物を撮影するLiDAR(Light Detection And Ranging)の撮影条件を決定する撮影条件決定部と、
前記撮影条件を出力する撮影条件出力部と、を備える。
【0013】
一態様によるコンピュータ可読媒体は、
コンピュータに、
物体の位置を表現する基準データを保持する第1手順と、
前記基準データ上での対象物の位置を表現する指示オブジェクトを保持する第2手順と、
前記基準データ及び前記指示オブジェクトに基づいて、前記対象物を撮影するLiDAR(Light Detection And Ranging)の撮影条件を決定する第3手順と、
前記撮影条件を出力する第4手順と、
を実行させるためのプログラムが格納される。
【発明の効果】
【0014】
上記の態様によれば、LiDARの適切な撮影条件を決定することができる撮影条件決定方法、撮影条件決定システム、撮影条件決定装置、及びコンピュータ可読媒体を提供することができるという効果が得られる。
【図面の簡単な説明】
【0015】
【
図1】実施の形態1に係る撮影条件決定システムの構成例を示す図である。
【
図2】実施の形態1に係る撮影条件決定部による撮影条件の決定方法A1の例を示す図である。
【
図3】実施の形態1に係る撮影条件決定部による撮影条件の決定方法A2の例を示す図である。
【
図4】実施の形態1に係る撮影条件決定システムの全体動作の流れの例を示すフロー図である。
【
図5】実施の形態2に係る撮影条件決定システムの構成例を示す図である。
【
図6】実施の形態2に係る撮影条件決定部による撮影条件の決定方法B1の例を示す図である。
【
図7】実施の形態2に係る撮影条件決定部による撮影条件の決定方法B2の例を示す図である。
【
図8】実施の形態2に係る撮影条件決定部による撮影条件の決定方法B3の例を示す図である。
【
図11】実施の形態2に係る撮影条件決定システムの全体動作の流れの例を示すフロー図である。
【
図12】他の実施の形態に係る撮影条件決定装置の構成例を示す図である。
【
図13】他の実施の形態に係る撮影条件決定装置を実現するコンピュータのハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【0016】
以下、図面を参照して本開示の実施の形態について説明する。なお、以下の記載及び図面は、説明の明確化のため、適宜、省略及び簡略化がなされている。また、以下の各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
【0017】
<実施の形態1>
まず、
図1を参照して、本実施の形態1に係る撮影条件決定システム100の構成例について説明する。
【0018】
図1に示されるように、本実施の形態1に係る撮影条件決定システム100は、基準データ保持部101、指示オブジェクト保持部102、撮影条件決定部103、及び、撮影条件出力部104を備えており、LiDAR(不図示)の適切な撮影条件を決定するためのシステムである。
【0019】
基準データ保持部101は、基準データを保持する。
基準データは、撮影現場における物体の位置を表現するデータである。例えば、基準データは、上記のLiDARにより取得された点群データ、カメラ(不図示)により取得された画像データ、又は、設計図等である。
【0020】
指示オブジェクト保持部102は、指示オブジェクトを保持する。
指示オブジェクトは、基準データ上でのLiDARによる撮影の対象物の位置を表現する情報である。例えば、指示オブジェクトは、基準データ上の対象物に含まれる点、基準データ上の対象物と共通領域を持つ領域等である。
【0021】
また、指示オブジェクトは、ユーザが指定することが可能である。ただし、対象物が基準データ上で特有の性質を表している場合には、指示オブジェクトを、ユーザ指定ではなく、自動的な処理によって決定することが可能である。例えば、指示オブジェクト保持部102は、色や形状特徴量(曲率)が所定の範囲内である部分を指示オブジェクトに設定する、という設定条件を予め保持していても良い。そして、指示オブジェクト保持部102は、基準データ上の部分の中から、設定条件に定められた部分を検索し、発見された部分を指示オブジェクトに決定し保持しても良い。又は、指示オブジェクト保持部102は、ある物体を指示オブジェクトに設定する、という設定条件を予め保持していても良い。そして、指示オブジェクト保持部102は、パターンマッチング等の物体検索技術を用いて、基準データ上の物体の中から、設定条件に定められた物体を検索し、発見された物体を指示オブジェクトに決定し保持しても良い。
【0022】
撮影条件決定部103は、基準データ及び指示オブジェクトに基づいて、指示オブジェクトが表す対象物を撮影するための、LiDARの撮影条件を決定する。
撮影条件は、LiDARが対象物を撮影する条件である。例えば、撮影条件は、撮影位置、撮影姿勢、撮影視野角、撮影解像度等である。
なお、撮影条件決定部103による撮影条件の決定方法の具体例については後述する。
【0023】
撮影条件出力部104は、撮影条件決定部103により決定された撮影条件を、ユーザ又は外部手段に出力する。
撮影条件の出力方法は、特に限定は無いが、ユーザ又は外部手段による効率的なLiDARの撮影を補助するものであれば好適である。
【0024】
例えば、撮影条件出力部104は、撮影条件に基づいて、基準データの一部を強調して表示しても良い。例えば、撮影条件が撮影位置であれば、撮影条件出力部104は、基準データ上の撮影位置に相当する位置を、マーキング等により強調表示しても良い。
又は、撮影条件出力部104は、基準データ上に撮影条件に基づく撮影時のイメージ図を表示しても良い。
又は、撮影条件出力部104は、撮影条件から推測される撮影結果を画面表示しても良い。
【0025】
ここで、本実施の形態1に係る撮影条件決定部103による撮影条件の決定方法の具体例について説明する。以下で説明する例は、撮影条件として、撮影位置及び撮影姿勢を決定する例である。
【0026】
(A1)決定方法A1
まず、
図2を参照して、本実施の形態1に係る撮影条件決定部103による撮影条件の決定方法A1について説明する。なお、
図2は、撮影現場を上方から見た平面図を示している(後述する
図3も同様)。
【0027】
図2に示されるように、決定方法A1では、まず、撮影条件決定部103は、指示オブジェクトが表現する対象物を撮影可能な撮影領域を算出する。対象物を撮影可能な撮影領域とは、対象物が物体で遮られない領域で、かつ、物理的に撮影可能な領域等である。例えば、LiDARが、物体の上に設置された状態では、撮影が不可能である場合には、物体の上を除いた領域が、物理的に撮影可能な領域となる。
【0028】
次に、撮影条件決定部103は、上記で算出された撮影領域の中から撮影位置を決定する。
その後、撮影条件決定部103は、上記で決定された撮影位置から指示オブジェクトまでの方向ベクトルに基づいて、撮影姿勢を決定する。
【0029】
(A2)決定方法A2
続いて、
図3を参照して、本実施の形態1に係る撮影条件決定部103による撮影条件の決定方法A2について説明する。
【0030】
図3に示されるように、決定方法A2では、まず、撮影条件決定部103は、指示オブジェクトまでの距離又は入射角度に基づいて、適切な撮影領域を算出する。
以降は、撮影条件決定部103は、上記の決定方法A1と同様に、撮影位置及び撮影姿勢を決定する。
すなわち、撮影条件決定部103は、上記で算出された撮影領域の中から撮影位置を決定し、決定された撮影位置から指示オブジェクトまでの方向ベクトルに基づいて、撮影姿勢を決定する。
【0031】
続いて、
図4を参照して、本実施の形態1に係る撮影条件決定システム100の全体動作の流れの例について説明する。
【0032】
図4に示されるように、まず、基準データ保持部101は、基準データを保持し、指示オブジェクト保持部102は、指示オブジェクトを保持する(ステップS101)。このとき、基準データ保持部101は、ユーザに指定された基準データを保持する。一方、指示オブジェクト保持部102は、ユーザに指定された指示オブジェクトを保持するか、又は、自動的な処理によって決定された指示オブジェクトを保持する。
【0033】
次に、撮影条件決定部103は、基準データ及び指示オブジェクトに基づいて、指示オブジェクトが表す対象物を撮影するための、LiDARの撮影条件を決定する(ステップS102)。
その後、撮影条件出力部104は、撮影条件決定部103により決定された撮影条件を、ユーザ又は外部手段に出力する(ステップS103)。
【0034】
上述したように本実施の形態1によれば、基準データ保持部101は、物体の位置を表現する基準データを保持し、指示オブジェクト保持部102は、基準データ上での対象物の位置を表現する指示オブジェクトを保持する。また、撮影条件決定部103は、基準データ及び指示オブジェクトに基づいて、指示オブジェクトが表現する対象物を撮影するLiDARの撮影条件を決定し、撮影条件出力部104は、決定された撮影条件を出力する。これにより、LiDARの適切な撮影条件を決定することができる。
【0035】
<実施の形態2>
続いて、
図5を参照して、本実施の形態2に係る撮影条件決定システム100Aの構成例について説明する。
図5に示されるように、本実施の形態2に係る撮影条件決定システム100Aは、上記の実施の形態1の構成と比較して、撮影制御部105が追加されている点が異なる。
【0036】
撮影制御部105は、撮影装置(不図示)と共に撮影現場に配置され、撮影現場において、撮影装置を用いて基準データを取得する。撮影装置は、LiDAR及びカメラのうち少なくともLiDARを含む装置、又は、その装置を搭載した自律移動ロボットである。そのため、本実施の形態2においては、基準データは、撮影装置により取得されたデータとなり、その結果、設計図等は除外される。
【0037】
撮影条件決定部103は、上記の実施の形態1と同様に、LiDARの撮影条件を決定する。ここで、LiDARの撮影条件を決定することは、撮影装置の撮影条件を決定することを意味する。そのため、以下では、撮影条件決定部103は、撮影装置の撮影条件を決定するものとして説明する。
【0038】
撮影条件出力部104は、撮影制御部105との通信を介して、撮影制御部105に対して撮影条件を出力する。この場合、撮影条件は、撮影装置に作用させる、現在の位置から撮影位置までの経路であっても良い。又は、撮影条件は、撮影装置に作用させる、現在の姿勢から撮影姿勢までの変位(仰角及び方位角)であっても良い。
【0039】
撮影制御部105は、撮影条件出力部104から出力された撮影条件に基づいて、撮影装置の状態、すなわち、LiDARの状態を変える。例えば、撮影装置がカメラをさらに含む場合には、撮影装置の状態を変えることにより、カメラの状態も変わることになる。
【0040】
ここで、本実施の形態2に係る撮影条件決定部103による撮影条件の決定方法の具体例について説明する。
【0041】
(B1)決定方法B1
まず、
図6を参照して、本実施の形態2に係る撮影条件決定部103による撮影条件の決定方法B1について説明する。決定方法B1は、撮影条件として、現在の姿勢から撮影姿勢までの変位を決定する例である。なお、決定方法B1は、撮影位置は固定されていることを前提とする。
【0042】
図6に示されるように、決定方法B1では、撮影条件決定部103は、基準データ上での指示オブジェクトが、撮影姿勢の変更によって特定の位置(例えば、中心)に変更されるよう、撮影姿勢の変位を決定する。
【0043】
図6の例では、撮影条件決定部103は、基準データの中心から、指示オブジェクトの中心への、方向ベクトルを算出し、算出された方向ベクトルに基づいて、撮影装置に作用させる撮影姿勢の変位(仰角及び方位角)を決定する。
【0044】
(B2)決定方法B2
次に、
図7を参照して、本実施の形態2に係る撮影条件決定部103による撮影条件の決定方法B2について説明する。決定方法B2は、撮影条件として、現在の位置から撮影位置までの経路を決定する例である。なお、
図7は、撮影現場を上方から見た平面図を示している。
【0045】
図7に示されるように、決定方法B1では、まず、撮影条件決定部103は、上記の実施の形態1の決定方法A2(
図3)と同様の方法で、適切な撮影領域を算出する。
次に、撮影条件決定部103は、基準データ上での撮影装置の現在位置を特定する。
【0046】
次に、撮影条件決定部103は
、上記で算出された撮影領域の中から、撮影装置の現在位置との位置関係(例えば、到達までの経路長)に基づいて、撮影位置を決定する。
その後、撮影条件決定部103は、現在位置から、決定された撮影位置までの経路を、決定する。また、撮影条件決定部103は、上記の実施の形態1の決定方法A2(
図3)と同様の方法で、撮影姿勢を決定しても良い。
【0047】
なお、
図7では、撮影条件決定部103は、撮影領域を算出するに際して、上記の実施の形態1の決定方法A2(
図3)と同様の方法を用いているが、これには限定されない。撮影条件決定部103は、上記の実施の形態1の決定方法A1(
図2)と同様の方法を用いて、撮影領域を算出しても良い。
【0048】
(B3)決定方法B3
次に、
図8~
図10を参照して、本実施の形態2に係る撮影条件決定部103による撮影条件の決定方法B3について説明する。
【0049】
図8に示されるように、決定方法B3では、基準データが、カメラにより取得された画像データ(
図9を参照)と、LiDARにより取得された点群データ(
図10を参照)と、が重畳されたデータであることを前提とする。そのため、決定方法B3では、撮影装置も、LiDAR及びカメラの双方を含む装置、又は、その装置を搭載した自律移動ロボットであることが前提となる。
【0050】
図8の例では、指示オブジェクトが、点群データ上にはなく、画像データ上にある。この場合、撮影条件決定部103は、例えば、上記の決定方法B1(
図6)と同様の方法を用いて、撮影姿勢を決定する。
【0051】
一方、図示していないが、指示オブジェクトが、点群データのいずれかの1点上にあったとする。この場合、撮影条件決定部103は、例えば、上記の決定方法B2(
図7)と同様の方法を用いて、現在位置から撮影位置までの経路を決定すると共に、撮影姿勢を決定しても良い。
【0052】
ただし、指示オブジェクトが、点群データ上にはなく、画像データ上にある場合でも、撮影条件決定部103は、以下の方法を用いて、現在位置から撮影位置までの経路及び撮影姿勢を決定することができる。すなわち、撮影条件決定部103は、画像データ上で指示オブジェクトを含む物体をクラスタリングにより特定し、特定された物体を点群データ上で表す点を取得する。そして、撮影条件決定部103は、取得された点を指示オブジェクトと見做して、経路及び撮影姿勢を決定する。
【0053】
また、指示オブジェクトが、点群データ上にはなく、画像データ上にある場合でも、指示オブジェクトと見做すことが可能な点を取得できるため、必ずしも点群データを表示する必要は無い。そのため、撮影条件出力部104は、基準データが画像データと点群データとが重畳されたデータである場合でも、画像データのみを表示しても良い。そして、撮影条件決定部103は、画像データ上でタッチされた位置を指示オブジェクトと判断して、上記の動作を行えば良い。
【0054】
続いて、
図11を参照して、本実施の形態2に係る撮影条件決定システム100Aの全体動作の流れの例について説明する。
【0055】
図11に示されるように、まず、撮影制御部105は、撮影装置を用いて基準データを取得し、基準データ保持部101は、撮影制御部105により取得された基準データを保持する(ステップS201)。また、指示オブジェクト保持部102は、指示オブジェクトを保持する(ステップS202)。このとき、指示オブジェクト保持部102は、ユーザに指定された指示オブジェクトを保持するか、又は、自動的な処理によって決定された指示オブジェクトを保持する。
【0056】
次に、撮影条件決定部103は、基準データ及び指示オブジェクトに基づいて、指示オブジェクトが表す対象物を撮影するための、撮影装置の撮影条件を決定する(ステップS203)。
【0057】
次に、撮影条件出力部104は、撮影条件決定部103により決定された撮影条件を、撮影制御部105に出力する(ステップS204)。
その後、撮影制御部105は、撮影条件出力部104から出力された撮影条件に基づいて、撮影装置の状態を変える(ステップS205)。
【0058】
上述したように本実施の形態2によれば、撮影条件出力部104は、LiDARを少なくとも含む撮影装置を用いて、基準データを取得する撮影制御部105に対し、撮影条件を出力する。撮影制御部105は、撮影条件に基づいて、撮影装置の状態を変える。これにより、例えば、撮影装置が遠隔地にあっても、撮影装置の状態を補正することができる。その他の効果は、上記の実施の形態1と同様である。
【0059】
<他の実施の形態>
上記の実施の形態1,2では、基準データ保持部101、指示オブジェクト保持部102、撮影条件決定部103、及び、撮影条件出力部104は、それぞれ別々に設けられているように図示されているが、これらの構成要素は、1つの装置(撮影条件決定装置)の内部に集約して設けられても良い。
【0060】
そこで続いて、
図12を参照して、他の実施の形態に係る撮影条件決定装置200の構成について説明する。
図12に示されるように、他の実施の形態に係る撮影条件決定装置200は、基準データ保持部101、指示オブジェクト保持部102、撮影条件決定部103、及び、撮影条件出力部104を備えている。なお、これらの構成要素の動作については、上記の実施の形態1,2で説明した動作と同様であるため、説明を省略する。
【0061】
<他の実施の形態に係る撮影条件決定装置のハードウェア構成>
続いて、
図13を参照して、上記の他の実施の形態に係る撮影条件決定装置200を実現するコンピュータ300のハードウェア構成について説明する。
【0062】
図13に示されるように、コンピュータ300は、プロセッサ301、メモリ302、ストレージ303、入出力インタフェース(入出力I/F)304、及び通信インタフェース(通信I/F)305等を備える。プロセッサ301、メモリ302、ストレージ303、入出力インタフェース304、及び通信インタフェース305は、相互にデータを送受信するためのデータ伝送路で接続されている。
【0063】
プロセッサ301は、例えばCPU(Central Processing Unit)やGPU(Graphics Processing Unit)等の演算処理装置である。メモリ302は、例えばRAM(Random Access Memory)やROM(Read Only Memory)等のメモリである。ストレージ303は、例えばHDD(Hard Disk Drive)、SSD(Solid State Drive)、またはメモリカード等の記憶装置である。また、ストレージ303は、RAMやROM等のメモリであっても良い。
【0064】
ストレージ303には、プログラムが記憶される。このプログラムは、コンピュータに読み込まれた場合に、上記の実施の形態で説明された1又はそれ以上の機能をコンピュータに行わせるための命令群(又はソフトウェアコード)を含む。上記の撮影条件決定装置200における撮影条件決定部103及び撮影条件出力部104は、プロセッサ301がストレージ303に記憶されたプログラムを読み込んで実行することにより実現されても良い。また、上記の撮影条件決定装置200における基準データ保持部101及び指示オブジェクト保持部102は、メモリ302又はストレージ303により実現されても良い。
【0065】
また、上記のプログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されても良い。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、RAM、ROM、フラッシュメモリ、SSD又はその他のメモリ技術、CD(Compact Disc)-ROM、DVD(Digital Versatile Disc)、Blu-ray(登録商標)ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されても良い。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、又はその他の形式の伝搬信号を含む。
【0066】
入出力インタフェース304は、表示装置3041、入力装置3042、音出力装置3043等と接続される。表示装置3041は、LCD(Liquid Crystal Display)、CRT(Cathode Ray Tube)ディスプレイ、モニターのような、プロセッサ301により処理された描画データに対応する画面を表示する装置である。入力装置3042は、オペレータの操作入力を受け付ける装置であり、例えば、キーボード、マウス、及びタッチセンサ等である。表示装置3041及び入力装置3042は一体化され、タッチパネルとして実現されていても良い。音出力装置3043は、スピーカのような、プロセッサ301により処理された音響データに対応する音を音響出力する装置である。
【0067】
通信インタフェース305は、外部の装置との間でデータを送受信する。例えば、通信インタフェース305は、有線通信路または無線通信路を介して外部装置と通信する。
【0068】
以上、実施の形態を参照して本開示を説明したが、本開示は上記の実施の形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。
【0069】
また、上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
撮影条件決定装置が行う撮影条件決定方法であって、
物体の位置を表現する基準データを保持する第1ステップと、
前記基準データ上での対象物の位置を表現する指示オブジェクトを保持する第2ステップと、
前記基準データ及び前記指示オブジェクトに基づいて、前記対象物を撮影するLiDAR(Light Detection And Ranging)の撮影条件を決定する第3ステップと、
前記撮影条件を出力する第4ステップと、を含む、
撮影条件決定方法。
(付記2)
前記第3ステップでは、
前記対象物が物体で遮られない領域で、かつ、物理的に撮影可能な領域である撮影領域を算出し、
前記撮影領域の中から、前記撮影条件として、撮影位置を決定し、
前記撮影位置から前記指示オブジェクトまでの方向ベクトルに基づいて、前記撮影条件として、撮影姿勢を決定する、
付記1に記載の撮影条件決定方法。
(付記3)
前記第3ステップでは、
前記指示オブジェクトまでの距離又は入射角度に基づいて、撮影領域を算出し、
前記撮影領域の中から、前記撮影条件として、撮影位置を決定し、
前記撮影位置から前記指示オブジェクトまでの方向ベクトルに基づいて、前記撮影条件として、撮影姿勢を決定する、
付記1に記載の撮影条件決定方法。
(付記4)
前記第4ステップでは、前記LiDAR及びカメラのうち少なくとも前記LiDARを含む撮影装置を用いて前記基準データを取得する撮影制御部に対し、前記撮影条件を出力し、
前記撮影制御部は、前記撮影条件に基づいて、前記撮影装置の状態を変える、
付記1に記載の撮影条件決定方法。
(付記5)
前記第3ステップでは、
前記基準データの特定の位置から、前記指示オブジェクトの中心への、方向ベクトルを算出し、
前記方向ベクトルに基づいて、前記撮影条件として、前記撮影装置の現在の姿勢から撮影姿勢までの変位を決定する、
付記4に記載の撮影条件決定方法。
(付記6)
前記第3ステップでは、
前記対象物が物体で遮られない領域で、かつ、物理的に撮影可能な領域である撮影領域を算出するか、又は、前記指示オブジェクトまでの距離又は入射角度に基づいて、撮影領域を算出し、
前記撮影領域の中から、前記撮影装置の現在位置との位置関係に基づいて、撮影位置を決定し、
前記撮影条件として、前記撮影装置の現在位置から前記撮影位置までの経路を決定する、
付記4に記載の撮影条件決定方法。
(付記7)
前記第3ステップでは、
前記撮影位置から前記指示オブジェクトまでの方向ベクトルに基づいて、前記撮影条件として、撮影姿勢を決定する、
付記6に記載の撮影条件決定方法。
(付記8)
前記撮影装置は、前記LiDAR及び前記カメラの双方を含み、
前記基準データは、前記LiDARにより取得された点群データと、前記カメラにより取得された画像データと、が重畳されたデータであり、
前記第3ステップでは、
前記指示オブジェクトが、前記点群データ上にはなく、前記画像データ上にある場合、前記撮影条件として、前記撮影装置の現在の姿勢から撮影姿勢までの変位を決定し、
前記指示オブジェクトが、前記点群データのいずれかの1点上にある場合、前記撮影条件として、前記撮影装置の現在位置から撮影位置までの経路及び撮影姿勢を決定する、
付記4に記載の撮影条件決定方法。
(付記9)
前記撮影装置は、前記LiDAR及び前記カメラの双方を含み、
前記基準データは、前記LiDARにより取得された点群データと、前記カメラにより取得された画像データと、が重畳されたデータであり、
前記第3ステップでは、
前記指示オブジェクトが、前記点群データ上にはなく、前記画像データ上にある場合、
前記画像データ上で前記指示オブジェクトを含む物体をクラスタリングにより特定し、
特定された物体を前記点群データ上で表す点を取得し、
取得された点を前記指示オブジェクトと見做し、
前記撮影条件として、前記撮影装置の現在位置から撮影位置までの経路及び撮影姿勢を決定する、
付記4に記載の撮影条件決定方法。
(付記10)
前記第3ステップでは、
前記撮影条件として、前記撮影装置の現在の姿勢から撮影姿勢までの変位を決定する場合、
前記基準データの特定の位置から、前記指示オブジェクトの中心への、方向ベクトルを算出し、
前記方向ベクトルに基づいて、前記撮影装置の現在の姿勢から撮影姿勢までの変位を決定する、
付記8又は9に記載の撮影条件決定方法。
(付記11)
前記第3ステップでは、
前記撮影条件として、前記撮影装置の現在位置から撮影位置までの経路及び撮影姿勢を決定する場合、
前記対象物が物体で遮られない領域で、かつ、物理的に撮影可能な領域である撮影領域を算出するか、又は、前記指示オブジェクトまでの距離又は入射角度に基づいて、撮影領域を算出し、
前記撮影領域の中から、前記撮影装置の現在位置との位置関係に基づいて、撮影位置を決定し、
前記撮影装置の現在位置から前記撮影位置までの経路を決定し、
前記撮影位置から前記指示オブジェクトまでの方向ベクトルに基づいて、撮影姿勢を決定する、
付記8又は9に記載の撮影条件決定方法。
(付記12)
物体の位置を表現する基準データを保持する基準データ保持部と、
前記基準データ上での対象物の位置を表現する指示オブジェクトを保持する指示オブジェクト保持部と、
前記基準データ及び前記指示オブジェクトに基づいて、前記対象物を撮影するLiDAR(Light Detection And Ranging)の撮影条件を決定する撮影条件決定部と、
前記撮影条件を出力する撮影条件出力部と、を備える、
撮影条件決定システム。
(付記13)
前記LiDAR及びカメラのうち少なくとも前記LiDARを含む撮影装置を用いて前記基準データを取得する撮影制御部をさらに備え、
前記撮影条件出力部は、前記撮影制御部に対し、前記撮影条件を出力し、
前記撮影制御部は、前記撮影条件に基づいて、前記撮影装置の状態を変える、
付記12に記載の撮影条件決定システム。
(付記14)
物体の位置を表現する基準データを保持する基準データ保持部と、
前記基準データ上での対象物の位置を表現する指示オブジェクトを保持する指示オブジェクト保持部と、
前記基準データ及び前記指示オブジェクトに基づいて、前記対象物を撮影するLiDAR(Light Detection And Ranging)の撮影条件を決定する撮影条件決定部と、
前記撮影条件を出力する撮影条件出力部と、を備える、
撮影条件決定装置。
(付記15)
前記撮影条件出力部は、前記LiDAR及びカメラのうち少なくとも前記LiDARを含む撮影装置を用いて前記基準データを取得する撮影制御部に対し、前記撮影条件を出力し、
前記撮影制御部は、前記撮影条件に基づいて、前記撮影装置の状態を変える、
付記14に記載の撮影条件決定装置。
(付記16)
コンピュータに、
物体の位置を表現する基準データを保持する第1手順と、
前記基準データ上での対象物の位置を表現する指示オブジェクトを保持する第2手順と、
前記基準データ及び前記指示オブジェクトに基づいて、前記対象物を撮影するLiDAR(Light Detection And Ranging)の撮影条件を決定する第3手順と、
前記撮影条件を出力する第4手順と、
を実行させるためのプログラムが格納された非一時的なコンピュータ可読媒体。
【符号の説明】
【0070】
100,100A 撮影条件決定システム
101 基準データ保持部
102 指示オブジェクト保持部
103 撮影条件決定部
104 撮影条件出力部
105 撮影制御部
200 撮影条件決定装置
300 コンピュータ
301 プロセッサ
302 メモリ
303 ストレージ
304 入出力インタフェース
3041 表示装置
3042 入力装置
3043 音出力装置
305 通信インタフェース