IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ザ・ボーイング・カンパニーの特許一覧

<>
  • 特許-内部センサによる相対測位 図1
  • 特許-内部センサによる相対測位 図2
  • 特許-内部センサによる相対測位 図3
  • 特許-内部センサによる相対測位 図4
  • 特許-内部センサによる相対測位 図5
  • 特許-内部センサによる相対測位 図6
  • 特許-内部センサによる相対測位 図7
  • 特許-内部センサによる相対測位 図8
  • 特許-内部センサによる相対測位 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-13
(45)【発行日】2022-07-22
(54)【発明の名称】内部センサによる相対測位
(51)【国際特許分類】
   G01B 11/24 20060101AFI20220714BHJP
【FI】
G01B11/24 A
【請求項の数】 15
【外国語出願】
(21)【出願番号】P 2017235625
(22)【出願日】2017-12-08
(65)【公開番号】P2018136304
(43)【公開日】2018-08-30
【審査請求日】2020-12-07
(31)【優先権主張番号】15/375,921
(32)【優先日】2016-12-12
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】500520743
【氏名又は名称】ザ・ボーイング・カンパニー
【氏名又は名称原語表記】The Boeing Company
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林特許業務法人
(72)【発明者】
【氏名】ハント, ジェフリー エイチ.
(72)【発明者】
【氏名】ヴァンダー ウェル, マイケル エム.
【審査官】櫻井 仁
(56)【参考文献】
【文献】特開2013-207344(JP,A)
【文献】特表2009-535612(JP,A)
【文献】米国特許出願公開第2016/0340016(US,A1)
【文献】特開2012-007972(JP,A)
【文献】特開2013-196355(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01B 11/00-11/30
G01C 1/00- 1/14
G01C 5/00-15/14
(57)【特許請求の範囲】
【請求項1】
相対位置情報を特定するためのシステム(100)であって、
三次元空間(300)内の相対位置データ(201)を特定するために、前記三次元空間(300)内の構造物(301)に装着された複数の測位デバイス(200)であって、各測位デバイス(202)が見通し線を有し、各測位デバイス(202)を介して特定された前記相対位置データ(201)が、前記測位デバイス(202)の見通し線上の他の測位デバイスの各々の、前記測位デバイス(202)に対する相対位置データを含む、複数の測位デバイス(200)と、
前記三次元空間(300)内の対象物(500)の画像データ(401)を取得するための、複数の撮像デバイス(400)と、
前記複数の測位デバイス(200)を介して特定された前記相対位置データ(201)と、前記複数の撮像デバイス(400)を介して取得された前記画像データ(401)とを相関させることによって、前記三次元空間(300)内の前記対象物(500)に対応する相対位置情報(503)を特定するよう設定された、演算デバイス(600)とを備え
前記複数の測位デバイス(200)の数が、前記複数の撮像デバイス(400)の数よりも多い 、システム(100)。
【請求項2】
前記複数の測位デバイス(200)の各測位デバイス(202)が、光撮像/検出/測距(LIDAR)デバイスである、請求項1に記載のシステム。
【請求項3】
記複数の撮像デバイス(400)の各撮像デバイス(402)は、前記撮像デバイス(402)が前記測位デバイス(202)に対して不可動になるように、前記複数の測位デバイス(200)の前記測位デバイス(202)のうちの1つに一体的に装着される、請求項1又は2に記載のシステム。
【請求項4】
前記複数の撮像デバイス(400)の各撮像デバイス(402)が、前記撮像デバイス(402)に装着された位置特定デバイス(403)を備え、各測位デバイス(202)を介して特定された前記相対位置データ(201)が、前記測位デバイス(202)の見通し線上の各位置特定デバイス(403)の、前記測位デバイス(202)に対する相対位置データを含む、請求項1から3のいずれか一項に記載のシステム。
【請求項5】
前記複数の撮像デバイス(400)を介して取得された前記対象物(500)の前記画像データ(401)が、前記対象物(500)の第1ターゲット点(501)及び前記対象物(500)の第2ターゲット点(502)の画像データを含み、前記対象物(500)に対応する特定された前記相対位置情報(503)は、前記第2ターゲット点(502)に対する前記第1ターゲット点(501)の相対位置情報を含む、請求項1から4のいずれか一項に記載のシステム。
【請求項6】
前記演算デバイス(600)は、前記複数の測位デバイス(200)のうちの所与の測位デバイス(203)の動きに基づいて、前記所与の測位デバイス(203)の前記見通し線上の他の測位デバイスの各々を介して、前記所与の測位デバイス(203)の前記他の測位デバイスに対する更新された相対位置データ(204)を特定するよう設定され、前記演算デバイス(600)は、前記更新された相対位置データ(204)と、前記複数の撮像デバイス(400)を介して取得された前記画像データ(401)とを相関させることによって、前記三次元空間(300)内の前記対象物(500)に対応する、更新された相対位置情報(504)を特定するよう更に設定される、請求項1から5のいずれか一項に記載のシステム。
【請求項7】
三次元空間(300)内の構造物(301)に装着された 複数の測位デバイス(200)を介して、前記三次元空間(300)内の相対位置データ(201)を特定することであって、各測位デバイス(202)が見通し線を有し、各測位デバイス(202)を介して特定された前記相対位置データ(201)が、前記測位デバイス(202)の見通し線上の他の測位デバイスの各々の、前記測位デバイス(202)に対する相対位置データを含む、特定することと、
複数の撮像デバイス(400)を介して、前記三次元空間(300)内の対象物(500)の画像データ(401)を取得することと、
前記複数の測位デバイス(200)を介して特定された前記相対位置データ(201)と、前記複数の撮像デバイス(400)を介して取得された前記画像データ(401)とを、演算デバイス(600)によって相関させることと、
前記複数の測位デバイス(200)を介して特定された前記相対位置データ(201)と、前記複数の撮像デバイス(400)を介して取得された前記画像データ(401)との前記相関に基づいて、前記三次元空間(300)内の前記対象物(500)に対応する相対位置情報(503)を、前記演算デバイス(600)によって特定することと
を含 む方法であって、
前記複数の測位デバイス(200)の数が、前記複数の撮像デバイス(400)の数よりも多い、方法
【請求項8】
前記複数の測位デバイス(200)の各測位デバイス(202)を介して、前記三次元空間(300)内の前記相対位置データ(201)を特定することが、前記測位デバイス(202)の見通し線上の各撮像デバイス(402)の、前記測位デバイス(202)に対する相対位置データを特定することを更に含む、請求項7に記載の方法。
【請求項9】
前記複数の撮像デバイス(400)の各撮像デバイス(402)を、前記撮像デバイス(402)が前記測位デバイス(202)に対して不可動になるように、前記複数の測位デバイス(200)の前記測位デバイス(202)のうちの1つに一体的に装着することを更に含む、請求項7又は8に記載の方法。
【請求項10】
前記複数の撮像デバイス(400)の各撮像デバイス(402)が、前記撮像デバイス(402)に装着された位置特定デバイス(403)を備え、各測位デバイス(202)を介して、前記三次元空間(300)内の前記相対位置データ(201)を特定することが、前記測位デバイス(202)の見通し線上の各位置特定デバイス(403)の、前記測位デバイス(202)に対する相対位置データを特定することを更に含む、請求項7から9のいずれか一項に記載の方法。
【請求項11】
前記複数の撮像デバイス(400)を介して取得された前記対象物(500)の前記画像データ(401)が、前記対象物(500)の第1ターゲット点(501)及び前記対象物(500)の第2ターゲット点(502)の画像データを含み、前記対象物(500)に対応する前記相対位置情報(503)を特定することが、前記第2ターゲット点(502)に対する前記第1ターゲット点(501)の相対位置情報を特定することを含む、請求項7から10のいずれか一項に記載の方法。
【請求項12】
前記複数の測位デバイス(200)の中の所与の測位デバイス(203)の動きに基づいて、前記所与の測位デバイス(203)の前記見通し線上の他の測位デバイスの各々を介して、前記所与の測位デバイス(203)の前記他の測位デバイスに対する更新された相対位置データ(204)を特定することと、
前記他の測位デバイスの各々を介して特定された前記更新された相対位置データ(204)と、前記複数の撮像デバイス(400)を介して取得された前記画像データ(401)とを相関させることと、
前記更新された相対位置データ(204)と、前記複数の撮像デバイス(400)によって取得された前記画像データ(401)との前記相関に基づいて、前記三次元空間(300)内の前記対象物(500)に対応する、更新された相対位置情報(504)を特定することとを更に含む、請求項7から11のいずれか一項に記載の方法。
【請求項13】
指令が格納されている非一過性コンピュータ可読媒体(601)であって、前記指令は、演算デバイス(600)によって実行されると、前記演算デバイス(600)に、
三次元空間(300)内の構造物(301)に装着された 複数の測位デバイス(200)を介して、前記三次元空間(300)内の相対位置データ(201)を特定することであって、各測位デバイス(202)が見通し線を有し、各測位デバイス(202)を介して特定された前記相対位置データ(201)が、前記測位デバイス(202)の見通し線上の他の測位デバイスの各々の、前記測位デバイス(202)に対する相対位置データを含む、特定することと、
複数の撮像デバイス(400)を介して、前記三次元空間(300)内の対象物(500)の画像データ(401)を取得することと、
前記複数の測位デバイス(200)を介して特定された前記相対位置データ(201)と、前記複数の撮像デバイス(400)を介して取得された前記画像データ(401)とを相関させることと、
前記複数の測位デバイス(200)を介して特定された前記相対位置データ(201)と、前記複数の撮像デバイス(400)を介して取得された前記画像データ(401)との前記相関に基づいて、前記三次元空間(300)内の前記対象物(500)に対応する相対位置情報(503)を特定することとを含む機能を実施させ
前記複数の測位デバイス(200)の数が、前記複数の撮像デバイス(400)の数よりも多い 、非一過性コンピュータ可読媒体(601)。
【請求項14】
前記複数の測位デバイス(200)の各測位デバイス(202)を介して、前記三次元空間(300)内の前記相対位置データ(201)を特定することが、各測位デバイス(202)を介して、前記測位デバイス(202)の見通し線上の各撮像デバイス(402)の、前記測位デバイス(202)に対する相対位置データを特定することを更に含み、
前記複数の撮像デバイス(400)の各撮像デバイス(402)が、前記撮像デバイス(402)に装着された位置特定デバイス(403)を備え、前記複数の測位デバイス(200)の各測位デバイス(202)を介して、前記三次元空間(300)内の前記相対位置データ(201)を特定することが、前記測位デバイス(202)の見通し線上の各位置特定デバイス(403)の、前記測位デバイス(202)に対する相対位置データを特定することを更に含む、請求項13に記載の非一過性コンピュータ可読媒体(601)。
【請求項15】
前記複数の撮像デバイス(400)を介して取得された前記対象物(500)の前記画像データ(401)が、前記対象物(500)の第1ターゲット点(501)及び前記対象物(500)の第2ターゲット点(502)の画像データを含み、前記対象物(500)に対応する前記相対位置情報(503)を特定することが、前記第2ターゲット点(502)に対する前記第1ターゲット点(501)の相対位置情報を特定することを含む、非一過性コンピュータ可読媒体(601)であって、
指令であって、前記演算デバイス(600)によって実行されると、前記演算デバイス(600)に、
前記複数の測位デバイス(200)の中の所与の測位デバイス(203)の動きに基づいて、前記所与の測位デバイス(203)の前記見通し線上の他の測位デバイスの各々を介して、前記所与の測位デバイス(203)の前記他の測位デバイスに対する更新された相対位置データ(204)を特定することと、
前記他の測位デバイスの各々を介して特定された前記更新された相対位置データ(204)と、前記複数の撮像デバイス(400)を介して取得された前記画像データ(401)とを相関させることと、
前記更新された相対位置データ(204)と、前記複数の撮像デバイス(400)によって取得された前記画像データ(401)との前記相関に基づいて、前記三次元空間(300)内の前記対象物(500)に対応する、更新された相対位置情報(504)を特定することとを含む機能を実行させる、指令を更に備える、請求項13又は14に記載の非一過性コンピュータ可読媒体(601)。
【発明の詳細な説明】
【背景技術】
【0001】
本開示は概して、三次元空間における測定及び位置特定のシステムに関する。
【0002】
現在、所与の空間においてカメラや他の撮像デバイスなどのセンサを複数使用して、この空間内のリアルタイムの状況認識及び測定データを提供するために、多くの労力が費やされている。通常、空間内にカメラを配置することにより、これらのカメラによって取得された画像データの測位情報(positioning information)を特定する基礎を提供するためには、決まった基準点又はベンチマークが使用される。
【0003】
しかし、一部の大規模工場環境では、工場自体の構造が、その中で取得される画像データ向けに信頼性の高い基準点を提供するのに十分なほど、静的なものではないことがある。例えば、温度変化は構造の熱膨張又は熱収縮の原因となりうる。一部の地点においては、潮の流れが、沿岸部にある建造物の中の構造物を動かしうる。強風及び他の気象関連条件も、同様の結果を有しうる。これらの影響のせいで、空間内に装着されているカメラは、空間内の選択されているどの基準点に対しても動きうる。このことは、カメラによって取得された画像データの揺れを引き起こすことがあり、この画像データから特定されるどの測位情報も不正確なものになりうる。更に、航空機に関連するツーリングプロセスや組み立てプロセスなどの一部の製造応用では、測定の許容誤差は極めて小さいものになりうる。したがって、使用されるどの計測システムも、それに準じて正確でなくてはならない。
【0004】
必要とされているのは、決まった基準点又はベンチマークを必要とせずに、三次元空間内の測位情報を特定しうるシステムである。
【発明の概要】
【0005】
一例では、三次元空間内の相対位置データを特定するための複数の測位デバイスを含む、相対位置情報を特定するためのシステムであって、各測位デバイスが見通し線を有し、各測位デバイスを介して特定された相対位置データが、測位デバイスに対する、その測位デバイスの見通し線上の他の測位デバイスの各々の相対位置データを含む、システムについて説明する。このシステムは、三次元空間内の対象物の画像データを取得するための複数の撮像デバイスと、複数の測位デバイスを介して特定された相対位置データと複数の撮像デバイスを介して取得された画像データとを相関させることにより、三次元空間内の対象物に対応する相対位置情報を特定するよう設定された演算デバイスとを、更に含む。
【0006】
別の例では、方法について説明する。この方法は、複数の測位デバイスを介して、三次元空間内の相対位置データを特定することであって、各測位デバイスが見通し線を有し、各測位デバイスを介して特定された相対位置データが、位置データに対する、その見通し線上の他の測位デバイスの各々の相対位置データを含む、特定することを含む。方法は、複数の撮像デバイスを介して、三次元空間内の対象物の画像データを取得することと、複数の測位デバイスを介して特定された相対位置データと複数の撮像デバイスを介して取得された画像データとを、演算デバイスによって相関させることも、含む。方法は、複数の測位デバイスを介して特定された相対位置データと複数の撮像デバイスを介して取得された画像データとの相関に基づいて、三次元空間内の対象物に対応する相対位置情報を、演算デバイスによって特定することも含む。
【0007】
更に別の例では、非一過性コンピュータ可読媒体について説明する。この非一過性コンピュータ可読媒体には指令が格納されており、この指令は、演算デバイスによって実行されると、演算デバイスに、複数の測位デバイスを介して、三次元空間内の相対位置データを特定することであって、各測位デバイスが見通し線を有し、各測位デバイスを介して特定された相対位置データが、測位デバイスに対する、その測位デバイスの見通し線上の他の測位デバイスの各々の相対位置データを含む、特定することを含む機能を、実施させる。指令は、複数の撮像デバイスを介して、三次元空間内の対象物の画像データを取得することと、複数の測位デバイスを介して特定された相対位置データと複数の撮像デバイスを介して取得された画像データとを相関させることも、含む。指令は、複数の測位デバイスを介して特定された相対位置データと複数の撮像デバイスを介して取得された画像データとの相関に基づいて、三次元空間内の対象物に対応する相対位置情報を特定することを、更に含む。
【0008】
前述の特徴、機能、及び利点は、様々な例において個別に実現可能であるか、又は、更に別の例において組み合わされうる。下記の説明及び図面を参照することで、これらの特徴、機能、及び利点の更なる詳細が理解されうる。
【0009】
実施例の特性と考えられる新規の特徴は、付随する特許請求の範囲に明記される。しかし、実施例と好ましい使用モード、及びそれらの更なる目的と説明は、添付図面と併せて後述の本開示の実施例の詳細説明を参照することにより、最もよく理解されよう。
【図面の簡単な説明】
【0010】
図1】例示的な一実行形態による、三次元空間において相対位置情報を特定するための例示的なシステムを示す。
図2】例示的な一実行形態による、三次元空間において相対位置情報を特定するための例示的なシステムの別の図を示す。
図3】例示的な一実行形態による、三次元空間において相対位置情報を特定するための別の例示的なシステムを示す。
図4】例示的な一実行形態による、三次元空間において相対位置情報を特定するための別の例示的なシステムを示す。
図5】例示的な一実行形態による、対象物の第1と第2のターゲットポイントを示す。
図6】例示的な一実行形態による、例示的な演算デバイスを示す。
図7】例示的な一実行形態による、通信フロー図を示す。
図8】例示的な一実行形態による、別の通信フロー図を示す。
図9】三次元空間内の相対位置情報を特定するための例示的な方法のフロー図を示す。
【発明を実施するための形態】
【0011】
これより、添付図面を参照しつつ、開示されている例について更に網羅的に説明するが、添付図面には、開示されている例の全部ではなく一部が示されている。実際には、いくつかの異なる例が説明されることがあるが、これらの例は、本書に明記されている例に限定されると解釈すべきではない。むしろ、この開示が包括的なものになり、かつ、本開示の範囲が当業者に十分に伝わるように、これらの例について説明している。
【0012】
本書に記載の例は、三次元空間内の相対位置情報を特定するためのシステムを含む。このシステムは、複数の測位デバイスであって、各々が、それ自体に対する、その測位デバイスの見通し線上にある他の測位デバイスの位置を特定する、複数の測位デバイスを含む。システムは、三次元空間内の対象物(例えば、倉庫や格納庫などの組み立て空間内の航空機構成要素)に対応する画像データを取得する、複数の撮像デバイスも含む。撮像デバイスは、測位デバイスとは別に、連結又は装着されうる。演算デバイスは、相対位置データと画像データとを相関させることにより、対象物に対応する相対位置情報を特定する。
【0013】
この構成では、システムは、三次元空間内で、測位デバイス又は撮像デバイスのいずれの絶対位置も特定しないこともある。システムはむしろ、これらのデバイスの互いに対する相対位置を特定する。環境的な原因又は他の原因に基づいて、デバイスのうちの1つが動くと、システムによって特定された相対位置は変化することになる。しかし、各デバイスに関して複数の測定値が存在すれば、システムの幾何学的配列は、数学的に過剰な制約を受ける。したがって、どのデバイスがどの程度動いたのかを、計算を介して特定することが可能になりうる。動きが計算され、究明されると、システムによって提供された測定値及び状況認識は、測位デバイス及び撮像デバイスの新たな相対位置に再校正され、再正規化され(re-normalized)うる。
【0014】
量又は測定値に関連する「約(about)」、「実質的に(substantially)」、又は「およそ(approximately)」という語は、記載されている特性、パラメータ、又は値が厳密に実現される必要はなく、その特性によりもたらされることが意図されていた効果を妨げない大きさの偏差又は変動(例えば、許容誤差、測定エラー、測定精度限界、及び当業者には既知である他の要因を含む)が発生しうることを、意味する。
【0015】
ここで図1を参照するに、相対位置情報を特定するためのシステム100が示されている。システム100は、三次元空間300内の相対位置データ201を特定するための、複数の測位デバイス200を含む。複数の測位デバイス200の各測位デバイス(例としては、個別に測位デバイス202と表される)は、光撮像/検出/測距(LIDAR)デバイスでありうる。したがって、各測位デバイス202は、レーザなどの光源と、フォトダイオードなどの、光を検出するためのセンサとを含みうる。二点間(point-to-point)測定値を取得することが可能な、他の測位デバイスも受け入れられる。
【0016】
図1に描かれている三次元空間300は、図1に示す航空機などの対象物500の製造及び組み立てに使用される、製造空間である。他の環境及び応用も、製造であれそれ以外であれ、受け入れられる。分かりやすくするために、図1の斜視図は、三次元空間300の側壁の一部分と後部壁のみを示している。しかし、複数の測位デバイス200は三次元空間全体を通じて分布してよく、その一部は図1に示されていない。
【0017】
図2は、上から見た、システム100の別の実行形態を示している。繰り返すが、三次元空間300は、図示されている航空機などの対象物500の製造及び組み立てに使用される製造空間である。ここでは、三次元空間300を取り囲んでいる複数の測位デバイス200が示されている。上述のように、図2の複数の測位デバイス200は、図示されているものよりも多くのデバイスを含みうる。例えば、測位デバイスは、図1に示しているように、三次元空間300全体を通じて種々の垂直方向高さに装着されうる。
【0018】
各測位デバイス202は、図1及び図2に示す外壁などの、三次元空間300内の構造物301に装着されうる。しかし、各測位デバイス202は、かかる場所に限定されるわけではない。測位デバイスは、天井又はフロアを含む、三次元空間300内の任意の数の中間位置に装着されうる。下記で詳述するように、システム100に含まれる測位装置の数は多くなりうる。例えば、複数の測位デバイス200は、20から100の測位デバイスを含みうる。
【0019】
三次元空間300において、各測位デバイス202は、その光源が照らしうる全てのものに相当する、見通し線を有しうる。各測位デバイスの見通し線は、そのデバイスが装着される様態又は場所によって、限定されうる。更に、製造空間内の障害物により、かかる障害物がなければ測位デバイスの見通し線上にあったはずの領域が、覆い隠されうる。例えば、対象物500は、対象物500の両側の測位デバイスの、互いの見通し線を遮るのに十分なほど、大きなものでありうる。
【0020】
各測位デバイス202を介して特定された相対位置データ201は、測位デバイス202に対する、測位デバイス202の見通し線上の他の測位デバイスの各々の相対位置データを含みうる。例えば、複数の測位デバイスが30のLIDARデバイスを含む場合の所与のシステム100において、各測位デバイス202は、他のデバイスのうちのいくつかはその測位デバイス特有の見通し線上にはないと仮定すると、他の25のLIDARデバイスの相対位置を測定しうる。逆に、他の25のLIDARデバイスは各々、それ自体に対する、測位デバイス202の相対位置を測定しうる。他の測位デバイスの各々についても、同様のデータが特定されうる。
【0021】
システム100は、たとえ特定のための基礎となる絶対基準点がなくとも、各測位デバイス202の相対位置を過剰に特定したことの原因を、一又は複数の測位デバイスが動いたことに帰する。例えば、上述したように、温度、気候、及び潮汐効果などの環境要因が、三次元空間300の形状の変化を引き起こすことがあり、このことは次いで、図1に示す所与の測位デバイス203の動きを引き起こしうる。場合によっては、上述の環境効果は、1を上回る数の測位デバイスの動きを引き起こしうる。このことは、相対位置データ201における累積変化をもたらすことがあり、この累積変化は、測位デバイスの数が比較的少ない場合には、受け入れることが困難なことがある。しかし、測位デバイスが多数あり、結果として得られる相対位置データ201の冗長性が膨大になることにより、システム100は、どの測位デバイス(複数可)がどの程度動いたのかを特定することが可能になりうる。
【0022】
例えば、システム100は、各測位デバイス202を、他のデバイスに対して、(x、y、z)座標で位置付けうる。測位デバイスのうちの一又は複数が動くと、システムは、測位デバイス同士の相互関係に基づき、一又は複数のアルゴリズムを利用して、どの測位デバイスがデータセットの残りの部分と不整合な相対位置データを取得しているのかを、特定しうる。更に、動いた所与の測位デバイス203を識別した後に、システム100は、特定された不整合に基づいてそれがどのくらい動いたのかを特定しうる。
【0023】
システム100は、三次元空間300内の対象物500の画像データ401を取得するための、複数の撮像デバイス400も含む。複数の撮像デバイス400の各撮像デバイス(例としては、個別に撮像デバイス402と表される)は、カメラでありうる。レーザ撮像システムなどの他の撮像デバイスも受け入れられる。
【0024】
画像データ401は、取得された後に、対象物500に関する測定データ及び他のリアルタイム情報を取得するために、様々な画像処理技術を使用して処理されうる。しかし、複数の撮像デバイス400のうちの一又は複数の撮像デバイスが動くと、取得された画像データ401を介して特定された測定値は、不正確なものになりうる。上述のように、温度、気候、及び潮汐効果などの環境要因は、三次元空間300の形状の変化を引き起こし、測定エラーの原因となりうる。例えば、所与の撮像デバイスの以前の位置に基づく測定値は、以後の測定値と不整合になりうる。
【0025】
したがって、システム100は、複数の測位デバイス200を介して特定された相対位置データ201と複数の撮像デバイス400を介して取得された画像データ401とを相関させることによって、三次元空間300内の対象物500に対応する相対位置情報503を特定するよう設定された、図6に示す演算デバイスなどの演算デバイス600を含みうる。このデータ通信の図が図7に示されており、これについて下記で詳述する。
【0026】
演算デバイス600は、いくつかの方法で相対位置データ201と画像データ401とを相関させうる。例えば、演算デバイス600は、各測位デバイス202を介して、複数の撮像デバイス400の各撮像デバイス402の相対位置データを特定しうる。一部の実行形態では、図1及び図2に示しているように、複数の撮像デバイス400の各撮像デバイス402は、撮像デバイス402が測位デバイス202に対して不可動になるように、測位デバイス202のうちの1つに一体的に装着されうる。この構成では、各測位デバイス202を介して特定された撮像デバイス402の相対位置は、撮像デバイス402が装着されている測位デバイスと同じになる(又は、撮像デバイスのレンズと、共装着された測位デバイスのフォトダイオードとの間の距離を鑑みても、事実上同じになる)。
【0027】
図1及び図2に関して、システム100は、あらゆる測位デバイス202に対して撮像デバイス402を含むわけではないことがある。通常、対象物500に関する所望の測定データ及び他の情報を取得するのに必要な撮像デバイスの数は、対象物500のサイズ及び形状によって決まりうる。その一方で、測位デバイスの数は、正確な測定値を取得するのに必要な冗長性の程度に基づきうる。
【0028】
図3は、複数の撮像デバイス400の各撮像デバイス402が、撮像デバイス402に装着された位置特定(location)デバイス403を含む、別の例示的な実行形態を示している。位置特定デバイス403は、例えばレトロリフレクタでありうる。これにより、各測位デバイス202の光を放出した光源が、元の測位デバイス202の対応するフォトダイオードに反映されうる。結果として、各測位デバイス202を介して特定された相対位置データ201は、測位デバイス202に対する、測位デバイス202の見通し線上の各位置特定デバイス403の相対位置データを含むことになる。
【0029】
図4は、複数の撮像デバイス400が複数の測位デバイス200から離されている、更に別の例示的な実行形態を示している。更に、撮像デバイスは、図3に示すようないかなる追加の位置特定デバイス403も含まず、ゆえに、複数の測位デバイス200は各撮像デバイスの相対位置データを取得しない可能性がある。それでもなお、演算デバイス600は、三次元空間300内で複数の撮像デバイス400を位置特定しうる。例えば、複数の測位デバイス200を介して特定される相対位置データ201から、任意座標系が確立されうる。
【0030】
この場合、複数の撮像デバイス400は、複数の測位デバイス200と物理的に一緒にされている(in physical registry with)わけではない。換言すると、一部の応用では、複数の測位デバイス200と複数の撮像デバイス400とが位置的に共配置の幾何学的配列にされるのが都合がよいこともあるが、システム100に必要なのは、これらのデバイスが、情報に関して互いと一緒にされることだけである。例えば、演算デバイス600が、複数の測位デバイス200と複数の撮像デバイス400との間で位置特定信号を促進し、調整しうる。かかる例においては、複数の撮像デバイス400には、情報に関して複数の測位デバイス200からの信号に接触することだけが必要になる。したがって、複数の撮像デバイス400は、対象となっている応用にふさわしい任意の所望のアレイに位置付けられうる。複数の撮像デバイス400が複数の測位デバイス200と共配置されている実行形態においても、これらのデバイスはやはり、一部の被送信信号を介して、情報に関して接続されうる。
【0031】
図6は、一又は複数のプロセッサ602によって実行可能な指令を格納するよう設定された非一過性のコンピュータ可読媒体601を含みうる、例示的な演算デバイス600を示している。例えば、非一過性のコンピュータ可読媒体601は、特定の機能を実現するためにプロセッサ(複数可)602によって実行可能な一又は複数のソフトウェア構成要素604が搭載されうる、データ記憶装置でありうる。所望の情報を抽出するために、取得された画像データ401は画像処理構成要素(複数可)606によって処理されうる。場合によっては、画像処理構成要素(複数可)は、プロセッサ(複数可)602のサブコンポーネントでありうる。
【0032】
演算デバイス600は、演算デバイス600への相対位置データ201及び画像データ401の通信を促進しうる、有線又は無線でありうるネットワークインターフェース603も含みうる。これに関して、演算デバイス600は、必ずしも単一のデバイスによって具現化されるわけではない可能性がある。演算デバイス600は、ネットワーク化されたコンピュータやサーバなどの一又は複数のローカルデバイスを含みうるか、又は、クラウドベースのサーバやサーバのグループなどの一又は複数の遠隔デバイスで構成されうる。演算デバイス600は、ローカルデバイスと遠隔デバイスとの組み合わせであることもある。
【0033】
最後に、演算デバイス600は、コマンドを入力し、相対位置データ201と画像データとを相互作用させ、又は、対象物500に関する相対位置情報503を出力するための、ユーザインターフェース605を含みうる。
【0034】
演算デバイス600によって特定された相対位置情報は、いくつかの形態をとりうる。例えば、複数の撮像デバイス400を介して取得された画像データ401は、対象物500の第1ターゲット点501及び対象物500の第2ターゲット点502の画像データを含みうる。対象物500全体のうちの胴体部505の一区域を示している一例を、図5に示す。第1ターゲット点501は、胴体部505のこの区域の左上の角に対応する。同様に、第2ターゲット点502は、胴体部505のこの区域の右上の角に対応する。この例では、対象物500に対応する特定された相対位置情報503は、第2ターゲット点502に対する第1ターゲット点501の相対位置情報を含みうる。これにより、胴体部505のこの区域の幅の測定値が得られる。相対位置情報503は、他の情報も含んでよく、対象物500に関する任意の数値計測又は数値測定の照会に使用されうる。
【0035】
更に、演算デバイスは、測位デバイと撮像デバイスの一方の動きに基づいて、相対位置情報503を更新しうる。例えば、演算デバイス600は、図1図3、及び図4に示している所与の測位デバイス203の動きに基づいて、所与の測位デバイス203の見通し線上の他の測位デバイスの各々を介して、所与の測位デバイス203の他の測位デバイスに対する更新された相対位置データ204を特定するよう設定されうる。演算デバイス600は、上述のように、更新された相対位置データ204と画像データ401とを相関させることによって、三次元空間300内の対象物500に対応する、更新された相対位置情報504を特定するよう更に設定されうる。
【0036】
図7は、例示的な一実行形態による通信フロー図を示している。演算デバイス600は、複数の測位デバイス200から相対位置データ201を受信し、かつ、複数の撮像デバイス400から画像データ401を受信する。演算デバイス600は、これらのデータを相関させることによって、対象物500に対応する相対位置情報503を特定する。上述のように、相対位置情報503はユーザインターフェース605に出力されうる。他の例では、相対位置情報503は更なる処理に使用されうる。それ以外の例も存在する。
【0037】
図8は、類似の通信フロー図を示しており、測位デバイスのうちの一又は複数が動いた時に発生しうる更新を反映している。詳細には、演算デバイス600は、複数の測位デバイス200から更新された相対位置データ204を受信する。このデータが画像データ401と相関していることにより、演算デバイス600は、対象物500に対応する、更新された相対位置情報504を特定する。更に、図8に示す例では、代替的か追加的のいずれかで、図1に描かれているように撮像デバイスのうちの1つも動きうることも、想定されるこの場合、演算デバイス600は、複数の撮像デバイス400から更新された画像データを受信し、それにしたがって、更新された相対位置情報を特定することになる。
【0038】
図9は、例示的な一実行形態による、三次元空間内の相対位置情報を特定するための例示的な方法900のフロー図を示している。図9に示す方法900は、例えば、図1から図8に示され、かつ本書で説明されているシステム100と共に使用されることが可能な、方法の一例を提示している。本書で開示されているこのプロセス及び方法、並びに他のプロセス及び方法について、フロー図にはこれらの例の許容可能な一実行形態の機能性及び工程が示されていることを、理解すべきである。これに関して、フロー図の各ブロックは、プロセスにおける特定の論理機能又は論理ステップを実装するためにプロセッサによって実行可能な一又は複数の指令を含む、プログラムコードのモジュール、セグメント、又は一部分を表わしうる。代替的な実行形態は本開示の例の範囲に含まれる。本開示の例においては、当業者が理解しうるように、機能が、関連する機能性に応じて、図示又は説明されている順序とは違う順序で実行されうる(実質的に同時に、又は逆順で実行されることを含む)。
【0039】
ブロック902において、方法900は、複数の測位デバイス200を介して、三次元空間300内の相対位置データ201を特定することを含む。各測位デバイス(例としては、個別に測位デバイス202と表される)は、上述のように、見通し線を有しうる。更に、各測位デバイス202を介して特定された相対位置データ201は、測位デバイス202に対する、測位デバイス202の見通し線上の他の測位デバイスの各々の相対位置データを含む。
【0040】
上述のように、本書に記載の実行形態は、測定の冗長性を提供するために、比較的多くの数の測位デバイスを伴いうる。ゆえに、三次元空間300内の相対位置データ201を特定することは、20から100の測位デバイスを介して、三次元空間300内の相対位置データ201を特定することを伴いうる。
【0041】
ブロック904において、方法900は、複数の撮像デバイス400を介して、三次元空間300内の対象物500の画像データ401を取得することを含む。一部の例では、図1から図3に示す実行形態に図示し、かつ上述したように、各測位デバイス202を介して相対位置データ201を特定することは、測位デバイス202に対する、測位デバイス202の見通し線上の各撮像デバイス402の相対位置データを特定することを含みうる。
【0042】
各撮像デバイス402の相対位置データは、様々な方法で特定されうる。例えば、方法900は、複数の撮像デバイス400の各撮像デバイス402を、撮像デバイス402が測位デバイス202に対して不可動になるように、測位デバイス202のうちの1つに一体的に装着することを含みうる。
【0043】
別の実行形態では、各撮像デバイス402は、上記で詳述したように、撮像デバイス402に装着された位置特定デバイス403を含みうる。この場合、各測位デバイス202を介して相対位置データ201を特定することは、測位デバイス202に対する、測位デバイス202の見通し線上の各位置特定デバイス403の相対位置データを特定することを含む。
【0044】
ブロック906において、方法900は、複数の測位デバイス200を介して特定された相対位置データ201と複数の撮像デバイス400を介して取得された画像データ401とを、演算デバイス600によって相関させることを含む。
【0045】
ブロック908において、方法900は、複数の測位デバイスを介して特定された相対位置データと複数の撮像デバイスを介して取得された画像データとの相関に基づいて、三次元空間内の対象物に対応する相対位置情報を、演算デバイスによって特定することを含む。
【0046】
上述し、かつ図5に示したように、複数の撮像デバイス400を介して取得された画像データ401は、対象物500の第1ターゲット点501及び対象物500の第2ターゲット点502の画像データを含みうる。更に、対象物500に対応する相対位置情報503を特定することは、第2ターゲット点502に対する第1ターゲット点501の相対位置情報を特定することを含みうる。
【0047】
更に、方法900は、複数の測位デバイス200の中の所与の測位デバイス203の動きに基づいて、所与の測位デバイス203の見通し線上の他の測位デバイスの各々を介して、所与の測位デバイス203の他の測位デバイスに対する更新された相対位置データ204を特定することを、含みうる。加えて、上述したように、方法は、他の測位デバイスの各々を介して特定された、更新された相対位置データ204と、複数の撮像デバイス400を介して取得された画像データ401とを、相関させることと、更新された相対位置データ204と画像データ401との相関に基づいて、三次元空間300内の対象物500に対応する、更新された相対位置情報504を特定することとを、含みうる。
【0048】
更に、本開示は以下の条項による例を含む。
【0049】
条項1.相対位置情報を特定するためのシステム(100)であって、
三次元空間(300)内の相対位置データ(201)を特定するための、複数の測位デバイス(200)であって、各測位デバイス(202)が見通し線を有し、各測位デバイス(202)を介して特定された相対位置データ(201)が、測位デバイス(202)の見通し線上の他の測位デバイスの各々の、測位デバイス(202)に対する相対位置データを含む、複数の測位デバイス(200)と、
三次元空間(300)内の対象物(500)の画像データ(401)を取得するための、複数の撮像デバイス(400)と、
複数の測位デバイス(200)を介して特定された相対位置データ(201)と、複数の撮像デバイス(400)を介して取得された画像データ(401)とを相関させることによって、三次元空間(300)内の対象物(500)に対応する相対位置情報(503)を特定するよう設定された、演算デバイス(600)とを備える、システム(100)。
【0050】
条項2.複数の測位デバイス(200)の各測位デバイス(202)が、光撮像/検出/測距(LIDAR)デバイスである、条項1に記載のシステム。
【0051】
条項3.複数の測位デバイス(200)の各測位デバイス(202)が、三次元空間(300)内の構造物(301)に装着され、複数の撮像デバイス(400)の各撮像デバイス(402)は、撮像デバイス(402)が測位デバイス(202)に対して不可動になるように、複数の測位デバイス(200)の測位デバイス(202)のうちの1つに一体的に装着される、条項1に記載のシステム。
【0052】
条項4.複数の撮像デバイス(400)の各撮像デバイス(402)が、撮像デバイス(402)に装着された位置特定デバイス(403)を備え、各測位デバイス(202)を介して特定された相対位置データ(201)が、測位デバイス(202)の見通し線上の各位置特定デバイス(403)の、測位デバイス(202)に対する相対位置データを含む、条項1に記載のシステム。
【0053】
条項5.複数の撮像デバイス(400)を介して取得された対象物(500)の画像データ(401)が、対象物(500)の第1ターゲット点(501)及び対象物(500)の第2ターゲット点(502)の画像データを含み、対象物(500)に対応する特定された相対位置情報(503)は、第2ターゲット点(502)に対する第1ターゲット点(501)の相対位置情報を含む、条項1に記載のシステム。
【0054】
条項6.複数の測位デバイス(200)は20から100の測位デバイスを含む、条項1に記載のシステム。
【0055】
条項7.演算デバイス(600)は、複数の測位デバイス(200)のうちの所与の測位デバイス(203)の動きに基づいて、所与の測位デバイス(203)の見通し線上の他の測位デバイスの各々を介して、所与の測位デバイス(203)の他の測位デバイスに対する更新された相対位置データ(204)を特定するよう設定され、演算デバイス(600)は、更新された相対位置データ(204)と、複数の撮像デバイス(400)を介して取得された画像データ(401)とを相関させることによって、三次元空間(300)内の対象物(500)に対応する、更新された相対位置情報(504)を特定するよう更に設定される、条項1に記載のシステム。
【0056】
条項8.複数の測位デバイス(200)を介して、三次元空間(300)内の相対位置データ(201)を特定することであって、各測位デバイス(202)が見通し線を有し、各測位デバイス(202)を介して特定された相対位置データ(201)が、測位デバイス(202)の見通し線上の他の測位デバイスの各々の、測位デバイス(202)に対する相対位置データを含む、特定することと、
複数の撮像デバイス(400)を介して、三次元空間(300)内の対象物(500)の画像データ(401)を取得することと、
複数の測位デバイス(200)を介して特定された相対位置データ(201)と、複数の撮像デバイス(400)を介して取得された画像データ(401)とを、演算デバイス(600)によって相関させることと、
複数の測位デバイス(200)を介して特定された相対位置データ(201)と、複数の撮像デバイス(400)を介して取得された画像データ(401)との相関に基づいて、三次元空間(300)内の対象物(500)に対応する相対位置情報(503)を、演算デバイス(600)によって特定することとを含む、方法。
【0057】
条項9.複数の測位デバイス(200)の各測位デバイス(202)を介して、三次元空間(300)内の相対位置データ(201)を特定することが、測位デバイス(202)の見通し線上の各撮像デバイス(402)の、測位デバイス(202)に対する相対位置データを特定することを更に含む、条項8に記載の方法。
【0058】
条項10.複数の撮像デバイス(400)の各撮像デバイス(402)を、撮像デバイス(402)が測位デバイス(202)に対して不可動になるように、複数の測位デバイス(200)の測位デバイス(202)のうちの1つに一体的に装着することを更に含む、条項8に記載の方法。
【0059】
条項11.複数の撮像デバイス(400)の各撮像デバイス(402)が、撮像デバイス(402)に装着された位置特定デバイス(403)を備え、各測位デバイス(202)を介して、三次元空間(300)内の相対位置データ(201)を特定することが、測位デバイス(202)の見通し線上の各位置特定デバイス(403)の、測位デバイス(202)に対する相対位置データを特定することを更に含む、条項8に記載の方法。
【0060】
条項12.複数の撮像デバイス(400)を介して取得された対象物(500)の画像データ(401)が、対象物(500)の第1ターゲット点(501)及び対象物(500)の第2ターゲット点(502)の画像データを含み、対象物(500)に対応する相対位置情報(503)を特定することが、第2ターゲット点(502)に対する第1ターゲット点(501)の相対位置情報を特定することを含む、条項8に記載の方法。
【0061】
条項13.複数の測位デバイス(200)を介して、三次元空間(300)内の相対位置データ(201)を特定することが、20から100の測位デバイス(202)を介して、三次元空間(300)内の相対位置データ(201)を特定することを含む、条項8に記載の方法。
【0062】
条項14.複数の測位デバイス(200)の中の所与の測位デバイス(203)の動きに基づいて、所与の測位デバイス(203)の見通し線上の他の測位デバイスの各々を介して、所与の測位デバイス(203)の他の測位デバイスに対する更新された相対位置データ(204)を特定することと、
他の測位デバイスの各々を介して特定された、更新された相対位置データ(204)と、複数の撮像デバイス(400)を介して取得された画像データ(401)とを、相関させることと、
更新された相対位置データ(204)と、複数の撮像デバイス(400)によって取得された画像データ(401)との相関に基づいて、三次元空間(300)内の対象物(500)に対応する、更新された相対位置情報(504)を特定することとを更に含む、条項8に記載の方法。
【0063】
条項15.指令が格納されている非一過性コンピュータ可読媒体(601)であって、指令は、演算デバイス(600)によって実行されると、演算デバイス(600)に、
複数の測位デバイス(200)を介して、三次元空間(300)内の相対位置データ(201)を特定することであって、各測位デバイス(202)が見通し線を有し、各測位デバイス(202)を介して特定された相対位置データ(201)が、測位デバイス(202)の見通し線上の他の測位デバイスの各々の、測位デバイス(202)に対する相対位置データを含む、特定することと、
複数の撮像デバイス(400)を介して、三次元空間(300)内の対象物(500)の画像データ(401)を取得することと、
複数の測位デバイス(200)を介して特定された相対位置データ(201)と、複数の撮像デバイス(400)を介して取得された画像データ(401)とを相関させることと、
複数の測位デバイス(200)を介して特定された相対位置データ(201)と、複数の撮像デバイス(400)を介して取得された画像データ(401)との相関に基づいて、三次元空間(300)内の対象物(500)に対応する相対位置情報(503)を特定することとを含む機能を実施させる、非一過性コンピュータ可読媒体(601)。
【0064】
条項16.複数の測位デバイス(200)の各測位デバイス(202)を介して、三次元空間(300)内の相対位置データ(201)を特定することが、各測位デバイス(202)を介して、測位デバイス(202)の見通し線上の各撮像デバイス(402)の、測位デバイス(202)に対する相対位置データを特定することを更に含む、条項15に記載の非一過性コンピュータ可読媒体(601)。
【0065】
条項17.複数の撮像デバイス(400)の各撮像デバイス(402)が、撮像デバイス(402)に装着された位置特定デバイス(403)を備え、複数の測位デバイス(200)の各測位デバイス(202)を介して、三次元空間(300)内の相対位置データ(201)を特定することが、測位デバイス(202)の見通し線上の各位置特定デバイス(403)の、測位デバイス(202)に対する相対位置データを特定することを更に含む、条項15に記載の非一過性コンピュータ可読媒体(601)。
【0066】
条項18.複数の撮像デバイス(400)を介して取得された対象物(500)の画像データ(401)が、対象物(500)の第1ターゲット点(501)及び対象物(500)の第2ターゲット点(502)の画像データを含み、対象物(500)に対応する相対位置情報(503)を特定することが、第2ターゲット点(502)に対する第1ターゲット点(501)の相対位置情報を特定することを含む、条項15に記載の非一過性コンピュータ可読媒体(601)。
【0067】
条項19.複数の測位デバイス(200)を介して、三次元空間(300)内の相対位置データ(201)を特定することが、20から100の測位デバイス(202)に、三次元空間(300)内の相対位置データ(201)を特定させることを含む、条項15に記載の非一過性コンピュータ可読媒体(601)。
【0068】
条項20.指令であって、演算デバイス(600)によって実行されると、演算デバイス(600)に、
複数の測位デバイス(200)の中の所与の測位デバイス(203)の動きに基づいて、所与の測位デバイス(203)の見通し線上の他の測位デバイスの各々を介して、所与の測位デバイス(203)の他の測位デバイスに対する更新された相対位置データ(204)を特定することと、
他の測位デバイスの各々を介して特定された、更新された相対位置データ(204)と、複数の撮像デバイス(400)を介して取得された画像データ(401)とを、相関させることと、
更新された相対位置データ(204)と、複数の撮像デバイス(400)によって取得された画像データ(401)との相関に基づいて、三次元空間(300)内の対象物(500)に対応する、更新された相対位置情報(504)を特定することとを含む機能を実施させる、指令を更に備える、条項15に記載の非一過性コンピュータ可読媒体(601)。
【0069】
種々の有利な構成の説明は、例示及び説明を目的として提示されており、網羅的であること、または開示された形態の例に限定されることを意図するものではない。当業者には、多くの修正例及び変形例が自明となろう。更に、種々の有利な例は、他の有利な例と比べて異なる利点を表現しうる。選択された一又は複数の例は、かかる例の原理と実践的応用を解説するため、及び、他の当業者が、想定される特定の用途に適した様々な修正例を伴う様々な例の開示内容について理解することを可能にするために、選ばれ、説明されている。
図1
図2
図3
図4
図5
図6
図7
図8
図9