(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024008901
(43)【公開日】2024-01-19
(54)【発明の名称】3次元データ生成システム、3次元データ生成方法、及びマーカーメジャー
(51)【国際特許分類】
G01B 11/00 20060101AFI20240112BHJP
G06T 7/50 20170101ALI20240112BHJP
【FI】
G01B11/00 H
G06T7/50
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2023110961
(22)【出願日】2023-07-05
(31)【優先権主張番号】P 2022109813
(32)【優先日】2022-07-07
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】717007295
【氏名又は名称】株式会社Liberaware
(74)【代理人】
【識別番号】110002790
【氏名又は名称】One ip弁理士法人
(72)【発明者】
【氏名】小川 祐司
【テーマコード(参考)】
2F065
5L096
【Fターム(参考)】
2F065AA04
2F065AA22
2F065BB27
2F065BB28
2F065DD03
2F065FF04
2F065FF21
2F065FF67
2F065JJ03
2F065JJ26
2F065MM06
5L096AA06
5L096CA04
5L096DA02
5L096FA09
5L096FA64
5L096FA66
5L096FA69
(57)【要約】
【課題】GNSS信号を受信することが困難な環境でもスケール情報を含む3次元モデルデータを生成することが可能な3次元データ生成システム、3次元データ生成方法、及びマーカーメジャーを提供する。
【解決手段】撮影装置と、複数の前記ARマーカーが所定の間隔で設けられたマーカーメジャーと、前記撮影装置からの画像データを取得する情報処理装置と、を備える3次元データ生成システムであって、前記情報処理装置は、撮影対象領域に配置された前記マーカーメジャー及び対象物を含む前記画像データを取得する処理と、取得した前記画像データに含まれる前記ARマーカーの画像を解析して各ARマーカーに関連付けられた座標情報を取得する処理と、複数の前記ARマーカーの座標情報と、前記画像データとに基づいて、スケール情報を含む前記対象物の3次元モデルデータを生成する処理と、を実行することを特徴とする。
【選択図】
図1
【特許請求の範囲】
【請求項1】
撮影装置と、
複数の前記ARマーカーが所定の間隔で設けられたマーカーメジャーと、
前記撮影装置からの画像データを取得する情報処理装置と、を備える3次元データ生成システムであって、
前記情報処理装置は、
撮影対象領域に配置された前記マーカーメジャー及び対象物を含む前記画像データを取得する処理と、
取得した前記画像データに含まれる前記ARマーカーの画像を解析して各ARマーカーに予め関連付けられた座標情報を取得する処理と、
複数の前記ARマーカーの座標情報と、前記画像データとに基づいて、スケール情報を含む前記対象物の3次元モデルデータを生成する処理と、を実行する3次元データ生成システム。
【請求項2】
前記情報処理装置は、
複数の前記ARマーカーの前記座標情報に基づいて、複数の前記ARマーカーの前記間隔を算出する処理と、
前記間隔の情報に基づいて、前記スケール情報を含む前記対象物の3次元モデルデータを生成する処理と、を実行する、請求項1に記載の3次元データ生成システム。
【請求項3】
前記マーカーメジャーは、
複数の前記ARマーカーを一体に連結する連結部を有し、
前記連結部は、
互いに直交し、マーカーメジャー座標系の座標軸にそれぞれ対応する2本の帯状連結部もしくは棒状連結部を有する、請求項1に記載の3次元データ生成システム。
【請求項4】
前記マーカーメジャーは、
複数の前記ARマーカーを一体に連結する連結部を有し、
前記連結部は、
互いに直交し、マーカーメジャー座標系の座標軸にそれぞれ対応する3本の帯状連結部もしくは棒状連結部を有する、請求項1に記載の3次元データ生成システム。
【請求項5】
前記情報処理装置は、
前記ARマーカーの現実空間座標系における座標情報を取得する処理と、
前記現実空間座標系における座標情報、及び各ARマーカーに予め関連付けられたマーカーメジャー座標系における座標情報に基づいて、前記現実空間座標系における前記対象物の座標情報を含む3次元モデルデータを生成する、請求項1に記載の3次元データ生成システム。
【請求項6】
GNSS衛星からの信号を受信できない特定空間において、
無人飛行体に搭載される前記撮影装置を用いて前記撮影対象領域を撮影する、請求項1に記載の3次元データ生成システム。
【請求項7】
前記情報処理装置は、
第1の前記撮影対象領域の画像データに基づく第1の3次元モデルデータを生成する処理と、
第2の前記撮影対象領域の画像データに基づく第2の3次元モデルデータを生成する処理と、
前記第1の3次元モデルデータ及び前記第2の3次元モデルデータのそれぞれに含まれる同一の前記ARマーカーの座標情報を基準として、前記第1の3次元モデルデータ及び前記第2の3次元モデルデータを統合する処理を実行する、請求項1に記載の3次元データ生成システム。
【請求項8】
撮影装置と、
複数の前記ARマーカーが所定の間隔で設けられたマーカーメジャーと、
前記撮影装置からの画像データを取得する情報処理装置と、を用いて3次元のモデルデータを生成する方法であって、
前記情報処理装置は、
撮影対象領域に配置された前記マーカーメジャー及び対象物を含む前記画像データを取得する処理と、
取得した前記画像データに含まれる前記ARマーカーの画像を解析して各ARマーカーに予め関連付けられた座標情報を取得する処理と、
複数の前記ARマーカーの座標情報と、前記画像データとに基づいて、スケール情報を含む前記対象物の3次元モデルデータを生成する処理と、を実行する3次元データ生成方法。
【請求項9】
所定の間隔で設けられた複数のARマーカーと、前記複数のARマーカーを一体に連結する連結部と、を備えるマーカーメジャーであって、
各ARマーカーには、マーカーメジャー座標系における座標情報が予め関連付けられていることを特徴とするマーカーメジャー。
【請求項10】
前記連結部は、
互いに直交し、マーカーメジャー座標系の座標軸にそれぞれ対応する2本の帯状連結部もしくは棒状連結部を有する、請求項8に記載のマーカーメジャー。
【請求項11】
前記連結部は、
互いに直交し、マーカーメジャー座標系の座標軸にそれぞれ対応する3本の帯状連結部もしくは棒状連結部を有する、請求項8に記載のマーカーメジャー。
【請求項12】
それぞれの前記帯状連結部もしくは棒状連結部に、複数のARマーカーが一定の間隔で設けられている、請求項9又は10に記載のマーカーメジャー。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、3次元データ生成システム、3次元データ生成方法、及びマーカーメジャーに関する。
【背景技術】
【0002】
近年、ドローンやマルチコプター等の無人飛行体により撮影した画像を用いて、3次元モデルデータを生成する方法が知られている。特許文献1には、GNSS衛星から信号を受信するGNSS受信部を備えた複数の対空標識と、複数の対空標識により受信された複数の信号に基づいて少なくとも1つの対空標識の地上位置を測定する第1の位置測定部と、UAVにより撮像された対空標識を含む撮像画像から対空標識を検出し、検出された撮像画像中の対空標識の位置と地上位置とを対応付ける処理部と、を備える、情報処理システムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献1に開示された方法においては、GNSS衛星から受信した信号に基づいて対空標識等の座標情報を算出するため、GNSS信号を受信することが困難な屋内環境においては、採用することができないという問題があった。
【0005】
そこで、本開示は上記問題点に鑑みてなされたものであり、その目的は、GNSS信号を受信することが困難な環境でもスケール情報を含む3次元モデルデータを生成することが可能な3次元データ生成システム、3次元データ生成方法、及びマーカーメジャーを提供することである。
【課題を解決するための手段】
【0006】
本開示によれば、
撮影装置と、
複数の前記ARマーカーが所定の間隔で設けられたマーカーメジャーと、
前記撮影装置からの画像データを取得する情報処理装置と、を備える3次元データ生成システムであって、
前記情報処理装置は、
撮影対象領域に配置された前記マーカーメジャー及び対象物を含む前記画像データを取得する処理と、
取得した前記画像データに含まれる前記ARマーカーの画像を解析して各ARマーカーに予め関連付けられた座標情報を取得する処理と、
複数の前記ARマーカーの座標情報と、前記画像データとに基づいて、スケール情報を含む前記対象物の3次元モデルデータを生成する処理と、を実行する3次元データ生成システムが提供される。
【0007】
また、本開示によれば、
撮影装置と、
複数の前記ARマーカーが所定の間隔で設けられたマーカーメジャーと、
前記撮影装置からの画像データを取得する情報処理装置と、を用いて3次元のモデルデータを生成する方法であって、
前記情報処理装置は、
撮影対象領域に配置された前記マーカーメジャー及び対象物を含む前記画像データを取得する処理と、
取得した前記画像データに含まれる前記ARマーカーの画像を解析して各ARマーカーに予め関連付けられた座標情報を取得する処理と、
複数の前記ARマーカーの座標情報と、前記画像データとに基づいて、スケール情報を含む前記対象物の3次元モデルデータを生成する処理と、を実行する3次元データ生成方法が提供される。
【0008】
また、本開示によれば、
所定の間隔で設けられた複数のARマーカーと、前記複数のARマーカーを一体に連結する連結部と、を備えるマーカーメジャーであって、
各ARマーカーには、マーカーメジャー座標系における座標情報が予め関連付けられている、マーカーメジャーが提供される。
【発明の効果】
【0009】
本開示によれば、GNSS信号を受信することが困難な環境でもスケール情報を含む3次元モデルデータを生成することが可能な3次元データ生成システム、3次元データ生成方法、及びマーカーメジャーを提供することができる。
【図面の簡単な説明】
【0010】
【
図1】本開示の一実施形態に係る3次元データ生成システムの一例を示す概要図である。
【
図2】同実施形態に係る無人飛行体1のハードウェア構成例を示す図である。
【
図3】同実施形態に係る情報処理装置の構成例を示すブロック図である。
【
図4】同実施形態に係るマーカーメジャーの一例を示す図である。
【
図5】同実施形態に係るマーカーメジャーの他の例を示す図である。
【
図6】同実施形態に係る3次元データ生成方法の流れの一例を示すフローチャートである。
【
図7】本開示の他の実施形態に係る3次元データ生成システムの一例を示す概要図である。
【
図8】本開示の他の実施形態に係る3次元データ生成システムの他の例を示す概要図である。
【
図9】本開示の他の実施形態に係る3次元データ生成システムの他の例を示す概要図である。
【発明を実施するための形態】
【0011】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0012】
<概要>
図1は、本開示の一実施形態に係るシステムの一例を示す概要図である。本システム100は、画像を取得するための撮影装置を搭載した無人飛行体(ドローン)1と、情報処理装置20と、マーカーメジャー30と、を含む。なお、本実施形態において、画像を取得するために用いる撮影装置は、無人飛行体に搭載されたカメラに限定されず、他の移動体に搭載された撮影装置でもよいし、カメラ単体でもよく、任意の画像取得装置を用いることができる。
【0013】
<無人飛行体>
無人飛行体1は、撮影対象空間S1の内部を飛行する。撮影対象は特に限定されず、人工的な建物、工場、設備等でもよいし、自然界に存在する洞窟等の構造物の内部空間や地下空間であってもよい。本システムは、GNSS衛星からの信号を受信することが困難な屋内空間や地下空間に加え、トータルステーション等の測量器による測量作業が困難な狭い空間において特に有効であるが、これに限られず、任意の場所で使用可能である。
【0014】
本実施形態に係る無人飛行体(ドローン)1は、いわゆる複数の回転翼3により揚力や推力を得る回転翼機であり、所定の内部空間を飛行しながら、撮影対象としての床面、壁面、点検対象物等と、当該内部空間に配置されたマーカーメジャーに設けられたARマーカーと、を含む画像データを取得する。無人飛行体1は、予め設定されたプログラムに基づいて自律的に飛行するものであってもよいし、撮影対象空間の内部または外部からユーザーが操縦することにより飛行を制御されるものであってもよいし、それらの組み合わせによって飛行制御されるものであってもよい。
【0015】
図2は、本実施形態に係る無人飛行体1のハードウェア構成例を示す図である。
図2に示すように、本実施形態に係る無人飛行体1は、本体部2と、回転翼3と、モータ4と、カメラ及びセンサ5とを備える。また、無人飛行体1は、本体部2において、フライトコントローラ11、バッテリ14、ESC(Electric Speed Controller)15および送受信部16を備える。なお、
図2に示す無人飛行体1の構成は一例であり、
図2に示す本体部2とは異なる構成を有する回転翼機であっても、本発明の範疇に含まれうる。
【0016】
本体部2は、無人飛行体1を構成するフレーム等により形成される。本体部2を構成する素材は特に限定されず、例えば、炭素繊維樹脂、ガラス繊維樹脂、マグネシウム、マグネシウム合金、アルミニウム、アルミニウム合金、鉄鋼、チタンその他の材料であり得る。回転翼3はモータ4に取り付けられる。回転翼3は、モータ4の回転により自身が回転することで、無人飛行体1に揚力(推力)を発生させる。回転翼3とモータ4とは、推力発生部の一例である。なお、回転翼3は、本実施形態においては、前後左右の4箇所に設けられているが、本発明はかかる例に限定されない。無人飛行体1の構造、形状、装備およびサイズ等に応じて、回転翼3の設けられる数は適宜変更されうる。
【0017】
フライトコントローラ11は、例えば、中央演算処理装置(CPU)や、FPGA(Field-Programmable Gate Array)のようなプログラマブルプロセッサなど、1つ以上のプロセッサ13を有することができる。フライトコントローラ11は、メモリ12を有しており、当該メモリ12にアクセス可能である。メモリ12は、1つ以上のステップを行うためにフライトコントローラ11が実行可能であるロジック、コード、および/またはプログラム命令を記憶している。フライトコントローラ11は、制御装置の一例である。
【0018】
メモリ12は、たとえば、SDカードやランダムアクセスメモリ(RAM)などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ及びセンサ5から取得したデータは、メモリ12に直接に伝達されかつ記憶されてもよい。たとえば、カメラ5で撮影した画像データ(静止画データ・動画データ)が内蔵メモリ又は外部メモリに記録される。また、カメラ5で撮影した画像データは、必要に応じて操縦用端末17、情報処理装置20等に送受信部16を介して送信される。
【0019】
フライトコントローラ11は、無人飛行体1の状態を制御するように構成された制御モジュールを含んでいる。たとえば、制御モジュールは、6自由度(並進運動x、y及びz、並びに回転運動θx、θy及びθz)を有する無人飛行体1の空間的配置、速度、および/または加速度を調整するために、ESC15を経由して無人飛行体1の推進機構であるモータ4を制御する。モータ4により回転翼3が回転することで無人飛行体1の揚力を生じさせる。フライトコントローラ11は、モータ4の回転数(回転数は、所定時間あたりの回転数をも意味する)を制御して、回転翼3による推力を調整し得る。
【0020】
フライトコントローラ11は、1つ以上の外部のデバイス(たとえば、操縦用端末17、情報処理装置20)からのデータを送信および/または受け取るように構成された送受信部16と通信可能である。送受信部16は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。送受信部16は、フライトコントローラ11等の制御装置をインターネット網等のネットワークに接続するものであって、例えば、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、赤外線、無線、WiFi、ポイントツーポイント(P2P)ネットワーク、電気通信ネットワーク、クラウド通信、LTE、Bluetooth(登録商標)やBLE(Blu etooth Low Energy)などの任意の通信方式のうちの1つ以上を利用することができる。
【0021】
送受信部16は、センサ5で取得したデータ、フライトコントローラ11が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの1つ以上を送信および/または受け取ることができる。カメラ及びセンサ5等により得られた情報は、送受信部16を介して、サーバ(情報処理装置20)、操縦用端末17等に出力されてもよい。
【0022】
操縦用端末17は、無人飛行体1の飛行の操縦を制御するための装置である。なお、無人飛行体1の飛行は、地上等にいるオペレータの操縦により制御されてもよいし、飛行経路情報やセンシングによる自律的な飛行プログラム(例えば、GCS(Ground Control Station))に基づく自動操縦または手動操縦により制御されてもよい。操縦用端末17は、例えば、送受信機(プロポ)、スマートフォン、タブレット等の端末等であってもよい。操縦用端末17は、フライトコントローラ11に対して、飛行制御指示情報を送出しうる。
【0023】
本実施の形態に係るセンサ5は、例えば、慣性センサ、加速度センサ、ジャイロセンサ、GPSセンサ、風センサ、温度センサ、湿度センサ、気圧センサ、高度センサ、LiDAR(Laser Imaging Detection and Ranging)等の近接センサ、またはカメラ以外のビジョン/イメージセンサ等を含み得る。また、センサ5は、フライトコントローラ11に搭載されるものであってもよいし、フライトコントローラ11の外部に設けられるものであってもよい。また、カメラは、画像データを取得することができれば任意のカメラであってよい。例えば、カメラ5は、一般的なカメラの他に、赤外線カメラ、ステレオカメラ等であってもよく、任意のセンサと一体に設けられていてもよい。
【0024】
<情報処理装置>
図1に示すように、情報処理装置20は、無人飛行体1及び操縦用端末17と通信可能に設けられている。情報処理装置20は、無人飛行体1が撮影した画像データを取得して、撮影対象物の3次元データを生成するためのサーバ装置である。なお、情報処理装置20は、必要に応じて無人飛行体1及び操縦用端末17とそれぞれ通信を行い、各種情報を送受信することができる。情報処理装置20は、生成した3次元データを表示部に出力して表示させることができる。表示部は、情報処理装置に有線接続もしくは無線接続されたモニター、タッチパネル等で構成される表示部に表示させることも可能である。
【0025】
図3は、本実施形態に係る情報処理装置20の構成例を示すブロック図である。図示のように、情報処理装置20は、制御部21を備える。情報処理装置20は、例えばワークステーションやパーソナルコンピュータのような汎用コンピューターや、スマートフォンやタブレットPC等の携帯端末であってもよい。
【0026】
プロセッサ21aは、制御部21の動作を制御し、各要素間におけるデータの送受信の制御や、プログラムの実行に必要な処理等を行う演算装置である。このプロセッサ21aは、本実施の形態では例えばCPU(Central Processing Unit)であり、後述するストレージ21cに格納されてメモリ21bに展開されたプログラムを実行して各処理を行う。
【0027】
メモリ21bは、DRAM(Dynamic Random Access Memory)等の揮発性記憶装置で構成される主記憶装置、及びフラッシュメモリやHDD(Hard Disc Drive)等の不揮発性記憶装置で構成される補助記憶装置を備える。このメモリ21bは、プロセッサ21aの作業領域として使用される一方、制御部21の起動時に実行されるブートローダ、及び各種の設定情報等が格納される。
【0028】
ストレージ21cは、プログラムや各種の処理に用いられる情報等が格納されている。例えば、ストレージ21cには、無人飛行体の飛行状況や点検状況等を表示するためのプログラムが格納されていてもよい。また、ストレージ21cには、対象設備の内部を撮影した画像データに関する情報、画像データに基づいて生成した3次元データに関する情報、対象設備の変形量に関する情報、経時変化の推移パターンに関する情報、等が格納されてもよい。
【0029】
送受信部22は、制御部21をインターネット網等のネットワークに接続するものであって、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、赤外線、無線、WiFi、ポイントツーポイント(P2P)ネットワーク、電気通信ネットワーク、クラウド通信、LTE、Bluetooth(登録商標)やBLE(Bluetooth Low Energy)といった通信インターフェースを具備するものであってもよい。また、送受信部22は、有線による通信をするための通信インターフェースを具備するものであってもよい。
【0030】
入出力部23は、入出力機器が接続されるインターフェースであって、本実施形態では、例えば表示装置が接続されてもよい。
【0031】
バス24は、接続したプロセッサ21a、メモリ21b、ストレージ21c、送受信部22及び入出力部23の間において、例えばアドレス信号、データ信号及び各種の制御信号を伝達する。
【0032】
本実施形態に係る情報処理装置20の制御部21は、画像取得部と、3次元データ生成部と、マーカー情報取得部として機能する。
【0033】
画像取得部は、撮影対象領域に配置されたマーカーメジャー及び対象物を含む画像データを取得する処理を実行する。例えば、点検対象設備の内部を撮影した画像データ(動画データ、静止画データを含む。)を取得する画像取得処理を実行する。具体的に、無人飛行体1のカメラ5で撮影された画像データが、送受信部16(及び必要に応じて操縦用端末17)を介して情報処理装置20に送信され、画像取得部は画像データを取得する。画像取得部は、画像データをストレージ21cに記憶するようにしてもよい。画像データには、撮影された時刻の情報や、当該撮影時点でのカメラの位置、姿勢(撮影方向)に関する情報を含んでいてもよい。
【0034】
3次元データ生成部は、複数のARマーカーの座標情報と、画像データとに基づいて、スケール情報を含む対象物の3次元モデルデータを生成する処理を実行する。画像データは、複数のARマーカーと、対象物の像を含む画像データである。3次元モデルデータは、例えば3次元の点群データであるが、これに限られない。3次元モデルデータは、対象物の3次元データと、ARマーカーの3次元データを含んでもよいし、さらにARマーカーメジャーの3次元データを含んでもよい。3次元データ生成処理は、例えば、SFM(Structure from Motion)-MVS(Multi-view Stereo)処理を含むものであってもよいし、他の処理方法により3次元データをするものであってもよい。3次元データ生成部は、複数の画像データを用いたSFM処理に基づいて、対象設備の内部(天井面、内壁面、床面)または外部の3次元モデルをスケール情報とともに示すデータを生成することができる。SFM処理は、複数の特徴点であらわされる共通の対象物を複数のカメラ位置から撮影した複数の画像データを用いて、対象物の3次元形状を仮想データ上で生成する処理であり、対象物の3次元座標と、スケール(対象物の大きさを示す寸法)情報と、カメラ方向およびカメラ位置の情報とを取得することができるようにしてもよい。3次元データ生成部は、生成した3次元データに関する全て又は一部の情報をストレージ21cに記憶するようにしてもよい。スケール情報は、例えば、対象物の大きさを示すための縮尺(比率)、目盛り、基準指標等の情報を含むようにしてもよい。
【0035】
3次元データ生成部は、マーカー情報取得部で取得した情報に基づいて、スケール情報、座標情報、方向情報等を含む3次元データを生成することができる。マーカー情報取得部で取得した情報とは、例えば、ARマーカーの座標情報、何れか2つのARマーカー間の間隔情報、マーカーメジャー座標系の方向に関する情報、現実空間座標系におけるARマーカーの座標情報等である。現実空間座標系におけるARマーカーの座標情報は、トータルステーション等の測量装置で各ARマーカーを測定してもよいし、予め現実空間座標系上の座標が既知である位置にARマーカーを配置するようにしてもいし、他の方法で取得してもよい。3次元データ生成部は、ARマーカーの座標情報(位置情報)に基づいて、画像データに含まれる対象物の位置及びサイズの少なくとも一方を算出するようにしてもよい。
【0036】
マーカー情報取得部は、画像データに含まれるARマーカーを検出し、それぞれのARマーカーに紐づけられた情報を取得する。マーカー情報取得部は、例えば、情報処理装置20の記憶領域等に予め記憶されたデータ、もしくは、他のクラウドサーバ等に記憶された外部装置から受信(取得)可能なデータを参照し、各ARマーカーに対応する情報を取得することができる。当該情報は、それぞれのARマーカーに固有の識別情報(ID情報)、マーカー座標系における座標情報(2次元でも3次元でもよい)、位置情報、方向情報(方位情報)、当該ARマーカーを備えるマーカーメジャーの識別情報(ID情報)、マーカーメジャーにおける座標系に関する情報、マーカーメジャーに設けられた他のARマーカーの情報等を含んでもよい。マーカー情報取得部は、当該画像データに含まれるARマーカーの画像から、当該画像を撮影したカメラに対する相対的なARマーカーの位置(距離)及び方向(姿勢)の情報を取得することができ、これを座標変換することで、ARマーカーに対するカメラの位置及び姿勢を算出することもできる。
【0037】
マーカー情報取得部は、画像データに含まれる複数のARマーカーを検出し、当該ARマーカーの間隔に関する情報を取得する。例えば、2つのARマーカーのそれぞれに予め関連付けられた座標情報に基づいて、その2つのARマーカー間の距離(間隔)を算出することができる。各ARマーカーの座標情報、ARマーカーの間隔に関する情報、マーカーメジャーの原点座標、各軸の延在方向に関する情報等は、予め記憶領域(ドローンの記憶部、情報処理装置の記憶部、他の装置の記憶部の少なくとも何れか)に記憶されていてもよい。隣接するARマーカーの間隔が1mである場合、1つの画像データに含まれる隣接する2つのARマーカーの間隔が1mであることを認識することができる。これにより、3次元モデルデータを生成する際に、スケール情報を付与することができる。
【0038】
マーカー情報取得部は、各ARマーカーに予め関連付けられた方向情報、あるいは、複数のARマーカーの座標情報に基づいて、マーカーメジャーの座標軸の延在方向の情報を取得することができる。また、ARマーカーが個別の識別情報を表示し、識別情報に対応するARマーカの位置情報が予め記憶領域に記憶され、識別情報に基づいて記憶領域から該識別情報に対応するARマーカーの位置情報を取得するようにしてもよい。情報処理装置20の制御部21は、実空間位置推定部を有してもよい。実空間位置推定部は、画像データにARマーカーの像が含まれている場合に、ARマーカーに対する画像解析を行い、かかるARマーカーの実空間上の位置(現実空間座標系における座標)を推定する機能を有するようにしてもよい。
【0039】
<マーカーメジャー>
図4は、マーカーメジャー30の一例を示す。マーカーメジャー30は、間隔を空けて配置された複数のARマーカー31と、当該複数のARマーカー31を連結する連結部32と、を備える。複数のARマーカー31は、連結部32の長手方向に沿って、所定の間隔で配置される。隣接する2つのARマーカーの間隔は一定であってもよいし、そうでなくてもよい。間隔は、例えば1m、10m、50cm、10cm等とすることができるが、特に限定されない。それぞれのARマーカーには、マーカーメジャーの座標系における座標情報、つまり特定の点(座標系の原点)からの距離、方向の情報が関連付けて記憶されている。座標情報は、2次元の座標(x,y)の情報でも3次元の座標(x,y,z)の情報でもよい。ARマーカー31は、例えば、ARTag、AprilTag、ARToolkit、ARToolkitPlus、RUNE-Tag、reacTIVison等のARタグとすることができるが、これに限られない。ARマーカー31は例えば、全体として外形が正方形であり、複数の正方形をした画素が二次元に配列されたマトリクス構造を有するものであり、各画素が白または黒で表示される。ARマーカーの形状、及び、描かれた図形はこれに限定されない。
【0040】
連結部32は、複数のARマーカー31を連結する。連結部32は、任意に折り曲げたり、折り畳んだり、巻き回したりできる素材でもよいし、折り曲げ不可能な剛性を有する素材で構成されていてもよい。連結部32は、複数のパーツに分解して、自由に分離、組み立てができるようにしてもよい。連結部32は、平坦な帯状の部材とすることができるが、円柱、角柱等の棒状の部材であってもよい。連結部32には、原点からの距離を示す目盛りがあってもよい。
【0041】
図4は、2次元のマーカーメジャー30の一例であり、マーカーメジャー座標系のx軸方向とy軸方向にそれぞれ延在する2本の連結部32(第1連結部32a、第2連結部32b)を備える。マーカーメジャー30は、直線的に延在する2本の帯状連結部32が、互いに先端部で垂直に交わるように結合してL字形状となっている。このマーカーメジャー30は、2本の連結部32の交点に設けられたARマーカー31a(の中心点)がマーカーメジャー座標系の原点に位置し、当該原点座標(0,0)を示す座標情報が原点ARマーカー31aに関連付けられている。マーカーメジャー30は、マーカーメジャー座標系の原点位置に設けられた原点ARマーカー31a(0,0)と、マーカーメジャーの座標系のx軸の延在方向に沿って一定の間隔で設けられた2つのARマーカー31b(10,0)、31c(20,0)と、x軸に直行するy軸に沿って一定の間隔で設けられた2つのARマーカー31d(0,10)、31e(0,20)とを備える。各ARマーカーは平坦な形状であり、全て同一の向きを向くように配置されている。5つの全てのARマーカーは、帯状連結部の一方の面(表面)に接着されている。なお、裏面にも表面と同一のARマーカーを設けてもよい。それぞれのARマーカーは、マーカーメジャーの座標系における座標(x,y)を示す座標情報が関連付けられている。座標情報は、ARマーカーの中心点の位置の座標を示す。ARマーカーには、原点からの距離の情報や、x軸、y軸それぞれに対するARマーカーが向く面の角度の情報が関連付けられていてもよく、その場合、それらの情報が記憶領域に予め記憶されるようにしてもよい。また、各ARマーカーの基準点は中心点に限られず任意の点としてもよく、例えば4つの角のうちの何れか1つの角の点(コーナーポイント)をARマーカーの基準点としてもよい。ARマーカーの基準点同士の距離に基づいてスケール情報を3次元モデルデータに反映させることができる。
【0042】
図5は、マーカーメジャー座標系におけるx軸方向とy軸方向とz軸方向にそれぞれ延在する3本の連結部32(第1連結部32a、第2連結部32b、第3連結部32c)が原点(0,0,0)で連結された3次元のマーカーメジャー30の一例である。連結部32は、2本以下であってもよいし、4本以上であってもよい。1本の連結部に複数個の六面体(ARマーカ)が所定の間隔を空けて配置されていてもよい。3本の連結部32は互いに直交しており、その先端にそれぞれ六面体33(第1六面体33a、第2六面体33b、第3六面体33c)が設けられている。第1六面体33a(10,0,0)、第2六面体33b(0,10,0)、及び第3六面体33c(0,0,10)は、原点からの距離が同一であり、六面体33の全ての面が、他の2つの六面体33の何れかの面と平行になるように配置されている。つまり、第1六面体33aの第1面が、第2六面体33bの第1面及び第3六面体33cの第1面と平行になっている。このように、同一方向を向くように配置された複数のARマーカーを有することで、画像データを解析してARマーカーの方向の情報を取得する場合の精度を高めることができる。なお、図示例の六面体は立方体であるが、これに限られず、直方体、球体などの他の形状であってもよいし、
図4のように平坦なARマーカーであってもよい。また、図示例では3本の連結部32の交点(座標系の原点)にARマーカーが設けられていないが、ARマーカーが設けられていてもよい。また、3本の連結部32のそれぞれに2以上の六面体33を設けてもよい。六面体のそれぞれの面には、共通の、もしくは固有のARマーカー31が設けられているが、全ての面にARマーカーを設けてもよいし、一部の面だけに設けてもよい。六面体のそれぞれの面に設けられた各ARマーカーには、マーカーメジャーの座標系における3次元の座標(x,y,z)の情報と、姿勢(方向)の情報とが関連付けており、当該情報は、上記記憶領域に予め記憶されている。3次元の座標(x,y,z)の情報は、六面体の中心点の位置を表す座標である。
【0043】
上記の通り、本実施形態のマーカーメジャーは、所定の間隔で設けられた複数のARマーカーと、前記複数のARマーカーを一体に連結する連結部と、を備えるマーカーメジャーであって、各ARマーカーには、マーカーメジャー座標系における座標情報が予め関連付けられている。
【0044】
ここで、例えば従来の方法で複数のARマーカーを撮影対象領域に配置する場合、ARマーカーを配置する位置を基準位置から巻尺等で測定したり、測量機で位置を確認したりしながら、1つ1つのARマーカーを個別に配置する必要がある。これに対して、本実施形態のマーカーメジャーにあっては、予め定められた所定の間隔でARマーカーが一体に連結されているため、マーカーメジャーを配置するだけで、複数のARマーカーを簡単に所定間隔で配置することができる。
【0045】
また、本実施形態のように、連結部が、互いに垂直に交わる2本の帯状連結部もしくは棒状連結部を有する場合、ARマーカーを垂直な2本の軸線に沿って配置することができる。また、連結部が、互いに所定の角度(垂直等)で交わる2本の帯状連結部もしくは棒状連結部を有する場合、3次元方向に容易にARマーカーを配置することができる。
【0046】
図6は、撮影装置で撮影した画像を用いて3次元モデルデータを生成する際のフローを示す。まず、ドローンで撮影する空間に、複数のARマーカーを備えたマーカーメジャーを配置する(S101)。マーカーメジャーは、マーカーメジャー座標系の何れかの軸方向が、地面、床面に沿うように(水平方向に)配置してもよいし、壁面に沿うように鉛直方向に配置してもよい。マーカーメジャーの配置については3次元方向の任意の向きに配置することができる。
【0047】
次いで、撮影装置で撮影することにより、画像データを取得する(S102)。例えば、無人飛行体1を操縦用端末17で手動操縦したり、自律飛行プログラムに従って予め設定された経路を自律飛行させたりしつつ、無人飛行体1のカメラ5でマーカーメジャーのARマーカーと対象物とが写るように動画を撮影し、画像データを無人飛行体1から情報処理装置20に送信することにより、情報処理装置20は、画像データを取得する。なお、撮影は無人飛行体に限られず、作業者がスマートフォンの撮影装置等で行うようにしてもよい。
【0048】
そして、情報処理装置20は、取得した画像データを解析する(S103)。情報処理装置20は、画像データ内のARマーカーを検出し、当該ARマーカーに関連づけられた座標情報等の各種情報を取得する。画像データは単独または複数の静止画データでもよいし動画データでもよい。なお、情報処理装置20は、取得した動画データを複数の静止画データに分割するなど、取得した画像データを適宜編集してから解析するようにしてもよい。
【0049】
そして、情報処理装置20は、S103で取得した複数のARマーカーの座標情報と、S102で取得した画像データとに基づいて、スケール情報を含む対象物の3次元モデルデータを生成する処理を実行する(S104)。
【0050】
このように、本開示の3次元データ生成システムにあっては、複数のARマーカーが所定間隔で設けられたマーカーメジャーを撮影対象領域に配置し、当該複数のARマーカーが写るように撮影を行うことにより、スケール情報を含む3次元モデルデータを生成することができる。したがって、例えばGNSS信号を受信することが困難な環境でもスケール情報を含む3次元モデルデータを生成することが可能となる。また、トータルステーション等の測量装置での測定が困難な場所でも、座標情報を含む3次元モデルデータを生成することが可能となる。これにより、屋内施設、特に天井裏や地下ピットでも簡単にスケール情報や位置情報(座標情報)を含む3次元モデルデータを生成することができる。
【0051】
また、例えば一定間隔ごとに設けられたARマーカーを読み取ることで、マーカーメジャー座標系の原点に対する位置(原点からの距離)を自動的に算出(計測)することができる。また、マーカーメジャーは簡易な構成で測量機等に比べて軽量でもあるため、配置、撤去が容易であり、どこにでも容易に配置できるという利点もある。
【0052】
また、例えば
図5のようなマーカーメジャーを3次元的に設置することで、2次元平面だけではなく、3次元空間的な計測も可能となる。つまり、水平方向のスケールと鉛直方向のスケール情報を同時に得ることができるので、3次元モデルデータを生成する際に、高い精度で、3次元モデルにスケール情報や座標情報を付加することができる。
【0053】
本システムにおいて、情報処理装置は、複数のARマーカーの座標情報に基づいて、複数のARマーカーの間隔を算出する処理と、間隔の情報に基づいて、スケール情報を含む対象物の3次元モデルデータを生成する処理と、を実行することが好ましい。これによれば、より高い精度のスケール情報を含む3次元モデルデータを生成することができる。
【0054】
本システムにおいて、情報処理装置は、ARマーカーの現実空間座標系における座標情報を取得する処理と、現実空間座標系における座標情報、及びマーカーメジャー座標系における座標情報に基づいて、現実空間座標系における対象物の座標情報を含む3次元モデルデータを生成するようにしてもよい。この場合、現実空間に対応する座標系での3次元モデルデータを生成することができる。
【0055】
本システムの情報処理装置は、第1の前記撮影対象領域の画像データに基づく第1の3次元モデルデータを生成する処理と、第2の前記撮影対象領域の画像データに基づく第2の3次元モデルデータを生成する処理と、前記第1の3次元モデルデータ及び前記第2の3次元モデルデータのそれぞれに含まれる同一の前記ARマーカーの座標情報を基準として、前記第1の3次元モデルデータ及び前記第2の3次元モデルデータを統合する処理を実行するようにしてもよい。
【0056】
例えば、
図7に示すように、第1空間S1と、第2空間S2と、それらの間に位置する第3空間S3の画像データを取得して3次元モデルデータを生成する場合について説明する。まず、第3空間S3に配置したマーカーメジャー30と第1空間S1とが含まれるように撮影して、第1の撮影対象領域A1の画像データを取得し、上述のSFM等の処理により第1の3次元モデルデータを生成する。次いで、第3空間S3に配置した同一のマーカーメジャー30と第2空間S2とが含まれるように撮影して、第2の撮影対象領域A2の画像データを取得し、第2の3次元モデルデータを生成する。こうして生成される第1の3次元モデルデータと、第2の3次元モデルデータには、位置及び姿勢が同一のマーカーメジャー30のデータが含まれているため、当該マーカーメジャー30の座標系の原点及び座標軸((
図4参照)基準に2つのモデルデータの座標系を一致させる(マーカーメジャー座標系の原点及び各軸線を重ね合わせる)ように第1の3次元モデルデータと第2の3次元モデルデータを統合させる。これにより、第1空間S1と、第2空間S2と、必要に応じて第3空間S3を含む統合された3次元モデルデータを生成することができる。なお、本例では複数のARマーカーを有するマーカーメジャー30を含む画像データに基づいて3次元モデルデータを生成したが、マーカーメジャー30の代わりに単独のARマーカーのみでも、2つの3次元モデルデータに含まれるARマーカーを基準に統合処理を実行することができる。単独のARマーカーを基準にする場合と比べて、複数のARマーカーを用いた場合には、複数のARマーカーのそれぞれをデータ統合の基準として用いることができるので、統合する際のモデル間の位置や角度のずれを縮小して、高い精度の統合データを生成することができる。
【0057】
また例えば、
図8に示すように、第1空間S1と、第2空間S2とが隣接している(
図8の第3空間がない)場合であっても、第1空間S1と、第2空間S2とに跨るようにマーカーメジャー30を配置したり、あるいは、何れか一方のみにマーカーメジャー30を配置したりして、第1の撮影対象領域A1と第2の撮影対象領域A2の両方に同一のARマーカーが含まれていればよい。ARマーカーまたはマーカーメジャー30は、隣接又は近接する2つの空間または3以上の空間の境界部付近に配置されていることが好ましい。
【0058】
また、
図7、
図8の例では第1の撮影対象領域A1と第2の撮影対象領域A2とが同一直線状に並んでいるが、例えば、
図9に示すように、第1の撮影対象領域A1と第2の撮影対象領域A2が同一直線状に並んでいない(例えば、斜めに交差したり、直交したりしている)場合であっても、2つの3次元モデルデータに含まれるARマーカーを基準に統合処理を実行することができる。このように、本システムにあっては、撮影対象領域が単独の空間であっても、壁や扉などによって少なくとも部分的に仕切られた複数の空間であっても、高い精度の3次元モデルデータを生成することができる。
【0059】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0060】
なお、上記実施形態においては、自律飛行制御を無人飛行体1のフライトコントローラ11により実行するものとして説明したが、本技術はかかる例に限定されない。すなわち、かかる自律飛行制御方法は、無人飛行体においてエッジで処理される例に限られず、他の自律飛行制御装置により遠隔で上述した補正処理がなされ、その処理結果を無人飛行体に送信し、かかる結果をもとに駆動部を制御するようなものであってもよい。つまり、かかる自律飛行制御方法を実行するハードウェアの主体は特に限定されず、上述した機能部は複数のハードウェアにより実行されるものであってもよい。
【0061】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0062】
なお、以下のような構成も本開示の技術的範囲に属する。
(項目1)
撮影装置と、
複数の前記ARマーカーが所定の間隔で設けられたマーカーメジャーと、
前記撮影装置からの画像データを取得する情報処理装置と、を備える3次元データ生成システムであって、
前記情報処理装置は、
撮影対象領域に配置された前記マーカーメジャー及び対象物を含む前記画像データを取得する処理と、
取得した前記画像データに含まれる前記ARマーカーの画像を解析して各ARマーカーに予め関連付けられた座標情報を取得する処理と、
複数の前記ARマーカーの前記座標情報と、前記画像データとに基づいて、スケール情報を含む前記対象物の3次元モデルデータを生成する処理と、を実行する3次元データ生成システム。
(項目2)
前記情報処理装置は、
複数の前記ARマーカーの座標情報に基づいて、複数の前記ARマーカーの前記間隔を算出する処理と、
前記間隔の情報に基づいて、前記スケール情報を含む前記対象物の3次元モデルデータを生成する処理と、を実行する、項目1に記載の3次元データ生成システム。
(項目3)
前記マーカーメジャーは、
複数の前記ARマーカーを一体に連結する連結部を有し、
前記連結部は、
互いに直交し、マーカーメジャー座標系の座標軸にそれぞれ対応する2本の帯状連結部もしくは棒状連結部を有する、項目1または2に記載の3次元データ生成システム。
(項目4)
前記マーカーメジャーは、
複数の前記ARマーカーを一体に連結する連結部を有し、
前記連結部は、
互いに直交し、マーカーメジャー座標系の座標軸にそれぞれ対応する3本の帯状連結部もしくは棒状連結部を有する、項目1に記載の3次元データ生成システム。
(項目5)
前記情報処理装置は、
前記ARマーカーの現実空間座標系における座標情報を取得する処理と、
前記現実空間座標系における座標情報、及び各ARマーカーに予め関連付けられたマーカーメジャー座標系における座標情報に基づいて、前記現実空間座標系における前記対象物の座標情報を含む3次元モデルデータを生成する、項目1に記載の3次元データ生成システム。
(項目6)
GNSS衛星からの信号を受信できない特定空間において、
無人飛行体に搭載される前記撮影装置を用いて前記撮影対象領域を撮影する、項目1に記載の3次元データ生成システム。
(項目7)
前記情報処理装置は、
第1の前記撮影対象領域の画像データに基づく第1の3次元モデルデータを生成する処理と、
第2の前記撮影対象領域の画像データに基づく第2の3次元モデルデータを生成する処理と、
前記第1の3次元モデルデータ及び前記第2の3次元モデルデータのそれぞれに含まれる同一の前記ARマーカーの座標情報を基準として、前記第1の3次元モデルデータ及び前記第2の3次元モデルデータを統合する処理を実行する、項目1に記載の3次元データ生成システム。
(項目8)
撮影装置と、
複数の前記ARマーカーが所定の間隔で設けられたマーカーメジャーと、
前記撮影装置からの画像データを取得する情報処理装置と、を用いて3次元のモデルデータを生成する方法であって、
前記情報処理装置は、
撮影対象領域に配置された前記マーカーメジャー及び対象物を含む前記画像データを取得する処理と、
取得した前記画像データに含まれる前記ARマーカーの画像を解析して各ARマーカーに予め関連付けられた座標情報を取得する処理と、
複数の前記ARマーカーの座標情報と、前記画像データとに基づいて、スケール情報を含む前記対象物の3次元モデルデータを生成する処理と、を実行する3次元データ生成方法。
(項目9)
所定の間隔で設けられた複数のARマーカーと、前記複数のARマーカーを一体に連結する連結部と、を備えるマーカーメジャーであって、
各ARマーカーには、マーカーメジャー座標系における座標情報が予め関連付けられていることを特徴とするマーカーメジャー。
(項目10)
前記連結部は、
互いに直交し、マーカーメジャー座標系の座標軸にそれぞれ対応する2本の帯状連結部もしくは棒状連結部を有する、項目8に記載のマーカーメジャー。
(項目11)
前記連結部は、
互いに直交し、マーカーメジャー座標系の座標軸にそれぞれ対応する3本の帯状連結部もしくは棒状連結部を有する、項目8に記載のマーカーメジャー。
(項目12)
それぞれの前記帯状連結部もしくは棒状連結部に、複数のARマーカーが一定の間隔で設けられている、項目9又は10に記載のマーカーメジャー。
【符号の説明】
【0063】
1 無人飛行体
20 情報処理装置
30 マーカーメジャー
100 3次元データ生成システム