(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024021143
(43)【公開日】2024-02-16
(54)【発明の名称】3次元データ生成システム、及び3次元データ生成方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20240208BHJP
H04N 23/60 20230101ALI20240208BHJP
G06T 7/579 20170101ALI20240208BHJP
G05D 1/46 20240101ALI20240208BHJP
【FI】
H04N7/18 D
H04N5/232 290
G06T7/579
G05D1/10
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2022123770
(22)【出願日】2022-08-03
(71)【出願人】
【識別番号】717007295
【氏名又は名称】株式会社Liberaware
(71)【出願人】
【識別番号】000221616
【氏名又は名称】東日本旅客鉄道株式会社
(74)【代理人】
【識別番号】110002790
【氏名又は名称】One ip弁理士法人
(72)【発明者】
【氏名】小川 祐司
(72)【発明者】
【氏名】池田 慶祐
(72)【発明者】
【氏名】▲高▼見澤 拓哉
(72)【発明者】
【氏名】高津 徹
(72)【発明者】
【氏名】竹之下 智行
【テーマコード(参考)】
5C054
5C122
5H301
5L096
【Fターム(参考)】
5C054CA04
5C054CA05
5C054CC02
5C054CF08
5C054EA01
5C054EA03
5C054EA05
5C054EA07
5C054FC12
5C054FC14
5C054FC15
5C054FD01
5C054FF03
5C054GB01
5C054GB05
5C054GD06
5C054GD09
5C054HA19
5C122DA13
5C122EA68
5C122FA04
5C122FA06
5C122FH07
5C122FK23
5C122GC14
5C122GC15
5C122GC19
5C122GC38
5C122GC53
5C122GD11
5C122HA05
5C122HA75
5C122HB01
5H301AA06
5H301BB10
5H301CC04
5H301CC07
5H301CC10
5H301GG07
5H301GG08
5H301GG09
5L096CA04
5L096DA01
5L096EA03
5L096EA26
(57)【要約】
【課題】画像データに基づく3次元モデルデータの生成にかかる時間を短縮することが可能な、3次元データ生成システム、及び3次元データ生成方法を提供する。
【解決手段】撮影装置で対象領域を撮影して撮影時刻情報を含む動画データを生成可能な移動体と、移動体の位置を検出して検出時刻情報を含む位置データを生成可能な位置データ生成システムと、動画データ及び位置データを受信する情報処理装置と、を備え、情報処理装置は、受信した動画データを所定の時間長さに分割して複数の短時間動画データを生成する分割処理と、短時間動画データ及び該短時間動画データの撮影時刻に対応する移動体の位置データに基づいて、短時間動画データに対応する対象領域の少なくとも一部の3次元点群データを生成する生成処理と、生成した前記少なくとも一部の3次元点群データを表示装置に送信する処理とを、実行することを特徴とする。
【選択図】
図1
【特許請求の範囲】
【請求項1】
撮影装置で対象領域を撮影して撮影時刻情報を含む動画データを生成可能な飛行体と、
前記飛行体の位置を検出して検出時刻情報を含む位置データを生成可能な位置データ生成システムと、
前記飛行体からの前記動画データ、及び前記位置データ生成システムからの前記位置データを受信する情報処理装置と、を備え、
前記情報処理装置は、
受信した前記動画データを所定の時間長さに分割して複数の短時間動画データを生成する分割処理と、
前記短時間動画データ及び該短時間動画データの撮影時刻に対応する飛行体の前記位置データに基づいて、前記短時間動画データに対応する前記対象領域の少なくとも一部の3次元点群データを生成する生成処理と、
生成した前記少なくとも一部の3次元点群データを表示装置に送信する処理とを、実行する、3次元データ生成システム。
【請求項2】
前記飛行体から送られる前記動画データを受信し、該動画データを前記サーバに送信する中継装置をさらに備える、請求項1に記載の3次元データ生成システム。
【請求項3】
前記飛行体は、前記動画データを低画質化してから前記サーバ装置に送信する、請求項1または2に記載の3次元データ生成システム。
【請求項4】
前記位置データ生成システムは、モーションキャプチャ装置である、請求項1または2に記載の3次元データ生成システム。
【請求項5】
撮影装置で対象領域を撮影して撮影時刻情報を含む動画データを生成可能な飛行体と、
飛行体の位置を検出して検出時刻情報を含む位置データを生成可能な位置データ生成システムと、
前記飛行体からの前記動画データ、及び前記位置データ生成システムからの前記位置データを受信する情報処理装置と、を用いて3次元点群データを生成する方法であって、
前記情報処理装置は、
受信した前記動画データを所定の時間長さに分割して複数の短時間動画データを生成する分割処理と、
前記短時間動画データ及び該短時間動画データの撮影時刻に対応する飛行体の前記位置データに基づいて、前記短時間動画データに対応する前記対象領域の少なくとも一部の3次元点群データを生成する生成処理と、
生成した前記少なくとも一部の3次元点群データを表示装置に送信する処理とを、実行する、3次元データ生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、3次元データ生成システム、及び3次元データ生成方法に関する。
【背景技術】
【0002】
近年、ドローン等の無人飛行体により撮影した画像を用いて、3次元モデルデータを生成する方法が知られている。また、特許文献1には、複数の画像データに基づいて、SfM(Structure from Motion)処理等により3次元モデルデータを生成する方法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、カメラで撮影した複数の画像データに基づく3次元モデルデータの生成処理には時間がかかるため、撮影してから3次元モデルデータを生成し、確認するまでにタイムラグが大きいという問題がある。
【0005】
そこで、本開示は上記問題点に鑑みてなされたものであり、その目的は、画像データに基づく3次元モデルデータの生成にかかる時間を短縮することが可能な、3次元データ生成システム、及び3次元データ生成方法を提供することである。
【課題を解決するための手段】
【0006】
本開示によれば、
撮影装置で対象領域を撮影して撮影時刻情報を含む動画データを生成可能な移動体と、
前記移動体の位置を検出して検出時刻情報を含む位置データを生成可能な位置データ生成システムと、
前記移動体からの前記動画データ、及び前記位置データ生成システムからの前記位置データを受信する情報処理装置と、を備え、
前記情報処理装置は、
受信した前記動画データを所定の時間長さに分割して複数の短時間動画データを生成する分割処理と、
前記短時間動画データ及び該短時間動画データの撮影時刻に対応する移動体の前記位置データに基づいて、前記短時間動画データに対応する前記対象領域の少なくとも一部の3次元点群データを生成する生成処理と、
生成した前記少なくとも一部の3次元点群データを表示装置に送信する処理とを、実行する、3次元データ生成システムが提供される。
【0007】
また、本開示によれば、撮影装置で対象領域を撮影して撮影時刻情報を含む動画データを生成可能な移動体と、
前記移動体の位置を検出して検出時刻情報を含む位置データを生成可能な位置データ生成システムと、
前記移動体からの前記動画データ、及び前記位置データ生成システムからの前記位置データを受信する情報処理装置と、を用いて3次元点群データを生成する方法であって、
前記情報処理装置は、
受信した前記動画データを所定の時間長さに分割して複数の短時間動画データを生成する分割処理と、
前記短時間動画データ及び該短時間動画データの撮影時刻に対応する移動体の前記位置データに基づいて、前記短時間動画データに対応する前記対象領域の少なくとも一部の3次元点群データを生成する生成処理と、
生成した前記少なくとも一部の3次元点群データを表示装置に送信する処理とを、実行する、3次元データ生成方法が提供される。
【発明の効果】
【0008】
本開示によれば、画像データに基づく3次元モデルデータの生成にかかる時間を短縮することが可能な、3次元データ生成システム、及び3次元データ生成方法を提供することができる。
【図面の簡単な説明】
【0009】
【
図1】本開示の一実施形態に係る3次元データ生成システムの一例を示す概要図である。
【
図2】同実施形態に係る無人飛行体のハードウェア構成例を示す図である。
【
図3】同実施形態に係る情報処理装置の構成例を示すブロック図である。
【
図4】同実施形態に係る3次元データ生成方法の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0011】
<概要>
図1は、本開示の一実施形態に係るシステムの一例を示す概要図である。本システム100は、対象領域を撮影するための撮影装置を搭載した無人飛行体(ドローン)1と、情報処理装置20と、モーションキャプチャ装置30(位置データ生成システム)と、表示装置40を含む。無人飛行体1は、少なくとも情報処理装置20と通信可能である。無人飛行体1は、モーションキャプチャ装置30、及び表示装置40とも通信可能であってもよいし、通信できない構成であってもよい。モーションキャプチャ装置30は、少なくとも情報処理装置20と通信可能であり、無人飛行体1及び表示装置40とは通信可能であってもよいし、通信できない構成であってもよい。なお、本実施形態の診断方法において、画像を取得するために用いる撮影装置は、無人飛行体に搭載されたカメラに限定されず、他の移動体に搭載された撮影装置でもよいし、カメラ単体でもよく、任意の画像取得装置を用いることができる。移動体の位置を検出して検出時刻情報を含む位置データを生成可能な位置データ生成システムは、モーションキャプチャ装置30に限られず、他の位置推定システムを用いてもよい。例えば、V-SLAM(Visual Simultaneous Localization and Mapping)による移動体のカメラで撮影した画像に基づいて位置推定するシステム、ビーコンから発する信号を移動体で受信して、その強度から位置推定するシステム、または、移動体に設けたリフレクタにレーザーを照射し、反射光を受けつけることで位置推定するレーザートラッカーを用いたシステム、等を利用することができる。また、このような位置推定システムは、その一部または全体が無人飛行体1に設けられていてもよいし、無人飛行体1の外部に設けられていてもよい。
【0012】
<無人飛行体>
無人飛行体1は、撮影装置で対象領域を撮影して撮影時刻情報を含む動画データを生成する。無人飛行体1は、点検や作業進捗管理などを目的とした撮影対象領域の上空を飛行する。撮影対象は特に限定されず、人工的な建物、工場、設備等でもよいし、自然界に存在する洞窟等の構造物の内部空間や地下空間であってもよい。本システムは、屋外空間、屋内空間の何れにも使用可能である。
【0013】
本実施形態に係る無人飛行体(ドローン)1は、いわゆる複数の回転翼3により揚力や推力を得る回転翼機であり、飛行しながら、撮影対象領域をカメラで撮影することによりの画像データを取得する。無人飛行体1は、予め設定されたプログラムに基づいて自律的に飛行するものであってもよいし、撮影対象空間の内部または外部からユーザーが操縦することにより飛行を制御されるものであってもよいし、それらの組み合わせによって飛行制御されるものであってもよい。
【0014】
図2は、本実施形態に係る無人飛行体1のハードウェア構成例を示す図である。
図2に示すように、本実施形態に係る無人飛行体1は、本体部2と、回転翼3と、モータ4と、カメラ5(撮影装置)、センサ6とを備える。また、無人飛行体1は、本体部2において、フライトコントローラ11、バッテリ14、ESC(Electric Speed Controller)15および送受信部16を備える。なお、
図2に示す無人飛行体1の構成は一例であり、
図2に示す本体部2とは異なる構成を有する回転翼機であっても、本発明の範疇に含まれうる。
【0015】
本体部2は、無人飛行体1を構成するフレーム等により形成される。本体部2を構成する素材は特に限定されず、例えば、炭素繊維樹脂、ガラス繊維樹脂、マグネシウム、マグネシウム合金、アルミニウム、アルミニウム合金、鉄鋼、チタンその他の材料であり得る。回転翼3はモータ4に取り付けられる。回転翼3は、モータ4の回転により自身が回転することで、無人飛行体1に揚力(推力)を発生させる。回転翼3とモータ4とは、推力発生部の一例である。なお、回転翼3は、本実施形態においては、前後左右の4箇所に設けられているが、本発明はかかる例に限定されない。無人飛行体1の構造、形状、装備およびサイズ等に応じて、回転翼3の設けられる数は適宜変更されうる。
【0016】
フライトコントローラ11は、例えば、中央演算処理装置(CPU)や、FPGA(Field-Programmable Gate Array)のようなプログラマブルプロセッサなど、1つ以上のプロセッサ13を有することができる。フライトコントローラ11は、メモリ12を有しており、当該メモリ12にアクセス可能である。メモリ12は、1つ以上のステップを行うためにフライトコントローラ11が実行可能であるロジック、コード、および/またはプログラム命令を記憶している。フライトコントローラ11は、制御装置の一例である。制御装置は、撮影装置で対象領域を撮影することにより、撮影時刻情報を含む動画データを生成する。動画データは、所定時間にわたる連続的な撮影により、多数の画像データ(静止画データ)を連続的に繋げたデータとすることができる。制御装置は、カメラ5で撮影した動画データ等の画像データに関する画像処理を実行し得る。画像処理は、例えば、低画質化、短時間化などによるデータ容量の軽減処理であるが、これに限られず、他の情報の付加等であってもよい。また、このような制御装置は、操縦用端末17に設けられていてもよいし、無人飛行体1及び情報処理装置20と通信する中継装置(管制装置)に設けられていてもよい。例えば、中継装置を設ける場合、ドローンで撮影した画像データを中継装置で受信し、上記低画質化等の画像処理を行うことでデータ量を軽減してから、情報処理装置20に送信するようにしてもよい。
【0017】
メモリ12は、たとえば、SDカードやランダムアクセスメモリ(RAM)などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ5及びセンサ6から取得したデータは、メモリ12に直接に伝達されかつ記憶されてもよい。たとえば、カメラ5で撮影した画像データ(静止画データ・動画データ)が内蔵メモリ又は外部メモリに記録される。また、カメラ5で撮影した画像データは、操縦用端末17、情報処理装置20、表示装置40等に送受信部16を介して送信される。
【0018】
フライトコントローラ11は、無人飛行体1の状態を制御するように構成された制御モジュールを含んでいる。たとえば、制御モジュールは、6自由度(並進運動x、y及びz、並びに回転運動θx、θy及びθz)を有する無人飛行体1の空間的配置、速度、および/または加速度を調整するために、ESC15を経由して無人飛行体1の推進機構であるモータ4を制御する。モータ4により回転翼3が回転することで無人飛行体1の揚力を生じさせる。フライトコントローラ11は、モータ4の回転数(回転数は、所定時間あたりの回転数をも意味する)を制御して、回転翼3による推力を調整し得る。
【0019】
フライトコントローラ11は、1つ以上の外部のデバイス(たとえば、操縦用端末17、情報処理装置20、モーションキャプチャ装置30)からのデータを送信および/または受け取るように構成された送受信部16と通信可能である。送受信部16は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。送受信部16は、フライトコントローラ11等の制御装置をインターネット網等のネットワークに接続するものであって、例えば、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、赤外線、無線、WiFi、ポイントツーポイント(P2P)ネットワーク、電気通信ネットワーク、クラウド通信、LTE、Bluetooth(登録商標)やBLE(Blu etooth Low Energy)などの任意の通信方式のうちの1つ以上を利用することができる。
【0020】
送受信部16は、カメラ5で撮影したデータ、センサ6で取得したデータ、フライトコントローラ11が生成した処理データ、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの1つ以上を送信および/または受け取ることができる。カメラ5及びセンサ6等により得られた情報は、送受信部16を介して、サーバ(情報処理装置20)、操縦用端末17、表示装置40等に出力されてもよい。送受信部16は、モーションキャプチャ装置30からの情報を受信し得る。
【0021】
操縦用端末17は、無人飛行体1の飛行の操縦を制御するための装置である。なお、無人飛行体1の飛行は、地上等にいるオペレータの操縦により制御されてもよいし、飛行経路情報やセンシングによる自律的な飛行プログラム(例えば、GCS(Ground Control Station))に基づく自動操縦、または一部を手動操縦により制御されてもよい。操縦用端末17は、例えば、送受信機(プロポ)、スマートフォン、タブレット等の端末等であってもよい。操縦用端末17は、フライトコントローラ11に対して、飛行制御指示情報を送出することができる。
【0022】
本実施の形態に係るセンサ6は、例えば、慣性センサ、加速度センサ、ジャイロセンサ、GPSセンサ、風センサ、温度センサ、湿度センサ、気圧センサ、高度センサ、LiDAR(Laser Imaging Detection and Ranging)等の近接センサ、またはカメラ以外のビジョン/イメージセンサ等を含み得る。また、センサ6は、フライトコントローラ11に搭載されるものであってもよいし、フライトコントローラ11の外部に設けられるものであってもよい。また、カメラは、画像データを取得することができれば任意のカメラであってよい。例えば、カメラ5は、一般的なカメラの他に、赤外線カメラ、ステレオカメラ等であってもよく、任意のセンサと一体に設けられていてもよい。
【0023】
<情報処理装置>
図1に示すように、情報処理装置20は、無人飛行体1、操縦用端末17、モーションキャプチャ装置30、及び表示装置40とそれぞれ通信を行い、各種情報を送受信することができる。情報処理装置20は、無人飛行体1が撮影した画像データを取得して、撮影対象物の3次元データを生成するためのサーバ装置(例えば、クラウドサーバ)である。情報処理装置20は、生成した3次元データを表示装置40に出力して表示させることができる。表示装置40は、情報処理装置20に有線接続もしくは無線接続されたモニター、タッチパネル等で構成されてもよいし、インターネット等のネットワークを介して情報処理装置20に接続される汎用コンピューター、スマートフォン、タブレットPC等の携帯端末であってもよい。
【0024】
図3は、本実施形態に係る情報処理装置20の構成例を示すブロック図である。図示のように、情報処理装置20は、制御部21を備える。情報処理装置20は、例えばワークステーションやパーソナルコンピュータのような汎用コンピューターや、スマートフォンやタブレットPC等の携帯端末であってもよい。
【0025】
プロセッサ21aは、制御部21の動作を制御し、各要素間におけるデータの送受信の制御や、プログラムの実行に必要な処理等を行う演算装置である。このプロセッサ21aは、本実施の形態では例えばCPU(Central Processing Unit)であり、後述するストレージ21cに格納されてメモリ21bに展開されたプログラムを実行して各処理を行う。
【0026】
メモリ21bは、DRAM(Dynamic Random Access Memory)等の揮発性記憶装置で構成される主記憶装置、及びフラッシュメモリやHDD(Hard Disc Drive)等の不揮発性記憶装置で構成される補助記憶装置を備える。このメモリ21bは、プロセッサ21aの作業領域として使用される一方、制御部21の起動時に実行されるブートローダ、及び各種の設定情報等が格納される。
【0027】
ストレージ21cは、プログラムや各種の処理に用いられる情報等が格納されている。例えば、ストレージ21cには、無人飛行体の飛行状況や点検状況等を表示するためのプログラムが格納されていてもよい。また、ストレージ21cには、対象領域を撮影した画像データに関する情報、生成した3次元データに関する情報、無人飛行体及びモーションキャプチャ装置等からそれぞれ取得した飛行体の位置、姿勢に関する情報、対象領域の変形量に関する情報、経時変化の推移パターンに関する情報、等が格納されてもよい。
【0028】
送受信部22は、制御部21をインターネット網等のネットワークに接続するものであって、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、赤外線、無線、WiFi、ポイントツーポイント(P2P)ネットワーク、電気通信ネットワーク、クラウド通信、LTE、Bluetooth(登録商標)やBLE(Bluetooth Low Energy)といった通信インターフェースを具備するものであってもよい。また、送受信部22は、有線による通信をするための通信インターフェースを具備するものであってもよい。
【0029】
入出力部23は、入出力機器が接続されるインターフェースであって、本実施形態では、例えば表示装置が接続されてもよい。
【0030】
バス24は、接続したプロセッサ21a、メモリ21b、ストレージ21c、送受信部22及び入出力部23の間において、例えばアドレス信号、データ信号及び各種の制御信号を伝達する。
【0031】
本実施形態に係る情報処理装置20の制御部21は、画像取得部と、位置情報取得部と、3次元データ生成部と、データ配信部として機能する。
【0032】
画像取得部は、撮影対象領域の画像データを取得する処理を実行する。例えば、点検対象設備を含む所定範囲の領域を撮影した画像データ(動画データ、静止画データ)を取得する画像取得処理を実行する。具体的に、無人飛行体1のカメラ5で撮影された画像データが、送受信部16(及び必要に応じて操縦用端末17)を介して情報処理装置20に送信されることで、画像取得部は画像データを取得する。画像取得部は、画像データをストレージ21cに記憶するようにしてもよい。画像データには、当該画像データが撮影された時刻の情報や、当該撮影時点でのカメラの位置、姿勢(撮影方向)に関する情報を含んでいてもよい。
【0033】
位置情報取得部は、モーションキャプチャ装置30(位置データ生成システム)が生成した無人飛行体の位置データを取得する。位置データは、モーションキャプチャ装置が検出した無人飛行体の位置(3次元座標)と、その位置を検出した時刻の情報(検出時刻情報)を含む。
【0034】
3次元データ生成部は、受信した動画データを所定の時間長さに分割して複数の短時間動画データを生成する分割処理と、短時間動画データ及び該短時間動画データの撮影時刻に対応する移動体の位置データに基づいて、短時間動画データに対応する対象領域の少なくとも一部の3次元点群データを生成する生成処理と、を実行する。データ配信部は、生成した少なくとも一部の3次元点群データを表示装置に送信する処理を、実行する。このような分割処理、3次元点群データの生成処理、表示装置への送信処理は、繰り返し実行される。これにより、実質的にリアルタイムに近い形で、無人飛行体1で撮影した画像データに基づく3次元点群デ―タを表示装置に表示させることができる。3次元モデルデータを生成する際には、画像データに含まれる座標が既知の標識等に基づく座標情報を関連付けてもよい。3次元モデルデータは、例えば3次元の点群データであるが、これに限られない。3次元モデルデータは、対象領域に含まれる対象物の3次元点群データとすることができる。3次元データ生成処理は、例えば、SfM処理、MVS(Multi-view Stereo)処理を含むものであってもよいし、他の処理方法により3次元データをするものであってもよい。3次元データ生成部は、複数の画像データを用いたSfM処理に基づいて、対象領域の3次元モデルデータを生成することができる。SfM処理は、複数の特徴点であらわされる共通の対象物を複数のカメラ位置から撮影した複数の画像データを用いて、対象物の3次元形状を仮想データ上で生成する処理であり、その際に、モーションキャプチャ装置から取得したそれぞれの画像データの撮影時刻における無人飛行体の位置データを参照する。位置データは、カメラの位置(撮影位置(3次元座標))及びカメラの向き(撮影方向)の情報を含む。3次元データ生成部は、生成した3次元データに関する全て又は一部の情報をストレージ21cに記憶するようにしてもよい。このようにモーションキャプチャ装置で取得した無人飛行体の位置データを利用することにより、生成される3次元データにおいては、適切な位置(座標)に適切な向きで撮影対象物が配置されることとなる。
【0035】
<モーションキャプチャ装置>
モーションキャプチャ装置30は、無人飛行体の飛行空間の周囲に配置される複数のモーションキャプチャカメラ31を備える。複数のモーションキャプチャカメラ31は、互いに有線又は無線で接続され協調して動作することができる。モーションキャプチャ装置30は、例えば無人飛行体1の外面に配置される1以上の再帰反射性マーカの位置および移動をモーションキャプチャカメラ31で監視することにより、無人飛行体1の位置を検出して検出時刻情報を含む位置データを生成することができる。位置データは、モーションキャプチャ装置30の座標系(現実空間座標系に対する相対的な位置及び向きが既知)上での3次元の座標情報と、当該座標情報に対応する時刻情報とを含む。位置データは、無人飛行体の向き(方位)の情報を含んでいてもよい。向きの情報は、無人飛行体上の複数の再帰反射性マーカの位置関係(例えば特定の2つの再帰反射性マーカの3次元座標を結んだベクトルの向き)に基づいて無人飛行体の向きを算出することができる。モーションキャプチャ装置30は、モーションキャプチャカメラ31に内蔵もしくは外部に接続される制御部と送受信部を有し、検出時刻情報を含む位置データの生成処理と、当該位置データの送信処理とを繰り返し実行することができる。制御部及び送受信部の構成は、上記情報処理装置20の制御部21及び送受信部22の構成と実質的に共通であるため、説明を省略する。モーションキャプチャ装置30は、無人飛行体の位置データの生成と送信を繰り返し行うことにより、実質的にリアルタイムで情報処理装置20等に対して無人飛行体の位置データを送信することができる。また、モーションキャプチャ装置30は、無人飛行体に対して位置データを送信することも可能である。無人飛行体、自己位置を推定する際に、モーションキャプチャ装置30からの位置データを参照することで、(当該位置データを参照せずに無人飛行体のセンサ情報やGNSS信号のみに基づいて自己位置推定する場合に比べて)自己位置推定の精度を高めることができる。
【0036】
図4は、無人飛行体1からの動画データとモーションキャプチャ装置30からの位置データとに基づいて、情報処理装置20で3次元点群データを生成し、表示装置40に表示させる際のフローを示す。
【0037】
無人飛行体1は、操縦用端末17を用いた手動操縦により飛行し、または、自律飛行プログラムに従って予め設定された経路を自律飛行し、飛行状態で上方から対象領域を撮影することにより、撮影時刻情報を含む動画データを生成し、情報処理装置に送信する(S101)。同時に、モーションキャプチャ装置30は飛行中の無人飛行体1の位置を検出(測定)し、検出時刻情報を含む位置データを生成し、情報処理装置20に送信する(S102)。無人飛行体1による動画データの生成、送信処理と、モーションキャプチャ装置30による位置データの生成、送信処理は、無人飛行体1が撮影している間、連続的に繰り返し実行される。なお、無人飛行体1での撮影を開始する前に、予めモーションキャプチャカメラ31は撮影対象領域の周囲に設置される。
【0038】
情報処理装置20は、受信した動画データを所定の時間長さに分割して複数の短時間動画データを生成する分割処理を実行する(S103)。例えば、受信した動画データが10秒間の長さの撮影データである場合、1秒間の短時間動画データを10個生成したり、5秒間の短時間動画データを2個生成したりすることができる。基本的には、等分割により同一長さの短時間動画データを生成するが、それぞれ異なる時間長さの短時間動画データを生成するようにしてもよい。各短時間動画データには、撮影時刻情報が含まれる。
【0039】
次いで、情報処理装置20は、生成した短時間動画データ、及び短時間動画データの撮影時刻に対応する無人飛行体1(移動体)の位置データに基づいて、短時間動画データに対応する対象領域の少なくとも一部の3次元点群データを生成する生成処理を実行する(S104)。例えば、生成された短時間動画データごとに、短時間動画データに含まれる複数の画像データを用いたSfM処理により、撮影対象物の3次元点群データを生成する。また、その際に、それぞれの短時間動画データの撮影時刻と一致する検出時刻の無人飛行体の位置データを用いて、無人飛行体の位置(つまりカメラの位置、向き)を推定し、当該無人飛行体の位置情報に基づいて、3次元モデルデータの仮想モデル空間上での対象物の位置を決定(補正)する。なお、仮想モデル空間上での対象物の位置を決定する際には、現実空間に対応する仮想モデル空間の座標系に対して、モーションキャプチャ装置30の座標系の原点及び各軸線の方向を位置合わせする。
【0040】
情報処理装置20が生成した3次元データは、例えばインターネット等のネットワークを介して表示装置40に送信され、表示装置40の画面に表示される(S105)。ユーザーは、ネットワークにつながる位置であれば、どこからでも表示装置40を介して対象領域、対象物の3次元形状を確認することができる。このような動画データの分割(短時間化)処理、3次元点群データの生成処理、表示装置への送信処理は、連続的に繰返し実行される。
【0041】
以上の通り、本実施形態の3次元データ生成システムにあっては、撮影装置で対象領域を撮影して撮影時刻情報を含む動画データを生成可能な移動体と、移動体の位置を検出して検出時刻情報を含む位置データを生成可能なモーションキャプチャ装置と、移動体からの動画データ、及びモーションキャプチャ装置からの位置データを受信する情報処理装置と、を備え、情報処理装置は、受信した動画データを所定の時間長さに分割して複数の短時間動画データを生成する分割処理と、短時間動画データ及び短時間動画データの撮影時刻に対応する移動体の位置データに基づいて、短時間動画データに対応する対象領域の少なくとも一部の3次元点群データを生成する生成処理と、生成した少なくとも一部の3次元点群データを表示装置に送信する処理とを、実行する。このように、動画データを複数の短時間動画データに分割して3次元データを生成する処理を繰り返すことで、動画データを分割せずに3次元点群データを生成する場合に比べて、短時間で3次元データを生成し、表示装置に表示させることが可能となる。したがって、ユーザーは、無人飛行体1で撮影される対象物の3次元形状を、実質的にリアルタイムで確認することができる。
【0042】
また、本実施形態の3次元データ生成システムにあっては、無人飛行体1(移動体)から送られる動画データを受信し、動画データをサーバに送信する中継装置をさらに備えるようにしてもよい。この場合、情報処理装置20よりも無人飛行体1からの距離が小さい中継装置に動画データを送信するようにすることができるので、無人飛行体1から情報処理装置20に対して直接動画データを送信する場合に比べて、無人飛行体1の処理負荷が軽減し、また通信能力を低く抑えることができる。
【0043】
また、本実施形態の3次元データ生成システムにあっては、移動体が、撮影装置で撮影した動画データを低画質化してからサーバ装置に送信するようにしてもよい。このように、動画データを低画質化することで送信するデータ容量を低減することができるので、通信に係る負荷を軽減し、通信時間を短縮することができる。
【0044】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0045】
なお、上記実施形態においては、自律飛行制御を無人飛行体1のフライトコントローラ11により実行するものとして説明したが、本技術はかかる例に限定されない。すなわち、かかる自律飛行制御方法は、無人飛行体においてエッジで処理される例に限られず、他の自律飛行制御装置により遠隔で上述した補正処理がなされ、その処理結果を無人飛行体に送信し、かかる結果をもとに駆動部を制御するようなものであってもよい。つまり、かかる自律飛行制御方法を実行するハードウェアの主体は特に限定されず、上述した機能部は複数のハードウェアにより実行されるものであってもよい。
【0046】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0047】
なお、以下のような構成も本開示の技術的範囲に属する。
(項目1)
撮影装置で対象領域を撮影して撮影時刻情報を含む動画データを生成可能な飛行体と、
飛行体の位置を検出して検出時刻情報を含む位置データを生成可能な位置データ生成システムと、
前記飛行体からの前記動画データ、及び前記位置データ生成システムからの前記位置データを受信する情報処理装置と、を備え、
前記情報処理装置は、
受信した前記動画データを所定の時間長さに分割して複数の短時間動画データを生成する分割処理と、
前記短時間動画データ及び該短時間動画データの撮影時刻に対応する飛行体の前記位置データに基づいて、前記短時間動画データに対応する前記対象領域の少なくとも一部の3次元点群データを生成する生成処理と、
生成した前記少なくとも一部の3次元点群データを表示装置に送信する処理とを、実行する、3次元データ生成システム。
(項目2)
前記飛行体から送られる前記動画データを受信し、該動画データを前記サーバに送信する中継装置をさらに備える、項目1に記載の3次元データ生成システム。
(項目3)
前記飛行体は、前記動画データを低画質化してから前記サーバ装置に送信する、請求項1または2に記載の3次元データ生成システム。
(項目4)
前記位置データ生成システムは、モーションキャプチャ装置である、請求項1乃至3の何れかに記載の3次元データ生成システム。
(項目5)
撮影装置で対象領域を撮影して撮影時刻情報を含む動画データを生成可能な飛行体と、
飛行体の位置を検出して検出時刻情報を含む位置データを生成可能な位置データ生成システムと、
前記飛行体からの前記動画データ、及び前記位置データ生成システムからの前記位置データを受信する情報処理装置と、を用いて3次元点群データを生成する方法であって、
前記情報処理装置は、
受信した前記動画データを所定の時間長さに分割して複数の短時間動画データを生成する分割処理と、
前記短時間動画データ及び該短時間動画データの撮影時刻に対応する飛行体の前記位置データに基づいて、前記短時間動画データに対応する前記対象領域の少なくとも一部の3次元点群データを生成する生成処理と、
生成した前記少なくとも一部の3次元点群データを表示装置に送信する処理とを、実行する、3次元データ生成方法。
【符号の説明】
【0048】
1 無人飛行体(移動体)
20 情報処理装置
30 モーションキャプチャ装置(位置データ生成システム)
100 3次元データ生成システム