(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2025-03-28
(45)【発行日】2025-04-07
(54)【発明の名称】評価支援装置、評価支援プログラム、評価支援方法
(51)【国際特許分類】
H04N 23/60 20230101AFI20250331BHJP
G01C 11/06 20060101ALI20250331BHJP
G01B 11/245 20060101ALI20250331BHJP
【FI】
H04N23/60 300
G01C11/06
G01B11/245
(21)【出願番号】P 2024203182
(22)【出願日】2024-11-21
(62)【分割の表示】P 2024026270の分割
【原出願日】2024-02-26
【審査請求日】2024-11-21
【新規性喪失の例外の表示】特許法第30条第2項適用 ・ウェブ掲載日:2023年8月7日・ウェブサイトのアドレス:https://www.facebook.com/watch/?v=612204851061376・ウェブ掲載日:2023年7月4日・ウェブサイトのアドレス:https://www.facebook.com/NE.MARUKO/videos/816269456380255・ウェブ掲載日:2023年4月24日・ウェブサイトのアドレス:https://prtimes.jp/main/html/rd/p/000000057.000018381.html
【新規性喪失の例外の表示】特許法第30条第2項適用 ・ウェブ掲載日:2023年4月24日・ウェブサイトのアドレス:https://sekokan-navi.jp/magazine/63166/3#arc-2
【新規性喪失の例外の表示】特許法第30条第2項適用 2023年4月28日、2023年7月28日、オンラインセミナーにより公開
【早期審査対象出願】
(73)【特許権者】
【識別番号】517436062
【氏名又は名称】株式会社FLIGHTS
(74)【代理人】
【識別番号】110002790
【氏名又は名称】One ip弁理士法人
(72)【発明者】
【氏名】峠下 周平
(72)【発明者】
【氏名】渡邊 悠
(72)【発明者】
【氏名】伊東 三友紀
(72)【発明者】
【氏名】栗原 隆幸
(72)【発明者】
【氏名】有持 雄司
(72)【発明者】
【氏名】森田 真吉
(72)【発明者】
【氏名】金谷 尚美
【審査官】▲うし▼田 真悟
(56)【参考文献】
【文献】国際公開第2023/195401(WO,A1)
【文献】国際公開第2024/009855(WO,A1)
【文献】国際公開第2018/198634(WO,A1)
【文献】韓国公開特許第10-2019-0094902(KR,A)
【文献】中国特許出願公開第116989746(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/00-23/76
G01C 11/00-11/06
G01B 11/00-11/30
(57)【特許請求の範囲】
【請求項1】
撮像対象物を撮像装置により撮像した複数の部分画像である部分画像群を取得する画像取得部と、
前記部分画像のそれぞれについて、特性情報を取得する特性情報取得部と、
前記部分画像群から選択された選択画像について、前記選択画像と前記選択画像に隣接する他の部分画像との重なり率を検証するための、
前記選択画像を撮像した際の機体の高度と、前記高度から前記選択画像に隣接する他の部分画像を撮像した際の前記機体の高度を差し引いた値と、前記選択画像の特性情報を表示部に出力し、表示された情報に基づくユーザ評価を受け付ける評価支援部と、
を備える画像評価支援装置。
【請求項2】
前記特性情報は、前記撮像装置により撮像された画像のピントと、前記画像の明るさと、前記撮像装置の撮像条件と、のうち少なくとも一つを含む、
請求項1に記載の画像評価支援装置。
【請求項3】
前記評価支援部は、前記部分画像群を撮像順に表示し、前記部分画像の特性情報の時系列変化を示すグラフを生成して表示する、
請求項1に記載の画像評価支援装置。
【請求項4】
前記特性情報に基づいて前記部分画像群の各部分画像の評価を行う評価部と、
をさらに備え、
前記評価支援部は、前記評価部による評価結果を、対応する部分画像に関連付けてユーザ端末に表示し、前記対応する部分画像に対するユーザの評価入力を受け付ける、
請求項1に記載の画像評価支援装置。
【請求項5】
前記評価支援部は、前記特性情報の値について所定の範囲を設定し、前記部分画像群の各部分画像について、対応する特性情報の値が前記所定の範囲のどの区分に含まれるかを判定し、判定結果を視覚的に識別可能な態様で表示する、
請求項1に記載の画像評価支援装置。
【請求項6】
前記評価支援部は、前記撮像装置の移動速度および撮像間隔に基づいて、隣接する部分画像間の重なり率を算出して時系列で表示する、
請求項4に記載の画像評価支援装置。
【請求項7】
前記評価支援部は、前記撮像装置の移動速度および撮像間隔に基づいて算出した、隣接する部分画像間の重なり率と、前記評価部が行った前記隣接する部分画像間の重なり率に対する評価の結果と、を表示する、
請求項6に記載の画像評価支援装置。
【請求項8】
前記撮像条件は、撮像時の前記撮像装置の姿勢情報および前記撮像対象物との位置関係情報と、前記撮像装置の撮像設定情報と、のうち少なくとも一つを含む、
請求項
2に記載の画像評価支援装置。
【請求項9】
コンピュータに、
撮像対象物を撮像装置により撮像した複数の部分画像である部分画像群を取得する画像取得ステップと、
前記部分画像のそれぞれについて、特性情報を取得する特性情報取得ステップと、
前記部分画像群から選択された選択画像について、前記選択画像と前記選択画像に隣接する他の部分画像との重なり率を検証するための、
前記選択画像を撮像した際の機体の高度と、前記高度から前記選択画像に隣接する他の部分画像を撮像した際の前記機体の高度を差し引いた値と、前記選択画像の特性情報を表示部に出力し、表示された情報に基づくユーザ評価を受け付ける評価支援ステップと、
を実行させる、画像評価支援プログラム。
【請求項10】
コンピュータが、
撮像対象物を撮像装置により撮像した複数の部分画像である部分画像群を取得する画像取得ステップと、
前記部分画像のそれぞれについて、特性情報を取得する特性情報取得ステップと、
前記部分画像群から選択された選択画像について、前記選択画像と前記選択画像に隣接する他の部分画像との重なり率を検証するための、
前記選択画像を撮像した際の機体の高度と、前記高度から前記選択画像に隣接する他の部分画像を撮像した際の前記機体の高度を差し引いた値と、前記選択画像の特性情報を表示部に出力し、表示された情報に基づくユーザ評価を受け付ける評価支援ステップと、
を実行する、画像評価支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は評価支援装置、評価支援プログラム、評価支援方法に関する。
【背景技術】
【0002】
近年、構造物の点検を、ドローン等の飛行体を用いて実施する方法が提案されている。
【0003】
特許文献1には、点検対象物を撮像するドローンの発明が開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述した技術は、対象物を自動撮影するドローン機体の発明であり、撮像した画像が実
際に評価に用いるに十分な質であるか否かの議論はなされていない。
【0006】
そこで、本発明は、飛行体により撮像した対象物の画像の評価を支援することを一つの
目的とする。
【課題を解決するための手段】
【0007】
本発明によれば、本発明は、構造物の検査に用いる部分画像の評価を支援する評価支援
装置であって、飛行体が備えるカメラにより撮像した、前記構造物の部位の一部を捉えた
複数の部分画像情報を取得する部分画像取得部と、前記部分画像の特性を評価する評価部
と、を備え、前記特性は、第1の部分画像と、その直前またはその直後に撮像した第2の
部分画像に含まれる前記部位の重なり率である、評価支援装置が得られる。
【発明の効果】
【0008】
本発明によれば、飛行体により撮像した対象物の画像の評価を支援することができる。
【図面の簡単な説明】
【0009】
【
図1】本発明の実施の形態による評価支援システムの構成例を示す図である。
【
図2】サーバ装置1のハードウェア構成例を示す図である。
【
図5】制御装置37のハードウェア構成例を示す図である。
【
図6】制御装置37のソフトウェア構成例を示す図である。
【
図7】特性情報記憶部332に記憶される特性情報の例を示す図である。
【
図8】サーバ装置1のソフトウェア構成例を示す図である。
【
図9】評価支援部114がユーザ端末4に提示する画面例を示す図である。
【
図10】評価支援部114がユーザ端末4に提示する画面例を示す他の図である。
【
図11】評価支援部114がユーザ端末4に提示する画面例を示す他の図である。
【
図12】評価支援部114がユーザ端末4に提示する画面例を示す他の図である。
【
図13】評価支援部114がユーザ端末4に提示する画面例を示す他の図である。
【
図14】評価支援部114がユーザ端末4に提示する画面例を示す他の図である。
【
図15】評価支援部114がユーザ端末4に提示する画面例を示す他の図である。
【
図16】本実施形態に係る代表的な処理の例を示す図である。
【発明を実施するための形態】
【0010】
本発明の実施形態の内容を列記して説明する。本発明は、以下のような構成を備える。
[項目1]
構造物の検査に用いる部分画像の評価を支援する評価支援装置であって、
飛行体が備えるカメラにより撮像した、前記構造物の部位の一部を捉えた複数の部分画
像情報を取得する部分画像取得部と、
前記部分画像の特性を評価する評価部と、
を備え、
前記特性は、第1の部分画像と、その直前またはその直後に撮像した第2の部分画像に
含まれる前記部位の重なり率である、
評価支援装置。
[項目2]
前記評価部は、少なくとも前記飛行体の飛行速度と飛行時間により、前記重なり率を評
価する、
項目1に記載の評価支援装置。
[項目3]
前記部分画像と前記特性の情報を紐づけてユーザの使用するユーザ端末に提示し、ユー
ザの操作を受け付けて前記画像に対するユーザの評価を取得する評価支援部と、
を備える請求項1または2に記載の評価支援装置。
[項目4]
前記評価支援部が、ユーザにより検査に用いることができる評価を取得した前記部分画
像により、前記部位の合成画像を生成する画像生成部と、
を備える、項目3に記載の評価支援装置。
[項目5]
構造物の検査に用いる部分画像の評価を支援する評価支援プログラムであって、
コンピュータに、
飛行体が備えるカメラにより撮像した、前記構造物の部位の一部を捉えた複数の部分画
像情報を取得する部分画像取得ステップと、
前記部分画像の特性を評価する評価ステップと、
を実行させ、
前記特性は、第1の部分画像と、その直前またはその直後に撮像した第2の部分画像に
含まれる前記部位の重なり率である、
評価支援プログラム。
[項目6]
構造物の検査に用いる部分画像の評価を支援する評価支援方法であって、
コンピュータが、
飛行体が備えるカメラにより撮像した、前記構造物の部位の一部を捉えた複数の部分画
像情報を取得する部分画像取得ステップと、
前記部分画像の特性を評価する評価ステップと、
を実行し、
前記特性は、第1の部分画像と、その直前またはその直後に撮像した第2の部分画像に
含まれる前記部位の重なり率である、
評価支援方法。
【0011】
<実施の形態の詳細>
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。
なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については
、同一の符号を付することにより重複説明を省略する。
【0012】
<概要>
図1は、本発明の一実施形態に係る評価支援システムの全体構成例を示す図である。本
実施形態の発明支援システムは、サーバ装置1と、飛行装置3と、を含んで構成される。
サーバ装置1は、飛行装置3と、通信ネットワーク2を介して通信可能に接続される。通
信ネットワーク2は、たとえばインターネットであり、公衆電話回線網や携帯電話回線網
、無線通信路、イーサネット(登録商標)などにより構築される。また、通信ネットワー
ク2は、Bluetooth(登録商標)等の近距離通信などであってもよい。
【0013】
本実施の形態によるサーバ装置1と、飛行装置3と、ユーザ端末4とは以下のようなハ
ードウェア構成を有する。なお、以下の構成は一例であり、これ以外の構成を有していて
もよい。
【0014】
<サーバ装置1>
図2に一例を示すように、サーバ装置1は、プロセッサ101、メモリ102、記憶装
置103、通信インタフェース104、入力装置105、出力装置106を備える。記憶
装置103は、各種のデータやプログラムを記憶する、例えばハードディスクドライブや
ソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース104は
、通信ネットワーク2に接続するためのインタフェースであり、例えばイーサネット(登
録商標)に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信
を行うための無線通信機、シリアル通信のためのUSB(Universal Seri
al Bus)コネクタやRS232Cコネクタなどである。入力装置105は、データ
を入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどで
ある。出力装置106は、データを出力する、例えばディスプレイ(表示部)やプリンタ
、スピーカなどである。なお、後述するサーバ装置1の各処理部はプロセッサ101が記
憶装置103に記憶されているプログラムをメモリ102に読み出して実行することによ
り実現され、サーバ端末1の各記憶部はメモリ102及び記憶装置103が提供する記憶
領域の一部として実現される。
【0015】
<飛行装置3>
図1に示されるように、飛行装置3は、サーバ装置1またはユーザ端末4と通信を介し
て情報処理を実行することにより、評価支援システムの一部を構成する。飛行装置3は、
例えば空中に一定時間ホバリングする機能を有する飛行体であればよく、マルチコプタ、
ティルトロータ、垂直離着陸機等であってもよいがこれらに限定されない。本開示におい
ては、マルチコプタの例を記載する。
【0016】
飛行装置3の一例を
図3、
図4に示す。なお、飛行装置3は、マルチコプタの既存の装
置と、飛行制御の実装を用いればよいため、以下の例に限らない。飛行装置3は、機体3
1と、機体31に搭載したバッテリ32と、機体31の斜め前後方向に略水平に突出する
4本の腕33の先端付近に搭載され、バッテリ32により駆動される4個の飛行モータ3
4と、飛行モータ34により回転駆動されてそれぞれ推力を生ずる4つのピッチロータ3
5と、4本の腕33にそれぞれ2個ずつ搭載されて、バッテリ32により駆動される4つ
のピッチロータ35のピッチをそれぞれ変化させる4個のサーボモータ36と、を備える
。
【0017】
飛行装置3は、飛行モータ34によりピッチロータ35の回転速度を変化させ、またサ
ーボモータ36によりピッチロータ35のピッチをそれぞれ変化させることで、機体31
に加わる推力の大きさ、方向および機体31の向きを変化させ、浮上、飛行およびホバリ
ングすることができる。
【0018】
飛行装置3は、機体31の中央部に、飛行制御用の3軸加速度センサと3軸ジャイロセ
ンサとを持つ機体情報取得手段としての慣性計測ユニット(IMU)と、GNSSと、通
常のマイクロコンピュータを持つフライトコントローラ(FC)と、無線通信ユニットと
、電源管理ユニット(PMU)とを有する、飛行制御手段としての制御装置37を搭載す
る。
【0019】
制御装置37のフライトコントローラが、バッテリ32からの電源管理ユニットを介す
る給電により、慣性計測ユニットおよびGNSSから得られる機体31の加速度、姿勢お
よび位置情報に基づいて機体31の位置および姿勢を安定させる制御を行って、飛行装置
3の浮上、飛行および空中静止を補助する。制御装置37の補助により、飛行装置3は、
例えば通常のデジタルプロポーショナル型の操縦装置から制御装置37の無線通信ユニッ
トを介してフライトコントローラに制御指令を与えることで、操縦装置の手動操作あるい
は自動操作によって比較的容易かつ安全に遠隔操縦することができる。
【0020】
なお、本実施例において飛行装置3が備える制御装置37は、飛行制御に加えて、以下
に記載する評価支援に係る制御を併せて行ってもよい。評価支援に係る制御を行う制御装
置が別途飛行装置3に備わっていてもよいが、以下に制御装置37が評価支援を行う実施
例を記載する。
【0021】
図5に一例を示すように、制御装置37は、プロセッサ301、メモリ302、記憶装
置303、通信インタフェース304、入力装置305を備える。記憶装置303は、各
種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステート
ドライブ、フラッシュメモリなどである。通信インタフェース304は、通信ネットワー
ク2に接続するためのインタフェースであり、例えばイーサネット(登録商標)に接続す
るためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線
通信機、シリアル通信のためのUSB(Universal Serial Bus)コ
ネクタやRS232Cコネクタなどである。入力装置305は、データを入力する、例え
ばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。なお、後述
する制御装置37の各処理部はプロセッサ301が記憶装置303に記憶されているプロ
グラムをメモリ302に読み出して実行することにより実現され、制御装置37の各記憶
部はメモリ302及び記憶装置303が提供する記憶領域の一部として実現される。
【0022】
飛行装置3は、さらに、
図3、
図4に一例を示すように、カメラ38、距離センサ39
と、を備えていてもよい。
【0023】
カメラ38は、一般的なカメラであればよく、画像(映像含んでもよい)を取得する。
カメラ38は、制御装置37により撮像の指示を受け、撮像を行う。なお、カメラ38の
光軸は水平方向と、垂直方向のどちらを向いていてもよい。
【0024】
距離センサ39は、距離センサと撮像の対象物間の距離を測定する。距離センサ39は
、例えば既存のカメラ(ビジョンセンサ)、超音波、電磁波、レーザ光等を用いるもので
あってよく、測定方法も既存の実装を用いればよい。
【0025】
距離センサ39は、一例として、カメラ38の光軸を中心として、およそ対象の位置(
図5の39a、39b)に配されていればよい。
【0026】
<ユーザ端末4>
ユーザ端末4は、例えば評価を行うユーザが扱うコンピュータである。例えば、スマー
トフォンやタブレットコンピュータ、パーソナルコンピュータなどである。ユーザ端末4
は、例えば、タッチパネル、カメラ、マイクなどの入力装置を備えていてもよい。ユーザ
は、たとえばユーザ端末4で実行されるアプリケーションやWebブラウザによりサーバ
装置1にアクセスすることができる。
【0027】
<ソフトウェア構成>
以下に、本実施の形態によるサーバ装置1と、飛行装置3(制御装置37)と、のソフ
トウェア構成を説明する。なお、以下の構成は一例であり、これ以外の構成を有していて
もよい。
【0028】
図6は、制御装置37の、撮像支援に係る機能構成を示すブロック図である。
図6に示
すように、制御装置37は、撮像部311と、特性情報取得部312と、送信部313と
、飛行制御部314との各処理部と、画像記憶部331と、特性情報記憶部332との各
記憶部と、を含んで構成される。
【0029】
画像記憶部331は、撮像部311が撮像した画像(静止画像、動画像、動画像におい
ては音声も含んでよい)を記憶する。
【0030】
特性情報記憶部332は、
図7に一例を記載する、特性情報を記憶する。特性情報は、
画像IDに紐づけて、画像の撮像時間、慣性計測ユニットで取得した各種データ(加速度、
機体の角度等)、GNSSで取得したデータ、画像の解像度、明るさ(ISO感度、シャッタ
ースピード、絞り値、EV値等)、距離センサ39により取得した距離センサ39と対象
物の平面との距離などを含むがこれらに限定されない。
【0031】
撮像部311は、カメラ38により画像を取得する。撮像部311は、制御装置37が
起動後に指示によらず撮像を行ってもよいし、撮像部311がサーバ装置1、またはユー
ザ端末4から撮像の指示を取得した場合に撮像を行ってもよい。なお、撮像部311は、
対象物の画像をサーバ装置1またはユーザ端末4に送信している間に、撮像部311がサ
ーバ装置1またはユーザ端末4から撮像指示情報を取得した場合に、画像を取得してもよ
いし、撮像指示情報を取得したタイミングに相当する撮像中の映像のフレームを画像とし
て取得してもよい。撮像部311は、撮像した画像を画像記憶部331に記憶する。なお
、撮像部311は、取得した画像、映像と、後述する特性情報を紐づけて記憶してもよい
。
【0032】
特性情報取得部312は、撮像部311が取得した画像の特性情報を取得する。当該特
性情報は、例えば、画像撮影時に前述した慣性計測ユニットで取得した各種値、画像の解
像度、明るさ(ISO感度、シャッタースピード、絞り値、EV値等)、カメラ38の光
軸と対象物の垂直面または水平面がなす角度の情報、距離センサ39により取得した、距
離センサ39と対象物の部分の垂直面または水平面との距離などを含むが、これらに限定
されない。特性情報取得部312は、撮像部311が取得した画像情報のIDと紐づけて
、特性情報記憶部332に、当該特性情報を記憶する。
【0033】
送信部313は、サーバ装置1、またはユーザ端末4に、撮像部311が取得した映像
と、特性情報取得部312が取得した特性情報を送信する。
【0034】
飛行制御部314は、飛行装置3の飛行を制御する。飛行制御部314は、後述する飛
行処理部116の処理によりサーバ装置1より送信された信号を受信し、当該信号に則り
飛行装置3の飛行を制御する。
【0035】
図8は、サーバ装置1の機能構成を示すブロック図である。サーバ装置1は、画像取得
部111と、特性情報取得部112と、評価部113と、評価支援部114と、画像生成
部115と、飛行処理部116と、の各処理部と、画像記憶部131、特性情報記憶部1
32と、の各記憶部と、を備える。
【0036】
画像記憶部131は、後述する画像取得部111が取得した画像を記憶する。なお、当
該画像は画像記憶部331が記憶する画像と同じ画像であってよい。
【0037】
特性情報記憶部132は、後述する特性情報取得部112が取得した特性情報を記憶す
る。なお、当該特性情報は特性情報記憶部332が記憶する特性情報と同じ情報であって
よい。
【0038】
画像取得部111は、一例として、飛行装置3が取得し、送信した画像を取得する。画
像取得部111は、取得した画像を画像記憶部131に記憶する。なお、画像記憶部13
1は、後述する特性情報取得部112が取得した特性情報を、画像と関連付けて記憶して
もよい。
【0039】
特性情報取得部112は、一例として、飛行装置3が取得し、送信した特性情報を取得
する。特性情報取得部112は、取得した特性情報を特性情報記憶部132に記憶する。
なお、特性情報取得部112は、取得した特性情報をもとに、各種指標を特定、または算
定、評価等し、特性情報として画像IDに紐づけて記憶してもよい。例えば、特性情報取得
部112は、ある画像に紐付けられたシャッタースピードと絞り値とをもとに、当該画像
のEV値を特定してもよい。また、特性情報取得部112は、画像撮像時の飛行装置の加速
度の値について、事前に定められた所定の適正値との関係により、当該加速度の適性度を
示す値に換算した数値を算定して求めてもよい。更に、特性情報取得部112は、例えば
、ある画像群のそれぞれの画像に紐付けられたカメラ38と対象物との距離(隔離距離)
の情報と、事前に記憶された所定の適正値の情報をもとに、当該適正値からの誤差、また
、画像群内のそれぞれの画像の隔離距離の中から最小誤差、最大誤差の数値の特定、当該
誤差の平均値の算定、当該誤差の標準偏差の算定等を行ってもよい。また、特性情報取得
部112は、画像取得時の機体の角度(ヨー角度、ロール角度、ピッチ角度の少なくとも
いずれか)と、それぞれに設けられた所定の適正値との関係により、適切か否の評価を示
す評価値を算定または判定してもよい。なお、特性情報取得部112が各種指標を特定、
算定、評価等する例は上述した物に限らない。
【0040】
評価部113は、一例として、画像取得部111が取得した画像と、特性情報取得部1
12が取得した特性とを、評価する。
【0041】
評価部113は、画像取得部111が取得した画像の特性を評価する。評価部113は
、例えば、画像のピントがあっているか否かを判定する。評価部113は、一例として、
画像撮影時の飛行装置3の加速度の値が所定の範囲に含まれる場合に、画像のピントがあ
っていると判定してもよい。また、評価部113は、一例として、画像をフーリエ変換し
、画像の周波数分布を分析し、所定の割合以上の高周波数成分が含まれている場合に、ピ
ントがあっていると判定すればよいが、上述した方法に限らず、既知の手法により画像の
ピントがあっているか否かを判定すればよい。
【0042】
評価部113は、例えば、画像の明るさが適切か否かを判定する。評価部113は、一
例として、ISO感度、シャッタースピード、絞り値、EV値等の少なくともいずれかが
、それぞれに設定された所定の値の範囲に含まれる場合に、明るさが十分であると判定す
ればよい。なお、評価部113は、その他の既知の手法により、画像の明るさが十分であ
るか否かを判定してもよい。
【0043】
評価部113は、例えば、画像に映る対象物の部分の平面と飛行装置3との間隔が適切
か否かを判定する。ここで、対象物と飛行装置3との間隔は、対象物とカメラ38または
距離センサ39との間の距離であってよく、以下に間隔と記載した場合は同様とする。評
価部113は、一例として、画像撮影時の飛行装置3と対象物の部分との間隔が所定の範
囲に含まれる場合に、画像に映る対象物の部分の平面と飛行装置3との間隔が適切である
と判定すればよい。また、評価部113は、一例として、対象物の部分Aを撮像した画像
Aの画像撮影時の飛行装置3と部分Aとの間隔が、連続するタイミングで撮影をした、部
分Aの周囲の部分Bの画像撮影時の飛行装置3と対象物の部分Bとの間隔とが、所定の範
囲の距離差に含まれる場合に、画像に映る対象物の部分の平面と飛行装置3との間隔が適
切であると判定すればよい。
【0044】
評価部113は、例えば、画像取得時の機体の角度が適切か否かを判定する。評価部1
13は、一例として、カメラ38の光軸が垂直方向を向いていて略水平の検査対象物を画
像撮影時の飛行装置3の慣性計測ユニット(IMU)等が取得した機体のヨー角度の値が
所定の範囲内である場合に、画像取得時の機体のヨー角度が適切であると判定すればよい
。また、評価部113は、一例として、カメラ38の光軸が水平方向を向いていて略垂直
の検査対象物を画像撮影時の飛行装置3の慣性計測ユニット(IMU)等が取得した機体
のロール角度(またはピッチ角度。カメラ38の光軸方向に対応する。)の値が所定の範
囲内である場合に、画像取得時の機体のロール角度(またはピッチ角度)が適切であると
判定すればよい。評価部113は、一例として、2つの距離センサ39から取得した、そ
れぞれの距離センサ39と、特性情報取得部112が取得した画像の特性情報に含まれる
、飛行装置3と検査対象物の距離のそれぞれ、または距離の差が、所定の範囲内である場
合に画像取得時の機体の角度が適切であると判定してもよい。
【0045】
評価部113は、例えば、画像と、他の画像との重なり率が適切か否かを判定する。評
価部113は、一例として、直前の画像を撮像してから評価対象の画像を撮像するまでの
時間において、飛行装置3が所定の速度で所定の時間、飛行をしていた場合に、画像の重
なり率が適切であると判定する。また、評価部113は、一例として、画像取得部111
が取得した画像であって、検査対象である構造物の一部の部分を含む部分画像を、構造物
の隣り合う部分を含む部分画像と共通する部分をオーバーラップするように重ね、その重
なり率が所定の範囲である場合に、画像の重なり率が適切であると判定すればよい。
【0046】
評価支援部114は、ユーザが画像を評価する支援をする。評価支援部114は、特性
情報取得部112が取得した、ユーザが画像を評価するために必要な情報を含む評価用画
面を生成し、ユーザ端末4に提示する。
【0047】
評価支援部114は、一例として、ユーザによる画像の撮影時停止検証、明るさ検証、
間隔検証、角度検証、オーバーラップ検証の支援機能を備える。
【0048】
図9は、評価支援部114が生成し、ユーザ端末4に提示する評価用画面の一例である
。評価支援部114は、一例として、1以上の画像と、特性情報取得部112が取得した
、当該画像と紐づけて記憶された特性情報を、合わせてアップロードを受け付ける。評価
支援部114は、アップロードを受け付けた画像の中から、ユーザの選択操作を受付け、
評価支援をする画像を特定する。
【0049】
評価支援部114は、
図10と
図11に一例を示すように、撮影時停止検証を支援する
機能として、特性情報取得部112が取得した、評価対象となる画像撮影時の飛行装置3
の加速度の値、またはその適性度を示す値に換算した数値を、ユーザ端末4に提示する。
なお、ピント判定値に所定の範囲(良好、十分、不十分など)を設定しておき、評価対象
画像のピント判定値がどの範囲に含まれるかにより、ユーザ端末4に色を変えて提示して
もよい。
【0050】
評価支援部114は、
図12に一例を示すように、ユーザによる明るさ検証を支援する
機能として、特性情報取得部112が取得した、評価対象となる画像のISO感度、シャ
ッタースピード、絞り値、EV値等をユーザ端末4に提示する。
【0051】
評価支援部114は、
図13に一例を示すように、ユーザによる間隔検証を支援する機
能として、特性情報取得部112が取得した、評価対象となる画像の隔離距離、適正値、
適正値からの誤差、最小誤差、最大誤差、誤差の平均値、誤差の標準偏差等をユーザ端末
4に提示する。また、評価支援部114は、例えば、縦軸に当該誤差、横軸をファイルナ
ンバーとして、グラフを生成し、ユーザ端末4に提示してもよい。
【0052】
評価支援部114は、
図14に一例を示すように、ユーザによる角度検証を支援する機
能として、特性情報取得部112が取得した、カメラ38が評価対象となる画像を撮像し
た際の機体傾き、正対確認用距離(左)、正対確認用距離(右)、機体ヨー(a)、ジン
バルヨー(b)、適正値(c)、誤差(a+b-c)、最小誤差、最大誤差、誤差の平均
値、誤差の標準偏差等をユーザ端末4に提示する。また、評価支援部114は、例えば、
縦軸に当該誤差、横軸をファイルナンバーとして、グラフを生成し、ユーザ端末4に提示
してもよい。
【0053】
評価支援部114は、
図15に一例を示すように、ユーザによるオーバーラップ検証を
支援する機能として、特性情報取得部112が取得した、カメラ38が評価対象となる画
像を撮像した際の機体の高度、当該高度から評価対象となる画像を撮像する直前に撮像し
た直前画像を撮像した際の機体31の高度を差し引いた値(上昇下降距離という)の絶対
値、上昇下降距離の適正値、上昇下降距離から当該適正値を差し引いた誤差、上昇下降距
離の最大値、上昇下降距離の最小値、上昇下降距離の平均値、上昇下降距離の標準偏差等
をユーザ端末4に提示する。また、評価支援部114は、例えば、縦軸に上昇下降距離、
横軸をファイルナンバーとして、グラフを生成し、ユーザ端末4に提示してもよい。なお
、上述した例は、検査対象物が略垂直な構造物である場合の例であり、例えば、検査対象
物が略水平な構造物である場合には、評価支援部114は、ユーザによるオーバーラップ
検証を支援する機能として、特性情報取得部112が取得した、カメラ38が評価対象と
なる画像を撮像した際の機体の、少なくとも緯度または経度のいずれかから評価対象とな
る画像を撮像する直前に撮像した直前画像を撮像した際の機体31の少なくとも緯度また
は経度のいずれかを差し引いた値(前進前後距離という)の絶対値、前進前後距離の適正
値、前進前後距離から当該適正値を差し引いた誤差、前進前後距離の最大値、前進前後距
離の最小値、前進前後距離の平均値、前進前後距離の標準偏差等をユーザ端末4に提示す
る。また、評価支援部114は、例えば、縦軸に前進前後距離、横軸をファイルナンバー
として、グラフを生成し、ユーザ端末4に提示してもよい。
【0054】
評価支援部114は、評価対象画像について、適切か否かの判定をユーザの操作により
取得し、画像に紐づけて記憶する。また、評価支援部114は、評価部113が行った評
価の結果を、評価対象画像に紐づけてユーザ端末4に提示してもよい。
【0055】
画像生成部115は、一例として、複数の部分画像を繋ぎ合わせ、評価対象である構造
物の全体、または評価対象領域をカバーする結合画像を生成する。画像生成部115は、
評価部113が適切であると評価した画像群、または評価支援部114が、ユーザより適
切であると選択された複数の画像を用いて、結合画像を生成してもよい。複数の部分画像
をつなぎ合わせる技術は既知の手法を用いればよく、説明は省略する。
【0056】
なお評価支援部114は、画像群を用いて生成した結合画像における、画像の重なり率
を算定してもよい。この場合、評価支援部114は、例えば、(重なり部分の面積÷全体
の面積)×100などの式により、重なり率を算定してもよく、さらにユーザ端末4に画
像群の重なり率を提示してもよい。また、評価部113は重なり率が所定の値を超える場
合に、画像群が点検に適していると評価してもよい。
【0057】
飛行処理部116は、飛行装置3に飛行に関する指示となる信号を送信する処理を行う
。
【0058】
飛行処理部116は、撮像部311が撮像した隣り合う画像同士が所定のラップ率とな
る速度で移動するように、飛行制御に関する信号と、撮像部311による撮像を制御する
信号とを、飛行装置3に送信する。例えば、飛行処理部116が所定の速度で所定の時間
、飛行装置3を飛行させたあとに飛行装置3をその位置で飛行を停止してホバリングさせ
、撮像部311は対象物を撮像するというサイクルを繰り返すことで、その一部が重なる
画像を取得していけばよい。飛行処理部116が、飛行速度と、飛行時間の少なくともい
ずれかを変更すれば、ラップ率を変更することができる。なお、飛行処理部116が所定
の速度で飛行装置3を飛行させている間に、撮像部311は当該所定の速度に対応する時
間間隔で、対象物を撮像してもよい。
【0059】
なお、飛行処理部116は、所定の速度で所定の時間、飛行装置3を飛行させるが、例
えば風の影響などを受け、移動距離に想定の距離から所定の誤差が出てしまった場合、直
前の飛行を開始したポイントに飛行装置3を戻し、再度所定の速度で所定の時間の飛行を
行うように信号を送信する処理を行えばよい。また、飛行処理部116は、例えば風の影
響などを受け、移動距離に想定の距離から所定の誤差が出てしまった場合、所定の撮影ポ
イントに飛行装置3を戻すように信号を送信する処理を行ってもよいし、所定の撮影ポイ
ントから超過した距離をユーザ端末4に提示してもよい。
【0060】
図16を用いて、本実施形態の代表的な処理の流れを説明する。サーバ装置1の飛行処
理部116が飛行と撮像に関する信号を飛行装置3に送信する(1001)。飛行装置3
の飛行制御部314が飛行装置3を飛行させ、撮像部311が撮像する(3001)。特
性情報取得部312が特性情報を取得する(3002)。送信部313は、画像と特性情
報をサーバ装置1に送信する(3003)。サーバ装置1が備える画像取得部111が画
像を、特性情報取得部112が特性情報を取得する(1002)。評価部113が特性情
報をもとに画像を評価する(1003)。評価支援部114が画像評価支援画面を生成し
、サーバ装置1に表示する(1004)。
【0061】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本
開示の技術的範囲はかかる例に限定されない。上述した実施の形態は、本発明の理解を容
易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は
、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均
等物が含まれることは言うまでもない。また、本開示の技術分野における通常の知識を有
する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更
例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技
術的範囲に属するものと了解される。
【0062】
本明細書において説明した装置は、一部または全部がネットワークで接続された複数の
装置(例えばクラウドサーバ)等により実現されてもよい。例えば、サーバ装置1のプロ
セッサおよび記憶装置は、互いにネットワークで接続された異なるサーバにより実現され
てもよい。
【0063】
本明細書において説明した装置による一連の処理は、ソフトウェア、ハードウェア、お
よびソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。本実施
形態に係るサーバ装置1の各機能を実現するためのコンピュータプログラムを作製し、P
C等に実装することが可能である。また、このようなコンピュータプログラムが格納され
た、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例え
ば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上
記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信
されてもよい。
【0064】
また、本明細書において説明した処理は、必ずしも説明した順序で実行されなくてもよ
い。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステッ
プが採用されてもよく、一部の処理ステップが省略されてもよい。
【0065】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定
的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代
えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【符号の説明】
【0066】
1 サーバ装置
2 ネットワーク
3 飛行装置
4 ユーザ端末
31 機体
32 バッテリ
33 腕
34 飛行モータ
35 ピッチロータ
36 サーボモータ
37 制御装置
38 カメラ
39 距離センサ
101 プロセッサ
102 メモリ
103 記憶装置
104 通信インタフェース
105 入力装置
106 出力装置
111 画像取得部
112 特性情報取得部
113 評価部
114 評価支援部
115 画像生成部
116 飛行処理部
131 画像記憶部
132 特性情報記憶部
301 プロセッサ
302 メモリ
303 記憶装置
304 通信インタフェース
305 入力装置
311 撮像部
312 特性情報取得部
313 送信部
314 飛行制御部
331 画像記憶部
332 特性情報記憶部
【要約】
【課題】飛行体により撮像した対象物の画像の評価を支援すること。
【解決手段】本発明は、構造物の検査に用いる部分画像の評価を支援する評価支援装置で
あって、飛行体が備えるカメラにより撮像した、前記構造物の部位の一部を捉えた複数の
部分画像情報を取得する部分画像取得部と、前記部分画像の特性を評価する評価部と、を
備え、前記特性は、第1の部分画像と、その直前またはその直後に撮像した第2の部分画
像に含まれる前記部位の重なり率である、評価支援装置である。
【選択図】
図1