特開 2023-178708 画像処理装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023178708

(43)【公開日】2023-12-18

(54)【発明の名称】画像処理装置、画像処理方法およびプログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20231211BHJP

   H04N 23/66 20230101ALI20231211BHJP

   H04N 23/69 20230101ALI20231211BHJP

   H04N 23/695 20230101ALI20231211BHJP

   B64C 27/08 20230101ALI20231211BHJP

   B64C 39/02 20060101ALI20231211BHJP

   B64D 47/08 20060101ALI20231211BHJP

   G05D 1/10 20060101ALN20231211BHJP

【ＦＩ】

H04N5/232 290

H04N5/232 030

H04N5/232 960

H04N5/232 990

B64C27/08

B64C39/02

B64D47/08

G05D1/10

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022091540

(22)【出願日】2022-06-06

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110000121

【氏名又は名称】ＩＡＴ弁理士法人

(72)【発明者】

【氏名】倉重 規夫

(72)【発明者】

【氏名】尾川 英明

(72)【発明者】

【氏名】松岡 賢司

【テーマコード（参考）】

5C122

5H301

【Ｆターム（参考）】

5C122EA12

5C122EA63

5C122EA67

5C122FA18

5C122FE05

5C122FH11

5C122FH18

5C122GC77

5C122HB01

5H301AA06

5H301GG07

5H301GG08

5H301GG09

5H301LL03

(57)【要約】

【課題】 自機ドローンで撮影された画像の少なくとも一部が不鮮明であった場合に、他のドローンで撮影された鮮明な画像を利用して合成画像を生成する画像処理装置、画像処理方法およびプログラムを提供する。
【解決手段】 自機ドローンが撮像した撮影画像を取得する画像取得部と、他のドローンが撮像した撮像画像を取得する通信制御部と、自機ドローンの撮影画像が不鮮明である場合に、不鮮明な撮影画像をより条件のよい他のドローンの撮影画像に置き換える画像合成部とを備える。
【選択図】 図１

【特許請求の範囲】

【請求項1】

自機ドローンが撮像した撮影画像を取得する画像取得部と、
他のドローンが撮像した撮像画像を取得する通信制御部と、
前記自機ドローンの撮影画像が不鮮明である場合に、前記不鮮明な撮影画像をより条件のよい前記他のドローンの撮影画像に置き換える画像合成部と
を備えることを特徴とする画像処理装置。

【請求項2】

前記条件は画像の鮮明度であって、
前記画像合成部は、
少なくとも前記自機ドローンの撮影画像の画角と前記他のドローンの撮影画像の画角とに基づいて、前記自機ドローンの撮影画像または前記他のドローンの撮影画像の画角を調整し、各撮影画像の領域ごとに最も高い鮮明度の撮影画像を前記自機ドローンの撮影画像に合成する、
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記条件は気象条件であって、
前記画像合成部は、
前記他のドローンの撮影画像に基づいて前記他のドローンが雲の中であるか否か、または
前記他のドローンが雨や雪の中であるか否か、
を判定し、
最も気象条件がよい前記他のドローンを特定し、
少なくとも前記自機ドローンの撮影画像の画角と前記他のドローンの撮影画像の画角とに基づいて、前記自機ドローンの撮影画像または前記他のドローンの撮影画像の画角を調整し、各撮影画像の領域ごとに最も高い鮮明度の撮影画像を前記自機ドローンの撮影画像に合成する、
ことを特徴とする請求項１に記載の画像処理装置。

【請求項4】

画像取得部が、前記自機ドローンが撮像した撮影画像を取得するステップと、
通信部が他のドローンが撮像した撮影画像を取得するステップと、
画像合成部が、前記自機ドローンの前記撮影画像が不鮮明である場合に、前記不鮮明な撮影画像をより条件のよい前記他のドローンの撮影画像に置き換えるステップと
を有することを特徴とする画像処理方法。

【請求項5】

コンピュータに、
自機ドローンの制御部が、
前記自機ドローンが撮像した撮影画像を取得するステップと、
他のドローンが撮像した撮像画像を取得するステップと、
前記自機ドローンの前記撮影画像が不鮮明である場合に、前記不鮮明な撮影画像をより条件のよい前記他のドローンの撮影画像に置き換えるステップ
を含む処理を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ドローンに搭載された画像処理装置、画像処理方法およびプログラムに関するものである。

【背景技術】

【0002】

飛行する複数のドローンで撮影される映像を鑑賞する場合に、ユーザが複数のドローンの飛行ルートを選択してそのルートの映像をリアルタイムで鑑賞できるドローン撮影映像提供システムが知られている（以下の特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１５３２２１号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、選択されたルートの撮影画像が不鮮明であった場合で、他のルートに鮮明な映像が映し出される地点がある場合には、他のルート（別々の地点）で画像の確認ができるのみである。また、ドローンを利用した映像がいわゆる一発撮りのような場合に１カットだけ対象物が雲や霧に隠れたり、映像の一部が不鮮明であった場合には、撮り直ししなければならない。

【0005】

そこで本発明の課題は、ドローンで撮像された鑑賞対象である映像の少なくとも一部が不鮮明であった場合でも鮮明な画像を利用できる画像処理装置、画像処理方法およびプログラムを提供することである。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明に係る画像処理装置の一側面は、自機ドローンが撮像した撮影画像を取得する画像取得部と、他のドローンが撮像した撮像画像を取得する通信制御部と、自機ドローンの撮影画像が不鮮明である場合に、不鮮明な撮影画像をより条件のよい他のドローンの撮影画像に置き換える画像合成部とを備える、ことを特徴とする。

【0007】

また、本発明に係る画像処理方法の一側面は、画像取得部が自機ドローンが撮像した撮影画像を取得するステップと、通信部が他のドローンが撮像した撮影画像を取得するステップと、画像合成部が、自機ドローンの撮影画像が不鮮明である場合に、不鮮明な撮影画像をより条件のよい他のドローンの撮影画像に置き換えるステップとを備える、ことを特徴とする。

【0008】

また、本発明に係るプログラムの一側面は、コンピュータに、自機ドローンの制御部が自機ドローンが撮像した撮影画像を取得するステップと、他のドローンが撮像した撮像画像を取得するステップと、自機ドローンの撮影画像が不鮮明である場合に、不鮮明な撮影画像をより条件のよい他のドローンの撮影画像に置き換えるステップを含む処理を実行させる、ことを特徴とする。

【発明の効果】

【0009】

本発明によれば、自機ドローンで撮影された画像の少なくとも一部が不鮮明であった場合に、他のドローンで撮影された鮮明な画像を利用して合成画像を生成することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施の形態に係る画像処理装置の構成を示した図である。

【図2】自機ドローンの撮像画像と他のドローンの撮像画像の画角について説明する図である。

【図3】画角統一処理を説明する図である。

【図4】画像合成処理を説明するフローチャートである。

【図5】画像合成処理の具体例を説明する図である。

【図6】画像合成処理の他の具体例を説明する図である。

【発明を実施するための形態】

【0011】

［一実施の形態］
以下に、本発明の一実施の形態に係る画像処理装置１について説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、構成要素、構成要素の配置位置および接続形態の順序等は、一例であり、本発明を限定する主旨ではない。また、各図は、必ずしも厳密に図示されたものではない。

【0012】

（自機ドローンＷａに搭載された画像処理装置の構成）
図１は、画像処理装置１の構成例を示す図である。ドローンＷａ，Ｗｂ－１,Ｗｂ－２・・（以下、個々に区別する必要がない場合、単に、ドローンＷと称する）が集団を形成し、少し距離が離れた状態で同じ方向に飛んでおり、集団のドローンＷの中の所定の位置に配置するように設定された自機ドローンＷａに画像処理装置１は搭載されている。画像処理装置１は、自機ドローンＷａの撮影部２０により撮像された撮影画像、および自機ドローンＷａ以外の他のドローンＷｂ－１,Ｗｂ－２・・（以下、個々に区別する必要がない場合、ドローンＷｂと称する）により撮像された撮影画像を後述するように合成し、より鮮明な撮影画像を生成する。その結果、ユーザが希望する所定の風景（例えば、湖と山からなる風景）の、ユーザが希望する条件での画像（例えば、晴天の空の画像）を得ることができる。

【0013】

画像処理装置１は、制御部１０、撮影部２０、ＧＰＳ受信機３０，測定部４０、通信部５０および記憶部６０を有する。

【0014】

制御部１０は、ＣＰＵ（Central Processing Unit）、記憶部位（ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発メモリ等）、その他の要素から構成される。制御部１０は、記憶部６０に記憶された所定のプログラムを実行することで、駆動制御系１０１と画像処理制御系１０２として機能する。駆動制御系１０１は、駆動制御信号を飛行機構部内のエンジン部（図示せず）に出力させてドローンの飛行駆動を制御する。これにより自機ドローンＷａは、離陸、着陸、上昇、下降、右旋回、左旋回、前進、後進、右シフト、左シフトなどの各種移動動作をすることができる。

【0015】

画像処理制御系１０２は、画像取得部２００１、通信制御部２００２、および画像合成部２００３を有する。画像取得部２００１～画像合成部２００３については、後述する。

【0016】

撮影部２０は、所望の撮像範囲に含まれる被写体（例えば、撮像対象となる上空の様子、山や川等の景色、地上の建物）を撮影する撮影用のカメラである。

【0017】

ＧＰＳ受信機３０は、自機ドローンＷａが存在する緯度、経度を示す位置情報を取得する。なお、高度情報は気圧高度計（図示せず）から取得される。

【0018】

測定部４０は、物体にレーザ光を照射し、物体で反射された反射光を受光し、反射光により自機ドローンＷａとドローンＷｂとの間の距離を測定する。レーザ光による距離の測定方式は、一例として、タイムオブフライト方式でよい。距離測定については、この方式に限定されない。例えば、超音波を用いた測定や物体の大きさから距離を推定する方法を用いてもよい。物体の大きさから距離を推定する方法は、ドローンの型番が通信部５０から把握されるので把握された幅から映像上におけるピクセル幅を算出し、このピクセル幅に基づいて距離を推定することができる。

【0019】

通信部５０は、制御部１０の制御に基づいて、外部携帯装置７０またはドローンＷｂと各種データの送受信を行う。

【0020】

記憶部６０は、制御部１０の制御のための各種データを記憶するもので、例えば、制御部１０が実行する所定のプログラム、自機ドローンＷａの撮影部２０により撮影された撮影画像およびドローンＷｂにより撮像された撮影画像等を記憶する。なお、記憶部６０は、各種データを記憶するためのバッファ領域が確保され、フラッシュメモリ（不揮発性メモリ）やソリッドステートドライブ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ， ＳＳＤ）等が用いられる。

【0021】

外部携帯装置７０は、デスクトップ型パーソナルコンピュータ端末、ノート型パーソナルコンピュータ端末、スマートフォン端末、タブレット端末、腕時計型端末、眼鏡型端末など、撮影データを画面表示するものである。外部携帯装置７０は、所謂インターネットである広域ネットワーク、ローカルネットワーク、電話回線などを含む通信ネットワークによりクラウドサーバ（図示せず）と接続してデータを送受信するものであり、通信部５０を通じて、ドローンと接続して通信ができるようになっていれば如何なるものであっても構わない。

【0022】

（ドローンＷｂの構成）
ドローンＷｂは、上述した自機ドローンＷａと同様の構成を有するが、制御部１０に相当する制御部においては、少なくとも画像取得部２００１および通信制御部２００２に相当する構成を有していればよい。

【0023】

（画像処理制御系１０２）
画像処理制御系１０２の画像取得部２００１～画像合成部２００３について説明する。画像取得部２００１は、撮影部２０により撮影された画像（以下、適宜、自機ドローンＷａの撮影画像と称する）を画像合成部２００３に供給する。通信制御部２００２は、通信部５０を介してドローンＷｂにより撮影された画像（以下、適宜、ドローンＷｂの撮影画像と称する）を取得し、画像合成部２００３に供給する。

【0024】

画像合成部２００３は、自機ドローンＷａの撮影画像が不鮮明である場合に、その不鮮明な画像をより条件のよいドローンＷｂの撮影画像に置き換える画像合成処理を実行する。その結果得られた画像は、通信制御部２００２により通信部５０を介して外部携帯装置７０に送信され、外部携帯装置７０の表示部（図示せず）に表示される。なお、外部携帯装置７０の表示部への表示はリアルタイムの表示でも良いし、撮影後に表示されるようにしてもよい。

【0025】

（画像合成処理：画角統一処理）
画像合成処理について説明する。画像合成部２００３は、まず、自機ドローンＷａの撮影画像と、ドローンＷｂの撮影画像に対して、それぞれの撮影画像の画角を統一する画角統一処理を実行する。後述する合成処理において合成する撮影画像の画角を統一する必要があるからである。

【0026】

図２は、図中右側に示す模式的に示した風景に対してドローンＷｂが先に、自機ドローンＷａがその後を飛行している状況を示している。図２（ａ）は自機ドローンＷａの撮影画像を、図２（ｂ）はドローンＷｂ－１の撮影画像を示している。自機ドローンＷａの撮影部２０のレンズ、ドローンＷｂ－１の撮影部のレンズは、形状などを含め同じものであるとする。

【0027】

自機ドローンＷａはドローンＷｂ－１の後方にいるので、自機ドローンＷａはドローンＷｂ－１より広い範囲を撮影（広角に撮影）する。その結果、図２（ａ），（ｂ）に示すようにそれぞれの撮影画像の画角が異なる。そこで自機ドローンＷａの撮影画像とドローンＷｂ－１の撮影画像の画角が同じになるように調整される。

【0028】

なお図２の例では表れていないが、図３に示すように、自機ドローンＷａとドローンＷｂでは、撮影された撮影対象物の画像の角度が異なる場合があるので、射影変換も行われる。図３（ａ）は、自機ドローンＷａが撮影対象を正面から撮像した際の撮影画像のイメージであり、図３（ｂ）は、ドローンＷｂ－１が同じ撮影対象をやや左側から撮影した際の撮影画像のイメージである。ドローンＷｂ－１の撮像画像の、自機ドローンＷａの撮像画像と同じ画角部分が、正面となるように（図中、点線の枠に収まるように）射影変換される。なお、射影変換は、平面射影変換技術あるいはホモグラフィ変換技術であり、ある視点（第１視点）から見た仮想平面の平面図形を、別の視点（第２視点）からみた仮想平面の平面図形に変換する技術であるが、この手法は公知技術（例えば、特許７０２７４７６号公報に開示されている）であるので、詳細な説明は省略する。

【0029】

（画像合成処理：画像鮮明化処理）
次に、画像合成部２００３は、画角統一処理が施された各ドローンＷの撮影画像に対して、画像鮮明化処理および画像鮮明度把握処理を実行し、各ドローンＷの撮影画像ごとに鮮明度を算出する。画像鮮明化処理は、霧除去処理などの画像の視認性を向上させる処理である。

【0030】

（画像合成処理：画像鮮明度把握処理）
画像鮮明度把握処理は、セマンティックセグメンテーション（Ｓｅｍａｎｔｉｃ－Ｓｅｇｍｅｎｔａｔｉｏｎ）により画素レベルで領域判定が可能なエリアを抽出し、そのエリアの鮮明度を算出する処理である。なお、領域判定が可能なエリアが複数抽出された場合にはエリアごとの鮮明度が算出される。

【0031】

セマンティックセグメンテーションとは、画像内の全画素にラベルやカテゴリを関連付けるディープランニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）のアルゴリズムである。特徴的なカテゴリを形成する画素の集まりを認識するために使用される。

【0032】

なお、鮮明度を算出する対象画像（各ドローンＷの撮影画像）の中で、予め設定された条件を満たす画像（入力信号）を周波数解析に使用するための使用可能基準値を決定し、決定した各基準値に対して高速フーリエ変換処理を行い、全部の変換結果を合算して合計パワースペクトルを求め、この合計パワースペクトルが、周波数解析した信号内に、どの周波数成分がどの程度含まれているかに基づいて鮮明度を判定する手法を用いてもよい。この手法は公知技術（例えば、特許第４３２１５９１号公報に開示されている）であるので、詳細な説明は省略する。

【0033】

（画像合成処理：画像選択合成処理）
画像合成部２００３は、各ドローンＷの撮影画像ごとに鮮明度を算出すると、自機ドローンＷａの撮影画像の例えば不鮮明なエリアにおける鮮明度と、当該エリアと対応するドローンＷｂの撮影画像のエリアにおける鮮明度とを比較していずれの鮮明度の高い方を選択し、不鮮明な画像を、選択した鮮明な撮影画像に置き換えて画像合成を行う。

【0034】

鮮明度比較において、鮮明度が高い、低いという判断基準としてコントラストの高低を利用することができる。一般的に、高コントラストな画像ほど視覚的に鮮明度が高いと認識される。撮影画像データのヒストグラムの分散で鮮明度を判断することができる。すなわち、分散が大きい場合には、コントラストが高く、鮮明度が高いと判断され、分散が小さい場合にはコントラストが低く、鮮明度が低いと判断される。また例えば、雲が映り込んでいる画像、火事における黒い煙が映り込んでいる画像（ユーザが望まない画像）を鮮明度が低いとすることもできる。雲が映り込んでいるかを１つの指標として、より白い方を鮮明度が低いとするために、ＲＧＢ＝（２５５，２５５，２５５）に近い方（平均が２５５に近い方）が、鮮明度が低いとすることができる。火事における黒い煙が映り込んでいるかを１つの指標として、より黒い方を鮮明度が低いとするために、ＲＧＢ＝（０,０,０）に近い方（平均が０に近い方）が、鮮明度が低いとすることができる。

【0035】

［画像合成処理の説明］
図４，図５を参照して自機ドローンＷａの画像処理装置１の画像合成処理を説明する。まず、図４のフローチャートを参照して、画像合成処理の流れを説明し、その後、図５を参照して具体例を説明する。自機ドローンＷａおよびドローンＷｂは、同じ撮影対象物（例えば、湖と山からなる風景）を撮影しながら飛行しているものとする。

【0036】

ステップＳ１０１において、画像処理装置１の画像取得部２００１は、撮影部２０により撮影された撮影画像の取得およびその画像合成部２００３への供給を開始する。通信制御部２００２は、通信部５０を介して、ドローンＷｂにより撮影された撮影画像の取得およびその画像合成部２００３への供給を開始する。

【0037】

次に、ステップＳ１０２において、画像合成部２００３は、自機ドローンＷａの撮影画像とドローンＷｂの撮影画像の画角を統一する画角統一処理を実行する。

【0038】

ステップＳ１０３において、画像合成部２００３は、各ドローンＷの撮影画像に対して、画像鮮明化処理および画像鮮明度把握処理を実行し、各ドローンＷの撮影画像ごとに鮮明度を算出する。すなわち、各ドローンＷの撮影画像に対して、霧除去処理などの画像の視認性を向上させる処理が実行され、セマンティックセグメンテーションで撮影画像から、領域判定が可能なエリアが抽出され、そのエリアの鮮明度が算出される。

【0039】

ステップＳ１０４において、画像合成部２００３は、画像選択合成処理を実行し、自機ドローンＷａの撮影画像の不鮮明なエリアにおける鮮明度と、当該エリアと対応するドローンＷｂの撮影画像のエリアにおける鮮明度とを比較して鮮明度の高い方を選択し、不鮮明な画像を、選択した鮮明な撮影画像に置き換えて画像合成を行う。より具体的には、自機ドローンＷａの撮影画像とドローンＷｂの撮影画像についてエリアごとに鮮明度を比較し、エリアごとにどのドローンＷの画像の鮮明度が高いのか判定する。画像合成部２００３は、エリアごとに最も高い鮮明度を有する撮影画像を選択して、それらを合成する。ステップＳ１０５において、通信制御部２００２は、生成された合成画像を、通信部５０を介して外部携帯装置７０に送信する。

【0040】

＜実施例＞

【0041】

次に、図５を参照して、具体例に基づいて画像合成処理を説明する。この例の場合、図２に示したように、空、山、湖からなる風景の撮影対象に対して、ドローンＷｂ－１が先に、自機ドローンＷａがその後を飛行して撮影対象を撮影し、自機ドローンＷａの画像合成部２００３にはそれらの撮影画像が供給されるものとする（ステップＳ１０１）。そして自機ドローンＷａの撮影画像とドローンＷｂ－１の撮影画像に対して画角統一処理が施されているものとする（ステップＳ１０２）。

【0042】

図５（ａ）は、画角統一処理後の自機ドローンＷａの撮影画像であり、図５（ｄ）は、画角統一処理後のドローンＷｂ－１の撮影画像である。図５（ａ）と図５（ｄ）には、撮影対象の山の画像２００（以下、山２００と称する）、空の画像２１０（以下、空２１０と称する）、および鳥の画像（以下、鳥２３０と称する）が含まれている。図５（ａ）には、湖の画像２２０（以下、湖２２０と称する）が含まれているが、図５（ｄ）には含まれていない。なお図５（ａ），（ｂ），（ｃ）中の灰色部分は画像が不鮮明であることを示している。

【0043】

画角統一処理後の自機ドローンＷａおよびドローンＷｂ－１の撮影画像の鮮明度が算出される（ステップＳ１０３）。具体的には、自機ドローンＷａの撮影画像に対して霧除去処理等の画像鮮明化処理が行われる（図５（ｂ））。その後セマンティックセグメンテーションが実行され（図５（ｃ））、山２００、空２１０および鳥２３０、並びに湖２２０を含む領域３００が、領域判定が可能なエリアとして抽出され、山２００、空２１０、鳥２３０および領域３００の鮮明度が算出される。

【0044】

同様に、ドローンＷｂ－１の撮影画像に対して霧除去処理等の画像鮮明化処理が行われ（図５（ｅ））、その後セマンティックセグメンテーションが実行され（図５（ｆ））、山２００、空２１０および鳥２３０が、領域判定が可能なエリアとして抽出され、山２００、空２１０および鳥２３０の鮮明度が算出される。なお領域判定可能なエリアとして、例えば、山２００、空２１０および鳥２３０を含む矩形領域、湖２２０を含む矩形領域を抽出することもできるし、山の画像（山の形に沿った画像）等を抽出することもできる。

【0045】

その後、自機ドローンＷａの撮影画像とドローンＷｂ－１の撮影画像の鮮明度が比較されて鮮明度の高いエリアが選択されて画像が合成される（ステップＳ１０４）。この例では、自機ドローンＷａの山２００、空２１０、および鳥２３０の鮮明度と、ドローンＷｂ－１の山２００、空２１０および鳥２３０の鮮明度とが比較される。自機ドローンＷａの山２００、空２１０および鳥２３０の鮮明度は、ドローンＷｂ－１の山２００、空２１０および鳥２３０の鮮明度より低いので、ドローンＷｂ－１の山２００、空２１０および鳥２３０が選択される。自機ドローンＷａの領域３００の鮮明度が比較される画像がドローンＷｂ－１の撮像画像に存在しないので、自機ドローンＷａの領域３００が選択される。そして選択された自機ドローンＷａの撮影画像の領域３００と、ドローンＷｂ－１の撮影画像の山２００、空２１０および鳥２３０とが合成される（図５（ｇ））。

【0046】

以上のように、自機ドローンＷａの撮影画像の中に不鮮明な部分があっても、その不鮮明な撮影画像を、ドローンＷｂの撮影画像の鮮明な部分に置き換えて合成された合成画像が生成されるので、よりユーザの希望に沿った撮影画像を得ることができる。

【0047】

＜動体の削除、データベース画像の利用＞
上述した実施例では、空を飛んでいる鳥の画像（鳥２３０）が映り込んだ画像がそのまま合成されたが、動きのある物体（動体）が含まれない画像を希望するユーザも存在する。図２に示したように、撮影対象に対して、ドローンＷｂ－１が先に、自機ドローンＷａがその後を飛行している場合、自機ドローンＷａの撮像画像に、ドローンＷｂ－１の画像が含まれる場合もある。このような場合も動体としてのドローンＷｂ－１の画像が含まれない方が望ましい場合がある。

【0048】

図６は、図５と同じ自機ドローンＷａの撮影画像とドローンＷｂ―１の撮影画像を用い、鳥２３０が削除された合成画像を生成する例である。

【0049】

図６（ａ）～図６（ｃ）では、図５（ａ）～図５（ｃ）を参照して説明した処理と同様の処理が実行される。 図６（ｄ）～図６（ｆ）では、図５（ｄ）～図５（ｆ）を参照して説明した処理と同様の処理が実行される。

【0050】

図６（ｃ）に示すように、自機ドローンＷａの撮影画像において、山２００、空２１０、鳥２３０および領域３００の鮮明度が算出されるとともに、鳥２３０は動く画像であると認定される。ドローンＷｂ－１の撮影画像において、図６（ｆ）に示すように、山２００、空２１０および鳥２３０の鮮明度が算出されるとともに、鳥２３０は動く画像であると認定される。鳥２３０が動体の画像であるかの認定は、公知の技術を利用することができる。

【0051】

この例の場合、鳥２３０を含まない空の画像は、自機ドローンＷａの撮影画像およびドローンＷｂ－１の撮影画像のいずれにも存在しないので、この場合、画像合成部２００３は、例えば、グーグルアース（登録商標）のデータベース、過去に撮影された撮影画像が記憶されたデータベース（いずれも図示せず）から鮮明な青空の画像２１０を抽出し（図６（ｊ））、ドローンＷｂ－１の撮影画像の空２１０と置き換える（図６（ｈ））。そして画像合成部２００３は、自機ドローンＷａの撮影画像の領域３００と、ドローンＷｂ－１の撮影画像の山２００、データベースの画像と空２１０が置き換えられたドローンＷｂ－１の撮影画像の空２１０とが合成される（図６（ｉ））。

【0052】

＜動体の画像を削除せずに表示させる利点＞
図６の例では、鳥２３０を削除したが、図５の例のように削除しないことによる利点について説明する。鳥の画像、近くを飛行するドローンＷｂ－１の画像を視認できれば、それらとの衝突を避けるように自機ドローンＷａを操作することができる。すなわち障害物に衝突するリスクの低減を図ることができる。

【0053】

なお、動体の画像を表示させる場合（図５の例）、画像鮮明化処理を施さないようにもできる。画像鮮明化処理により動体の画像は変形等して、操作者が障害物として認識できないことがあるためである。

【0054】

＜いずれの画像も不鮮明なときの対応＞
図６の例では、動体の画像を削除する場合においてデータベースの画像を利用することについて説明したが、ドローンＷの撮影画像の所定以上の範囲が暗い場合または白い場合（例えば、夜間やホワイトアウトの環境下）に、ドローンＷの位置および画角に基づいて鮮明な撮影画像が記憶されているデータベース（例えばグーグルアース（登録商標）のデータベース、過去に撮影された撮影画像が記憶されたデータベース）に記憶されている地形データ（地形画像）から鮮明な画像を抽出し、不鮮明な画像と置き換えることもできる。

【0055】

＜画像合成処理：画像鮮明度把握処理，画像選択合成処理の他の例＞
上述した実施の形態においては、セマンティックセグメンテーションにより抽出されたエリアの鮮明度を比較し、鮮明度の高い方を選択したが、天候状況を晴れ、曇り、雨、雪および霧等に分けてそれぞれの気象における鮮明度パラメータ（所定の数値範囲）を設定し、その鮮明度パラメータを利用して撮影画像を選択することもできる。

【0056】

例えば、自機ドローンＷａの撮影画像およびドローンＷｂの撮影画像に、気象パラメータ値（例えば、晴の場合の気象パラメータを値１０、曇りの場合の気象パラメータを値６、雨の場合の気象パラメータを値１が鮮明度パラメータとして付与されており、画像合成部２００３は、その鮮明度パラメータを参照して、晴の場合の気象パラメータ値１０が付された画像を優先的に選択することができる。なおユーザが曇りの画像を希望している場合は、曇りの場合の気象パラメータ値６が付された画像を、またユーザが雨の場合の画像を希望している場合は、雨の場合の気象パラメータ値１が付された画像を、優先的に選択することができる。

【0057】

また上述の気象条件の他に画像の明るさの条件も追加して、より明るい画像を優先的に選択するようにしてもよい。気象配信サーバからの気象情報（雨量、気圧、温度、湿度等）に基づいて気象パラメータを設定して、その気象パラメータが最も高い撮影画像を選択することもできる。

【0058】

またドローンＷｂの撮像部のカメラの中で解像度の最も高いドローンＷｂの撮影画像を優先的に選択したり、また残りバッテリー残量が最もあるドローンＷｂの撮影画像を優先的に選択するといった条件を追加してもよい。ドローンＷｂ－１が雲の中でもなく雨や雪の中でもないが明るさが暗い、ドローンＷｂ－２が雲の中だが明るさが明るい、といった場合はドローンＷｂ－１の撮影画像を優先的に選択することもできる。すなわち、明るさより気象条件が優先される。気象条件の方が鮮明度に与える影響が大きいからである。ただし、必要に応じて明るさを優先することもできる。

【0059】

＜ドローンＷｂの他の例１＞
上述した実施の形態では、自機ドローンＷａと同じ撮影対象を撮影することを目的として飛行するドローンＷｂの撮影画像を利用した場合を例として説明したが、自機ドローンＷａと同じ撮影対象を撮影することを目的として飛行していないドローンの撮影画像を利用することもできる。例えば、配送等のために別途飛行しているドローンが撮影した撮影画像も利用することができる。

【0060】

＜ドローンＷｂの他の例２＞
上述した実施の形態では、自機ドローンＷａとは別のドローンＷｂの撮影画像を利用した場合を例として説明したが、自機ドローンＷａが、例えば飛行機型ドローンで両翼に設けられたカメラのそれぞれの撮影画像を利用して、より鮮明度が高い撮影画像を合成するようにしてもよい。また大型ドローンで複数のカメラがついており、最も鮮明度の高い撮影画像を合成するようにしてもよい。

【0061】

＜利用シーン＞
上述した実施の形態では、空中を飛行するドローンＷを例として説明したが、例えば、水中ドローンなどでも適用可能である。また、水中であれば気象条件の代わりに赤潮であるか否か、などの水中の状態の条件にて、合成する画像選択を行うことができる。

【0062】

［効果のまとめ］
画像処理装置１は、
自機ドローンＷａが撮像した撮影画像を取得する画像取得部２００１（ステップＳ１０１）と、
他のドローンＷｂが撮像した撮像画像を取得する通信制御部２００２（ステップＳ１０１）と、
自機ドローンＷａの撮影画像が不鮮明である場合に、不鮮明な撮影画像をより条件のよい他のドローンＷｂの撮影画像に置き換える画像合成部２００３（ステップＳ１０２～１０５）と
を備えることを特徴とする。

【0063】

このような構成を有することにより、自機ドローンＷａで撮影された画像の少なくとも一部が不鮮明であった場合に、ドローンＷｂで撮影された鮮明な画像を利用して合成映像を生成することができる。その結果、よりユーザの希望に即した画像を提供できる。例えば、よりその場の臨場感豊かな撮影画像を提供できる。また一発撮りのときに１カットだけ雲に隠れたような場合でも、この１カットだけドローンＷｂの鮮明度の高い撮影画像を合成することができるので撮り直しといったことが無くなり、取り直しが許されないことが多い軍事目的としての可能性も拡がる。

【0064】

さらに、画像処理装置１において、条件は画像の鮮明度であって、
画像合成部２００３は、
少なくとも自機ドローンＷａの撮影画像の画角と他のドローンＷｂの撮影画像の画角とに基づいて、自機ドローンＷａの撮影画像または他のドローンＷｂの撮影画像の画角を調整し、各撮影画像の領域ごとに最も高い鮮明度の撮影画像を自機ドローンＷａの撮影画像に合成する、
ことができる。

【0065】

このような構成を有することにより、例えば、自機ドローンＷａまたは他のドローンＷｂで撮像された風景の構図で、鮮明な画像を生成することができる。

【0066】

さらに、画像処理装置１において、条件は気象条件であって、
画像合成部２００３は、
他のドローンＷｂの撮影画像に基づいて他のドローンＷｂが雲の中であるか否か、または他のドローンＷｂが雨や雪の中であるか否か、
を判定し、
最も気象条件がよい他のドローンＷｂを特定し、
少なくとも自機ドローンＷａの撮影画像の画角と他のドローンＷｂの撮影画像の画角とに基づいて、自機ドローンＷａの撮影画像または他のドローンＷｂの撮影画像の画角を調整し、各撮影画像の領域ごとに最も高い鮮明度の撮影画像を自機ドローンＷａの撮影画像に合成する、
ことができる。

【0067】

このような構成を有することにより、気象条件にあった画像を生成することができる。

【0068】

さらに、画像処理装置１において、画像合成部２００３は、
自機ドローンＷａと他のドローンＷｂの全ての映像の所定以上の範囲が暗い場合または白い場合に、少なくとも自機ドローンＷａの画角に基づいて所定の地形データから抽出された画像を自機ドローンＷａの撮影画像に合成する、
ことができる。

【0069】

このような構成を有することにより、夜間やホワイトアウトなどの環境下において撮像された場合でも所定の地形データから抽出された鮮明度が高い撮影画像に置き換えて画像合成することができる。

【符号の説明】

【0070】

１ 画像処理装置
１０ 制御部
２０ 撮影部
３０ ＧＰＳ受信機
４０ 測定部
５０ 通信部
６０ 記憶部
７０ 外部携帯装置
１０１ 駆動制御系
１０２ 画像処理制御系
２００１ 画像取得部
２００２ 通信制御部
２００１ 画像合成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】