特開 2024-79915 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024079915

(43)【公開日】2024-06-13

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   G06T 5/50 20060101AFI20240606BHJP

【ＦＩ】

G06T5/50

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022192603

(22)【出願日】2022-12-01

(71)【出願人】

【識別番号】507071774

【氏名又は名称】株式会社アイヴィス

(74)【代理人】

【識別番号】110004222

【氏名又は名称】弁理士法人創光国際特許事務所

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】浅見 祐一

(72)【発明者】

【氏名】岩下 和矢

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CD03

5B057CE08

5B057DA17

(57)【要約】

【課題】画像データの利用目的に適した融合画像データを提供する。
【解決手段】画像処理装置１は、第１撮像装置２で所定の領域が撮像された第１画像データと、第１撮像装置２と異なる第２撮像装置３で所定の領域が撮像された第２画像データと、を取得する画像データ取得部１３１と、第１画像データと第２画像データとを融合して生成される融合画像データの利用目的を取得する利用目的取得部１３２と、利用目的に基づいて決定した第１画像データの重みと第２画像データの重みとを用いて融合画像データを生成する融合画像データ生成部１３４と、を有する。
【選択図】図３

【特許請求の範囲】

【請求項1】

第１撮像装置で所定の領域が撮像された第１画像データと、前記第１撮像装置と異なる第２撮像装置で前記所定の領域が撮像された第２画像データと、を取得する画像データ取得部と、
前記第１画像データと前記第２画像データとを融合して生成される融合画像データの利用目的を取得する利用目的取得部と、
前記利用目的に基づいて決定した前記第１画像データの重みと前記第２画像データの重みとを用いて前記融合画像データを生成する融合画像データ生成部と、
を有する画像処理装置。

【請求項2】

画像データに含まれる画素の画素値に関連付けて当該画素値を変換した後の変換値を示す複数のドメイン変換アルゴリズムを記憶する記憶部と、
前記利用目的取得部に基づいて前記複数のドメイン変換アルゴリズムから選択したドメイン変換アルゴリズムを用いて前記第１画像データ又は第２画像データの少なくともいずれかの画素値を変換するデータ変換部と、
をさらに有し、
前記融合画像データ生成部は、前記データ変換部が画素値を変換した後の第１変換画像データと前記第２画像データとを融合することにより、前記融合画像データを生成する、
請求項１に記載の画像処理装置。

【請求項3】

複数の前記利用目的に関連付けて被写体の種別を記憶する記憶部をさらに有し、
前記融合画像データ生成部は、前記第１画像データ及び前記第２画像データにおける前記利用目的取得部が取得した前記利用目的に関連付けて前記記憶部に記憶された種別の被写体の画像領域を、前記第１画像データの重みと前記第２画像データの重みとを用いて融合させることにより前記融合画像データを生成する、
請求項１に記載の画像処理装置。

【請求項4】

前記融合画像データ生成部は、前記利用目的取得部が取得した前記利用目的に対応する被写体の画像領域を強調した前記融合画像データを生成する、
請求項１に記載の画像処理装置。

【請求項5】

前記画像データ取得部は、複数の時点で生成された複数の前記第２画像データを取得し、
前記融合画像データ生成部は、前記複数の第２画像データの間で差がある画像領域を強調した前記融合画像データを生成する、
請求項１に記載の画像処理装置。

【請求項6】

コンピュータが実行する、
第１撮像装置で所定の領域が撮像された第１画像データと、前記第１撮像装置と異なる第２撮像装置で前記所定の領域が撮像された第２画像データと、を取得するステップと、
前記第１画像データと前記第２画像データとを融合して生成される融合画像データの利用目的を取得するステップと、
前記利用目的に基づいて決定した前記第１画像データの重みと前記第２画像データの重みとを用いて前記融合画像データを生成するステップと、
を有する画像処理方法。

【請求項7】

コンピュータに、
第１撮像装置で所定の領域が撮像された第１画像データと、前記第１撮像装置と異なる第２撮像装置で前記所定の領域が撮像された第２画像データと、を取得するステップと、
前記第１画像データと前記第２画像データとを融合して生成される融合画像データの利用目的を取得するステップと、
前記利用目的に基づいて決定した前記第１画像データの重みと前記第２画像データの重みとを用いて前記融合画像データを生成するステップと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

従来、複数の画像データを融合する技術が知られている（例えば、特許文献１又は非特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特表２００８－５１１０８０号公報

【非特許文献】

【0004】

【非特許文献1】柴田剛志、田中正行、奥富正敏、「値域制約とベース構造制約を用いた勾配ベースの画像再構成」、第２３回画像センシングシンポジウム、２０１７年６月７日

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来の技術を用いることで、例えば可視画像データと遠赤外画像データとを融合して、可視画像で明度が高過ぎて色がつぶれている箇所が補正された融合画像データを生成することができる。しかしながら、画像データの利用目的によっては、補正された融合画像データの態様が望ましくないという場合が生じていた。

【0006】

そこで、本発明はこれらの点に鑑みてなされたものであり、画像データの利用目的に適した融合画像データを提供できるようにすることを目的とする。

【課題を解決するための手段】

【0007】

本発明の第１の態様の画像処理装置は、第１撮像装置で所定の領域が撮像された第１画像データと、前記第１撮像装置と異なる第２撮像装置で前記所定の領域が撮像された第２画像データと、を取得する画像データ取得部と、前記第１画像データと前記第２画像データとを融合して生成される融合画像データの利用目的を取得する利用目的取得部と、前記利用目的に基づいて決定した前記第１画像データの重みと前記第２画像データの重みとを用いて前記融合画像データを生成する融合画像データ生成部と、を有する。

【0008】

前記画像処理装置は、画像データに含まれる画素の画素値に関連付けて当該画素値を変換した後の変換値を示す複数のドメイン変換アルゴリズムを記憶する記憶部と、前記利用目的取得部に基づいて前記複数のドメイン変換アルゴリズムから選択したドメイン変換アルゴリズムを用いて前記第１画像データ又は第２画像データの少なくともいずれかの画素値を変換するデータ変換部と、をさらに有し、前記融合画像データ生成部は、前記データ変換部が画素値を変換した後の第１変換画像データと前記第２画像データとを融合することにより、前記融合画像データを生成してもよい。

【0009】

前記画像処理装置は、複数の前記利用目的に関連付けて被写体の種別を記憶する記憶部をさらに有し、前記融合画像データ生成部は、前記第１画像データ及び前記第２画像データにおける前記利用目的取得部が取得した前記利用目的に関連付けて前記記憶部に記憶された種別の被写体の画像領域を、前記第１画像データの重みと前記第２画像データの重みとを用いて融合させることにより前記融合画像データを生成してもよい。

【0010】

前記融合画像データ生成部は、前記利用目的取得部が取得した前記利用目的に対応する被写体の画像領域を強調した前記融合画像データを生成してもよい。

【0011】

前記画像データ取得部は、複数の時点で生成された複数の前記第２画像データを取得し、前記融合画像データ生成部は、前記複数の第２画像データの間で差がある画像領域を強調した前記融合画像データを生成してもよい。

【0012】

本発明の第２の態様の画像処理方法は、コンピュータが実行する、第１撮像装置で所定の領域が撮像された第１画像データと、前記第１撮像装置と異なる第２撮像装置で前記所定の領域が撮像された第２画像データと、を取得するステップと、前記第１画像データと前記第２画像データとを融合して生成される融合画像データの利用目的を取得するステップと、前記利用目的に基づいて決定した前記第１画像データの重みと前記第２画像データの重みとを用いて前記融合画像データを生成するステップと、を有する。

【0013】

本発明の第３の態様のプログラムは、コンピュータに、第１撮像装置で所定の領域が撮像された第１画像データと、前記第１撮像装置と異なる第２撮像装置で前記所定の領域が撮像された第２画像データと、を取得するステップと、前記第１画像データと前記第２画像データとを融合して生成される融合画像データの利用目的を取得するステップと、前記利用目的に基づいて決定した前記第１画像データの重みと前記第２画像データの重みとを用いて前記融合画像データを生成するステップと、を実行させる。

【発明の効果】

【0014】

本発明によれば、画像データの利用目的に適した融合画像データを提供することができるという効果を奏する。

【図面の簡単な説明】

【0015】

【図1】画像処理装置１の概要を説明するための図である。

【図2】第１画像データと第２画像データとを融合する処理の概要を説明するための図である。

【図3】画像処理装置１の構成を示す図である。

【図4】利用目的と重要被写体の種別とが関連付けられた重要被写体テーブルの一例を示す図である。

【図5】画像処理装置１における融合処理の生成処理の流れを示すフローチャートである。

【図6】画像処理装置１が融合画像データを生成した例を示す図である。

【発明を実施するための形態】

【0016】

［画像処理装置１の概要］
図１は、画像処理装置１の概要を説明するための図である。画像処理装置１は、複数の画像データを融合して融合画像データを生成する装置であり、例えばコンピュータである。図１に示す例においては、画像処理装置１が、第１撮像装置２が生成した第１画像データと第２撮像装置３が生成した第２画像データとを融合して融合画像データを生成する流れが記載されているが、画像処理装置１は３つ以上の画像データを融合してもよい。

【0017】

第１画像データと第２画像データは、同じ被写体が撮影されることにより生成された画像データであるが、互いに画像特性が異なっている。第１画像データは、例えば赤外線カメラである第１撮像装置２が被写体を撮影することにより生成した画像データである。第２画像データは、例えば可視光カメラである第２撮像装置３が被写体を撮影することにより生成された画像データである。第２画像データは、第１画像データと同じ時刻に生成された画像データであってもよく、過去に同じ場所で撮影されることにより生成された画像データであってもよい。

【0018】

画像処理装置１が、このように画像特性が異なる複数の画像データを融合することにより、第１画像データでは明瞭に写っていない被写体を、第２画像データに含まれている情報を用いて明瞭にすることができる。一例として、第１画像データが夜間に赤外線カメラで撮影された画像データであり、第２画像データが昼間に可視光カメラで撮影された画像データである場合に、画像処理装置１は、夜間に撮影された被写体（例えば人）が含まれると同時に、他の被写体が明瞭に見える融合画像データを生成することができる。

【0019】

画像処理装置１が複数の画像データを融合する際には、例えば、融合画像データの明度が、第１画像データに含まれる被写体に対応する第１領域における明度の勾配の傾向と、第２画像データに含まれる同じ被写体に対応する第２領域における明度の勾配の傾向とを有するようにする。これにより、第１領域における大局的な明度の勾配を維持しつつ、第２領域における微細な明度の勾配が反映される。明度の勾配とは、複数の画素間の距離に対する明度の変化量である。

【0020】

このように、画像処理装置１は、第１画像データが解像度の低い赤外線画像データである場合であっても、解像度が高い可視光画像データである第２画像データ融合することで、可視光では撮像できない被写体の画像を含みつつ、被写体以外の領域が自然で明瞭な融合画像データを生成することができる。しかしながら、画像処理装置１が第１画像データと第２画像データとを融合することで、ユーザが確認したい被写体が見えづらくなってしまうという場合も生じ得る。そこで、画像処理装置１は、画像データの利用目的に適した重みを用いて第１画像データと第２画像データとを融合することで、ユーザが融合画像データを用いて利用目的に応じた解析を行いやすくすることを特徴としている。

【0021】

詳細については後述するが、利用目的は、例えば、不審者の監視、移動体の監視、機械設備の監視、樹木の監視（例えば地滑り防止のための樹木の監視）である。画像処理装置１は、例えば不審者の監視が利用目的である場合には、人の顔の画像が見えやすくなるように複数の画像データを融合し、移動体の監視が利用目的である場合には、車両やドローン等の移動体の画像が見えやすくなるように複数の画像データを融合する。

【0022】

図２は、第１画像データと第２画像データとを融合する処理の概要を説明するための図である。図２（ａ）は、第１画像データの画素の位置と明度との関係を示す図である。図２（ｂ）は、第２画像データの画素の位置と明度との関係を示す図である。第１画像データは例えば赤外線カメラにより生成された赤外線画像データであり、可視光カメラにより生成された第２画像データに比べて、画素位置による明度の変化が少ない。

【0023】

図２（ｃ）は、図２（ａ）に明度を示す第１画像データと図２（ｂ）に明度を示す第２画像データとを同じ重みで融合することにより生成された融合画像データにおける画素位置と明度との関係を示す図である。点線は、図２（ａ）に示した第１画像データの明度を示しており、破線は、図２（ｂ）に示した第２画像データの明度を示しており、太い実線は融合画像データの明度を示している。各画素の明度が、第１画像データの明度と第２画像データの明度との中央値となっており、第１画像データの明度の勾配の傾向を維持しつつ、第２画像データの明度の勾配の傾向も反映されている。

【0024】

図２（ｄ）は、第１画像データの重みを０．７５、第２画像データの重みを０．２５として生成された融合画像データにおける画素の位置と明度との関係を示す図である。図２（ｄ）示す融合画像データにおいては、図２（ｃ）に示した融合画像データに比べて、第１画像データの明度の勾配の傾向が強く表れていることが確認できる。このように、画像処理装置１は、融合画像データの利用目的に適した明度の勾配を有する融合画像データを生成することができる。

【0025】

［画像処理装置１の構成］
以下、画像処理装置１の構成及び動作を詳細に説明する。
図３は、画像処理装置１の構成を示す図である。画像処理装置１は、通信部１１と、記憶部１２と、制御部１３と、を有する。制御部１３は、画像データ取得部１３１と、利用目的取得部１３２と、データ変換部１３３と、融合画像データ生成部１３４と、を有する。

【0026】

通信部１１は、他の装置との間でデータを送受信するための通信インターフェースである。通信部１１は、例えば、第１撮像装置２から第1画像データを受信し、第２撮像装置３から第２画像データを受信する。通信部１１は、第１撮像装置２又は第２撮像装置３と異なる装置（例えばコンピュータ）から第１画像データ又は第２画像データの少なくともいずれかを受信してもよい。通信部１１は、受信した第１画像データ及び第２画像データを画像データ取得部１３１に入力する。通信部１１は、受信した第１画像データ及び第２画像データを記憶部１２に記憶させることにより、第１画像データ及び第２画像データを画像データ取得部１３１に入力してもよい。

【0027】

また、通信部１１は、融合画像データを生成するために必要な各種の情報を受信する。通信部１１は、例えば融合画像データを生成するための操作を行ったユーザが使用するコンピュータ又は情報を入力するためのデバイスから、融合画像データを生成するための指示、及び融合画像データの利用目的を受信する。通信部１１は、受信した利用目的を利用目的取得部１３２に入力する。

【0028】

通信部１１は、融合画像データ生成部１３４が生成した融合画像データを外部の装置に送信してもよい。通信部１１は、例えば、融合画像データを生成するための操作を行ったユーザが使用するコンピュータに融合画像データを送信する。通信部１１は、画像処理装置１に接続されたディスプレイに融合画像データを送信してもよい。

【0029】

記憶部１２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びＳＳＤ（Solid State Drive）等の記憶媒体を有する。記憶部１２は、制御部１３が実行するプログラムを記憶する。また、記憶部１２は、制御部１３が融合画像データを生成するために使用する各種のデータを記憶する。

【0030】

記憶部１２は、画像データに含まれる画素の画素値と、当該画素値を変換した後の変換値と、の関係を示す複数のドメイン変換アルゴリズムを記憶する。ドメイン変換アルゴリズムは、例えば画質を変化させるためのアルゴリズムであり、変換前の画素値と変換後の画素値との関係を示すデータテーブル若しくは関数、フィルタ処理アルゴリズム、又はＣＮＮ（Convolutional Neural Network）のようなネットワーク等である。記憶部１２は、利用目的に関連付けて、それぞれ異なるドメイン変換アルゴリズムを記憶してもよい。

【0031】

記憶部１２は、利用目的における重要度が高い被写体（以下、「重要被写体」という）の種別を記憶してもよい。図４は、利用目的と重要被写体の種別とが関連付けられた重要被写体テーブルの一例を示す図である。図４に示す重要被写体テーブルにおいては、例えば、不審者の監視が目的である場合に、人の画像が見えやすくなるように複数の画像データを融合し、車両の監視が目的である場合に、車両の画像が見えやすくなるように複数の画像データを融合することが示されている。重要被写体テーブルには、１つの利用目的に対して複数の重要被写体の種別が関連付けられていてもよい。なお、記憶部１２は、重要被写体の種別として、第１撮像装置２又は第２撮像装置３の撮像範囲において重要度が高い領域を記憶してもよい。

【0032】

記憶部１２は、利用目的に関連付けて、第１画像データと第２画像データとを融合する際に用いるパラメータを記憶してもよい。パラメータは、例えば、第１画像データと第２画像データとを融合する際の第１画像データの明度の勾配の重みと第２画像データの明度の勾配の重みである。パラメータは、融合画像データにおける明度の勾配の許容範囲、又は融合画像データに含まれる画素の画素値の許容範囲であってもよい。記憶部１２は、許容範囲等の制約条件内において最適解を求めるための近接勾配法のような各種の最適化手法で使用される制御パラメータ（学習係数等）を記憶してもよい。

【0033】

記憶部１２は、利用目的に対応する重要被写体が含まれている領域の第１画像データと第２画像データとを融合する際に用いるパラメータと、他の領域の第１画像データと第２画像データとを融合する際に用いるパラメータとを記憶してもよい。記憶部１２は、重要被写体に対応する領域から所定の距離の範囲内の領域の第１画像データと第２画像データとを融合する際に用いるパラメータをさらに記憶してもよい。

【0034】

制御部１３は、例えばＣＰＵ（Central Processing Unit）を有する。制御部１３は、記憶部１２に記憶されたプログラムを実行することにより、画像データ取得部１３１、利用目的取得部１３２、データ変換部１３３及び融合画像データ生成部１３４として機能する。

【0035】

画像データ取得部１３１は、例えば通信部１１を介して、第１撮像装置２で所定の領域が撮像された第１画像データと、第１撮像装置２と異なる第２撮像装置３で所定の領域が撮像された第２画像データと、を取得する。所定の領域は、例えば第１撮像装置２及び第２撮像装置３が撮像できる範囲の領域である。画像データ取得部１３１は、取得した第１画像データ及び第２画像データをデータ変換部１３３に入力する。

【0036】

利用目的取得部１３２は、例えば通信部１１を介して、第１画像データと第２画像データとを融合して生成される融合画像データの利用目的を取得する。一例として、利用目的取得部１３２は、利用目的の候補を、ユーザが使用するコンピュータに提供し、当該コンピュータにおいてユーザが選択した候補を利用目的として取得する。利用目的取得部１３２は、予め記憶部１２に記憶された利用目的を取得してもよい。利用目的取得部１３２は、取得した利用目的をデータ変換部１３３及び融合画像データ生成部１３４に通知する。

【0037】

利用目的取得部１３２が取得する利用目的は１つに限定されず、複数の利用目的を取得してもよい。また、利用目的取得部１３２は、撮影される時間帯ごとに異なる利用目的を取得してもよい。また、利用目的取得部１３２は、第１画像データを生成した第１撮像装置２と第２画像データを生成した第２撮像装置３との組み合わせごとに異なる利用目的を取得してもよい。

【0038】

データ変換部１３３は、利用目的に基づいて選択したドメイン変換アルゴリズムを用いて第１画像データ又は第２画像データの少なくともいずれかの画素値を変換することにより、第１変換画像データ又は第２変換画像データの少なくともいずれかを生成する。一例として、データ変換部１３３は、第１画像データが夜間に撮影された赤外線画像データであり、第２画像データが昼間に撮影された可視光画像データである場合、データ変換部１３３は、第１画像データのコントラスト及び明度を高くすることができるドメイン変換アルゴリズムを用いて第１変換画像データを生成する。これにより、第１変換画像データは昼間に撮影された第２画像データにコントラスト及び明度が近づくことで、第１変換画像データと第２画像データとが融合された場合の画質が向上する。

【0039】

利用目的が例えば不審者を監視することである場合、データ変換部１３３は、人の顔の画像を明瞭することに適したドメイン変換アルゴリズムを用いて、第１画像データを第１変換画像データに変換してもよい。具体的には、データ変換部１３３は、人の顔の画像に含まれる確率が高い画素値の範囲においてコントラストを高めるドメイン変換アルゴリズムを用いて、第１画像データを第１変換画像データに変換する。他の例として、データ変換部１３３は、利用目的が夜間に車両を監視することである場合、ヘッドライトの影響で明度が高くなり過ぎることを防ぐために、明度を低下させるドメイン変換アルゴリズムを用いて、第１画像データを第１変換画像データに変換してもよい。

【0040】

データ変換部１３３は、第１画像データ又は第２画像データの少なくともいずれかの形状を変化させたり回転させたりすることにより、第１変換画像データ又は第２変換画像データの少なくともいずれかを生成し、第１画像データ又は第１変換画像データにおける所定の被写体の位置と第２画像データ又は第２変換画像データにおける所定の被写体の位置とが一致するようにしてもよい。データ変換部１３３がこのように構成されていることで、同一の被写体に対応する画素が融合されるので、被写体の輪郭線が不明瞭になることを防げる。

【0041】

融合画像データ生成部１３４は、第１画像データと第２画像データとを融合することにより融合画像データを生成する。融合画像データ生成部１３４は、第１画像データ及び第２画像データのうち、一方のドメイン変換後の画像データと他方のドメイン変換前の画像データとを融合してもよい。融合画像データ生成部１３４は、例えば、データ変換部１３３が画素値を変換した後の第１変換画像データと第２画像データとを融合することにより、融合画像データを生成する。

【0042】

第１画像データと第２画像データとを融合するとは、第１画像データに含まれる少なくとも一部の画素それぞれに対応する画素値と、第２画像データにおける当該画素の座標に対応する座標の画素の画素値とに基づいて、当該画素の画素値をこれらの画素値と異なる画素値にする処理である。要するに、融合画像データ生成部１３４は、第１画像データの明度の勾配の特徴と第２画像データの明度の勾配の特徴とを有する融合画像データを生成する。

【0043】

融合画像データ生成部１３４は、利用目的に基づいて決定した第１画像データの重みと第２画像データの重みとを用いて融合画像データを生成する。融合画像データ生成部１３４は、例えば、図２を参照して説明したように、利用目的に関連付けて記憶部１２に記憶された第１画像データの重みと第２画像データの重みとを用いて、第１画像データに含まれている画素の画素値と当該画素に対応する第２画像データの画素の画素値とを加重平均することにより融合画像データを生成する。

【0044】

融合画像データ生成部１３４が融合画像データを生成する際には、画素値の加重平均に代えて、融合する対象の画素の近傍の勾配や周波数特性等の特徴情報に関する情報の加重平均を行ってもよい。この場合、融合画像データ生成部１３４は、加重平均の結果得られた特徴情報が、融合処理をした後の画像において表現されるよう融合画像データを生成する。また、融合画像データ生成部１３４は、加重平均ではなく、特定の画素値又は特徴情報を強調したり、特定の画素値又は特徴情報の影響を軽減させたりする処理により融合画像データを生成してもよい。

【0045】

利用目的取得部１３２が時間帯ごとに異なる利用目的を取得した場合、融合画像データ生成部１３４は、時間帯ごとに異なる重みを用いて融合画像データを生成してもよい。また、利用目的取得部１３２が複数の利用目的を取得した場合、融合画像データ生成部１３４は、それぞれの利用目的に対応する複数の融合画像データを生成してもよい。

【0046】

融合画像データ生成部１３４は、第１画像データ及び第２画像データにおける利用目的に関連付けて記憶部１２に記憶された種別の重要被写体の画像領域を、利用目的に対応する第１画像データの重みと第２画像データの重みとを用いて融合させることにより融合画像データを生成してもよい。利用目的取得部１３２が複数の利用目的を取得した場合、融合画像データ生成部１３４は、それぞれの利用目的に対応する複数の重要被写体の画像領域を、それぞれの利用目的に対応する重みを用いて融合することにより融合画像データを生成してもよい。融合画像データ生成部１３４がこのように構成されていることで、利用目的において重要な被写体をユーザが見やすくなる。

【0047】

融合画像データ生成部１３４は、利用目的に対応する重要被写体と、それ以外の被写体とで異なる重みを用いて融合画像データを生成してもよい。融合画像データ生成部１３４は、例えば利用目的が不審者の監視であり、第１画像データに人が含まれていて第２画像データに人が含まれていない場合、第１画像データにおける人に対応する領域については、第１画像データの重みを第２画像データの重みよりも大きくする。また、人に対応する領域以外の背景領域については、明度の勾配が第１画像データよりも細かく変化している第２画像データの重みを第１画像データの重みよりも大きくする。

【0048】

融合画像データ生成部１３４がこのように動作することで、例えば、第１画像データが夜間に撮影されて不審者が写った赤外線画像データであり、第２画像データが同じ場所が昼間に撮影されて不審者が写っていない可視光画像データである場合に、不審者の画像を明瞭に示すとともに、第１画像データでは明瞭に写っていない背景も明瞭な融合画像データを生成することができる。

【0049】

融合画像データ生成部１３４は、利用目的に対応する重要被写体が第２画像データに含まれている場合に、第２画像データの重みを第１画像データの重みよりも大きくしてもよい。一例として、融合画像データ生成部１３４は、利用目的が不審者の監視であり、第２画像データに人の表情が写っている場合に、第２画像データの重みを第１画像データの重みよりも大きくすることで、ユーザが融合画像データにより人の特徴を特定しやすくすることができる。

【0050】

第１画像データと第２画像データとを融合することにより、明度が高くなり過ぎたり、明度が低くなり過ぎたりしてしまい、利用目的に対応する重要被写体が見えづらくなる場合がある。そこで、融合画像データ生成部１３４は、融合画像データにおける複数の画素と近隣の画素との間での明度の勾配の範囲、又は画素値の範囲の少なくともいずれかが利用目的に対応する範囲に収まるように、第１画像データと第２画像データとを融合してもよい。

【0051】

ところで、第２画像データが過去に撮影されて生成された画像データである場合、第１画像データが生成された時刻には存在していない物体（例えば車両又はドローンのような移動体）が第２画像データに含まれていることがある。そこで、融合画像データ生成部１３４は、第２画像データにおける移動体に対応する領域について、第１画像データの重みを第２画像データの重みよりも大きくしてもよい。この場合、第２画像データの重みを０にして、融合画像データに移動体の画像データが含まれないようにしてもよい。融合画像データ生成部１３４は、第２画像データにおける移動体に対応する領域の明度の勾配を０にしてもよい。

【0052】

ただし、第２画像データにおける移動体に対応する領域の重みを０にしたり明度の勾配を０にしたりすると、当該領域と周囲の領域との画質の差が大きく違和感が生じてしまう。そこで、融合画像データ生成部１３４は、移動体に対応する領域の画質を周囲の領域の画質に近づけるように画像処理をしてもよい。一例として、融合画像データ生成部１３４は、指定された領域を含む画像データが入力された場合に、指定された領域の周囲の画素の画素値に基づいて、指定された領域の画素の画素値の補正値を出力する深層学習モデルに、移動体の領域を指定した第２画像データを入力することにより、移動体の領域が周囲の背景と同等の画像に変換された融合画像データを生成してもよい。

【0053】

また、融合画像データ生成部１３４は、利用目的に対応する重要被写体の画像領域を強調した融合画像データを生成してもよい。融合画像データ生成部１３４は、例えば、利用目的が不審者の監視である場合に、融合画像データに含まれている人の領域を囲う線を含む融合画像データを生成する。融合画像データ生成部１３４がこのように構成されていることで、利用目的に対応する重要被写体の位置をユーザが把握しやすくなる。

【0054】

画像データ取得部１３１が複数の時点で生成された複数の第２画像データを取得した場合、融合画像データ生成部１３４は、複数の第２画像データの間で差がある画像領域を強調した融合画像データを生成してもよい。一例として、第１時点で生成された第２画像データには車両が写っておらず、第１時点よりも後の第２時点で生成された第２画像データに車両が写っている場合に、融合画像データ生成部１３４は、車両を含むとともに、車両の周囲を囲う線を含む融合画像データを生成する。

【0055】

融合画像データ生成部１３４は、利用目的に対応する重要被写体が、一方の第２画像データに含まれておらず、他方の第２画像データに含まれていることを条件として、重要被写体を強調した融合画像データを生成してもよい。融合画像データ生成部１３４がこのように構成されていることで、利用目的に対応する重要被写体が新たに現れたことをユーザが把握しやすくなる。

【0056】

［画像処理装置１における処理の流れ］
図５は、画像処理装置１における融合処理の生成処理の流れを示すフローチャートである。画像データ取得部１３１は、例えば第１撮像装置２から第１画像データを取得し（Ｓ１）、第２撮像装置３から第２画像データを取得する（Ｓ２）。画像データ取得部１３１は、所定の時間間隔で第１画像データ及び第２画像データを取得してもよく、融合画像データを作成するための指示を受けた時点で第１画像データ及び第２画像データを取得してもよい。

【0057】

続いて、データ変換部１３３は、第１画像データ又は第２画像データの少なくともいずれかをドメイン変換する（Ｓ３）。データ変換部１３３は、例えば、赤外線画像データである第１画像データを昼間に撮影された画像データの態様に近づけるようにドメイン変換する。

【0058】

続いて、融合画像データ生成部１３４は、利用目的取得部１３２が利用目的を取得しているか否かを判定する（Ｓ４）。融合画像データ生成部１３４は、利用目的取得部１３２が利用目的を取得していると判定した場合（Ｓ４においてＹＥＳ）、一例として、不審者の監視が利用目的であるか否かを判定する（Ｓ５）。融合画像データ生成部１３４は、不審者の監視が利用目的であると判定した場合（Ｓ５においてＹＥＳ）、記憶部１２に記憶された重要被写体テーブルを参照することにより重要被写体が人であり、車両は重要被写体ではないことを特定し、第２画像データに重要被写体ではない車両が含まれているか否かを判定する（Ｓ６）。

【0059】

融合画像データ生成部１３４は、第２画像データに車両が含まれていると判定した場合（Ｓ６においてＹＥＳ）、車両の領域における第１画像データの第１重みを第２画像データの第２重みよりも大きく設定する（Ｓ７）。融合画像データ生成部１３４は、設定した第１重みと第２重みとを用いて第１画像データと第２画像データとを融合することにより融合画像データを生成する（Ｓ８）。

【0060】

融合画像データ生成部１３４は、Ｓ４において利用目的が取得されていないと判定した場合（Ｓ４においてＮＯ）、不審者の監視が目的でない場合（Ｓ５においてＮＯ）、第２画像データに車両が含まれていない場合（Ｓ６においてＮＯ）、所定の標準の重み（例えば第１重みと第２重みが０．５）を使用するように設定する（Ｓ９）。

【0061】

［画像融合処理の例］
図６は、画像処理装置１が融合画像データを生成した例を示す図である。図６（ａ）は、夜間の可視光画像を示している。図６（ｂ）は、図６（ａ）の画像と同じ時刻に撮影された赤外線画像を示している。図６（ｃ）は、過去に図６（ａ）の画像と同じ場所で撮影された可視光画像を示している。図６（ｄ）は、図６（ｂ）の画像が昼間の画像に近づくようにドメイン変換した画像を示している。

【0062】

図６（ｅ）は、図６（ｃ）に含まれている車両の領域を示す画像を示している。図６（ｆ）は、図６（ｃ）に含まれている人の領域を示す画像を示している。図６（ｇ）は、図６（ｃ）の画像と図６（ｄ）の画像とを融合することにより生成された融合画像を示している。図６（ｈ）は、図６（ｃ）の画像において、利用目的における重要被写体ではない自動車の領域の勾配を０にしてから図６（ｄ）の画像と融合することにより生成された融合画像を示している。図６（ｈ）に示す融合画像においては、図６（ｂ）に示す赤外線画像に比べて全体が明瞭になっているとともに、利用目的における重要被写体である人の周辺の物体との位置関係が確認しやすくなっている。

【0063】

［画像処理装置１による効果］
以上説明したように、画像処理装置１は、第１画像データと第２画像データとを融合して生成される融合画像データの利用目的に基づいて決定した第１画像データの重みと第２画像データの重みとを用いて融合画像データを生成する。画像処理装置１がこのように構成されていることで、利用目的において望まれる態様の融合画像データが生成されるので、融合画像データを解析するユーザが利用目的に対応する解析をしやすくなる。

【0064】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0065】

１ 画像処理装置
２ 第１撮像装置
３ 第２撮像装置
１１ 通信部
１２ 記憶部
１３ 制御部
１３１ 画像データ取得部
１３２ 利用目的取得部
１３３ データ変換部
１３４ 融合画像データ生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】