特開 2021-175085 画像処理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2021-175085(P2021-175085A)

(43)【公開日】2021年11月1日

(54)【発明の名称】画像処理装置及びプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20211004BHJP

   G09G 5/36 20060101ALI20211004BHJP

   G09G 5/00 20060101ALI20211004BHJP

   G09G 5/391 20060101ALI20211004BHJP

   H04N 19/132 20140101ALI20211004BHJP

   H04N 19/154 20140101ALI20211004BHJP

   H04N 19/139 20140101ALI20211004BHJP

【ＦＩ】

   H04N7/18 D

   G09G5/36 510M

   G09G5/00 555A

   G09G5/00 550H

   G09G5/00 550B

   G09G5/00 520V

   G09G5/00 555G

   H04N7/18 K

   H04N19/132

   H04N19/154

   H04N19/139

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

【全頁数】13

(21)【出願番号】特願2020-77752(P2020-77752)

(22)【出願日】2020年4月24日

(71)【出願人】

【識別番号】304020498

【氏名又は名称】サクサ株式会社

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】中山 博章

(72)【発明者】

【氏名】相馬 真樹

(72)【発明者】

【氏名】杉山 綾

(72)【発明者】

【氏名】水野 茂穂

【テーマコード（参考）】

5C054

5C159

5C182

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054EG01

5C054HA19

5C159KK01

5C159NN01

5C159NN21

5C159PP06

5C159PP07

5C159TA07

5C159TC02

5C159TC12

5C159TC24

5C159TC30

5C159TC31

5C159TD04

5C159TD05

5C159TD07

5C159TD12

5C159UA02

5C182AB19

5C182AB21

5C182AC03

5C182AC43

5C182BA14

5C182BA44

5C182BA54

5C182BC01

5C182BC29

5C182CB44

5C182CC24

5C182DA03

5C182DA26

5C182DA54

5C182DA64

5C182DA66

(57)【要約】

【課題】撮影装置から取得した撮影データの画質が低下した場合であっても、表示装置に出力する画像データの画質が低下することを抑制する。
【解決手段】画像処理装置３は、所定のエリアを撮影する撮影装置１から動画像データを取得する画像データ取得部３２１と、動画像データを圧縮して圧縮データを生成する圧縮部３２２と、動画像データ又は前記圧縮データが示す画像領域の画質が第１閾値未満であり、かつ、時間経過に伴う画質のばらつきが第２閾値以上の場合に、画質が第１閾値以上である場合、及び時間経過に伴う画質のばらつきが第２閾値未満である場合よりも、圧縮部３２２が生成する圧縮データのフレームレートを大きくするフレームレート調整部３２５と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

所定のエリアを撮影する撮影装置から動画像データを取得する画像データ取得部と、
前記動画像データを圧縮して圧縮データを生成する圧縮部と、
前記動画像データ又は前記圧縮データが示す画像領域の画質が第１閾値未満であり、かつ、時間経過に伴う前記画質のばらつきが第２閾値以上の場合に、前記画質が第１閾値以上である場合、及び時間経過に伴う前記画質のばらつきが第２閾値未満である場合よりも、前記圧縮部が生成する前記圧縮データのフレームレートを大きくするフレームレート調整部と、
を有する画像処理装置。

【請求項2】

前記エリアの定常状態の画像に対応する基準画像データを記憶する記憶部をさらに有し、
前記フレームレート調整部は、前記基準画像データと前記動画像データ又は前記圧縮データとの差分値に基づいて、前記画質を特定する、
請求項１に記載の画像処理装置。

【請求項3】

前記エリアの定常状態の画像に対応する基準画像データを記憶する記憶部と、
前記画像領域に対応する基準画像データと前記動画像データ又は前記圧縮データとの複数の差分を特定する差分特定部と、
をさらに有し、
前記フレームレート調整部は、前記差分特定部が特定した前記複数の差分の前記画像領域における分布の分散が閾値以上である場合に、前記分散が前記閾値未満である場合よりも前記フレームレートを大きくする、
請求項１に記載の画像処理装置。

【請求項4】

前記フレームレート調整部は、前記動画像データ又は前記圧縮データのＰフレームデータ及びＢフレームデータの少なくともいずれかに含まれる動きベクトルの数に基づいて前記画質を特定し、前記動きベクトルに対応する画素の位置の時間経過に伴う変化に基づいて前記ばらつきを特定する、
請求項１から３のいずれか一項に記載の画像処理装置。

【請求項5】

前記画像領域に含まれる複数の領域それぞれにおいて動く物体を検出し、検出した前記動く物体の動きベクトルを特定する動き特定部をさらに有し、
前記フレームレート調整部は、前記動き特定部が前記動画像データの前記複数の領域それぞれに同じ向きの前記動きベクトルを検出した場合に、前記複数の領域それぞれに同じ向きの前記動きベクトルを検出していない場合よりも前記フレームレートを大きくする、
請求項１から４のいずれか一項に記載の画像処理装置。

【請求項6】

コンピュータを、
所定のエリアを撮影する撮影装置から動画像データを取得する画像データ取得部、
前記動画像データを圧縮して圧縮データを生成する圧縮部、及び
前記動画像データ又は前記圧縮データが示す画像領域の画質が第１閾値未満であり、かつ、時間経過に伴う前記画質のばらつきが第２閾値以上の場合に、前記画質が第１閾値以上である場合、及び時間経過に伴う前記画質のばらつきが第２閾値未満である場合よりも、前記圧縮部が生成する前記圧縮データのフレームレートを大きくするフレームレート調整部、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及びプログラムに関する。

【背景技術】

【0002】

監視カメラシステムにおいて、撮影装置からネットワークを介して取得した撮影データを、取得した撮影データとは異なる形式の画像データに変換して表示装置などに出力する画像処理装置が知られている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９−０５４３５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば雨天時に撮影装置が撮影する撮影画像には、撮影画像の全体に雨粒の画像が含まれている。このような撮影画像においては、監視対象の被写体を確認しづらいため、できるだけ画質が高い状態で撮影画像を表示装置に表示させることが望ましい。しかしながら、画質が高い状態で撮影画像を表示装置に表示させる場合には、表示装置に送信する撮影画像のデータ量が増えてしまう。表示装置に送信するデータ量が増えると、伝送路の帯域が不足したり、消費電力が増加したりするため、できるだけデータ量を増やすことなく、画質が悪い撮影画像を良好に表示装置に表示させることが求められている。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、撮影装置から取得した撮影データの画質が低下した場合であっても、表示装置に出力する画像データの画質が低下することを抑制する画像処理装置及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様に係る画像処理装置は、所定のエリアを撮影する撮影装置から動画像データを取得する画像データ取得部と、前記動画像データを圧縮して圧縮データを生成する圧縮部と、前記動画像データ又は前記圧縮データが示す画像領域の画質が第１閾値未満であり、かつ、時間経過に伴う前記画質のばらつきが第２閾値以上の場合に、前記画質が第１閾値以上である場合、及び時間経過に伴う前記画質のばらつきが第２閾値未満である場合よりも、前記圧縮部が生成する前記圧縮データのフレームレートを大きくするフレームレート調整部と、を有する。

【0007】

前記エリアの定常状態の画像に対応する基準画像データを記憶する記憶部をさらに有し、前記フレームレート調整部は、前記基準画像データと前記動画像データ又は前記圧縮データとの差分値に基づいて、前記画質を特定してもよい。

【0008】

前記エリアの定常状態の画像に対応する基準画像データを記憶する記憶部と、前記画像領域に対応する基準画像データと前記動画像データ又は前記圧縮データとの複数の差分を特定する差分特定部と、をさらに有し、前記フレームレート調整部は、前記差分特定部が特定した前記複数の差分の前記画像領域における分布の分散が閾値以上である場合に、前記分散が前記閾値未満である場合よりも前記フレームレートを大きくしてもよい。

【0009】

前記フレームレート調整部は、前記動画像データ又は前記圧縮データのＰフレームデータ及びＢフレームデータの少なくともいずれかに含まれる動きベクトルの数に基づいて前記画質を特定し、前記動きベクトルに対応する画素の位置の時間経過に伴う変化に基づいて前記ばらつきを特定してもよい。

【0010】

前記画像領域に含まれる複数の領域それぞれにおいて動く物体を検出し、検出した前記動く物体の動きベクトルを特定する動き特定部をさらに有し、前記フレームレート調整部は、前記動き特定部が前記動画像データの前記複数の領域それぞれに同じ向きの前記動きベクトルを検出した場合に、前記複数の領域それぞれに同じ向きの前記動きベクトルを検出していない場合よりも前記フレームレートを大きくしてもよい。

【0011】

本発明の第２の態様に係るプログラムは、コンピュータを、所定のエリアを撮影する撮影装置から動画像データを取得する画像データ取得部、前記動画像データを圧縮して圧縮データを生成する圧縮部、及び前記動画像データ又は前記圧縮データが示す画像領域の画質が第１閾値未満であり、かつ、時間経過に伴う前記画質のばらつきが第２閾値以上の場合に、前記画質が第１閾値以上である場合、及び時間経過に伴う前記画質のばらつきが第２閾値未満である場合よりも、前記圧縮部が生成する前記圧縮データのフレームレートを大きくするフレームレート調整部、として機能させる。

【発明の効果】

【0012】

本発明によれば、撮影装置から取得した撮影データの画質が低下した場合であっても、表示装置に出力する画像データの画質が低下することを抑制するという効果を奏する。

【図面の簡単な説明】

【0013】

【図1】本発明の実施の形態に係る画像処理システムＳの構成を示す図である。

【図2】フレームレート調整部３２５の動作のフローチャートを示す図である。

【図3】フレームレート調整部３２５の動作のフローチャートを示す図である。

【図4】フレームレート調整部３２５がフレームレートを調整したことによる、画像処理装置３が表示装置２に出力する圧縮データのフレームレートを時系列で示す図である。

【図5】変形例に係る画像処理装置３の構成を示す図である。

【図6】変形例に係るフレームレート調整部３２５の動作のフローチャートを示す図である。

【発明を実施するための形態】

【0014】

［画像処理システムＳの構成］
図１は、本発明の実施の形態に係る画像処理システムＳの構成を示す図である。画像処理システムＳは、撮影装置１と、表示装置２と、画像処理装置３とを有する。画像処理システムＳは、例えば、撮影装置１が撮影した画像を表示装置２が表示する監視システムである。

【0015】

撮影装置１は、動画像を撮影することができるカメラであり、例えば監視カメラである。撮影装置１は、撮影した動画像から動画像データを作成するとともに、生成した動画像データを画像処理装置３に送信する。動画像データは、例えばＭＰＥＧ（Moving Picture Experts Group）、Ｍｏｔｉｏｎ ＪＰＥＧ（Joint Photographic Experts Group）、Ｈ．２６４又はＨ．２６５により符号化されたデータである。

【0016】

表示装置２は、動画像を表示することができるディスプレイである。表示装置２は、例えばネットワークビデオレコーダを有しており、画像処理装置３から受信した圧縮データを伸長して伸長動画像データに変換する。圧縮データは、例えば撮影装置１が作成した動画像データの圧縮率よりも圧縮されたデータである。表示装置２は、受信した圧縮データを内部の記憶媒体（例えばハードディスク）に記憶する。また、表示装置２は、伸長動画像データに変換した後に、表示装置２に接続されたモニタに表示する。

【0017】

画像処理装置３は、撮影装置１から動画像データを受信する。画像処理装置３は、撮影装置１から受信した動画像データを圧縮することにより圧縮データを作成し、作成した圧縮データを表示装置２に送信する。圧縮する処理は、動画像データを伸長した後に再度圧縮する処理である。画像処理装置３は、伸長された動画像データを圧縮することにより、撮影装置１が作成した動画像データの圧縮率よりも圧縮された圧縮データを作成する。

【0018】

画像処理装置３は、動画像データの画質と、動画像データの画像領域における画質のばらつきの大きさとに基づいて、表示装置２に送信する圧縮データのフレームレートを調整する。画像処理装置３は、例えば動画像データが雨天又は雪天時の画像のように、画質が晴天時の画像よりも悪く、かつ画像領域の全体に雨粒や雪の画像があることで領域ごとの画質のばらつきが晴天時の画像よりも大きい場合に、フレームレートを晴天時の画像のフレームレートよりも大きくする。画像処理装置３がこのようにフレームレートを調整することで、画質が悪く、領域ごとの画質のばらつきが大きい画像であっても、表示装置２がモニタに表示する画像の画質を良好に保つことができる。

【0019】

続いて、画像処理装置３の構成を説明する。画像処理装置３は、記憶部３１と制御部３２とを有する。記憶部３１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びハードディスク等の記憶媒体を有する。記憶部３１は、後述する制御部３２が実行するプログラムを記憶している。記憶部３１は、例えば基準画像データが記憶されている。基準画像データは、撮影装置１が撮影するエリアの定常状態の画像に対応する。基準画像データは、撮影装置１が撮影した動画像の画像領域に対応する基準画像である。

【0020】

制御部３２は、例えばＣＰＵ（Central Processing Unit）である。制御部３２は、記憶部３１に記憶されているプログラムを実行することにより、画像データ取得部３２１、圧縮部３２２、データ出力部３２３、差分特定部３２４、及びフレームレート調整部３２５として機能する。

【0021】

画像データ取得部３２１は、所定のエリアを撮影する撮影装置１から動画像データを取得する。画像データ取得部３２１は、取得した動画像データを圧縮部３２２、差分特定部３２４、及びフレームレート調整部３２５に送信する。

【0022】

圧縮部３２２は、フレームレート調整部３２５が決定したフレームレートに基づいて、画像データ取得部３２１から取得した動画像データを圧縮して圧縮データを生成する。圧縮部３２２は、生成した圧縮データをデータ出力部３２３、フレームレート調整部３２５、及び記憶部３１に送信する。データ出力部３２３は、圧縮部３２２から受信した圧縮データを表示装置２に送信する。

【0023】

差分特定部３２４は、画像データ取得部３２１から動画像データを取得する。差分特定部３２４は、撮影装置１が撮影した動画像の画像領域に対応する基準画像データと圧縮データとを記憶部３１から取得する。基準画像データは、例えば撮影装置１が晴天時に撮影した画像に基づく動画像データである。基準画像データには、動く物体の画像が含まれていないことが望ましい。

【0024】

差分特定部３２４は、記憶部３１から取得した基準画像データと動画像データ又は圧縮データとの差分を特定する。差分特定部３２４は、例えば、動画像データが示す画像領域を複数に分割した領域のそれぞれに含まれている差分がある位置を特定する。差分は、例えば動画像データに含まれている雨粒又は雪粒に対応している。差分特定部３２４は、雨粒又は雪粒に基づく差分であると推定される差分値が生じている箇所（例えば、閾値以上の差分値である画素）に差分があると特定してもよい。差分特定部３２４は、特定した複数の差分の位置（例えば座標）をフレームレート調整部３２５に通知する。

【0025】

フレームレート調整部３２５は、画像データ取得部３２１から取得した動画像データ又は圧縮部３２２から取得した圧縮データが示す画像領域の画質と、当該動画像データ又は圧縮データの時間経過に伴う画質のばらつきとを特定する。フレームレート調整部３２５は、特定した画質と画質のばらつきとに基づいて圧縮データのフレームレートを決定し、圧縮部３２２に通知する。フレームレート調整部３２５は、例えば以下のいずれかの方法で画像データ取得部３２１から取得した画質を特定する。

【0026】

（第１の画質特定方法）
フレームレート調整部３２５は、記憶部３１から取得したエリアの定常状態の画像に対応する基準画像データと圧縮部３２２から取得した圧縮データとの差分値に基づいて、動画像データ又は圧縮データの画質を特定する。フレームレート調整部３２５は、例えば平均二乗誤差（Mean Square Error：ＭＳＥ）を算出することにより基準画像データと圧縮データとの差分値を決定する。

【0027】

（第２の画質特定方法）
フレームレート調整部３２５は、記憶部３１から取得したエリアの定常状態の画像に対応する基準画像データと動画像データとの差分値に基づいて、動画像データ又は圧縮データの画質を特定してもよい。フレームレート調整部３２５は、例えば平均二乗誤差を算出することにより基準画像データと動画像データとの差分値を決定する。動画像データの画質と圧縮データの画質とは相関性を有するため、フレームレート調整部３２５は、このように基準画像データと動画像データとの差分値を用いることによっても動画像データ又は圧縮データの画質を特定することができる。

【0028】

（第３の画質特定方法）
フレームレート調整部３２５は、画像データ取得部３２１から取得した動画像データのＰフレームデータ及びＢフレームデータの少なくともいずれかに含まれる動きベクトルの数に基づいて画質を特定する。フレームレート調整部３２５は、動きベクトルの数が多い場合、動画像データが雨天又は雪天時に撮影された画像に基づくデータであり、動きベクトルの数が少ない場合よりも画質が悪いということを特定する。

【0029】

また、フレームレート調整部３２５は、例えば以下のいずれかの方法で画像データ取得部３２１から取得した動画像データの時間経過に伴う画質のばらつきを特定する。

【0030】

（第１の画質のばらつきの特定方法）
フレームレート調整部３２５は、差分特定部３２４が特定した複数の差分の画像領域における分布の分散に基づいて、画質のばらつきを特定する。フレームレート調整部３２５は、例えば、差分特定部３２４から通知された差分の位置の分散に基づいて画質のばらつきを特定する。フレームレート調整部３２５は、分散が大きければ大きいほど画質のばらつきが大きいと判定する。

【0031】

（第２の画質のばらつきの特定方法）
フレームレート調整部３２５は、動画像データのＰフレームデータ及びＢフレームデータの少なくともいずれかに含まれる動きベクトルに対応する画素の位置の時間経過に伴う変化に基づいて画質のばらつきを特定する。動きベクトルは、例えば雨粒や雪粒に基づく動きベクトルである。動きベクトルの位置が時間経過に伴って変化をする場合には、時間経過に伴って位置が変化する雨粒や雪粒の画像が動画像データに含まれている蓋然性が高いと考えられるので、フレームレート調整部３２５は、動きベクトルの変化を用いることにより、雨粒や雪粒に伴う画質のばらつきを特定することができる。

【0032】

フレームレート調整部３２５は、上記の特定方法により動画像データが示す画像領域の画質と時間経過に伴う画質のばらつきとを特定する。そして、動画像データが示す画像領域の画質が第１閾値未満であり、かつ、時間経過に伴う画質のばらつきが第２閾値以上の場合に、画質が第１閾値以上である場合、及び時間経過に伴う画質のばらつきが第２閾値未満である場合よりも、圧縮部３２２が生成する圧縮データのフレームレートを大きくする。

【0033】

第１閾値は、例えばフレームレートを大きくする必要がない画質の最小値として実験によって予め定められた値である。第２閾値は、例えばフレームレートを大きくする必要がない画質のばらつきの最小値として実験によって予め定められた値である。第１閾値は、例えば、雨天時又は雪天時に撮影された動画像データの画質に基づいて定められた値である。第２閾値は、例えば、雨天時又は雪天時に生じ得る画質のばらつきの最小値に基づいて定められた値である。第１閾値及び第２閾値は、予め記憶部３１に記憶されていてもよい。

【0034】

［フレームレート調整部３２５の動作］
図２は、フレームレート調整部３２５の動作のフローチャートを示す図である。図２は、フレームレート調整部３２５が、上記の「第１の画質特定方法」と「第１の画質のばらつきの特定方法」とを用いてフレームレートを調整する動作を示す。

【0035】

フレームレート調整部３２５は、記憶部３１から基準画像データを取得する（Ｓ１１）。フレームレート調整部３２５は、圧縮部３２２から圧縮データを取得する（Ｓ１２）。フレームレート調整部３２５は、取得した基準画像データと圧縮データとの画質差分値を算出する（Ｓ１３）。算出した画質差分値が閾値以上である場合（Ｓ１４のＹＥＳ）、フレームレート調整部３２５は、圧縮データが示す画像領域の画質が第１閾値未満と判定し、差分特定部３２４から基準画像データと圧縮データとの差分を取得する（Ｓ１５）。

【0036】

続いて、フレームレート調整部３２５は、差分特定部３２４が特定した複数の差分の画像領域における分布の分散を算出する（Ｓ１６）。フレームレート調整部３２５は、算出した分散が閾値以上である場合（Ｓ１７のＹＥＳ）に、時間経過に伴う画質のばらつきが第２閾値以上であると判定し、分散が閾値未満である場合よりもフレームレートを大きくするように圧縮部３２２に通知する（Ｓ１８）。

【0037】

一方、フレームレート調整部３２５は、算出した画質差分値が閾値未満である場合（Ｓ１４のＮＯ）、及び算出した分散が閾値未満である場合（Ｓ１７のＮＯ）、記憶部３１又は圧縮部３２２から、現在の時刻における圧縮データのフレームレートを取得する（Ｓ１９）。取得したフレームレートがフレームレートを調整していない値である基準フレームレートである場合（Ｓ２０のＮＯ）、フレームレート調整部３２５は処理を終了する。取得したフレームレートが基準フレームレートより大きい場合（Ｓ２０のＹＥＳ）、フレームレート調整部３２５は、フレームレートを小さくするように圧縮部３２２に通知する（Ｓ２１）。

【0038】

なお、以上の説明において、フレームレート調整部３２５は、圧縮データに基づいて特定された画質及び画質のばらつきを用いたが、動画像データに基づいて特定された画質及び画質のばらつきを用いてもよい。また、圧縮データに基づいて特定された画質及び画質のばらつきと、動画像データに基づいて特定された画質及び画質のばらつきとを組み合わせて用いてもよい。

【0039】

図３は、フレームレート調整部３２５の動作のフローチャートを示す図である。図３には、フレームレート調整部３２５が、上記の「第２の画質特定方法」と「第２の画質のばらつきの特定方法」とを用いてフレームレートを調整する動作を示す。

【0040】

フレームレート調整部３２５は、画像データ取得部３２１から動画像データを取得する（Ｓ３１）。フレームレート調整部３２５は、取得した動画像データ又は圧縮データのＰフレームデータ及びＢフレームデータの少なくともいずれかに含まれる動きベクトルの数を算出する（Ｓ３２）。

【0041】

算出した動きベクトルの数が閾値以上である場合（Ｓ３３のＹＥＳ）、フレームレート調整部３２５は、動画像データが示す画像領域の画質が第１閾値未満と判定し、現在の時刻より前の時刻の動きベクトルに対応する画素の位置と現在の時刻の動きベクトルに対応する画素の位置との差分を算出する（Ｓ３４）。算出した画素の位置の差分が閾値以上である場合（Ｓ３５のＹＥＳ）、フレームレート調整部３２５は、時間経過に伴う画質のばらつきが第２閾値以上であると判定し、フレームレートを大きくするように圧縮部３２２に通知する（Ｓ１８）。

【0042】

算出した動きベクトルの数が閾値未満である場合（Ｓ３３のＮＯ）、及び算出した画素の位置の差分が閾値未満である場合（Ｓ３５のＮＯ）、フレームレート調整部３２５は、記憶部３１又は圧縮部３２２から、現在の時刻における圧縮データのフレームレートを取得する（Ｓ１９）。取得したフレームレートがフレームレートを調整していない値である基準フレームレートである場合（Ｓ２０のＮＯ）、フレームレート調整部３２５は処理を終了する。取得したフレームレートが基準フレームレートより大きい場合（Ｓ２０のＹＥＳ）、フレームレート調整部３２５は、フレームレートを小さくするように圧縮部３２２に通知する（Ｓ２１）。

【0043】

図４は、フレームレート調整部３２５がフレームレートを調整したことによる、画像処理装置３が表示装置２に出力する圧縮データのフレームレートを時系列で示す図である。図４の横軸は時刻を示す。時刻Ｔ１において、フレームレート調整部３２５は、動画像データが示す画像領域の画質が第１閾値未満であり、かつ、時間経過に伴う画質のばらつきが第２閾値以上であると判定する。そして、フレームレート調整部３２５は、圧縮データのフレームレートを１ｆｐｓ（frames per second）から２５ｆｐｓに変更するように圧縮部３２２に通知する。

【0044】

時刻Ｔ２において、圧縮部３２２は、フレームレート調整部３２５からの通知に基づいて、フレームレートを２５ｆｐｓに変更した圧縮データを生成するとともに、データ出力部３２３に圧縮データを出力する。

【0045】

時刻Ｔ３において、フレームレート調整部３２５は、動画像データが示す画像領域の画質が第１閾値以上、又は時間経過に伴う画質のばらつきが第２閾値未満であると判定する。さらに、フレームレート調整部３２５は、記憶部３１又は圧縮部３２２から現在の時刻における圧縮データのフレームレートを取得することにより、現在の時刻の圧縮データのフレームレートが基準フレームレートより大きいと判定する。そして、フレームレート調整部３２５は、フレームレートを小さくするように圧縮部３２２に通知する。

【0046】

時刻Ｔ４において、圧縮部は、フレームレート調整部３２５からの通知に基づいて、フレームレートを１ｆｐｓに変更した圧縮データを生成するとともに、データ出力部３２３に圧縮データを出力する。

【0047】

以上説明したように、画像処理装置３は、撮影装置１から受信した動画像データ又は圧縮データが示す画像領域の画質と時間経過に伴う画質のばらつきとに基づいて、動画像データを変換することにより生成する圧縮データのフレームレートを変更する。その結果、動画像データの画質が低下したと判定した場合はフレームレートを大きくした圧縮データを生成し、動画像データの画質が低下していないと判定した場合はフレームレートを小さくした圧縮データを生成する。したがって、画像処理装置３は、雨天又は雪天時のように、動画像データ又は圧縮データの画質が悪く画面全体でのちらつきが大きい場合であっても視認性が高い画像を表示装置２が表示できるようにしつつ、晴天時のように動画像データ又は圧縮データの画質が良い場合に、データ量をできるだけ少なくした圧縮データを表示装置２に出力することができる。

【0048】

［変形例］
図５は、変形例に係る画像処理装置３の構成を示す図である。画像処理装置３は、差分特定部３２４に代えて動き特定部３２６を有するという点で、図１に示した画像処理装置３と異なり、他の点で同じである。

【0049】

動き特定部３２６は、画像データ取得部３２１から受信した動画像データが示す画像領域に含まれる複数の領域それぞれにおいて動く物体を検出し、検出した動く物体の動きベクトルを特定する。動き特定部３２６は、特定した動きベクトルをフレームレート調整部３２５に通知する。

【0050】

フレームレート調整部３２５は、動き特定部３２６が動画像データの複数の領域それぞれに同じ向きの動きベクトルを検出した場合に、複数の領域それぞれに同じ向きの動きベクトルを検出していない場合よりもフレームレートを大きくする。動画像データに含まれている複数の雨粒又は雪粒の画像が時間の経過に伴って移動する向きは概ね同じである。したがって、フレームレート調整部３２５がこのように動作することで、動画像データが雨天時又は雪天時に撮影されて作成されている場合に、圧縮データのフレームレートを大きくすることができる。

【0051】

図６は、変形例に係るフレームレート調整部３２５の動作のフローチャートを示す図である。フレームレート調整部３２５は、算出した画質差分値が第１閾値以上である場合（Ｓ１４のＹＥＳ）、動き特定部３２６が特定した画像領域に含まれる複数の領域それぞれにおける動きベクトルを取得する（Ｓ４１）。フレームレート調整部３２５は、取得した動きベクトルそれぞれが同じ向きであると判定した場合（Ｓ４２のＹＥＳ）、圧縮データのフレームレートを大きくするように圧縮部３２２に通知する（Ｓ１８）。

【0052】

このように動作することで、例えば雨天時の撮影の場合、動画像データが示す画像領域に含まれる複数の領域のそれぞれに雨粒が撮影されることにより、動き特定部３２６は、複数の領域のそれぞれから、雨粒の動きベクトルを特定する。そして、フレームレート調整部３２５は、取得した複数の領域の動きベクトルのそれぞれが、同じ向き（例えば画像領域の上から下）であると判定することにより、例えば雨粒と判定できる。その結果、フレームレート調整部３２５は、圧縮データのフレームレートを大きくするように圧縮部３２２に通知する。

【0053】

一方、例えば晴天時の撮影において人が撮影された場合、動き特定部３２６は、被写体である人の動きベクトルを特定するとともに、フレームレート調整部３２５に動きベクトルを通知する。フレームレート調整部３２５は、動き特定部３２６から取得した動きベクトルが、動画像データが示す画像領域に含まれる複数の領域のうち、一部の領域にのみ検出されていることに基づいて、例えば雨粒でないと判定できる。その結果、フレームレート調整部３２５は、圧縮データのフレームレートを基準フレームレートにするように圧縮部３２２に通知する。

【0054】

［本実施形態に係る画像処理装置３の効果］
以上のとおり、画像処理装置３においては、撮影装置１から動画像データを取得する画像データ取得部３２１と、取得した動画像データを圧縮することにより圧縮データを生成する圧縮部３２２と、圧縮データのフレームレートを調整するフレームレート調整部３２５とを有する。そして、フレームレート調整部３２５は、取得した動画像データ又は圧縮データが示す画像領域の画質と時間経過に伴う画質のばらつきとに基づいて圧縮データのフレームレートを決定し圧縮部３２２に通知する。

【0055】

したがって、画像処理装置３は、撮影装置１から取得した動画像データに対応する画像の画質が低下したと判定する場合にフレームレートを上げることで画質の低下を抑制する。一方、動画像データに対応する画像の画質が低下していないと判定する場合は、フレームレートを下げることで表示装置２に送信するデータ量を削減する。その結果、画像処理装置３は、できるだけデータを増やすことなく、画質の低下を抑制した圧縮データを表示装置２に送信することができる。

【0056】

なお、以上の説明においては、画像処理装置３が雨天又は雪天の場合にフレームレートを大きくする場合を例示したが、画像処理装置３がフレームレートを大きくする要因は天候に限らない。例えば、動画像データに人や動物等のように動く物体が検出された場合においても本発明を提供することが可能である。

【0057】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0058】

１ 撮影装置
２ 表示装置
３ 画像処理装置
３１ 記憶部
３２ 制御部
３２１ 画像データ取得部
３２２ 圧縮部
３２３ データ出力部
３２４ 差分特定部
３２５ フレームレート調整部
３２６ 動き特定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】