(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0014】
<第1の実施形態>
図1は、映像記録システムSの概要を説明するための図である。映像記録システムSは、撮像対象を撮像するカメラ2と、カメラ2が撮像して生成された撮像画像を圧縮する画像圧縮装置1と、映像記憶装置3とを備える。画像圧縮装置1と、カメラ2とは、ネットワークを介して接続されている。同様に、画像圧縮装置1と、映像記憶装置3とは、ネットワークを介して接続されている。ネットワークは、例えばインターネットである。
【0015】
画像圧縮装置1は、カメラ2が撮像対象を撮像した画像を取得し、所定の圧縮パラメータで圧縮した圧縮後画像を生成する。画像圧縮装置1は、生成した圧縮後画像を映像記憶装置3に送信する。映像記憶装置3は、画像圧縮装置1から受信した圧縮後画像をハードディスク等の記憶媒体に記憶する。カメラ2が撮像する領域を監視する人(以下、ユーザという)は、映像記憶装置3に記憶された圧縮後画像を視認することにより、カメラ2が撮像した領域の状態を確認することができる。
【0016】
画像圧縮装置1が圧縮した圧縮後画像の画質は、カメラ2が撮像対象を撮像したときの、撮像対象の動きの量、撮像対象を含む領域における明るさなどの外部環境により変化する。そのため、圧縮後画像の画質を所望の画質にするには、撮像対象及び外部環境に応じて、画像の圧縮の条件を規定する圧縮パラメータを調整する必要がある。所望の画質は、例えば、圧縮後画像を利用して撮像対象を含む領域の状況を監視するユーザが設定した画質の目標である。
【0017】
そこで、画像圧縮装置1は、圧縮した後の圧縮後画像の画質を評価した評価結果と、予め定められた画質の目標との差に基づいて圧縮パラメータを調整する。具体的には、画像圧縮装置1は、評価結果と目標との差が小さくなるように圧縮パラメータを調整する。このようにすることで、画像圧縮装置1は、撮像対象及び外部環境が変化しても、圧縮パラメータを調整することにより、圧縮後画像の画質を所望の画質にすることができる。
【0018】
図2は、画像圧縮装置1の機能構成を示す図である。画像圧縮装置1は、取得部11と、圧縮部12と、画質評価部13と、目標情報取得部14と、パラメータ調整部15とを有する。取得部11は、カメラ2から画像データV0を取得する。取得部11は、取得した画像データV0を、圧縮部12と、画質評価部13とに通知する。
【0019】
圧縮部12は、画像データV0を所定の圧縮パラメータに基づいて圧縮し、圧縮後画像データV1を生成する。圧縮部12が画像データを圧縮するときの圧縮規格は、例えばH.264であるが、これに限定するものではない。圧縮パラメータは、圧縮後画像の画質を決定する各種の設定値である。具体的には、圧縮パラメータは、圧縮規格がH.264である場合、秒あたりのマクロブロック数、フレームあたりのマクロブロック数、及びビットレートなどである。また、圧縮パラメータは、GOP(Group Of Picture)及びIフレーム(Keyフレーム)の挿入間隔を含んでもよい。
【0020】
画質評価部13は、圧縮部12が圧縮した後の圧縮後画像データV1の画質を評価する。例えば、画質評価部13は、圧縮前の画像データV0と、圧縮部12が圧縮した後の圧縮後画像データV1との平均二乗誤差(Mean Square Error: MSE)を算出することにより、圧縮後画像データV1の画質を評価する。なお、画質評価部13は、MSEの値が低いほど、画質が高いと評価する。
【0021】
画質評価部13は、MSEの値に基づいて画質のレベルを評価してもよい。例えば、画質評価部13は、画質のレベルを10段階で評価する。画質評価部13は、例えば、MSEが50未満をレベル0、MSEが50以上100未満をレベル1、MSEが100以上150未満をレベル2と評価する。画質評価部13は、MSEが50増加するごとにレベルを1段階増加し、MSEが400以上450未満をレベル8、MSEが450以上をレベル9と評価する。
【0022】
図3は、圧縮後画像をフレームごとに評価した評価結果をプロットしたグラフを模式的に示す図である。
図3において、横軸は時間を示し、縦軸は評価結果(MSEの値)を示す。
図3において、目標情報が示す目標により定まる評価結果の目標画質レベルを破線で示す。また、
図3において矢印I0とI1の時間は、Iフレームのタイミングである。Iフレームは、他のフレームにおけるデータ誤りの影響を受けないので、他のフレームに比べて評価結果が良好になっている。
【0023】
図3において、実線で示す評価結果R1及び評価結果R2は、カメラ2が撮像した映像を圧縮した圧縮後画像をフレームごとに評価した結果である。評価結果R1は、画像間の変化が少ない映像を圧縮した圧縮後画像を評価して得られた評価結果である。画質評価部13は、評価結果R1を、画質レベル1と評価する。
【0024】
評価結果R2は、画像間の変化が多い映像を圧縮した圧縮後画像を評価して得られた評価結果である。画質評価部13は、例えば、
図3において一点鎖線Mで示す、予め定められた平均期間内のMSEの値を平均した平均MSEの値に基づいて、評価結果R2を画質レベル3と評価する。平均期間は、例えばIフレームから次のIフレームまでの期間であるが、これに限らず、映像記録システムSを運営する事業者が適宜設定してもよい。
【0025】
なお、画質評価部13は、平均期間内におけるMSEの値の最大値に基づいて画質レベルを評価してもよい。平均期間内におけるMSEの値の最大値に基づいて画質レベルを評価する場合、画質評価部13は評価結果M2を画質レベル4と評価する。
【0026】
画質評価部13は、MSEだけでなく、ピーク信号対雑音比(Peak signal-to-noise ratio)、又はSSIM(structural similarity)を算出することにより画質を評価してもよい。画質評価部13は、算出した評価結果をパラメータ調整部15に通知する。
【0027】
目標情報取得部14は、圧縮後画像データV1の画質の目標を示す目標情報を取得する。目標情報は、例えば、ユーザが入力した画質の目標を示す画質レベルを示すテキスト又は数値である。以下の説明においては、目標情報取得部14は、ユーザが入力した画質レベルを示す数値として2を取得したものとする。なお、目標情報取得部14は、ユーザが入力した画質レベルを示す数値に基づいて、MSEの値の目標値を決定してもよい。
【0028】
目標情報取得部14は、画像データV0の複数の領域のうち少なくとも一部の領域に関連付けて目標情報を取得してもよい。
図4は、一部の領域に関連付けて目標情報を取得する処理について説明するための図である。
図4においては、画像データAを、領域A1から領域A6までの6つの領域に分割したことを想定している。ユーザは、領域A1から領域A6までの6つの領域のうち少なくとも1つを選択することができる。目標情報取得部14は、ユーザが選択した領域を示す情報を取得する。
【0029】
目標情報取得部14は、取得した目標情報をパラメータ調整部15に通知する。また、目標情報取得部は、一部の領域に関連付けて目標情報を取得した場合、取得した目標情報と、ユーザにより選択された一部の領域を示す情報とをパラメータ調整部15に通知する。
【0030】
パラメータ調整部15は、画質評価部13による評価結果と目標情報が示す目標との差に基づいて圧縮パラメータを調整する。パラメータ調整部15は、例えば、評価結果と目標との差が小さくなるように圧縮パラメータを変更する。具体的には、パラメータ調整部15は、評価結果に対応する画質レベルと、目標が示す画質レベルとの差が小さくなるように圧縮パラメータを調整する。例えば、パラメータ調整部15は、評価結果であるMSEの値から、目標により定まるMSEの目標値を減算した値が小さくなるように圧縮パラメータの値を調整する。また、パラメータ調整部15は、MSEの値が目標値以下であれば、圧縮パラメータを調整しなくてもよい。
【0031】
図5は、評価結果の変化を説明するための図である。
図5において、横軸は時間を示し、縦軸は評価結果(MSEの値)を示し、目標情報が示す目標により定まる画質レベルを破線で示す。実線で示す評価結果M1は、MSEの値の平均値を時間に対してプロットしたグラフである。
【0032】
パラメータ調整部15は、時刻t
iにおいて、期間T1における評価結果(画質レベル7)と、目標(画質レベル2)との差が小さくなるように、圧縮パラメータを調整する。以下同様に、パラメータ調整部15は、時刻t
i+1において、期間T2における評価結果(画質レベル4)と、目標(画質レベル2)との差が小さくなるように、圧縮パラメータを調整する。パラメータ調整部15は、時刻t
i+2において、期間T3における評価結果(画質レベル3)と、目標(画質レベル2)との差が小さくなるように、圧縮パラメータを調整する。パラメータ調整部15は、時刻t
i+3においては、期間T4における評価結果(画質レベル2)と、目標(画質レベル2)とに差がないので、圧縮パラメータを調整しない。このようにすることで、パラメータ調整部15は、ユーザが所望する画質で画像を圧縮することができる。
【0033】
また、パラメータ調整部15は、目標情報取得部14が目標情報を取得した少なくとも一部の領域の圧縮後画像データV1の画質の評価結果と目標との差に基づいて圧縮パラメータを調整してもよい。パラメータ調整部15は、例えば、少なくとも一部の領域の評価結果と、一部の領域に関連付けられた目標との差が小さくなるように圧縮パラメータを調整する。具体的には、パラメータ調整部15は、一部の領域の評価結果であるMSEの値が、一部の領域に関連付けられた目標により定まるMSEの目標範囲内に含まれるように圧縮パラメータを調整する。
【0034】
パラメータ調整部15は、目標情報取得部14が、例えば領域A5に関連付けられた目標を取得した場合、画質評価部13が領域A5における画質を評価した結果と、領域A5に関連付けられた目標との差が小さくなるように圧縮パラメータを調整する。また、パラメータ調整部15は、目標情報取得部14が、領域A5に関連付けられた目標、及び領域A6に関連付けられた目標を取得した場合、領域A5の評価結果と目標との差、及び領域A6の評価結果と目標との差が小さくなるように圧縮パラメータを調整する。パラメータ調整部15は、例えば、領域A5のMSEの値が領域A5の目標範囲に含まれ、かつ領域A6のMSEの値が領域A6の目標範囲に含まれるように圧縮パラメータを調整する。
【0035】
なお、パラメータ調整部15は、複数の領域それぞれにおいて画質を評価した評価結果の平均と、目標との差が小さくなるように圧縮パラメータを調整してもよい。具体的には、パラメータ調整部15は、領域A5の評価結果であるMSEの値と領域A6の評価結果であるMSEの値との平均値と、目標により定まるMSEの目標値との差が所定の閾値以下になるように圧縮パラメータを調整する。このようにすることで、画像圧縮装置1は、ユーザが注目する領域の画質が、ユーザの所望する画質になるように画像を圧縮することができるとともに、処理量を減らすことができる。
【0036】
図6は、圧縮パラメータを調整する処理のフローチャートである。以下、画像圧縮装置1が圧縮パラメータを調整する処理の流れについて、
図6を参照しながら説明する。まず、取得部11は、カメラ2が撮像対象を撮像した画像データV0を取得する(ステップS1)。圧縮部12は、取得部11が取得した画像データV0を圧縮して圧縮後画像データV1を生成する(ステップS2)。画質評価部13は、圧縮後画像データV1の画質を評価する(ステップS3)。
【0037】
続いて、目標情報取得部14は、ユーザが入力した圧縮後画像データV1の画質の目標を示す目標情報を取得する(ステップS4)。そして、パラメータ調整部15は、評価結果と画質の目標との差に基づいて圧縮パラメータを調整する(ステップS5)。画像圧縮装置1は、ステップS1からステップS5までを繰り返すことにより、圧縮後画像データV1の画質が目標の画質になるように、カメラ2が撮像した画像データV0の圧縮パラメータを調整することができる。なお、画像圧縮装置1は、ステップS1の処理と、ステップS4の処理とのどちらを先に実行してもよいし、ステップS1からステップS3の処理とステップS4の処理とを並行して実行してもよい。
【0038】
[第1の実施形態に係る画像圧縮装置1の効果]
以上説明したように、映像記録システムSのパラメータ調整部15は、圧縮後画像データV1の画質を評価した評価結果と、圧縮後画像データV1の画質の目標との差に基づいて圧縮パラメータを調整する。このようにすることで、映像記録システムSは、圧縮部12が圧縮した後の画像の画質をユーザが所望する画質にすることができる。
【0039】
<第2の実施形態>
画像圧縮装置1は、上記の構成に加え、評価結果を蓄積する構成を有してもよい。
図7は、第2の実施形態に係る画像圧縮装置1の機能構成を示す図である。第2の実施形態に係る画像圧縮装置1は、評価結果を蓄積する蓄積部16をさらに有する。蓄積部16は、例えば、画像データが撮像された日時に関連付けて評価結果を蓄積する。
【0040】
図8は、蓄積された評価結果を示すデータテーブルを模式的に示す図である。
図8(a)は、日時に関連付けて蓄積された評価結果を示すデータテーブルを模式的に示す図である。なお、日時に関連付けて蓄積された評価結果を時間に対してプロットしたグラフは、例えば
図5のようなグラフである。
【0041】
パラメータ調整部15は、蓄積部16が蓄積した評価結果に基づいて、圧縮パラメータを調整する。パラメータ調整部15は、例えば、他の日の現在時刻と同じ時刻の後に関連付けて蓄積部16が蓄積している評価結果を参照し、参照した評価結果と目標との差が小さくなるように圧縮パラメータを調整する。このようにすることで、パラメータ調整部15は、評価結果が変化する傾向に合わせて、予め圧縮パラメータを変更することができる。
【0042】
蓄積部16は、画像データV0又は圧縮後画像データV1の特徴に関連付けて評価結果を蓄積してもよい。特徴は、例えば、晴天、曇天、雨天、雪天などの天候である。特徴は、時間帯又は明るさ等であってもよい。
図8(b)は、画像データV0と、圧縮後画像データV1と、当該圧縮後画像データV1の特徴と、当該圧縮後画像データV1の評価結果とを関連付けたデータテーブルを模式的に示す図である。
【0043】
蓄積部16が、画像データV0又は圧縮後画像データV1の特徴と評価結果とを関連付けて蓄積している場合、パラメータ調整部15は、圧縮部12が生成した圧縮後画像データV1の特徴に近い特徴に関連付けられた評価結果に基づいて圧縮パラメータを調整する。パラメータ調整部15は、まず、圧縮部12が生成した圧縮後画像データV1を解析して、圧縮後画像データV1の特徴を特定する。圧縮後画像データV1の特徴を特定する方法は任意であり、詳細については後述する。パラメータ調整部15は、特定した特徴に関連付けて蓄積された評価結果を参照することにより、例えば同じ天候の他の日の現在時刻と同じ時刻の後に関連付けて蓄積部16が蓄積している評価結果を参照し、参照した評価結果と目標との差が小さくなるように圧縮パラメータを調整する。
【0044】
蓄積部16は、評価結果が得られた際に使用されていた圧縮パラメータを記憶してもよい。
図9は、評価結果と、画像データV0の特徴と、使用された圧縮パラメータとを関連付けたデータテーブルを模式的に示す図である。
【0045】
蓄積部16が画像データV0の特徴に関連付けて圧縮パラメータを記憶している場合、パラメータ調整部15は、圧縮部12が生成した圧縮後画像データV1の特徴と同じ特徴に関連付けられた一以上の評価結果のうち、画質の目標を満たす評価結果に関連付けられている圧縮パラメータを選択する。例えば、パラメータ調整部15は、圧縮後画像データV1の特徴が「晴天」であるとき、圧縮後画像データV1と同じ特徴「晴天」に関連付けた評価結果M11(画質レベル4)及びM12(画質レベル2)のうち、画質の目標(画質レベル2)を満たす評価結果M11に対応する圧縮パラメータ「a」を選択する。このようにすることで、パラメータ調整部15は、過去に使用された圧縮パラメータに基づいて圧縮パラメータを調整することができるので、圧縮後画像の画質を所望の画質にするまでの時間を短くすることができる。
【0046】
[画像データの特徴を特定する方法]
以下、パラメータ調整部15が、画像データV0又は圧縮後画像データV1の特徴を、圧縮後画像データV1のデータ量と、MSEの値とに基づいて特定する方法について、具体的な例を挙げて説明する。
【0047】
雨が降っているときに撮像した画像データV0には、雨粒が含まれているため、画像全体に動きが発生する。したがって、圧縮後画像データV1のデータ量とMSEの値とがどちらも大きくなる。そこで、パラメータ調整部15は、圧縮後画像データV1のデータ量が第1データ閾値以上であり、かつMESの値が第1評価閾値以上であれば、画像データV0及び圧縮後画像データV1の特徴が雨天であると特定する。
【0048】
晴れているときに撮像した画像データV0においては動きが少なく、高画質であっても高圧縮率で圧縮できるので、圧縮後画像データV1のデータ量とMESの値とはどちらも小さくなる。そこで、パラメータ調整部15は、圧縮後画像データV1のデータ量が第1データ閾値より小さい第2データ閾値以下であり、かつMSEの値が第1評価閾値より小さい第2評価閾値未満であれば、画像データV0及び圧縮後画像データV1の特徴が晴天であると特定する。
【0049】
また、晴れているときに撮像した画像データV0において突発的な動きが発生すると、圧縮後画像データV1のデータ量は小さいとしても、MSEの値は大きくなる。そこで、パラメータ調整部15は、データ量が第2データ閾値以下であり、かつMESの値が第2評価閾値以上であれば、画像データV0及び圧縮後画像データV1の特徴が晴天であると特定する。なお、パラメータ調整部15は、データ量が第1データ閾値以上であり、かつMESの値が第2評価閾値以下である場合、特徴を特定しない。
【0050】
パラメータ調整部15は、圧縮後画像データV1のデータ量の増加又は減少の傾向に基づいて、圧縮後画像データV1の特徴を特定してもよい。例えば、パラメータ調整部15は、圧縮後画像データV1のデータ量とMSEの値とが増加傾向である場合、画像データV0が撮像された時の天候が晴天から雨天に変化したことを示していると特定する。また、パラメータ調整部15は、圧縮後画像データV1のデータ量とMSEの値とが減少傾向である場合、画像データV0が撮像された時の天候が雨天から晴天に変化したことを示していると特定する。
【0051】
パラメータ調整部15は、特定した変化後の天候に対応する特徴に関連付けられた評価結果と圧縮パラメータとの関係に基づいて、変化後の天候に対応する圧縮パラメータを選択する。このようにすることで、パラメータ調整部15は、天候が変化した場合においても、圧縮後画像の画質をユーザが所望する画質にする圧縮パラメータに速やかに調整することができる。
【0052】
なお、パラメータ調整部15は、画像データV0又は圧縮後画像データV1を既知の解析手法を用いて解析することにより特徴を特定してもよい。解析手法は、例えば画像データV0から一定の規則や意味を持つ対象を選別して取り出すことにより特徴を特定するパターン認識法である。
【0053】
[第2の実施形態に係る画像圧縮装置1の効果]
以上説明したように、画像圧縮装置1の蓄積部16は、評価結果を蓄積する。そして、パラメータ調整部15は、蓄積された評価結果に対応する圧縮パラメータに基づいて、圧縮パラメータを調整する。このようにすることで、パラメータ調整部15は、圧縮後画像の画質を、ユーザが所望する画質にするまでの時間を短くすることができる。
【0054】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。