特許 7521227 画像処理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-16

(45)【発行日】2024-07-24

(54)【発明の名称】画像処理装置及びプログラム

(51)【国際特許分類】

   H04N 19/115 20140101AFI20240717BHJP

   H04N 19/154 20140101ALI20240717BHJP

   H04N 19/179 20140101ALI20240717BHJP

【ＦＩ】

H04N19/115

H04N19/154

H04N19/179

【請求項の数】 5

(21)【出願番号】P 2020059590

(22)【出願日】2020-03-30

(65)【公開番号】P2021158614

(43)【公開日】2021-10-07

【審査請求日】2023-03-03

(73)【特許権者】

【識別番号】304020498

【氏名又は名称】サクサ株式会社

(74)【代理人】

【識別番号】110004222

【氏名又は名称】弁理士法人創光国際特許事務所

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】相馬 真樹

(72)【発明者】

【氏名】水野 茂穂

【審査官】岩井 健二

(56)【参考文献】

【文献】特開２０１９－０８０２４７（ＪＰ，Ａ）

【文献】特開２０１３－０６２７１０（ＪＰ，Ａ）

【文献】特開２００３－３０９８５０（ＪＰ，Ａ）

【文献】特開平０８－３４０５３１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

動画像データを取得する画像データ取得部と、
圧縮パラメータに基づいて前記動画像データを圧縮することにより圧縮画像データを作成する圧縮部と、
前記圧縮部が前記圧縮パラメータに基づいて所定の期間内に作成した複数の前記圧縮画像データに対応する画像の画素値と、当該複数の圧縮画像データに対応する複数の前記動画像データに対応する画像の画素値との差の最大値と最小値との差分値である画質差分値が所定の許容範囲内になるまで、前記圧縮パラメータを更新するパラメータ更新部と、
を有する画像処理装置。

【請求項2】

前記パラメータ更新部は、前記差分値の最大値が閾値以上である場合に、前記差分値が前記閾値未満になるように前記圧縮パラメータを更新する、
請求項１に記載の画像処理装置。

【請求項3】

前記パラメータ更新部は、第１時間帯において、前記差分値が前記第１時間帯に関連付けられた前記所定の許容範囲内になるように前記圧縮パラメータを調整する、
請求項１又は２に記載の画像処理装置。

【請求項4】

前記所定の許容範囲として、前記第１時間帯に関連付けられた第１許容範囲、及び前記第１時間帯と異なる第２時間帯に関連付けられた第２許容範囲の設定を受け付ける設定受付部をさらに有し、
前記パラメータ更新部は、前記第１許容範囲が前記第２許容範囲よりも広い場合、前記第１時間帯において、前記差分値が第１許容範囲内になるまで前記圧縮パラメータを調整し、前記第１時間帯の後の前記第２時間帯において、前記差分値が前記第２許容範囲内になるように前記圧縮パラメータを調整し、前記第１許容範囲が前記第２許容範囲よりも狭い場合、前記第１時間帯において、前記差分値が第１許容範囲内になるまで前記圧縮パラメータを調整し、前記第２時間帯において、前記差分値が前記第１許容範囲よりも広く、かつ前記第２許容範囲内になるように前記圧縮パラメータを調整する、
請求項３に記載の画像処理装置。

【請求項5】

コンピュータを、
動画像データを取得する画像データ取得部、
圧縮パラメータに基づいて前記動画像データを圧縮することにより圧縮画像データを作成する圧縮部、及び
前記圧縮部が前記圧縮パラメータに基づいて所定の期間内に作成した複数の前記圧縮画像データに対応する画像の画素値と、当該複数の圧縮画像データに対応する複数の前記動画像データに対応する画像の画素値との差の最大値と最小値との差分値である画質差分値が所定の許容範囲内になるまで、前記圧縮パラメータを更新するパラメータ更新部、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及びプログラムに関する。

【背景技術】

【0002】

監視カメラシステムにおいて、撮像装置からネットワークを介して取得した撮像データを、取得した撮像データとは異なる形式の画像データに変換して表示装置などに出力する画像処理装置が知られている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－０５４３５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

画像処理装置が取得した撮像データを表示装置に出力する場合、画像処理装置は、例えばＭＰＥＧ（Moving Picture Experts Group）を用いて圧縮した撮像データを表示装置などに出力することで、画像処理装置と表示装置との間のデータ伝送量を少なくすることができる。しかしながら、ＭＰＥＧで圧縮された撮像データは、フレーム間予測を用いずに符号化された画像フレーム（Ｉフレーム）とフレーム間予測を用いて符号化された画像フレーム（例えばＰフレーム）とを含む。そのため、ＰフレームとＩフレームとが連続するタイミングでは、表示装置に出力する撮像データの画質が不連続になることで撮像データを閲覧する表示装置のユーザに違和感を与えてしまうという問題が生じていた。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、伝送する撮像データの画質が不連続になることを抑制する画像処理装置及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様に係る画像処理装置は、動画像データを取得する画像データ取得部と、圧縮パラメータに基づいて前記動画像データを圧縮することにより圧縮画像データを作成する圧縮部と、前記圧縮部が前記圧縮パラメータに基づいて所定の期間内に作成した複数の前記圧縮画像データに対応する画像の画質と、当該複数の圧縮画像データに対応する複数の前記動画像データに対応する画像の画質との差の最大値と最小値との差分値が所定の許容範囲内になるまで、前記圧縮パラメータを更新するパラメータ更新部と、を有する。

【0007】

前記パラメータ更新部は、前記差分値の最大値が閾値以上である場合に、前記差分値が前記閾値未満になるように前記圧縮パラメータを更新してもよい。

【0008】

前記パラメータ更新部は、第１時間帯において、前記差分値が前記第１時間帯に関連付けられた前記所定の許容範囲内になるように前記圧縮パラメータを調整してもよい。

【0009】

前記所定の許容範囲として、前記第１時間帯に関連付けられた第１許容範囲、及び前記第１時間帯と異なる第２時間帯に関連付けられた第２許容範囲の設定を受け付ける設定受付部をさらに有し、前記パラメータ更新部は、前記第１許容範囲が前記第２許容範囲よりも広い場合、前記第１時間帯において、前記差分値が第１許容範囲内になるまで前記圧縮パラメータを調整し、前記第１時間帯の後の前記第２時間帯において、前記差分値が前記第２許容範囲内になるように前記圧縮パラメータを調整し、前記第１許容範囲が前記第２許容範囲よりも狭い場合、前記第１時間帯において、前記差分値が第１許容範囲内になるまで前記圧縮パラメータを調整し、前記第２時間帯において、前記差分値が前記第１許容範囲よりも広く、かつ前記第２許容範囲内になるように前記圧縮パラメータを調整してもよい。

【0010】

本発明の第２の態様に係るプログラムは、コンピュータを、動画像データを取得する画像データ取得部、圧縮パラメータに基づいて前記動画像データを圧縮することにより圧縮画像データを作成する圧縮部、及び前記圧縮部が前記圧縮パラメータに基づいて所定の期間内に作成した複数の前記圧縮画像データに対応する画像の画質と、当該複数の圧縮画像データに対応する複数の前記動画像データに対応する画像の画質との差の最大値と最小値との差分値が所定の許容範囲内になるまで、前記圧縮パラメータを更新するパラメータ更新部、として機能させる。

【発明の効果】

【0011】

本発明によれば、伝送する撮像データの画質が不連続になることを抑制するという効果を奏する。

【図面の簡単な説明】

【0012】

【図1】本発明の実施の形態に係る画像処理システムＳの構成を示す図である。

【図2】パラメータ更新部３２５が特定した画質差分値を時系列で示す図である。

【図3】第１許容範囲が第２許容範囲よりも広い場合における伸長動画像データと圧縮動画像データとの画質の差を示す図である。

【図4】第１許容範囲が第２許容範囲よりも狭い場合における伸長動画像データと圧縮動画像データとの画質の差を示す図である。

【発明を実施するための形態】

【0013】

［画像処理システムＳの構成］
図１は、本発明の実施の形態に係る画像処理システムＳの構成を示す図である。画像処理システムＳは、撮像装置１と、表示装置２と、画像処理装置３とを有する。画像処理システムＳは、例えば、撮像装置１が撮像した画像を表示装置２が表示する監視システムである。

【0014】

撮像装置１は、動画像を撮像することができるカメラであり、例えば施設内に設置される監視カメラである。撮像装置１は、撮像した動画像から動画像データを作成するとともに、生成した動画像データを画像処理装置３に送信する。

【0015】

表示装置２は、動画像を表示することができるディスプレイである。表示装置２は、例えばネットワークビデオレコーダを有しており、画像処理装置３から受信した圧縮画像データを伸長して伸長動画像データに変換する。画像処理装置３から受信した圧縮画像データは、例えばＭＰＥＧ（Moving Picture Experts Group）データである。表示装置２は、受信した圧縮画像データを動画像データに変換した後に表示する。

【0016】

画像処理装置３は、撮像装置１から動画像データを受信する。画像処理装置３は、圧縮パラメータに基づいて受信した動画像データを圧縮することにより圧縮画像データを作成する。圧縮パラメータは例えば量子化パラメータであり、画像処理装置３は、当該圧縮パラメータを更新することで、作成する圧縮画像データのビットレート及び画質を変更することができる。画像処理装置３は、作成した圧縮画像データを表示装置２に送信する。

【0017】

続いて、画像処理装置３の構成を説明する。画像処理装置３は、記憶部３１と制御部３２とを有する。記憶部３１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びハードディスク等の記憶媒体を有する。記憶部３１は、後述する制御部３２が実行するプログラムを記憶している。記憶部３１は、例えば圧縮パラメータが記憶されている。

【0018】

制御部３２は、例えばＣＰＵ（Central Processing Unit）である。制御部３２は、記憶部３１に記憶されているプログラムを実行することにより、画像データ取得部３２１、圧縮部３２２、データ出力部３２３、設定受付部３２４、及びパラメータ更新部３２５として機能する。制御部３２は、撮像装置１から動画像データを受信するとともに、受信した動画像データを記憶部３１に記憶させる。制御部３２は、圧縮パラメータに基づいて受信した動画像データを圧縮することにより圧縮画像データを作成するとともに、作成した圧縮画像データを記憶部３１に記憶させる。

【0019】

画像データ取得部３２１は、動画像データを撮像装置１から取得する。画像データ取得部３２１は、取得した動画像データを圧縮部３２２に送信するとともに記憶部３１に記憶させる。画像データ取得部３２１は、取得した動画像データを記憶部３１に記憶させたことをパラメータ更新部３２５に通知する。

【0020】

圧縮部３２２は、パラメータ更新部３２５から取得した圧縮パラメータに基づいて、画像データ取得部３２１から取得した動画像データを圧縮することにより圧縮画像データを作成する。圧縮部３２２は、作成した圧縮画像データをデータ出力部３２３に送信するとともに記憶部３１に記憶させる。圧縮部３２２は、作成した圧縮画像データを記憶部３１に記憶させたことをパラメータ更新部３２５に通知する。データ出力部３２３は、圧縮部３２２から取得した圧縮画像データを表示装置２に送信する。

【0021】

設定受付部３２４は、パラメータ更新部３２５が圧縮パラメータを更新するときに用いる設定値を受け付ける。設定受付部３２４は、例えば、パラメータ更新部３２５が圧縮パラメータを更新する期間の設定値を受け付ける。また、設定受付部３２４は、圧縮部３２２が作成した複数の圧縮画像データに対応する画像の画質と、当該複数の圧縮画像データに対応する複数の動画像データに対応する画像の画質との差の最大値と最小値との差分値である画質差分値の許容範囲の設定値を受け付ける。設定受付部３２４は、受け付けた設定値をパラメータ更新部３２５に通知する。

【0022】

パラメータ更新部３２５は、画像データ取得部３２１が記憶部３１に記憶させた動画像データと、圧縮部３２２が記憶部３１に記憶させた圧縮画像データと、に基づいて圧縮パラメータを更新する。パラメータ更新部３２５は、例えば、圧縮部３２２が圧縮パラメータに基づいて所定の期間内に作成した複数の圧縮画像データに対応する画像の画質と、当該複数の圧縮画像データに対応する複数の動画像データに対応する画像の画質との差の最大値と最小値との差分値である画質差分値が所定の許容範囲内になるまで、圧縮パラメータを更新する。パラメータ更新部３２５は、例えば平均二乗誤差（Mean Square Error：ＭＳＥ）を算出することにより画質差分値を特定する。所定の期間は、画質に有意差があると判定可能になる期間であり、例えば１秒以上である。所定の許容範囲は、例えば設定受付部３２４が受け付けた設定値により定められる範囲であるが、所定の許容範囲は、予め記憶部３１に記憶されていてもよい。

【0023】

具体的には、パラメータ更新部３２５は、画質差分値の最大値が第１閾値（所定の許容範囲の最大値）以上である場合に、画質差分値が第１閾値未満になるように圧縮パラメータを更新する。また、パラメータ更新部３２５は、画質差分値の最小値が第２閾値（所定の許容範囲の最小値）未満である場合に、画質差分値が第２閾値以上になるように圧縮パラメータを更新する。

【0024】

パラメータ更新部３２５は、所定の時間帯において、画質差分値が所定の時間帯に関連付けられた所定の許容範囲になるように圧縮パラメータを調整してもよい。この場合、パラメータ更新部３２５は、第１時間帯において、画質差分値が第１時間帯に関連付けられた第１許容範囲になるように圧縮パラメータを調整し、第１時間帯とは異なる第２時間帯において、画質差分値が第２時間帯に関連付けられた所定の許容範囲になるように圧縮パラメータを調整してもよい。第１時間帯は、例えば昼間の時間帯であり、第２時間帯は、例えば夜間の時間帯である。パラメータ更新部３２５は、更新した圧縮パラメータを圧縮部３２２に通知する。

【0025】

［パラメータ更新部３２５の動作］
図２は、パラメータ更新部３２５が特定した画質差分値を時系列で示す図である。図２の横軸は時刻を示す。図２の縦軸は圧縮画像データを伸長することにより作成した画像と当該圧縮画像データに対応する動画像データに対応する画像との画質差分値を示す。画質差分値Ｄ１は、画質差分値の許容範囲の最大値であり、画質差分値Ｄ２は、許容範囲の最小値である。

【0026】

ここで、例えば時刻Ｔ１のように画質差分値が画質差分値Ｄ１を超えている時刻に対応するフレームは、例えばＭＰＥＧデータのＩフレーム画像である。また、画質差分値が画質差分値Ｄ１よりも画質差分値Ｄ２に近い値を示す時刻に対応するフレームは、例えばＭＰＥＧデータのＰフレーム画像である。

【0027】

時刻Ｔ１において、パラメータ更新部３２５は、算出したＭＳＥの最大値が許容範囲の最大値である画質差分値Ｄ１以上であると判定し、算出するＭＳＥが画質差分値Ｄ１未満になるように圧縮パラメータの更新を開始する。具体的には、パラメータ更新部３２５は、例えばＩフレームを含む時刻の圧縮画像データについては画質差分値を少なくするように圧縮パラメータを更新し、Ｉフレームを含まない時刻の圧縮画像については画質差分値を大きくするように圧縮パラメータを更新する。パラメータ更新部３２５は、画質が不連続にならない範囲で圧縮パラメータを更新する。

【0028】

時刻Ｔ２において、パラメータ更新部３２５は、所定の期間内に作成した複数の圧縮画像データに対応する画像と、当該複数の圧縮画像データに対応する複数の動画像データとのＭＳＥが画質差分値Ｄ１未満であり、かつ画質差分値Ｄ２以上であると判定する。パラメータ更新部３２５は、ＭＳＥが画質差分値Ｄ１未満かつ画質差分値Ｄ２以上であると判定した時点で圧縮パラメータの更新を終了する。

【0029】

このように動作することで、画像処理装置３は、画質差分値が許容範囲以上であっても、パラメータ更新部３２５が圧縮パラメータを更新することで、画質差分値を許容範囲未満とすることができる。具体的には、パラメータ更新部３２５は、例えばＭＰＥＧデータのＩフレーム画像に対応する時刻（例えば時刻Ｔ１）の画質差分値を小さくし、かつＭＰＥＧデータのＰフレーム画像又はＢフレーム画像に対応する時刻の画質差分値を大きくする。その結果、ＭＰＥＧデータのＩフレーム画像とＰフレーム画像又はＢフレームとの画質の差を小さくすることができるため、画質の急激な変動を抑制できる。

【0030】

また、パラメータ更新部３２５は、画質差分値の最大値を小さくするよりもＩフレーム画像を優先させる必要がある場合、例えばＩフレームに対応する時刻の圧縮画像データについては画質差分値を大きくするように圧縮パラメータを更新し、Ｉフレーム以外のフレームに対応する時刻の圧縮画像データについては画質差分値を小さくするように圧縮パラメータを更新することもできる。

【0031】

［時間帯ごとに許容範囲が設定されている場合の動作］
設定受付部３２４は、第１時間帯に関連付けられた第１許容範囲、及び第１時間帯と異なる第２時間帯に関連付けられた第２許容範囲の設定を受け付けてもよい。パラメータ更新部３２５は、第１許容範囲が第２許容範囲よりも広い場合、第１時間帯において、画質差分値が第１許容範囲内になるまで圧縮パラメータを調整する。パラメータ更新部３２５は、第１時間帯の後の第２時間帯において、画質差分値が第２許容範囲内になるように圧縮パラメータを調整する。

【0032】

一方、パラメータ更新部３２５は、第１許容範囲が第２許容範囲よりも狭い場合、第１時間帯において、画質差分値が第１許容範囲内になるまで圧縮パラメータを調整する。パラメータ更新部３２５は、第２時間帯において、画質差分値が第１許容範囲よりも広く、かつ第２許容範囲内になるように圧縮パラメータを調整する。

【0033】

図３は、第１許容範囲が第２許容範囲よりも広い場合における伸長動画像データと圧縮動画像データとの画質の差を示す図である。図３の横軸は時刻を示す。図３の縦軸は伸長動画像と圧縮動画像との画質の差である画質差分値を示す。範囲Ｒ１は、第１時間帯に関連付けられた第１許容範囲である。範囲Ｒ２は、第２時間帯に関連付けられた第２許容範囲である。第１時間帯は、例えば人の往来が多い昼間の時間帯である。第２時間帯は、例えば人の往来が少ない夜間の時間帯である。

【0034】

第１時間帯において、ユーザが、例えば被写体を明確に確認するために、画質の急激な変動が抑制された動画像を閲覧することよりも画質の良い動画像を閲覧することを優先する場合、範囲Ｒ１は、範囲Ｒ２よりも広く設定される。また、第２時間帯において、ユーザが、例えば被写体の有無を確認するために、画質の良い動画像を閲覧することよりも画質の急激な変動が抑制された動画像を閲覧することを優先する場合、範囲Ｒ２は、範囲Ｒ１よりも狭く設定される。

【0035】

その結果、パラメータ更新部３２５は、画質差分値が、許容範囲の広い範囲Ｒ１の範囲内になるように第１時間帯の圧縮パラメータを更新する。続いて、時刻が第２時間帯に移行すると、パラメータ更新部３２５は、画質差分値が、許容範囲が狭い範囲Ｒ２の範囲内になるように第２時間帯の圧縮パラメータを更新する。なお、図３においては、第２時間帯に入った後にパラメータ更新部３２５が圧縮パラメータの更新を開始しているが、パラメータ更新部３２５は、第２時間帯における画質差分値が範囲Ｒ２の範囲になるように、第１時間帯から第２時間帯に切り替わる時刻の前に圧縮パラメータを更新してもよい。

【0036】

図４は、第１許容範囲が第２許容範囲よりも狭い場合における伸長動画像データと圧縮動画像データとの画質の差を示す図である。図４においては、範囲Ｒ１が範囲Ｒ２よりも狭く設定されている点で図３と異なり、他の点において同じである。

【0037】

第１時間帯において、ユーザが、例えば画像のちらつき（フリッカー）が抑制された動画像を閲覧したい場合、範囲Ｒ１は範囲Ｒ２よりも狭く設定される。一方、第２時間帯において、ユーザが、フリッカーよりも動画像に含まれる画像のそれぞれの画質を優先する場合、範囲Ｒ２は範囲Ｒ１よりも広く設定される。その結果、パラメータ更新部３２５は、画質差分値が範囲Ｒ１の範囲内になるように第１時間帯の圧縮パラメータを更新する。続いて、時刻が第２時間帯に移行すると、パラメータ更新部３２５は、画質差分値が範囲Ｒ１よりも広く、かつ範囲Ｒ２の範囲内になるように圧縮パラメータを更新する。このように動作することで、画像処理装置３は、時間帯ごとにユーザが所望する画質の動画像データを作成することができる。

【0038】

［本実施形態に係る画像処理装置３の効果］
以上のとおり、画像処理装置３は、動画像データを取得する画像データ取得部３２１と、圧縮パラメータに基づいて動画像データを圧縮することにより圧縮画像データを作成する圧縮部３２２と、圧縮パラメータを更新するパラメータ更新部３２５とを有する。そして、動画像データに対応する画像の画質と圧縮画像データを伸長した画像の画質との差の許容範囲の設定値に基づいて、パラメータ更新部３２５が圧縮パラメータを更新する。したがって、画像処理装置３は、取得した動画像データを、画質の変動が許容範囲になるように調整された圧縮画像データに変換できる。その結果、画像処理装置３は、表示装置２に送信する圧縮画像データの画質が不連続になることを抑制することができる。

【0039】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0040】

１ 撮像装置
２ 表示装置
３ 画像処理装置
３１ 記憶部
３２ 制御部
３２１ 画像データ取得部
３２２ 圧縮部
３２３ データ出力部
３２４ 設定受付部
３２５ パラメータ更新部

【図1】

【図2】

【図3】

【図4】