(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-19
(45)【発行日】2024-08-27
(54)【発明の名称】画像処理装置及び画像処理システム
(51)【国際特許分類】
H04N 19/51 20140101AFI20240820BHJP
H04N 19/40 20140101ALI20240820BHJP
H04N 23/60 20230101ALI20240820BHJP
H04N 7/18 20060101ALI20240820BHJP
【FI】
H04N19/51
H04N19/40
H04N23/60 500
H04N23/60 300
H04N7/18 A
(21)【出願番号】P 2020059589
(22)【出願日】2020-03-30
【審査請求日】2023-03-03
(73)【特許権者】
【識別番号】304014143
【氏名又は名称】サクサ株式会社
(74)【代理人】
【識別番号】110004222
【氏名又は名称】弁理士法人創光国際特許事務所
(72)【発明者】
【氏名】植田 大介
(72)【発明者】
【氏名】小関 吉則
(72)【発明者】
【氏名】深井 伸晃
【審査官】田部井 和彦
(56)【参考文献】
【文献】特開2016-201617(JP,A)
【文献】特開2000-244914(JP,A)
【文献】特開2007-336138(JP,A)
【文献】特開2017-005687(JP,A)
【文献】米国特許出願公開第2016/0316219(US,A1)
【文献】Haitao Zhang et al.,F.CCVSReqs: Proposal for updating multiple clauses,ITU-T寄書(SG16-C-0084) ,2017年01月03日
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/51
H04N 19/40
H04N 23/60
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
Iフレームデータ、Bフレームデータ及びPフレームデータを含む圧縮動画像データを取得する画像データ取得部と、
前記圧縮動画像データから複数の前記Iフレームデータを抽出するIフレーム抽出部と、
前記Iフレーム抽出部が抽出した前記複数のIフレームデータに基づいて、前記圧縮動画像データに含まれる被写体の動きを検出する動き検出部と、
前記圧縮動画像データをさらに圧縮して再圧縮データを生成する圧縮部と、
前記再圧縮データと、前記再圧縮データにおける、前記動き検出部が前記動きを検出した動き検知タイミングを示すタイミングデータとを出力するデータ出力部と、
を有
し、
前記動き検出部は、他の前記Iフレームデータが間に含まれている前記複数のIフレームデータであって、所定の時間間隔より長い時間離れた前記複数のIフレームデータに基づいて前記動きを検出する、
画像処理装置。
【請求項2】
前記データ出力部は、時刻を示す時刻データに関連付けた前記再圧縮データと、前記動き検出部が前記動きを検出した時刻を示す前記タイミングデータとを出力する、
請求項1に記載の画像処理装置。
【請求項3】
前記データ出力部は、前記動きを検出した前記被写体の特徴を示す特徴データを、前記再圧縮データにおいて前記動きが検出された画像フレームに関連付けて出力する、
請求項1又は2に記載の画像処理装置。
【請求項4】
前記動き検出部は、所定の期間内に閾値以上の前記Iフレームデータが含まれる場合に前記動きの検出処理を実行し、前記所定の期間内に前記閾値未満の前記Iフレームデータが含まれる場合に前記動きの検出処理の実行を停止する、
請求項1から
3のいずれか一項に記載の画像処理装置。
【請求項5】
複数の撮像装置と、前記複数の撮像装置から受信した圧縮動画像データを再圧縮する画像処理装置と、を備え、
前記複数の撮像装置それぞれは、
撮像画像データを生成する画像生成部と、
前記撮像画像データを圧縮することにより前記圧縮動画像データを生成する第1圧縮部と、
前記圧縮動画像データを送信する送信部と、
を有し、
前記画像処理装置は、
Iフレームデータ、Bフレームデータ及びPフレームデータを含む圧縮動画像データを取得する画像データ取得部と、
前記圧縮動画像データから複数の前記Iフレームデータを抽出するIフレーム抽出部と、
前記Iフレーム抽出部が抽出した前記複数のIフレームデータに基づいて、前記圧縮動画像データに含まれる被写体の動きを検出する動き検出部と、
前記圧縮動画像データをさらに圧縮して再圧縮データを生成する第2圧縮部と、
前記再圧縮データと、前記再圧縮データにおける、前記動き検出部が前記動きを検出した動き検知タイミングを示すタイミングデータとを出力するデータ出力部と、
を有
し、
前記動き検出部は、他の前記Iフレームデータが間に含まれている前記複数のIフレームデータであって、所定の時間間隔より長い時間離れた前記複数のIフレームデータに基づいて前記動きを検出する、
画像処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及び画像処理システムに関する。
【背景技術】
【0002】
撮像装置からネットワークを介して取得したデジタル圧縮処理が施された撮像データを伸長するとともに、伸長した撮像データを用いて撮像装置が撮像した被写体の動きを検出する画像処理装置が知られている(例えば、特許文献1を参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の画像処理装置は、近接フレーム間の差分に基づいて被写体の動きを常時検出しているので、処理負荷が大きかった。監視カメラシステムにおける画像処理装置は、取得した撮像データを伸長する処理、被写体の動きを検出する処理、及び取得した撮像データに基づくデータを表示装置のような他の装置に出力する処理を実行する必要があるため、被写体の動きを検出する処理の処理負荷を小さくすることが求められていた。
【0005】
そこで、本発明はこれらの点に鑑みてなされたものであり、被写体の動きを検出する処理の処理負荷を小さくすることができる画像処理装置及び画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の第1の態様に係る画像処理装置は、Iフレームデータ、Bフレームデータ及びPフレームデータを含む圧縮動画像データを取得する画像データ取得部と、前記圧縮動画像データから複数の前記Iフレームデータを抽出するIフレーム抽出部と、前記Iフレーム抽出部が抽出した前記複数のIフレームデータに基づいて、前記圧縮動画像データに含まれる被写体の動きを検出する動き検出部と、前記圧縮動画像データをさらに圧縮して再圧縮データを生成する圧縮部と、前記再圧縮データと、前記再圧縮データにおける、前記動き検出部が前記動きを検出した動き検知タイミングを示すタイミングデータとを出力するデータ出力部と、を有する。
【0007】
前記データ出力部は、時刻を示す時刻データに関連付けた前記再圧縮データと、前記動き検出部が前記動きを検出した時刻を示す前記タイミングデータとを出力してもよい。
【0008】
前記データ出力部は、前記動きを検出した前記被写体の特徴を示す特徴データを、前記再圧縮データにおいて前記動きが検出された画像フレームに関連付けて出力してもよい。
【0009】
前記動き検出部は、所定の時間間隔より長い時間離れた前記複数のIフレームデータに基づいて前記動きを検出してもよい。
【0010】
前記動き検出部は、所定の期間内に閾値以上の前記Iフレームデータが含まれる場合に前記動きの検出処理を実行し、前記所定の期間内に前記閾値未満の前記Iフレームデータが含まれる場合に前記動きの検出処理の実行を停止してもよい。
【0011】
本発明の第2の態様に係る画像処理システムは、複数の撮像装置と、前記複数の撮像装置から受信した圧縮動画像データを再圧縮する画像処理装置と、を備え、前記複数の撮像装置それぞれは、撮像画像データを生成する画像生成部と、前記撮像画像データを圧縮することにより前記圧縮動画像データを生成する第1圧縮部と、前記撮像装置を識別するための撮像装置識別情報に関連付けて前記圧縮動画像データを送信する送信部と、を有し、前記画像処理装置は、Iフレームデータ、Bフレームデータ及びPフレームデータを含む圧縮動画像データを取得する画像データ取得部と、前記圧縮動画像データから複数の前記Iフレームデータを抽出するIフレーム抽出部と、前記Iフレーム抽出部が抽出した前記複数のIフレームデータに基づいて、前記圧縮動画像データに含まれる被写体の動きを検出する動き検出部と、前記圧縮動画像データをさらに圧縮して再圧縮データを生成する第2圧縮部と、前記再圧縮データと、前記再圧縮データにおける、前記動き検出部が前記動きを検出した動き検知タイミングを示すタイミングデータとを出力するデータ出力部と、を有する。
【発明の効果】
【0012】
本発明によれば、被写体の動きを検出する処理の処理負荷を小さくすることができるという効果を奏する。
【図面の簡単な説明】
【0013】
【
図1】本発明の実施の形態に係る画像処理システムSの構成を示す図である。
【
図2】撮像装置1と画像処理装置3の構成を示す図である。
【
図3】動き検出部35の動作のフローチャートを示す図である。
【
図4】データ出力部36が出力するデータの構造を示す図である。
【発明を実施するための形態】
【0014】
[画像処理システムSの構成]
図1は、本発明の実施の形態に係る画像処理システムSの構成を示す図である。画像処理システムSは、複数の撮像装置1(撮像装置1a,1b,1c)と、表示装置2と、画像処理装置3とを有する。画像処理システムSは、例えば、複数の撮像装置1が撮像した画像を表示装置2が表示する監視システムである。
【0015】
複数の撮像装置1と画像処理装置3とはネットワークN1により接続されている。画像処理装置3と表示装置2とはネットワークN2により接続されている。ネットワークN1及びネットワークN2は、ローカルエリアネットワーク、インターネット等の任意のネットワークである。ネットワークN1とネットワークN2とは、同じネットワークでもよい。
【0016】
撮像装置1は、動画像を撮像することができるカメラであり、例えば施設内に設置される監視カメラである。撮像装置1は、撮像した動画像を圧縮することにより圧縮動画像データを生成する。圧縮動画像データは、例えばMPEG(Moving Picture Experts Group)、Motion JPEG(Joint Photographic Experts Group)又はH.264により符号化されたデータである。撮像装置1は、生成した圧縮動画像データを、ネットワークN1を介して画像処理装置3に送信する。
【0017】
表示装置2は、画像処理装置3から受信した圧縮動画像データを伸長して生成した動画像データをディスプレイに表示するための装置である。表示装置2は、例えばネットワークビデオレコーダを有しており、画像処理装置3からネットワークN2を介して取得した動画像データを記憶することもできる。
【0018】
画像処理装置3は、ネットワークN1を介して、複数の撮像装置1から圧縮動画像データを受信する。画像処理装置3は、受信した圧縮動画像データを伸長するとともに、伸長した動画像データに基づいて被写体の動きを検出する。画像処理装置3は、複数の撮像装置1から受信した圧縮動画像データを再圧縮することにより再圧縮データを生成し、ネットワークN2を介して、生成した再圧縮データを表示装置2に送信する。再圧縮する処理は、圧縮動画像データを伸長した後に再度圧縮する処理、又は圧縮動画像データをさらに圧縮する処理である。
【0019】
[撮像装置1と画像処理装置3の構成]
図2は、撮像装置1と画像処理装置3の構成を示す図である。撮像装置1は、撮像部11と、画像生成部12と、第1圧縮部13と、送信部14とを有する。画像処理装置3は、画像データ取得部31と、伸長部32と、第2圧縮部33と、Iフレーム抽出部34と、動き検出部35と、データ出力部36とを有する。画像データ取得部31、伸長部32、第2圧縮部33、Iフレーム抽出部34、動き検出部35、及びデータ出力部36は、例えばプロセッサにより実現されるが、プロセッサ以外の回路により実現されてもよい。
【0020】
撮像部11は、CCD(Charge Coupled Device)センサ、CMOS(Complementary Metal Oxide Semiconductor)センサ等の撮像素子、及びレンズを含む。撮像部11は、レンズに入力された光信号を電気信号に変換した後に画像生成部12に出力する。画像生成部12は、撮像部11から取得した電気信号をデジタルデータに変換することにより撮像画像データを生成する。画像生成部12は、生成した撮像画像データを第1圧縮部13に出力する。
【0021】
第1圧縮部13は、画像生成部12から取得した撮像画像データを圧縮することにより圧縮動画像データを生成する。第1圧縮部13は、例えばMPEGを用いて撮像画像データを圧縮する。具体的には、第1圧縮部13は、フレーム間予測を用いずに画像データが符号化された画像フレーム(Iフレーム)又はフレーム間予測を用いて画像データが符号化された画像フレーム(Bフレーム又はPフレーム)に撮像画像データを変換することで、撮像画像データを圧縮する。第1圧縮部13は、生成した圧縮動画像データを送信部14に出力する。
【0022】
送信部14は、撮像装置1を識別するための撮像装置識別情報に関連付けて、第1圧縮部13から取得した圧縮動画像データを画像処理装置3に送信する。送信部14が、撮像装置を識別するための撮像装置識別情報と圧縮動画像データとを関連付けることで、画像処理装置3は、圧縮動画像データを送信した撮像装置1を識別できる。
【0023】
続いて、画像処理装置3の構成を説明する。画像データ取得部31は、Iフレームデータ、Bフレームデータ及びPフレームデータを含む圧縮動画像データを、ネットワークN1を介して送信部14から取得する。画像データ取得部31は、取得した圧縮動画像データを伸長部32とIフレーム抽出部34とに出力する。
【0024】
伸長部32は、画像データ取得部31から取得した圧縮動画像データを伸長することにより、圧縮動画像データを伸長したデータである伸長画像データを生成する。伸長部32は、伸長画像データを第2圧縮部33に出力する。
【0025】
第2圧縮部33は、撮像装置1から取得した圧縮動画像データをさらに圧縮して再圧縮データを生成する。具体的には、第2圧縮部33は、例えば伸長部32から取得した伸長画像データを圧縮することにより再圧縮データを生成する。第2圧縮部33は、第1圧縮部13とは異なる圧縮方式を用いてもよい。第2圧縮部33は、生成した再圧縮データをデータ出力部36に出力する。
【0026】
第2圧縮部33は、第1圧縮部13が生成する圧縮動画像データよりも圧縮率が高い再圧縮データを生成する。このように、第2圧縮部33が、第1圧縮部13が生成した圧縮動画像データよりも圧縮率が高い再圧縮データを生成することで、画像処理装置3は、ネットワークN2を介して、多数の撮像装置1により生成された撮像画像データに基づく画像データを表示装置2に送信することができる。
【0027】
Iフレーム抽出部34は、画像データ取得部31から取得した圧縮動画像データからIフレームデータを抽出する。Iフレーム抽出部34は、圧縮動画像データに含まれる複数のIフレームデータを抽出する。Iフレーム抽出部34は、抽出した複数のIフレームを動き検出部35に出力する。複数のIフレームデータは、例えば1つのIフレームデータと、当該Iフレームデータの次のIフレームデータである。動き検出部35に出力する複数のIフレームデータは、圧縮動画像データにおいて他のIフレームデータが間に含まれている複数のIフレームデータであってもよい。
【0028】
動き検出部35は、Iフレーム抽出部34が抽出した複数のIフレームデータに基づいて、第1圧縮部13が生成した圧縮動画像データに含まれる被写体の動きを検出する。動き検出部35は、例えば、所定の時間間隔より長い時間離れた複数のIフレームデータに基づいて動きを検出する。ここでいう所定の時間間隔とは、例えば1秒以上である。動き検出部35が、このような複数のIフレームデータに基づいて動きを検出することで、動き検出処理の頻度を下げることができるので、画像処理装置3の処理負荷を抑制することができる。
【0029】
動き検出部35は、被写体の動きを検出した場合、動きを検出した時刻を示すタイミングデータをデータ出力部36に出力する。また、動き検出部35は、被写体の動きを検出した場合、動きを検出した被写体の特徴を示す特徴データをデータ出力部36に通知する。動き検出部35がデータ出力部36に通知する特徴データは、被写体の形状、色又は大きさを示すデータである。例えば被写体が赤い服を着ている人である場合、特徴データは、「赤い服を着ている人」を示すデータである。被写体の特徴は、例えば特徴を表す文字データ又は特徴に対応する符号化データとしてデータ出力部36に通知される。
【0030】
データ出力部36は、ネットワークN2を介して、第2圧縮部33から取得した再圧縮データを表示装置2に出力する。また、データ出力部36は、ネットワークN2を介して、再圧縮データにおける、動き検出部35が動きを検出した動き検知タイミングを示すタイミングデータを表示装置2に出力する。データ出力部36は、再圧縮データとタイミングデータとを関連付けて出力する。データ出力部36は、例えば、再圧縮データにおいて動きが検出された画像フレームを識別するための情報である画像フレーム番号を含むタイミングデータを出力する。
【0031】
データ出力部36は、時刻を示す時刻データに関連付けた再圧縮データと、動き検出部35が動きを検出した時刻を示すタイミングデータとを出力してもよい。時刻データに関連付けられた再圧縮データは、例えば、再圧縮データに含まれる画像フレームに時刻情報が付されたデータである。このように、データ出力部36が時刻データに関連付けられた再圧縮データと動きが検出された時刻を示すタイミングデータとを出力することで、表示装置2は、タイミングデータが示す時刻と同一の時刻を示す時刻データに対応する再圧縮データ内の画像フレームを特定することができる。
【0032】
さらに、データ出力部36は、動き検出部35が動きを検出した被写体の特徴を示す特徴データを、再圧縮データにおいて被写体の動きが検出された画像フレームに関連付けて出力してもよい。データ出力部36は、例えば動き検出部35から通知された特徴データと、動きが検出された画像フレーム番号とを同時に出力する。データ出力部36は、動きが検出された被写体が含まれている複数の画像フレームに対応する番号の範囲又は時刻の範囲を特徴データに関連付けて出力してもよい。データ出力部36がこのように動作することで、表示装置2は、動き検出部35動きを検出した画像を表示している間に、被写体の特徴を示す文字列を表示することができるので、表示装置2により監視している人が、動きが検出された被写体を特定しやすくなる。
【0033】
[動き検出部35の動作]
図3は、動き検出部35の動作のフローチャートを示す図である。動き検出部35は、Iフレーム抽出部34から、圧縮動画像データから抽出したIフレームを取得する(S11)。動き検出部35は、前回動きを検出してから所定の期間が経過しているかどうかを判定する(S12)。
【0034】
動き検出部35は、所定の待機時間が経過していないと判定した場合(S12のNO)、取得したIフレームを削除する。動き検出部35は、所定の待機時間が経過したと判定した場合(S12のYES)、所定の期間内に含まれるIフレームの数の算出を開始する(S13)。所定の期間は、監視する対象物が撮像装置1の撮像範囲を通過するために要する最小時間に基づいて定められており、例えば1秒である。動き検出部35は、所定の期間内に閾値以上のIフレームデータが含まれると判定した場合は(S14のYES)、動きの検出処理を実行する(S15)。一方、動き検出部35は、所定の期間内に閾値未満のIフレームデータが含まれると判定した場合は(S14のNO)、動き検出処理の実行を停止する(S16)。
【0035】
圧縮動画像データに含まれる画像が変化する量が多い場合に、圧縮動画像データにIフレームデータが含まれる割合が多くなる傾向がある。したがって、所定の期間内のIフレームの数に基づいて、動き検出部35が動きの検出処理を実行するか否かを判定することで、動き検出部35は、被写体の動きを検出できる蓋然性が低い場合に動き検出処理を実行せず、被写体の動きを検出できる蓋然性が高い場合に動き検出処理を実行することができる。したがって、被写体の動きを検出できる蓋然性が低い場合に動き検出部35の負荷を小さくできる。
【0036】
動き検出部35は、動きの検出処理を実行して被写体の動きを検出した場合に、動きを検出した被写体の特徴を特定する(S17)。そして、動き検出部35は、被写体の動きを検出した時刻と特定した被写体の特徴とをデータ出力部36に通知する(S18)。動き検出部35は、動き検出の処理を継続する場合は(S19のNO)、再びIフレームを取得する(S11)。動き検出部35は、動き検出の処理を継続しない場合は(S19のYES)、処理を終了する。
【0037】
[データ出力部36が出力するデータの構造]
図4は、データ出力部36が出力するデータの構造を示す図である。データPは、例えば1フレーム以上の再圧縮データを含む。ヘッダP1は、データPのヘッダ部である。表示装置2は、ヘッダP1を特定することで、データPを受信したことを特定する。時刻情報P2は、動き検出部35が被写体の動きを検出した時刻を示すタイミングデータである。特徴データP3は、動き検出部35が動きを検出した被写体の特徴を示すデータである。再圧縮データP4は、データPのペイロード部である。再圧縮データP4は、例えば1フレーム以上の再圧縮データを含む。
【0038】
表示装置2は、データ出力部36が出力したデータPを、例えば表示装置2が有するネットワークビデオレコーダに記録する。表示装置2は、再圧縮データP4に含まれる複数の画像フレームのうち、時刻情報P2に含まれるタイミングデータが示す時刻と同一の時刻に対応する画像フレームにおいて動きが検出されたことを特定する。表示装置2は、動きが検出された被写体の特徴を示す情報が特徴データP3に含まれる場合、時刻情報P2に含まれるタイミングデータが示す時刻に対応する画像フレームから所定の期間の画像フレームに重ねて、特徴データが示す特徴を表示する。このように表示装置2が動画像に重ねて被写体の特徴を表示することで、ユーザが、動き検出部35が動きを検出した被写体を認識しやすくなる。
【0039】
表示装置2は、動きを検出した時刻を確認するための操作をユーザから受け付けると、時刻情報P2にタイミングデータが含まれるデータPを検索し、抽出されたデータPに関連付けられた再圧縮データP4を伸長してディスプレイに表示する。また、表示装置2は、動きを検出した被写体の特徴を入力する操作をユーザから受け付けると、入力された特徴が特徴データP3に含まれるデータPを検索し、抽出されたデータPに関連付けられた再圧縮データP4を伸長してディスプレイに表示する。表示装置2がこのように動作することで、ユーザは、動きがあった被写体を検索して、動きがあった被写体が写っている画像を容易に確認することができる。
【0040】
[本実施形態に係る画像処理装置3の効果]
以上のとおり、画像処理装置3は、圧縮動画像データからIフレームを抽出するIフレーム抽出部34と、抽出したIフレームに基づいて被写体の動きを検出する動き検出部35と、を有する。動き検出部35は、近接フレーム間の差分に基づいて被写体の動きを常時検出することを行わずに、圧縮動画像データに含まれるIフレームデータを抽出した場合にのみ被写体の動きの検出を行うので、被写体の動きを検出する処理の処理負荷を小さくすることができる。
【0041】
また、動き検出部35は、Iフレーム抽出部34が抽出した複数のIフレームデータに基づいて被写体の動きを検出するとともに、被写体の動きを検出した時刻を示すタイミングデータと検出した被写体の特徴とをデータ出力部36に通知する。動き検出部35がこのように動作することで、画像処理システムSは、動き検出部35が検出した被写体をユーザが特定しやすいように、動画像を表示装置2に表示させることができる。
【0042】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。
【符号の説明】
【0043】
1 撮像装置
2 表示装置
3 画像処理装置
11 撮像部
12 画像生成部
13 第1圧縮部
14 送信部
31 画像データ取得部
32 伸長部
33 第2圧縮部
34 Iフレーム抽出部
35 動き検出部
36 データ出力部