特許 7190661 画像処理装置、画像処理方法および画像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-08

(45)【発行日】2022-12-16

(54)【発明の名称】画像処理装置、画像処理方法および画像処理システム

(51)【国際特許分類】

   H04N 19/59 20140101AFI20221209BHJP

   A61B 5/11 20060101ALI20221209BHJP

【ＦＩ】

H04N19/59

A61B5/11 120

【請求項の数】 8

(21)【出願番号】P 2019019740

(22)【出願日】2019-02-06

(65)【公開番号】P2020127169

(43)【公開日】2020-08-20

【審査請求日】2021-09-16

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】手塚 忠則

(72)【発明者】

【氏名】中村 剛

【審査官】鉢呂 健

(56)【参考文献】

【文献】国際公開第２００７／１１６５５１（ＷＯ，Ａ１）

【文献】国際公開第２０１０／０３８５８７（ＷＯ，Ａ１）

【文献】特開２０１２－５８８５０（ＪＰ，Ａ）

【文献】特開平１１－５５４７９（ＪＰ，Ａ）

【文献】米国特許第７２７４８２５（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

Ａ６１Ｂ ５／１１

(57)【特許請求の範囲】

【請求項1】

１画素当たりａ（ａ：２のべき乗数）ビットの情報量を有して（Ｓ×Ｔ）画素（Ｓ，Ｔ：正の整数）からなる入力画像を、１画素あるいは複数の画素から構成されるグリッドごとに、空間方向にＮ×Ｍ画素（Ｎ，Ｍ：２以上の整数）単位で平均化する平均化処理部と、
１画素あるいは前記グリッドごとのＮ×Ｍ画素単位での平均化結果を、１画素当たり（ａ＋ｂ）ビット（ｂ：２以上の整数）の情報量で規定し、１画素当たり（ａ＋ｂ）ビットの情報量を有する（Ｓ×Ｔ）／（Ｎ×Ｍ）画素からなる縮小画像を生成する生成部と、を備え、
前記ｂの値は、（Ｎ×Ｍ）に近い２のべき乗値の指数ｃ（ｃ：正の整数）、あるいは（ｃ＋１）である、
画像処理装置。

【請求項2】

前記縮小画像を用いて物体の動き情報あるいは生体情報をセンシングするセンシング処理部、を更に備え、
前記生成部は、前記入力画像が入力される度に、前記入力画像に対応して生成された前記縮小画像を前記センシング処理部に出力する、
請求項１に記載の画像処理装置。

【請求項3】

前記生成部は、前記平均化結果を丸め処理せずに、前記平均化結果を１画素当たり前記（ａ＋ｂ）ビットの情報量で規定する、
請求項１に記載の画像処理装置。

【請求項4】

前記平均化処理部は、前記縮小画像を用いた物体の動き情報あるいは生体情報のセンシングの種別情報を取得し、前記種別情報に応じて（Ｎ×Ｍ）の値を選択して（Ｎ×Ｍ）画素単位で平均化する、
請求項１に記載の画像処理装置。

【請求項5】

前記縮小画像を用いて物体の動き情報および生体情報をそれぞれセンシングするセンシング処理部、を更に備え、
前記平均化処理部は、前記動き情報のセンシングに対応する第１の（Ｎ×Ｍ）の値、前記生体情報のセンシングに対応する少なくとも１つの第２の（Ｎ×Ｍ）の値をそれぞれ選択し、それぞれの（Ｎ×Ｍ）の値を用いた（Ｎ×Ｍ）画素単位で平均化する、
請求項１に記載の画像処理装置。

【請求項6】

前記平均化処理部は、前記Ｍ，Ｎの異なる値となる複数組のペアを用いて、前記複数組のペアの前記Ｎ×Ｍ画素単位で前記入力画像を平均化し、
前記生成部は、前記複数組のペアの前記Ｎ×Ｍ画素単位の平均化による前記ペアの個数と同数個の縮小画像を生成し、
前記センシング処理部は、前記ペアの個数と同数個の縮小画像を用いて前記センシングを行った結果、前記物体の動き情報あるいは生体情報のセンシングに適した縮小画像を選択する、
請求項２に記載の画像処理装置。

【請求項7】

画像処理装置における画像処理方法であって、
１画素当たりａ（ａ：２のべき乗数）ビットの情報量を有して（Ｓ×Ｔ）画素（Ｓ，Ｔ：正の整数）からなる入力画像を、１画素あるいは複数の画素から構成されるグリッドごとに、空間方向にＮ×Ｍ画素（Ｎ，Ｍ：２以上の整数）単位で平均化するステップと、
１画素あるいは前記グリッドごとのＮ×Ｍ画素単位での平均化結果を、１画素当たり（ａ＋ｂ）ビット（ｂ：２以上の整数）の情報量で規定し、１画素当たり（ａ＋ｂ）ビットの情報量を有する（Ｓ×Ｔ）／（Ｎ×Ｍ）画素からなる縮小画像を生成するステップと、を有し、
前記ｂの値は、（Ｎ×Ｍ）に近い２のべき乗値の指数ｃ（ｃ：正の整数）、あるいは（ｃ＋１）である、
画像処理方法。

【請求項8】

画像処理装置とセンシング装置とが互いに通信可能に接続される画像処理システムであって、
前記画像処理装置は、
１画素当たりａ（ａ：２のべき乗数）ビットの情報量を有して（Ｓ×Ｔ）画素（Ｓ，Ｔ：正の整数）からなる入力画像を、１画素あるいは複数の画素から構成されるグリッドごとに、空間方向にＮ×Ｍ画素（Ｎ，Ｍ：２以上の整数）単位で平均化し、
１画素あるいは前記グリッドごとのＮ×Ｍ画素単位での平均化結果を、１画素当たり（ａ＋ｂ）ビット（ｂ：２以上の整数）の情報量で規定し、１画素当たり（ａ＋ｂ）ビットの情報量を有する（Ｓ×Ｔ）／（Ｎ×Ｍ）画素からなる縮小画像を生成して前記センシング装置に送り、
前記センシング装置は、
前記画像処理装置から送られる前記縮小画像を用いて、物体の動き情報あるいは生体情報をセンシングし、
前記ｂの値は、（Ｎ×Ｍ）に近い２のべき乗値の指数ｃ（ｃ：正の整数）、あるいは（ｃ＋１）である、
画像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、入力された画像を処理する画像処理装置、画像処理方法および画像処理システムに関する。

【背景技術】

【0002】

特許文献１には、参照画像と符号化対象画像の着目ブロックとから予測画像を生成し、予測画像と着目ブロックとから誤差画像を求め、誤差画像と予測画像とに基づいてローカルデコード画像を生成し、ローカルデコード画像と着目ブロックとの差分を求めて圧縮することで圧縮差分画像を生成してメモリに書き込む動画像符号化装置が開示されている。この動画像符号化装置によれば、ローカルデコード画像を利用するためにメモリに書き込みするデータ量を低減可能となる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１１－２５９３２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１の構成では、ローカルデコード画像と着目ブロックとの差分を求めるために作られる差分画像のデータが端数処理によって丸められてしまう（つまり、下位ビットが切り捨てられてしまう）。そもそも、特許文献１は、フレームメモリ部に転送される圧縮差分画像のデータ量を減らすことを目的としているので、圧縮差分画像の生成に用いられる差分画像のデータは、その下位ビットが切り捨てられている。従って、この動画像符号化装置によって圧縮された画像を用いて、その画像中に物体の動き情報あるいは生体情報等の特徴の有無をセンシングしようとしても、上述した端数処理（つまり丸め処理）によって動き情報あるいは生体情報の検出が困難となる可能性が高く、適正なセンシングが困難となるという課題があった。

【0005】

本開示は、上述した従来の状況に鑑みて案出され、入力された画像を効果的に圧縮してデータサイズを低減しながらも、圧縮後の画像中における物体の動き情報あるいは生体情報の有無の検出精度の劣化を抑制する画像処理装置、画像処理方法および画像処理システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示は、１画素当たりａ（ａ：２のべき乗数）ビットの情報量を有して（Ｓ×Ｔ）画素（Ｓ，Ｔ：正の整数）からなる入力画像を、１画素あるいは複数の画素から構成されるグリッドごとに、空間方向にＮ×Ｍ画素（Ｎ，Ｍ：２以上の整数）単位で平均化する平均化処理部と、１画素あるいは前記グリッドごとのＮ×Ｍ画素単位での平均化結果を、１画素当たり（ａ＋ｂ）ビット（ｂ：２以上の整数）の情報量で規定し、１画素当たり（ａ＋ｂ）ビットの情報量を有する（Ｓ×Ｔ）／（Ｎ×Ｍ）画素からなる縮小画像を生成する生成部と、を備え、前記ｂの値は、（Ｎ×Ｍ）に近い２のべき乗値の指数ｃ（ｃ：正の整数）、あるいは（ｃ＋１）である、画像処理装置を提供する。

【0007】

また、本開示は、画像処理装置における画像処理方法であって、１画素当たりａ（ａ：２のべき乗数）ビットの情報量を有して（Ｓ×Ｔ）画素（Ｓ，Ｔ：正の整数）からなる入力画像を、１画素あるいは複数の画素から構成されるグリッドごとに、空間方向にＮ×Ｍ画素（Ｎ，Ｍ：２以上の整数）単位で平均化するステップと、１画素あるいは前記グリッドごとのＮ×Ｍ画素単位での平均化結果を、１画素当たり（ａ＋ｂ）ビット（ｂ：２以上の整数）の情報量で規定し、１画素当たり（ａ＋ｂ）ビットの情報量を有する（Ｓ×Ｔ）／（Ｎ×Ｍ）画素からなる縮小画像を生成するステップと、を有し、前記ｂの値は、（Ｎ×Ｍ）に近い２のべき乗値の指数ｃ（ｃ：正の整数）、あるいは（ｃ＋１）である、画像処理方法を提供する。

【0008】

また、本開示は、画像処理装置とセンシング装置とが互いに通信可能に接続される画像処理システムであって、前記画像処理装置は、１画素当たりａ（ａ：２のべき乗数）ビットの情報量を有して（Ｓ×Ｔ）画素（Ｓ，Ｔ：正の整数）からなる入力画像を、１画素あるいは複数の画素から構成されるグリッドごとに、空間方向にＮ×Ｍ画素（Ｎ，Ｍ：２以上の整数）単位で平均化し、１画素あるいは前記グリッドごとのＮ×Ｍ画素単位での平均化結果を、１画素当たり（ａ＋ｂ）ビット（ｂ：２以上の整数）の情報量で規定し、１画素当たり（ａ＋ｂ）ビットの情報量を有する（Ｓ×Ｔ）／（Ｎ×Ｍ）画素からなる縮小画像を生成して前記センシング装置に送り、前記センシング装置は、前記画像処理装置から送られる前記縮小画像を用いて、物体の動き情報あるいは生体情報をセンシングし、前記ｂの値は、（Ｎ×Ｍ）に近い２のべき乗値の指数ｃ（ｃ：正の整数）、あるいは（ｃ＋１）である、画像処理システムを提供する。

【発明の効果】

【0009】

本開示によれば、入力された画像を効果的に圧縮してデータサイズを低減しながらも、圧縮後の画像中における物体の動き情報あるいは生体情報の有無の検出精度の劣化を抑制できる。

【図面の簡単な説明】

【0010】

【図1】実施の形態に係る画像処理システムの構成例を示す図

【図2】画像処理システムの動作の概要を示す図

【図3】入力画像および縮小画像のそれぞれの一例を示す図

【図4】画素加算平均による画像圧縮を説明する図

【図5】入力画像に対して行われる８×８画素の画素加算平均を説明する図

【図6】加算平均画素数テーブルの登録内容を示す図

【図7】縮小画像の生成タイミングを示す図

【図8】入力画像の画素値データを示すグラフ

【図9】画素加算平均において丸め処理を行わない画素値データと丸め処理を行った画素値データを示すグラフ

【図10】丸め処理なしで画素加算平均を行う場合の画素信号の有効成分を説明する図

【図11】比較例１，比較例２，比較例３のそれぞれにおける丸め処理ありの画素加算平均後の画像値データと、実施の形態１に係る丸め処理なしの画素加算平均後の画素値データを示すグラフ

【図12】実施の形態１に係る画像処理システムのセンシング動作手順を示すフローチャート

【図13】ステップＳ２における画像縮小処理手順を示すフローチャート

【図14】ステップＳ１２におけるグリッド単位の縮小処理手順を示すフローチャート

【図15】センシング対象に対応する特定サイズを示す特定サイズ選択テーブルの登録内容を示す図

【図16】実施の形態１の変形例１に係る画像処理システムのセンシング動作手順を示すフローチャート

【図17】ステップＳ２Ａにおける複数サイズの縮小画像生成手順を示すフローチャート

【図18】一体型のセンシング機器の構成を示す図

【発明を実施するための形態】

【0011】

以下、適宜図面を参照しながら、本開示に係る画像処理装置、画像処理方法および画像処理システムの構成および作用を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

【0012】

図１は、本実施の形態に係る画像処理システム５の構成例を示す図である。画像処理システム５は、カメラ１０と、ＰＣ（personal computer）３０と、制御機器４０と、クラウドサーバ５０とを含む構成である。カメラ１０、ＰＣ３０、制御機器４０およびクラウドサーバ５０は、それぞれネットワークＮＷに接続され、相互に通信可能である。なお、カメラ１０は、ＰＣ３０に有線または無線で直接に接続されてもよく、ＰＣ３０内に一体的に設けられてもよい。

【0013】

この画像処理システム５では、ＰＣ３０またはクラウドサーバ５０は、カメラ１０で撮像される動画を構成する各フレーム画像を、制御機器４０で行われるセンシング（後述参照）用に圧縮して動画のデータ量を削減する。これにより、ネットワークＮＷのデータの通信量（トラフィック量）が低減可能となる。この際、ＰＣ３０またはクラウドサーバ５０は、カメラ１０から入力される動画のデータを空間方向に（つまり、縦横の大きさ）縮小しながらも、時間方向においては動画内での被写体の動き情報あるいは生体情報を削減しない保持しながら圧縮する。ＰＣ３０またはクラウドサーバ５０は、例えば撮像された動画を構成するフレーム画像のセンシングを行い、そのセンシング結果に相当するセンシング情報（後述参照）を基にして、制御機器４０の作動を制御する。

【0014】

カメラ１０は、センシング対象である被写体を撮像する。センシング対象は、被写体（例えば人物）の生体情報（以下、「バイタル情報」と称することがある）、被写体の微小な動き、時間方向に短期的な動きあるいは時間方向に長期的な動きの情報である。被写体のバイタル情報は、例えば人物の有無、脈拍、心拍変動等が挙げられる。被写体の微小な動きは、例えば僅かな体動や呼吸動作等が挙げられる。被写体の短期的な動きは、例えば人物や物体の移動や揺れ等が挙げられる。被写体の長期的な動きは、例えば動線、家具等の物体の配置、日照（日差し、西日）、入口や窓の位置等が挙げられる。

【0015】

カメラ１０は、ＣＣＤ（Charged Coupled Device）あるいはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子（つまりイメージセンサ）を有し、被写体からの光を結像し、結像した光学像を電気信号に変換して映像信号を出力する。カメラ１０から出力される映像信号は、動画データとしてＰＣ３０に入力される。なお、カメラ２の台数は、１台に限らず、複数台であってもよい。また、カメラ１０は、近赤外光を照射してその反射光を受光可能な赤外線カメラであってもよい。また、カメラ１０は、固定カメラでもよいし、パン・チルト・ズーム可能なＰＴＺ（Pan Tilt Zoom）カメラであってもよい。なお、カメラ１０は、センシング機器の一例である。センシング機器としては、カメラの他、被写体の撮像画像を取得可能なサーモグラフィやスキャナ等であってもよい。

【0016】

画像処理装置の一例としてのＰＣ３０は、カメラ１０から入力した撮像画像（上述したフレーム画像）を圧縮して縮小画像を生成する。以下、カメラ１０から入力した撮像画像を、「入力画像」と称する場合がある。なお、ＰＣ３０は、カメラ１０から撮像画像を入力する代わりに、クラウドサーバ５０に蓄積された動画あるいは撮像画像を入力してもよい。ＰＣ３０は、プロセッサ３１と、メモリ３２と、表示部３３と、操作部３４と、画像入力インターフェース３６と、通信部３７とを含む構成である。なお、図１では、インターフェースを便宜的に「Ｉ／Ｆ」と略記している。

【0017】

プロセッサ３１は、ＰＣ３０の各部の動作を制御するものであり、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）等を用いて構成される。プロセッサ３１は、ＰＣ３０の各部の動作を制御する。プロセッサ３１は、ＰＣ３０の制御部として機能し、ＰＣ３０の各部の動作を全体的に統括するための制御処理、ＰＣ３０の各部との間のデータの入出力処理、データの演算（計算）処理およびデータの記憶処理を行う。プロセッサ３１は、メモリ３２内のＲＯＭに記憶されたプログラムの実行に従って動作する。

【0018】

プロセッサ３１は、カメラ１０からの入力画像を空間方向にＮ×Ｍ画素（Ｎ，Ｍ：２以上の整数）単位で平均化する平均化処理部３１ａと、Ｎ×Ｍ画素単位での平均化結果を基に縮小画像を生成する縮小画像生成部３１ｂと、縮小画像を用いて物体の動き情報あるいは生体情報をセンシングするセンシング処理部３１ｃを含む。平均化処理部３１ａと縮小画像生成部３１ｂとセンシング処理部３１ｃとは、プロセッサ３１がメモリ３２に予め記憶されているプログラムを実行することにより機能的な構成として実現される。なお、センシング処理部３１ｃはクラウドサーバ５０において実行されるように構成されてもよい。

【0019】

メモリ３２は、入力画像等の動画データ、各種演算データ、プログラム等を記憶する。メモリ３２は、一次記憶装置（例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory））を含む。また、メモリ３２は、二次記憶装置（例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive））や三次記憶装置（例えば光ディスク、ＳＤカード）を含んでよい。

【0020】

表示部３３は、動画、縮小画像、センシング結果等を表示する。表示部３３は、液晶表示デバイス、有機ＥＬ（Electroluminescence）デバイス、またはその他の表示デバイスを含む。

【0021】

操作部３４は、ユーザからの各種データや情報の入力を受け付ける。操作部３４は、マウス、キーボード、タッチパッド、タッチパネル、マイクロホン、またはその他の入力デバイスを含む。

【0022】

画像入力インターフェース３６は、カメラ１０がＰＣ３０に直接に接続される場合、カメラ１０で撮像された画像データ（動画、静止画を含むデータ）を入力する。画像入力インターフェース３６は、画像データを高速に転送可能なＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やＵＳＢ（Universal Serial Bus） Ｔｙｐｅ－Ｃ等、有線接続可能なインターフェースを含む。また、カメラ１０が無線で接続される場合、画像入力インターフェース３６は、近距離無線通信（例えばBluetooth（登録商標）通信）等のインターフェースを含む。

【0023】

通信部３７は、無線または有線を介してネットワークＮＷに接続された他の機器と通信し、画像データや各種の演算結果等のデータを送受信する。通信方式は、例えば、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、電力線通信、近距離無線通信（例えばBluetooth（登録商標）通信）、携帯電話用の通信等の通信方式を含んでよい。

【0024】

制御機器４０は、ＰＣ３０やクラウドサーバ５０からの指示に従って制御される機器である。制御機器４０として、例えば風向きや風量等を可変可能なエアーコンディショナ、照明位置や光量等を調節可能なライト等が挙げられる。

【0025】

センシング装置の一例としてのクラウドサーバ５０は、プロセッサ、メモリ、ストレージおよび通信部（いずれも図示せず）を有し、ＰＣ３０と同様、入力画像を圧縮して縮小画像を生成する機能や、縮小画像を用いて物体の動き情報あるいは生体情報をセンシングする機能を有し、ネットワークＮＷに接続された多数のカメラ１０から画像データを入力可能である。

【0026】

図２は、画像処理システム５の動作の概要を示す図である。以下で説明する画像処理システム５の主体的な動作は、画像処理装置の一例としてのＰＣ３０およびクラウドサーバ５０のうちどちらによって行われてもよい。通常、データ処理量が少ない場合、エッジ端末であるＰＣ３０が実行し、データ処理量が多い場合、クラウドサーバ５０が実行することが考えられるが、そうでなくてもよい。ここでは、説明を分かり易くするために、ＰＣ３０が主体的に行う場合を示す。

【0027】

カメラ１０は、例えばオフィス（図３参照）等の被写体を撮像し、撮像した動画をＰＣ３０に出力あるいは送信する。ＰＣ３０は、カメラ１０からの入力画像に含まれる各フレーム画像を入力画像ＧＺとして取得する。このような入力画像ＧＺは、例えば４Ｋあるいは８Ｋ等のＨＤ（High Definition）クラスの高画質な画像であればある程、データサイズが大きくなる傾向がある。

【0028】

ＰＣ３０は、圧縮前の元画像である入力画像ＧＺを圧縮し、複数種類のデータサイズ（後述参照）を有する縮小画像ＳＧＺを生成して得る。ＰＣ３０は、この画像圧縮の際に、入力画像ＧＺに対して、例えば８×８画素、１６×１６画素、３２×３２画素、６４×６４画素、１２８×１２８画素の異なる画素加算平均の処理（平均化処理の一例）をそれぞれ行い、各縮小画像ＳＧＺ１～ＳＧＺ５を得る（図２参照）。これら全ての画素加算平均を行うと、情報量（データサイズ）は元画像である入力画像ＧＺに対して約８％程度の情報量（データサイズ）に圧縮される。従って、縮小画像ＳＧＺ１～ＳＧＺ５のそれぞれの１２フレーム分相当のデータ量が、元画像である入力画像ＧＺ１フレーム分相当のデータ量と同じとなる。また、８×８画素の画素加算平均を除くその他の画素加算平均（つまり、１６×１６画素、３２×３２画素、６４×６４画素、１２８×１２８画素）を行うと、情報量（データサイズ）は元画像である入力画像ＧＺに対して約２％程度の情報量（データサイズ）に圧縮される。従って、縮小画像ＳＧＺ２～ＳＧＺ５のそれぞれの５０フレーム分相当のデータ量が、元画像である入力画像ＧＺ１フレーム分相当のデータ量と同じとなる。

【0029】

また、ＰＣ３０は、時間方向に蓄積されたＮ（Ｎは任意の自然数）フレーム分の縮小画像ＳＧＺを基に、センシングを行う。センシングでは、被写体（例えば人物）のバイタル情報の一例としての脈拍検出、人物の位置検出処理、動き検出処理が行われる。なお、ＰＣ３０においては、超低周波の時間フィルタ処理や機械学習等が行われてもよい。ＰＣ３０は、センシングの結果を基に、制御機器４０の作動を制御する。例えば、制御機器４０がエアコンである場合、ＰＣ３０は、エアコンに対し、エアコンから吹き出す風の向き、風量等を変更する指示を行う。

【0030】

図３は、入力画像ＧＺおよび縮小画像ＳＧＺのそれぞれの一例を示す図である。入力画像ＧＺは、カメラ１０で撮像され、例えばオフィスの撮像画像で圧縮される前の元画像である。縮小画像ＳＧＺは、例えばＰＣ３０によって入力画像ＧＺに対して８×８画素の画素加算平均が行われた後の縮小画像である。入力画像ＧＺでは、オフィス内の状況が鮮明に映し出されている。オフィスでは、人の移動等の動きがある。一方、縮小画像ＳＧＺでは、オフィス内の状況を示す画質が劣化した状態で映し出されているが、人の移動等の動き情報は保持されているのでセンシングには適している。

【0031】

図４は、画素加算平均による画像圧縮を説明する図である。ＰＣ３０は、画像圧縮の際に、入力画像ＧＺに対して、丸め処理（言い換えると、小数点以下の端数を切り捨てる整数化処理）を行うことなく、例えば８×８画素、１６×１６画素、３２×３２画素、６４×６４画素、１２８×１２８画素による各画素加算平均を行い、それぞれ縮小画像ＳＧＺ１，ＳＧＺ２，ＳＧＺ３，ＳＧＺ４，ＳＧＺ５を得る。ＰＣ３０は、画素加算平均を行う場合に、画素値として小数点以下の値を保持する。小数点以下の値を保持する場合、画像値は、例えば単精度浮動小数点フォーマットで表現される。ここで、入力画像の微小な変化は、画素値の小数点以下の値に現われ易い。従って、ＰＣ３０は、画素加算平均後の画素値として小数点以下の値を保持することで、圧縮しても元画像である入力画像に存在していた被写体の微小な変化を捉えることが可能である。

【0032】

８×８画素、１６×１６画素、３２×３２画素、６４×６４画素、１２８×１２８画素の各画素加算平均を行った場合、これらの縮小画像は、前述したように、元画像の８％程度のデータ量に圧縮される。これらの縮小画像を用いてセンシング処理を行う場合、ＰＣ３０は、センシング処理に要する計算量を削減できる。従って、ＰＣ３０は、リアルタイムにセンシング処理を行うことが可能となる。

【0033】

なお、ＰＣ３０は、上記５つ全ての画素加算平均を行うことなく、いずれか１つ以上の画素加算平均を行ってもよい。いずれか１つ以上の画素加算平均を行う場合、ＰＣ３０は、センシング対象に合わせて画素加算平均を選択してもよい。例えば、８×８画素の加算平均は、動き検出や人物の検出に用いられてよい。また、６４×６４画素と１２８×１２８画素の加算平均は、バイタル情報である脈拍検出に用いられてよい。また、５つ全ての画素加算平均は、長時間の動き検出、例えばゆっくりとした揺れの検出に用いられてよい。このように、１つもしくはそれ以上の画素加算平均に限る場合、全ての画素加算平均を行う場合と比べ、データ量の圧縮率はより高くなる。ＰＣ３０は、センシング処理に要する計算量を大幅に削減できる。

【0034】

図５は、入力画像ＧＺに対して行われる８×８画素の画素加算平均を説明する図である。入力画像ＧＺの１画素は、ａ（ａ：２のべき乗数）ビット（例えば８ビット）の情報量（言い換えると、０～２５５の階調の情報量）を有する。入力画像ＧＺに対し、８×８画素（つまり６４画素）の画素加算平均を行った結果を丸め処理なしで保存する場合、２５５×画素加算平均の画素数である「６４」（＝１６３２０）のデータ量を保存できるビット数は、１４ビット（＝０～１６３８３）であれば足りる（１６３２０＜１６３８３）。つまり、８×８画素の画素加算平均後の画素値は、１４ビットで丸め処理なしに記録可能である。なお、ここでは、モノクロ画像の場合、８×８画素の画素加算平均後の１画素の情報量は（ａ＋ｂ）ビット（例えば、１４ビット（＝８＋６））であるが（ｂ：２以上の整数）、カラー画像の場合、８×８画素の画素加算平均後の１ピクセル（ＲＧＢの画素）の情報量は、４２ビット（＝（８＋６）×３））である。つまり、モノクロ画像でもカラー画像であっても、ｂの値は、２＾｛入力画像ＧＺの１画素当たりの情報量（ａ）｝（＝２^ａ）と画素加算平均を行う時の処理単位となる画素数（上述した例だと８×８＝６４画素）との積と同一の２のべき乗数に対応する指数（ｃ）、あるいはその積より大きい最も近い２のべき乗数に対応する指数（ｃ＋１）となる。

【0035】

入力画像ＧＺがＳ×Ｔ（Ｓ，Ｔ：正の整数、例えばＳ＝３２、Ｔ＝２４）画素で構成される場合、８×８画素の画素加算平均後の縮小画像ＳＧＺは、元画像である入力画像ＧＺの１／６４に縮小された結果、４×３画素（＝（Ｓ×Ｔ）／Ｎ×Ｍ），１画素当たりの情報量が１４ビットとして表される。この場合、１画素当たりの１４ビットのうち、上位８ビットが整数値であり、下位６ビットが小数点以下の値である（図１０参照）。

【0036】

図６は、加算平均画素数テーブルＴｂ１の登録内容を示す図である。加算平均画素数テーブルＴｂ１には、丸め処理を行わない場合に画素加算平均後の１画素が必要なビット数（情報量）が登録されている。

【0037】

例えば、１画素当たりに８ビットのデータ量を有する入力画像に対して８×８画素の画素加算平均を行う場合、１画素が必要なビット数（情報量）は１４（＝８＋６）であり、データ圧縮率は略２．７３％である。また、入力画像の解像度がフルハイビジョンサイズの１９２０×１０８０画素である場合、縮小画像の解像度は、（１／８×８）倍の２４０×１３５画素となる。

【0038】

同様に、１画素当たりに８ビットのデータ量を有する入力画像に対して１６×１６画素の画素加算平均を行う場合、１画素が必要なビット数（情報量）は１６（＝８＋８）であり、データ圧縮率は略０．７８％である。また、入力画像の解像度が１９２０×１０８０画素である場合、縮小画像の解像度は、（１／１６×１６）倍の１２０×６７画素となる。以後同様に、１２８×１２８画素の画素加算平均を行う場合、１画素が必要なビット数（情報量）は２２（＝８＋１４）であり、データ圧縮率は略０．０１７％である。また、入力画像の解像度が１９２０×１０８０画素である場合、縮小画像の解像度は、（１／１２８×１２８）倍の１５×８画素となる。

【0039】

なお、一般的なプロセッサが単精度浮動小数点フォーマットでデータを保存する場合、仮数部が２３ビットであるので、１画素が必要なビット数（情報量）が２２ビットである１２８×１２８画素の画素加算平均後の画素値までは、丸め処理なしで保存可能である。

【0040】

図７は、縮小画像ＳＧＺの生成タイミングを示す図である。ＰＣ３０は、入力された動画を構成するそれぞれのフレーム画像に対し、時間ｔ方向に沿って所定のタイミングｔ１，ｔ２，ｔ３…で、入力画像ＧＺに対し画素加算平均を行い、縮小画像ＳＧＺを生成する。それぞれの縮小画像ＳＧＺは、空間方向においてデータサイズが縮小（圧縮）されているが、時間方向に縮小されておらず（言い換えると、時間的に間引いて生成されている訳では無く）、微小な変化を表す情報を保持している。

【0041】

ここで、丸め処理なしである場合の効果について詳述する。図８は、入力画像ＧＺの画素値データを示すグラフである。図９は、画素加算平均において丸め処理を行わない画素値データと丸め処理を行った画素値データを示すグラフである。いずれのグラフにおいても、縦軸は画素値を表し、横軸は入力画像の所定の１ラインにおける画素位置を表す。

【0042】

図８のグラフにおける各点ｐは、入力画像ＧＺの各画素値（言い換えると、生データ）を表す。曲線グラフｇｈ１は、実測値である各点ｐの画素値に対し、例えば最小二乗法によりフィットされた、４画素の画素加算平均を行う前のフィッティングカーブ（生データのカーブ）である。曲線グラフｇｈ２は、各点ｐの画素値に対し、丸め処理なしの４画素加算平均を行った場合の画素値のカーブを表す。曲線グラフｇｈ３は、丸め処理ありの画素加算平均を行った場合の画素値のカーブを表す。

【0043】

曲線グラフｇｈ２は、曲線グラフｇｈ１と近似したカーブを描く。特に、曲線グラフｇｈ２と曲線グラフｇｈ１のピーク位置がそれぞれ一致している。一方、曲線グラフｇｈ３は、曲線グラフｇｈ１から少しずれたカーブを描く。特に、曲線グラフｇｈ３と曲線グラフｇｈ１のピーク位置が一致せずにずれている。

【0044】

従って、曲線グラフｇｈ３を用いてセンシング処理（例えば動き検出）を行う場合、丸め処理ありの画素加算平均を行ったデータでは、入力画像ＧＺの各画素値（言い換えると、生データ）に対しピーク位置がずれるので、誤差が発生して正確な動き位置を検出できない可能性がある。これに対し、丸め処理なしの４画素加算平均を行ったデータでは、入力画像ＧＺの各画素値（言い換えると、生データ）とピーク位置が一致するので、センシング処理において動き位置を正確に検出できる。

【0045】

図１０は、丸め処理なしで画素加算平均を行う場合の画素信号の有効成分を説明する図である。ここで、カメラ１０で撮像される画像には、ＣＣＤやＣＭＯＳ等の固体撮像素子（イメージセンサ）に起因する光ショットノイズ（言い換えると、フォトンノイズ）が含まれる。フォトンノイズは、宇宙空間にある天体から飛び込んでくるフォトン（光子）がイメージセンサで検知されることで発生する。光ショットノイズは、画素値を平均化した場合、平均化に用いた画素数をＮとすると、ノイズ量が１／Ｎ^{（１／２）}倍になる特性を有する。

【0046】

例えば、８×８の画素加算平均を行う場合、ノイズ量が１／８倍になる。したがって、８ビットのデータのうち、最下位ビットのノイズ成分（例えば±１のノイズ）（図中、×印で示す）は、３ビット下位にシフトする。ノイズ成分が３ビット下位にシフトすることで、画素信号の有効成分（図中、〇印で示す）が下位２ビット増えることになる。つまり、丸め処理なしで画素加算平均を行うことで、画素信号を高精度に復元することが可能となる。

【0047】

同様に、１６×１６の画素加算平均を行う場合、ノイズ量が１／１６倍になる。従って、最下位のビットのノイズは、４ビット下位にシフトする。ノイズ成分が４ビット下位にシフトすることで、画素信号の有効成分が下位３ビット増えることになる。従って、画素信号は、より高精度に復元可能である。

【0048】

図１１は、比較例１，比較例２，比較例３のそれぞれにおける丸め処理ありの画素加算平均後の画像値データと、本実施の形態に係る丸め処理なしの画素加算平均後の画素値データを示すグラフである。比較例１に係る曲線グラフｇｈ２１は、丸め処理あり（整数丸め）の１２８×１２８画素の画素加算平均後のグラフを表す。比較例１に係る曲線グラフｇｈ２１は、画素値データの微小な変化をほとんど表していない。

【0049】

比較例２に係る曲線グラフｇｈ２２は、丸め処理ありの６４×６４画素の画素加算平均後、丸め処理なしの４画素加算平均を行ったグラフを表す。比較例２に係る曲線グラフｇｈ２２は、画素値データの傾向を表わしているが、画素値データの値を正確に反映していない。

【0050】

比較例３に係る曲線グラフｇｈ２３は、丸め処理ありの３２×３２画素の画素加算平均後、丸め処理なしの１６画素加算平均を行ったグラフを表す。比較例３に係る曲線グラフｇｈ２３は、比較例１，比較例２と比べ、本実施の形態に係る曲線グラフｇｈ１１に類似し、画素値データをある程度正確に反映しているが、符号ａ１で示される領域等では、ピーク位置がずれている。

【0051】

このように、比較例１，比較例２，比較例３のいずれの曲線グラフｇｈ２１，ｇｈ２２，ｇｈ２３も、本実施の形態に係る丸め処理なしの画素加算平均後の画素値データの曲線グラフｇｈ１１のように、画素値データを正確に反映したものとはならない。

【0052】

次に、実施の形態１に係る画像処理システム５の動作を示す。

【0053】

図１２は、実施の形態１に係る画像処理システム５のセンシング動作手順を示すフローチャートである。図１２に示される処理は、例えばＰＣ３０において実行される。

【0054】

図１２において、ＰＣ３０のプロセッサ３１は、画像入力インターフェース３６を介して、カメラ１０で撮像された動画データ（つまり、その動画データを構成するそれぞれのフレーム画像のデータ）を入力する（Ｓ１）。カメラ１０で撮像される動画は、例えばフレームレート６０ｆｐｓの画像である。各フレーム単位の画像は、入力画像（元画像）ＧＺとしてＰＣ３０に入力される。

【0055】

プロセッサ３１の平均化処理部３１ａは、入力画像ＧＺに対して画素加算平均を行う。プロセッサ３１の縮小画像生成部３１ｂは、特定サイズの縮小画像ＳＧＺを生成する（Ｓ２）。ここで、特定サイズは、Ｎ×Ｍ画素で表現され、例えば８×８画素である（Ｎ＝Ｍ＝８）。

【0056】

プロセッサ３１のセンシング処理部３１ｃは、縮小画像ＳＧＺを基に、入力画像ＧＺの変化の有無を判別するためのセンシング処理を行う（Ｓ３）。プロセッサ３１は、このセンシング処理の結果を出力する（Ｓ４）。センシング処理の結果として、プロセッサ３１は、例えばカメラ１０による撮像画像に現れる微小な変化が視認し易くなるように、撮像画像にマーカを重畳表示してもよい。また、プロセッサ３１は、センシング処理の結果、撮像画像に現れる動き情報が移動した場合、移動先に合わせるように、制御機器４０を制御してもよい。

【0057】

図１３は、ステップＳ２における画像縮小処理手順を示すフローチャートである。ここでは、Ｎ×Ｍ画素の画素加算平均を行って縮小画像を生成する場合を示す。プロセッサ３１の平均化処理部３１ａは、入力画像ＧＺをグリッド単位で分割する。グリッドｇｄは、入力画像ＧＺをｋ×ｌ（ｋ，ｌ：２以上の整数）画素単位に分割した領域である。分割された各グリッドｇｄをグリッド番号（Ｇ１，Ｇ２，…，ＧＮ）で表す。ここでは、入力画像ＧＺをｋ（例えば５）×ｌ（例えば７）画素単位のグリッドｇｄに分割し、グリッド番号の最大値ＧＮが３５である場合を示す。

【0058】

プロセッサ３１は、グリッド番号を表す変数ｉを初期値１に設定する（Ｓ１１）。プロセッサ３１は、ｉ番目のグリッドｇｄに対し縮小処理を行う（Ｓ１２）。縮小処理の詳細については後述する。プロセッサ３１は、ｉ番目のグリッドｇｄの縮小処理結果をメモリ３２に書き込む（Ｓ１３）。

【0059】

プロセッサ３１は、変数ｉを値１増加させる（Ｓ１４）。プロセッサ３１は、変数ｉがグリッド番号の最大値ＧＮを超えるか否かを判別する（Ｓ１５）。変数ｉがグリッド番号の最大値ＧＮを超えない場合（Ｓ１５、ＮＯ）、プロセッサ３１の処理はステップＳ１２に戻り、プロセッサ３１は、次のグリッドｇｄに対して同様の処理を繰り返す。一方、ステップＳ１５で変数ｉがグリッド番号の最大値ＧＮを超える場合（Ｓ１５、ＹＥＳ）、つまり、全てのグリッドｇｄに対し縮小処理が行われた場合、プロセッサ３１は図１３に示す処理を終了する。

【0060】

図１４は、ステップＳ１２におけるグリッド単位の縮小処理手順を示すフローチャートである。グリッドｇｄは、Ｎ×Ｍ画素で構成される。なお、Ｎ，Ｍは、２のべき乗であっても、２のべき乗でなくてもよい。例えば、Ｎ×Ｍは、１０×１０、５０×５０等であってもよい。グリッド中の各画素は、アドレスとしての役割を有する画素位置の変数ｉｄｘで指定される。プロセッサ３１は、グリッド値Ｕを初期値０に設定する（Ｓ２１）。プロセッサ３１は、グリッド中の画素位置を表す変数ｉｄｘを値１に設定する（Ｓ２２）。プロセッサ３１は、変数ｉｄｘの画素位置における画素値ｖａｌを読み出す（Ｓ２３）。プロセッサ３１は、グリッド値Ｕに画素値ｖａｌを加算する（Ｓ２４）。

【0061】

プロセッサ３１は、変数ｉｄｘを値１増加させる（Ｓ２５）。プロセッサ３１は、変数ｉｄｘが値Ｎ×Ｍを超えるか否かを判別する（Ｓ２６）。変数ｉｄｘが値Ｎ×Ｍを超えない場合（Ｓ２６、ＮＯ）、プロセッサ３１の処理はステップＳ２３に戻り、プロセッサ３１は、次のグリッドに対して同様の処理を繰り返す。

【0062】

一方、ステップＳ２６で変数ｉｄｘが値Ｎ×Ｍを超える場合（Ｓ２６、ＹＥＳ）、プロセッサ３１は、数式（１）に従い、Ｎ×Ｍ画素の画素加算平均後のグリッド値ＵをＮ×Ｍで除算し、このグリッドの画素値ｖｇを算出する（Ｓ２７）。

【0063】

【数1】

【0064】

プロセッサ３１は、Ｎ×Ｍ画素の画素加算平均後のグリッドの画素値ｖｇ（つまり、数式（１）の算出結果）を、グリッドｇｄの縮小処理の結果として元の処理に返す（Ｓ２８）。この後、プロセッサ３１は、グリッド単位の縮小処理を終了し、元の処理に復帰する。

【0065】

ここでは、特定サイズとしてＮ×Ｍ画素の加算平均後の縮小画像を生成する際、Ｎ×Ｍ画素は、固定あるいは任意に（例えば８×８画素に）設定された。特定サイズは、プロセッサ３１によってセンシング対象に適したサイズに設定されてもよい。

【0066】

図１５は、センシング対象に対応する特定サイズを示す特定サイズ選択テーブルＴｂ２の登録内容を示す図である。特定サイズ選択テーブルＴｂ２は、予めメモリ３２に登録されており、プロセッサ３１によって登録内容が参照可能である。

【0067】

特定サイズ選択テーブルＴｂ２には、センシング対象が短期の動きである場合、特定サイズを表すＮ×Ｍ画素として８×８画素が登録される。また、センシング対象が長期の動き（ゆっくりとした動き）である場合、例えば１６×１６画素が登録される。また、センシング対象がバイタル情報として脈波である場合、６４×６４画素が登録される。また、センシング対象がその他のバイタル情報である場合、１２８×１２８画素が登録される。

【0068】

プロセッサ３１は、例えば操作部３４を介してユーザからセンシング対象が入力されると、ステップＳ２の処理において、特定サイズ選択テーブルＴｂ２を参照し、センシング対象に対応する特定サイズを選択してもよい。これにより、センシング対象の画像による変化を正確に捉えることが可能となる。

【0069】

このように、実施の形態１に係る画像処理システム５では、ＰＣ３０は、カメラ１０からの入力画像に対し、Ｎ×Ｍ画素単位で画素加算平均し、この平均化処理により得られた画素値データに丸め処理（つまり整数化処理）を行わない、つまり空間方向の解像度を落として画像情報量を圧縮する際に小数点レベルの値を保持する。この小数点レベルの値を丸め処理しないことで、微小な時間方向の変化情報（画像センシングに必要なデータ）を保持しつつ、画像情報量の圧縮が可能となる。したがって、ＰＣ３０は、センシング処理による処理量やデータ保存に必要なメモリ量を削減できる。

【0070】

以上により、本実施の形態の画像処理システム５では、ＰＣ３０は、平均化処理部３１ａおよび縮小画像生成部３１ｂを含む。平均化処理部３１ａは、１画素当たり８ビットの情報量を有して３２×２４画素からなる入力画像ＧＺを、例えば６４画素（１画素あるいは複数の画素）から構成されるグリッドごとに、空間方向に８×８画素（Ｎ×Ｍ画素（Ｎ，Ｍ：２以上の整数））単位で平均化する。縮小画像生成部３１ｂは、画素あるいはグリッドごとの８×８画素（Ｎ×Ｍ画素）単位での平均化結果を、１画素当たり（８＋６）ビットの情報量で規定し、１画素当たり（８＋６）ビットの情報量を有する３２×２４／８×８画素からなる縮小画像ＳＧＺを生成する。ここで、ｂは、６（（Ｎ×Ｍ）に近い２のべき乗値の指数ｃ（ｃ：正の整数）、あるいは（ｃ＋１））である。センシング処理部３１ｃは、縮小画像ＳＧＺを用いて物体の動き情報あるいは生体情報をセンシングする。

【0071】

これにより、画像処理システム５は、カメラ１０から入力された動画を構成するそれぞれの画像（フレーム画像）を効果的に圧縮してデータサイズを低減できる。また、画像処理システム５は、入力画像を効果的に圧縮しながらも、圧縮後の画像中における物体の動き情報あるいは生体情報の有無の検出精度（言い換えると、圧縮処理の後で行われるセンシング処理の精度）の劣化を抑制することができる。

【0072】

また、ＰＣ３０は、縮小画像ＳＧＺを用いて物体の動き情報あるいは生体情報をセンシングするセンシング処理部３１ｃ、を更に備える。縮小画像生成部３１ｂは、入力画像ＧＺが入力される度に、入力画像ＧＺに対応して生成された縮小画像ＳＧＺをセンシング処理部３１ｃに出力する。これにより、ＰＣ３０は、カメラ１０により撮像された動画を基に、被写体の動き情報および生体情報の変化をリアルタイムに検知できる。

【0073】

また、平均化処理部３１ａは、平均化結果を丸め処理せずに縮小画像生成部３１ｂに送る。これにより、ＰＣ３０は、空間方向に縮小して縮小画像を生成してデータ量を削減する際、小数点以下のデータを丸め処理しないことで、時間方向の情報が消失しないで済む。これにより、ＰＣ３０は、入力画像の微小な変化を正確に捉えることができる。

【0074】

また、平均化処理部３１ａは、縮小画像ＳＧＺを用いて物体の動き情報あるいは生体情報をセンシングの種別情報を取得し、この種別情報に応じてＮ×Ｍの値を選択してＮ×Ｍ画素単位で平均化する。これにより、平均化処理部３１ａは、センシング対象（種別情報）に適した縮小画像を用いてセンシングすることができ、センシング対象の微小な変化を正確に捉えることができる。

【0075】

また、ＰＣ３０は、縮小画像ＳＧＺを用いて物体の動き情報および生体情報をそれぞれセンシングするセンシング処理部３１ｃ、を更に備える。平均化処理部３１ａは、動き情報のセンシングに対応する８×８（第１のＮ×Ｍ）の値、生体情報のセンシングに対応する６４×６４（少なくとも１つの第２のＮ×Ｍ）の値をそれぞれ選択し、それぞれのＮ×Ｍの値を用いたＮ×Ｍ画素単位で平均化する。これにより、ＰＣ３０は、物体の動き情報に適した縮小画像を用いてセンシングすることができる。また、ＰＣ３０は、生体情報に適した縮小画像を用いてセンシングすることができる。

【0076】

また、平均化処理部３１ａは、異なるＭ，Ｎの値を持つ、複数のＮ×Ｍ画素単位で入力画像を平均化する。縮小画像生成部３１ｂは、複数のＮ×Ｍ画素単位の平均化による複数の縮小画像ＳＧＺ１，ＳＧＺ２，…を生成する。センシング処理部３１ｃは、複数の縮小画像ＳＧＺ１，ＳＧＺ２，…を用いてセンシングを行った結果、物体の動き情報あるいは生体情報のセンシングに適した縮小画像を選択する。これにより、センシング対象が未知であり、予めセンシング対象に適した縮小画像が分かっていなくても、実際に生成した縮小画像を用いてセンシングを試すことで、以後最適な縮小画像でセンシングが可能となる。

【0077】

（実施の形態１の変形例１）
次に、実施の形態１の変形例１について説明する。なお、実施の形態１の変形例１に係る画像処理システムの構成は、実施の形態１に係る画像処理システム５と同一であるため、同一の構成には同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。

【0078】

図１６は、実施の形態１の変形例１における画像処理システム５のセンシング動作手順を示すフローチャートである。図１２に示したステップ処理と同一のステップ処理については、同一のステップ番号を付して説明を簡略化あるいは省略し、異なる内容について説明する。

【0079】

図１６において、プロセッサ３１は、画像入力インターフェース３６を介して、カメラ１０で撮像された動画データを入力する（Ｓ１）。

【0080】

プロセッサ３１の平均化処理部３１ａは、入力画像を元画像として複数のサイズで圧縮し、縮小画像生成部３１ｂは、各サイズの縮小画像を複数生成する（Ｓ２Ａ）。複数のサイズの縮小画像を生成する場合、複数のサイズは、少なくとも８×８画素、６４×６４画素、１２８×１２８画素を含むことが望ましい。

【0081】

プロセッサ３１のセンシング処理部３１ｃは、例えば８×８画素単位の縮小画像を用い、入力画像の変化として動きセンシング（動き検知処理の一例）を行う（Ｓ３Ａ）。さらに、プロセッサ３１は、６４×６４画素単位および１２８×１２８画素単位の縮小画像を用い、入力画像の変化として脈波センシング（脈波検知処理の一例）を行う（Ｓ３Ｂ）。プロセッサ３１は、この検知処理の結果を出力する（Ｓ４）。

【0082】

図１７は、ステップＳ２Ａにおける複数サイズの縮小画像生成手順を示すフローチャートである。

【0083】

図１７において、平均化処理部３１ａは、入力画像を元画像として圧縮し、縮小画像生成部３１ｂは、８×８画素単位の縮小画像を生成する（Ｓ５１）。平均化処理部３１ａは、入力画像を元画像として圧縮し、縮小画像生成部３１ｂは、１６×１６画素単位の縮小画像を生成する（Ｓ５２）。平均化処理部３１ａは、入力画像を元画像として圧縮し、縮小画像生成部３１ｂは、３２×３２画素単位の縮小画像を生成する（Ｓ５３）。平均化処理部３１ａは、入力画像を元画像として圧縮し、縮小画像生成部３１ｂは、６４×６４画素単位の縮小画像を生成する（Ｓ５４）。平均化処理部３１ａは、入力画像を元画像として圧縮し、縮小画像生成部３１ｂは、１２８×１２８画素単位の縮小画像を生成する（Ｓ５５）。この後、プロセッサ３１は、元の処理に復帰する。

【0084】

このように、平均化処理部３１ａは、異なるＭ，Ｎの値を持つ、複数のＮ×Ｍ画素単位で入力画像を平均化する。縮小画像生成部３１ｂは、複数のＮ×Ｍ画素単位の平均化による複数の縮小画像ＳＧＺ１，ＳＧＺ２，…を生成する。センシング処理部３１ｃは、複数の縮小画像ＳＧＺ１，ＳＧＺ２，…を用いてセンシングを行った結果、物体の動き情報あるいは生体情報のセンシングに適した縮小画像を選択し、以後、選択した縮小画像を用いてセンシング処理を行う。従って、センシング対象が未知であり、予めセンシング対象に適した縮小画像が分かっていなくても、実際に全ての縮小画像を用いてセンシングを試すことで、以後、最適な縮小画像でセンシング処理を行うことが可能となる。

【0085】

なお、所定の画素数で加算平均を行う場合、プロセッサは、画素数加算平均を段階的に行ってもよい。例えば、プロセッサ３１は、入力画像に対し１６×１６画素単位で加算平均を行う場合、まず、入力画像に対し８×８画素単位で画素加算平均を行い、その平均結果である縮小画像に対し、２×２画素単位で画素加算平均を行ってもよい。同様に、プロセッサは、入力画像に対し３２×３２画素単位で画素加算平均を行う場合、まず、入力画像に対し１６×１６画素単位で画素加算平均を行い、その平均結果である縮小画像に対し、２×２画素単位で画素加算平均を行ってもよい。

【0086】

つまり、プロセッサは、入力画像をグリッドごとにＮ×Ｍ画素単位で平均化する際、Ｍを積の形に分解した所定数の第１の因数と、Ｎを積の形に分解した所定数の第２の因数とを用い、１組の第１の因数×前記第２の因数の画素単位で平均化し、この平均化結果を残りの１組の第１の因数×他の第２の因数の画素単位で平均化する処理を、所定数の第１の因数と前記所定数の第２の因数を全て使用するまで順次繰り返してもよい。

【0087】

このように、少ない画素数単位で加算平均を繰り返し行い、１回の多い画素数単位で加算平均を行った場合と同じ平均化結果を得ることかでき、しかも、データ処理量を削減できる。

【0088】

（実施の形態１の変形例２）
実施の形態１では、カメラ１０とＰＣ３０と制御機器４０とは、別体の装置として構成された。実施の形態１の変形例２では、カメラ１０とＰＣ３０と制御機器４０とは、同一の筐体に収容され、一体型のセンシング機器として構成されてもよい。図１８は、一体型のセンシング機器１００の構成を示す図である。一体型のセンシング機器１００は、筐体１００ｚに収容された、カメラ１１０、ＰＣ１３０および制御機器１４０を有する。カメラ１１０、ＰＣ１３０および制御機器１４０は、それぞれ上記実施の形態のカメラ１０、ＰＣ３０および制御機器４０と同一の機能的構成を有する。一例として、一体型のセンシング機器１００がエアコンに適用される場合、カメラ１１０は、エアコンの筐体前面に配置される。ＰＣ１３０は、筐体に内蔵され、カメラ１１０で撮像される動画の各フレーム画像を入力画像として縮小画像を生成し、縮小画像を用いてセンシング処理を行い、センシング処理結果を制御機器１４０に出力する。一体型のセンシング機器１００の場合、ＰＣの表示部および操作部は省かれてもよい。制御機器１４０は、センシング処理結果に基づくＰＣ１３０からの指示にしたがい、動作を制御する。制御機器１４０がエアコン本体である場合、風向きや風量を調節する。

【0089】

一体型のセンシング機器１００の場合、画像処理システムをコンパクトに設計できる。また、センシング機器１００が可搬型である場合、センシング機器１００を任意の場所に移動させて、据え付け調整を行うことが可能である。また、ネットワーク環境が無い場所でも、センシング機器１００は使用可能である。

【0090】

以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

【0091】

例えば、上記実施の形態では、動画として、例えば６０ｆｐｓの映像を例示したが、時間的に連続したフレーム画像、例えば１秒間に５枚程度の連続した静止画像を用いてもよい。

【0092】

また、画像処理システムは、上記実施の形態の他、スポーツ、動物、見守り、ドライブレコーダ、交差点監視、動画像、リハビリテーション、顕微鏡等に利用可能である。スポーツでは、例えば動きのチェックやフォームチェック等に利用が可能である。動物では、例えば活動エリアや動線等に利用が可能である。見守りでは、例えば赤ちゃん、老人ホームでバイタル、活動量、寝返り等に利用が可能である。ドライブレコーダでは、撮像映像に映る車両周辺の動きの検出に利用が可能である。交差点監視では、交通量、動線、信号無視の量に利用が可能である。動画像では、フレーム量に含まれる特徴の抽出に利用が可能である。リハビリテーションでは、バイタルや動き等から効果の確認に利用が可能である。顕微鏡では、ゆっくりとした動きの自動検出等に利用が可能である。

【産業上の利用可能性】

【0093】

本開示は、画像処理において、入力された画像を効果的に圧縮してデータサイズを低減しながらも、圧縮後の画像中における物体の動き情報あるいは生体情報の有無の検出精度の劣化を抑制する画像処理装置、画像処理方法および画像処理システムとして有用である。

【符号の説明】

【0094】

５ 画像処理システム
１０、１１０ カメラ
３０、１３０ ＰＣ３１ プロセッサ
３１ａ 平均化処理部
３１ｂ 縮小画像生成部
３１ｃ センシング処理部
３２ メモリ
３３ 表示部
３４ 操作部
３６ 画像入力インターフェース
３７ 通信部
４０、１４０ 制御機器
５０ クラウドサーバ
１００ センシング機器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】