特許 7560949 画像処理システム及び制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-25

(45)【発行日】2024-10-03

(54)【発明の名称】画像処理システム及び制御プログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20240926BHJP

   G06T 7/194 20170101ALI20240926BHJP

   G06V 40/20 20220101ALI20240926BHJP

【ＦＩ】

G06T7/20 300A

G06T7/194

G06V40/20

【請求項の数】 11

(21)【出願番号】P 2020050250

(22)【出願日】2020-03-19

(65)【公開番号】P2021149690

(43)【公開日】2021-09-27

【審査請求日】2023-03-17

(73)【特許権者】

【識別番号】000108085

【氏名又は名称】セコム株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100180806

【弁理士】

【氏名又は名称】三浦 剛

(72)【発明者】

【氏名】奈良崎 友理

(72)【発明者】

【氏名】青木 秀行

(72)【発明者】

【氏名】今田 翔平

【審査官】菊池 伸郎

(56)【参考文献】

【文献】特開２０１５－２１９８６８（ＪＰ，Ａ）

【文献】特開２０１９－０９６０９４（ＪＰ，Ａ）

【文献】特開２０１９－０４９９１８（ＪＰ，Ａ）

【文献】特開２００８－２０５６３７（ＪＰ，Ａ）

【文献】Javed Imran et al.，Human Action Recognition Using RGB-D Sensor and Deep Convolutional Neural Networks，[online]，2016年09月21日，[retrieved on 2024.02.16], https://ieeexplore.ieee.org/document/7732038

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－７／９０

Ｇ０６Ｖ １０／００－４０／７０

(57)【特許請求の範囲】

【請求項1】

監視空間内の基準位置から物体までの距離に関する情報を階調値とする距離画像を順次取得する距離画像取得手段と、
前記順次取得される距離画像に対応した、前記監視空間内の濃淡に関する情報を階調値とする２次元画像を順次取得する２次元画像取得手段と、
前記距離画像取得手段により所定期間に取得された複数の距離画像から変化領域を検出する変化領域検出手段と、
前記２次元画像における前記変化領域に対応する領域を用いて、前記所定期間に取得された複数の２次元画像を合成した処理画像を生成する処理画像生成手段と、を有し、
前記処理画像生成手段は、前記変化領域が検出された距離画像に対応する２次元画像内の、当該変化領域に対応する領域の階調値を、前記処理画像における当該対応する領域の階調値として前記複数の２次元画像を合成する、
ことを特徴とする画像処理システム。

【請求項2】

監視空間内の基準位置から物体までの距離に関する情報を階調値とする距離画像を順次取得する距離画像取得手段と、
前記順次取得される距離画像に対応した、前記監視空間内の濃淡に関する情報を階調値とする２次元画像を順次取得する２次元画像取得手段と、
前記距離画像取得手段により所定期間に取得された複数の距離画像から変化領域を検出する変化領域検出手段と、
前記２次元画像における前記変化領域に対応する領域を用いて、前記所定期間に取得された複数の２次元画像を合成した処理画像を生成する処理画像生成手段と、を有し、
前記変化領域検出手段は、前記複数の距離画像において前記階調値が過去の距離画像内の対応する領域の階調値より小さい領域を前記変化領域として検出する、
ことを特徴とする画像処理システム。

【請求項3】

前記処理画像生成手段は、前記変化領域を検出した距離画像に対応する２次元画像内の当該変化領域に対応する領域を用いて前記処理画像を生成する、請求項１または２に記載の画像処理システム。

【請求項4】

前記処理画像生成手段は、前記複数の２次元画像の前記変化領域に対応する領域内の画素の階調値を合成することにより、前記２次元画像の前記変化領域に対応する領域を変更する、請求項１～３の何れか一項に記載の画像処理システム。

【請求項5】

前記変化領域検出手段は、前記複数の距離画像において前記階調値が直前の距離画像内の対応する領域の階調値より小さい領域を前記変化領域として検出する、請求項１～４の何れか一項に記載の画像処理システム。

【請求項6】

前記処理画像生成手段は、前記変化領域が検出された距離画像に対応する２次元画像内の、当該変化領域に対応する領域の階調値を、前記処理画像における対応する領域の階調値として前記複数の２次元画像を合成する、請求項２に記載の画像処理システム。

【請求項7】

前記処理画像に基づいて、前記監視空間内に存在する人物の前方でなされた所定のジェスチャ動作を検出する検出手段をさらに有する、請求項１～６の何れか一項に記載の画像処理システム。

【請求項8】

入力された学習用処理画像に含まれる人物のジェスチャ動作に関する情報を出力するように学習されたモデルに前記処理画像を入力し、前記モデルから出力された情報に基づいて、前記監視空間内の人物のジェスチャを検出する検出手段をさらに有する、請求項１～７の何れか一項に記載の画像処理システム。

【請求項9】

前記距離画像又は前記２次元画像内で人物を含む人物領域を検出する人物領域検出手段をさらに有し、
前記処理画像生成手段は、前記人物領域に対応する領域に限り、前記２次元画像の前記変化領域に対応する領域に基づいて変更するように、前記処理画像を生成する、請求項１～８の何れか一項に記載の画像処理システム。

【請求項10】

監視空間内の基準位置から物体までの距離に関する情報を階調値とする距離画像を順次取得し、
前記順次取得した距離画像に対応した、前記監視空間内の濃淡に関する情報を階調値とする２次元画像を順次取得し、
所定期間に取得された複数の距離画像から変化領域を検出し、
前記２次元画像における前記変化領域に対応する領域を用いて、前記所定期間に取得された複数の２次元画像を合成した処理画像を生成することをコンピュータに実行させ、
前記生成において、前記変化領域が検出された距離画像に対応する２次元画像内の、当該変化領域に対応する領域の階調値を、前記処理画像における当該対応する領域の階調値として前記複数の２次元画像を合成する、
ことを特徴とする制御プログラム。

【請求項11】

監視空間内の基準位置から物体までの距離に関する情報を階調値とする距離画像を順次取得し、
前記順次取得した距離画像に対応した、前記監視空間内の濃淡に関する情報を階調値とする２次元画像を順次取得し、
所定期間に取得された複数の距離画像から変化領域を検出し、
前記２次元画像における前記変化領域に対応する領域を用いて、前記所定期間に取得された複数の２次元画像を合成した処理画像を生成することをコンピュータに実行させ、
前記検出において、前記複数の距離画像において前記階調値が過去の距離画像内の対応する領域の階調値より小さい領域を前記変化領域として検出する、
ことを特徴とする制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人物のジェスチャを検出する画像処理システム及び制御プログラムに関する。

【背景技術】

【0002】

近年、監視空間を撮像した画像に基づいて、人物のジェスチャを検出する画像処理システムが開発されている。

【0003】

特許文献１には、強度変化する光を物体に発し、その光の物体による反射光を外光から分離して検出し、光の物体による反射光画像を検出する情報入力装置が開示されている。

【0004】

特許文献２には、物体の所定の周期による往復動作を認識する携帯式コンピュータが開示されている。この携帯式コンピュータは、物体を撮影したイメージ・センサから連続する複数のフレームを受け取る。次にこの携帯式コンピュータは、背景画像と各フレームが含むブラー画像を比較し、対応する画素の階調値の差を計算して２値化した差分画像から物体の動作を認識する。

【先行技術文献】

【特許文献】

【0005】

【文献】特開平１０－１７７４４９号公報

【文献】特許第５７８２０６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

画像処理システムでは、監視空間内の人物のジェスチャを精度良く検出することが望まれている。

【0007】

本発明が解決しようとする課題は、撮影画像において動いた物体の動作を認識し易い画像を生成する画像処理システムを提供することである。また、監視空間内の人物が手を前に出して行うジェスチャを精度良く認識することができる画像処理システム及び制御プログラムを提供することである。

【課題を解決するための手段】

【0008】

上述の課題を解決するため、本発明は、その一態様として、監視空間内の基準位置から物体までの距離に関する情報を階調値とする距離画像を順次取得する距離画像取得手段と、順次取得される距離画像に対応した、監視空間内の濃淡に関する情報を階調値とする２次元画像を順次取得する２次元画像取得手段と、距離画像取得手段により所定期間に取得された複数の距離画像から変化領域を検出する変化領域検出手段と、２次元画像における変化領域に対応する領域を用いて、所定期間に取得された複数の２次元画像を合成した処理画像を生成する処理画像生成手段と、を有することを特徴とする画像処理システムを提供する。

【0009】

上記の画像処理システムにおいて、処理画像生成手段は、変化領域を検出した距離画像に対応する２次元画像内のその変化領域に対応する領域を用いて処理画像を生成することが好ましい。

【0010】

上記の画像処理システムにおいて、処理画像生成手段は、複数の２次元画像の変化領域に対応する領域内の画素の階調値を合成することにより、２次元画像の変化領域に対応する領域を変更することが好ましい。

【0011】

上記の画像処理システムにおいて、変化領域検出手段は、複数の距離画像において階調値が直前の距離画像内の対応する領域の階調値より小さい領域を変化領域として検出することが好ましい。

【0012】

上記の画像処理システムにおいて、処理画像生成手段は、変化領域が検出された距離画像に対応する２次元画像内の、その変化領域に対応する領域の階調値を、処理画像における対応する領域の階調値として複数の２次元画像を合成することが好ましい。

【0013】

上記の画像処理システムにおいて、処理画像に基づいて、監視空間内に存在する人物の前方でなされた所定のジェスチャ動作を検出する検出手段をさらに有することが好ましい。

【0014】

上記の画像処理システムにおいて、入力された学習用処理画像に含まれる人物のジェスチャ動作に関する情報を出力するように学習されたモデルに処理画像を入力し、モデルから出力された情報に基づいて、監視空間内の人物のジェスチャを検出する検出手段をさらに有することが好ましい。

【0015】

上記の画像処理システムにおいて、距離画像又は２次元画像内で人物を含む人物領域を検出する人物領域検出手段をさらに有し、処理画像生成手段は、人物領域に対応する領域に限り、２次元画像の変化領域に対応する領域に基づいて変更するように、処理画像を生成することが好ましい。

【0016】

また、上述の課題を解決するため、本発明は、他の一態様として、監視空間内の基準位置から物体までの距離に関する情報を階調値とする距離画像を順次取得し、順次取得した距離画像に対応した、監視空間内の濃淡に関する情報を階調値とする２次元画像を順次取得し、所定期間に取得された複数の距離画像から変化領域を検出し、２次元画像における変化領域に対応する領域を用いて、所定期間に取得された複数の２次元画像を合成した処理画像を生成することをコンピュータに実行させることを特徴とする制御プログラムを提供する。

【発明の効果】

【0017】

本発明によれば、撮影画像において動いた物体の動作を認識し易い画像を生成する画像処理システム及び制御プログラムを提供することができる。また、本発明によれば、監視空間内の人物が手を前に出して行うジェスチャを精度良く認識することができる画像処理システム及び制御プログラムを提供することができる。

【図面の簡単な説明】

【0018】

【図1】画像処理システムのブロック図である。

【図2】画像処理システムの動作を示すフローチャートである。

【図3】各処理画像内の画像領域間の対応関係を説明するための図である。

【図4】処理画像の一例である。

【発明を実施するための形態】

【0019】

以下、図面を参照しつつ、本発明の様々な実施形態について説明する。ただし、本発明の技術的範囲は、それらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。また、各図において同一、又は相当する機能を有するものは、同一符号を付し、その説明を省略又は簡潔にすることもある。

【0020】

（画像処理システム１の概要）
図１は、画像処理システム１のブロック図である。画像処理システム１は、監視空間内の人物、例えば入院患者又は被介護者の見守り等に用いられ、見守り対象者による手を振る動作等をジェスチャとして検出して、見守り者が使用する外部装置に通知する。画像処理システム１は、撮像装置２、距離センサ３、画像処理装置４等を有する。

【0021】

撮像装置２は、２次元画像生成手段の一例であり、監視空間を撮像した２次元画像を順次生成する。２次元画像は、監視空間内の濃淡に関する情報（輝度値または色値等）を階調値とする複数の画素が２次元に配置された画像である。撮像装置２は、発光器、２次元検出器、結像光学系及びＡ／Ｄ変換器等を有する。発光器は、例えば約890nmの波長を持つ近赤外光を監視空間に向けて照射する。２次元検出器は、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）素子、Ｃ－ＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）など、近赤外光に感度を有する光電変換器を有する。結像光学系は、２次元検出器上に監視場所の像を結像する。Ａ／Ｄ変換器は、２次元検出器から出力された電気信号を増幅し、アナログ／デジタル（Ａ／Ｄ）変換する。

【0022】

撮像装置２は、一定の時間間隔（例えば１／３０秒）毎に発光器に近赤外光を照射させながら監視空間を撮像し、各画素が近赤外光の強度を表す輝度値を階調値として有する近赤外光画像を２次元画像として生成し、画像処理装置４へ出力する。人間は近赤外光を直接視認することができないので、撮像装置２は、監視空間内の人物の視覚に影響を与えない。このため、画像処理システム１は、例えば入院患者または被介護者の見守りを行う場合に、入院患者または被介護者の就寝を妨げることなく、見守りを行うことができる。

【0023】

尚、２次元検出器は、可視光に感度を有する光電変換器を有し、各画素が可視光の輝度値、ＲＧＢ値又はＣＭＹ値を階調値として有する可視光画像を２次元画像として生成してもよい。この場合、発光器は省略されてもよい。

【0024】

距離センサ３は、距離画像生成手段の一例であり、距離画像を順次生成する。距離画像は、監視空間内の基準位置から物体の対応する位置までの距離に関する情報を階調値とする複数の画素が２次元に配置された画像である。基準位置は、距離センサ３の配置位置である。距離センサ３は、撮像装置２が撮影を行う毎に、撮像装置２の発光器が近赤外線を照射するタイミングとずらしたタイミングで、撮像装置２の撮影範囲に向けて近赤外線を照射する。距離センサ３は、２次元画像内の各画素に対応する監視空間内の各位置に探査信号を順次照射する。例えば、距離センサ３は、撮像装置２の撮影範囲を水平方向及び垂直方向に２次元画像の水平方向及び垂直方向の画素数で等間隔に分割し、分割した各領域内の位置を２次元画像内の各画素に対応する位置として設定する。距離センサ３は、探査信号が照射された走査方位に沿って到来する反射信号を受光し、反射信号の強度に応じた値を持つ受光信号を生成する。

【0025】

距離センサ３は、探査信号の位相情報と、現時点で探査信号が照射されている方向を表す角度情報と、受光信号とに基づいて、走査方位ごとに、距離センサ３から反射信号を反射した物体までの距離を測定し、走査方位とその距離との関係を示す測距データを生成する。例えば、距離センサ３は、Time Of Flight法に従って、受光信号から求めた反射信号の位相と探査信号の位相との差を求め、その差に基づいて距離を測定する。距離センサ３は、測距データに示される各走査方位に対応する距離に応じた値を、各走査方位に対応する画素の階調値とした距離画像を生成し、画像処理装置４へ出力する。例えば、距離センサ３は、予め定められた距離範囲（例えば０．５ｍ～７ｍ）を２５６段階に等間隔に区分して０から２５５までの各値を割り当てる。距離センサ３は、測距データに示される各走査方位に対応する距離が属する区分に割り当てられた値を、各走査方位に対応する画素の階調値として設定する。対応する物体までの距離が短いほど階調値が小さくなり、対応する物体までの距離が長いほど階調値が大きくなるように、各階調値は設定される。

【0026】

尚、距離センサ３は、近赤外光やミリ波・レーザーなどを照射して物体に反射して返ってくる時間を計測するTOF・LiDAR方式、ステレオカメラなどを用いて三角測量を行う方式等の他の公知の方式に従って距離を測定してもよい。

【0027】

このように、距離センサ３は、順次生成される２次元画像に対応して、距離画像を順次生成する。即ち、撮像装置２は、順次生成される距離画像に対応して、２次元画像を順次生成する。

【0028】

尚、撮像装置２と距離センサ３は、離間して配置し、撮影及び測定してもよい。その場合、処理部１２が、監視空間内の同一位置に対応する画素が２次元画像及び距離画像内で同一位置に配置されるように、２次元画像又は距離画像を補正する。画像処理装置４は、２次元画像及び距離画像の各画素の関係が示されるテーブルを記憶部９に予め記憶しておき、処理部１２は、記憶部９に記憶されたテーブルを参照して画像を補正する。

【0029】

また、撮像装置２と距離センサ３の一部または全部が共通に用いられてもよい。例えば、撮像装置２及び距離センサ３は、共通の発光器及び／又は受光器を用いて２次元画像及び距離画像を生成してもよい。

【0030】

画像処理装置４は、デスクトップコンピュータ、ワークステーション、ノートパソコン等の一般的なコンピュータである。画像処理装置４は、インタフェース部５、入力部６、表示部７、通信部８、記憶部９、処理部１２、データバスＢを有する。

【0031】

インタフェース部５は、撮像装置２及び距離センサ３とデータ通信を行うためのインタフェース回路を有し、撮像装置２及び距離センサ３と電気的に接続して、各種の制御信号又は画像信号を送受信する。なお、画像処理装置４が撮像装置２及び距離センサ３を有していてもよい。

【0032】

入力部６は、（キーボード、マウス等の）入力装置、及び、入力装置から信号を取得するインタフェース回路を有し、画像処理装置４を操作するオペレータからの入力操作を受け付ける。

【0033】

表示部７は、液晶、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）等のディスプレイ及びディスプレイに画像データを出力するインタフェース回路を有し、各種の情報をディスプレイに表示する。

【0034】

通信部８は、出力手段の一例であり、例えばＴＣＰ／ＩＰ等に準拠した通信インタフェース回路を有し、インターネット等の通信ネットワークに接続する。通信部８は、通信ネットワークから受信したデータを処理部１２へ出力し、処理部１２から入力されたデータを通信ネットワークに送信する。

【0035】

記憶部９は、ＲＯＭ、ＲＡＭ等の半導体メモリ、磁気ディスク又はＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等の光ディスクドライブ及びその記録媒体を有する。また、記憶部９は、画像処理装置４を制御するためのコンピュータプログラム及び各種データを記憶し、処理部１２との間でこれらの情報を入出力する。コンピュータプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて記憶部９にインストールされてもよい。また、記憶部９は、データとして、モデル１０、背景画像１１を記憶する。

【0036】

モデル１０は、入力された画像に対して、その画像に検出対象となるジェスチャが含まれている確からしさを示す評価値を出力するように事前学習された判定モデルである。評価値は、その画像に検出対象となるジェスチャが含まれている可能性が高いほど高くなるように定められる。

【0037】

背景画像１１は、無人状態の監視空間が撮影されて生成された２次元画像である。背景画像１１は、定期的に、または、監視空間内に人物が存在しないと判定されたタイミングで、適宜更新されてもよい。

【0038】

処理部１２は、ＣＰＵ、ＭＰＵ等のプロセッサと、ＲＯＭ、ＲＡＭ等のメモリと、その周辺回路とを有し、画像処理装置４の各種信号処理を実行する。なお、処理部１２として、ＤＳＰ、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ等が用いられてもよい。処理部１２は、距離画像取得手段１３、２次元画像取得手段１４、人物領域検出手段１５、変化領域検出手段１６、処理画像生成手段１７、検出手段１８、出力制御手段１９、学習手段２０等を有する。

【0039】

（画像処理システム１のジェスチャ検出動作）
図２は、画像処理システム１の動作シーケンスを示すフローチャートである。この動作シーケンスは、記憶部９に記憶されている制御プログラムに基づいて、主に処理部１２により、画像処理装置４の各要素と協働して実行される。この動作シーケンスは、距離画像及び２次元画像が生成される時間間隔ごとに実行される。

【0040】

まず、距離画像取得手段１３は、距離センサ３が生成した最新の距離画像を取得する（ステップＳ１）。距離画像取得手段１３は、監視空間内の基準位置から物体までの距離に関する情報を階調値とする距離画像を順次取得する。距離画像取得手段１３は、取得した距離画像を、取得した時刻と関連付けて記憶部９に記憶させる。

【0041】

次に、２次元画像取得手段１４は、撮像装置２が生成した最新の２次元画像を取得する（ステップＳ２）。２次元画像取得手段１４は、順次取得される距離画像に対応した、監視空間内の濃淡に関する情報を階調値とする２次元画像を順次取得する。２次元画像取得手段１４は、取得した２次元画像を、取得した時刻と関連付けて記憶部９に記憶させる。このように、距離画像取得手段１３は、距離センサ３が順次生成した距離画像を順次取得し、２次元画像取得手段１４は、距離センサ３が順次生成した距離画像に対応して撮像装置２が順次生成した２次元画像を順次取得する。

【0042】

次に、人物領域検出手段１５は、２次元画像内で人物を含む人物領域を検出する（ステップＳ３）。

【0043】

人物領域検出手段１５は、２次元画像内の各画素の階調値と、記憶部９に記憶されている背景画像１１内の対応する各画素の階調値との差の絶対値を算出し、算出した差の絶対値が所定閾値以上となる画素の領域を抽出する。人物領域検出手段１５は、抽出した領域の内、同一物体による領域をラベリングによりグループ化し、人物候補領域として検出する。即ち、人物領域検出手段１５は、一枚の２次元画像から抽出した領域の内、相互に隣接（８連結）する画素をグループ化し、相互に近接する（所定範囲内に位置する）グループを、大きさ又は位置関係に基づいて結合し、結合した領域を人物候補領域として抽出する。

【0044】

尚、人物領域検出手段１５は、フレーム間差分を用いて人物候補領域を検出してもよい。その場合、人物領域検出手段１５は、最新の２次元画像内の各画素の輝度値と、直前の２次元画像内の対応する各画素の輝度値との差の絶対値を算出し、算出した差の絶対値が所定閾値以上となる画素の領域をグループ化して人物候補領域として検出する。

【0045】

次に、人物領域検出手段１５は、人物候補領域の大きさ、縦横比等の特徴量に基づいて、その人物候補領域に写っている物体が人物らしいか否かを判定する。人物領域検出手段１５は、人物候補領域の大きさが人物の大きさに相当する所定範囲内であり、且つ、人物候補領域の縦横比が人物の縦横比に相当する所定範囲内であるか否かにより、その人物候補領域に写っている物体が人物らしいか否かを判定する。なお、各人物候補領域の大きさは、２次元画像内の位置、及び、記憶部９に記憶されている撮像装置２の設置情報等を用いて実際の大きさに変換される。人物領域検出手段１５は、人物候補領域が人物らしい場合、その人物候補領域を人物領域として検出する。

【0046】

尚、人物領域検出手段１５は、２次元画像内で人物領域を検出する場合と同様にして、距離画像内で人物領域を検出してもよい。また、人物領域検出手段１５は、判定モデルに従って、画像内に含まれる人物領域を検出してもよい。その場合、画像処理装置４は、例えばディープラーニング等の公知の機械学習技術により、人物が含まれる複数の学習用画像を用いて学習された判定モデルを記憶部９に記憶しておく。判定モデルは、学習用画像が入力された場合に、学習用画像に含まれる人物領域の位置が出力されるように事前学習される。機械学習技術として、例えば、入力層、複数の中間層及び出力層から構成される多層構造のニューラルネットワーク等を用いる。入力層には、学習用画像が入力される。中間層の各ノードは、入力層の各ノードから出力された画像から特徴ベクトルを抽出し、抽出した各特徴ベクトルに重みを乗算した値の総和を出力する。出力層は、中間層の各ノードから出力された各特徴ベクトルに重みを乗算した値の総和を出力する。判定モデルは、各重みを調整しながら、出力層からの出力値と学習用画像に含まれる人物領域の位置との差分が小さくなるように学習する。人物領域検出手段１５は、２次元画像又は距離画像を判定モデルに入力し、判定モデルから出力された出力値から２次元画像又は距離画像内の人物領域を検出する。

【0047】

次に、変化領域検出手段１６は、所定期間に生成された所定数の距離画像において階調値が変化した変化領域を検出する（ステップＳ４）。所定数は２以上であり、例えば１０である。

【0048】

変化領域検出手段１６は、記憶部９に記憶されている距離画像の中から、直近の所定数の距離画像を読み出す。変化領域検出手段１６は、読み出した各距離画像の、人物領域検出手段１５により検出された人物領域に対応する領域内で変化領域を検出する。なお、変化領域検出手段１６は、読み出した各距離画像の全領域内で変化領域を検出してもよい。変化領域検出手段１６は、読み出した距離画像から、連続して生成された距離画像のペアを抽出し、抽出したペア毎にフレーム間差分を用いて変化領域の候補領域を抽出する。変化領域検出手段１６は、一方の距離画像内の各画素の階調値と、他方の距離画像内の対応する各画素の階調値との差の絶対値を算出し、算出した差の絶対値が所定閾値以上となる画素の領域を差分領域として抽出する。変化領域検出手段１６は、抽出した差分領域の内、相互に隣接（８連結）する画素をラベリングによりグループ化し、相互に近接する（所定範囲内に位置する）グループを大きさ又は位置関係に基づいて結合し、結合した領域を候補領域として抽出する。変化領域検出手段１６は、距離画像の何れかのペアにおいて、対応する領域が候補領域として抽出された領域を変化領域とし、何れのペアにおいても、対応する領域が候補領域として抽出されなかった領域を非変化領域とする判定用画像を生成する。

【0049】

尚、変化領域検出手段１６は、複数の距離画像において階調値が直前の距離画像内の対応する領域の階調値より小さい候補領域を変化領域として検出してもよい。その場合、変化領域検出手段１６は、距離画像の各ペアにおいて、新しい方の距離画像内の画素の階調値が、古い方の距離画像内の画素の階調値より小さい画素に限り、差分領域として抽出する。これにより、変化領域検出手段１６は、静止物体より距離センサ３側に存在する動物体に対応する領域のみを変化領域として検出することができる。

【0050】

また、変化領域検出手段１６は、背景差分を用いて変化領域を検出してもよい。その場合、画像処理装置４は、無人状態の監視空間内で距離を測定して生成された背景距離画像を予め記憶部９に記憶しておく。変化領域検出手段１６は、距離画像内の各画素の階調値と、記憶部９に記憶されている背景距離画像内の対応する各画素の階調値との差の絶対値を算出し、算出した差の絶対値が所定閾値以上となる画素の領域を差分領域として抽出する。変化領域検出手段１６は、抽出した差分領域の内、相互に隣接（８連結）する画素をラベリングによりグループ化し、相互に近接する（所定範囲内に位置する）グループを大きさ又は位置関係に基づいて結合し、候補領域として抽出する。変化領域検出手段１６は、何れかの距離画像において、対応する領域が候補領域として抽出された領域を変化領域とし、何れの距離画像においても、対応する領域が候補領域として抽出されなかった領域を非変化領域とする判定用画像を生成する。

【0051】

また、この場合、変化領域検出手段１６は、各距離画像において階調値が背景距離画像内の対応する領域の階調値より小さい候補領域を変化領域として検出してもよい。その場合、変化領域検出手段１６は、各距離画像において、距離画像内の画素の階調値が、背景距離画像内の画素の階調値より小さい画素に限り、差分領域として抽出する。これにより、変化領域検出手段１６は、静止物体より距離センサ３側に存在する動物体に対応する領域のみを変化領域として検出することができる。

【0052】

また、変化領域検出手段１６は、各距離画像において、その領域の階調値と、背景距離画像内の対応する領域の周辺領域の階調値との差が所定閾値未満である領域を変化領域から除外してもよい。その場合、変化領域検出手段１６は、抽出した候補領域内の各画素の階調値の統計値と、背景距離画像内で、その候補領域に対応する領域の周辺領域の各画素の階調値の統計値との差を算出する。統計値は、平均値、中央値、最小値又は最大値等である。周辺領域は、所定画素（例えば１０画素）以内の範囲内の領域である。変化領域検出手段１６は、算出した差が所定閾値未満である場合、その候補領域を変化領域から除外する。

【0053】

また、変化領域検出手段１６は、フレーム間差分で階調値が直前の距離画像内の対応する領域の階調値より小さい候補領域を検出した場合、その候補領域の周辺に階調値が直前の距離画像内の対応する領域の階調値より大きい候補領域が存在するか否かを判定する。変化領域検出手段１６は、階調値が直前の距離画像内の対応する領域の階調値より大きい候補領域内の各画素の階調値の統計値と、背景距離画像内でその候補領域に対応する領域の各画素の階調値の統計値との差を算出する。変化領域検出手段１６は、算出した差が所定閾値未満であり且つ二つの候補領域のサイズ（面積）の差が所定サイズ未満である場合、その候補領域を変化領域から除外する。これらにより、変化領域検出手段１６は、風に揺れた背景物等に対応する領域を変化領域から除外することができる。

【0054】

尚、変化領域検出手段１６は、階調値が閾値以下である領域に限り、変化領域として検出してもよい。また、変化領域検出手段１６は、背景及び人物よりも手前に位置する物体に対応する領域に限り、変化領域として検出してもよい。その場合、変化領域検出手段１６は、距離画像内の各画素の内、背景距離画像内の対応する画素の階調値より小さい階調値を有する画素に限り、差分領域として抽出する。さらに、変化領域検出手段１６は、距離画像内の各画素の内、所定時間前（例えば、変化領域検出手段１６が読み出す直近の所定数の距離画像の直前の距離画像）に人物領域検出手段１５により検出された人物領域に対応する距離画像内の領域内の各画素の階調値の平均値より小さい階調値を有する画素に限り、差分領域として抽出する。これらにより、変化領域検出手段１６は、動きがあった背景（例えば風で揺らいだ植物等）に対応する領域を変化領域から除外することができる。その結果、画像処理システム１は、人物のジェスチャをより精度良く検出することができる。尚、人物領域に対応する距離画像内の各画素の階調値の平均値は、人物領域全体の階調値の平均値ではなく、人物領域の上半身（上半分）や頭部領域の階調値の平均値としてもよい。

【0055】

図３（Ａ）は、距離画像及び判定用画像の対応関係について説明するための図である。図３（Ａ）には、時刻Ｔ１、Ｔ２、Ｔ３にそれぞれ生成された距離画像Ｄ１～Ｄ３及び距離画像Ｄ１～Ｄ３から生成された判定用画像Ｌ３が示されている。

【0056】

図３（Ａ）に示した例において、距離画像Ｄ１～Ｄ３は、物体Ｋが移動している監視領域が測定されて生成された距離画像である。距離画像Ｄ１、Ｄ２、Ｄ３において、物体Ｋに対応する領域は領域Ｇ１、領域Ｇ２、領域Ｇ３と変化している。フレーム間差分により、直前の距離画像内の対応する領域より小さい階調値を有する領域が変化領域として検出される場合、距離画像Ｄ１とＤ２のペアにおいて、距離画像Ｄ２の領域Ｇ２が候補領域として抽出される。また、距離画像Ｄ２とＤ３のペアにおいて、距離画像Ｄ３の領域Ｇ３が候補領域として抽出される。これにより、判定用画像Ｌ３では、各領域Ｇ２、Ｇ３に対応する領域の和領域Ｃ１が変化領域として検出され、他の領域Ｎ１が非変化領域として検出される。

【0057】

尚、背景差分により変化領域が検出される場合、距離画像Ｄ１、Ｄ２、Ｄ３から、それぞれ物体Ｋに対応する領域Ｇ１、Ｇ２、Ｇ３が候補領域として抽出される。これにより、判定用画像Ｌ３では、各領域Ｇ１、Ｇ２、Ｇ３に対応する領域の和領域Ｃ２が変化領域として検出され、他の領域Ｎ２が非変化領域として検出される。

【0058】

次に、処理画像生成手段１７は、複数の距離画像に対応して生成された複数の２次元画像に基づいて処理画像を生成する（ステップＳ５）。処理画像生成手段１７は、変化領域検出手段１６にて、変化領域を検出した距離画像に対応する２次元画像内の、変化領域に対応する領域を用いて、複数の２次元画像を合成した処理画像を生成する。処理画像生成手段１７は、特に、距離が近くなった（階調値が小さくなった）変化領域に対応する領域の合成を行い、処理画像を生成する。処理画像生成手段１７は、変化領域が検出された距離画像に対応する２次元画像内の、その変化領域に対応する領域の階調値を、処理画像における対応する領域の階調値として複数の２次元画像を合成する。

【0059】

例えば、処理画像生成手段１７は、生成する処理画像を、変化領域に対応する領域と、非変化領域に対応する領域とに区分し、さらに、変化領域に対応する領域を、各距離画像から抽出された各候補領域に対応する領域毎に区分する。尚、処理画像生成手段１７は、複数の距離画像で重複して候補領域として抽出された領域については、最新の距離画像で抽出された候補領域に対応する領域に含ませる。処理画像生成手段１７は、処理画像内で、各候補領域に対応する領域の階調値を、その候補領域が抽出された距離画像に対応して生成された２次元画像のその候補領域に対応する領域の階調値に設定する。一方、処理画像生成手段１７は、処理画像内で、非変化領域に対応する領域の階調値を、複数の距離画像に対応して生成された複数の２次元画像の内の一の２次元画像（例えば最新の２次元画像）のその非変化領域に対応する領域の階調値に設定する。尚、非変化領域に対応する領域は、一の２次元画像でなくてもよい。例えば、複数の二次元画像の階調値から非変化領域の階調値を設定してもよい。

【0060】

即ち、処理画像生成手段１７は、複数の距離画像に対応して生成された複数の２次元画像の内の一の２次元画像の変化領域に対応する領域を、複数の２次元画像の変化領域に対応する領域に基づいて変更することにより、処理画像を生成する。特に、処理画像生成手段１７は、複数の２次元画像の変化領域に対応する領域内の画素の階調値を合成することにより、一の２次元画像の変化領域に対応する領域を変更する。

【0061】

尚、処理画像生成手段１７は、処理画像内で変化領域に対応する領域内の各画素の階調値を、複数の距離画像に対応して生成された複数の２次元画像の対応する各画素の階調値の統計値（平均値、中央値、最小値又は最大値等）に設定してもよい。

【0062】

上述したように、変化領域検出手段１６は、人物領域検出手段１５により検出された人物領域に対応する領域内で変化領域を検出している。即ち、処理画像生成手段１７は、検出された人物領域に対応する領域に限り、複数の２次元画像の変化領域に対応する領域に基づいて変更するように処理画像を生成する。処理画像生成手段１７は、検出された人物領域に対応しない領域内の各画素の階調値として、予め定められた２次元画像（例えば最新の２次元画像）内の画素の階調値を設定する。これにより、処理画像生成手段１７は、処理画像を生成する処理の負荷を軽減させるとともに、人物に対応する領域に限定して複数の画像を合成した処理画像を生成することができる。

【0063】

図３（Ｂ）は、２次元画像及び処理画像の対応関係について説明するための図である。図３（Ｂ）には、時刻Ｔ１、Ｔ２、Ｔ３にそれぞれ生成された２次元画像Ｅ１～Ｅ３及び２次元画像Ｅ１～Ｅ３から生成された処理画像Ｆ３が示されている。

【0064】

図３（Ｂ）に示した例において、２次元画像Ｅ１～Ｅ３は、それぞれ図３（Ａ）に示した距離画像Ｄ１～Ｄ３に対応して生成された２次元画像である。フレーム間差分により変化領域Ｃ１が検出された場合、処理画像Ｆ３において変化領域Ｃ１に対応する領域の内、候補領域Ｇ２に対応する領域の階調値は、候補領域Ｇ２に対応する２次元画像Ｅ２内の領域Ｈ２の階調値に設定される。また、処理画像Ｆ３において変化領域Ｃ１に対応する領域の内、候補領域Ｇ３に対応する領域の階調値は、候補領域Ｇ３に対応する２次元画像Ｅ３内の領域Ｈ３の階調値に設定される。そして、処理画像Ｆ３において非変化領域Ｎ１に対応する領域内の各画素の階調値は、最新の２次元画像Ｅ３内で対応する画素の階調値に設定される。

【0065】

また、背景差分により変化領域Ｃ２が検出された場合、処理画像Ｆ３において候補領域Ｇ１、Ｇ２、Ｇ３に対応する各領域の階調値は、２次元画像Ｅ１、Ｅ２、Ｅ３内で候補領域Ｇ１、Ｇ２、Ｇ３に対応する各領域Ｈ１、Ｈ２、Ｈ３の階調値に設定される。そして、処理画像Ｆ３において非変化領域Ｎ２に対応する領域内の各画素の階調値は、最新の２次元画像Ｅ３内で対応する画素の階調値に設定される。

【0066】

図４は、処理画像の一例である。この処理画像は、監視空間内で右手を動かしている人物が撮像された２次元画像（近赤外光画像）を用いて生成されている。図４に示すように、処理画像には、背景及び人物より距離センサ３に近い位置で移動された右手が重畳されている。

【0067】

次に、検出手段１８は、処理画像生成手段１７により生成された処理画像についての評価値を取得する（ステップＳ６）。

【0068】

例えば、検出手段１８は、記憶部９に記憶されたモデル１０を用いて、処理画像についての評価値を取得する。モデル１０は、学習手段２０により生成される。学習手段２０は、例えばディープラーニング等の公知の機械学習技術を用いて、複数の学習用処理画像と、各学習用処理画像に検出対象のジェスチャが含まれている確からしさを示す評価値及び検出対象のジェスチャが含まれる領域の位置との関係性を学習する。検出対象のジェスチャは、例えば手を振る動作である。検出手段１８は、特に、人の手など人体の一部を用いて行われるジェスチャ動作のうち人体の身体の前方（距離画像の階調値が人体の階調値よりも小さい領域）でなされるジェスチャ動作を検出する。なお、検出対象のジェスチャは、手招き等の周期的な動作でもよい。また、検出対象のジェスチャは、複数でもよく、例えば手を振る動作及び手招きする動作の両方でもよい。各学習用処理画像は、様々な状態（立ち上がった状態、座った状態又は横たわった状態等）の物体による様々な大きさのジェスチャが含まれる画像又はジェスチャが含まれない画像から、処理画像と同様にして生成された画像である。学習手段２０は、学習した関係性をモデル１０として記憶部９に記憶する。

【0069】

入力層には、学習用処理画像が入力される。中間層の各ノードは、入力層の各ノードから出力された画像から特徴ベクトルを抽出し、抽出した各特徴ベクトルに重みを乗算した値の総和を出力する。出力層は、中間層の各ノードから出力された各特徴ベクトルに重みを乗算した値の総和を出力する。学習手段２０は、各重みを調整しながら、出力層からの出力値と、正解値、及び、検出対象のジェスチャが含まれる領域の位置との差分が小さくなるように学習する。正解値は、例えばその学習用処理画像に検出対象のジェスチャが含まれる場合は１に設定され、検出対象のジェスチャが含まれない場合は０に設定される。尚、なお、モデル１０は、ＤＰＭ（Deformable Part Model）、Ｒ－ＣＮＮ（Regions with Convolutional Neural Networks）、ＹＯＬＯ等の他の機械学習技術により学習されてもよい。また、モデル１０は、画像処理装置４とは別の外部のコンピュータで生成され、画像処理装置４に送信されてもよい。その場合、学習手段２０を省略されてもよい。

【0070】

検出手段１８は、記憶部９に記憶されたモデル１０に、処理画像を入力し、モデル１０から出力された出力値を処理画像についての評価値及びジェスチャが検出された領域の位置として取得する。

【0071】

尚、検出手段１８は、処理画像内で動きがある領域を切り出し、切り出した画像をモデル１０に入力して評価値を算出してもよい。静止している物体では、距離センサ３からの距離が変化しないため、その物体内の一毎に変化領域検出手段１６によって階調値が最小である画素が抽出される距離画像に、ばらつきが発生する可能性がある。一方、動いている物体では、物体内の全領域について、階調値が最小である画素は一つの距離画像からまとめて抽出される可能性が高い。そこで、検出手段１８は、所定期間に生成された複数の距離画像毎に、各距離画像からステップＳ４で変化領域検出手段１６により抽出された画素を特定する。検出手段１８は、各距離画像内で特定した画素の内、相互に隣接しながら連結し且つ所定サイズ以上である画素の領域に対応する処理画像内の領域を動きがある領域として検出する。これにより、検出手段１８は、動きがある領域に限定してジェスチャを検出することができ、ジェスチャをより精度良く検出することができる。

【0072】

また、検出手段１８は、パターンマッチング技術を用いて評価値を算出してもよい。その場合、画像処理装置４は、サンプル用の処理画像内で検出対象のジェスチャが写っている複数の画像のパターンを予め記憶部９に記憶しておく。検出手段１８は、ステップＳ５で生成された処理画像内の所定の大きさの領域を、その位置をずらしながら切り出して、記憶部９に記憶しておいた画像のパターンとの類似の程度を評価値として取得する。類似の程度は、例えば正規化相互相関値である。

【0073】

次に、検出手段１８は、取得した評価値に基づいて、人物の検出対象のジェスチャを検出する（ステップＳ７）。検出手段１８は、評価値が予め定められた閾値以上である場合、処理画像に検出対象のジェスチャが含まれると判定し、評価値が閾値未満である場合、処理画像に検出対象のジェスチャが含まれないと判定する。このように、検出手段１８は、処理画像に基づいて、監視空間内の人物のジェスチャを検出する。特に、検出手段１８は、学習用処理画像が入力された場合に学習用処理画像に含まれる人物のジェスチャに関する情報を出力するように学習されたモデル１０に処理画像を入力し、モデル１０から出力された情報に基づいて、監視空間内の人物のジェスチャを検出する。

【0074】

次に、検出手段１８は、検出対象のジェスチャを検出したか否かを判定する（ステップＳ８）。検出対象のジェスチャを検出しなかった場合、検出手段１８は、特に処理を実行せずに、一連のステップを終了する。

【0075】

一方、検出対象のジェスチャを検出した場合、検出手段１８は、ジェスチャが検出された領域の近傍に人物が存在するか否かを判定する（ステップＳ９）。検出手段１８は、ステップＳ６で取得したジェスチャが検出された領域の位置と、ステップＳ３で検出された人物領域に対応する処理画像内の領域との間の距離を算出する。検出手段１８は、算出した距離が予め定められた距離閾値未満である場合、ジェスチャが検出された領域の近傍に人物が存在すると判定し、検出されたジェスチャは人物によって行われたジェスチャであると判定する。一方、検出手段１８は、算出した距離が距離閾値以上である場合、ジェスチャが検出された領域の近傍に人物が存在しないと判定し、検出されたジェスチャは人物によって行われたジェスチャでないと判定し、一連のステップを終了する。これにより、検出手段１８は、監視空間内の人物以外の物体の動きを、検出対象のジェスチャとして誤って検出することを防止できる。

【0076】

ジェスチャが検出された領域の近傍に人物が存在すると判定された場合、出力制御手段１９は、検出されたジェスチャに関する情報を、通信部８を介して出力して外部装置に通知し（ステップＳ１０）、一連のステップを終了する。ジェスチャに関する情報は、人物による検出対象のジェスチャが検出されたこと、ジェスチャの種類、ジェスチャが検出された時刻、ジェスチャの継続時間、ジェスチャが検出された領域等を含む。なお、出力制御手段１９は、検出されたジェスチャに関する情報を、表示部７に表示し又は不図示の音出力装置から出力してもよい。

【0077】

尚、ステップＳ３の処理は、省略されてもよい。この場合、変化領域検出手段１６は、距離画像及び２次元画像内の全画素を対象としてステップＳ４の処理を実行する。

【0078】

また、ステップＳ９の処理は、省略されてもよい。この場合、モデル１０が、各学習用処理画像に人物による検出対象となるジェスチャが含まれている確からしさを示す評価値を出力するように事前学習され、検出手段１８は、判定モデル１０により、人物によって行われたジェスチャを検出してもよい。

【0079】

（画像処理システム１の効果）
以上説明してきたように、画像処理システム１は、所定期間に生成された複数の距離画像から検出された変化領域に対応する２次元画像内の領域に基づいて生成された処理画像を用いて検出対象ジェスチャを検出する。これにより、画像処理システム１は、動きが発生した領域に着目して、動きを伴うジェスチャを精度良く検出することができる。また、距離画像上で距離が近くなった領域に着目して２次元画像を合成することで、動きを伴うジェスチャを精度良く検出することができる。したがって、画像処理システム１は、監視空間内の人物のジェスチャを精度良く検出することが可能となる。特に、画像処理システム１は、ナースコールの手段として、見守り対象者に身体の前に手を出して手を振る動作等をしてもらう場合、その動作等を精度良く検出することができ、見守り者に通知することが可能となる。

【符号の説明】

【0080】

１ 画像処理システム、２ 撮像装置、３ 距離センサ、８ 通信部、１０ モデル、１５ 人物領域検出手段、１６ 変化領域検出手段、１７ 処理画像生成手段、１８ 検出手段

【図1】

【図2】

【図3】

【図4】