特許 7607319 画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-19

(45)【発行日】2024-12-27

(54)【発明の名称】画像処理方法

(51)【国際特許分類】

   G01B 11/00 20060101AFI20241220BHJP

   G06T 7/254 20170101ALI20241220BHJP

【ＦＩ】

G01B11/00 H

G06T7/254 B

【請求項の数】 7

(21)【出願番号】P 2021023926

(22)【出願日】2021-02-18

(65)【公開番号】P2022126069

(43)【公開日】2022-08-30

【審査請求日】2023-12-01

(73)【特許権者】

【識別番号】517146563

【氏名又は名称】エイアイビューライフ株式会社

(74)【代理人】

【識別番号】100124811

【弁理士】

【氏名又は名称】馬場 資博

(74)【代理人】

【識別番号】100187724

【弁理士】

【氏名又は名称】唐鎌 睦

(72)【発明者】

【氏名】安川 徹

【審査官】國田 正久

(56)【参考文献】

【文献】特開２０１５－１３００１４（ＪＰ，Ａ）

【文献】特開２０１９－１４４９９７（ＪＰ，Ａ）

【文献】特開２０１７－４０９８９（ＪＰ，Ａ）

【文献】特開２０１２－３００４２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００

Ｇ０６Ｔ ７／２５４

Ｇ０８Ｂ ２１／０２

Ａ６１Ｇ ７／０４３

Ａ６１Ｂ ５／１１

(57)【特許請求の範囲】

【請求項1】

距離画像から背景部分を検出し、当該背景部分に基づいて前記距離画像から移動体を検出する処理を行う際に、前記距離画像に対して、前記背景部分に対する距離の差分を用いて新たな移動体の検出を行うと共に、検出した移動体の追従を行う第１の処理を行い、
さらに、前記第１の処理と並行して、前記距離画像における高さ方向の距離の変化に基づいて移動体を検出する第２の処理を行い、
前記第２の処理の前に、前記距離画像に対して高さ方向の背景部分を検出する処理を行い、
前記第２の処理は、前記距離画像に対して、前記第２の処理の前に検出した前記高さ方向の背景部分に対する高さ方向の距離の差分に基づいて移動体を検出する処理を行う、
画像処理方法。

【請求項2】

請求項１に記載の画像処理方法であって、
前記第２の処理の前に、前記距離画像に対して、所定の広さの略水平面を前記高さ方向の背景部分として検出する処理を行い、
前記第２の処理は、前記距離画像に対して、前記第２の処理の前に検出した前記高さ方向の背景部分に対する高さ方向の距離の差分に基づいて移動体を検出する処理を行う、
画像処理方法。

【請求項3】

請求項１又は２に記載の画像処理方法であって、
前記第２の処理は、前記距離画像において、前記第２の処理の前に検出した前記高さ方向の背景部分に対する高さ方向の距離の差分が所定の値以上である箇所に移動体を検出する、
画像処理方法。

【請求項4】

請求項１乃至３のいずれかに記載の画像処理方法であって、
前記第１の処理は、前記第２の処理で検出した移動体の追従を行う、
画像処理方法。

【請求項5】

距離画像から背景部分を検出し、当該背景部分に基づいて前記距離画像から移動体を検出する処理を行う際に、前記距離画像に対して、前記背景部分に対する距離の差分を用いて新たな移動体の検出を行うと共に、検出した移動体の追従を行う第１処理部と、
前記距離画像における高さ方向の距離の変化に基づいて移動体を検出する第２の処理を行う第２処理部と、
を備え、
前記第２処理部は、前記第１処理部の処理と並行して作動し、
さらに、前記第２処理部は、前記第２の処理の前に前記距離画像に対して高さ方向の背景部分を検出する処理を行うと共に、前記距離画像に対して、前記第２の処理の前に検出した前記高さ方向の背景部分に対する高さ方向の距離の差分に基づいて移動体を検出する前記第２の処理を行う、
画像処理装置。

【請求項6】

請求項５に記載の画像処理装置であって、
前記第１処理部は、前記第２処理部で検出した移動体の追従を行う、
画像処理装置。

【請求項7】

情報処理装置に、
距離画像から背景部分を検出し、当該背景部分に基づいて前記距離画像から移動体を検出する処理を行う際に、前記距離画像に対して、前記背景部分に対する距離の差分を用いて新たな移動体の検出を行うと共に、検出した移動体の追従を行う第１の処理を行い、
さらに、前記第１の処理と並行して、前記距離画像における高さ方向の距離の変化に基づいて移動体を検出する第２の処理を行い、
前記第２の処理の前に、前記距離画像に対して高さ方向の背景部分を検出する処理を行い、
前記第２の処理は、前記距離画像に対して、前記第２の処理の前に検出した前記高さ方向の背景部分に対する高さ方向の距離の差分に基づいて移動体を検出する処理を行う、
ことを実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、距離画像から移動体を検出する処理を行う画像処理方法及び画像処理装置に関する。

【背景技術】

【0002】

近年、高齢者の人口が増加し、介護の需要が高まっている。一方で、介護には、多くの介護者が必要となり、介護者の作業負担や人件費の増加という問題が生じる。そこで、特許文献１に記載のような、距離画像センサで撮影した距離画像を用いて、被介護者といった人物を監視する監視システムが多く開発されている。

【0003】

特許文献１に開示の監視システムでは、距離画像からベッドの位置を抽出し、また、人物の領域を検出し、人物の動作を判別している。具体的に、ベッドの位置は、ベッドの長手方向及び短手方向における高さの度数分布から求めている。また、人物の動作は、所定の高さ位置に対する物体の位置検出することで、臥床の状態、上半身を起こした状態、起立の状態、といった人の動作を判別している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１２－０３００４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、上述したように距離画像からベッドや人物の動作を検出する場合には、撮影時間の異なる距離画像の差分を用いて背景部分を特定することがある。ところが、実際に人物が存在している場所であっても、かかる人物が動作していない場合には、距離画像における距離の変化が少なく、背景部分と誤って特定されることもありうる。すると、背景部分と誤って特定された場所では、人物を新たに検出したり、既に検出している人物を追従することが困難な場合が生じる。つまり、距離画像からより精度よく移動体を検出することが困難である、という問題が生じる。

【0006】

このため、本発明の目的は、上述した課題である、距離画像からより精度よく移動体を検出することが困難である、ことを解決することにある。

【課題を解決するための手段】

【0007】

本発明の一形態である画像処理方法は、
距離画像から背景部分を検出し、当該背景部分に基づいて前記距離画像から移動体を検出する処理を行うと共に、
さらに、前記距離画像における高さ方向の距離の変化に基づいて移動体を検出する第２の処理を行う、
という構成をとる。

【0008】

また、上記画像処理方法では、
前記距離画像に対して、前記背景部分に対する距離の差分を用いて新たな移動体の検出を行うと共に、検出した移動体の追従を行う第１の処理を行い、
前記第１の処理と並行して、前記第２の処理を行う、
という構成をとる。

【0009】

また、上記画像処理方法では、
前記第２の処理の前に、前記距離画像に対して高さ方向の背景部分を検出する処理を行い、
前記第２の処理は、前記距離画像に対して、高さ方向の背景部分に対する高さ方向の距離の差分に基づいて移動体を検出する処理を行う、
という構成をとる。

【0010】

また、上記画像処理方法では、
前記第２の処理の前に、前記距離画像に対して、所定の広さの略水平面を高さ方向の背景部分として検出する処理を行い、
前記第２の処理は、前記距離画像に対して、高さ方向の背景部分に対する高さ方向の距離の差分に基づいて移動体を検出する処理を行う、
という構成をとる。

【0011】

また、上記画像処理方法では、
前記第２の処理は、前記距離画像において、高さ方向の背景部分に対する高さ方向の距離の差分が所定の値以上である箇所に移動体を検出する、
という構成をとる。

【0012】

また、上記画像処理方法では、
前記第１の処理は、前記第２の処理で検出した移動体の追従を行う、
という構成をとる。

【0013】

また、本発明の一形態である画像処理装置は、
距離画像から背景部分を検出し、当該背景部分に基づいて前記距離画像から移動体を検出する処理を行う第１処理部と、
前記距離画像における高さ方向の距離の変化に基づいて移動体を検出する第２処理部と、
を備えた、
という構成をとる。

【0014】

また、上記画像処理装置では、
前記第１処理部は、前記距離画像に対して、前記背景部分に対する距離の差分を用いて新たな移動体の検出を行うと共に、検出した移動体の追従を行い、
前記第２処理部は、前記第１処理部の処理と並行して作動する、
という構成をとる。

【0015】

また、上記画像処理装置では、
前記第２処理部は、前記距離画像に対して高さ方向の背景部分を検出する処理を行うと共に、前記距離画像に対して、高さ方向の背景部分に対する高さ方向の距離の差分に基づいて移動体を検出する処理を行う、
という構成をとる。

【0016】

また、上記画像処理装置では、
前記第１処理部は、前記第２処理部で検出した移動体の追従を行う、
という構成をとる。

【0017】

また、本発明の一形態であるプログラムは、
情報処理装置に、
距離画像から背景部分を検出し、当該背景部分に基づいて前記距離画像から移動体を検出する処理を行う第１処理部と、
前記距離画像における高さ方向の距離の変化に基づいて移動体を検出する第２処理部と、
を実現させる、
という構成をとる。

【発明の効果】

【0018】

本発明は、以上のように構成されることにより、距離画像からより精度よく移動体を検出することができる。

【図面の簡単な説明】

【0019】

【図1】本発明の実施形態１における情報処理システムの構成を示す概略図である。

【図2】図１に開示した監視サーバの構成を示すブロック図である。

【図3】図１に開示した監視サーバによる距離画像の処理の様子を示す図である。

【図4】図１に開示した監視サーバによる距離画像の処理の様子を示す図である。

【図5】図１に開示した監視サーバによる距離画像の処理の様子を示す図である。

【図6】図１に開示した監視サーバの処理動作を示すフローチャートである。

【発明を実施するための形態】

【0020】

＜実施形態１＞
本発明の第１の実施形態を、図１乃至図６を参照して説明する。図１乃至図２は、情報処理システムの構成を示す図である。図３乃至図６は、情報処理システムの処理動作を説明するための図である。以下、各図を参照して、情報処理システムの構成及び動作を説明する。

【0021】

本発明における情報処理システムは、被介護者や被監視者といった監視対象となる人物Ｐの行動を監視するための情報処理システムである。そして、情報処理システムは、監視サーバ１０と、距離画像カメラＣと、監視端末３０と、携帯端末４０と、を備えて構成されている。

【0022】

上記距離画像カメラＣ（撮影装置）は、監視対象となる人物Ｐが横たわるベッドＢが配置された領域である部屋Ｒ１（第一領域）内の距離画像を撮影可能な位置に配置されている。例えば、距離画像カメラＣは、医療施設や介護施設、住宅などの部屋Ｒ１の天井に設けられ、部屋Ｒ１の大部分が画像内に収まる位置に配置されている。なお、距離画像カメラＣは、必ずしも天井に設置されていることに限定されず、壁やスタンドなど、いかなる場所に設置されていてもよい。但し、部屋Ｒ１に設置されるベッドＢは、布団などのいかなる寝床であってもよい。

【0023】

距離画像カメラＣは、画素値を距離値とした距離画像を撮影するものである。例えば、距離画像カメラＣは、赤外線レーザをターゲットに投射した際の往復の時間から距離を計測する形式のものであってもよく、いかなる方式の撮影装置であってもよい。そして、距離画像カメラＣは、一定の時間間隔で、あるいは、撮影指示を受けたタイミングで、距離画像を撮影し、かかる距離画像を後述する監視サーバ１０に送信する機能を有する。なお、後述する監視サーバ１０の機能については、上記距離画像カメラＣに搭載することもできる。つまり、距離画像カメラＣに搭載された情報処理装置にて監視サーバ１０の機能を実現してもよい。

【0024】

上記監視端末３０（監視装置）は、被介護者である人物Ｐの介護を行う介護者や、監視する監視者であるユーザＵが操作する情報処理端末である。監視端末３０は、介護者などのユーザＵが在籍する監視ルームＲ２など、人物Ｐの部屋Ｒ１（第一領域）とは離れた場所（第二領域）に設置されており、複数のユーザＵによって操作可能である。監視端末３０は、表示画面に距離画像を表示すると共に、監視に関する操作指示を入力可能とし、かかる操作指示を監視サーバ１０に送信したり、監視サーバ１０から発せられる人物Ｐの状態の通知を受信して、ユーザＵに報知する機能を有する。

【0025】

上記携帯端末４０（監視装置）は、上記ユーザＵが保持して操作するスマートフォンなどの情報処理端末である。携帯端末４０は、監視サーバ１０と無線通信を介して接続される通信可能であり、介護者などのユーザＵが在籍する監視ルームＲ２や他の被介護者の部屋など、人物Ｐの部屋Ｒ１（第一領域）とは離れた場所（第二領域）に位置し、複数のユーザＵによって操作可能である。携帯端末４０は、表示画面に距離画像を表示すると共に、監視に関する操作指示を入力可能とし、かかる操作指示を監視サーバ１０に送信したり、監視サーバ１０から発せられる人物Ｐの状態の通知を受信して、ユーザＵに報知する機能を有する。

【0026】

上記監視サーバ１０は、距離画像カメラＣからの距離画像を用いて人物Ｐの部屋における当該人物Ｐの特定の動作状態を検知する機能を主に有する。そして、監視サーバ１０は、演算装置及び記憶装置を有する１台又は複数台の情報処理装置で構成される。具体的に、監視サーバ１０は、図２に示すように、演算装置がプログラムを実行することで構築された、画像取得部１１、動作検知部１２、高さ方向処理部１３、通知部１４、を備えている。また、監視サーバ１０は、記憶装置に形成された、判定基準記憶部１６を備えている。以下、各構成について詳述するが、併せて監視サーバ１０の動作も図６のフローチャートを参照して説明する。なお、監視サーバ１０の機能については、上記距離画像カメラＣに搭載することもできる。つまり、距離画像カメラＣに搭載された情報処理装置にて監視サーバ１０の機能を実現してもよい。

【0027】

上記画像取得部１１は、上述したように距離画像カメラＣにて撮影されたベッドＢを含む部屋Ｒ１内の距離画像を、当該距離画像カメラＣから取得する。そして、取得した距離画像を、動作検知部１２と高さ方向処理部１３に渡すことで、当該距離画像は後述する処理に用いられる。なお、画像取得部１１は、常に取得した距離画像をそのまま監視端末３０や携帯端末４０に送信し、監視端末３０や携帯端末４０の表示装置に表示するよう出力してもよい。

【0028】

上記動作検知部１２（第１処理部）は、距離画像内における人物Ｐを検出する処理を行う。具体的に、動作検知部１２は、まず、時間的に前後する距離画像の差分を用いて、かかる差分が所定値よりも小さい箇所を背景部分として検出する（図６のステップＳ１）。例えば、部屋Ｒ１の距離画像において、床面や壁面、ベッドＢといった固定物が映る箇所は、背景部分として検出される。このとき、動作検知部１２は、検出した背景部分から、ベッドＢ（寝床）の領域であるベッド領域を検出する。例えば、動作検知部１２は、距離画像から、所定の高さ位置に水平方向に所定の広さをもって広がる平面を検出し、かかる平面のうち、予め記憶しているベッド情報に対応する平面領域をベッド領域として検出する。例えば、ベッド情報は判定基準記憶部１６に記憶されており、当該ベッド情報には、ベッドの広さや矩形である外形の長辺及び短辺の長さ、床面Ｆからの高さ、といった情報が含まれる。そして、動作検知部１２は、特に、ベッド領域の外形を形成する端であるエッジ部分を検出する。例えば、動作検知部１２は、ベッドＢの外形付近に位置する箇所であって、近隣する画素同士の距離値が急激に変化する直線形状の箇所を、エッジ部分として検出する。

【0029】

そして、動作検知部１２は、新たに撮影された距離画像の各画素において背景部分と距離の差分を算出し、かかる差分が所定値よりも大きい箇所に移動する物体（移動体）が存在することを検出する（図６のステップＳ２）。そして、動作検知部１２は、さらに、検出した物体の形状に基づいて人物Ｐを検出して、その後に順次撮影される距離画像において人物Ｐを追従する（図６のステップＳ３）。例えば、動作検知部１２は、検出した物体の形状（一例として、アスペクト比）や、物体間の位置関係や体積比（面積比）などから、頭部と胴体部との対といった複数の人体部位からなる人物Ｐを検出する。また、例えば、動作検知部１２は、新たな距離画像に対して、人体部位の形状をパターンマッチングしたり、部位の特徴点のオプティカルフローなども用いて、同一と判断できる人物Ｐの部位（頭部や胴体部など）を追従する。このとき、動作検知部１２は、新たな距離画像に対して、直前に検出した人物Ｐの位置の近隣に存在する物体を検出して、パターンマッチングなどを用いて追従する。

【0030】

さらに、動作検知部１２は、追従した人物Ｐの動作状態を検出し（図６のステップＳ４）、特定の動作状態であるどうかを判定する（図６のステップＳ５）。例えば、動作検知部１２は、追従した人物Ｐの人体部位（頭部や胴体部など）の位置関係に基づいて、かかる人物Ｐの動作状態を検出する。一例として、動作検知部１２は、頭部から検出できる人物Ｐの高さと、胴体部から検出できる重心位置と、距離画像内のベッドＢと、の位置関係に基づいて、人物Ｐの動作状態を検出し、かかる動作状態が予め設定された特定の動作状態であるか否かを判定する。例えば、人物ＰがベッドＢに横たわっている状態（臥位状態）である場合には、人物Ｐがかかる状態（ベッドＢ上に位置して横たわっている）であることを認識するだけで、特定の動作状態とは判定しない（図６のステップＳ５でＮｏ）。一方で、動作検知部１２は、例えば、人物ＰがベッドＢの境界に位置する状態や、人物ＰがベッドＢから離れてうずくまっている状態、人物ＰがベッドＢから離れて横たわっている状態、である場合には、人物Ｐの動作状態が異常と判断できる可能性のある特定の動作状態であると判定する（図６のステップＳ５でＹｅｓ）。なお、上述したように人物Ｐの高さ、重心位置、ベッドＢなどとの位置関係に基づいて人物Ｐの動作状態が特定の動作状態であると判断する基準は、予め判定基準記憶部１６に記憶されていることとする。

【0031】

上記通知部１４は、上述したように動作検知部１２にて人物Ｐが特定の動作状態であると判定すると（図６のステップＳ５でＹｅｓ）、ユーザＵに対して人物Ｐが異常状態である可能性がある旨の通知を行う（図６のステップＳ６）。例えば、通知部１４は、監視端末３０や携帯端末４０に対して、人物Ｐが異常状態である可能性があることを通知する通知情報を送信する。但し、本発明で判定する特定の動作状態は、上述した状態に限定されず、他の動作状態を特定の動作状態として判定してもよい。例えば、人物ＰがベッドＢに立つ状態（立位状態）、人物ＰがベッドＢ上に座っている状態（起き上がり状態）、を異常と判断できる可能性のある特定の動作状態として判定してもよい。

【0032】

ここで、図３の距離画像に示すように、人物ＰがベッドＢから離れて床面に横たわっている状態である場合を説明する。まず、動作検知部１２は、例えば、図４（１）に示すように、人物Ｐが床面に横たわっていない状態の距離画像においては、距離画像カメラＣから床面までの距離Ｄ１の箇所が、背景部分として検出されていることとなる。そして、図３及び図４（２）に示すように、人物Ｐが床面に横たわっている場合には、距離画像カメラＣから人物Ｐまでの距離Ｄ２が、距離画像カメラＣから床面までの距離Ｄ１と差が小さく、人物Ｐ部分をそのまま背景部分と判断してしまう場合が生じる。すると、動作検知部１２は、床面に横たわる人物Ｐを検出することができなかったり、それまで追従していた人物Ｐを床面で追従することができない場合が生じうる。また、床面に限らず、ベッドＢ上や壁面に対しても、その箇所に位置する人物Ｐを検出したり追従することができず、背景部分として検出されてしまう場合が生じうる。このような状況を考慮して、上述した動作検知部１２による距離画像に基づく人物Ｐの検出及び追従処理（第１の処理）と並行して、高さ方向処理部１３による以下に説明する第２の処理が実行される。

【0033】

上記高さ方向処理部１３（第２処理部）は、以下に説明する第２の処理の前に、まず、時間的に前後する距離画像の各画素の距離値から、高さ方向の距離値を抽出して、かかる高さ方向の距離値の差分を用いて、高さ方向の背景部分を検出する（図６のステップＳ１１）。つまり、高さ方向処理部１３は、図５（１）に示すように、床面やベッドＢといった所定の広さの略水平面を形成する固定物の表面に対する高さ方向の距離値Ｄ３のみを、高さ方向の背景部分として検出する。その後、高さ方向処理部１３は、第２の処理として、図５（２）に示すように、新たに撮影された距離画像の各画素において高さ方向の距離値Ｄ４を抽出して、高さ方向の背景部分の距離値Ｄ３との差分を算出する。そして、高さ方向処理部１３は、かかる差分が所定値よりも大きい箇所に、物体（移動体）が存在することを検出する（図６のステップＳ１２）。このように、距離画像の距離値から高さ方向成分を抽出して、高さ方向における背景部分に対する距離値の変化を調べることで、背景部分に物体が位置している場合に、その変化が大きく表れることとなる。その結果、例えば、図４（２）に示すように、床面に人物Ｐが横たわった場合であっても、床面上に人物Ｐが存在していることを検出することができる。そして、高さ方向処理部１３は、検出した箇所に物体が存在することを動作検知部１２に通知する。

【0034】

なお、高さ方向処理部１３による各画素の高さ方向の距離値の抽出は、距離画像カメラＣの設置状況を表す情報、例えば、距離画像カメラＣの設置高さや水平方向あるいは垂直方向に対する撮影角度に基づいて算出することで実現できる。例えば、高さ方向処理部１３は、予め距離画像カメラＣの各画素に対応する水平方向あるいは垂直方向に対する撮影角度を記憶しており、かかる撮影角度に基づいて、画素ごとに計測した距離値Ｄ１，２から高さ方向の距離値Ｄ３，Ｄ４を算出することができる。

【0035】

そして、動作検知部１２は、高さ方向処理部１３から物体の存在の通知を受けると、かかる箇所に対する人物Ｐの検出処理を行い、上述同様に、その後の距離画像に対して検出した人物Ｐを追従して（図６のステップＳ３）、動作の異常判定を行うこととなる（図６のステップＳ４，Ｓ５）。

【0036】

以上のように、本発明によると、背景部分と検出された領域に人物Ｐといった移動体が存在する場合であっても、距離画像の高さ方向の距離値の変化を用いて移動体を検出している。このため、距離画像からより精度よく移動体を検出することができる。

【0037】

なお、上述したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されている。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。

【0038】

以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。

【符号の説明】

【0039】

１０ 監視サーバ
１１ 画像取得部
１２ 動作検知部
１３ 高さ方向処理部
１４ 通知部
１６ 判定基準記憶部
３０ 監視端末
４０ 携帯端末
Ｂ ベッド
Ｃ 距離画像カメラ
Ｐ 人物
Ｕ ユーザ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】