特開 2022-187656 画像処理装置、画像処理方法、プログラム、及び画像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022187656

(43)【公開日】2022-12-20

(54)【発明の名称】画像処理装置、画像処理方法、プログラム、及び画像処理システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221213BHJP

   A61G 12/00 20060101ALI20221213BHJP

【ＦＩ】

G06T7/00 660Z

G06T7/00 350Z

A61G12/00 Z

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2021095756

(22)【出願日】2021-06-08

(71)【出願人】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】110001807

【氏名又は名称】弁理士法人磯野国際特許商標事務所

(72)【発明者】

【氏名】田中 希武

【テーマコード（参考）】

4C341

5L096

【Ｆターム（参考）】

4C341MR15

4C341MR18

5L096BA02

5L096CA04

5L096DA02

5L096FA76

5L096JA11

5L096JA16

5L096JA18

(57)【要約】

【課題】画像処理装置、画像処理方法、プログラム、及び画像処理システムにおいて、物体検出の結果を他の検出結果や予め設定した知見で補正し、補正した物体検出結果を人の行動認識に用いる。
【解決手段】画像処理装置１００は、入力画像から、人を検出する人検出部１１２と、入力画像から、物体を検出する物体検出部１１３と、物体検出部１１３で検出された物体認識情報を補正する補正部１１４と、補正部１１４が補正した物体認識情報および人検出部１１２が検出した人認識情報に基づいて、人の行動を判定する判定部１１５と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

入力画像から、人を検出する人検出部と、
前記入力画像から、物体を検出する物体検出部と、
前記物体検出部で検出された物体認識情報を補正する補正部と、
前記補正部が補正した物体認識情報および前記人検出部が検出した人認識情報に基づいて、前記人の行動を判定する判定部と、
を備えることを特徴とする画像処理装置。

【請求項2】

前記補正部は、
前記物体認識情報に係る物体クラスの尤度を補正する、
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記補正部は、
前記物体認識情報を、過去に前記物体が検出されたときの物体認識情報に置き換える、
ことを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

前記補正部は、
未検出の物体を検出するように前記物体認識情報に係る物体クラスの尤度を補正する、
ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。

【請求項5】

前記補正部は、
前記人と前記物体との接近、又は前記人による前記物体の遮蔽を条件として、前記物体認識情報を補正する、
ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。

【請求項6】

前記補正部は、
時間、又は照明条件に応じて、前記物体認識情報を補正する、
ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。

【請求項7】

前記補正部は、
前記物体検出部による物体検出の一定期間のフレームにおける検出結果の安定性を用いて当該物体認識情報を補正する、
ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。

【請求項8】

前記物体検出部が検出する検出対象は、
人が座位姿勢で使用するものである、
ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。

【請求項9】

前記物体検出部が検出する検出対象は、
人が臥位姿勢で使用するものである、
ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。

【請求項10】

前記人検出部は更に、人の姿勢を検出し、
前記判定部は、前記人検出部が検出した姿勢情報と前記補正部が補正した物体認識情報に基づいて、前記人の行動を判定する、
請求項１から９のいずれか１項に記載の画像処理装置。

【請求項11】

前記補正部は、
前記入力画像における前記人または前記物体の位置座標に応じて、補正の条件、又は補正の内容が異なる、
ことを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。

【請求項12】

前記入力画像を撮像し、上方から下方を見下ろすように取り付けられる撮像部を、
さらに備えることを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。

【請求項13】

入力画像から、人を検出して人認識情報とするステップと、
前記入力画像から、物体を検出して物体認識情報とするステップと、
前記物体認識情報を補正するステップと、
当該補正された物体認識情報と、前記人認識情報とに基づいて、前記人の行動を判定するステップと、
を備えることを特徴とする画像処理方法。

【請求項14】

入力画像から、人を検出して人認識情報とする手順、
前記入力画像から、物体を検出して物体認識情報とする手順、
前記物体認識情報を補正する手順、
当該補正された物体認識情報および前記人認識情報に基づいて、前記人の行動を判定する手順、
をコンピュータに実行させることを特徴とするプログラム。

【請求項15】

撮像部と、
前記撮像部によって撮像された入力画像から、人を検出する人検出部と、
前記入力画像から、物体を検出する物体検出部と、
前記物体検出部で検出された物体認識情報が示す内容を補正する補正部と、
当該補正された物体認識情報および前記人検出部が検出した人認識情報に基づいて、前記人の行動を判定する判定部と、
を備えることを特徴とする画像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、プログラム、及び画像処理システムに関する。

【背景技術】

【0002】

近年、人を検出した結果と物体を検出した結果とを用いて、人の行動を認識することが行われている。物体を検出した結果を併用することにより、人がどのような行動をしているのかを、より正確に認識可能である。例えば臥位の人とベッドとを検知した場合、ベッドは就寝のためのものだという知見を用いて、人が就寝中であることをより確からしく認識可能である。

【0003】

しかし、人が物体に近接したり、物体が人の陰になった場合、この物体を誤検出する場合がある。物体を誤検出することにより、人の行動も誤って認識してしまうおそれがある。

【0004】

特許文献１には、「撮像装置が生成した画像を取得する画像取得部と、前記画像中における、人を含む人領域を検出する人領域検出部と、学習済みの識別器を用いて前記画像の画像解析を行い、前記人の姿勢種別を前記人領域に映る周辺物体の物体種別と共に推定する姿勢推定部と、前記人の姿勢種別及び前記周辺物体の物体種別に基づいて、前記人の行動クラスを決定する行動判別部と、を備える画像処理装置であって、前記識別器は、教師データの前記画像に対して前記人の姿勢種別と前記周辺物体の物体種別の組み合わせが関連付けられて学習処理が施された、画像処理装置。」が、開示されている（例えば、特許文献１の請求項１参照）。

【0005】

また、特許文献２には、「ベッドに就寝している被介護者が起床挙動を行ったことを監視して通報するものであって、前記被介護者が起床挙動を行ったことを判定する見守り領域を設定して前記ベッドの横方向から前記見守り領域を含みカメラで撮像し、前記カメラから得られる撮像画像の前記見守り領域に占める前記被介護者画像領域の大きさが所定値以上の場合に前記被介護者が起床挙動を行っていると判定することを特徴とする起床監視方法」が、開示されている（例えば、特許文献２の請求項１参照）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１８－２０６３２１号公報

【特許文献2】特開２００６－１７５０８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１に記載の請求項１は、人と物体が接近していることを前提としているため、物体検出の際、誤検出を生じやすい。一方、特許文献２に記載の請求項１は、物体認識結果の誤認識により、人の行動認識の精度が低下することがある。この場合、適切な物体認識の結果を補正する必要が生じる。

【0008】

そこで、画像処理装置、画像処理方法、プログラム、及び画像処理システムにおいて、物体検出の結果を他の検出結果や予め設定した知見で補正し、補正した物体検出結果を人の行動認識に用いることを課題とする。

【課題を解決するための手段】

【0009】

すなわち、本発明の上記課題は、下記の構成により解決される。
（１）入力画像から、人を検出する人検出部と、
前記入力画像から、物体を検出する物体検出部と、
前記物体検出部で検出された物体認識情報を補正する補正部と、
前記補正部が補正した物体認識情報および前記人検出部が検出した人認識情報に基づいて、前記人の行動を判定する判定部と、
を備えることを特徴とする画像処理装置。

【0010】

（２）前記補正部は、
前記物体認識情報に係る物体クラスの尤度を補正する、
ことを特徴とする（１）に記載の画像処理装置。

【0011】

（３）前記補正部は、
前記物体認識情報を、過去に前記物体が検出されたときの物体認識情報に置き換える、
ことを特徴とする（１）又は（２）に記載の画像処理装置。

【0012】

（４）前記補正部は、
未検出の物体を検出するように前記物体認識情報に係る物体クラスの尤度を補正する、
ことを特徴とする（１）から（３）のいずれか１つに記載の画像処理装置。

【0013】

（５）前記補正部は、
前記人と前記物体との接近、又は前記人による前記物体の遮蔽を条件として、前記物体認識情報を補正する、
ことを特徴とする（１）から（４）のいずれか１つに記載の画像処理装置。

【0014】

（６）前記補正部は、
時間、又は照明条件に応じて、前記物体認識情報を補正する、
ことを特徴とする（１）から（５）のいずれか１つに記載の画像処理装置。

【0015】

（７）前記補正部は、
前記物体検出部による物体検出の一定期間のフレームにおける検出結果の安定性を用いて当該物体認識情報を補正する、
ことを特徴とする（１）から（６）のいずれか１つに記載の画像処理装置。

【0016】

（８）前記物体検出部が検出する検出対象は、
人が座位姿勢で使用するものである、
ことを特徴とする（１）から（７）のいずれか１つに記載の画像処理装置。

【0017】

（９）前記物体検出部が検出する検出対象は、
人が臥位姿勢で使用するものである、
ことを特徴とする（１）から（８）のいずれか１つに記載の画像処理装置。

【0018】

（１０）前記人検出部は更に、人の姿勢を検出し、
前記判定部は、前記人検出部が検出した姿勢情報と前記補正部が補正した物体認識情報に基づいて、前記人の行動を判定する、
（１）から（９）のいずれか１つに記載の画像処理装置。

【0019】

（１１）前記補正部は、
前記入力画像における前記人または前記物体の位置座標に応じて、補正の条件、又は補正の内容が異なる、
ことを特徴とする（１）から（１０）のいずれか１つに記載の画像処理装置。

【0020】

（１２）前記入力画像を撮像し、上方から下方を見下ろすように取り付けられる撮像部を、
さらに備えることを特徴とする（１）から（１１）のいずれか１つに記載の画像処理装置。

【0021】

（１３）入力画像から、人を検出して人認識情報とするステップと、
前記入力画像から、物体を検出して物体認識情報とするステップと、
前記物体認識情報を補正するステップと、
当該補正された物体認識情報と、前記人認識情報とに基づいて、前記人の行動を判定するステップと、
を備えることを特徴とする画像処理方法。

【0022】

（１４）入力画像から、人を検出して人認識情報とする手順、
前記入力画像から、物体を検出して物体認識情報とする手順、
前記物体認識情報を補正する手順、
当該補正された物体認識情報および前記人認識情報に基づいて、前記人の行動を判定する手順、
をコンピュータに実行させることを特徴とするプログラム。

【0023】

（１５）撮像部と、
前記撮像部によって撮像された入力画像から、人を検出する人検出部と、
前記入力画像から、物体を検出する物体検出部と、
前記物体検出部で検出された物体認識情報が示す内容を補正する補正部と、
当該補正された物体認識情報および前記人検出部が検出した人認識情報に基づいて、前記人の行動を判定する判定部と、
を備えることを特徴とする画像処理システム。

【発明の効果】

【0024】

本発明によれば、画像処理装置、画像処理方法、プログラム、及び画像処理システムにおいて、物体検出の結果を他の検出結果や予め設定した知見で補正し、補正した物体検出結果を人の行動認識に用いることができる。

【図面の簡単な説明】

【0025】

【図1】本実施形態に係る情報処理装置の主な構成例を説明する説明図である。

【図2】画像処理装置の機能ブロック図である。

【図3】画像処理装置が、物体認識情報及び姿勢情報に基づいて、物体認識情報を補正し、人の行動を判定する処理を示したフローチャートである。

【図4】ＣＰＵが、補正部により、人検出部が検出した人の姿勢に基づいて、物体クラスの尤度を補正する処理を示したフローチャートである。

【図5】ＣＰＵが、補正部により、人が接近または遮蔽した物体に係る物体クラス尤度を補正する処理を示したフローチャートである。

【図6】ＣＰＵが、補正部により、人が接近または遮蔽した物体に係る物体認識情報を補正する処理を示したフローチャートである。

【図7】人と物体双方の情報を用いて、行動認識のジレンマを解決する概念を示したイメージ図である。

【図8】過去のベッドの位置情報を用いて、現在のベッドの位置を補正する概念を示したイメージ図である。

【図9】ＣＰＵが、補正部により、物体認識情報を、所定の物体認識情報に置き換える処理を示したフローチャートである。

【図10】過去のベッドの認識結果を用いて、現在のベッドの認識結果を補正する概念を示したイメージ図である。

【図11】ＣＰＵが、補正部により、物体認識情報に係る物体クラス尤度を補正する処理を示したフローチャートである。

【図12】ＣＰＵが、補正部により、物体検出部による物体検出の一定期間のフレームにおける検出結果の安定性を用いて、過去に物体が検出されたときの物体認識情報に置き換える処理を示したフローチャートである。

【図13】ＣＰＵが、補正部により、物体検出部による物体検出の一定期間のフレームにおける検出結果の安定性を用いて、当該物体認識情報に係る物体クラスの尤度を補正する処理を示したフローチャートである。

【図14A】カメラが、天井の中心から室内の真ん中を撮像した画像である。

【図14B】室内の画像を側面から見た説明図である。

【図15】他の実施形態の画像処理システムを示したブロック図である。

【図16】比較例１の画像処理装置による認識結果を示した説明図である。

【図17】本実施形態にて、人や物体を検出した結果、人検出結果や物体認識情報を利用して望ましい補正内容を示した説明図である。

【発明を実施するための形態】

【0026】

以下に、本発明を実施するための形態について詳細に説明する。なお、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

【0027】

＜比較例の概要＞
物体の位置を検出するアルゴリズムにおいて、椅子ＣＨを机として誤検出したり、ベッドＢＤの位置を別の位置あると誤検出することがある。

【0028】

図１６は、比較例１の画像処理装置による認識結果を示した説明図である。

【0029】

この撮影画像は、例えば老人ホームの居室に設けられた監視カメラが撮影した画像である。この居室には、人ＨＭ１，ＨＭ２，ＨＭ３がおり、椅子ＣＨと、ベッドＢＤ１とが設置されている。そして、撮影画像の上側にはドアＤＲが、撮影画像の下側には窓とカーテンＣＴが写っている。撮影時刻は白昼であり、直射日光が窓から差し込んで、居室の床面を照射している。人ＨＭ１は椅子ＣＨに座っている。人ＨＭ２はベッドＢＤ１に寝ている。そして人ＨＭ３は、直射日光が差し込んでいる領域にて転倒している。

【0030】

比較例１では、物体認識情報３０１が示されており、ここでは椅子ＣＨを机と誤検出している。この誤検出により、画像処理装置は、人ＨＭ１が椅子ＣＨに座る行動を認識できない。

【0031】

また、比較例１では、窓から差し込んだ直射日光の照射部分に物体認識情報３０２が示されている。ここで直射日光の照射部分は矩形であるため、画像処理装置は、これをベッドとして誤認識して、物体認識情報３０２を設定する。そして、ベッドＢＤ１は、ベッドとして認識されていない。

【0032】

そのため、画像処理装置は、人ＨＭ２がベッドＢＤ１で寝る行動を、転倒と誤認識する。また、画像処理装置は、人ＨＭ３の転倒行為を、ベッドで寝る行為と誤認識する。

【0033】

図１７は、本実施形態の画像処理装置が、人ＨＭ１，ＨＭ２，ＨＭ３や物体を検出した結果、人検出結果や物体認識情報を利用して、望ましい補正内容を示した説明図である。本実施形態の画像処理装置は、人ＨＭ１が座っている状態であることから、物体認識情報３０３を机でない可能性が高く、椅子の可能性が有力であると判定する。また、夜の時間帯に人ＨＭ２は、臥位姿勢でこの位置にいることが多い。そのため、画像処理装置は、人が長時間に亘って臥位姿勢の位置にベッドが設置されている可能性が高いと判定し、物体認識情報３０４を設定する。また、画像処理装置が、カーテンＣＴが閉まっている状態での物体検出結果を採用することにより、日差しによる誤検出の可能性を減少させる。

【0034】

このように、本発明の実施形態では、物体検出の結果を他の検出結果や予め設定した知見で補正し、補正した物体検出結果を人の行動認識に用いることができる。

【0035】

＜本実施形態＞
［画像処理装置の全体構成］
図１は、本実施形態に係る画像処理システムの主な構成例を説明する説明図である。本実施形態に係る画像処理システムは、画像処理装置１００とカメラ１８０（撮像部）とを備えて構成されている。

【0036】

画像処理装置１００は、ＣＰＵ(Central Processing Unit)１１０、記憶部１２０、ＲＯＭ（Read Only Memory）１３０、ＲＡＭ(Random Access Memory)１４０、入力部１５０、表示部１６０、及び通信部１７０を備えて構成されている。この画像処理装置１００は、例えば、カメラ１８０が接続されたボード状のコンピュータとして構成され、エッジ端末として機能する。

【0037】

ＣＰＵ１１０は、中央処理装置であり、記憶部１２０又はＲＯＭ１３０に格納された制御プログラム１２１を実行することにより、図２に示す各処理（機能）を具現化する。なお、ＣＰＵ１１０が具現化する各処理については、図２を用いて後述する。

【0038】

記憶部１２０は、大容量の記憶装置であり、例えば、ハードディスクドライブ（Hard Disk Drive）、不揮発性メモリなどで構成される。記憶部１２０は、制御プログラム１２１を格納する。

【0039】

ＲＡＭ１４０は、ＣＰＵ１１０により実行制御される各種処理において、ＲＯＭ１３０から読み出され、ＣＰＵ１１０で実行可能な各種プログラム、入力データ、出力データ、及びパラメータ等を一時的に記憶するワークエリアとして機能する。

【0040】

入力部１５０は、カーソルキー、数字入力キー、及び各種機能キーなどを備えたキーボードと、マウスなどのポインティングデバイスを備えて構成される。入力部１５０は、キーボードで押下操作されたキーの押下信号やマウスによる操作信号を、入力信号としてＣＰＵ１１０に出力する。ＣＰＵ１１０は、入力部１５０からの操作信号に基づいて、各種処理を実行する。

【0041】

表示部１６０は、例えばＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等のモニタを備えて構成される。表示部１６０は、ＣＰＵ１１０から入力される表示信号の指示に従って、各種画面を表示する。表示部１６０および入力部１５０として、タッチパネルディスプレイを採用することもできる。

【0042】

通信部１７０は、通信インタフェースを備え、ネットワーク上の外部装置と通信する。ここでは、外部のカメラ１８０に接続されて、カメラ１８０が撮影した画像を受信する。

【0043】

内部バス１９０は、画像処理装置１００における各構成要素について、相互に接続されている。

【0044】

一方、カメラ１８０は、室内の天井に設置され、入力画像を撮像し、室内の上方から下方を見下ろすように取り付けられる。

【0045】

次に、本実施形態に係る画像処理装置１００のＣＰＵ１１０の機能について、図２を用いて説明する。

【0046】

図２は、本実施形態に係る画像処理装置１００のＣＰＵ１１０の機能を示した機能ブロック図である。ＣＰＵ１１０は、図１の制御プログラム１２１を実行することにより、図２に示した、画像取得部１１１、人検出部１１２、物体検出部１１３、補正部１１４、及び判定部１１５を具現化する。

【0047】

画像取得部１１１は、カメラ１８０で撮像された画像を取得する。画像取得部１１１は、取得した画像を、人検出部１１２及び物体検出部１１３に送出する。

【0048】

人検出部１１２は、画像取得部１１１から画像が入力される（入力画像）。人検出部１１２は、入力画像から、人を検出する。人検出部１１２は、検出した人認識情報を補正部１１４に送出する。

【0049】

物体検出部１１３は、画像取得部１１１から画像が入力される（入力画像）。物体検出部１１３は、入力画像から、物体を検出する。物体検出部１１３は、検出した物体認識情報を補正部１１４に送出する。

【0050】

補正部１１４は、物体検出部１１３で検出された物体認識情報を補正する。補正部１１４は、様々な補正の態様が考えられ、これらの様々な補正の態様を後述する。

【0051】

判定部１１５は、補正部１１４が補正した物体認識情報および人検出部１１２が検出した人認識情報に基づいて、人の行動を判定する。

【0052】

ここで、補正部１１４における様々な補正の態様とは、補正部１１４は、例えば、物体認識情報に係る物体クラスの尤度を補正することができる。また、補正部１１４は、物体認識情報を、過去に物体が検出されたときの物体認識情報に置き換えてもいい。また、補正部１１４は、未検出の物体を検出するように物体認識情報に係る物体クラスの尤度を補正してもいい。また、補正部１１４は、人と物体との接近、又は人による物体の遮蔽を条件として、物体認識情報を補正してもいい。すなわち、補正部１１４は、人と物体との接近、又は人による物体の遮蔽を条件として、物体に係る尤度を補正したり、過去に物体が検出されたときの物体認識情報に置き換えてもいい。また、補正部１１４は、時間、又は照明条件に応じて、物体認識情報を補正してもいい。すなわち、補正部１１４は、時間、又は照明条件に応じて、各物体認識情報に係る物体クラスの尤度を補正したり、過去に物体が検出されたときの物体認識情報に置き換えてもいい。また、補正部１１４は、物体検出部１１３による物体検出の一定期間のフレームにおける検出結果の安定性を用いて当該物体認識情報を補正してもいい。すなわち、補正部１１４は、物体検出部１１３による物体検出の一定期間のフレームにおける検出結果の安定性を用いて、過去に物体が検出されたときの物体認識情報に置き換えたり、当該物体認識情報に係る物体クラスの尤度を補正してもいい。なお、物体認識情報の置き換えは、物体認識情報の補正に含まれる。

【0053】

物体検出部１１３が検出する検出対象は、人が座位姿勢で使用するものでもいい。また、物体検出部１１３が検出する検出対象は、人が臥位姿勢で使用するものでもいい。

【0054】

人検出部１１２は、人の姿勢を検出し、判定部１１５は、人検出部１１２が検出した姿勢情報と補正部１１４が補正した物体認識情報に基づいて、人の行動を判定してもいい。

【0055】

補正部１１４は、入力画像における人または物体の位置座標に応じて、補正の条件、又は補正の内容が異なっていてもいい。

【0056】

［情報処理装置の処理］
次に、本実施形態に係る画像処理装置１００のＣＰＵ１１０の処理を説明する。
図３は、本実施形態に係る画像処理装置１００が、物体認識情報及び姿勢情報に基づいて、物体認識情報を補正し、人の行動を判定する処理を示したフローチャートである。

【0057】

まず、カメラ１８０は、例えば室内の上方から下方を見下ろすように取り付けられており、室内のユーザと物体とを撮像する。カメラ１８０は、撮像した画像をＣＰＵ１１０の画像取得部１１１に送出する。

【0058】

人検出部１１２は、カメラ１８０により入力された画像（入力画像）から、人の姿勢を検出して姿勢情報とする（ステップＳ００１）。

【0059】

人検出部１１２は、例えば、人検出結果が示す姿勢情報として、外接矩形座標、各関節の座標、人検出尤度、及び姿勢クラス尤度を取得する。人検出部１１２は、例えば、人検出尤度を「０．８」と取得する。ここで、人検出尤度とは、もっともらしさを示す尺度であり、０に近いほど尤度が低く、一方、１に近いほど尤度が高い。また、人検出部１１２は、例えば、姿勢クラス尤度を示す姿勢情報として、例えば、立位が「０．１」、座位が「０．７」、臥位が「０．２」などを取得する。

【0060】

次に、物体検出部１１３は、カメラ１８０により入力された画像（入力画像）から、物体を検出して物体認識情報とする（ステップＳ００３）。

【0061】

物体検出部１１３は、例えば、物体を検出した物体検出結果が示す物体認識情報として、外接矩形座標、物体検出尤度、及び物体クラス尤度を取得する。物体検出部１１３は、例えば、物体検出尤度を「０．５」と取得し、物体クラス尤度を、机について「０．４」、椅子について「０．３」、ベッドについて「０．３」と取得する。

【0062】

補正部１１４は、物体検出部１１３で検出された物体認識情報を補正する（ステップＳ００５）。

【0063】

補正部１１４は、例えば、人と物体検出の距離が近く（重なっている状態）、人が座っている姿勢を取っていた場合、座る物体、例えば、椅子などの尤度を高める。具体的には、物体クラス尤度として、椅子の尤度を、「０．３」から「０．８」に補正する。物体検出部１１３において、椅子を机と誤検出したことが考えられるため、物体検出結果を示す物体認識情報を補正する。すなわち、補正部１１４は、物体認識情報に係る物体クラスの尤度を補正できる。

【0064】

判定部１１５は、補正部１１４で補正された物体認識情報および人検出部１１２で検出された人認識情報に基づいて、人の行動を判定する（ステップＳ００７）。本実施形態では、ＣＰＵ１１０の判定部１１５が人の行動を判定すると、図３に示した処理を終了する。

【0065】

以上説明したように、本実施の形態に係る画像処理装置１００のＣＰＵ１１０は、人検出部１１２、物体検出部１１３、補正部１１４、及び判定部１１５を具現化する。人検出部１１２は、入力画像から、人を検出する。物体検出部１１３は、入力画像から、物体を検出する。補正部１１４は、物体検出部１１３で検出された物体認識情報を補正する。判定部１１５は、補正部１１４が補正した物体認識情報および人検出部１１２が検出した人認識情報に基づいて、人の行動を判定する。

【0066】

これにより、本実施形態に係る画像処理装置１００のＣＰＵ１１０は、物体の検出結果を誤検出しても補正できる。すなわち、本実施形態の画像処理装置１００は、物体検出の結果を他の検出結果や予め設定した知見で補正し、補正した物体検出結果を人の行動認識に用いることができる。

【0067】

また、ＣＰＵ１１０は、補正部１１４により、物体認識情報に係る物体クラスの尤度を補正できる。

【0068】

＜検出対象の特定＞
本実施形態に係る画像処理装置１００のＣＰＵ１１０は、物体検出部１１３が検出する検出対象を、人が座位姿勢で使用するもの、又は人が臥位姿勢で使用するものとすることができる。

【0069】

図４は、本実施形態のＣＰＵ１１０が、補正部１１４により、人検出部１１２が検出した人の姿勢に基づいて、物体クラスの尤度を補正する処理を示したフローチャートである。この処理は、図３のステップＳ００５の処理に相当する。

【0070】

図４に示すように、ＣＰＵ１１０は、補正部１１４により、人検出部１１２が検出した人の姿勢が座位か否かを判定する（ステップＳ０１１）。人の姿勢が座位の場合（ステップＳ０１１のＹｅｓ）、補正部１１４は、ステップＳ０１３に進む。ステップＳ０１３において、補正部１１４は、椅子や車椅子に係る物体クラス尤度を高める。この場合、補正部１１４は、例えば、椅子の尤度を「０．３」から「０．８」に補正する。そして、ＣＰＵ１１０は、ステップＳ０１５に進む。ここで補正部１４が物体クラス尤度を高める対象は、椅子や車椅子に限定されず、この人の姿勢である座位と関連性のある物体であればよい。

【0071】

一方、人の姿勢が座位でない場合（ステップＳ０１１のＮｏ）、ＣＰＵ１１０は、ステップＳ０１５に進む。

【0072】

ステップＳ０１５において、補正部１１４は、人検出部１１２が検出した人の姿勢が臥位か否かを判定する。人の姿勢が臥位の場合は（ステップＳ０１５のＹｅｓ）、補正部１１４は、ステップＳ０１１７に進み、ベッドに係る物体クラス尤度を高める。この場合、補正部１１４は、例えば、ベッドの尤度を「０．３」から「０．８」に補正する。そして、ＣＰＵ１１０は、図４に示す処理を終了する。

【0073】

なお、補正部１４が物体クラス尤度を高める対象は、ベッドに限定されず、この人の姿勢である臥位と関連性のある物体であればよい。

【0074】

一方、人の姿勢が臥位でない場合（ステップＳ０１５のＮｏ）、補正部１１４は、図４に示す処理を終了する。

【0075】

以上説明したように、本実施形態の画像処理装置１００は、人検出部が検出した人認識情報（姿勢情報）に基づいて、物体認識情報に係る物体クラスの尤度を補正できる。このように、画像処理装置１００は、ステップＳ０１３やステップＳ０１７において、座位や臥位に係る物体クラス尤度を高めることにより、例えば、閾値判定によって未検出となっていた物体の候補を、検出するように補正できる。また、人の周囲にある過去の検出結果を復元して、椅子やベッドを検出してもよい。このような変形例について、後記する図６で説明する。

【0076】

＜検出精度の高度化の例１＞
本実施形態に係る画像処理装置１００のＣＰＵ１１０は、補正部１１４により、人と物体との接近、又は人による物体の遮蔽を条件として、物体に係る尤度を補正することができる。

【0077】

図５は、本実施形態のＣＰＵ１１０が、補正部１１４により、人が接近または遮蔽した物体に係る物体クラス尤度を補正する処理を示したフローチャートである。この処理は、図３のステップＳ００５の処理に相当する。

【0078】

図５に示すように、ＣＰＵ１１０は、補正部１１４により、人認識情報と物体認識情報を突き合わせて、人が接近または遮蔽した物体に係る物体認識情報を特定する（ステップＳ０２１）。物体検出部１１３は、人認識情報と物体認識情報の重心座標の距離や、人認識情報と物体認識情報における評価指標を示すＩｏＵ（Intersection over Union）の閾値により、人が接近または遮蔽した物体に係る物体認識情報を特定する。

【0079】

ＣＰＵ１１０は、補正部１１４により、この物体認識情報における物体クラス尤度を高めると（ステップＳ０２３）、図５に示す処理を終了する。これにより、人の接近または遮蔽による物体検出の乱れを補完できる。

【0080】

＜検出精度の高度化の例２＞
本実施形態に係る画像処理装置１００のＣＰＵ１１０は、補正部１１４により、人が接近または遮蔽した物体に係る物体認識情報を、過去の物体認識情報に置き換えて補正できる。

【0081】

図６は、本実施形態のＣＰＵ１１０が、補正部１１４により、人が接近または遮蔽した物体に係る物体認識情報を補正する処理を示したフローチャートである。この処理は、図３のステップＳ００５の処理に相当する。

【0082】

図６に示すように、ＣＰＵ１１０は、補正部１１４により、人認識情報と物体認識情報を突き合わせて、人が接近または遮蔽した物体に係る物体認識情報を特定する（ステップＳ０３１）。

【0083】

ＣＰＵ１１０は、補正部１１４により、この物体認識情報を、過去にこの物体が検出されたときの物体認識情報に置き換えて（ステップＳ０３３）、図６に示す処理を終了する。

【0084】

図７は、人と物体双方の情報を用いて、行動認識のジレンマを解決する概念を示したイメージ図である。なお、図７は、図４または図５の処理結果の例である。

【0085】

図７に示すように、室内には、椅子ＣＨとベッドＢＤが設けられており、人ＨＭ１が椅子ＣＨに座っており、人ＨＭ２がベッドＢＤに寝ている。人と物体双方の情報を用いる行動認識では、人と物体の接触を伴うが、人によって物体が隠されることにより検出精度が下がることがある。

【0086】

そこで、ＣＰＵ１１０は、人の姿勢が座位や臥位などの場合には、人の姿勢や過去の結果を用いて、人の周囲にある椅子ＣＨやベッドＢＤを最大限検出可能とする。

【0087】

例えば、図４に示した処理によれば、人ＨＭ１の姿勢は座位であるため、その周囲の物体認識情報に係る椅子等の物体クラス尤度を高める。また、人ＨＭ２の姿勢は臥位であるため、その周囲の物体認識情報に係るベッド等の物体クラス尤度を高める。これにより、椅子やベッドを好適に検出可能である。

【0088】

図８は、過去のベッドの位置情報を用いて、現在のベッドの位置を補正する概念を示したイメージ図である。なお、図８は、図６の処理結果の例である。

【0089】

図８において、左側の図は、過去の認識結果ＲＳ１を示しており、中央の図は、現在の認識結果ＲＳ２を示しており、右側の図は、補正した現在の認識結果ＲＳ３を示している。

【0090】

過去の認識結果ＲＳ１における室内には、椅子ＣＨとベッドＢＤが設けられており、窓にはカーテンＣＴが掛けられている。人ＨＭは、入室したばかりであり、ドアＤＲの前に立っている。この認識結果ＲＳ１には、椅子ＣＨを検出した結果である物体認識情報３１１と、ベッドＢＤを検出した結果である物体認識情報３１２とが示されている。

【0091】

画像処理装置１００が認識結果ＲＳ１を出力したのち、人ＨＭは、この部屋のカーテンＣＴを開くと、椅子ＣＨに座る。そして、画像処理装置１００は、次の認識結果ＲＳ２を出力する。

【0092】

現在の認識結果ＲＳ２における室内には、カーテンＣＴが開けられたことにより、日差しが入っている。これにより、ベッドＢＤがベッドとして認識されず、代わりに窓際の日差しの部分がベッドに係る物体認識情報３１４として検出されている。すなわち、時間帯や照明条件により、物体の検出や人の行動認識の精度の低いタイミングが生じることがある。

【0093】

また、この室内にて椅子ＣＨは、人ＨＭ１によって隠されているため、物体認識情報３１３で机と誤認識されている。これにより、人ＨＭ１は、机に座っていると誤認識される。すなわち、人が物体の接触がある際の物体検出結果は、物体が隠れることにより、精度が低い傾向にある。

【0094】

そこで、補正部１１４は、右側の図に示すように、物体認識情報について現在の認識結果ＲＳ２を、例えば、人ＨＭが入室時の認識結果ＲＳ１の物体認識情報３１１，３１２に差し替えて、現在の認識結果ＲＳ３とする。過去の物体認識情報３１１によりベッドＢＤが正しく検出できるように現在のベッドＢＤの位置を補正し、過去の物体認識情報３１２により、椅子ＣＨが正しく検出できるように補正する。これにより、画像処理装置１００は、人ＨＭ１が椅子ＣＨに座っている行動を精度良く認識可能である。

【0095】

図９は、本実施形態のＣＰＵ１１０が、補正部１１４により、物体認識情報を、所定の物体認識情報に置き換える処理を示したフローチャートである。この処理は、図３のステップＳ００５の処理に相当する。

【0096】

図９に示すように、ＣＰＵ１１０は、補正部１１４により、現在時刻が昼間か否かを判定する（ステップＳ０４１）。現在時刻が昼間の場合（ステップＳ０４１のＹｅｓ）、補正部１１４は、ステップＳ０４３に進み、物体認識情報を、夜間に検出した物体認識情報に置き換えて、ステップＳ０４５に進む。日中は日差しにより物体検出の精度が下がるため、補正部１１４は、時間帯によって補正を行う。これにより補正部１１４は、物体検出の精度の低下を補償することができる。なお、現在時刻が昼間であるか否かに限定されず、補正部１１４は、任意の時間帯の認識結果を、過去の好適に検出した物体認識情報で置き換えてもよい。

【0097】

一方、現在時刻が昼間でない場合（ステップＳ０４１のＮｏ）補正部１１４は、ステップＳ０４５に進む。

【0098】

ステップＳ０４５において、補正部１１４は、人周囲の輝度値は閾値以上か否かを判定する。人周囲の輝度値が閾値以上の場合（ステップＳ０４５のＹｅｓ）、補正部１１４は、ステップＳ０４７に進み、人周囲の輝度値が閾値以下のとき検出した物体認識情報に置き換えて、図９に示す処理を終了する。

【0099】

一方、人周囲の輝度値は閾値以上でない場合（ステップＳ０４５のＮｏ）、補正部１１４は、図９に示す処理を終了する。

【0100】

なお、補正部１１４は、人周囲の輝度値が閾値以上であるか否かの判定に替えて、人周囲の輝度値が所定範囲を超えて明るいか、または所定範囲未満で暗いか否かを判定してもよい。

【0101】

図１０は、過去の認識結果ＲＳ４を用いて、現在の認識結果ＲＳ５を補正する概念を示したイメージ図である。なお、図１０は、図９の処理結果の一例である。

【0102】

図１０において、左側の図は、過去の認識結果ＲＳ４を示しており、中央の図は、現在の認識結果ＲＳ５を示しており、右側の図は、補正した現在の認識結果ＲＳ６を示している。

【0103】

過去の認識結果ＲＳ４における室内には、椅子ＣＨとベッドＢＤが設けられている。人ＨＭ２は、ベッドＢＤに寝ている。この認識結果ＲＳ４には、椅子ＣＨを検出した結果である物体認識情報３２１と、ベッドＢＤを検出した結果である物体認識情報３２２とが示されている。

【0104】

画像処理装置１００が認識結果ＲＳ４を出力したのち、人ＨＭは、立ち上がって部屋のカーテンＣＴを開き、椅子ＣＨに座る。そして画像処理装置１００は、次の認識結果ＲＳ５を出力する。

【0105】

現在の認識結果ＲＳ５における室内には、カーテンＣＴが開いていることにより、日差しが入っている。これにより、ベッドＢＤがベッドとして認識されず、代わりに窓際の日差しの部分がベッドに係る物体認識情報３２４として検出されている。すなわち、時間帯や照明条件により、物体の検出精度の低いタイミングが生じることがある。

【0106】

また、この室内における椅子ＣＨは、人ＨＭ１によって隠されているため、物体認識情報３２３で机と誤認識されている。これにより人ＨＭ１は机に座っていると誤認識されている。すなわち、人が物体の接触がある際の物体検出結果は、物体が隠れることにより、精度が低い傾向にある。

【0107】

そこで、補正部１１４は、右側の図に示すように、物体認識情報について現在の認識結果ＲＳ５を過去の認識結果ＲＳ４の物体認識情報３２１，３２２に差し替えて補正する。過去の物体認識情報３２１によりベッドＢＤが正しく検出できるように補正し、過去の物体認識情報３１２により椅子ＣＨが正しく検出できるように補正する。これにより、画像処理装置１００は、人ＨＭ１が椅子ＣＨに座っている行動を精度良く認識可能である。

【0108】

また、物体認識情報を置き換える代わりに、物体クラス尤度を補正してもよい。

【0109】

図１１は、本実施形態のＣＰＵ１１０が、補正部１１４により、物体認識情報に係る物体クラス尤度を補正する処理を示したフローチャートである。なお、この処理は、図３のステップＳ００５の処理に相当する。

【0110】

図１１に示すように、ＣＰＵ１１０は、補正部１１４により、現在時刻が昼間か否かを判定する（ステップＳ０５１）。現在時刻が昼間の場合（ステップＳ０５１のＹｅｓ）、補正部１１４は、ステップＳ０５３に進み、各物体認識情報に係る物体クラス尤度を高めて、ステップＳ０５５に進む。

【0111】

一方、現在時刻が昼間でない場合（ステップＳ０５１のＮｏ）補正部１１４は、ステップＳ０５５に進む。

【0112】

ステップＳ０５５において、補正部１１４は、人周囲の輝度値は閾値以上か否かを判定する。人周囲の輝度値は閾値以上の場合（ステップＳ０５５のＹｅｓ）、補正部１１４は、ステップＳ０５７に進み、各物体認識情報に係る物体クラス尤度を高めて、図１１に示す処理を終了する。

【0113】

一方、人周囲の輝度値は閾値以上でない場合（ステップＳ０５５のＮｏ）、補正部１１４は、図１１に示す処理を終了する。

【0114】

また、本実施形態に係るＣＰＵ１１０は、補正部１１４により、物体検出部１１３による物体検出の一定期間のフレームにおける検出結果の安定性を用いて、過去に物体が検出されたときの物体認識情報に置き換えてもいい。

【0115】

図１２は、本実施形態のＣＰＵ１１０が、補正部１１４により、物体検出部１１３による物体検出の一定期間のフレームにおける検出結果の安定性を用いて、過去に物体が検出されたときの物体認識情報に置き換える処理を示したフローチャートである。なお、この処理は、図３のステップＳ００５の処理に相当する。

【0116】

図１２に示すように、ＣＰＵ１１０は、補正部１１４により、各フレームにて近い範囲にある物体を同じ物体として紐付ける（ステップＳ０７１）。そして、ＣＰＵ１１０は、補正部１１４により、物体検出領域サイズの分散が所定値以下か否かを判定する（ステップＳ０７３）。

【0117】

物体検出領域サイズの分散が所定値以下の場合（ステップＳ０７３のＹｅｓ）、補正部１１４は、ステップＳ０７５に進み、この物体認識情報を分散が小さいときの結果に置き換えて、ステップＳ０７７に進む。

【0118】

一方、物体検出領域サイズの分散が所定値より大きい場合（ステップＳ０７３のＮｏ）、補正部１１４は、ステップＳ７７に進む。

【0119】

ステップＳ０７７において、ＣＰＵ１１０は、補正部１１４により、物体検出の重心位置の分散が所定値以下か否かを判定する。物体検出の重心位置の分散が所定値以下の場合（ステップＳ０７７のＹｅｓ）、補正部１１４は、ステップＳ０７９に進み、この物体認識情報を分散が小さいときの結果に置き換えて、図１２に示す処理を終了する。

【0120】

一方、物体検出の重心位置の分散が所定値より大きい場合（ステップＳ０７７のＮｏ）、補正部１１４は、図１２に示す処理を終了する。

【0121】

また、本実施形態では、物体認識情報の置き換えに変えて、物体クラス尤度を補正するようにしてもよい。なお、この変形例を図１３に示す。

【0122】

本実施形態に係るＣＰＵ１１０は、補正部１１４により、物体検出部１１３による物体検出の一定期間のフレームにおける検出結果の安定性を用いて、当該物体認識情報に係る物体クラスの尤度を補正できる。

【0123】

図１３は、本実施形態のＣＰＵ１１０が、補正部１１４により、物体検出部１１３による物体検出の一定期間のフレームにおける検出結果の安定性を用いて、当該物体認識情報に係る物体クラスの尤度を補正する処理を示したフローチャートである。なお、この処理は、図３のステップＳ００５の処理に相当する。

【0124】

図１３に示すように、ＣＰＵ１１０は、補正部１１４により、各フレームにて近い範囲にある物体を同じ物体として紐付ける（ステップＳ０８１）。ＣＰＵ１１０は、補正部１１４により、物体検出領域サイズの分散が所定値以下か否かを判定する（ステップＳ０８３）。

【0125】

物体検出領域サイズの分散が所定値以下の場合（ステップＳ０８３のＹｅｓ）、補正部１１４は、ステップＳ８５に進み、各物体認識情報に係る物体クラス尤度を高めて、ステップＳ０８７に進む。

【0126】

一方、物体検出領域サイズの分散が所定値より大きい場合（ステップＳ０８３のＮｏ）、補正部１１４は、ステップＳ８７に進む。

【0127】

ステップＳ０８７において、ＣＰＵ１１０は、補正部１１４により、物体検出の重心位置の分散が所定値以下か否かを判定する。ステップＳ０８７において、物体検出の重心位置の分散が所定値以下の場合（ステップＳ０８７のＹｅｓ）、補正部１１４は、ステップＳ０８９に進み、各物体認識情報に係る物体クラス尤度を高めて、図１３に示す処理を終了する。

【0128】

一方、物体検出の重心位置の分散が所定値より大きい場合（ステップＳ０８７のＮｏ）、補正部１１４は、図１３に示す処理を終了する。

【0129】

また、補正部１１４は、入力画像における人または物体の位置座標に応じて、補正の条件、又は補正の内容が異なっていてもよい。

【0130】

図１４Ａは、カメラ１８０が天井の中心から室内の真ん中を撮像した画像である。図１４Ｂは、室内の画像を側面から見た説明図である。

【0131】

図１４Ａ及び図１４Ｂに示すように、例えば、人が位置ＰＴ１に居る場合と、位置ＰＴ２に居る場合を対比する。人が位置ＰＴ１に居る場合、カメラ１８０の直下であるため、人領域ＴＡ１と椅子領域ＴＡ２とは、ほぼ同じ位置に重なって撮像される。一方、人が位置ＰＴ２に居る場合、人はカメラ１８０から離れた位置であるため、人領域ＴＡ３は、椅子ＣＨの領域ＴＡ４よりも、カメラ１８０の視線方向にずれた位置に見える。

【0132】

このため、補正部１１４は、画像の見え方の変化に合わせて、補正条件や補正の内容を変化させるとよい。例えば、カメラ１８０の直下にて人が物に重なったならば、過去の物体認識情報を用いて、人が重なっている物を認識するとよい。これにより、人によって物が完全に隠されても、隠されている物を認識可能である。

【0133】

また、カメラ１８０から離れた位置にて人が物に重なったならば、物体クラス尤度を高めて物を認識するとよい。これにより、物が動かされたとしても、その物を正しく認識可能である。

【0134】

＜他の実施形態＞
本実施形態は、室内に画像処理装置１００とカメラ１８０とを備える画像処理システムにより実現されていたが、これに限定されるものではない。例えば、画像処理システムは、画像処理装置１００として機能するクラウド上のサーバとカメラ１８０とが、ネットワークを介して接続されてもいい。

【0135】

図１５は、他の実施形態の画像処理システムを示したブロック図である。図１５に示す他の実施形態の画像処理システムが、図２に示すに画像処理システムと異なる点は、クラウド上のサーバである画像処理装置１００が、ネットワークを介して、室内の天井に設置されたカメラ１８０と接続されている点である。同一の構成については同一の符号を付し、説明を省略する。

【0136】

図１５に示すように、他の実施形態の画像処理システムは、カメラ１８０（撮像部）と、クラウド上のサーバである画像処理装置１００が、ネットワークを介して接続されている。これにより、画像処理システムは、カメラ１８０によって撮像された入力画像から、人を検出する人検出部１１２と、入力画像から、物体を検出する物体検出部１１３と、物体検出部１１３で検出された物体認識情報が示す内容を補正する補正部１１４と、当該補正された物体認識情報および人検出部１１２が検出した人認識情報に基づいて、人の行動を判定する判定部１１５と、を備えることができる。

【0137】

これにより、他の実施形態の画像処理システムでも、物体検出の結果を他の検出結果や予め設定した知見で補正し、補正した物体検出結果を人の行動認識に用いることができる。

【符号の説明】

【0138】

１００ 画像処理装置
１１０ ＣＰＵ
１１１ 画像取得部
１１２ 人検出部
１１３ 物体検出部
１１４ 補正部
１１５ 判定部
１２０ 記憶部
１２１ 制御プログラム
１３０ ＲＯＭ
１４０ ＲＡＭ
１５０ 入力部
１６０ 表示部
１７０ 通信部
１８０ カメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14A】

【図14B】

【図15】

【図16】

【図17】