(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024125422
(43)【公開日】2024-09-18
(54)【発明の名称】見守り監視装置および見守り監視方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20240910BHJP
H04N 23/60 20230101ALI20240910BHJP
【FI】
H04N7/18 D
H04N7/18 E
H04N23/60 500
H04N23/60 300
【審査請求】有
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2024107555
(22)【出願日】2024-07-03
(62)【分割の表示】P 2022530420の分割
【原出願日】2020-06-10
(71)【出願人】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110001689
【氏名又は名称】青稜弁理士法人
(72)【発明者】
【氏名】鹿庭 耕治
(72)【発明者】
【氏名】奥 万寿男
(57)【要約】 (修正有)
【課題】被見守り人の状況把握とプライバシー保護を両立させ、見守り人が見守りを開始あるいは再開しようとした時に、被見守り人の状況を瞬時に把握できる見守り監視装置および見守り監視方法を提供すること。
【解決手段】見守り監視装置は、監視カメラ1とホームサーバ2を備え、被見守り人3が存在する見守り空間4を監視する。監視カメラ1は、被見守り人の居る見守り空間を撮影する。ホームサーバ2は、監視カメラ1で取得した撮影画像から人物を検出し、検出した人物を顔部および身体部位に区分する人物検出部と、人物検出部が区分した顔部を除く身体部位に対して加工描画処理を行う加工描画部と、加工描画処理を行った画像と撮影画像との合成画像を作成する画像合成部203と、合成画像を見守り人7の表示端末8に送信するネットワーク部と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
被見守り人の居る見守り空間を撮影する監視カメラと、
前記監視カメラで取得した撮影画像から人物を検出し、検出した人物を顔部および身体部位に区分する人物検出部と、
前記人物検出部が区分した顔部を除く身体部位に対して加工描画処理を行う加工描画部と、
前記加工描画処理を行った画像と前記撮影画像との合成画像を作成する画像合成部と、
前記合成画像を見守り人の表示端末に送信するネットワーク部と、
を備えることを特徴とする見守り監視装置。
【請求項2】
請求項1に記載の見守り監視装置において、
被見守り人の顔情報を登録した顔情報登録データを有し、
前記人物検出部は、検出した人物の顔情報を前記顔情報登録データの登録データと照合し、検出した人物が登録されているかどうかを判定し、
判定の結果、検出した人物が登録されている場合には、その人物について前記加工描画部による加工描画処理を行い、検出した人物が登録されていない場合には、その人物について前記加工描画部による加工描画処理を行わないことを特徴とする見守り監視装置。
【請求項3】
請求項1または2に記載の見守り監視装置において、
見守り監視の異常処理として、アラーム情報を作成して前記表示端末へ送信する処理、または前記監視カメラの撮影画像を加工描画処理を行わずに前記表示端末へ送信する処理を行うことを特徴とする見守り監視装置。
【請求項4】
請求項3に記載の見守り監視装置において、
不審者の外観状況を不審者パターンとして登録した不審者パターン登録データを有し、
前記人物検出部は、検出した人物を前記不審者パターン登録データと照合し、不審者パターンに該当すると判定した場合、前記異常処理を実行することを特徴とする見守り監視装置。
【請求項5】
請求項3に記載の見守り監視装置において、
前記人物検出部は、検出した人物が被見守り人以外の意図しない人物と判定した場合、あるいは、前記人物検出部で検出した人物の数が被見守り人として登録された人物の数よりも多い場合、前記異常処理を実行することを特徴とする見守り監視装置。
【請求項6】
請求項1または2に記載の見守り監視装置において、
前記監視カメラを複数台設置して複数の撮影画像を取得する構成であって、
前記人物検出部により同一の人物が複数の撮影画像に含まれると判定した場合、前記加工描画部は、同一の人物に対しては複数の撮影画像間で共通の加工描画処理を行うことを特徴とする見守り監視装置。
【請求項7】
見守り空間の外部のネットワーク上に配置された管理装置により見守りを行う見守り監視装置において、
前記管理装置は、
被見守り人の居る見守り空間を撮影する監視カメラからの撮影画像を受信するネットワーク部と、
被見守り人の顔情報を登録した顔情報登録データと、
前記監視カメラで取得した撮影画像から人物を検出し、検出した人物を顔部および身体部位に区分する人物検出部と、
前記人物検出部が区分した顔部を除く身体部位に対して加工描画処理を行う加工描画部と、
前記加工描画処理を行った画像と撮影画像との合成画像を作成する画像合成部と、を備え、
前記合成画像を前記ネットワーク部を介して見守り人の表示端末に送信するものであって、
前記人物検出部は、検出した人物の顔情報を前記顔情報登録データの登録データと照合し、検出した人物が登録されているかどうかを判定し、
判定の結果、検出した人物が登録されている場合には、その人物について前記加工描画部による加工描画処理を行い、検出した人物が登録されていない場合には、その人物について前記加工描画部による加工描画処理を行わないことを特徴とする見守り監視装置。
【請求項8】
請求項1ないし7のいずれかに記載の見守り監視装置において、
前記加工描画部は、顔部を除く身体部位に対して色付け処理を行うことを特徴とする見守り監視装置。
【請求項9】
請求項1ないし8のいずれかに記載の見守り監視装置において、
前記監視カメラは、さらに、撮影対象までの距離を測定する機能を有し、
前記加工描画部は、前記監視カメラが取得した測距データに応じて、顔部を除く身体部位に対して濃淡処理を行うことを特徴とする見守り監視装置。
【請求項10】
被見守り人の居る見守り空間の撮影画像を取得する画像取得ステップと、
前記撮影画像から人物を検出し、検出した人物を顔部および身体部位に区分する人物検出ステップと、
前記人物検出ステップで区分した顔部を除く身体部位に対して加工描画処理を行う加工描画ステップと、
前記加工描画処理を行った画像と前記撮影画像との合成画像を作成する画像合成ステップと、
前記合成画像を見守り人の表示端末に送信する送信ステップと、
を備えることを特徴とする見守り監視方法。
【請求項11】
請求項10に記載の見守り監視方法において、
予め被見守り人の顔情報を顔情報登録データに登録するステップを有し、
前記人物検出ステップでは、検出した人物の顔情報を前記顔情報登録データと照合し、検出した人物が登録されているかどうかを判定し、
判定の結果、検出した人物が登録されている場合には、その人物について前記加工描画ステップによる加工描画処理を行い、検出した人物が登録されていない場合には、その人物について前記加工描画ステップによる加工描画処理を行わないことを特徴とする見守り監視方法。
【請求項12】
請求項10または11に記載の見守り監視方法において、
予め不審者の外観状況を不審者パターンとして不審者パターン登録データに登録するステップと、
アラーム情報を作成して前記表示端末へ送信する処理、または前記撮影画像を加工描画処理を行わずに前記表示端末へ送信する処理を行う異常処理ステップとを有し、
前記人物検出ステップでは、検出した人物を前記不審者パターン登録データと照合し、不審者パターンに該当すると判定した場合、前記異常処理ステップを実行することを特徴とする見守り監視方法。
【請求項13】
請求項10または11に記載の見守り監視方法において、
前記画像取得ステップでは、前記見守り空間に対する複数の撮影画像を取得し、
前記人物検出ステップにより同一の人物が複数の撮影画像に含まれると判定した場合、前記加工描画ステップでは、同一の人物に対しては複数の撮影画像間で共通の加工描画処理を行うことを特徴とする見守り監視方法。
【請求項14】
請求項10ないし13のいずれかに記載の見守り監視方法において、
前記加工描画ステップでは、顔部を除く身体部位に対する色付け処理と、撮影対象までの測距データに応じて身体部位に対する濃淡処理のいずれか、もしくは両方の処理を行うことを特徴とする見守り監視方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、監視カメラで人物を見守る見守り監視装置および見守り監視方法に関し、見守り対象者(被見守り人)の状況把握とプライバシー保護を両立させる見守り監視技術に係る。
【背景技術】
【0002】
見守り監視装置においては、被見守り人のプライバシー保護のために、監視カメラの撮影画像全体、あるいは人の顔を含む身体部分に対してモザイク処理や摺りガラス処理等の抽象化を行うことが行われるが、被見守り人の状況を把握しにくいという課題がある。
【0003】
これに関し特許文献1には、人物の動作を検知するセンサを備え、センサにより人物の動作が検知されると、撮像した画像データに暈し処理を施して出力し、所定時間人物の動きが検知されないと、撮像した画像データを出力する見守り監視システムが開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1の方法では、プライバシー保護が考慮されているとしても、人物が動いている時には暈し処理が施されるため、人物の状況を正確に把握しにくくなる。特に、人物の顔を含めて暈し処理を行っているため、その人物が見守り対象の人物かどうかさえ判断しにくくなる。見守り対象者についてはその顔まで隠す必要はなく、むしろ顔を見ることでその人の健康状態等を知ることも可能となる。また特許文献1では、センサにより人物の動作の有無を検知してから画像出力を制御するので、画像出力まで所定の時間を要し、見守りを行う人(見守り人)が見守りを開始しようとした時に、被見守り人の状況を瞬時に把握することができないといった課題がある。
【0006】
本発明は上記の点を鑑みてなされたものであり、その目的は、被見守り人の状況把握とプライバシー保護を両立させ、見守り人が見守りを開始あるいは再開しようとした時に、被見守り人の状況を瞬時に把握できる見守り監視装置および見守り監視方法を提供することにある。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明の見守り監視装置は、被見守り人の居る見守り空間を撮影する監視カメラと、監視カメラで取得した撮影画像から人物を検出し、検出した人物を顔部および身体部位に区分する人物検出部と、人物検出部が区分した顔部を除く身体部位に対して加工描画処理を行う加工描画部と、加工描画処理を行った画像と撮影画像との合成画像を作成する画像合成部と、合成画像を見守り人の表示端末に送信するネットワーク部と、を備える。
【0008】
また本発明の見守り監視方法は、被見守り人の居る見守り空間の撮影画像を取得する画像取得ステップと、撮影画像から人物を検出し、検出した人物を顔部および身体部位に区分する人物検出ステップと、人物検出ステップで区分した顔部を除く身体部位に対して加工描画処理を行う加工描画ステップと、加工描画処理を行った画像と撮影画像との合成画像を作成する画像合成ステップと、合成画像を見守り人の表示端末に送信する送信ステップと、を備える
【発明の効果】
【0009】
本発明によれば、被見守り人の状況把握とプライバシー保護を両立させ、見守り人が見守りを開始する、あるいは再開しようとした時に、被見守り人の状況を瞬時に把握することが可能となる。
【図面の簡単な説明】
【0010】
【
図1】実施例1に係る監視システムの全体構成を示す図。
【
図2B】監視カメラの構成例(測距機能付き)を示すブロック図。
【
図4A】加工描画部による加工描画処理(色付け処理)の一例を示す図。
【
図4B】加工描画部による加工描画処理(濃淡処理)の一例を示す図。
【
図6】実施例2に係る監視システムの全体構成を示す図。
【
図8】表示端末に表示される監視画像の例を示す図。
【
図10】実施例3におけるホームサーバの構成例を示すブロック図。
【
図11】表示端末に表示される監視画像の例を示す図。
【
図12】見守り監視処理のフローチャートを示す図。
【
図13A】実施例4に係るサーバ一体型監視カメラの構成例を示すブロック図。
【
図13B】サーバ一体型監視カメラの構成例(測距機能付き)を示すブロック図。
【
図14】実施例5に係る監視システムの全体構成を示す図。
【
図15A】表示される監視画像(監視カメラ101)の例を示す図。
【
図15B】表示される監視画像(監視カメラ102)の例を示す図。
【
図16】見守り監視処理のフローチャートを示す図。
【
図17】実施例6に係る監視システムの全体構成を示す図。
【
図19】見守り監視処理のフローチャートを示す図。
【発明を実施するための形態】
【0011】
以下、図面を参照しながら、本発明の実施形態について説明する。
【実施例0012】
実施例1では、見守り監視装置の基本構成と基本動作(人物検出、加工描画処理)について説明する。
【0013】
図1は、実施例1に係る監視システムの全体構成を示す図である。監視システムは見守り監視装置として、監視カメラ1とホームサーバ2を備え、被見守り人3が存在する見守り空間4を監視する。ホームサーバ2はネットワーク5とアクセスポイント6を介して、見守り人7の所持する表示端末8に接続される。監視カメラ1は見守り空間4の撮影を行う。監視カメラ1で撮影した画像データは、通信信号1a、2aによって、ホームサーバ2に送信される。ホームサーバ2では画像データに対し後述する加工描画処理を施し、ネットワーク5、アクセスポイント6を経由して、通信信号6a、8aにて表示端末8へ送信する。表示端末8では加工描画処理された画像が表示され、見守り人7はこれを視認することで被見守り人3の状況を把握することができる。
【0014】
図2Aと
図2Bは、監視カメラ1の2つの構成例を示すブロック図である。
図2Aに示す監視カメラ1は、撮影機能のみを有する構成の場合で、レンズ部10、撮像素子11、信号処理部12、ネットワーク部13、コントローラ14を有する。レンズ部10で集光された撮影対象は、撮像素子11上で結像し、信号処理部12で画像データに変換され、ネットワーク部13から通信信号1aでホームサーバ2に向けて送信される。コントローラ14は、これらの動作全体を制御する。
【0015】
図2Bに示す監視カメラ1は、
図2Aの撮影機能の他に測距機能を有している。そのため、照射部16、受光部17、赤外光発生部18、TOF(Time of Flight)検出部19を追加している。赤外光発生部18で発生した赤外光は照射部16から外部(見守り空間4)に照射する。受光部17では、照射した赤外光が撮影対象(被見守り人3)で反射された反射光を受光する。TOF検出部19は、照射光と反射光との時間差から、監視カメラから撮影対象までの距離を測定し、測距データを得る。なお測距機能を実現する手段としては、特定の2次元パターンを有する赤外光を照射し、受光した赤外光の2次元パターンの歪から距離を計算する方式や、赤外光に替えてレーザ光を用いる方式など、TOF以外の方式であってもよい。
【0016】
図3は、ホームサーバ2の構成例を示すブロック図である。ホームサーバ2は、ネットワーク部21、CPU22、RAM23、ストレージ部24を備える。ストレージ部24には、処理プログラムやデータとして、基本プログラム24a、見守り監視プログラム24bを有する。処理プログラムやデータはRAM23に展開して、CPU22で実行することで見守り監視動作の各種の制御を行う。ストレージ部24はフラッシュROMなどの半導体で構成されるもの、ハードディスクと組み合わせて構成されるものなど、その構成方法が限定されるものではない。ネットワーク部21は、監視カメラ1から撮影画像データを受信し、表示端末8に表示用の画像データを送信する。
【0017】
ストレージ部24には見守り監視プログラム24bが格納されており、CPU22がこれを実行することで、人物検出部201や加工描画部202や画像合成部203などの機能部を実現する。人物検出部201はカメラの撮影画像から人物(被見守り人)を検出するとともに、検出した人物領域を顔や胴体などの身体部位に区分する処理を行う。また加工描画部202は、被見守り人のプライバシーを保護するため、人物の各身体部位に対する色付け処理や、人物の各部分までの距離に応じて濃淡処理を施す。画像合成部203は、撮影画像と加工描画処理を施した画像とを合成し、合成後の画像は監視画像としてネットワーク部21を介して見守り人7の表示端末8へ送信される。このように本実施例のホームサーバ2は、カメラ撮影画像に対して画像処理を施して見守り人へ提供する機能を有し、「管理装置」と呼ぶことができる。
【0018】
図4Aと
図4Bは、加工描画部202による加工描画処理の一例を示す図である。
図4Aは、人物の身体部位に色付け処理を行った例である。人物検出部201は撮影画像から人物30を検出すると、これを顔31、胴体32、手33、足34などの身体部位に区分する。そして加工描画部202は、顔31以外の部位32,33,34にそれぞれ異なる色を付与している(ここでは色の違いをパターンで表記している)。
【0019】
図4Bは、監視カメラ1が
図2Bの構成(測距機能付き)の場合に、測距データに応じて身体部位に濃淡処理を行った例である。濃淡処理は、顔31以外の部位に対し、画素単位に、あるいは複数画素単位に行い、距離の近い画素は明るく、距離の遠い画素は暗くする処理である。濃淡処理は、
図4Aで付与した色付け処理の後これと組み合わせて行うが、色付け処理を行わず、濃淡処理単独としてもよい。
【0020】
上記の加工描画処理が施された監視画像は、撮影画像と合成され、表示端末8に送信されて表示される。その結果見守り人7は、人物30の身体部の細部詳細は認識できないが、身体部の動きは分かり易くなる。特に濃淡処理により、前後の位置関係を濃淡で表現でき、動きの把握が容易になる。
【0021】
本実施例の加工描画処理は、人物30の顔部に対しては行わない。このため、顔の表情による状況把握は何ら支障なく行える。そして、身体部位ごとの描画を行っているため、人物の挙動を把握し易くなるという効果がある。
【0022】
なお、人物(被見守り人)が複数いる場合には、被見守り人毎に付与する色を異ならせ、被見守り人を区別しやすいようにしてもよい。また、被見守り人の顔の向きによっては、監視カメラの撮影画像内に被見守り人の顔が検出されず、頭部のみが検出される場合がある。この場合においても、被見守り人のプライバシー保護を優先させて、上記の処理を行うのが良い。
【0023】
図5は、見守り監視処理のフローチャートを示す図である。以下の処理は、ホームサーバ2のCPU22が見守り監視プログラム24bを実行することで実現する。
【0024】
S100で処理を開始し、S101で見守り監視プログラムにログインする。ログインにより、ホームサーバ2と監視カメラ1とを紐付ける。S102で監視カメラ1からネットワーク部21を介して撮影画像データを受信する。なお、
図2Bに示す監視カメラ1を使用する場合には、撮影画像データとともに測距データを受信する。
【0025】
S103では、人物検出部201により、撮影画像データから人物を検出する。さらにS104では、人物検出部201により、検出した人物の領域を、顔、胴体、手、足、などの身体部位に区分する。S106では、検出した全ての人物について身体部位の区分が終了したかどうかを判定する。未処理の人物があればS104に戻り繰り返し実行する。
【0026】
S107では、加工描画部202により、身体部位に対して異なる色データを付与する。さらにS108では、画像データとともに測距データがある場合には、測距データに応じで濃淡データを付与する。S109では、付与された色や濃淡のデータに従い、画像データの加工描画処理を行う。S110では、全ての身体部位に対して加工描画処理を終了したかどうかを判定する。またS111では、全ての人物に対して加工描画処理を終了したかどうかを判定する。未処理の身体部位または人物があれば、S107に戻り繰り返し実行する。
【0027】
S112では、加工描画処理した画像データを、撮影画像データと合成する。S113では、合成した画像データを、ネットワーク部21によりネットワーク5を介して表示端末8に向けて送信する。
【0028】
S114では、ログオフ等により監視処理の終了が指示されている場合には、S115で処理を終了する。終了が指示されていない場合には、S102に戻り監視処理を継続する。
【0029】
上記したように、本実施例の加工描画処理は、人物の顔部に対しては行わず、顔部以外の身体部位に対して行う。見守り監視は、例えば、老親が自宅にいる状況を見守る場合や、保育所で園児や保母の様子を見守る場合などのように、見守り人にとって被見守り人は予め意図された人物であり、被見守り人の顔部画像をそのまま表示するのはプライバシーの問題にはならない場合が多い。
【0030】
一方、本実施例で加工描画処理を行うことは、被見守り人の身体部分の詳細状況を隠すことが目的であり、例えば着替えや風呂上がりの時のように、被見守り人がラフな格好でいる状況がそのまま見られることがなくなる。また、見守り人にとっても必要以上に被見守り人、特に老親のプライバシーを見ることを抑制することができる。さらに、全身が写った画像データが表示端末から漏洩することを防止することができる。これにより被見守り人は、プライバシーのために生活や活動のスタイルを意識することなく、見守り監視を受けることができる。また、本実施例の加工描画処理では、被見守り人の動き等に関わらず同一様式の処理画像を表示させることができる。
【0031】
以上のように、実施例1によれば、顔の表情や身体部位の動きによって被見守り人の状況把握ができるとともに、被見守り人の生活スタイルをあいまいにさせるプライバシー保護とを両立させることができる。また、被見守り人の状況にかかわらず同一様式の見守り画像を提供しており、見守り人が見守りを開始する、あるいは再開しようとした時でも、瞬時に見守り状況を把握可能であるという効果がある。
人物検出部201は検出した人物の顔情報を、顔情報登録データ24cの登録データと照合し、対象人物が登録されているかどうかを判定する。対象人物が登録者(被見守り人)の場合には、加工描画部202により加工描画処理を行い、対象人物が未登録者(被見守り人以外)の場合は、加工描画処理を行わない。
加工描画部202は、登録された人物3bと3cについては、顔以外の身体部位に色付け処理を行っている。一方、未登録の人物3aについては、身体部位の加工描画処理を行わない。
S105aでは、人物検出部201は検出した人物の顔情報を、顔情報登録データ24cの登録データと照合し、対象人物が登録されているかどうかを判別する。またS105bでは、対象人物が被見守り人(登録されている)かどうかで分岐し、被見守り人の場合(S105b、Yes)にはS107以降の加工描画処理を行う。被見守り人でない場合(S105b、No)は、加工描画処理を行わずS111へ進み、次の人物についての処理を進める。
上記の処理フローによれば、加工描画処理は、被見守り人として登録された人にのみ行われ、被見守り人のプライバシーを保護することができる。被見守り人以外の人物については、加工描画処理を行わず撮影画像をそのまま表示することで、詳細な状況を把握することができる。
以上説明したように、実施例2によれば、実施例1と同様の効果を持つとともに、見守り空間に被見守り人以外の人物が存在するときは意図しない人物として、見守り人はその状況を明確に素早く把握できるという効果がある。