特許 7540307 画像処理装置、及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-19

(45)【発行日】2024-08-27

(54)【発明の名称】画像処理装置、及び画像処理プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240820BHJP

   G07C 5/00 20060101ALI20240820BHJP

【ＦＩ】

G06T7/00 660B

G07C5/00 Z

【請求項の数】 6

(21)【出願番号】P 2020189227

(22)【出願日】2020-11-13

(65)【公開番号】P2022052681

(43)【公開日】2022-04-04

【審査請求日】2023-06-30

(31)【優先権主張番号】P 2020158427

(32)【優先日】2020-09-23

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】永井 亮行

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】国際公開第２０１７／１２２２５８（ＷＯ，Ａ１）

【文献】特開２０１８－０２２２８４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ ー ７／９０

Ｇ０７Ｃ ５／００

Ｇ０６Ｖ １０／００ － ２０／９０

(57)【特許請求の範囲】

【請求項1】

撮像部により撮像された、人物が存在する空間の映像を取得する映像取得部と、
取得された映像を解析して、前記空間内で前記人物の検出領域と当該人物の周囲に設定される付随領域を合わせた行動領域を検出する映像解析部と、
前記撮像部による撮像開始から、前記人物の移動に伴う全ての行動領域を認識できる表示用画像を生成する画像生成部と、
を備え、
前記画像生成部は、発話した人物の周囲に設定される付随領域を、発話していない人物の周囲に設定される付随領域より、目立つ表示態様で表示させる表示用画像を生成する、
画像処理装置。

【請求項2】

前記画像生成部は、前記人物の行動領域の軌跡が認識できる表示用画像を生成する、
請求項１に記載の画像処理装置。

【請求項3】

前記画像生成部は、人物の行動領域の重複が多い領域ほど、目立つ表示態様で表示させる表示用画像を生成する、
請求項１または２に記載の画像処理装置。

【請求項4】

前記画像生成部は、前記撮像部により撮像された人物の内、各人物の発話回数、及び口の開き具合の少なくとも一つを参照して、前記表示用画像内における、各人物の検出領域に付随する付随領域の表示態様を決定する、
請求項１から３のいずれか１項に記載の画像処理装置。

【請求項5】

前記撮像部は、建物内または移動体内に設置され、当該建物内または当該移動体内の一定空間を撮像するための撮像部である、
請求項１から４のいずれか１項に記載の画像処理装置。

【請求項6】

撮像部により撮像された、人物が存在する空間の映像を取得する処理と、
取得された映像を解析して、前記空間内で前記人物の検出領域と当該人物の周囲に設定される付随領域を合わせた行動領域を検出する処理と、
前記撮像部による撮像開始から、前記人物の移動に伴う全ての行動領域を認識できる表示用画像を生成する処理と、
をコンピュータに実行させ、
前記表示用画像を生成する処理は、発話した人物の周囲に設定される付随領域を、発話していない人物の周囲に設定される随領域より、目立つ表示態様で表示させる表示用画像を生成する、
画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像部により撮像された映像を処理する画像処理装置、及び画像処理プログラムに関する。

【背景技術】

【0002】

２０２０年現在、ＣＯＶＩＤ－１９（以下、新型コロナウイルスという）の感染が世界的に拡大している。新型コロナウイルスの感染予防対策として、マスク、手洗い、ソーシャルディスタンスの確保などが挙げられている。また、物を介した感染を予防するために、人が触れた物をこまめに消毒することが求められている。

【0003】

会議室やコンベンションホールには大勢の人が集まることがあり、クラスタ感染の危険がある。会議室やコンベンションホールの使用終了後には、念入りに清掃・消毒する必要がある。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１１－２５７８４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、短時間で清掃・消毒する必要がある場合、部屋全体を念入りに清掃・消毒することが難しい。部屋を清掃・消毒する際、ウイルスが付着している可能性がある場所が分かれば、その場所を優先的に消毒することができ、消毒作業を効率化することができる。

【0006】

本実施形態はこうした状況に鑑みてなされたものであり、その目的は、ウイルスがどこかに付着している可能性がある空間の効率的な消毒を支援する技術を提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本実施形態のある態様の画像処理装置は、撮像部により撮像された、人物が存在する空間の映像を取得する映像取得部と、取得された映像を解析して、前記空間内で前記人物の検出領域と当該人物の周囲に設定される付随領域を合わせた行動領域を検出する映像解析部と、前記撮像部による撮像開始から、前記人物の移動に伴う全ての行動領域を認識できる表示用画像を生成する画像生成部と、を備える。前記画像生成部は、発話した人物の周囲に設定される付随領域を、発話していない人物の検出領域に付随する付随領域より、目立つ表示態様で表示させる表示用画像を生成する。

【0008】

なお、以上の構成要素の任意の組合せ、本実施形態の表現を、装置、方法、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本実施形態の態様として有効である。

【発明の効果】

【0009】

本実施形態によれば、ウイルスがどこかに付着している可能性がある空間の効率的な消毒を支援することができる。

【図面の簡単な説明】

【0010】

【図1】車両内の撮像装置の設置例を示す図である。

【図2】実施の形態１に係る人物監視システムの構成例を示す図である。

【図3】実施の形態１に係る、車両の走行中に撮像されたフレーム画像の一例を示す図である。

【図4】実施の形態１に係る接触場所画像の一例を示す図である。

【図5】実施の形態１に係る接触場所画像の別の例を示す図である。

【図6】実施の形態２に係る滞在場所画像の第１の例を示す図である。

【図7】実施の形態２に係る滞在場所画像の第２の例を示す図である。

【図8】図８（ａ）－（ｃ）は、実施の形態２に係る滞在場所画像の第３の例を示す図である。

【図9】実施の形態２に係る滞在場所画像の第４の例を示す図である。

【図10】実施の形態２に係る滞在場所画像の第５の例を示す図である。

【図11】実施の形態３に係る人物監視システムの構成例を示す図である。

【発明を実施するための形態】

【0011】

本発明の実施の形態１は、車室内に設置されたカメラで乗員を撮影し、乗員が手で触った場所を監視・記録する人物監視システムに関する。

【0012】

図１は、車両Ｃ１内の撮像装置１０の設置例を示す図である。図１では撮像装置１０は、ルームミラーに取り付けられている。なお撮像装置１０は、センタバイザーやセンタコンソール上に設置されてもよい。また撮像装置１０は車室内の天井に、車室内を上から俯瞰するように設置されてもよい。例えば円周魚眼レンズを使用すれば、車室内の半球状の全周囲を画角に収めることができる。

【0013】

撮像装置１０として、専用のカメラを設置してもよいし、ドライブレコーダや車室内モニタリングシステムのカメラを使用してもよい。車室内モニタリングシステムは、助手席や後部座席を含む車室全体を監視するシステムであり、ドライバの居眠りや脇見に加えて、助手席や後部座席に座っている乗員の数、ドライバを含む乗員全員のシートベルトの着用の有無などを検知することができる。

【0014】

撮像装置１０は、レンズ、固体撮像素子、信号処理回路を備える。固体撮像素子には例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサまたはＣＣＤ（Charge Coupled Devices）イメージセンサを使用することができる。固体撮像素子は、レンズを介して入射される光を、電気的な映像信号に変換し、信号処理回路に出力する。信号処理回路は、固体撮像素子から入力される映像信号に対して、Ａ／Ｄ変換、ノイズ除去などの信号処理を施し、画像処理装置２０に出力する。

【0015】

撮像装置１０は、距離画像を生成するための深度センサを備えていてもよい。深度センサとして例えば、３Ｄ－ＬｉＤＡＲ（Light Detection and Ranging）を使用することができる。ＬｉＤＡＲは撮影方向にレーザ光を照射し、その反射光を受光するまでの時間を計測して撮影方向にある物体までの距離を検出する。また撮像装置１０は２眼のステレオカメラで構成されていてもよい。この場合、深度センサを設けなくても、２つの画像の視差をもとに距離画像を生成することができる。

【0016】

図２は、実施の形態１に係る人物監視システム１の構成例を示す図である。人物監視システム１は、画像処理装置２０、表示装置３０、記録媒体４０及び音声出力装置５０を備える。画像処理装置２０は、映像取得部２１、映像解析部２２、画像保持部２３、画像生成部２４、及び警告制御部２５を含む。これらの構成要素は、ハードウェア資源とソフトウェア資源の協働、またはハードウェア資源のみにより実現できる。ハードウェア資源として、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＩＳＰ(Image Signal Processor)、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、その他のＬＳＩを利用できる。ソフトウェア資源としてファームウェアなどのプログラムを利用できる。

【0017】

画像処理装置２０は、専用のＩＣ基板上に実装されてもよいし、カーナビゲーションシステムやドライブレコーダシステムと統合されて実装されてもよい。また画像処理装置２０は、スマートフォン、タブレットなどの汎用の情報端末装置の一機能として構成されてもよい。撮像装置１０と画像処理装置２０間は有線または無線で接続される。画像処理装置２０が専用のＩＣ基板上に実装される場合、画像処理装置２０と撮像装置１０は、同じ筐体内に設置されてもよいし、別々の筐体内に設置されてもよい。

【0018】

映像取得部２１は、撮像装置１０により撮像された映像を取得する。映像解析部２２は、映像取得部２１により取得された映像を解析する。実施の形態１では映像解析部２２は、車室内で乗員が手で触った場所を検出する。

【0019】

映像解析部２２は、対象物認識部２２ａ、対象物追尾部２２ｂ及び三次元空間認識部２２ｃを含む。対象物認識部２２ａは、映像取得部２１により取得された映像のフレーム内において対象物を探索する。対象物認識部２２ａは辞書データとして、特定の対象物が写った多数の画像を学習して生成された特定の対象物の識別器を有する。実施の形態１では人物の手の識別器を用意する。人物の手の識別器は少なくとも、手の甲が開いた状態の識別器を含む。なお手の識別器として、様々な状態の手を様々な角度から見た複数の識別器を用意することが好ましい。

【0020】

また人物の手の識別器に加えて、車室内に存在する様々な装備品の識別器を用意しておいてもよい。例えば、ステアリング、シートベルト、シフトレバーなどの識別器を用意しておいてもよい。

【0021】

対象物認識部２２ａは、映像のフレーム内を各対象物の識別器を用いて探索する。対象物の認識には例えば、ＨＯＧ(Histograms of Oriented Gradients)特徴量を用いることができる。なお、Haar-like特徴量やＬＢＰ(Local Binary Patterns)特徴量などを用いてもよい。フレーム内に対象物が存在する場合、対象物認識部２２ａは、矩形の検出枠で当該対象物を補足する。

【0022】

対象物追尾部２２ｂは、対象物認識部２２ａが認識した対象物を、後続するフレーム内において追尾する。対象物の追尾には、例えば、パーティクルフィルタやミーンシフト法を使用することができる。実施の形態１では追尾する対象物は、対象物認識部２２ａにより認識された人物の手である。

【0023】

三次元空間認識部２２ｃは、撮像装置１０から取得された距離画像により特定される三次元空間内に、対象物認識部２２ａにより検出された対象物をマッピングする。実施の形態１では三次元空間認識部２２ｃは、三次元空間内で、乗員の手が触れた場所を検出する。車室内に存在する装備品も対象物として認識している場合、乗員の手が触れた装備品も特定することができる。

【0024】

三次元空間認識部２２ｃは、乗員の手が装備品に触れた状態のフレーム画像を検出すると、検出したフレーム画像を画像保持部２３に一時保存する。画像保持部２３は、フレーム画像を一時的に格納するための揮発性メモリである。

【0025】

画像生成部２４は、画像保持部２３に格納されたフレーム画像をもとに、撮像装置１０による撮像開始から、車室内で乗員が触った全ての接触場所をユーザが認識できる接触場所表示用の画像（以下、接触場所画像という）を生成する。画像生成部２４は、接触場所画像として、乗員が手で触った可能性が高い場所ほど目立つ色で表示されるヒートマップ画像を生成してもよい。例えば、接触可能性にもとづき３段階に分類されたヒートマップ画像を生成してもよい。例えば、乗員の手が接触した領域を赤色、接触した可能性がある領域を黄色、接触していない領域を緑色で表示したヒートマップ画像を生成してもよい。なお、接触していない領域は無色としてもよい。

【0026】

画像生成部２４は、乗員の手が接触した領域の明るさを最も明るく表示させ、接触した可能性がある領域の明るさを次に明るく表示させ、接触していない領域の明るさを最も暗く表示した接触場所画像を生成してもよい。また乗員の手が接触した領域が点滅している接触場所画像を生成してもよい。

【0027】

表示態様を目立たせる領域は装備品単位であってもよいし、実際に触った領域単位であってもよい。装備品単位で目立たせる場合、例えばシートベルトの一部しか触っていない場合でも、シートベルト全体を目立たせる。

【0028】

画像生成部２４は、乗員が手で触った回数が多い接触場所ほど目立つ表示態様の接触場所画像を生成してもよい。例えば、接触回数が多い接触場所ほど彩度を高くしてもよい。

【0029】

画像生成部２４は、画像保持部２３に格納された、乗員の手がどこかに触れている状態の複数のフレーム画像をつなぎ合わせて、接触場所表示用のダイジェスト動画を生成してもよい。また画像生成部２４は、乗員の手がどこかに触れている状態の複数のフレーム画像を重畳して、一枚の静止画を生成してもよい。

【0030】

なお画像生成部２４は、車室内において乗員が手で触った装備品を、テキスト情報で単純に羅列した画像を生成してもよい。この場合、乗員の手が装備品に触れた状態のフレーム画像を画像保持部２３に蓄積する必要はなく、乗員の手が触れた装備品を特定するための管理情報を保持しておけばよい。

【0031】

車室内を清掃・消毒しようとしているユーザにより操作部（不図示）に対して、接触場所画像の表示指示操作がなされると、画像生成部２４は、接触場所画像を生成し、生成した接触場所画像を表示装置３０に表示させる。

【0032】

表示装置３０は、車両Ｃ１内に設置されているカーナビゲーションシステム、ディスプレイオーディオシステムまたはドライブレコーダシステムのディスプレイ（例えば、液晶ディスプレイ、有機ＥＬディスプレイ）であってもよい。また表示装置３０は、カーナビゲーションシステム、ディスプレイオーディオシステムまたはドライブレコーダシステムと連携した、スマートフォンまたはタブレットのディスプレイであってもよい。また表示装置３０は、車両内に設置されているメータパネル内のディスプレイであってもよい。なお表示装置３０は、本実施の形態に係る人物監視システム１に専用のディスプレイであってもよい。

【0033】

なお画像生成部２４は、車両Ｃ１の走行中にリアルタイムに接触場所画像を生成し、表示装置３０に表示させてもよい。この場合、乗員が車室内の何かを触ると、接触場所画像が更新される。画像生成部２４は、接触場所画像として、撮像装置１０により撮像されている映像上に、接触場所を示す注目マーカが重畳されたＡＲ画像を表示装置３０に表示させてもよい。

【0034】

記録媒体４０は、撮像装置１０により撮像された映像を記録するための不揮発性の記録媒体である。例えば、半導体メモリカード（例えば、ＳＤカード）や光ディスクを使用することができる。画像生成部２４により生成された接触場所画像も記録媒体４０に記録することができる。

【0035】

以上の説明では、映像解析部２２が撮像装置１０から距離画像を取得できることを前提とした。撮像装置１０に深度センサを設けたり、撮像装置１０を二眼構成としたりするとコストが上昇する。以下の説明では、映像解析部２２が撮像装置１０から距離画像を取得できない場合の処理例を説明する。この処理例では、三次元空間認識部２２ｃは設けられず、二次元の映像のみから車室内で乗員が手で触った場所を検出する。

【0036】

この処理例では、車室内において装備品ごとに、乗員が装備品を様々な格好で触っている多数の画像を学習して、乗員が装備品を触っている状態を認識するための複数の識別器を辞書データとして用意する。乗員が装備品を触っている状態を認識するための識別器のセットは、車種ごとに用意されてもよい。この場合、撮像された映像内において各装備品の位置を高精度に特定できるとともに、乗員が装備品を触っているか否かを高精度に判定することができる。

【0037】

さらに辞書データとして、マスクをしている人物の顔を認識するための識別器を用意してもよい。また乗員が咳き込んでいる状態を認識するための識別器を用意してもよい。

【0038】

対象物認識部２２ａはフレーム画像内において、マスクをしていない乗員を検出した場合、マスク未着用の検出信号を警告制御部２５に出力する。対象物認識部２２ａはフレーム画像内において、咳き込んでいる乗員を検出した場合、咳の検出信号を警告制御部２５に出力する。対象物認識部２２ａはフレーム画像内において、後部座席に座っている二人の乗員間の距離が設定値以下のとき、距離接近の検出信号を警告制御部２５に出力する。警告制御部２５は、対象物認識部２２ａからマスク未着用、咳、または距離接近の検出信号を受けると、音声出力装置５０に警告音または警告メッセージを出力させる。

【0039】

音声出力装置５０は、車両Ｃ１内に設置されているカーナビゲーションシステムまたはディスプレイオーディオシステムのスピーカであってもよい。また音声出力装置５０は、カーナビゲーションシステム、ディスプレイオーディオシステムまたはドライブレコーダシステムと連携した、スマートフォンまたはタブレットのスピーカであってもよい。なお音声出力装置５０は、本実施の形態に係る人物監視システム１に専用のスピーカであってもよい。

【0040】

警告制御部２５は、映像解析部２２からマスク未着用の検出信号が入力されると、「マスクを着用してください。」といった注意喚起メッセージを音声出力装置５０に出力させる。また警告制御部２５は、咳の検出信号が入力されると、「換気してください。」、「窓を開けてください。」、「エアコンを外気導入モードにしてください。」、「マイナスイオン発生器を稼働させてください。」といった注意喚起メッセージを音声出力装置５０に出力させる。なお本実施の形態に係る人物監視システム１と、車両Ｃ１内のエアーコンディショナシステムを連携させてもよい。その場合、警告制御部２５は咳の検出信号が入力されると、エアーコンディショナシステムを外気導入モードに自動的に切り替えることができる。

【0041】

警告制御部２５は、映像解析部２２から距離接近の検出信号が入力されると、「もう少し席の間隔を明けてください。」といった注意喚起メッセージを音声出力装置５０に出力させる。なお映像解析部２２が後部座席に三人の乗員を検出し、助手席に乗員を検出しない場合、席移動の指示信号を警告制御部２５に出力してよい。警告制御部２５は、映像解析部２２から席移動の指示信号が入力されると、「一人、助手席に移動してください。」といった注意喚起メッセージを音声出力装置５０に出力させる。

【0042】

特定の人物の画像を登録することにより、手で触った場所の監視処理の対象から特定の人物を除外することができる。具体的には、監視処理の対象から除外したい人物の顔を撮像装置１０で撮像し、対象物認識部２２ａの辞書データとして登録する。なお当該人物の顔が写った静止画を、外部から画像処理装置２０に入力してもよい。

【0043】

対象物認識部２２ａは、フレーム画像内において人物の顔を認識した場合、当該人物の顔が、除外対象として登録されている人物の顔であるか否か判定する。除外対象の人物の顔である場合、対象物認識部２２ａまたは三次元空間認識部２２ｃは、当該人物の手を監視対象から除外する。フレーム画像内において認識した人物の顔が、除外対象の人物の顔でない場合、上述した手が触れた場所の検出・記録処理が適用される。

【0044】

除外対象として登録する人物として、車両Ｃ１の所有者、及びその家族が考えられる。また、ＰＣＲ検査、抗原検査または抗体検査の結果から、感染している可能性が低いと判定された人物を登録してもよい。例えば、車両Ｃ１の所有者、及びその家族を除外対象として登録することにより、画像処理装置２０の負荷を軽減することができる。

【0045】

図３は、実施の形態１に係る、車両Ｃ１の走行中に撮像されたフレーム画像Ｆ１の一例を示す図である。このフレーム画像Ｆ１では人物として、運転者Ｐ１、助手席の同乗者Ｐ２、後部座席の二人の同乗者Ｐ３、Ｐ４が検出されている。車室内にある装備品として、ステアリングＯ１、センタコンソールＯ２上にあるボトルホルダＯ２ａなどが検出されている。また、運転者Ｐ１の手Ｄｈ１が監視対象として追尾されている。なお図示しないが、同乗者Ｐ２、Ｐ３、Ｐ４の手も監視対象となる。

【0046】

図４は、実施の形態１に係る接触場所画像Ｆｔ１の一例を示す図である。車室内を清掃・消毒しようとしているユーザにより接触場所画像Ｆｔ１の表示が指示されると、表示装置３０に接触場所画像Ｆｔ１が表示される。図４では、運転者Ｐ１が運転中に、ステアリングＯ１とボトルホルダＯ２ａを触った例を示している。図４ではステアリングＯ１と、ボトルホルダＯ２ａを含むセンタコンソールＯ２全体の領域が赤色でマークされている。

【0047】

図５は、実施の形態１に係る接触場所画像Ｆｔ２の別の例を示す図である。図５ではステアリングＯ１とボトルホルダＯ２ａが赤色でマークされ、ボトルホルダＯ２ａが設置されているセンタコンソールＯ２全体の領域（ボトルホルダＯ２ａの領域を除く）が黄色でマークされている。

【0048】

なお接触場所画像Ｆｔは、実際に撮像された車室内の画像上に、ウイルスが存在する可能性がある領域を示す注意マーカが重畳されたものであってもよいし、簡略化された車室内の模式図上に注意マーカが重畳されたものであってもよい。なお乗員が必ず手で触れる装備品（例えば、ステアリング、シフトレバー、ウインカレバー、ドアノブなど）に関しては、デフォルトで注意マーカが重畳されていてもよい。なお接触場所画像Ｆｔは、ヒートマップ画像で生成されてもよい。

【0049】

以上説明したように実施の形態１によれば、乗員が触った可能性がある領域を示す接触場所画像を生成して表示することにより、清掃・消毒しようとしているユーザがどこを優先的に消毒すればよいかを直感的に把握することができる。特に、レンタカー事業者の清掃担当者やガソリンスタンドの店員など、車両Ｃ１に乗車していなかった人で、短時間で効率的に車室内を清掃・消毒する必要がある人にとって有効である。もちろん、車両Ｃ１に乗車していた人にとっても、乗員全員分の触った場所を把握して記憶していることは困難であるため、接触場所画像を見ながら清掃・消毒することが有用である。

【0050】

次に、実施の形態２に係る人物監視システム１を説明する。実施の形態１では、車室内に設置されたカメラで乗員を撮影し、乗員の手を検出して、乗員が手で触った場所を監視・記録する人物監視システム１を説明した。これに対して実施の形態２は、建物内の部屋に設置されたカメラで部屋の中の人物を検出し、人物が滞在した場所を監視・記録する人物監視システム１に関する。

【0051】

実施の形態２に係る人物監視システム１は、会議室やコンベンションホールなど、広い室内空間の部屋を監視する例を想定している。一般的に屋内の監視カメラは部屋の天井に設置される。一台の監視カメラで広い部屋を監視する場合、広角に撮影する必要があり、フレーム画像内における人物のサイズが小さくなる。またフレーム画像内に大勢の人物が含まれる場合がある。これに対して実施の形態１では、狭い車室空間を撮影しているため、フレーム画像内の人物のサイズが一定サイズ以下になることがない。また普通車の場合、フレーム画像に含まれる人物の数は最大で５人である。

【0052】

このように、会議室やコンベンションホールなどに設置される撮像装置１０で撮像されたフレーム画像から画像認識により各人物の手を検出し、検出した手を追尾することは難しい。そこで実施の形態２では、人物の頭部または全身を検出し、検出した頭部または全身を追尾する。

【0053】

以下の説明では、撮像装置１０が部屋の天井の中央に設置され、部屋全体を俯瞰するように撮影する例を想定する。この場合、監視対象は上から見た人物の頭部となる。なお撮像装置１０が天井と壁の角に設置され、部屋全体を斜めに見下ろすように撮影してもよい。その場合、監視対象は斜めから見た人物の頭部または全身となる。

【0054】

画像処理装置２０は、ＰＣ、タブレット、スマートフォンなどの汎用の情報端末装置の一機能として構成される。画像処理装置２０と撮像装置１０は有線（例えば、ＬＡＮケーブルやＵＳＢケーブル）または無線（例えば、無線ＬＡＮ）で接続され、映像取得部２１は撮像装置１０から映像を取得する。

【0055】

実施の形態２では映像解析部２２は、部屋の中で人物が滞在した場所を検出する。対象物認識部２２ａは辞書データとして、人物の頭部または全身の識別器を有している。また人物の頭部または全身の識別器に加えて、室内に存在する様々な備品の識別器を用意しておいてもよい。例えば、机、椅子などの識別器を用意しておいてもよい。

【0056】

対象物認識部２２ａはフレーム画像内において、人物の検出領域の周囲に付随領域を設定してもよい。例えば、人物を中心として半径１ｍ～２ｍ程度の円に相当する、画像内の領域を付随領域に設定してもよい。以下、人物の検出領域と当該人物の周囲に設定される付随領域を合わせた領域を行動領域と呼ぶ。なお、実空間における距離と画像内における距離の換算比率、及び付随領域の設定範囲は、ユーザが変更可能である。

【0057】

対象物追尾部２２ｂは、対象物認識部２２ａにより認識された人物の頭部または全身を追尾する。フレーム画像内において複数の人物が認識されている場合、人物ごとに追尾する。

【0058】

三次元空間認識部２２ｃは、撮像装置１０から取得された距離画像により特定される三次元空間内で、人物が滞在した場所を検出する。室内に存在する備品も対象物として認識している場合、人物が触れたと推定される備品も特定することができる。例えば、人物の行動領域と備品の検出領域に重複部分が発生した場合、当該人物が当該備品に触れたと推定する。

【0059】

三次元空間認識部２２ｃは、人物が備品に触れたと推定される状態のフレーム画像を検出すると、検出したフレーム画像を画像保持部２３に一時保存する。なお実施の形態２では、人物が検出されている全てのフレーム画像を、画像保持部２３に一時保存するようにしてもよい。

【0060】

画像生成部２４は、画像保持部２３に格納されたフレーム画像をもとに、撮像装置１０による撮像開始から、室内において人物が滞在した全ての滞在場所をユーザが認識できる滞在場所表示用の画像（以下、滞在場所画像という）を生成する。画像生成部２４は、室内における人物の移動軌跡を認識できる滞在場所画像を生成してもよい。また画像生成部２４は、室内における人物の移動に伴う、行動領域の軌跡を認識できる滞在場所画像を生成してもよい。

【0061】

画像生成部２４は、滞在場所画像として、人物が滞在した場所に近い場所ほど目立つ色で表示されるヒートマップ画像を生成してもよい。例えば、人物が滞在した領域を赤色で表示し、付随領域を黄色で表示し、それ以外の領域を緑色（または無色）で表示したヒートマップ画像を生成してもよい。また、人物が滞在した領域を赤色で表示し、人物が滞在した領域から遠ざかるにつれ赤色→黄色→緑色（または無色）と徐々に変化していくヒートマップ画像を生成してもよい。

【0062】

また画像生成部２４は、人物が滞在した領域の明るさを最も明るくし、人物が滞在した領域から遠ざかるにつれ明るさを暗くした滞在場所画像を生成してもよい。また人物が滞在した領域が点滅している滞在場所画像を生成してもよい。

【0063】

人物の行動領域と備品の検出領域に重複部分が発生した場合、画像生成部２４は、当該備品全体を目立つ表示態様としてもよいし、当該重複部分のみを目立つ表示態様としてもよい。当該備品の床からの高さが推定できる場合、画像生成部２４は当該備品の床からの高さが、人物が座った状態または立った状態の手の高さに近いほど、当該備品を目立つ表示態様としてもよい。

【0064】

画像生成部２４は、複数の人物の検出領域の重複が多い領域ほど、目立つ表示態様としてもよい。例えば、検出領域の重複数が多い領域ほど、彩度を高くしてもよい。なお画像生成部２４は、複数の人物の行動領域の重複が多い領域ほど、目立つ表示態様としてもよい。

【0065】

画像生成部２４は、画像保持部２３に格納された、人物の行動領域と備品の検出領域に重複部分が発生している複数のフレーム画像をつなぎ合わせて、滞在場所表示用のダイジェスト動画を生成してもよい。また画像生成部２４は、人物の行動領域と備品の検出領域に重複部分が発生している複数のフレーム画像を重畳して、一枚の静止画を生成してもよい。

【0066】

なお画像生成部２４は、室内において人物が触れたと推定される備品を、テキスト情報で単純に羅列した画像を生成してもよい。この場合、フレーム画像を画像保持部２３に蓄積する必要はなく、人物が触れたと推定される備品を特定するための管理情報を保持しておけばよい。

【0067】

室内を清掃・消毒しようとしているユーザにより操作部（不図示）に対して、滞在場所画像の表示指示操作がなされると、画像生成部２４は、滞在場所画像を生成し、生成した滞在場所画像を表示装置３０に表示させる。

【0068】

表示装置３０は、ＰＣ、タブレット、スマートフォンなどの汎用の情報端末装置のディスプレイであってもよい。また表示装置３０は当該情報端末装置に接続されたプロジェクタであってよい。その場合、プロジェクタは滞在場所画像をスクリーンに投影させる。また表示装置３０は当該情報端末装置に接続されたヘッドマウントディスプレイであってもよい。その場合、ヘッドマウントディスプレイは、滞在場所画像をＶＲ画像で表示させることができる。なお接触場所用の表示映像が立体映像で生成される場合、ヘッドマウントディスプレイは、立体ＶＲ映像を表示させることができる。

【0069】

なお画像生成部２４は、部屋の使用中（例えば、会議中）に、リアルタイムに滞在場所画像を生成し、表示装置３０（例えば、プロジェクタ）に表示させてもよい。この場合、人物が入室または退室したり、部屋の中で人物が場所を移動したりすると滞在場所画像が更新される。画像生成部２４は、滞在場所画像として、撮像装置１０により撮像されている映像上に、人物の滞在場所を示す注目マーカが重畳されたＡＲ画像を表示装置３０に表示させてもよい。

【0070】

実施の形態２においても、対象物認識部２２ａはフレーム画像内において、人物間の距離が設定値以下のとき、距離接近の検出信号を警告制御部２５に出力することができる。警告制御部２５は、対象物認識部２２ａから距離接近の検出信号を受けると、音声出力装置５０に警告音または警告メッセージを出力させる。なお、マスク未着用の人物、または咳き込んでいる人物を検出した場合も、音声出力装置５０に警告音または警告メッセージを出力させることができる。

【0071】

また実施の形態２においても、特定の人物の画像を登録することにより、滞在場所の監視処理の対象から、登録した人物を除外することができる。

【0072】

図６は、実施の形態２に係る滞在場所画像Ｆｓ１の第１の例を示す図である。室内を清掃・消毒しようとしているユーザにより滞在場所画像Ｆｓ１の表示が指示されると、表示装置３０に滞在場所画像Ｆｓ１が表示される。図６では、部屋の使用中に、三人の人物Ｐ１、Ｐ２、Ｐ３が左側の第１の机Ｄ１を使用していた場合の滞在場所画像Ｆｓ１を示している。右側の第２の机Ｄ２は使用されていない。図６では、左側の第１の机Ｄ１が注意領域として赤色でマークされる。

【0073】

対象物認識部２２ａは各フレーム画像内において、各人物Ｐ１、Ｐ２、Ｐ３の検出領域と第１の机Ｄ１の検出領域が重複したか否か、及び各人物Ｐ１、Ｐ２、Ｐ３の検出領域と第２の机Ｄ２の検出領域が重複したか否かを判定する。対象物認識部２２ａは、重複がある机を使用された机（図６では第１の机Ｄ１）と判定する。

【0074】

図７は、実施の形態２に係る滞在場所画像Ｆｓ２の第２の例を示す図である。図７では、室内における人物Ｐ１の移動軌跡を表示した滞在場所画像Ｆｓ２を示している。図７に示す画像において、部屋の出入口が右側にあり、人物Ｐ１が第２の机Ｄ２及び第１の机Ｄ１の下側を左に移動し、第１の机Ｄ１の左側を上に移動し、第１の机Ｄ１の上側を右に移動して、現在の場所に到達したことを示している。なお、人物Ｐ１の周囲に付随領域が付加された行動領域の移動軌跡を表示してもよい。

【0075】

図８（ａ）－（ｃ）は、実施の形態２に係る滞在場所画像Ｆｓ３の第３の例を示す図である。第３の例は、試験会場や大教室など、机と椅子の位置が固定されている部屋の例である。図８（ａ）に示す滞在場所画像Ｆｓ３ａでは、左側の第１の椅子Ｓ１に第１の人物Ｐ１が座っている。右側の第２の椅子Ｓ２は空席である。この場合、左側の第１の椅子Ｓ１と第１の机Ｄ１が注意領域として赤色でマークされる。

【0076】

図８（ｂ）に示す滞在場所画像Ｆｓ３ｂでは、左側の第１の椅子Ｓ１に第１の人物Ｐ１が座っており、右側の第２の椅子Ｓ２に第２の人物Ｐ２が座っている。この場合、左側の第１の椅子Ｓ１と第１の机Ｄ１、及び右側の第２の椅子Ｓ２と第２の机Ｄ２の両方が注意領域として赤色でマークされる。

【0077】

図８（ｃ）に示す滞在場所画像Ｆｓ３ｃは、右側の第２の椅子Ｓ２に座っていた第２の人物Ｐ２が退席した後の状態を示している。第２の人物Ｐ２が右側の第２の椅子Ｓ２と第２の机Ｄ２の位置に滞在していたため、第２の人物Ｐ２が退席した後も、右側の第２の椅子Ｓ２と第２の机Ｄ２は注意領域として赤色でマークされる。

【0078】

図９は、実施の形態２に係る滞在場所画像Ｆｓ４の第４の例を示す図である。図６－図８（ａ）－（ｃ）に示した例では、人物が触れたと推定される机全体の領域を赤色でマークした。これに対して図９に示す第４の例では、机全体の領域のうち、人物が触れた可能性が高い領域のみを注意領域として赤色でマークする。図９では、第１の人物Ｐ１の位置から所定距離の第１範囲Ｒ１、及び第２の人物Ｐ２の位置から所定距離の第２範囲Ｒ２が注意領域として赤色でマークされる。このマークされる領域は、人物Ｐ１、Ｐ２の移動に伴い拡大する。

【0079】

所定距離はソーシャルディスタンスを考慮して、例えば２ｍに設定される。この所定距離は、マスクの着用の有無により切り替えられてもよい。その場合、マスク未着用の人物の所定距離は、マスク着用の人物の所定距離より長く設定される。

【0080】

また対象物認識部２２ａが人物の手の動きを検出できる場合、机全体の領域の中で手が動いた範囲を注意領域として赤色でマークしてもよい。その際、机全体の領域の中でマークされる領域は、実際に手の動きを検出した範囲に所定のバッファ領域を加えた領域であってもよい。また机全体の領域の中でマークされる領域は、人物Ｐ１、Ｐ２の行動領域と重複する領域であってもよい。

【0081】

なお、第１範囲Ｒ１と第２範囲Ｒ２の重複範囲Ｒ３を、よりレベルの高い注意領域として相対的に目立つ色でマークしてもよい。例えば、第１範囲Ｒ１と第２範囲Ｒ２のうち、両者が重複していない範囲を緑色でマークし、両者の重複範囲Ｒ３を赤色でマークしてもよい。また、一人の人物の所定距離の範囲を緑色でマークし、二人の人物の所定距離の範囲の重複領域を黄色でマークし、三人以上の人物の所定距離の範囲の重複領域を赤色でマークしてもよい。

【0082】

図１０は、実施の形態２に係る滞在場所画像Ｆｓ５の第５の例を示す図である。図１０に示す滞在場所画像Ｆｓ５では、部屋の中で人物の移動が多い通路の領域Ｒ５が注意領域として赤色でマークされている。なお、人物が通路を通った回数に応じて色を変えてもよい。例えば、１～５回は緑色でマークし、６～１０回は黄色でマークし、１１回以上は赤色でマークしてもよい。なお、図１０では通路全体の領域Ｒ５を注意領域としてマークしているが、実際に人物が通った移動軌跡、すなわち人物と通路が重複した部分のみをマークしてもよい。

【0083】

以上説明したように実施の形態２によれば、人物が滞在した領域を示す滞在場所画像を生成して表示することにより、清掃・消毒しようとしているユーザがどこを優先的に消毒すればよいかを直感的に把握することができる。特に、外部の清掃業者など、部屋を使用していなかった（例えば、会議に参加していなかった）人で、短時間で効率的に部屋の中を清掃・消毒する必要がある人にとって有効である。もちろん、部屋を使用していた人にとっても、部屋の中にいた人全員分の動きを把握し記憶していることは困難であるため、滞在場所画像を見ながら清掃・消毒することが有用である。

【0084】

次に、実施の形態３に係る人物監視システム１を説明する。実施の形態２では、画像生成部２４は、室内における人物の移動軌跡を認識できる滞在場所画像を生成し、表示装置３０に表示させる例を説明した。実施の形態３ではさらに、室内における人物が発話しているか否かを考慮する。室内でマスクを着用していない人物が発話した場合、飛沫が飛んでいる可能性があり、当該人物の周辺領域にウイルスが存在する可能性が増加する。

【0085】

図１１は、実施の形態３に係る人物監視システム１の構成例を示す図である。実施の形態３に係る人物監視システム１は、画像処理装置２０、表示装置３０、記録媒体４０、音声出力装置５０、及び集音装置６０を備える。画像処理装置２０は、映像取得部２１、映像解析部２２、画像保持部２３、画像生成部２４、警告制御部２５、音声取得部２６、及び音声解析部２７を含む。以下、実施の形態２との相違点を説明する。

【0086】

集音装置６０は、撮像装置１０が監視対象としている空間内の音を収集するためのマイクを含む。集音装置６０は、撮像装置１０に内蔵されていてもよい。集音装置６０は、収集した空気振動を電気的な音声信号に変換し、変換した音声信号を画像処理装置２０に出力する。

【0087】

音声取得部２６は、集音装置６０から音声信号を取得する。音声解析部２７は、音声取得部２６により取得された音声信号を解析する。音声解析部２７は、音声信号のスペクトルを解析して、人間の発話音の有無を検出する。人間の発話音が検出された場合、音声解析部２７は、発話者の人数を検出する。さらに音声解析部２７は、各発話者の発話回数、累積発話時間、及び声の大きさの少なくとも一つを検出して保持する。なお本実施の形態では、発話内容を認識する必要はないため、音響モデルや言語モデルを使用した解析は不要である。

【0088】

上述したように映像解析部２２は、人物がマスクを着用しているか否かを認識することができる。実施の形態３ではさらに、映像解析部２２は、人物の口の種々の状態の識別器を有している。マスクを着用していない人物が検出された場合、映像解析部２２は、フレーム画像ごとに人物の口の形を認識し、一連のフレーム画像における口の動きを判別する。映像解析部２２は、人物の口の動きから、その人物が発話しているか否か判定する。映像解析部２２は、発話者の人数を検出する。さらに映像解析部２２は、各発話者の口の開き具合を検出する。

【0089】

音声解析部２７により検出された発話者の人数より、映像解析部２２により発話者と認定された人数が少ない場合、撮像装置１０の画角に収まっていない人物が発話している可能性、撮像装置１０の方向を向いていない人物が発話している可能性、またはマスクを着用している人物が発話している可能性が考えられる。その場合、映像解析部２２は、撮像装置１０の方向を向いていない人物とマスクを着用している人物の全てを、発話者とみなしてもよい。

【0090】

画像生成部２４は、撮像装置１０により撮像された人物の内、各人物の発話回数、発話時間、声の大きさ、及び口の開き具合の少なくとも一つを参照して、滞在場所画像内における、各人物の検出領域に付随する付随領域の表示態様を決定する。

【0091】

画像生成部２４は、発話した人物の検出領域に付随する付随領域の面積を、発話していない人物の検出領域に付随する付随領域より大きく設定してもよい。その際、画像生成部２４は、当該人物の発話回数が多いほど、当該人物の累積発話時間が長いほど、当該人物の声が大きいほど、または当該人物の口の開き具合が大きいほど、当該人物の検出領域に付随する付随領域の面積を大きく設定してもよい。なお、面積を大きくする付随領域は、当該人物の顔が向いている方向の領域（例えば、１８０度の領域）だけとしてもよい。

【0092】

画像生成部２４は、発話していない人物の検出領域に付随する付随領域の面積を、発話した人物の検出領域に付随する付随領域より小さく設定してもよい。

【0093】

画像生成部２４は、発話した人物の検出領域に付随する付随領域を、発話していない人物の検出領域に付随する付随領域の色より目立つ色（例えば、赤色や紫色）でマークしてもよい。その際、画像生成部２４は、当該人物の発話回数が多いほど、当該人物の累積発話時間が長いほど、当該人物の声が大きいほど、または当該人物の口の開き具合が大きいほど、当該人物の検出領域に付随する付随領域の色を濃くしてもよい。なお、色を濃くする付随領域は、当該人物の顔が向いている方向の領域だけとしてもよい。

【0094】

例えば、上記図６において、人物Ｐ２が第２の机Ｄ２の方向に顔を向けて、発話したり、咳き込んだりした場合、画像生成部２４は、第２の机Ｄ２を赤色でマークする。上記図７においても同様に、人物Ｐ１が移動途中に、第２の机Ｄ２の方向に顔を向けて、発話したり、咳き込んだりした場合、画像生成部２４は、第２の机Ｄ２を赤色でマークする。

【0095】

画像生成部２４は、発話した人物の検出領域に付随する付随領域の重複が多い領域ほど、色を濃くしてもよい。画像生成部２４は、発話していない人物の検出領域に付随する付随領域を、発話した人物の検出領域に付随する付随領域の色より目立たない色（例えば、緑色や無色）でマークしてもよい。

【0096】

上記図９では、第１の人物Ｐ１の位置から所定距離の第１範囲Ｒ１、及び第２の人物Ｐ２の位置から所定距離の第２範囲Ｒ２が注意領域（付随領域）として赤色でマークされる。所定距離は例えば、人物が発話していない場合は１ｍに設定され、人物が発話した場合は２ｍに設定されてもよい。発話していない人物の注意領域は、当該人物の手が届く範囲を考慮して１ｍに設定される。発話した人物の注意領域は、当該人物の飛沫が届く範囲を考慮して２ｍに設定される。

【0097】

画像生成部２４は、第１の人物Ｐ１と第２の人物Ｐ２が会話していない場合、第１範囲Ｒ１と第２範囲Ｒ２の重複範囲Ｒ３を赤色でマークし、第１の人物Ｐ１と第２の人物Ｐ２が会話した場合、重複範囲Ｒ３を紫色でマークしてもよい。ここで、紫色は赤色より注意レベルが上とする。

【0098】

以上説明したように実施の形態３によれば、人物が滞在した領域を示す滞在場所画像を生成して表示する際、飛沫が飛んだ可能性がある領域を目立つ態様で表示することにより、優先的に清掃・消毒すべき領域を適切に、ユーザに提示することができる。

【0099】

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【0100】

実施の形態１において、例えば運転者は運転中、基本的にステアリングを手で握っている。一方で、それ以外の動き（例えば、水を飲むためにボトルホルダを触る動きなど）をしている状態では、ステアリングを握っている通常の状態の画像とは大きく異なる画像となる。対象物認識部２２ａは、フレーム画像内において運転者がステアリングを手で握っていないフレーム画像を全て画像保持部２３に保存してもよい。画像生成部２４は、画像保持部２３に格納されている複数のフレーム画像をつなぎ合わせて、接触場所表示用のダイジェスト動画を生成してもよい。また画像生成部２４は、画像保持部２３に格納されている複数のフレーム画像を重畳して、一枚の静止画を生成してもよい。この場合、正確性は低下するが、簡易的に接触場所画像を生成することができる。

【0101】

実施の形態２において、対象物認識部２２ａは、フレーム画像内で人物が検出されたフレーム画像を全て画像保持部２３に保存してもよい。画像生成部２４は、画像保持部２３に格納されている複数のフレーム画像をつなぎ合わせて、滞在場所表示用のダイジェスト動画を生成してもよい。また画像生成部２４は、画像保持部２３に格納されている複数のフレーム画像を重畳して、一枚の静止画を生成してもよい。この場合、正確性は低下するが、簡易的に滞在場所画像を生成することができる。

【0102】

実施の形態１では、人物の手を監視対象とし、車室内を監視する例を説明した。この点、人物の手を検出しやすい狭い空間の監視であれば、車室内を監視する例に限定されるものではない。建物内の部屋であっても、数人しか入れない狭い部屋の監視であれば、実施の形態１に係る人物監視システム１が有効に機能する。

【0103】

実施の形態２では、人物自体を監視対象とし、建物内の部屋の中を監視する例を説明した。この点、電車、バス、飛行機、船舶などの移動体の中の室内空間の監視にも、実施の形態２に係る人物監視システム１を適用することができる。また一定範囲の屋外空間の監視にも適用可能である。

【0104】

また新型コロナウイルスは、付着している物質や環境条件に依存するが、最長で７日程度で死滅する。したがって、車両や部屋の使用終了後、設定時間以上が経過している場合は、画像内に注意領域を表示する必要はない。

【符号の説明】

【0105】

Ｃ１ 車両、 １ 人物監視システム、 １０ 撮像装置、 ２０ 画像処理装置、 ２１ 映像取得部、 ２２ 映像解析部、 ２２ａ 対象物認識部、 ２２ｂ 対象物追尾部、 ２２ｃ 三次元空間認識部、 ２３ 画像保持部、 ２４ 画像生成部、 ２５ 警告制御部、 ２６ 音声取得部、 ２７ 音声解析部、 ３０ 表示装置、 ４０ 記録媒体、 ５０ 音声出力装置、 ６０ 集音装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】