(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022178248
(43)【公開日】2022-12-02
(54)【発明の名称】プログラム、画像処理方法、画像処理システム及び画像処理装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20221125BHJP
G06T 7/20 20170101ALI20221125BHJP
A61B 5/01 20060101ALI20221125BHJP
H04N 7/18 20060101ALI20221125BHJP
【FI】
G06T7/00 300B
G06T7/00 660A
G06T7/20 300Z
A61B5/01 350
H04N7/18 D
【審査請求】未請求
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2021084891
(22)【出願日】2021-05-19
(71)【出願人】
【識別番号】000001432
【氏名又は名称】グローリー株式会社
(74)【代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100125346
【弁理士】
【氏名又は名称】尾形 文雄
(72)【発明者】
【氏名】長澤 正佳
【テーマコード(参考)】
4C117
5C054
5L096
【Fターム(参考)】
4C117XB01
4C117XE43
4C117XE48
5C054CA04
5C054CA05
5C054CC02
5C054FC12
5C054FE14
5C054HA19
5L096BA02
5L096BA18
5L096CA02
5L096CA18
5L096DA03
5L096JA11
5L096JA16
(57)【要約】
【課題】マスク以外の物で口元を隠した状態の検知を可能にする。
【解決手段】コンピュータに、対象者の顔を撮像した画像から抽出される特徴が、マスクの装着とみなす第1の条件を満たす場合、マスク以外の物体により口元を隠す動作を示す第2の条件を満たすか否かを判定する機能と、第2の条件を満たす場合、マスク着用の誤検知を出力する機能とを実現させる。
【選択図】
図4
【特許請求の範囲】
【請求項1】
コンピュータに、
対象者の顔を撮像した画像から抽出される特徴が、マスクの装着とみなす第1の条件を満たす場合、マスク以外の物体により口元を隠す動作を示す第2の条件を満たすか否かを判定する機能と、
前記第2の条件を満たす場合、マスク着用の誤検知を出力する機能と、
を実現させるためのプログラム。
【請求項2】
前記第2の条件は、口元周辺の温度分布が予め定めた分布を満たすことである、
請求項1に記載のプログラム。
【請求項3】
前記予め定めた分布は、温度の分布が均一であることである、
請求項2に記載のプログラム。
【請求項4】
前記予め定めた分布は、周囲に比べて温度が高い縦方向の領域が出現しないことである、
請求項2に記載のプログラム。
【請求項5】
前記予め定めた分布は、周囲に比べて温度が高い領域が前記物体の上辺に出現しないことである、
請求項2又は4に記載のプログラム。
【請求項6】
前記第2の条件は、対象者を撮像した画像から検出された骨格により、口元を隠す動作が検出されることである、
請求項1に記載のプログラム。
【請求項7】
前記口元を隠す動作は、手によって口元が隠される動作である、
請求項6に記載のプログラム。
【請求項8】
前記口元を隠す動作は、手に持った物品によって口元が隠される動作である、
請求項6に記載のプログラム。
【請求項9】
前記第2の条件が成立した場合、マスクの未着用の可能性を対象者に通知する、
請求項1に記載のプログラム。
【請求項10】
前記第2の条件が成立した場合、マスクの未着用の可能性を管理者に通知する、
請求項1又は9に記載のプログラム。
【請求項11】
前記第2の条件が成立した場合、管理者の端末に判定に使用した画像を送信する、
請求項10に記載のプログラム。
【請求項12】
前記第2の条件は、口元周辺の温度分布が予め定めた分布を満たし、かつ、対象者を撮像した画像から検出された骨格により、口元を隠す動作が検出されることである、
請求項1に記載のプログラム。
【請求項13】
コンピュータに、
対象者の顔を撮像した画像から抽出される特徴が、マスクの装着とみなす第1の条件を満たす場合、マスク以外の物体により口元を隠す動作を示す第2の条件を満たすか否かを判定する機能と、
前記第2の条件を満たす場合、マスクの装着の偽装を検出する機能と、
を実現させるためのプログラム。
【請求項14】
マスクの装着を検知する画像処理装置が実行する画像処理方法であって、
対象者の顔を撮像した画像から抽出される特徴が、マスクの装着とみなす第1の条件を満たす場合、マスク以外の物体により口元を隠す動作を示す第2の条件を満たすか否かを判定する処理と、
前記第2の条件を満たす場合、マスク着用の誤検知を出力する処理と、
を有する画像処理方法。
【請求項15】
対象者を撮像するカメラと、
対象者の顔を撮像した画像から抽出される特徴が、マスクの装着とみなす第1の条件を満たす場合、マスク以外の物体により口元を隠す動作を示す第2の条件を満たすか否かを判定し、当該第2の条件を満たす場合、マスク着用の誤検知を出力する画像処理装置と、
を有する画像処理システム。
【請求項16】
対象者の顔を撮像した画像から抽出される特徴が、マスクの装着とみなす第1の条件を満たす場合、マスク以外の物体により口元を隠す動作を示す第2の条件を満たすか否かを判定し、当該第2の条件を満たす場合、マスク着用の誤検知を出力する画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プログラム、画像処理方法、画像処理システム及び画像処理装置に関する。
【背景技術】
【0002】
新型コロナウイルス等の感染症に対する予防策の一環として、マスクの着用が義務付けられる機会が増えている。特に集団感染を予防する観点から、施設等への入場に際してマスクの着用が義務付けられる機会も増えている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
昨今、対象者の顔を撮像した画像(以下「顔画像」という)からマスクの着用の有無を判定する技術が提案されている。例えば顔画像と登録されている画像の不一致点の分布や顔画像から抽出される水平エッジを使用してマスクの着用が判定される。
しかし、これらの技術は、顔の一部を隠す物体がマスクであることを前提としている。このため、対象者が手や書類等で口元を隠す場合でも、判定上の条件を満たす可能性がある。
【0005】
本発明は、マスク以外の物で口元を隠した状態を検知することを目的とする。
【課題を解決するための手段】
【0006】
請求項1に記載の発明は、コンピュータに、対象者の顔を撮像した画像から抽出される特徴が、マスクの装着とみなす第1の条件を満たす場合、マスク以外の物体により口元を隠す動作を示す第2の条件を満たすか否かを判定する機能と、前記第2の条件を満たす場合、マスク着用の誤検知を出力する機能と、を実現させるためのプログラムである。
請求項2に記載の発明は、前記第2の条件は、口元周辺の温度分布が予め定めた分布を満たすことである、請求項1に記載のプログラムである。
請求項3に記載の発明は、前記予め定めた分布は、温度の分布が均一であることである、請求項2に記載のプログラムである。
請求項4に記載の発明は、前記予め定めた分布は、周囲に比べて温度が高い縦方向の領域が出現しないことである、請求項2に記載のプログラムである。
請求項5に記載の発明は、前記予め定めた分布は、周囲に比べて温度が高い領域が前記物体の上辺に出現しないことである、請求項2又は4に記載のプログラムである。
請求項6に記載の発明は、前記第2の条件は、対象者を撮像した画像から検出された骨格により、口元を隠す動作が検出されることである、請求項1に記載のプログラムである。
請求項7に記載の発明は、前記口元を隠す動作は、手によって口元が隠される動作である、請求項6に記載のプログラムである。
請求項8に記載の発明は、前記口元を隠す動作は、手に持った物品によって口元が隠される動作である、請求項6に記載のプログラムである。
請求項9に記載の発明は、前記第2の条件が成立した場合、マスクの未着用の可能性を対象者に通知する、請求項1に記載のプログラムである。
請求項10に記載の発明は、前記第2の条件が成立した場合、マスクの未着用の可能性を管理者に通知する、請求項1又は9に記載のプログラムである。
請求項11に記載の発明は、前記第2の条件が成立した場合、管理者の端末に判定に使用した画像を送信する、請求項10に記載のプログラムである。
請求項12に記載の発明は、前記第2の条件は、口元周辺の温度分布が予め定めた分布を満たし、かつ、対象者を撮像した画像から検出された骨格により、口元を隠す動作が検出されることである、請求項1に記載のプログラムである。
請求項13に記載の発明は、コンピュータに、対象者の顔を撮像した画像から抽出される特徴が、マスクの装着とみなす第1の条件を満たす場合、マスク以外の物体により口元を隠す動作を示す第2の条件を満たすか否かを判定する機能と、前記第2の条件を満たす場合、マスクの装着の偽装を検出する機能と、を実現させるためのプログラムである。
請求項14に記載の発明は、マスクの装着を検知する画像処理装置が実行する画像処理方法であって、対象者の顔を撮像した画像から抽出される特徴が、マスクの装着とみなす第1の条件を満たす場合、マスク以外の物体により口元を隠す動作を示す第2の条件を満たすか否かを判定する処理と、前記第2の条件を満たす場合、マスク着用の誤検知を出力する処理と、を有する画像処理方法である。
請求項15に記載の発明は、対象者を撮像するカメラと、対象者の顔を撮像した画像から抽出される特徴が、マスクの装着とみなす第1の条件を満たす場合、マスク以外の物体により口元を隠す動作を示す第2の条件を満たすか否かを判定し、当該第2の条件を満たす場合、マスク着用の誤検知を出力する画像処理装置と、を有する画像処理システムである。
請求項16に記載の発明は、対象者の顔を撮像した画像から抽出される特徴が、マスクの装着とみなす第1の条件を満たす場合、マスク以外の物体により口元を隠す動作を示す第2の条件を満たすか否かを判定し、当該第2の条件を満たす場合、マスク着用の誤検知を出力する画像処理装置である。
【発明の効果】
【0007】
本発明によれば、マスク以外の物で口元を隠した状態を検知できる。
【図面の簡単な説明】
【0008】
【
図1】実施の形態1で使用するマスク監視システムの一例を説明する図である。
【
図2】実施の形態1で使用するマスク監視システムの構成例を説明する図である。
【
図3】実施の形態1で使用するマスク着用判定装置と管理者端末のハードウェア上の構成例を説明する図である。
【
図4】実施の形態1で使用するマスク着用判定装置で実行される処理の概要を説明する図である。
【
図5】赤外光像の例を説明する図である。(A)はマスクを装着している人を撮像した赤外光像の例であり、(B)は手で口元を隠している人を撮像した赤外光像の例である。
【
図6】マスク以外の物体で口元を隠す場合の他の画像例を説明する図である。(A)は本で口元を隠している人を撮像した可視光像の例であり、(B)は同じ人を撮像した赤外光像の例である。
【
図7】マスクの装着の誤検知が疑われる場合における人への注意の喚起例と監視スタッフへの注意の喚起例を説明する図である。
【
図8】マスクの装着の誤検知が疑われる場合における人への注意の喚起例と監視スタッフへの注意の喚起例を説明する他の図である。
【
図9】実施の形態2で使用するマスク監視システムの一例を説明する図である。
【
図10】実施の形態2で使用するマスク監視システムの構成例を説明する図である。
【
図11】実施の形態2で使用するマスク着用判定装置で実行される処理の概要を説明する図である。
【
図12】マスクを装着した人を撮像した可視光像から検知される骨格の情報を説明する図である。(A)はマスクを装着した人の上半身の可視光像であり、(B)は同じ人から検知された骨格の情報である。
【
図13】口元を手で隠している人の可視光像から検知される骨格の情報例を説明する図である。(A)は口元を手で隠している人の可視光像であり、(B)は同じ人から検知された骨格の情報である。
【
図14】口元を本で隠している人の可視光像から検知される骨格の情報例を説明する図である。(A)は両手で持った本で口元を隠している人の可視光像であり、(B)は同じ人から検知された骨格の情報である。
【
図15】マスクが正しく装着されていると判定される例と判定されない例を説明する図である。(A)はマスクを正しく装着している人を示し、(B)はマスクをずらして顎に付けている人を示す。
【
図16】メガネを掛けている人が、マスクMが正しく装着されていると判定される例と判定されない例を説明する図である。(A)はマスクを正しく装着している人を示し、(B)はマスクをずらして顎に付けている人を示す。
【
図17】他の実施の形態で使用するマスク監視システムの一例を説明する図である。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して、実施の形態について詳細に説明する。
<実施の形態1>
<システムの構成>
図1は、実施の形態1で使用するマスク監視システム1の一例を説明する図である。
図1に示すマスク監視システム1は、例えばオフィスビルのエントランスに設置される。
【0010】
なお、オフィスビルは一例であり、設置場所は、金融機関、交通機関、商業施設、病院、ホテル、飲食店、公共施設、文化施設、学校、遊技施設、工場等の出入り口でもよい。
ただし、建物のエントランスや出入り口は、マスク監視システム1が設置される場所の一例であり、屋外に定めた区画の出入り口でも、室内に設けられる各部屋の出入り口でも構わない。
図1に示すマスク監視システム1は、画像処理システムの一例である。
【0011】
図1には、マスク監視システム1のうち入り口10に設けられる設備のみを表している。具体的には、ネットワーク20、可視光像を撮像するカメラ30A、赤外光像を撮像するカメラ30B、スピーカ40を表している。
カメラ30A及び30Bは、監視エリア10Aを撮像の範囲とする。因みに、カメラ30Aとカメラ30Bは、入り口10に近づいて来る人を正面から撮像できる位置に取り付けられている。もっとも、カメラ30Aやカメラ30Bは、壁や天井等に固定される必要はなく、持ち運び可能なスタンドやホルダ等に取り付けてもよい。
【0012】
図1の場合、入り口10の手前である監視エリア10Aには、2人の人が立っている。1人はマスクを付けている人P1であり、もう1人はマスクを忘れたので口元を手で隠している人P2である。
図1では、説明の都合上、マスクを付けている人P1とマスクを付けていない人P2を描いているが、監視エリア10Aに位置する全員がマスクを付けていてもよいし、全員がマスクを付けていなくてもよい。
また、
図1では、監視エリア10Aに2人の人物が立っているが、監視エリア10A内にいるのは1人でもよいし、3人以上でもよい。また、監視エリア10Aの外に他の人がいてもよい。
【0013】
図2は、実施の形態1で使用するマスク監視システム1の構成例を説明する図である。
図2には、ネットワーク20を通じて接続されている監視ルーム内の設備も表している。
もっとも、監視ルームは一例であり、必ずしも専用の部屋である必要はない。また、
図2に示す設備が設置される場所は、部屋に限らない。例えば
図2に示す設備は、入り口10の付近に設置されてもよい。
ネットワーク20には、例えば有線LAN(=Local Area Network)や無線LANを使用する。もっとも、ネットワーク20に代えて、4Gや5G等の移動通信システムを使用してもよい。
【0014】
図2に示す監視ルームには、マスク着用判定装置50と、管理者端末60と、ディスプレイ70とが配置されている。
図2に示すマスク着用判定装置50と管理者端末60は、ネットワーク20経由で接続されている。
もっとも、マスク着用判定装置50と管理者端末60を直接接続することも可能である。接続には、例えばUSBケーブルを使用する。
【0015】
本実施の形態の場合、マスク着用判定装置50と管理者端末60は、いずれもコンピュータを基本構成とする。
なお、管理者端末60とディスプレイ70は一体でもよい。例えば管理者端末60とディスプレイ70は、スマートフォンやタブレット端末でもよい。
本実施の形態では、マスク着用判定装置50を管理者端末60の別装置として説明するが、マスク着用判定装置50と管理者端末60を兼用してもよい。
【0016】
図3は、実施の形態1で使用するマスク着用判定装置50と管理者端末60のハードウェア上の構成例を説明する図である。マスク着用判定装置50は、画像処理装置の一例である。
図3に示すマスク着用判定装置50と管理者端末60は、端末の動作を制御する制御部101と、プログラム等の記憶に用いられる記憶部102と、外部との通信に使用する通信部103とを備えている。
【0017】
制御部101は、CPU(=Central Processing Unit)と、ROM(=Read Only Memory)と、RAM(=Random Access Memory)とで構成される。すなわち、制御部101は、コンピュータを構成する。ROMには、BIOS(=Basic Input Output System)や各種の設定等が記憶されている。CPUは、RAMを作業エリアとして使用してプログラムを実行する。CPUがプログラムを実行することにより、以下に説明する機能が実現される。
【0018】
例えば制御部101は、記憶部102に記憶されているプログラムの実行を通じ、マスクの着用偽装の有無を判定する機能と、マスクの着用偽装が疑われる場合、マスク着用の誤検知を出力する機能とを実現する。
換言すると、制御部101は、入り口10(
図1参照)に近づく人がマスクを装着していないか、マスクを着用しているか、実際にはマスクを装着していないのに手や物品により口元を隠しているかを判定し、管理者に通知する機能を実現する。
【0019】
記憶部102は、半導体メモリやハードディスク装置で構成される。記憶部102には、カメラ30A(
図1参照)で撮像された可視光像(すなわち可視光画像)、カメラ30B(
図1参照)で撮像された赤外光像(すなわち赤外線画像)、前述したプログラムが使用する判定条件等が記憶される。
本実施の形態の場合、判定条件として、マスクの着用を判定するための第1の条件と、マスク以外の物体により口元を隠している状態を判定するための第2の条件を想定する。
通信部103は、外部装置との通信に用いられる通信モジュールである。
【0020】
<処理の流れ>
図4は、実施の形態1で使用するマスク着用判定装置50(
図2参照)で実行される処理の概要を説明する図である。なお、図中のSはステップを意味する。
まず、マスク着用判定装置50は、監視エリア10A(
図1参照)に人が侵入したか否かを判定する(ステップ1)。
【0021】
本実施の形態の場合、マスク着用判定装置50は、カメラ30A(
図1参照)で撮像された可視光像を使用して人の侵入の有無を判定する。もっとも、カメラ30B(
図1参照)で撮像された赤外光像を使用してもよい。また、人の検知には、人感センサを用いてもよい。
ステップ1で否定結果が得られている間、マスク着用判定装置50は、ステップ1の判定を繰り返す。
【0022】
一方、ステップ1で肯定結果が得られた場合、マスク着用判定装置50は、可視光像から顔の部分を抽出する(ステップ2)。
次に、マスク着用判定装置50は、抽出された顔の部分の可視光像が、マスクの着用条件を満たすか否かを判定する(ステップ3)。ここでの着用条件は、第1の条件として記憶部102(
図3参照)に記憶されている。
【0023】
第1の条件の1つには、例えば口や鼻の周囲に水平方向に延びる水平エッジが検出されることである。なお、水平エッジは、数学的な直線であることまでは求められず、口や鼻にマスクを装着した際に出現するエッジの形状を満たせばよい。
第1の条件の他の1つには、口や鼻が概略矩形の物体により覆われていることがある。マスクの素材や色は様々であり、可視光像だけでは素材を特定できるとは限らないので、口や鼻が何らの物体により覆われていることを判定条件とする。
【0024】
なお、様々なタイプのマスクを着用した人を撮像した可視光像との類似度が予め定めた基準を超えることを第1の条件としてもよい。
また、カメラ30Aで撮像された可視光像を人工知能に与えてマスクの着用を判定する場合、様々なタイプのマスクを着用した人を撮像した可視光像を教師データとして学習した学習モデルを第1の条件としてもよい。
【0025】
ステップ3で否定結果が得られた場合、すなわちマスクの着用条件を満たさない場合、マスク着用判定装置50は、マスクの未着用を出力する(ステップ4)。
なお、マスクの未着用の出力は、管理者端末60(
図2参照)に通知してもよいし、入り口10(
図1参照)に設置された自動ドアや入場ゲートの開閉制御に用いてもよい。例えばマスクの未着用者の入場を許可しない場合、マスクの未着用の出力により自動ドアや入場ゲートは閉制御される。
【0026】
一方、ステップ3で肯定結果が得られた場合、すなわちマスクの着用条件を満たす場合、マスク着用判定装置50は、赤外光像から顔の部分を抽出する(ステップ5)。
ここでの赤外光像は、いわゆる熱画像(サーモグラフィ画像)である。このため、赤外光像からは、抽出された顔の部分の温度分布が測定される。
マスクを装着すると、顔の表面とマスクの間に形成される空間が高温多湿となり、マスクで覆われていない皮膚表面よりも高い温度が測定される。例えばマスクの内側の温度は、39℃を超えるとの報告もある。特に、口元付近やマスクの上辺辺りは、マスクの他の部分に比しても温度が高くなる。
【0027】
図5は、赤外光像の例を説明する図である。(A)はマスクMを装着している人P1を撮像した赤外光像の例であり、(B)は手Hで口元を隠している人P2を撮像した赤外光像の例である。
図5(A)の場合、マスクMの上辺辺りと口元付近の色が濃く、目の周り等に比して温度が高いことが分かる。また、口元の付近には、高温状態を示す縦方向の領域が出現している。
図5(B)の場合、口元を覆った手Hの上辺が水平エッジを形成しているが、マスクMが装着されている場合と比して口元部分の温度は低い。また、手の温度はほぼ一定であるので、口元部分の温度の分布も均一になっている。因みに、温度の分布が均一であるので、高温状態を示す縦方向の領域も現れない。
【0028】
図6は、マスク以外の物体で口元を隠す場合の他の画像例を説明する図である。(A)は本Bで口元を隠している人P2を撮像した可視光像の例であり、(B)は同じ人P2を撮像した赤外光像の例である。
図6(A)の場合、口元を隠す本Bにより、鼻の辺りを中心に左右2つの水平ラインが現れている。このため、特徴量の検知によりマスクの装着を判定する技術ではマスクの装着条件を満たすことになる。
一方で、本Bの温度は、周囲の空気の温度とほぼ同じである。このため、
図6(B)に示すように、本Bによって隠される口元周辺の温度は、目元周辺に比べて明らかに低くなっている。また、本Bの表面温度は均一であり、水平ラインが現れる上辺の辺りや口元付近の温度が周囲に比べて高くなることもない。
図4の説明に戻る。
【0029】
次に、マスク着用判定装置50は、抽出された顔の部分の赤外光像が、マスクの装着の誤検知の条件を満たすか否かを判定する(ステップ6)。換言すると、マスク着用判定装置50は、マスク以外の物体により口元を隠す動作を示す条件を満たすか否かを判定する。ここでの判定条件は、第2の条件として記憶部102に記憶されている。
【0030】
第2の条件の1つは、顔の部分の温度分布がマスクの装着時のパターンと異なることである。具体的には、口元周辺の温度の分布が均一であること、周囲に比べて温度が高い縦方向の領域が出現しないこと、周囲に比べて温度が高い領域が物体の上辺に出現しないこと等を用いる。第2の条件は、これらの全ての組み合わせでもよいし、それぞれ単独でもよい。
【0031】
ところで、マスクを装着している場合、マスクを装着した部分の温度が周辺よりも3℃ほど高くなる。そこで、第2の条件を、周辺部分の温度との違いにより規定してもよい。
具体的には、口元付近の温度と周辺部の温度との差が基準値よりも少ないと規定してもよい。
【0032】
基準値には例えば1℃を使用する。何らかの事情でマスクの着用が誤検知されたとしても、口元付近の温度と周辺部の温度差が小さければ、誤検知であるとの判定が可能になる。なお、測定された温度は、周辺部の温度よりも高くても低くてもよい。
一方で、測定された口元付近の温度が基準値よりも大きい場合が考えられる。例えば飲み物のカップ等で口元を隠す場合である。ここでの基準値には、マスクの装着では達し得ない温度を定める。例えば50℃に設定する。
【0033】
この他、測定された口元付近の温度が周辺部の温度に比して低すぎる場合が考えられる。例えば手元にある本や資料で口元を隠した場合、本や資料の表面温度は、通常、周辺の気温とほぼ同じになる。このため、エントランスのように空調が整った空間では、気温が体温近くになることは想定し得ない。判定用の温度差の基準値には、例えば5℃を設定する。
【0034】
この他にも、口元を隠している物体が、顔の外方に予め定めた距離以上突き出すことがある。例えば手で口元を隠す場合、腕が顔の外側まで連続的に突き出すエッジの検出が可能である。
マスクであれば、耳や側頭部を超えて顔の輪郭の外側にエッジが検出されることはない。なお、フェースシールドの場合は、顔の輪郭の外側にエッジが検出される可能性があるが、その突出量は、腕の長さに比べれば短い。
【0035】
ステップ6で否定結果が得られた場合、すなわちマスクの装着の誤検知の条件を満たさない場合、マスク着用判定装置50は、マスクの着用を出力する(ステップ7)。
なお、マスクの着用の出力は、管理者端末60(
図2参照)に通知してもよいし、入り口10(
図1参照)に設置された自動ドアや入場ゲートの開閉制御に用いてもよい。この場合、マスクの着用の出力により自動ドアや入場ゲートは開制御される。
【0036】
一方、ステップ6で肯定結果が得られた場合、すなわちマスクの装着の誤検知の条件を満たす場合、マスク着用判定装置50は、装着の誤検知を管理者端末60(
図2参照)に通知する(ステップ8)。
続いて、マスク着用判定装置50は、対象者に対してアナウンスを出力する(ステップ9)。具体的には、マスク着用判定装置50は、スピーカ40(
図1参照)を通じて注意を与える音声を出力する。
【0037】
また、本実施の形態におけるマスク着用判定装置50は、同時に、監視ルームのスタッフ(以下「監視スタッフ」という)にマスク以外の物で口元を隠している疑いを出力する(ステップ10)。
本実施の形態の場合、マスク着用判定装置50は、ディスプレイ70(
図2参照)に注意を喚起するメッセージや画像を表示する。なお、不図示のスピーカから音声を出力してもよい。
【0038】
図7は、マスクの装着の誤検知が疑われる場合における人P2への注意の喚起例と監視スタッフへの注意の喚起例を説明する図である。
図7には、
図1との対応部分に対応する符号を付して示している。
図7の場合、スピーカ40から「マスクの着用を確認中です。口元に手や物を近づけないでください。」とのメッセージが出力されている。
【0039】
なお、このメッセージは一例であり、他の内容でもよい。例えば「マスクを付けていますか?」とか、「マスクの着用を確認できません。」等のメッセージが出力されてもよい。
一方、監視ルームのディスプレイ70には、「マスクの着用偽装が疑われます。現場を確認してください。」とのメッセージが表示されている。
このメッセージも一例であり、他の内容でもよい。例えば「マスクの着用偽装の可能性がある人がいます。」とか、「マスクの着用偽装が検知されました。」等のメッセージが出力されてもよい。
【0040】
図8は、マスクの装着の誤検知が疑われる場合における人P2への注意の喚起例と監視スタッフへの注意の喚起例を説明する他の図である。
図8には、
図7との対応部分に対応する符号を付して示している。
図8の場合、ディスプレイ70の表示に、可視光像が追加される点で
図7と相違する。
図8に示すように可視光像が表示されることで、監視スタッフは、現場に向かう前にマスク以外の物で口元を隠しているか否かを目視で判断することが可能になる。
なお、可視光像を確認した監視スタッフがスピーカ40を通じて、直接、対象者に話し掛けることもできる。
【0041】
本実施の形態で説明したマスク監視システム1の採用により、エントランス等におけるマスク着用の確認の無人化や省人化を実現できる。結果的に、監視要員が新型コロナウイルス等の感染症に罹患するリスクを低減することができる。
また、マスク監視システム1の採用により、マスク以外の物で口元を隠して入り口10を通過しようとする人を未然に発見することができ、マスクの着用が義務付けられているエリアに滞在する人が新型コロナウイルス等の感染症に罹患するリスクを低減することができる。
【0042】
<実施の形態2>
<システムの構成>
図9は、実施の形態2で使用するマスク監視システム1Aの一例を説明する図である。
図9には、
図1との対応部分に対応する符号を付して示している。
図9も、マスク監視システム1Aのうち入り口10に設けられる設備を表している。
本実施の形態と実施の形態1との違いは、
図9に示すマスク監視システム1Aには、カメラ30B(
図1参照)が設けられていない点である。すなわち、本実施の形態では、可視光像を撮像するカメラ30Aのみを入り口10に設置している。
【0043】
図10は、実施の形態2で使用するマスク監視システム1Aの構成例を説明する図である。
図10には、
図2との対応部分に対応する符号を付して示している。
図10に示すシステム上の構成は、赤外光像を撮像するカメラ30B(
図2参照)が存在しない点を除き、基本的に実施の形態1と同じである。
ただし、本実施の形態におけるマスク着用判定装置50Aは、マスクの装着の誤検知の判定に用いる処理の内容が実施の形態1と異なっている。
【0044】
具体的には、本実施の形態におけるマスク着用判定装置50は、可視光像から人の骨格の情報を検知し、検知された骨格の情報を用いてマスク以外の物で口元を隠していないかを判定する。
マスク着用判定装置50Aは、画像処理装置の一例である。
【0045】
図11は、実施の形態2で使用するマスク着用判定装置50A(
図10参照)で実行される処理の概要を説明する図である。なお、
図11には、
図4との対応部分に対応する符号を付して示している。
本実施の形態の場合も、マスク着用判定装置50Aは、監視エリア10A(
図1参照)に人が侵入したか否かを判定する(ステップ1)。
【0046】
本実施の形態の場合、マスク着用判定装置50は、カメラ30A(
図1参照)で撮像された可視光像を使用して人の侵入の有無を判定する。なお、人の検知には、人感センサを用いてもよい。
ステップ1で否定結果が得られている間、マスク着用判定装置50Aは、ステップ1の判定を繰り返す。
【0047】
一方、ステップ1で肯定結果が得られた場合、マスク着用判定装置50Aは、可視光像から顔の部分を抽出する(ステップ2)。
次に、マスク着用判定装置50Aは、抽出された顔の部分の可視光像が、マスクの着用条件を満たすか否かを判定する(ステップ3)。ここでの着用条件は、第1の条件として記憶部102(
図3参照)に記憶されている。第1の条件の内容は実施の形態1と同じである。
【0048】
ステップ3で否定結果が得られた場合、すなわちマスクの着用条件を満たさない場合、マスク着用判定装置50Aは、マスクの未着用を出力する(ステップ4)。
なお、マスクの未着用の出力は、管理者端末60(
図2参照)に通知してもよいし、入り口10(
図1参照)に設置された自動ドアや入場ゲートの開閉制御に用いてもよい。例えばマスクの未着用者の入場を許可しない場合、マスクの未着用の出力により自動ドアや入場ゲートは閉制御される。
【0049】
一方、ステップ3で肯定結果が得られた場合、すなわちマスクの着用条件を満たす場合、マスク着用判定装置50Aは、可視光像から対象者の骨格の情報を検知する(ステップ11)。本実施の形態における骨格の情報は、人の頭、首、左右の肩、左右の肘、左右の手首、左右の腰、左右の膝、左右の足首等の位置を線分で接続した図形であり、人の姿勢やポーズを認識する技術として出願人により実用化されている。
マスク以外の物で口元を隠す場合、肩から肘を結ぶ線分と肘から手首を結ぶ線分は肘の部分で折れ曲がった形状になる特徴が現れる。
【0050】
図12は、マスクMを装着した人P1を撮像した可視光像から検知される骨格の情報を説明する図である。(A)はマスクMを装着した人P1の上半身の可視光像であり、(B)は同じ人P1から検知された骨格の情報である。
マスクMを付けている場合、両手は自由に使うことができる。例えば鞄や書類を持つことが可能である。
図12の場合、肘から先が検知範囲の外であるので、手で荷物を持っているか等は不明であるが、少なくとも腕は垂れ下がっていることが、肩と肘を結ぶ直線から分かる。
【0051】
図13は、口元を手で隠している人の可視光像から検知される骨格の情報例を説明する図である。(A)は口元を手で隠している人P2の可視光像であり、(B)は同じ人P2から検知された骨格の情報である。
口元を右手で隠している場合、右肘から右手首を結ぶ線分は口元の方向に向けられている。更に、右手首は口元付近に位置していることが分かる。
【0052】
図14は、口元を本Bで隠している人の可視光像から検知される骨格の情報例を説明する図である。(A)は両手で持った本Bで口元を隠している人P2の可視光像であり、(B)は同じ人P2から検知された骨格の情報である。
口元を本Bで隠している場合、手首から先を表す線分が口元の方向に向けられている。
図11の説明に戻る。
【0053】
ステップ11で骨格の情報が検知されると、マスク着用判定装置50Aは、マスクの装着の誤検知の条件を満たすか否かを判定する(ステップ12)。換言すると、マスク着用判定装置50Aは、ステップ11で検知された骨格の情報が、マスク以外の物体により口元を隠す動作を示す条件を満たすか否かを判定する。ここでの条件は、第2の条件として記憶部102に記憶されている。
第2の条件の1つは、対象者について検知された骨格の情報に、肘から手首を結ぶ線分が肘の部分で折れ曲がって口元の方向に向かう情報が含まれることである。
この第2の条件は、自身の手で口元を隠す場合と、手に持っている物で口元を隠す場合とで異なる。
【0054】
例えば自身の手で口元を隠す場合には、手首の位置が口元に近くなるが、手に持っている物で口元を隠す場合には、物の大きさにより手首の位置と口元との距離が様々になる。
例えばスマートフォンや文庫本等で口元を隠す場合には、自身の手で口元を隠すのと同じくらい口元と手首との距離が近くなる。
一方で、白紙の紙を閉じ合わせたノートで口元を隠す場合には、手首の位置は胸の高さほどになる。
【0055】
ステップ12で否定結果が得られた場合、すなわちマスクの装着の誤検知の条件を満たさない場合、マスク着用判定装置50Aは、マスクの着用を出力する(ステップ7)。
この場合も、マスクの着用の出力は、管理者端末60(
図2参照)に通知してもよいし、入り口10(
図1参照)に設置された自動ドアや入場ゲートの開閉制御に用いてもよい。この場合、マスクの着用の出力により自動ドアや入場ゲートは開制御される。
【0056】
一方、ステップ12で肯定結果が得られた場合、すなわちマスクの着用の誤検知の条件を満たす場合、マスク着用判定装置50Aは、マスクの装着の誤検知を管理者端末60(
図2参照)に通知する(ステップ8)。
続いて、マスク着用判定装置50Aは、対象者に対してアナウンスを出力する(ステップ9)。具体的には、マスク着用判定装置50Aは、スピーカ40(
図1参照)を通じて注意を与える音声を出力する。
【0057】
また、本実施の形態におけるマスク着用判定装置50Aは、同時に、監視ルームの監視スタッフにマスク以外の物で口元を隠している疑いを出力する(ステップ10)。本実施の形態の場合も、マスク着用判定装置50Aは、ディスプレイ70(
図2参照)に注意を喚起するメッセージや画像を表示する。なお、不図示のスピーカから音声を出力してもよい。
【0058】
本実施の形態で説明したマスク監視システム1Aの採用によっても、エントランス等におけるマスク着用の確認の無人化や省人化を実現できる。
また、本実施の形態の場合、可視光像を動画像として撮像していれば、検知された骨格の動きにより、マスク以外の物で口元を隠す動作の検知精度を高めることもできる。例えば入り口10の付近で撮像された可視光像がマスクの着用条件を満たし、かつ、マスクの装着の誤検知の条件を満たさない場合でも、入り口10に近づく間の手の動きから口元を隠す動作が検知された場合には、マスク以外の物で口元が隠されていると判定することも可能になる。
【0059】
また、本実施の形態の場合には、可視光像を撮像するカメラ30Aだけでシステムの構成が可能である。すなわち、既に監視用のカメラが設置されている施設の場合、本実施の形態で説明したマスク監視システム1Aであれば、監視用のカメラで撮像された可視光像を用いるだけで、マスク以外の物で口元を隠す動作を検知できる。
【0060】
<他の実施の形態>
(1)以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【0061】
(2)例えば前述の実施の形態では、マスク以外の物で口元を隠す動作を赤外光像により判定する実施の形態1と、マスク以外の物で口元を隠す動作を骨格の情報により判定する実施の形態2について説明したが、実施の形態1と実施の形態2を組み合わせて用いてもよい。例えば赤外光像によってもマスクを実際に装着しているのか判定が難しい場合には、骨格の情報を用いて判定の精度を高めてもよい。反対に、骨格の情報によってもマスクを実際に装着しているのか判定が難しい場合には、赤外光像を用いて判定の精度を高めてもよい。
【0062】
(3)前述の実施の形態1の場合には、顔の部分を抽出した可視光像に水平エッジが含まれる場合にマスクの装着と判定しているが、対象者の目の下の高さから耳や側頭部の方向に延びる2本の紐が検知され、その2本の紐が一定距離だけ離れていることをマスクの装着とみなす条件としてもよい。
図15は、マスクMが正しく装着されていると判定される例と判定されない例を説明する図である。(A)はマスクMを正しく装着している人P1を示し、(B)はマスクMをずらして顎に付けている人P2を示す。
【0063】
マスクMが正しく装着されている場合、水平エッジに加え、耳や側頭部の方向に延びる2本の紐が検知される。更に、それら2本の紐の距離は、閾値LTHより長いLである。
一方、マスクMをずらして顎に装着している場合、口の下に水平エッジが検知されるが、耳や側頭部の方向に延びる紐は1本しか検知されないか、2本の紐の距離は閾値LTHより短いL1となる。
【0064】
マスクMを口からずらして顎に装着する場合、マスクMの縦方向の幅は正しく装着される場合に比して狭まるためである。
マスクMが正しく装着されていることの判定に用いる閾値LTHは、マスクMのサイズによっても異なり得るが、市販されているマスクMのサイズは大人用と子供用のおおよそ2種類である。このため、閾値LTHは、大人用のマスクMが正しく装着されている状態の検知が可能な値に設定される。
【0065】
なお、2本の紐の距離を閾値L
THと比較してマスクの装着を判定するのは、メガネの弦が紐と誤検知される可能性もあるためである。
図16は、メガネを掛けている人が、マスクMが正しく装着されていると判定される例と判定されない例を説明する図である。(A)はマスクMを正しく装着している人P1を示し、(B)はマスクMをずらして顎に付けている人P2を示す。
【0066】
メガネを掛けている人の場合、メガネの弦とマスクMの上側の紐との距離L2と、マスクMの上側の紐と下側の紐との距離Lの2種類が可視光像から検知される。この場合でも、マスクMが正しく装着されていれば、閾値LTHよりも長い距離Lが検知されるので、正しいマスクMの装着が可能になる。
一方、メガネを掛けている人が、マスクMをずらして顎に引っ掛けている場合、少なくとも、メガネの弦とマスクMの上側の紐との距離L3が検知されるが、その距離L3は、やはり閾値LTHよりも短くなる。このため、メガネを掛けていても、掛けてなくても、マスクMの装着を正しく判定できる。
なお、メガネの種類によっては、弦が左右に2つずつ計4つ存在する場合もあるが、前述した基準を用いれば、マスクMの正しい装着を検知できる。
【0067】
(4)前述の実施の形態1の場合には、マスク着用判定装置50(
図1参照)が、カメラ30A(
図1参照)やカメラ30B(
図1参照)等と同じネットワーク20に接続されている場合について説明したが、マスク着用判定装置50は、クラウドサーバとして提供されてもよい。
図17は、他の実施の形態で使用するマスク監視システム1Bの一例を説明する図である。
図17には、
図2との対応部分に対応する符号を付して示している。
【0068】
図17に示すマスク監視システム1Bでは、ネットワーク20に接続された通信装置80とインターネット90を介して、マスク着用判定装置50が接続されている。マスク着用判定装置50で実行される処理動作は、実施の形態1と同じである。
なお、実施の形態2についても、マスク着用判定装置50A(
図10参照)をインターネット90に接続してもよい。
【符号の説明】
【0069】
1、1A、1B…マスク監視システム、10…入り口、10A…監視エリア、20…ネットワーク、30A、30B…カメラ、40…スピーカ、50、50A…マスク着用判定装置、60…管理者端末、70…ディスプレイ、80…通信装置、90…インターネット、101…制御部、102…記憶部、103…通信部