特開 2023-63956 画像処理システム、画像処理方法、画像処理プログラム、及び、画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023063956

(43)【公開日】2023-05-10

(54)【発明の名称】画像処理システム、画像処理方法、画像処理プログラム、及び、画像処理装置

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20230428BHJP

   G06T 7/00 20170101ALI20230428BHJP

【ＦＩ】

G06Q50/10

G06T7/00 660A

【審査請求】未請求

【請求項の数】19

【出願形態】ＯＬ

(21)【出願番号】P 2021174085

(22)【出願日】2021-10-25

(71)【出願人】

【識別番号】000001432

【氏名又は名称】グローリー株式会社

(74)【代理人】

【識別番号】110001818

【氏名又は名称】弁理士法人Ｒ＆Ｃ

(72)【発明者】

【氏名】福田 幸貴

(72)【発明者】

【氏名】柳内 久和

(72)【発明者】

【氏名】有水 浩二

(72)【発明者】

【氏名】長澤 正佳

【テーマコード（参考）】

5L049

5L096

【Ｆターム（参考）】

5L049CC11

5L096DA03

5L096FA02

5L096JA11

(57)【要約】

【課題】公共の場では人々は衛生マスクを着用することが一般的となった状況に鑑みて、利用者が着用する衛生マスクを識別し、当該衛生マスクが所定の条件を満たすか否かを判定する画像処理システムを提供すること。
【解決手段】衛生マスクを着用した利用者の顔を撮像した撮像画像を処理する画像処理システムに関する。撮像画像から衛生マスクが写されるマスク存在領域を検出する検出部１３と、マスク存在領域Ａ３に基づいて衛生マスクに関する衛生マスク情報を取得する取得部１６と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

衛生マスクを着用した利用者の顔を撮像した撮像画像を処理する画像処理システムであって、
前記撮像画像から前記衛生マスクが写されるマスク存在領域を検出する検出部と、
前記マスク存在領域に基づいて前記衛生マスクに関する衛生マスク情報を取得する取得部と、を備える画像処理システム。

【請求項2】

前記衛生マスクに関する所定条件を示す条件情報を記憶する記憶部と、
前記衛生マスク情報と前記条件情報とを照合して、前記利用者の着用する前記衛生マスクが前記所定条件を満たすか否かを判定する判定部と、をさらに備える請求項１に記載の画像処理システム。

【請求項3】

前記利用者の種別を示す利用者情報を取得する利用者種別取得部をさらに備え、
前記記憶部は、前記利用者の種別に対応して複数の前記条件情報を記憶するように構成され、
前記判定部は、前記利用者の着用する前記衛生マスクが前記利用者の種別に対応する前記所定条件を満たすか否かを判定するように構成されている請求項２に記載の画像処理システム。

【請求項4】

前記撮像画像が撮像された地域を取得する地域情報取得部をさらに備え、
前記記憶部は、前記地域に対応して複数の前記条件情報を記憶するように構成され、
前記判定部は、前記利用者の着用する前記衛生マスクが前記地域に対応する前記所定条件を満たすか否かを判定するように構成されている請求項２又は３に記載の画像処理システム。

【請求項5】

前記記憶部は、時間帯に対応して複数の前記条件情報を記憶するように構成され、
前記判定部は、前記利用者の着用する前記衛生マスクが前記時間帯に対応する前記所定条件を満たすか否かを判定するように構成されている請求項２から４のいずれか１項に記載の画像処理システム。

【請求項6】

前記利用者が用件を入力する入力部をさらに備え、
前記記憶部は、前記用件に対応して複数の前記条件情報を記憶するように構成され、
前記判定部は、前記利用者の着用する前記衛生マスクが前記用件に対応する前記所定条件を満たすか否かを判定するように構成されている請求項２から５のいずれか１項に記載の画像処理システム。

【請求項7】

報知装置を制御して前記利用者に報知を行う報知部をさらに備え、
前記報知部は、前記衛生マスクを着用する前記利用者に前記所定条件を満たすか否かを報知するとともに、前記所定条件を満たさないときに、前記所定条件を満たさない理由を前記利用者に報知するように構成されている請求項２から６のいずれか１項に記載の画像処理システム。

【請求項8】

前記検出部は、前記撮像画像から前記利用者の顔に関する第一顔情報を検出可能なように構成され、
前記第一顔情報から前記利用者を特定する第一利用者特定部をさらに備え、
前記判定部は、前記所定条件を満たさなかった回数を前記利用者ごとに前記記憶部に記憶可能なように構成されている請求項２から７のいずれか１項に記載の画像処理システム。

【請求項9】

前記取得部は、前記マスク存在領域に基づいて、前記衛生マスク情報として、前記利用者が着用している前記衛生マスクの色と形状との少なくとも一方を取得するように構成されている請求項１から８のいずれか１項に記載の画像処理システム。

【請求項10】

前記取得部は、前記マスク存在領域に基づいて、前記衛生マスク情報として、前記利用者の顔における前記衛生マスクの位置と角度との少なくとも一方を取得するように構成されている請求項１から９のいずれか１項に記載の画像処理システム。

【請求項11】

前記取得部は、前記マスク存在領域に基づいて、前記衛生マスク情報として、前記衛生マスクの種別を取得するように構成されている請求項１から１０のいずれか１項に記載の画像処理システム。

【請求項12】

前記取得部は、前記マスク存在領域に基づいて、前記衛生マスク情報として、前記衛生マスクに記される個人識別情報を取得するように構成されている請求項１から１１のいずれか１項に記載の画像処理システム。

【請求項13】

前記検出部は、前記撮像画像から前記利用者の顔に関する第一顔情報を検出可能なように構成され、
前記個人識別情報に基づいて、前記利用者の顔に関する第二顔情報を特定する第二利用者特定部と、
前記第一顔情報と前記第二顔情報とを照合することによって、前記利用者の顔認証を行う顔照合部と、をさらに備える請求項１２に記載の画像処理システム。

【請求項14】

報知装置を制御して前記利用者に報知を行う報知部をさらに備え、
前記報知部は、前記利用者に前記顔認証が成功したか否かを報知するとともに、前記顔照合部が前記顔認証に失敗すると、前記利用者に前記衛生マスクを外すことを促すように報知し、
前記検出部は、前記利用者が前記衛生マスクを外した状態における前記撮像画像から前記利用者の顔に関する第三顔情報を検出可能なように構成され、
前記顔照合部は、前記第二顔情報と前記第三顔情報とを照合することによって、前記顔認証を行うように構成されている請求項１３に記載の画像処理システム。

【請求項15】

前記報知部は、前記顔認証が成功すると、前記利用者に前記衛生マスクの着用を促すように報知する請求項１４に記載の画像処理システム。

【請求項16】

前記顔認証が成功したあと、前記利用者が前記衛生マスクを着用しているか否かを判定する再着用確認部をさらに備える請求項１５に記載の画像処理システム。

【請求項17】

衛生マスクを着用した利用者の顔を撮像した撮像画像を処理する画像処理方法であって、
コンピュータに、前記撮像画像から前記衛生マスクが写されるマスク存在領域を検出する検出ステップと、
コンピュータに、前記マスク存在領域に基づいて前記衛生マスクに関する衛生マスク情報を取得する取得ステップと、を備える画像処理方法。

【請求項18】

衛生マスクを着用した利用者の顔を撮像した撮像画像をコンピュータに処理させる画像処理プログラムであって、
前記撮像画像から前記衛生マスクが写されるマスク存在領域を検出する検出機能と、
前記マスク存在領域に基づいて前記衛生マスクに関する衛生マスク情報を取得する取得機能と、をコンピュータに実行させる画像処理プログラム。

【請求項19】

衛生マスクを着用した利用者の顔を撮像した撮像画像を処理する画像処理装置であって、
前記撮像画像から前記衛生マスクが写されるマスク存在領域を検出する検出部と、
前記マスク存在領域に基づいて前記衛生マスクに関する衛生マスク情報を取得する取得部と、を備える画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理システム、画像処理方法、画像処理プログラム、及び、画像処理装置に関する。

【背景技術】

【0002】

例えば特許文献１に開示された認証システムは、利用者がマスクを着用している場合に、利用者の顔全体による認証を行わず、利用者の目元認証を行うように構成されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１６６５９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、西暦２０２０年に「ＣＯＶＩＤ－１９」と呼ばれるコロナウイルスが世界的に蔓延したことによって、公共の場では人々は衛生マスクを着用することが一般的となった。そして、機能性の異なる衛生マスクや個性的な衛生マスク等、様々な衛生マスクが存在するようになった。また、衛生マスクの着用方法も利用者ごとに異なる。その結果、衛生マスクの形状・色彩や衛生マスクの着用方法が、職場や学校、施設等における規則や規律と折り合いがつかなくなるという課題が生じている。しかし、従来技術では衛生マスクに関する適否を識別するものが無く、上記課題に対応する必要がある。

【0005】

本発明の目的は、衛生マスクの適切な着用に貢献できる画像処理システムを提供することにある。

【課題を解決するための手段】

【0006】

上記目的を達成するための画像処理システムの特徴構成は、衛生マスクを着用した利用者の顔を撮像した撮像画像を処理する画像処理システムであって、前記撮像画像から前記衛生マスクが写されるマスク存在領域を検出する検出部と、前記マスク存在領域に基づいて前記衛生マスクに関する衛生マスク情報を取得する取得部と、を備える点にある。

【0007】

上記の特徴構成によれば、衛生マスクを着用した利用者を撮像することによって、検出部が衛生マスクの存在領域を検出し、取得部が衛生マスクに関する情報を取得する。このため、上記の特徴構成であれば、撮像画像から取得された衛生マスク情報を用いて、衛生マスクの適切な着用に向けた様々な対応を実行することが可能となる。例えば、利用者が適切な衛生マスクを着用しているか否かの判定や、衛生マスクの着用形態が適切であるか否かの判定等を実行することが可能となる。

【0008】

本発明に係る画像処理システムの別の特徴構成は、前記衛生マスクに関する所定条件を示す条件情報を記憶する記憶部と、前記衛生マスク情報と前記条件情報とを照合して、前記利用者の着用する前記衛生マスクが前記所定条件を満たすか否かを判定する判定部と、をさらに備える点にある。

【0009】

上記の特徴構成であれば、記憶部が条件情報を記憶するように構成され、条件情報は衛生マスクに関する所定条件を示すものであるため、画像処理システムの運用者や管理者は、所属組織の規則や規律に合致した条件情報を予め記憶部に記憶できる。そして、判定部が衛生マスク情報と条件情報とを照合して、衛生マスクが所定条件を満たすか否かを判定するように構成される。このため、判定結果に基づいて衛生マスクの適切な着用に向けた様々な対応を実行することが可能となる。例えば、所定条件を満たさない利用者に、職場や学校、その他施設等における規則や規律に合わせて衛生マスクの適正な着用を促すことが可能となる。

【0010】

本発明に係る画像処理システムの別の特徴構成は、前記利用者の種別を示す利用者情報を取得する利用者種別取得部をさらに備え、前記記憶部は、前記利用者の種別に対応して複数の前記条件情報を記憶するように構成され、前記判定部は、前記利用者の着用する前記衛生マスクが前記利用者の種別に対応する前記所定条件を満たすか否かを判定するように構成されている点にある。

【0011】

例えば施設が病院である場合、利用者は、外来者、患者、医師、看護師、事務員等が考えられ、利用者の夫々で異なる種類の衛生マスクを着用していることが考えられる。このため、衛生マスクに関する所定条件は、利用者の種別に応じて区分けされる構成が望ましい。上記の特徴構成によれば、記憶部に条件情報が利用者の種別に応じて記憶され、判定部は利用者の種別に応じて条件情報を記憶部から読み出すため、判定部は利用者に応じて柔軟に衛生マスクの適否を判定できる。

【0012】

本発明に係る画像処理システムの別の特徴構成は、前記撮像画像が撮像された地域を取得する地域情報取得部をさらに備え、前記記憶部は、前記地域に対応して複数の前記条件情報を記憶するように構成され、前記判定部は、前記利用者の着用する前記衛生マスクが前記地域に対応する前記所定条件を満たすか否かを判定するように構成されている点にある。

【0013】

西暦２０２０年にＣＯＶＩＤ－１９が蔓延したとき、世界各地で都市封鎖が行われた。都市封鎖が行われている地域では、所定条件を他の地域よりも厳しく設定する場合が考えられる。上記の特徴構成によれば、撮像画像が撮影された地域に対応する所定条件に基づいて判定が行なわれるので、地域の状況に応じた適切な判定が行なわれる。

【0014】

本発明に係る画像処理システムの別の特徴構成は、前記記憶部は、時間帯に対応して複数の前記条件情報を記憶するように構成され、前記判定部は、前記利用者の着用する前記衛生マスクが前記時間帯に対応する前記所定条件を満たすか否かを判定するように構成されている点にある。

【0015】

西暦２０２０年にＣＯＶＩＤ－１９が蔓延したとき、日本国では緊急事態宣言が発令され、緊急事態宣言の発令中には店舗等の施設の使用態様も時間帯に応じて制限された。このため、所定条件を時間帯に応じて変更する場合が考えられる。上記の特徴構成によれば、記憶部に条件情報が時間帯に応じて記憶され、判定部は時間帯に応じて条件情報を記憶部から読み出すため、判定部は時間帯に応じて柔軟に衛生マスクの適否を判定できる。

【0016】

本発明に係る画像処理システムの別の特徴構成は、前記利用者が用件を入力する入力部をさらに備え、前記記憶部は、前記用件に対応して複数の前記条件情報を記憶するように構成され、前記判定部は、前記利用者の着用する前記衛生マスクが前記用件に対応する前記所定条件を満たすか否かを判定するように構成されている点にある。

【0017】

例えば施設が金融機関である場合、利用者は、口座の開設や変更手続き、投資や融資の相談等の様々な用件で施設を利用することが考えられる。用件次第では、複数人が密閉空間に集合することも考えられ、この場合には衛生マスクの着用状態等の条件に注意を払う必要がある。上記の特徴構成によれば、記憶部に条件情報が用件に応じて記憶され、判定部は用件に応じて条件情報を記憶部から読み出すため、判定部は用件に応じて柔軟に衛生マスクの適否を判定できる。

【0018】

本発明に係る画像処理システムの別の特徴構成は、報知装置を制御して前記利用者に報知を行う報知部をさらに備え、前記報知部は、前記衛生マスクを着用する前記利用者に前記所定条件を満たすか否かを報知するとともに、前記所定条件を満たさないときに、前記所定条件を満たさない理由を前記利用者に報知するように構成されている点にある。

【0019】

上記の特徴構成であれば、報知部が所定条件を満たすか否かを利用者に報知するように構成され、所定条件を満たさない場合にはその理由も一緒に報知するため、利用者に衛生マスクの適正な着用を促すことが可能となる。

【0020】

本発明に係る画像処理システムの別の特徴構成は、前記検出部は、前記撮像画像から前記利用者の顔に関する第一顔情報を検出可能なように構成され、前記第一顔情報から前記利用者を特定する第一利用者特定部をさらに備え、前記判定部は、前記所定条件を満たさなかった回数を前記利用者ごとに前記記憶部に記憶可能なように構成されている点にある。

【0021】

利用者が衛生マスクを適切に着用することを心掛けている場合であっても、利用者の日常的な癖等によって、必ずしも適切に着用していない場合が考えられる。上記の特徴構成によれば、記憶部は所定条件を満たさなかった回数を利用者ごとに記憶可能であるため、衛生マスクの適切な着用に関して、利用者に気付きを与えることが可能となる。また、所定条件を満たさなかったことが記録される構成によって、利用者の衛生マスクの着用方法の傾向を分析することが可能となり、利用者が衛生マスクを適切に着用するための対策の策定が容易となる。

【0022】

本発明に係る画像処理システムの別の特徴構成は、前記取得部は、前記マスク存在領域に基づいて、前記衛生マスク情報として、前記利用者が着用している前記衛生マスクの色と形状との少なくとも一方を取得するように構成されている点にある。

【0023】

例えば学校では、衛生マスクの色彩や形状が指定されている場合が考えられ、職場では衛生マスクの色彩が華美にならないように制限している場合も考えられる。上記の特徴構成によれば、取得部が衛生マスクの色と形状との少なくとも一方を取得する構成であるため、利用者が規則や規律に応じて適正な衛生マスクを着用しているか否かを判定する画像処理システムの構築が可能となる。

【0024】

本発明に係る画像処理システムの別の特徴構成は、前記取得部は、前記マスク存在領域に基づいて、前記衛生マスク情報として、前記利用者の顔における前記衛生マスクの位置と角度との少なくとも一方を取得するように構成されている点にある。

【0025】

衛生マスクが利用者の鼻より下部分だけを覆っていたり、衛生マスクが利用者の顔の左右いずれかに偏っていたりする場合、衛生マスクが本来の機能を果たせなくなる。上記の特徴構成によれば、取得部が、利用者の顔における衛生マスクの位置と角度との少なくとも一方を取得する構成であるため、利用者が衛生マスクを適正な着用方法で着用しているか否かを判定する画像処理システムの構築が可能となる。

【0026】

本発明に係る画像処理システムの別の特徴構成は、前記取得部は、前記マスク存在領域に基づいて、前記衛生マスク情報として、前記衛生マスクの種別を取得するように構成されている点にある。

【0027】

例えば衛生マスクの種別として、材質面では布製、不織布製、ウレタン製等に区別される。また、衛生マスクの種別は、材質面以外にも、プリーツを有する衛生マスクや立体形状の衛生マスク、米国労働安全衛生研究所の各種規格に適合する衛生マスク等、多種に区別される。上記の特徴構成によれば、取得部が、衛生マスクの種別を取得する構成であるため、例えば医療現場等の厳重な衛生管理が必要な施設で利用者が適正な衛生マスクを着用しているか否かを判定する画像処理システムの構築が可能となる。

【0028】

本発明に係る画像処理システムの別の特徴構成は、前記取得部は、前記マスク存在領域に基づいて、前記衛生マスク情報として、前記衛生マスクに記される個人識別情報を取得するように構成されている点にある。

【0029】

衛生マスクに、例えばバーコードや二次元コード、カラーコード等を記せば、衛生マスクを社員証として兼用することが可能である。上記の特徴構成によれば、衛生マスクに個人識別情報を付すことが可能である点に着目して、取得部が衛生マスクに記される個人識別情報を取得するため、別途社員証等が無くても衛生マスクでの個人認証が可能となる。

【0030】

本発明に係る画像処理システムの別の特徴構成は、前記検出部は、前記撮像画像から前記利用者の顔に関する第一顔情報を検出可能なように構成され、前記個人識別情報に基づいて、前記利用者の顔に関する第二顔情報を特定する第二利用者特定部と、前記第一顔情報と前記第二顔情報とを照合することによって、前記利用者の顔認証を行う顔照合部と、をさらに備える点にある。

【0031】

上記の特徴構成によれば、個人識別情報と紐づけられて利用者の顔情報が第二顔情報として記憶されており、利用者の顔情報が個人識別情報から特定可能に構成されている。また、撮像画像から利用者の顔情報が第一顔情報として検出される。このため、顔照合部が第一顔情報と第二顔情報とを照合することによって、利用者の顔認証が可能となる。この構成によって、衛生マスクに基づく認証（所有物認証）と、利用者の顔情報に基づく認証（生体認証）と、の二要素認証が可能となる。

【0032】

本発明に係る画像処理システムの別の特徴構成は、報知装置を制御して前記利用者に報知を行う報知部をさらに備え、前記報知部は、前記利用者に前記顔認証が成功したか否かを報知するとともに、前記顔照合部が前記顔認証に失敗すると、前記利用者に前記衛生マスクを外すことを促すように報知し、前記検出部は、前記利用者が前記衛生マスクを外した状態における前記撮像画像から前記利用者の顔に関する第三顔情報を検出可能なように構成され、前記顔照合部は、前記第二顔情報と前記第三顔情報とを照合することによって、前記顔認証を行うように構成されている点にある。

【0033】

利用者が衛生マスクを着用している状態であると、顔照合部は、利用者の顔領域のうち衛生マスクよりも上側部分（目元、額、髪の毛の部分）を照合する場合があり、この場合には顔認証の精度が低下する虞が考えられる。上記の特徴構成によれば、顔照合部が顔認証に失敗した場合には報知部が利用者に衛生マスクを外すように報知する。これにより、利用者がマスクを外した状態の撮像画像が取得可能となり、顔照合部は、利用者がマスクを外した状態の第三顔情報を上記の第二顔情報と照合可能となる。換言すると、利用者の顔の全領域に亘る照合が可能となる。この結果、顔照合部は高精度な顔認証を可能となる。

【0034】

本発明に係る画像処理システムの別の特徴構成は、前記報知部は、前記顔認証が成功すると、前記利用者に前記衛生マスクの着用を促すように報知する点にある。

【0035】

上記の特徴構成によって、利用者が衛生マスクを外した状態で顔認証が行われた後、利用者が衛生マスクを再着用し忘れる虞が抑制される。

【0036】

本発明に係る画像処理システムの別の特徴構成は、前記顔認証が成功したあと、前記利用者が前記衛生マスクを着用しているか否かを判定する再着用確認部をさらに備える点にある。

【0037】

上記の特徴構成によって、衛生マスクを外して顔認証を行なった後の再着用が行なわれたか否かが判定されるので、判定結果を用いて様々な対応を実行することが可能となる。例えば、再着用を行なっていない利用者の入室を禁止したり、再着用を促す報知を行なったりすることが可能となる。

【0038】

本発明の画像処理システムの特徴構成は、画像処理方法にも適用可能である。上記目的を達成するための画像処理方法の特徴構成は、衛生マスクを着用した利用者の顔を撮像した撮像画像を処理する画像処理方法であって、コンピュータに、前記撮像画像から前記衛生マスクが写されるマスク存在領域を検出する検出ステップと、コンピュータに、前記マスク存在領域に基づいて前記衛生マスクに関する衛生マスク情報を取得する取得ステップと、を備える点にある。

【0039】

上記の特徴構成によれば、衛生マスクを着用した利用者を撮像することによって、検出ステップが衛生マスクの存在領域を検出し、取得ステップが衛生マスクに関する情報を取得する。このため、上記の特徴構成であれば、撮像画像から取得された衛生マスク情報を用いて、衛生マスクの適切な着用に向けた様々な対応を実行することが可能となる。例えば、利用者が適切な衛生マスクを着用しているか否かの判定や、衛生マスクの着用形態が適切であるか否かの判定等を実行することが可能となる。

【0040】

本発明の画像処理システムの特徴構成は、画像処理プログラムにも適用可能である。上記目的を達成するための画像処理プログラムの特徴構成は、衛生マスクを着用した利用者の顔を撮像した撮像画像をコンピュータに処理させる画像処理プログラムであって、前記撮像画像から前記衛生マスクが写されるマスク存在領域を検出する検出機能と、前記マスク存在領域に基づいて前記衛生マスクに関する衛生マスク情報を取得する取得機能と、をコンピュータに実行させる点にある。

【0041】

上記の特徴構成によれば、衛生マスクを着用した利用者を撮像することによって、検出機能が衛生マスクの存在領域を検出し、取得機能が衛生マスクに関する情報を取得する。このため、上記の特徴構成であれば、撮像画像から取得された衛生マスク情報を用いて、衛生マスクの適切な着用に向けた様々な対応を実行することが可能となる。例えば、利用者が適切な衛生マスクを着用しているか否かの判定や、衛生マスクの着用形態が適切であるか否かの判定等を実行することが可能となる。

【0042】

本発明の画像処理システムの特徴構成は、画像処理装置にも適用可能である。上記目的を達成するための画像処理装置の特徴構成は、衛生マスクを着用した利用者の顔を撮像した撮像画像を処理する画像処理装置であって、前記撮像画像から前記衛生マスクが写されるマスク存在領域を検出する検出部と、前記マスク存在領域に基づいて前記衛生マスクに関する衛生マスク情報を取得する取得部と、を備える点にある。

【0043】

上記の特徴構成によれば、衛生マスクを着用した利用者を撮像することによって、検出部が衛生マスクの存在領域を検出し、取得部が衛生マスクに関する情報を取得する。このため、上記の特徴構成であれば、撮像画像から取得された衛生マスク情報を用いて、衛生マスクの適切な着用に向けた様々な対応を実行することが可能となる。例えば、利用者が適切な衛生マスクを着用しているか否かの判定や、衛生マスクの着用形態が適切であるか否かの判定等を実行することが可能となる。

【0044】

本発明の上記及びその他の構成、特徴、方法及び作用効果に関しては、下記の実施形態及び図面によって、一層明確になるであろう。

【図面の簡単な説明】

【0045】

【図1】衛生マスクの適否を判定する画像処理システムを示すブロック図である。

【図2】衛生マスクの適否判定を示すフローチャート図である。

【図3】衛生マスクに基づく個人認証を行う画像処理システムを示すブロック図である。

【図4】衛生マスクに基づく個人認証を示すフローチャート図である。

【図5】目間画素数の変化に基づく入室判定を示す図である。

【図6】目間画素数の変化に基づく入室判定を示す図である。

【発明を実施するための形態】

【0046】

以下、添付図面を参照しながら、画像処理システムの好適な実施形態について詳細に説明する。以下の実施形態では、主に施設が病院である場合を例にして説明するが、施設が病院である場合に限定されない。本実施形態の画像処理システムは、教育施設、保育所、福祉施設、金融機関、郵便局、飲食店、小売店舗、オフィスビル、鉄道やバス等のステーション、空港、宿泊施設、工場、建設現場、電力施設、水道施設、物流施設、農林業施設、水産施設、研究施設、軍事施設、官公庁施設、催物会場、娯楽施設、スポーツ施設等の様々な施設で利用できる。

【0047】

〔衛生マスクの適否を判定する画像処理システム〕
図１は、衛生マスクの適否を判定する画像処理システムを示すブロック図である。図１に示す実施形態の画像処理システムに、カメラ１と、用件入力部２（本発明の『入力部』）と、地域情報取得部３と、報知装置４と、が備えられている。カメラ１と用件入力部２と地域情報取得部３と報知装置４とは、例えばタブレットコンピュータのように、一つの装置に組み込まれる構成であって良い。

【0048】

カメラ１はカラー映像を撮影するように構成され、衛生マスクを着用した利用者を撮像する。カメラ１は、カラー映像に加えて、赤外線映像を撮影するように構成されても良い。

【0049】

用件入力部２は、施設を訪れた利用者が用件を入力するものであって、例えば利用者がタッチパネルモニタで操作するものである。用件入力部２がタッチパネルモニタのソフトボタンである場合、例えばタッチパネルモニタに複数の当該ソフトボタンが用件ごとに表示され、利用者が当該ソフトボタンをタッチ操作する。

【0050】

地域情報取得部３は、カメラ１の設置される地域に関する情報を取得する。地域情報取得部３は、例えばＧＮＳＳ（グローバル・サテライト・ナビゲーション・システム）の測位装置であっても良いし、ビーコンの受信装置であっても良いし、ＬＡＮのアクセスポイントから位置情報や地域情報を取得するものであっても良い。また、地域情報取得部３が、人為操作に基づいて地域に関する情報を取得するよう構成されても良い。例えばタブレットコンピュータのタッチパネルモニタに地域設定のソフトボタンが表示され、例えば利用者や管理者等が当該ソフトボタンを操作して地域情報を指定することで、地域情報取得部３が地域情報を取得する構成であっても良い。

【0051】

報知装置４は、例えばブザーや音声ガイダンスを出力するスピーカであっても良いし、視覚情報を出力するモニタであっても良いし、音声情報と視覚情報との両方を出力するものであっても良い。用件入力部２がタッチパネルモニタで構成されている場合、当該タッチパネルモニタが報知装置４として兼用されても良い。報知装置４が電子メールを送信する装置であっても良い。

【0052】

図１に示す実施形態の画像処理システムに、記憶部１１と、映像入力部１２と、検出部１３と、利用者種別取得部１４と、利用者特定部１５（本発明の『第一利用者特定部』）と、マスク情報取得部１６と、条件情報取得部１７と、判定部１８と、報知部１９と、が備えられている。上述の機能部（記憶部１１～報知部１９）は画像解析処理に関するリアルタイム処理を可能な画像処理サーバーに構築されたプログラムモジュールであって、クラウド環境で動作する構成となっている。映像入力部１２はカメラ１と通信可能に接続され、用件入力部２及び地域情報取得部３は条件情報取得部１７と通信可能に接続され、報知装置４は報知部１９と通信可能に接続されている。

【0053】

記憶部１１は、衛生マスクに関する所定条件を示す条件情報を記憶媒体（例えばハードディスクやフラッシュメモリ）に記憶する。所定条件は、例えば、病院、学校、オフィス、催物会場等ごとに異なり、本実施形態の画像処理システムの管理者やオペレータは、利用施設ごとに条件情報を適宜設定し、記憶部１１に記憶させる。

【0054】

また、記憶部１１に、利用者及び利用者の種別を示す利用者情報が記憶される。例えば施設が病院である場合、医療従事者の利用者情報が、医師、看護師、カウンセラー、事務員等の種別に区分けされて記憶部１１に記憶される。利用者情報には利用者の顔情報が含まれる。顔情報とは、人物を特定するための情報であって、顔の画像や、顔の画像から特徴（目や鼻、口等の間隔や位置関係など）を数値化した情報である。利用者情報に、名前等の個人識別情報が含まれても良い。

【0055】

衛生マスクを着用した利用者がカメラ１によって撮像され、カメラ１によって撮像された撮像画像が映像入力部１２によって撮像画像データとして取り込まれる。図１に示す例では、破線で囲んだ撮像領域Ａ１が撮像画像データとして取り込まれる。撮像画像データは、映像入力部１２から検出部１３へ送信される。

【0056】

検出部１３に、顔検出部１３Ａとマスク検出部１３Ｂとが備えられている。顔検出部１３Ａは、映像入力部１２によって取り込まれた撮像領域Ａ１のうち、利用者の顔が存在する顔情報領域Ａ２を検出する。マスク検出部１３Ｂは、顔情報領域Ａ２から、例えば肌の色と相違する部分を抽出する等の手法によって、衛生マスクの存在するマスク存在領域Ａ３を検出する。

【0057】

顔検出部１３Ａは、検出された顔情報領域Ａ２に関する情報（位置や形状など）を利用者種別取得部１４と利用者特定部１５との夫々へ送信する。マスク検出部１３Ｂは、検出されたマスク存在領域Ａ３に関する情報（位置や形状など）をマスク情報取得部１６へ送信する。マスク検出部１３Ｂは、本発明の『検出機能』に相当する。

【0058】

利用者特定部１５は、顔検出部１３Ａによって検出された顔情報領域Ａ２に基づいて、利用者の顔情報を抽出する。そして利用者特定部１５は、抽出された顔情報に基づいて、記憶部１１に記憶されている利用者情報を検索する。利用者情報には利用者の顔情報が含まれ、利用者特定部１５は利用者情報における顔情報を検索する。そして、利用者の顔情報が見つかると、利用者特定部１５は利用者情報に基づいて利用者を特定する。このとき、利用者種別取得部１４は利用者情報に基づいて利用者の種別を取得する。

【0059】

なお、例えば病院の外来者等の顔情報は記憶部１１に記憶されていない場合が多く、利用者特定部１５が利用者の特定に失敗する場合が考えられる。その場合、利用者種別取得部１４は、例えば「その他」の種別（利用者の特定に失敗した場合のために用意された種別）を当該利用者の種別として取得する。

【0060】

利用者特定部１５は、利用者の特定情報を判定部１８へ送信する。また、利用者種別取得部１４は、利用者の種別に関する情報を条件情報取得部１７へ送信する。

【0061】

マスク情報取得部１６は、衛生マスクの存在するマスク存在領域Ａ３に基づいて衛生マスクに関する衛生マスク情報を取得する。詳しくは、マスク情報取得部１６は、マスク検出部１３Ｂによって検出されたマスク存在領域Ａ３に基づいて、画像解析により衛生マスク情報を取得する。衛生マスク情報とは、衛生マスクの色彩、形状、利用者の顔における衛生マスクの位置及び角度、衛生マスクの種別等である。

【0062】

衛生マスクの色彩とは、衛生マスクの色や模様や柄等を含む。衛生マスクの形状とは、衛生マスクの外形や立体形状等を含む。

【0063】

衛生マスクの種別とは、衛生マスクの材質（布、不織布、ウレタン等）、衛生マスクの規格（米国労働安全衛生研究所の規格等）等を含む。

【0064】

マスク情報取得部１６は、当該衛生マスク情報を判定部１８へ送信する。マスク情報取得部１６は、衛生マスクの種別を、衛生マスクの色情報や形状情報、衛生マスクの表面温度等に基づいて取得可能に構成されている。衛生マスクの表面温度は、例えば赤外線情報から取得可能である。カメラ１に、赤外線映像を撮像する機能が備えられていれば、映像入力部１２、マスク検出部１３Ｂ及びマスク情報取得部１６は衛生マスクの表面温度を取得できる。マスク情報取得部１６は、本発明の『取得部』及び『取得機能』に相当する。

【0065】

条件情報取得部１７は、利用者の種別と、用件入力部２で入力された用件と、地域情報取得部３で取得した地域情報と、マスク情報取得部１６が衛生マスク情報を取得したタイミングにおける時間帯と、の少なくとも一つに基づいて記憶部１１から条件情報を読み出す。そして条件情報取得部１７は、当該条件情報を判定部１８へ送信する。

【0066】

判定部１８は、条件情報取得部１７から受け取った条件情報と、マスク情報取得部１６から受け取った衛生マスク情報と、を照合して、利用者の着用する衛生マスクが所定条件を満たすか否かを判定する。判定部１８の判定結果は報知部１９へ送信される。

【0067】

報知部１９は、報知装置４を制御して衛生マスクが所定条件を満たすか否かを利用者に報知する。衛生マスクが所定条件を満たす場合、『衛生マスクが所定条件を満たす』という情報が報知部１９から報知装置４を介して利用者に報知される。衛生マスクが所定条件を満たさない場合、『衛生マスクが所定条件を満たさないこと、及び、その理由』という情報が、報知部１９から報知装置４を介して利用者に報知される。

【0068】

判定部１８には、利用者特定部１５から利用者の情報が送られる。衛生マスクが所定条件を満たさない場合、判定部１８は、所定条件を満たさなかった回数を利用者ごとに記憶部１１に記憶する。このため、衛生マスクの適切な着用に関して、利用者に気付きを与えることが可能となる。また、所定条件を満たさなかったことが記憶部１１に記憶される構成によって、利用者の衛生マスクの着用方法の傾向を分析することが可能となり、利用者が衛生マスクを適切に着用するための対策が容易となる。

【0069】

なお、利用者特定部１５が利用者の特定に失敗した場合、判定部１８は所定条件を満たさなかった回数を記憶部１１に記憶しない構成であっても良い。あるいは、利用者特定部１５が利用者の特定に失敗した場合、判定部１８は、利用者に関係なく、単に所定条件を満たさなかったことの判定日時を記憶部１１に記録する構成であっても良い。

【0070】

衛生マスクに関する所定条件を示す条件情報は、利用者の種別、地域、時間帯、用件等に対応して適宜設定される。このため、記憶部１１に複数の条件情報が記憶される。例えば、利用者の種別、地域、時間帯、用件等の項目に応じて、条件情報が二次元以上の配列テーブルとして構成されても良い。なお、条件情報は、利用者の種別、地域、時間帯、用件の全てによって構成されなくても良く、施設、利用者の種別、地域、時間帯、用件の少なくとも一つで構成されても良い。

【0071】

例えば病院において、医師や看護師は、米国労働安全衛生研究所のＮ９５規格に適合する衛生マスクの着用を義務付けられている場合が考えられる。また、病院の事務員は、衛生マスクの色彩・形状等を指定され、華美・奇抜な衛生マスクの着用を禁止されている場合が考えられる。

【0072】

この場合、例えば管理者やシステムオペレータは、病院に勤務する医師、看護師、事務員等の利用者情報を予め記憶部１１に記憶し、利用者の種別を『医師』、『看護師』、『事務員』、『その他』に区分けして、利用者の種別ごとに複数の条件情報を記憶部１１に記憶することが可能である。このとき、利用者の種別が『医師』と『看護師』とである場合の条件情報は『Ｎ９５規格に適合すること』と設定され、利用者の種別が『事務員』である場合の条件情報は『指定された色彩・形状であること』と設定され、利用者の種別が『その他』である場合の条件情報は『市販品の衛生マスクで良い』と設定されても良い。

【0073】

利用者特定部１５によって、病院に勤務する医師、看護師、事務員等の利用者が特定されると、条件情報取得部１７は、『医師』、『看護師』、『事務員』等の利用者の種別に応じて条件情報を読み出す。一方、病院を訪問する利用者は、記憶部１１の利用者情報に記憶されていない場合が多い。この場合、利用者特定部１５が記憶部１１の利用者情報から利用者を特定できないため、利用者種別取得部１４は『その他』の種別を取得し、条件情報取得部１７は『その他』の種別の条件情報を記憶部１１から読み出す。

【0074】

そして、判定部１８は、医師や看護師がＮ９５規格に適合する衛生マスクを適正な着用方法で着用しているか否かを判定する。また、判定部１８は、事務員が指定の衛生マスクを適正な着用方法で着用しているか否かを判定する。さらに、判定部１８は、例えば外来者等が市販の衛生マスクを適正な着用方法で着用しているか否かを判定する。つまり、判定部１８は、利用者の着用する衛生マスクが利用者の種別に対応する所定条件を満たすか否かを判定するように構成されている。

【0075】

病院を訪問する利用者は、診察のために訪問する外来患者、患者を見舞いに来る外来者、医師を訪問するＭＲ（医薬情報担当者）、薬品や医療機器や備品を搬入する搬入業者、等の多岐に亘り、利用者の夫々の用件が異なる。このため、例えば管理者やオペレータは、利用者の用件ごとに、複数の条件情報を記憶部１１に記憶することが可能である。例えば病院を訪問する利用者の用件が診察や患者の見舞いである場合には、衛生マスクの条件情報を他の用件の場合よりも厳しく設定することも可能である。この場合、利用者は用件入力部２に用件を入力し、条件情報取得部１７は用件に応じて記憶部１１から条件情報を読み出す。そして判定部１８は、利用者の着用する衛生マスクが用件に対応する所定条件を満たすか否かを判定するように構成されている。

【0076】

病院以外を例に挙げると、大学入試試験等の筆記試験が実施される場所では、文字の付された衛生マスクの着用は、不正行為の防止の観点から禁止される場合が多い。このような場合、条件情報は『文字が付されていないこと』、『単色であること』等と設定され、判定部１８は、利用者の着用する衛生マスクが単色であるか否かを判定したり、当該衛生マスクに文字が無いか否かを判定したりするように構成されている。なお、判定部１８は、衛生マスクに文字が付されている場合であっても、特定の文字が付されている場合に限って、所定条件を満たすものと判定する構成であっても良い。

【0077】

例えば都市封鎖や人流制限が行われている地域の場合、都市封鎖や人流制限が行われていない地域よりも条件情報を厳しく設定する場合も考えられる。このような場合、記憶部１１は、地域に対応して複数の条件情報を記憶するように構成される。このとき、判定部１８は、利用者が衛生マスクを一層適切に着用しているか否かを判定する構成であっても良い。つまり、判定部１８は、利用者の着用する衛生マスクが地域に対応する所定条件を満たすか否かを判定するように構成されている。

【0078】

ＣＯＶＩＤ－１９の蔓延防止対策のため、飲食店は時間帯ごとに営業態様を制限された。このような事象に対応する場合、記憶部１１は、時間帯に対応して複数の条件情報を記憶するように構成される。このとき、判定部１８は、利用者が特定の時間帯において衛生マスクを一層適切に着用しているか否かを判定する構成であっても良い。つまり、判定部１８は、利用者の着用する衛生マスクが時間帯に対応する所定条件を満たすか否かを判定するように構成されている。

【0079】

上記の具体的な事例を踏まえたうえで、図２に基づいて、図１に示す実施形態の画像処理システムが衛生マスクの適否を判定する処理の流れの一例を説明する。まず、顔検出部１３Ａが、映像入力部１２によって取り込まれた撮像領域Ａ１の撮像画像データうち、利用者の顔が存在する顔情報領域Ａ２を検出すると（ステップ＃０１）、利用者特定部１５が利用者を特定する。そして、利用者種別取得部１４が、利用者の種別を示す利用者情報を取得する（ステップ＃０２）。

【0080】

次に、マスク検出部１３Ｂは、顔情報領域Ａ２から衛生マスクの存在するマスク存在領域Ａ３の検出を試みる（ステップ＃０３）。ステップ＃０３は、本発明の『検出ステップ』に相当する。利用者が衛生マスクを着用しているとマスク存在領域Ａ３が検出され、利用者が衛生マスクを着用していなければマスク存在領域Ａ３が検出されない。マスク検出部１３Ｂが衛生マスクを検出しなければ（ステップ＃０３：Ｎｏ）、衛生マスクが検出されない情報が、マスク情報取得部１６及び判定部１８を介して報知部１９に出力される。そして報知部１９は報知装置４を制御して衛生マスクの着用を促す旨の報知をする（ステップ＃０４）。

【0081】

マスク検出部１３Ｂが衛生マスクを検出すると（ステップ＃０３：Ｙｅｓ）、マスク情報取得部１６がマスク存在領域Ａ３に写された衛生マスクに関する情報（衛生マスク情報）を取得する（ステップ＃０５）。ステップ＃０５は、本発明の『取得ステップ』に相当する。

【0082】

記憶部１１には複数の条件情報が記憶されており、条件情報取得部１７が適切な条件情報を読み出すための情報がステップ＃０６～ステップ＃０８で取得される。地域情報取得部３は、カメラ１の設置される地域に関する地域情報を取得する（ステップ＃０６）。この地域情報は条件情報取得部１７へ送られる。

【0083】

また、条件情報取得部１７は現在時刻を取得する（ステップ＃０７）。用件入力部２は利用者の用件に関する情報を取得する（ステップ＃０８）。この用件に関する情報は、条件情報取得部１７へ送られる。

【0084】

なお、ステップ＃０６～ステップ＃０８の処理が不要である場合、ステップ＃０６～ステップ＃０８の処理は無くても良いし、必要に応じてステップ＃０６～ステップ＃０８の少なくとも一つが行われる構成であっても良い。

【0085】

条件情報取得部１７は、利用者の種別、地域、時刻（時間帯）、及び、用件等に応じた条件情報を記憶部１１から取得する（ステップ＃０９）。そして判定部１８が、利用者の着用する衛生マスクが所定条件を満たすか否かを判定する（ステップ＃１０）。

【0086】

所定条件が満たされていれば（ステップ＃１０：Ｙｅｓ）、報知部１９は、報知装置４を介して、衛生マスクが所定条件を満たすことを利用者に報知する（ステップ＃１１）。また、所定条件が満たされていなければ（ステップ＃１０：Ｎｏ）、報知部１９は、報知装置４を介して、衛生マスクが所定条件を満たさないことと、その理由と、を利用者に報知する（ステップ＃１２）。

【0087】

マスク検出部１３Ｂが衛生マスクを検出しなかった場合と（ステップ＃０３：Ｎｏ）、衛生マスクが所定条件を満たさなかった場合と（ステップ＃１０：Ｎｏ）、の夫々に該当すると、判定部１８は、所定条件を満たさなかった回数を利用者ごとに記憶部１１に記憶する（ステップ＃１３）。なお、利用者特定部１５が利用者の特定に失敗した場合にはステップ＃１３の処理を行なわないように、判定部１８が構成されても良い。

【0088】

〔衛生マスクに基づく個人認証を行う画像処理システム〕
本実施形態では、マスク情報取得部１６が衛生マスクに関する多くの情報を取得可能に構成されている。このため、衛生マスクに個人識別情報が付されている場合には、衛生マスクに基づく個人認証が可能である。以下、図３及び図４に基づいて、衛生マスクに基づく個人認証を行う画像処理システムに関して説明する。

【0089】

図３は、顔認証を行うための画像処理システムのブロック図である。図３に示す実施形態の画像処理システムに、カメラ１と報知装置４とゲート装置５とが備えられている。カメラ１と報知装置４とに関しては、図１に基づいて説明した通りである。ゲート装置５は、開閉式の門を有する。図３に示す実施形態の画像処理システムは、利用者の顔認証が成功すると、ゲート装置５を開けて所定区域への入場を利用者に許可する。

【0090】

図３に示す実施形態の画像処理システムに、記憶部２１と、映像入力部２２と、検出部２３と、マスク情報取得部２４と、利用者特定部２５（本発明の『第二利用者特定部』）と、判定部２６と、報知部２７と、信号出力部２８と、顔登録部２９と、が備えられている。上述の機能部（記憶部２１～顔登録部２９）は画像解析処理に関するリアルタイム処理を可能な画像処理サーバーに構築されたプログラムモジュールであって、クラウド環境で動作する構成となっている。映像入力部２２はカメラ１と通信可能に接続され、報知装置４は報知部２７と通信可能に接続され、ゲート装置５は信号出力部２８と通信可能に接続されている。

【0091】

記憶部２１は、施設を利用する利用者に関する情報を記憶媒体（例えばハードディスクやフラッシュメモリ）に記憶する。当該情報には利用者の顔情報と、個人識別情報と、が含まれる。映像入力部２２は、図１に基づいて説明した映像入力部１２と同様の構成である。

【0092】

検出部２３に、顔検出部２３Ａとマスク検出部２３Ｂとが備えられている。顔検出部１３Ａは、映像入力部２２によって取り込まれた撮像領域Ａ１の撮像画像データうち、利用者の顔が存在する顔情報領域Ａ２を検出する。顔情報領域Ａ２の画像が顔情報となる。マスク検出部２３Ｂは、顔情報領域Ａ２から衛生マスクの存在するマスク存在領域Ａ３を検出し、マスク存在領域Ａ３から個人識別情報の付されたマーク領域Ａ４を検出する。マスク検出部２３Ｂは、本発明の『検出機能』に相当する。顔検出部２３Ａによって検出された顔情報は、顔登録部２９と判定部２６とへ送信される。顔検出部２３Ａによって検出された顔情報を『第一顔情報』と称する。つまり、顔検出部２３Ａは、撮像画像から利用者の顔に関する第一顔情報を検出可能なように構成されている。

【0093】

顔登録部２９は、顔情報領域Ａ２の画像から検出された顔情報を記憶部２１に記憶可能に構成されている。具体的には、新入社員に関する情報が新規登録される際に、画像処理システムのモードが登録モードに設定され、施設を利用する利用者に関する新たな情報が、新入社員の新たな個人識別情報とともに記憶部２１に登録される。そして、顔情報は、当該新たな情報と紐付けられて記憶される。記憶部２１に記憶された顔情報を、『第二顔情報』と称する。なお、記憶部２１に記憶された第二顔情報に、一人当たり複数の顔情報が含まれる構成であっても良い。この場合、少なくとも一つの顔情報は衛生マスクが着用されていない顔情報である。

【0094】

なお、顔登録部２９は、個人認証が成功したタイミングごとに、マスクを着用している利用者の顔情報を第二顔情報として記憶部２１に繰り返し記憶する構成であっても良い。顔登録部２９が顔情報を記憶部２１に繰り返し記憶する構成であれば、画像処理システムがマスクを着用している利用者の顔情報を機械学習することによって、利用者がマスクを着用している場合の顔認証の精度の向上を図ることが可能となる。

【0095】

マスク情報取得部２４は、衛生マスクの存在するマスク存在領域Ａ３から個人識別情報の付されたマーク領域Ａ４を検出し、マーク領域Ａ４に基づいて衛生マスクに関する衛生マスク情報を取得する。図３及び図４に示す実施形態において、衛生マスク情報とは、衛生マスクに記される個人識別情報である。個人識別情報は、例えばＱＲコード（登録商標）やデータマトリックス等の二次元コードであったり、バーコードであったり、カラーコードであったりする。つまり、マスク情報取得部２４は、マスク存在領域Ａ３のうちマーク領域Ａ４に基づいて、前記衛生マスク情報として、前記衛生マスクに記される個人識別情報を取得するように構成されている。そしてマスク情報取得部２４は、当該個人識別情報を利用者特定部２５と判定部２６とへ送信する。マスク情報取得部２４は、本発明の『取得部』及び『取得機能』に相当する。

【0096】

利用者特定部２５は、マスク情報取得部２４から個人識別情報を受け取り、個人識別情報に基づいて記憶部２１に記憶された利用者を特定し、記憶部２１から当該利用者の第二顔情報を読み出す。つまり、利用者特定部２５は、個人識別情報に基づいて、利用者の顔に関する第二顔情報を特定するように構成されている。そして利用者特定部２５は、記憶部２１から読み出した第二顔情報を判定部２６へ送信する。

【0097】

判定部２６に、顔照合部２６Ａと再着用確認部２６Ｂとが備えられている。再着用確認部２６Ｂに関しては後述する。

【0098】

顔照合部２６Ａは、顔検出部２３Ａが取得した第一顔情報と、利用者特定部２５が記憶部２１から読み出した第二顔情報と、を照合することによって、顔認証を行うように構成されている。具体的に顔照合部２６Ａは、第一顔情報と第二顔情報との類似度を算出する。そして顔照合部２６Ａは、類似度が予め設定された閾値以上に高い場合に、認証成功（第一顔情報に係る人物“利用者”と第二顔情報に係る人物“登録者”とが一致）と判定する。これにより、判定部２６は、個人識別情報（所有物認証）と、顔照合部２６Ａの顔認証（生体認証）の結果と、の二要素認証に基づいて、利用者に対して所定区域への入場を許可するか否かを判定する。

【0099】

図４に基づいて、図３に示す実施形態の画像処理システムが個人認証を行う処理の流れの一例を説明する。まず、顔検出部２３Ａが、映像入力部２２によって取り込まれた撮像領域Ａ１の撮像画像データうち、利用者の顔が存在する顔情報領域Ａ２を検出する（ステップ＃２１）と、マスク検出部２３Ｂは、顔情報領域Ａ２から衛生マスクの存在するマスク存在領域Ａ３の検出を試みる（ステップ＃２２）。ステップ＃２２は、本発明の『検出ステップ』に相当する。利用者が衛生マスクを着用しているとマスク存在領域Ａ３が検出され、利用者が衛生マスクを着用していなければマスク存在領域Ａ３が検出されない。なお、このときに、顔検出部２３Ａは、撮像画像から第一顔情報を検出し、第一顔情報を判定部２６へ送信する。

【0100】

マスク検出部２３Ｂが衛生マスクを検出すると（ステップ＃２２：Ｙｅｓ）、マスク情報取得部２４がマスク存在領域Ａ３に写された衛生マスクからマーク領域Ａ４の検出を試みる（ステップ＃２３）。マーク領域Ａ４が存在すると、マスク情報取得部２４が個人識別情報を取得可能である。ステップ＃２３は、本発明の『取得ステップ』に相当する。マスク検出部２３Ｂが衛生マスクを検出しない場合（ステップ＃２２：Ｎｏ）、及び、マスク情報取得部２４が衛生マスクから個人識別情報を検出できない場合（ステップ＃２３：Ｎｏ）、個人識別情報が検出できないことを示す信号が、判定部２６を介して報知部２７に出力される。そして報知部２７は、報知装置４を制御して正規の衛生マスクを着用するように促す旨の報知をする（ステップ＃２４）。

【0101】

マスク情報取得部２４が衛生マスクから個人識別情報を検出すると（ステップ＃２３：Ｙｅｓ）、利用者特定部２５は、個人識別情報に基づいて第二顔情報を特定する（ステップ＃２５）。さらに、利用者特定部２５は第二顔情報を判定部２６へ送信する。加えて、顔検出部２３Ａは第一顔情報を判定部２６へ送信するため、判定部２６は第一顔情報を取得する（ステップ＃２６）。

【0102】

判定部２６が第一顔情報と第二顔情報とを取得すると、顔照合部２６Ａは、第一顔情報と第二顔情報とを照合する（ステップ＃２７，ステップ＃２８）。利用者が衛生マスクを着用している状態であると、顔照合部２６Ａは、利用者の顔領域のうち衛生マスクよりも上側部分（例えば目元）を照合する。つまり、顔照合部２６Ａは、第一顔情報と第二顔情報との夫々の衛生マスクよりも上側部分で類似度を算出する。そして顔照合部２６Ａは、当該類似度が予め設定された閾値以上に高い場合に、認証成功と判定する。

【0103】

顔照合部２６Ａによる顔認証において、第一顔情報と第二顔情報とが一致すると（ステップ＃２８：Ｙｅｓ）、判定部２６は個人認証の成功を判定する。そして報知部２７は、報知装置４を介して、顔認証の成功を利用者に報知する（ステップ＃２９）。信号出力部２８は、ゲート装置５を開閉制御するように構成されている。第一顔情報と第二顔情報とが一致すると、信号出力部２８はゲート装置５を開制御する（ステップ＃３０）。これにより、ゲート装置５が開いて、本実施形態の画像処理システムは所定区域への入場を利用者に許可する。

【0104】

顔照合部２６Ａが利用者の顔領域のうち衛生マスクよりも上側部分だけを照合する場合、照合精度が低下して、顔照合部２６Ａが認証失敗を判定する場合が考えられる。この場合、顔照合部２６Ａは、利用者が衛生マスクを着用していない状態の顔情報で顔認証を行うように構成されている。

【0105】

具体的には、顔照合部２６Ａが顔認証に失敗した場合には（ステップ＃２８：Ｎｏ）、報知部２７が報知装置４を介して利用者に衛生マスクを外すように報知する（ステップ＃３１）。つまり報知部２７は、利用者に顔認証が成功したか否かを報知するとともに、顔照合部２６Ａが顔認証に失敗すると、利用者に衛生マスクを外すように促すように報知する。

【0106】

報知部２７が報知を行う間、マスク検出部２３Ｂは、顔情報領域Ａ２から衛生マスクの存在するマスク存在領域Ａ３の検出を試みる（ステップ＃３２）。マスク検出部２３Ｂの検出結果は判定部２６に送信され、判定部２６の顔照合部２６Ａは、利用者が衛生マスクを外しているか否かを判定する。利用者が衛生マスクを着用しているとマスク存在領域Ａ３がマスク検出部２３Ｂによって検出される。マスク存在領域Ａ３が検出されなくなるまで、ステップ＃３１でＹｅｓの判定が行われ、ステップ＃３１及びステップ＃３２の処理が繰り返される。

【0107】

マスク検出部２３Ｂが衛生マスクを検出しなくなると（ステップ＃３２：Ｎｏ）、利用者がマスクを外した状態の撮像画像が取得可能となる。そして顔検出部２３Ａは、利用者が衛生マスクを外した状態における撮像画像から利用者の顔情報を検出する。利用者が衛生マスクを外した状態における顔情報を『第三顔情報』と称する。そして顔検出部２３Ａは、検出した第三顔情報を判定部２６へ送信する。つまり、判定部２６は撮像画像から第三顔情報を取得する（ステップ＃３３）。

【0108】

判定部２６が第三顔情報を取得すると、顔照合部２６Ａは、第二顔情報と第三顔情報とを照合する（ステップ＃３４，ステップ＃３５）。具体的に顔照合部２６Ａは、第二顔情報と第三顔情報とを照合して類似度を算出する。第三顔情報は衛生マスクを外した状態で取得されるので、この照合は、顔全体による照合である。そして顔照合部２６Ａは、当該類似度が予め設定された閾値以上に高い場合に、認証成功と判定する。つまり、顔照合部２６Ａは、第一顔情報と第二顔情報との照合による顔認証に失敗すると、第二顔情報と第三顔情報とを照合することによって、顔認証を行うように構成されている。この構成によって、顔照合部２６Ａは高精度な顔認証を実行可能である。顔照合部２６Ａの照合結果は判定部２６から報知部２７へ送信される。

【0109】

顔照合部２６Ａが第二顔情報と第三顔情報との不一致を判定すると（ステップ＃３５：Ｎｏ）、報知部２７は報知装置４を制御して個人認証の失敗を利用者へ報知する（ステップ＃３６）。このときにゲート装置５が入場可能に開いている場合、信号出力部２８はゲート装置５を閉制御する構成であっても良い。

【0110】

顔照合部２６Ａが第二顔情報と第三顔情報との一致を判定すると（ステップ＃３５：Ｙｅｓ）、報知部２７は報知装置４を制御して顔認証の成功を利用者へ報知する（ステップ＃３７）。このとき、利用者は衛生マスクを外したままであることが考えられる。このため、図３及び図４に示す実施形態では、判定部２６に再着用確認部２６Ｂが備えられている。

【0111】

顔照合部２６Ａが第二顔情報と第三顔情報との照合によって顔認証が成功した後、報知部２７は報知装置４を制御して衛生マスクの着用を促すように報知する（ステップ＃３８）。

【0112】

報知部２７が報知を行う間、マスク検出部２３Ｂは、顔情報領域Ａ２から衛生マスクの存在するマスク存在領域Ａ３の検出を試みて、再着用確認部２６Ｂは利用者が衛生マスクを再着用しているか否かを判定する（ステップ＃３９）。マスク検出部２３Ｂの検出結果は判定部２６に送信され、判定部２６の再着用確認部２６Ｂは、顔認証が成功した後に利用者が衛生マスクを着用しているか否かを判定する。利用者が衛生マスクを着用しているとマスク存在領域Ａ３がマスク検出部２３Ｂによって検出されるため、マスク存在領域Ａ３が検出されるまで、ステップ＃３９でＮｏの判定が行われ、ステップ＃３８及びステップ＃３９の処理が繰り返される。

【0113】

利用者が衛生マスクを再着用していることを再着用確認部２６Ｂが判定すると（ステップ＃３９：Ｙｅｓ）、信号出力部２８はゲート装置５を開制御する（ステップ＃３０）。これにより、ゲート装置５が開いて、本実施形態の画像処理システムは所定区域への入場を利用者に許可する。

【0114】

〔参考例：目間画素数の変化に基づく入室判定〕
図５及び図６に基づいて、カメラ１によって撮像された撮像画像に基づく入室判定に関して説明する。図５及び図６に示す参考例では、施設の入口Ｅと、入口Ｅに対して施設の外に位置する地点Ｄと、入口Ｅに対して施設内部に位置する地点Ｆと、が示されている。地点Ｄと入口Ｅと地点Ｆとは、利用者が進む進行経路に沿って一直線上（またはほぼ一直線上）に位置し、カメラ１は地点Ｆの近傍において当該一直線の延長線上に設置されている。カメラ１は、入口Ｅを通過する利用者の正面を撮像するように構成されている。

【0115】

具体的には、利用者が施設の入口Ｅに入る手前で、カメラ１によって利用者が撮像され、撮像画像には利用者の奥行き方向の移動の様子が写される。撮像画像から利用者の一対の目が検出され、一対の目の間の距離を示す目間画素数が算出される。利用者が施設の入口Ｅに近付くほど、利用者とカメラ１との離間距離は小さくなり、利用者が撮像画像に大きく写って、目間画素数が増加する。利用者の入室判定は目間画素数に基づいて判定され、目間画素数が所定の閾値以上に増加すると、利用者の入室が判定される。

【0116】

目間画素数を算出する機能、及び、利用者の入室を判定する機能は、カメラ１に内蔵されたコンピュータに実装されても良いし、カメラ１以外のコンピュータに実装されても良いし、クラウド環境で動作する構成であっても良い。

【0117】

図５に示す参考例では、入室判定のための閾値に固定値が採用され、所定の固定値として例えば４０画素に設定されている。そして、目間画素数が当該所定の固定値以上に達すると、利用者が入口Ｅを超えて入室したと判定される。しかし、一対の目の間の距離には個人差があり、目間画素数を入室判定に用いる構成であると、当該個人差によって入室判定の誤差が大きくなる。例えば、体格が大きく目の間隔が大きい人物では、入口Ｅよりも手前（地点Ｄと入口Ｅとの間）で入室したと判定されてしまう。入室判定の誤差として、図５には判定誤差Ｌ１が示されている。

【0118】

図６に示す参考例は、図５に示す参考例の改善策である。この例では、目間画素数の増加率が入室判定に用いられる。具体的には、利用者の足元が地点Ｄを跨いだタイミングの目間画素数を基準として、目間画素数の増加率が算出される。入室判定の閾値として、増加率１．５が設定される。利用者が施設の入口Ｅに近付くほど目間画素数が増加し、目間画素数の増加率も上昇する。そして、目間画素数の増加率が閾値（１．５）を超えると、利用者が入室したと判定される。入室判定の誤差として、図６には判定誤差Ｌ２が示されている。判定誤差Ｌ２は判定誤差Ｌ１よりも小さくなっている。図６に示す参考例では、入口Ｅにおける利用者の入場が、図５に示す参考例よりも精度よく判定されている。

【0119】

〔別実施形態〕
本発明は、上記の実施形態に例示された構成に限定されるものではなく、以下、本発明の代表的な別実施形態を例示する。

【0120】

（１）上記の実施形態では、カメラ１と用件入力部２と地域情報取得部３と報知装置４とが、一つの装置に組み込まれる構成を例示しているが、この実施形態に限定されない。例えば、カメラ１と用件入力部２と地域情報取得部３と報知装置４とが各別の装置として構成され、カメラ１と用件入力部２と地域情報取得部３と報知装置４との夫々が連動する構成であっても良い。この場合、用件入力部２は、例えば金融機関や郵便局や病院等の窓口に設置される窓口ナビゲーションシステムや自動受付機であっても良い。そして、カメラ１が、用件入力部２である自動受付機等の傍に設置され、自動受付機等のタッチパネルモニタを操作する利用者の顔を撮像する構成であっても良い。

【0121】

（２）図１に示す実施形態の画像処理システムにおいて、機能部（記憶部１１～報知部１９）はリアルタイム処理を可能な画像処理サーバーに構築され、クラウド環境で動作する構成となっているが、この実施形態に限定されない。図１に示す全ての構成が、例えばタブレットコンピュータのような一つの装置に組み込まれ、画像処理装置として構成されても良い。

【0122】

同様に、図３に示す実施形態の画像処理システムにおいて、機能部（記憶部２１～顔登録部２９）はリアルタイム処理を可能な画像処理サーバーに構築され、クラウド環境で動作する構成となっているが、この実施形態に限定されない。図３に示す全ての構成が、例えばタブレットコンピュータのような一つの装置に組み込まれ、画像処理装置として構成されても良い。

【0123】

加えて、図１と図３との両方の構成が一つの装置に組み込まれ、画像処理装置として構成されても良い。

【0124】

（３）図１に示す実施形態の画像処理システムにおいて、用件入力部２は備えられない構成であっても良い。図１に示す実施形態の画像処理システムにおいて、地域情報取得部３は備えられない構成であっても良い。つまり、条件情報取得部１７は、利用者の種別と、用件入力部２で入力された用件と、地域情報取得部３で取得した地域情報と、マスク情報取得部１６が衛生マスク情報を取得したタイミングにおける時間帯と、の少なくとも一つに基づいて記憶部１１から条件情報を読み出すように構成されていれば良い。

【0125】

（４）図１及び図２に示す実施形態では、利用者種別取得部１４は利用者情報に基づいて利用者の種別を取得するが、この実施形態に限定されない。例えば、利用者種別取得部１４は、撮像画像に写し出された利用者の服装に基づいて利用者の種別を取得する構成であっても良い。例えば、利用者種別取得部１４が、利用者のＩＤカード等から利用者の種別を取得するよう構成されても良い。

【0126】

（５）図１及び図２に示す実施形態では利用者特定部１５が備えられ、判定部１８は、衛生マスクが所定条件を満たさなかった回数を利用者ごとに記憶部１１に記憶可能なように構成されているが、この実施形態に限定されない。図１及び図２に示す実施形態では利用者特定部１５が備えられない構成であっても良い。この場合、判定部１８は、図２のステップ＃１３の処理において、単に、衛生マスクが所定条件を満たさなかった日時を記憶部１１に記憶可能なように構成されても良い。また、利用者特定部１５が備えられない場合、利用者の種別を示す利用者情報は、図２のステップ＃０２のタイミングではなく、ステップ＃０５以降かつステップ＃０９以前のタイミングで取得される構成であっても良い。

【0127】

（６）図３に示す再着用確認部２６Ｂが備えられない構成であっても良い。この場合、図４におけるステップ＃３８及びステップ＃３９の処理が省略され、ステップ＃３７の処理の直後にステップ＃３０の処理が実行される構成であっても良い。

【0128】

（７）図３及び図４に基づいて説明した判定部２６は、個人識別情報（所有物認証）と、顔照合部２６Ａの顔認証（生体認証）の結果と、の二要素認証に基づいて、利用者に対して所定区域への入場を許可するか否かを判定するが、この実施形態に限定されない。図３及び図４に示す実施形態の画像処理システムでは、判定部２６は、顔照合部２６Ａの顔認証（生体認証）の結果のみ基づいて、利用者に対して所定区域への入場を許可するか否かを判定する構成も可能である。

【0129】

図３及び図４に基づいて説明した顔照合部２６Ａは、第一顔情報と第二顔情報とを照合して類似度を算出し、類似度が予め設定された閾値以上に高い場合に、認証成功と判定する。判定部２６が顔照合部２６Ａの顔認証（生体認証）の結果のみ基づいて利用者に対して所定区域への入場を許可するか否かを判定する構成である場合、当該類似度の閾値が高く設定され、この閾値が第一閾値として設定される構成であっても良い。そして、判定部２６が上記二要素認証に基づいて利用者に対して所定区域への入場を許可するか否かを判定する場合、当該類似度の閾値が上記第一閾値よりも低い第二閾値に設定される構成であっても良い。

【0130】

（８）図１と図３との夫々の実施形態は、各別の画像処理システムであっても良いし、一つの画像処理システムとして統合されても良い。例えば、図１に示す判定部１８に、図３に示す顔照合部２６Ａ及び再着用確認部２６Ｂが備えられ、図１に示す実施形態で、図４に基づいて説明した顔認証の処理が行われる構成であっても良い。この場合、図１に示す判定部１８は、利用者が着用する衛生マスクの適否の判定と、顔情報に基づく個人認証と、の両方を実行可能に構成されても良い。また、この場合のマスク情報取得部１６は、マスク検出部１３Ｂによって検出されたマスク存在領域Ａ３に基づいて衛生マスク情報を取得するのみならず、図４に示すマーク領域Ａ４に基づいて衛生マスクに関する衛生マスク情報を取得して利用者特定部１５へ送信する構成であっても良い。そして利用者特定部１５は、利用者特定部２５と同様に、マスク情報取得部１６から受け取った個人識別情報に基づいて記憶部１１に記憶された利用者を特定し、記憶部１１から当該利用者の第二顔情報を読み出して判定部１８へ送信する構成であっても良い。

【0131】

（９）用件入力部２は、例えばタッチパネル等であるが、用件入力部２を操作する利用者が、クシャミや咳をする場合が考えられる。画像処理システムが、利用者のクシャミや咳を検知して対処を行うように構成されても良い。例えば、骨格検知技術等を利用することによって、カメラ１にて利用者のクシャミや咳といった動作を検知可能としておく。報知部１９，２７が、衛生マスクを着用していない利用者によるクシャミや咳を検知した場合に、報知装置４を介して用件入力部２（タッチパネルモニタ）の消毒作業を管理者やスタッフに指示するように構成されても良い。

【0132】

なお、上記の実施形態（別実施形態を含む、以下同じ）で開示される構成は、矛盾が生じない限り、他の実施形態で開示される構成と組み合わせて適用することが可能である。また、本明細書において開示された実施形態は例示であって、本発明の実施形態はこれに限定されず、本発明の目的を逸脱しない範囲内で適宜改変することが可能である。

【産業上の利用可能性】

【0133】

本発明は、衛生マスクを着用した利用者の顔を撮像した撮像画像を処理する画像処理システムに適用可能である。また、本発明の画像処理システムの技術的特徴は、画像処理装置にも適用可能である。このため、上記の実施形態は一つの装置に纏めた画像処理装置として構成できる。さらに、本発明の画像処理システムの技術的特徴は、画像処理方法にも適用可能である。このため、上記の実施形態は画像処理方法として構成できる。加えて、本発明の画像処理システムの技術的特徴は、画像処理プログラムにも適用可能である。そのため、上記の実施形態は画像処理プログラムとして構成できる。

【符号の説明】

【0134】

２ ：用件入力部（入力部）
３ ：地域情報取得部
４ ：報知装置
１１，２１ ：記憶部
１３，２３ ：検出部
１４ ：利用者種別取得部
１５ ：利用者特定部（第一利用者特定部）
１６，２４ ：マスク情報取得部（取得部）
１８ ：判定部
１９，２７ ：報知部
２５ ：利用者特定部（第二利用者特定部）
２６Ａ ：顔照合部
２６Ｂ ：再着用確認部
Ａ３ ：マスク存在領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】