知財求人 - 知財ポータルサイト「IP Force」
特開2023-105625汚れ検知装置、汚れ検知方法、生体認証システムおよび生体認証方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023105625
(43)【公開日】2023-07-31
(54)【発明の名称】汚れ検知装置、汚れ検知方法、生体認証システムおよび生体認証方法
(51)【国際特許分類】
G01N 21/3577 20140101AFI20230724BHJP
G01N 21/359 20140101ALI20230724BHJP
G01N 21/47 20060101ALI20230724BHJP
【ＦＩ】
G01N21/3577
G01N21/359
G01N21/47 B
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2022006568
(22)【出願日】2022-01-19
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】藤山 毅
(72)【発明者】
【氏名】中村 剛
【テーマコード（参考）】
2G059
【Ｆターム（参考）】
2G059AA05
2G059BB04
2G059BB08
2G059BB13
2G059DD01
2G059EE01
2G059EE02
2G059EE11
2G059GG01
2G059GG02
2G059GG03
2G059HH01
2G059HH06
2G059KK04
2G059MM01
2G059MM05
2G059MM09
2G059MM10
(57)【要約】
【課題】人物から発せられる飛沫あるいは人物の口元付近に付着している水分あるいは糖類を含む特定物質を検知し、特定物質の検知結果を外部に通知して次の行動の実行を促す。
【解決手段】汚れ検知装置は、ＯＨ基を有する水分あるいは糖類を含む、金属板の表面に付着する唾液痕による汚れを検知する検知部と、唾液痕による汚れの検知結果が許容条件を満足しない場合、検知結果を外部端末あるいは外部ロボットに通知する通知部と、を備え、通知部は、汚れ検知装置と接続された外部端末あるいは外部ロボットに検知結果を含む金属板の拭掃指示を送信する。
【選択図】図３
【解決手段】汚れ検知装置は、ＯＨ基を有する水分あるいは糖類を含む、金属板の表面に付着する唾液痕による汚れを検知する検知部と、唾液痕による汚れの検知結果が許容条件を満足しない場合、検知結果を外部端末あるいは外部ロボットに通知する通知部と、を備え、通知部は、汚れ検知装置と接続された外部端末あるいは外部ロボットに検知結果を含む金属板の拭掃指示を送信する。
【選択図】図３
【特許請求の範囲】
【請求項1】
ＯＨ基を有する水分あるいは糖類を含む、金属板の表面に付着する唾液痕による汚れを検知する検知部と、
前記唾液痕による汚れの検知結果が許容条件を満足しない場合、前記検知結果を外部端末あるいは外部ロボットに通知する通知部と、を備え、
前記通知部は、前記汚れ検知装置と接続された前記外部端末あるいは前記外部ロボットに前記検知結果を含む前記金属板の拭掃指示を送信する、
汚れ検知装置。
前記唾液痕による汚れの検知結果が許容条件を満足しない場合、前記検知結果を外部端末あるいは外部ロボットに通知する通知部と、を備え、
前記通知部は、前記汚れ検知装置と接続された前記外部端末あるいは前記外部ロボットに前記検知結果を含む前記金属板の拭掃指示を送信する、
汚れ検知装置。
【請求項2】
前記検知部は、
前記金属板により反射された前記ＯＨ基に吸収され難い特性を有する参照光の反射光量と、前記金属板により反射された前記ＯＨ基に吸収され易い特性を有する測定光の反射光量と、前記唾液痕が付着していない前記金属板により反射された前記参照光の反射光量と、前記唾液痕が付着していない前記金属板により反射された前記測定光の反射光量と、に基づいて、前記唾液痕による汚れを検知し、
前記金属板の表面に前記唾液痕が付着している領域が閾値以上である場合、前記金属板の表面に前記唾液痕による汚れが付着していると判定する、
請求項１に記載の汚れ検知装置。
前記金属板により反射された前記ＯＨ基に吸収され難い特性を有する参照光の反射光量と、前記金属板により反射された前記ＯＨ基に吸収され易い特性を有する測定光の反射光量と、前記唾液痕が付着していない前記金属板により反射された前記参照光の反射光量と、前記唾液痕が付着していない前記金属板により反射された前記測定光の反射光量と、に基づいて、前記唾液痕による汚れを検知し、
前記金属板の表面に前記唾液痕が付着している領域が閾値以上である場合、前記金属板の表面に前記唾液痕による汚れが付着していると判定する、
請求項１に記載の汚れ検知装置。
【請求項3】
前記ＯＨ基に吸収され難い特性を有する参照光を前記金属板に向けて順次走査しながら照射する第１光源と、
前記ＯＨ基に吸収され易い特性を有する測定光を前記金属板に向けて順次走査しながら照射する第２光源と、
前記唾液痕が付着していない前記金属板により反射された前記参照光の反射光量、前記唾液痕が付着していない前記金属板により反射された前記測定光の反射光量を記憶するメモリと、をさらに備え、
前記参照光の波長は９０５ｎｍであり、
前記測定光の波長は１５５０ｎｍである、
請求項１に記載の汚れ検知装置。
前記ＯＨ基に吸収され易い特性を有する測定光を前記金属板に向けて順次走査しながら照射する第２光源と、
前記唾液痕が付着していない前記金属板により反射された前記参照光の反射光量、前記唾液痕が付着していない前記金属板により反射された前記測定光の反射光量を記憶するメモリと、をさらに備え、
前記参照光の波長は９０５ｎｍであり、
前記測定光の波長は１５５０ｎｍである、
請求項１に記載の汚れ検知装置。
【請求項4】
前記金属板により反射された前記参照光および前記測定光の撮像により、前記金属板の所定範囲を被写体とした前記唾液痕による汚れの有無を示す検知結果画像を生成する画像生成部、をさらに備え、
前記通知部は、前記汚れ検知装置と接続された前記外部端末あるいは前記外部ロボットに前記検知結果画像を含む前記金属板の拭掃指示を送信する、
請求項２に記載の汚れ検知装置。
前記通知部は、前記汚れ検知装置と接続された前記外部端末あるいは前記外部ロボットに前記検知結果画像を含む前記金属板の拭掃指示を送信する、
請求項２に記載の汚れ検知装置。
【請求項5】
前記金属板の所定範囲を同じ前記被写体とした可視光の撮像により、前記被写体のカラー画像を生成する可視カメラ部、をさらに備え、
前記通知部は、前記被写体のカラー画像上に前記検知結果画像を重畳した重畳画像を前記金属板の拭掃指示に含めて前記外部端末あるいは前記外部ロボットに送信する、
請求項４に記載の汚れ検知装置。
前記通知部は、前記被写体のカラー画像上に前記検知結果画像を重畳した重畳画像を前記金属板の拭掃指示に含めて前記外部端末あるいは前記外部ロボットに送信する、
請求項４に記載の汚れ検知装置。
【請求項6】
前記第１光源は、レーザ光による前記参照光を照射し、
前記第２光源は、レーザ光による前記測定光を照射する、
請求項３に記載の汚れ検知装置。
前記第２光源は、レーザ光による前記測定光を照射する、
請求項３に記載の汚れ検知装置。
【請求項7】
ＯＨ基を有する水分あるいは糖類を含む、金属板の表面に付着する唾液痕による汚れを検知する飛沫汚れ検知方法であって、
前記金属板の表面に付着する唾液痕による汚れを検知するステップと、
前記唾液痕による汚れの検知結果が許容条件を満足しない場合、前記検知結果を外部端末あるいは外部ロボットに通知するステップと、を有し、
前記検知結果を前記外部端末あるいは前記外部ロボットに通知するステップは、前記検知結果を含む前記金属板の拭掃指示を送信するステップを含む、
汚れ検知方法。
前記金属板の表面に付着する唾液痕による汚れを検知するステップと、
前記唾液痕による汚れの検知結果が許容条件を満足しない場合、前記検知結果を外部端末あるいは外部ロボットに通知するステップと、を有し、
前記検知結果を前記外部端末あるいは前記外部ロボットに通知するステップは、前記検知結果を含む前記金属板の拭掃指示を送信するステップを含む、
汚れ検知方法。
【請求項8】
被測定物を撮像するカメラと、
前記カメラとの間で通信可能な制御装置と、を備え、
前記カメラは、
第１波長帯の照射光と、前記第１波長帯と異なる波長帯である第２波長帯の照射光とを前記被測定物に照射し、
前記被測定物の撮像画像に基づいて、前記被測定物に付着する水分あるいは糖類を検知し、
前記水分および前記糖類が検知されない第１画像と、前記水分あるいは前記糖類が検知された第２画像とを比較して、前記被測定物上に付着する前記水分あるいは前記糖類の検知結果を前記制御装置に送信し、
前記制御装置は、
前記検知結果に基づいて、人物の口唇紋を取得し、
取得された前記口唇紋と、データベースに登録された複数の口唇紋のそれぞれとを照合し、
前記データベースに取得された前記口唇紋と同一あるいは類似する口唇紋があると判定した場合、前記同一あるいは類似する口唇紋に対応する人物を、取得された前記口唇紋に対応する人物であると判定し、
前記口唇紋に対応する人物の判定結果を外部端末に通知する、
生体認証システム。
前記カメラとの間で通信可能な制御装置と、を備え、
前記カメラは、
第１波長帯の照射光と、前記第１波長帯と異なる波長帯である第２波長帯の照射光とを前記被測定物に照射し、
前記被測定物の撮像画像に基づいて、前記被測定物に付着する水分あるいは糖類を検知し、
前記水分および前記糖類が検知されない第１画像と、前記水分あるいは前記糖類が検知された第２画像とを比較して、前記被測定物上に付着する前記水分あるいは前記糖類の検知結果を前記制御装置に送信し、
前記制御装置は、
前記検知結果に基づいて、人物の口唇紋を取得し、
取得された前記口唇紋と、データベースに登録された複数の口唇紋のそれぞれとを照合し、
前記データベースに取得された前記口唇紋と同一あるいは類似する口唇紋があると判定した場合、前記同一あるいは類似する口唇紋に対応する人物を、取得された前記口唇紋に対応する人物であると判定し、
前記口唇紋に対応する人物の判定結果を外部端末に通知する、
生体認証システム。
【請求項9】
前記カメラは、
前記水分または前記糖類のＯＨ基に対する吸光度がそれぞれ異なる前記第１波長帯の照射光と前記第２波長帯の照射光とを照射する、
請求項８に記載の生体認証システム。
前記水分または前記糖類のＯＨ基に対する吸光度がそれぞれ異なる前記第１波長帯の照射光と前記第２波長帯の照射光とを照射する、
請求項８に記載の生体認証システム。
【請求項10】
前記カメラは、
前記波長帯が１２００ｎｍまたは１３００ｎｍである前記第１波長帯の照射光と、前記波長帯が１４００ｎｍである前記第２波長帯の照射光とを照射する、
請求項９に記載の生体認証システム。
前記波長帯が１２００ｎｍまたは１３００ｎｍである前記第１波長帯の照射光と、前記波長帯が１４００ｎｍである前記第２波長帯の照射光とを照射する、
請求項９に記載の生体認証システム。
【請求項11】
前記被測定物は、アルミニウムの粉末が塗装される、
請求項８に記載の生体認証システム。
請求項８に記載の生体認証システム。
【請求項12】
複数のコンピュータが行う生体認証方法であって、
第１波長帯の照射光と、前記第１波長帯と異なる波長帯である第２波長帯の照射光とを被測定物に照射するステップと、
前記被測定物の撮像画像に基づいて、前記被測定物に付着する水分あるいは糖類を検知するステップと、
前記水分および前記糖類が検知されない第１画像と、前記水分あるいは前記糖類が検知された第２画像とを比較するステップと、
前記水分または前記糖類の検知結果に基づいて、人物の口唇紋を取得するステップと、
取得された前記口唇紋と、データベースに登録された複数の口唇紋のそれぞれとを照合するステップと、
前記データベースに取得された前記口唇紋と同一あるいは類似する口唇紋があると判定した場合、前記同一あるいは類似する口唇紋に対応する人物を、取得された前記口唇紋に対応する人物であると判定するステップと、
前記口唇紋に対応する人物の判定結果を外部端末に通知するステップと、を有する、
生体認証方法。
第１波長帯の照射光と、前記第１波長帯と異なる波長帯である第２波長帯の照射光とを被測定物に照射するステップと、
前記被測定物の撮像画像に基づいて、前記被測定物に付着する水分あるいは糖類を検知するステップと、
前記水分および前記糖類が検知されない第１画像と、前記水分あるいは前記糖類が検知された第２画像とを比較するステップと、
前記水分または前記糖類の検知結果に基づいて、人物の口唇紋を取得するステップと、
取得された前記口唇紋と、データベースに登録された複数の口唇紋のそれぞれとを照合するステップと、
前記データベースに取得された前記口唇紋と同一あるいは類似する口唇紋があると判定した場合、前記同一あるいは類似する口唇紋に対応する人物を、取得された前記口唇紋に対応する人物であると判定するステップと、
前記口唇紋に対応する人物の判定結果を外部端末に通知するステップと、を有する、
生体認証方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、汚れ検知装置、汚れ検知方法、生体認証システムおよび生体認証方法に関する。
【背景技術】
【0002】
ＡＴＭ（Ａｕｔｏｍａｔｉｃ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ：現金自動預け払い機）等の監視対象機器は常駐の保守員が不在の環境下に配置されることが多いが、近年、このような監視対象機器の特定箇所（例えば人が接触するタッチパネル等の表示部分）に付着あるいは降り積もった塵埃等の汚れの有無を監視する技術が登場している。例えば特許文献１には、監視対象物の監視対象領域に光を照射する光源を用いて監視対象領域における汚れを監視し、汚れの度合いを示す監視結果を生成する入力装置と、監視結果を受けて監視対象領域の状態を検知して監視対象領域の状態が悪化した場合にはアラームを生成して監視端末に送信する監視装置とを有する監視システムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１８－１３２８１０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１の入力装置で使用されている光源は、監視対象物の監視対象領域の全域に近赤外光を照射可能なＩＲ（Ｉｎｆｒａｒｅｄ Ｒａｙ） ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｓｓｉｏｎ Ｄｉｏｄｅ）である。この入力装置は、塵埃等の微小なゴミに近赤外光が照射された時に生じる散乱光に基づいて監視対象領域の汚れ度合いを生成している。このため、塵埃等の微小なゴミは検知可能であるが、特定物質（例えば、人物から発せられる飛沫に含まれる水分あるいは糖類、あるいは、人物の口唇紋に付着している水分あるいは糖類）の検知が困難であった。
【0005】
本開示は、上述した従来の状況に鑑みて案出され、人物から発せられる飛沫に含まれる水分あるいは糖類もしくは被測定物に付着している水分あるいは糖類を含む特定物質を検知し、特定物質の検知結果を外部に通知して次の行動の実行を促す汚れ検知装置、汚れ検知方法、生体認証システムおよび生体認証方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示は、ＯＨ基を有する水分あるいは糖類を含む、前記金属板の表面に付着する唾液痕による汚れを検知する検知部と、前記唾液痕による汚れの検知結果が許容条件を満足しない場合、前記検知結果を外部端末あるいは外部ロボットに通知する通知部と、を備え、前記通知部は、前記汚れ検知装置と接続された前記外部端末あるいは前記外部ロボットに前記検知結果を含む前記金属板の拭掃指示を送信する、汚れ検知装置を提供する。
【0007】
また、本開示は、ＯＨ基を有する水分あるいは糖類を含む、金属板の表面に付着する唾液痕による汚れを検知する飛沫汚れ検知方法であって、前記金属板の表面に付着する唾液痕による汚れを検知するステップと、前記唾液痕による汚れの検知結果が許容条件を満足しない場合、前記検知結果を外部端末あるいは外部ロボットに通知するステップと、を有し、前記検知結果を前記外部端末あるいは前記外部ロボットに通知するステップは、前記検知結果を含む前記金属板の拭掃指示を送信するステップを含む、汚れ検知方法を提供する。
【0008】
また、本開示は、被測定物を撮像するカメラと、前記カメラとの間で通信可能な制御装置と、を備え、前記カメラは、第１波長帯の照射光と、前記第１波長帯と異なる波長帯である第２波長帯の照射光とを前記被測定物に照射し、前記被測定物の撮像画像に基づいて、前記被測定物に付着する水分あるいは糖類を検知し、前記水分および前記糖類が検知されない第１画像と、前記水分あるいは前記糖類が検知された第２画像とを比較して、前記被測定物上に付着する前記水分あるいは前記糖類の検知結果を前記制御装置に送信し、前記制御装置は、前記検知結果に基づいて、人物の口唇紋を取得し、取得された前記口唇紋と、データベースに登録された複数の口唇紋のそれぞれとを照合し、前記データベースに取得された前記口唇紋と同一あるいは類似する口唇紋があると判定した場合、前記同一あるいは類似する口唇紋に対応する人物を、取得された前記口唇紋に対応する人物であると判定し、前記口唇紋に対応する人物の判定結果を外部端末に通知する、生体認証システムを提供する。
【0009】
また、本開示は、複数のコンピュータが行う生体認証方法であって、第１波長帯の照射光と、前記第１波長帯と異なる波長帯である第２波長帯の照射光とを被測定物に照射するステップと、前記被測定物の撮像画像に基づいて、前記被測定物に付着する水分あるいは糖類を検知するステップと、前記水分および前記糖類が検知されない第１画像と、前記水分あるいは前記糖類が検知された第２画像とを比較するステップと、前記水分または前記糖類の検知結果に基づいて、人物の口唇紋を取得するステップと、取得された前記口唇紋とデータベースに登録された複数の口唇紋のそれぞれとを照合するステップと、前記データベースに取得された前記口唇紋と同一あるいは類似する口唇紋があると判定した場合、前記同一あるいは類似する口唇紋に対応する人物を、取得された前記口唇紋に対応する人物であると判定するステップと、前記口唇紋に対応する人物の判定結果を外部端末に通知するステップと、を有する、生体認証方法を提供する。
【発明の効果】
【0010】
本開示によれば、人物から発せられる飛沫に含まれる水分あるいは糖類もしくは被測定物に付着している水分あるいは糖類を含む特定物質を検知し、特定物質の検知結果を外部に通知して次の行動の実行を促すことができる。
【図面の簡単な説明】
【0011】
【図1A】飛沫汚れ検知装置が飛沫のほぼ無い時の下地層に向けて近赤外光を照射する使用状況例を模式的に示す図
【図1B】飛沫汚れ検知装置が飛沫の付着している時の下地層に向けて近赤外光を照射する使用状況例を模式的に示す図
【図2】飛沫汚れ検知装置の内部構成例を詳細に示すブロック図
【図3】飛沫汚れ検知装置の受光処理部の内部構成例を詳細に示すブロック図
【図4A】飛沫汚れ検知装置の制御部による初期設定動作例を示すフローチャート
【図4B】飛沫汚れ検知装置の非可視センサ部によるＯＨ基の検知原理の一例を示す図
【図5】非可視センサ部によるＯＨ基の検知動作手順例を詳細に示すフローチャート
【図7】飛沫汚染度（総和）および飛沫汚染度の平均値の概念を示す図
【図8】ＯＨ基に対する近赤外光の分光特性例を示すグラフ
【図9】第１の実験例（唾液痕に含まれるＯＨ基を検知する）の概要例を示す図
【図10】下地層がプラスチック、金属板である場合の唾液痕の分光分析例を示す図
【図11】第２の実験例（下地層が金属板である場合のエリアごとの正規化吸光度比ＮＡＲの画素分布ならびに画素平均の時間推移を比較する）の概要例を示す図
【図12】第３の実験例（一定量の飛沫を最大で１０回噴き付けて所定時間乾燥させた金属板の正規化吸光度比ＮＡＲの範囲ごとの占有画素数を比較する）の概要例を示す図
【図13】第３の実験例による非可視センサ画像データの噴き付け回数ごとの比較例を示す図
【図14】実施の形態２に係る生体認証システムの全体構成例、および近赤外線カメラの内部構成例を示すブロック図
【図15】実施の形態２における近赤外線カメラのユースケース例（唾液痕未付着時）を説明する図
【図16】実施の形態２における近赤外線カメラのユースケース例（唾液痕付着時）を説明する図
【図17】近赤外線カメラによる唾液痕の検知の原理説明図
【図18】実施の形態２に係る制御装置の内部構成例を示すブロック図
【図19】実施の形態２に係る近赤外線カメラの初期動作手順例を説明するフローチャート
【図20】実施の形態２に係る生体認証システムの口唇紋照合手順例を説明するフローチャート
【図21】近赤外線カメラにより撮像された唾液痕未付着時および唾液痕付着時のそれぞれの撮像画像を比較する図
【図22】３階調色における唾液痕表示画像の生成例を説明する図
【図23】８階調色における口唇紋表示画像の生成例を説明する図
【図24】口唇紋検知処理例を説明する図
【図25】口唇紋変形処理例を説明する図
【図26】口唇紋変形処理例を説明する図
【発明を実施するための形態】
【0012】
（本開示に係る実施の形態１に至る経緯）
昨今、新型コロナウイルス等の感染症が世界的に流行している。このような新型コロナウイルス等のウイルスは、人から人へ感染することが知られている。感染の経路としては次のものが知られている。なお、ここでは人から人へ感染が広がる感染症の例として、新型コロナウイルスを例示して説明しているが、他の感染症（例えばインフルエンザ感染症）においても同様である。
昨今、新型コロナウイルス等の感染症が世界的に流行している。このような新型コロナウイルス等のウイルスは、人から人へ感染することが知られている。感染の経路としては次のものが知られている。なお、ここでは人から人へ感染が広がる感染症の例として、新型コロナウイルスを例示して説明しているが、他の感染症（例えばインフルエンザ感染症）においても同様である。
【0013】
例えば、新型コロナウイルス等のウイルスに感染した人物（つまり感染者）がくしゃみ等をすると、その感染者の唾液中あるいは体液中に含まれるウイルスが飛沫（例えばエアロゾル）として空気中を伝搬（例えばエアロゾル感染）し、そのウイルスを健常者が目、鼻、口等の器官を介して吸収するという経路である。この経路はあくまで一例であって、感染の経路が限定されることを意図するものでは無い。したがって、感染者から放出される飛沫が物体等のモノに付着した場合、そのモノに付着した飛沫の有無が適切に検知され、検知された場合に飛沫が多く堆積した飛沫痕を適宜清掃（拭掃）することで衛生を保つことができれば感染の拡大防止に向けた有意義な対策が可能となると期待されている。
【0014】
ここで、人の唾液は殆ど（およそ９９．５％）が水分であり、残り０．５％は唾液痕（つまり飛沫痕）により構成される。飛沫痕は、グルコース等のブドウ糖、ＡＴＰ（アデノシン三リン酸）等の成分により構成される。このような成分や水分にはいずれにしてもＯＨ基（ヒドロキシ基）が含まれることが知られている。本件発明者は、このような水分や飛沫痕にＯＨ基（ヒドロキシ基）が含まれることに着目した。従来技術では、人の唾液中に含まれる水分や飛沫痕（例えばグルコース等のブドウ糖、ＡＴＰ）を検知することは困難であり、植物と人の唾液とでは膜厚もかなり相違するので唾液中のＯＨ基を高精度に検知することは困難であるという課題があった。
【0015】
そこで、以下の実施の形態１では、金属等の被測定物に付着する水分あるいは糖類を検知し、被測定物における唾液痕による汚れを高精度に推定する飛沫汚れ検知装置および飛沫汚れ検知方法の例を説明する。
【0016】
以下、適宜図面を参照しながら、本開示に係る汚れ検知装置、汚れ検知方法、生体認証システムおよび生体認証方法を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0017】
（実施の形態１）
実施の形態１では、本開示に係る汚れ検知装置の一例として、飛沫汚れ検知装置を例示して説明する。図１Ａは、飛沫汚れ検知装置１が飛沫のほぼ無い時の下地層ＢＳ１に向けて近赤外光を照射する使用状況例を模式的に示す図である。図１Ｂは、飛沫汚れ検知装置１が飛沫の付着している時の下地層ＢＳ１に向けて近赤外光を照射する使用状況例を模式的に示す図である。実施の形態１に係る飛沫汚れ検知装置１は、金属板等の下地層ＢＳ１に付着した水分あるいは糖類（例えばＯＨ基）を含む人の飛沫ＳＬＶ１（例えば人がせき、くしゃみ等をして出した細かい唾液）の有無を検知したり、その飛沫（唾液）が乾燥して残った飛沫痕（唾液痕）による汚れを検知したりする。
実施の形態１では、本開示に係る汚れ検知装置の一例として、飛沫汚れ検知装置を例示して説明する。図１Ａは、飛沫汚れ検知装置１が飛沫のほぼ無い時の下地層ＢＳ１に向けて近赤外光を照射する使用状況例を模式的に示す図である。図１Ｂは、飛沫汚れ検知装置１が飛沫の付着している時の下地層ＢＳ１に向けて近赤外光を照射する使用状況例を模式的に示す図である。実施の形態１に係る飛沫汚れ検知装置１は、金属板等の下地層ＢＳ１に付着した水分あるいは糖類（例えばＯＨ基）を含む人の飛沫ＳＬＶ１（例えば人がせき、くしゃみ等をして出した細かい唾液）の有無を検知したり、その飛沫（唾液）が乾燥して残った飛沫痕（唾液痕）による汚れを検知したりする。
【0018】
飛沫汚れ検知装置１は、下地層ＢＳ１から例えば５０ｃｍ～１ｍ以上程度離して配置される。下地層ＢＳ１により反射した反射光の強度（光量）を抑えるため、下地層ＢＳ１は、飛沫汚れ検知装置１に対して少し斜めに（例えば照射された近赤外光の照射方向に直交する向きから約１０度程度）傾けられて配置される。
【0019】
図１Ａでは下地層ＢＳ１が人の手により拭掃された（例えばアルコール消毒剤が噴霧されて布で拭かれた）直後の様子が図示されており、下地層ＢＳ１には飛沫ＳＬＶ１はほぼ存在していない。飛沫汚れ検知装置１は、２つの異なる波長（λ１，λ２）を有する近赤外光を時分割に下地層ＢＳ１に向けて照射する第１投光光源１３，第２投光光源１５と、下地層ＢＳ１により反射して拡散した光（つまり、反射光である拡散反射光ＲＶ１（戻り光Ｉ０），拡散反射光ＲＶ２（戻り光Ｉ０）を戻り光Ｉ０として入射する撮像光学部２１（例えばレンズ）と、その撮像光学部２１を介して戻り光Ｉ０を受光する受光部２３とを備える。戻り光Ｉ０は、下地層ＢＳ１が拭掃された直後の拡散反射光ＲＶ１および拡散反射光ＲＶ２のうちいずれか１つでもよいし、それら両方を含んでもよい概念である。なお、飛沫汚れ検知装置１の詳細な構成の説明は図２および図３を参照して後述する。第１投光光源１３および第２投光光源１５は例えばレーザダイオード（ＬＤ）により構成され、照射される近赤外光はレーザ光である。受光部２３は例えばフォトダイオード（ＰＤ）あるいはイメージセンサ（ＩＭＳ）のいずれにより構成されてもよいが、フォトダイオードの場合はミラー（例えば後述する投光光源走査用光学部１７）を走査して受光位置が異なるように制御が必要だが、イメージセンサの場合は受光位置が異なるようにミラー（上述参照）を走査する制御は不要となる。以下、図１Ａのタイミング（つまり、下地層ＢＳ１が拭掃された直後のタイミング）に照射される参照光が下地層ＢＳ１で反射した拡散反射光を「拡散反射光ＲＶ１（戻り光Ｉ０）」と称し、図１Ａのタイミング（つまり、下地層ＢＳ１が拭掃された直後のタイミング）に照射される測定光が下地層ＢＳ１で反射した拡散反射光を「拡散反射光ＲＶ２（戻り光Ｉ０）」と称する。
【0020】
図１Ｂでは下地層ＢＳ１が人の手により拭掃されてから一定時間が経過した時の様子が図示されており、下地層ＢＳ１には一定量の飛沫ＳＬＶ１が存在（付着）している。図１Ａの状態と同様に、飛沫汚れ検知装置１は、２つの異なる波長（λ１，λ２）を有する近赤外光を時分割に下地層ＢＳ１に向けて照射し、下地層ＢＳ１で反射して拡散した光（つまり、反射光である拡散反射光ＲＶ１，ＲＶ２）を戻り光Ｉ１として入射して受光する。戻り光Ｉ１は、下地層ＢＳ１が拭掃されてから一定時間が経過した後（言い換えると、下地層ＢＳ１に飛沫ＳＬＶ１が付着している時）の拡散反射光ＲＶ１および拡散反射光ＲＶ２のうちいずれか１つでもよいし、それら両方を含んでもよい概念である。詳細は後述するが、波長λ１を有する近赤外光（参照光）は飛沫ＳＬＶ１での吸収はされ難い特性を有するが、波長λ２を有する近赤外光（測定光）は飛沫ＳＬＶ１での吸収がされ易い特性を有する。このため、戻り光Ｉ０の強度（光量）は参照光の強度（光量）と測定光の強度（光量）とで異ならないが、戻り光Ｉ１の強度（光量）は参照光の強度（光量）と、測定光の強度（光量）とで異なる。以下、図１Ｂのタイミング（つまり、下地層ＢＳ１が拭掃されてから一定時間が経過したタイミング）に照射される参照光が下地層ＢＳ１で反射した拡散反射光を「拡散反射光ＲＶ１（戻り光Ｉ１）」と称し、図１Ａのタイミング（つまり、下地層ＢＳ１が拭掃された直後のタイミング）に照射される測定光が下地層ＢＳ１で反射した拡散反射光を「拡散反射光ＲＶ２（戻り光Ｉ１）」と称する。
【0021】
図２は、飛沫汚れ検知装置１の内部構成例を詳細に示すブロック図である。図３は、飛沫汚れ検知装置１の受光処理部２０の内部構成例を詳細に示すブロック図である。図２に示すように、飛沫汚れ検知装置１は、非可視センサ部５と、可視カメラ部３０とを含む構成である。非可視センサ部５は、制御部７と、投光処理部１０と、受光処理部２０とを含む構成である。投光処理部１０は、第１投光光源１３と、第２投光光源１５と、投光光源走査用光学部１７とを有する。受光処理部２０は、撮像光学部２１と、受光部２３と、信号加工部２５と、検知処理部２７と、表示処理部２９とを有する。可視カメラ部３０は、撮像光学部３１と、受光部３３と、撮像信号処理部３５と、表示制御部３７とを有する。通信端末ＭＴは、ユーザ（例えば下地層ＢＳ１に飛沫ＳＬＶ１が付着しているか否かを検査する人物。以下同様。）により携帯される。
【0022】
先ず、制御部７について説明する。
【0023】
制御部７は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）あるいはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のプロセッサを用いて構成される。制御部７は、非可視センサ部５および可視カメラ部３０の動作の同期制御、非可視センサ部５および可視カメラ部３０の各部の動作制御を全体的に統括するための信号処理、他の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。また、制御部７は、後述するタイミング制御部７ａを含む（図３参照）。さらに、制御部７は、金属板等の下地層ＢＳ１を拭掃するための各種の機構（図示略）を備える拭掃ロボットＲＯＢ１との間でデータ信号の送受信が可能に接続されている。
【0024】
制御部７は、非可視センサ部５の検知対象となる飛沫ＳＬＶ１を検知するための閾値Ｎ，Ｍを後述する検知処理部２７に設定する。制御部７の動作の詳細については、図４Ａを参照して後述する。
【0025】
タイミング制御部７ａは、投光処理部１０における第１投光光源１３および第２投光光源１５の投光タイミングを制御する。具体的には、タイミング制御部７ａは、第１投光光源１３あるいは第２投光光源１５にレーザ近赤外光を投光させる場合に、光源走査用タイミング信号ＴＲおよび光源発光信号ＲＦを第１投光光源１３あるいは第２投光光源１５に送る。つまり、タイミング制御部７ａは、光源走査用タイミング信号ＴＲおよび光源発光信号ＲＦを、第１投光光源１３あるいは第２投光光源１５に所定の投光周期ごとに交互（時分割）に送る。具体的には、タイミング制御部７ａは、奇数番目の投光周期の開始時に光源走査用タイミング信号ＴＲおよび光源発光信号ＲＦを第１投光光源１３に送り、偶数番目の投光周期の開始時に光源走査用タイミング信号ＴＲおよび光源発光信号ＲＦを第２投光光源１５に送る。
【0026】
また、制御部７は、後述する表示処理部２９あるいは表示制御部３７からの出力を受けて、金属板等の下地層ＢＳ１の拭掃を命令するための拭掃指示を生成して拭掃ロボットＲＯＢ１に送信（通知）する。拭掃ロボットＲＯＢ１は、制御部７からの通知を受けて、金属板等の下地層ＢＳ１の拭掃を実行する。
【0027】
次に、非可視センサ部５の各部について説明する。
【0028】
第１投光光源１３（第１光源の一例）は、奇数番目の投光周期（既定値）ごとにタイミング制御部７ａから送られる光源走査用タイミング信号ＴＲおよび光源発光信号ＲＦを受けると、所定の波長（例えば９０５ｎｍ）を有する近赤外光（非可視光）のレーザ光である参照光ＬＳ１を、投光光源走査用光学部１７を介して下地層ＢＳ１に向けて投光する。
【0029】
第２投光光源１５（第２光源の一例）は、偶数番目の投光周期（既定値）ごとにタイミング制御部７ａから送られる光源走査用タイミング信号ＴＲおよび光源発光信号ＲＦを受けると、所定の波長（例えば１５５０ｎｍ）を有する近赤外光（非可視光）のレーザ光である測定光ＬＳ２を、投光光源走査用光学部１７を介して下地層ＢＳ１に向けて投光する。実施の形態１では、第２投光光源１５から投光される測定光ＬＳ２は、下地層ＢＳ１に付着した飛沫ＳＬＶ１に含まれる水分あるいは糖類の検知の有無の判定に用いられる。測定光ＬＳ２の波長１５５０ｎｍは、水分あるいは糖類に含まれるＯＨ基が吸収され易い特性を有する波長である（図７参照）。
【0030】
投光光源走査用光学部１７は、例えば変位可能なミラーと、制御部７からの駆動信号（図示略）に基づいてミラーを駆動可能に変位させるミラー駆動部（図示略）とにより構成される。投光光源走査用光学部１７は、制御部７からの制御の下で、非可視センサ部５の画角（言い換えると、視野範囲）に配置された下地層ＢＳ１に向けて、第１投光光源１３から投光される参照光ＬＳ１あるいは第２投光光源１５から投光される測定光ＬＳ２を２次元的に走査する。これにより、飛沫汚れ検知装置１は、参照光ＬＳ１および測定光ＬＳ２の下地層ＢＳ１による反射光（つまり、戻り光Ｉ０，Ｉ１）の強度（光量）を基に、下地層ＢＳ１に付着した飛沫ＳＬＶ１の有無を検知できたり、その飛沫ＳＬＶ１に基づく唾液痕による汚れを検知できたりする。なお、投光光源走査用光学部１７は、参照光ＬＳ１および測定光ＬＳ２の下地層ＢＳ１による反射光（つまり、戻り光Ｉ０，Ｉ１）を透過してもよいし（図１Ａ、図１Ｂおよび図２参照）、透過しなくてもよい。
【0031】
撮像光学部２１は、例えばレンズを用いて構成され、投光光源走査用光学部１７を透過した光あるいは投光光源走査用光学部１７を透過せずに直接に入射した光（例えば拡散反射光ＲＶ１（戻り光Ｉ０），拡散反射光ＲＶ２（戻り光Ｉ１））を集光し、拡散反射光ＲＶ１（戻り光Ｉ０），拡散反射光ＲＶ２（戻り光Ｉ１）を受光部２３の所定の撮像面（受光面）に結像させる。
【0032】
受光部２３は、参照光ＬＳ１および測定光ＬＳ２の両方の波長に対する分光感度のピークを有するイメージセンサであり、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）あるいはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）により構成される。受光部２３は、撮像面（受光面）に結像した拡散反射光ＲＶ１（戻り光Ｉ０），拡散反射光ＲＶ２（戻り光Ｉ１）の光学像を電気信号に変換する。受光部２３の出力は、電気信号（電流信号）として信号加工部２５に入力される。なお、撮像光学部２１および受光部２３は、非可視センサ部５における非可視センサ画像データ（後述参照）を撮像するための撮像部としての機能を有する。
【0033】
信号加工部２５は、Ｉ／Ｖ変換回路２５ａと、増幅回路２５ｂと、コンパレータ・ピークホールド処理部２５ｃとを有する。Ｉ／Ｖ変換回路２５ａは、受光部２３の出力信号（アナログ信号）である電流信号を電圧信号に変換する。増幅回路２５ｂは、Ｉ／Ｖ変換回路２５ａの出力信号（アナログ信号）である電圧信号のレベルを、コンパレータ・ピークホールド処理部２５ｃにおいて処理可能なレベルまで増幅する。
【0034】
コンパレータ・ピークホールド処理部２５ｃは、増幅回路２５ｂの出力信号（アナログ信号）と所定の閾値（既定値）との比較結果に応じて、増幅回路２５ｂの出力信号を２値化して閾値設定／飛沫汚染度検知処理部２７ａに出力する。コンパレータ・ピークホールド処理部２５ｃは、ＡＤＣ（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）を含み、増幅回路２５ｂの出力信号（アナログ信号）のＡＤ（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ）変換結果のピークを検知して保持し、さらに、ピークの情報を閾値設定／飛沫汚染度検知処理部２７ａに送る。
【0035】
検知処理部２７は、閾値設定／飛沫汚染度検知処理部２７ａと、メモリ２７ｂと、検知結果フィルタ処理部２７ｃとを有する。閾値設定／飛沫汚染度検知処理部２７ａは、予め度数分布データ（例えば非可視センサ画像データ（後述参照）の１フレームの全画素における正規化吸光度比ＮＡＲ（後述参照）の度数分布データ）を作成して登録する。閾値設定／飛沫汚染度検知処理部２７ａは、後述するように、この度数分布データを用いて、下地層ＢＳ１（例えば金属板）の形状を識別するための正規化吸光度比ＮＡＲの閾値Ｓｈを算出して設定する。なお、非可視センサ部５の画角（視野範囲）がほぼ下地層ＢＳ１全体の領域に相当するように飛沫汚れ検知装置１と下地層ＢＳ１との間の距離が定められる場合、この度数分布データを用いた閾値Ｓｈの算出および設定は不要としてもよい。
【0036】
また、閾値設定／飛沫汚染度検知処理部２７ａは、拡散反射光ＲＶ１（戻り光Ｉ０）および拡散反射光ＲＶ１（戻り光Ｉ１）のそれぞれに基づくコンパレータ・ピークホールド処理部２５ｃの出力（ピークの情報）と、拡散反射光ＲＶ２（戻り光Ｉ１）および拡散反射光ＲＶ２（戻り光Ｉ１）のそれぞれにおけるコンパレータ・ピークホールド処理部２５ｃの出力（ピークの情報）とを基に、参照光ＬＳ１および測定光ＬＳ２の照射位置における飛沫ＳＬＶ１の有無を検知する。
【0037】
具体的には、閾値設定／飛沫汚染度検知処理部２７ａは、拡散反射光ＲＶ１（戻り光Ｉ０）に基づくコンパレータ・ピークホールド処理部２５ｃの出力（ピークの情報で、つまり拡散反射光ＲＶ１（戻り光Ｉ０）の強度（光量））と、拡散反射光ＲＶ２（戻り光Ｉ０）に基づくコンパレータ・ピークホールド処理部２５ｃの出力（ピークの情報で、つまり拡散反射光ＲＶ２（戻り光Ｉ０）の強度（光量））とをメモリ２７ｂに一時的に保存しておく。次に、閾値設定／飛沫汚染度検知処理部２７ａは、拡散反射光ＲＶ１（戻り光Ｉ１）および拡散反射光ＲＶ２（戻り光Ｉ１）のそれぞれに基づくコンパレータ・ピークホールド処理部２５ｃの出力（ピークの情報で、つまり拡散反射光ＲＶ１（戻り光Ｉ１），拡散反射光ＲＶ２（戻り光Ｉ１）のそれぞれの強度（光量））が得られるまで待機する。閾値設定／飛沫汚染度検知処理部２７ａは、拡散反射光ＲＶ１（戻り光Ｉ１）および拡散反射光ＲＶ２（戻り光Ｉ１）のそれぞれに基づくコンパレータ・ピークホールド処理部２５ｃの出力（ピークの情報）が得られた後、メモリ２７ｂに保存されている拡散反射光ＲＶ１（戻り光Ｉ０）および拡散反射光ＲＶ２（戻り光Ｉ１）のそれぞれに基づくコンパレータ・ピークホールド処理部２５ｃの出力（ピークの情報）を参照して、非可視センサ画像データの画角内に含まれる下地層ＢＳ１の同一ラインを構成する画素ごとの正規化吸光度比ＮＡＲを式（１）にしたがって算出する。
【0038】
ここで、式（１）において、分母の項を設けて正規化しているのは、飛沫汚れ検知装置１の配置箇所に照明（外部光源の一例）を使用した場合に、拡散反射光ＲＶ１および拡散反射光ＲＶ２の強度（光量）が測定対象物（例えば下地層ＢＳ１）と飛沫汚れ検知装置１との角度によって変化するため、この変化による影響を抑圧することに基づく。
【0039】
【数1】
【0040】
式（１）において、ｌｎ（Ｉ０／Ｉ１）９０５は、｛（拡散反射光ＲＶ１（戻り光Ｉ０）に基づくコンパレータ・ピークホールド処理部２５ｃの出力（ピークの情報））／（拡散反射光ＲＶ１（戻り光Ｉ１）に基づくコンパレータ・ピークホールド処理部２５ｃの出力（ピークの情報））｝の自然対数を示す。同様に、ｌｎ（Ｉ０／Ｉ１）１５５０は、｛（拡散反射光ＲＶ２（戻り光Ｉ０）に基づくコンパレータ・ピークホールド処理部２５ｃの出力（ピークの情報））／（拡散反射光ＲＶ２（戻り光Ｉ１）に基づくコンパレータ・ピークホールド処理部２５ｃの出力（ピークの情報））｝の自然対数を示す。
【0041】
例えば飛沫ＳＬＶ１に含まれる水分あるいは糖類を構成するＯＨ基が存在する照射位置では、１５５０ｎｍの波長を有する測定光ＬＳ２がＯＨ基により吸収され易い。このため、その照射位置における反射効率が低下し、拡散反射光ＲＶ２（戻り光Ｉ１）の強度（光量）が減衰する。したがって、閾値設定／飛沫汚染度検知処理部２７ａは、飛沫汚れ検知装置１の非可視センサ部５の画角（視野範囲）内に含まれる下地層ＢＳ１の同一ラインごとの正規化吸光度比ＮＡＲの算出結果（式（１）参照））を基に、参照光ＬＳ１および測定光ＬＳ２の照射位置における飛沫ＳＬＶ１の有無を検知できる。
【0042】
なお、閾値設定／飛沫汚染度検知処理部２７ａは、拭掃直後および拭掃から一定時間経過後の各タイミングにおいて、拡散反射光ＲＶ１の振幅ＶＡと拡散反射光ＲＶ２の振幅ＶＢとの振幅差分（ＶＡ－ＶＢ）と振幅ＶＡとの比ＲＴと所定の閾値との大小の比較に応じて、下地層ＢＳ１の参照光ＬＳ１および測定光ＬＳ２の照射位置における飛沫ＳＬＶ１の有無を検知しても良い（図４Ｂ参照）。
【0043】
さらに、閾値設定／飛沫汚染度検知処理部２７ａは、画角（視野範囲）内に含まれる下地層ＢＳ１の同一ラインを構成する画素ごとの正規化吸光度比ＮＡＲの算出結果（式（１）参照））が所定範囲の値（例えば閾値Ｎから閾値Ｍ）となる画素数（占有画素数）をカウントし、そのカウント結果に相当する占有画素数分の正規化吸光度比ＮＡＲの総和を下地層ＢＳ１の飛沫汚染度として算出する。この飛沫汚染度の算出結果を用いて、下地層ＢＳ１にどの程度の飛沫ＳＬＶ１が付着しているかを定量的に示す非可視センサ画像データが生成される。なお、非可視センサ画像データを構成する画素数は、飛沫汚れ検知装置１の可視カメラ部３０により生成されるカラー画像データの１フレームを構成する画素数と同一となる。
【0044】
メモリ２７ｂは、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を用いて構成され、拡散反射光ＲＶ１（戻り光Ｉ０）に基づくコンパレータ・ピークホールド処理部２５ｃの出力（ピークの情報で、つまり拡散反射光ＲＶ１（戻り光Ｉ０）の強度（光量））と、拡散反射光ＲＶ２（戻り光Ｉ０）に基づくコンパレータ・ピークホールド処理部２５ｃの出力（ピークの情報で、つまり拡散反射光ＲＶ２（戻り光Ｉ０）の強度（光量））を一時的に保存する。
【0045】
検知結果フィルタ処理部２７ｃは、閾値設定／飛沫汚染度検知処理部２７ａの出力を基に、飛沫ＳＬＶ１の検知結果からノイズ等の不要成分をフィルタリングした上で抽出する。検知結果フィルタ処理部２７ｃは、抽出結果のデータを表示処理部２９に送る。例えば検知結果フィルタ処理部２７ｃは、下地層ＢＳ１への参照光ＬＳ１および測定光ＬＳ２の照射位置における飛沫ＳＬＶ１の検知結果（例えば、フィルタリング後の画角（視野範囲）内に含まれる下地層ＢＳ１の画素ごとの正規化吸光度比ＮＡＲの算出結果、下地層ＢＳ１の飛沫汚染度の算出結果）を表示処理部２９に送る。
【0046】
表示処理部２９は、検知結果フィルタ処理部２７ｃの出力を用いて、下地層ＢＳ１にどの程度の飛沫ＳＬＶ１が付着しているかを定量的に示す非可視センサ画像データを生成する。表示処理部２９は、下地層ＢＳ１の非可視センサ画像データと下地層ＢＳ１の飛沫汚染度の算出結果のデータとを可視カメラ部３０の表示制御部３７に出力する。なお、表示処理部２９は、非可視センサ画像データ中の汚れ（例えば飛沫ＳＬＶ１）の検知結果が占める領域が許容条件（例えば非可視センサ画像データ中の全ての画素のうち１０％未満の画素数に汚れ（例えば飛沫ＳＬＶ１）が検知された）を満足しないと判定した場合、金属板等の下地層ＢＳ１の拭掃の実行指示を生成する旨の信号をフィードバック信号として制御部７に送ってもよい。
【0047】
次に、可視カメラ部３０の各部について説明する。
【0048】
撮像光学部３１は、例えばレンズを用いて構成され、飛沫汚れ検知装置１の可視カメラ部３０の画角内からの環境光ＲＶ０を集光し、環境光ＲＶ０を受光部３３の所定の撮像面（受光面）に結像させる。
【0049】
受光部３３は、可視光の波長（例えば４００ｎｍ～７００ｎｍ）に対する分光感度のピークを有するイメージセンサであり、例えばＣＣＤあるいはＣＭＯＳにより構成される。受光部３３は、撮像面（受光面）に結像した光学像を電気信号に変換する。受光部３３の出力は、電気信号（例えば電流信号あるいは電圧信号）として撮像信号処理部３５に入力される。なお、撮像光学部３１および受光部３３は、可視カメラ部３０におけるカラー画像データ（後述参照）を撮像するための撮像部としての機能を有する。
【0050】
撮像信号処理部３５は、受光部３３の出力である電気信号を用いて、人が認識可能なＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）あるいははＹＵＶ（輝度・色差）等により規定される下地層ＢＳ１を被写体としたカラー画像データを生成する。これにより、下地層ＢＳ１を被写体としたカラー画像データが生成される。撮像信号処理部３５は、可視光画像データを表示制御部３７に送る。
【0051】
表示制御部３７は、撮像信号処理部３５から送られたカラー画像データと、表示処理部２９から送られた非可視センサ画像データとを用いて、ほぼ透明な飛沫ＳＬＶ１がカラー画像データ中のいずれかの位置で検知されたかをユーザが視認可能となるように、カラー画像データの対応する画素に非可視センサ画像データの対応する同一の画素を重畳した重畳画像データ（図示略）、あるいは、カラー画像データと非可視センサ画像データとを対比可能に表した画像データを表示データとして生成する。表示制御部３７は、表示データを、例えばネットワークを介して接続されたデータロガーＤＬあるいは通信端末ＭＴに送信して表示を促す。なお、表示制御部３７は、表示処理部２９から非可視センサ画像データを取得した場合に、非可視センサ画像データ中の汚れ（例えば飛沫ＳＬＶ１）の検知結果が占める領域が許容条件（例えば非可視センサ画像データ中の全ての画素のうち１０％未満の画素数に汚れ（例えば飛沫ＳＬＶ１）が検知された）を満足しないと判定した場合、上述した表示データと金属板等の下地層ＢＳ１の拭掃の実行指示を生成する旨の信号と含めてフィードバック信号として制御部７に送ってもよい。
【0052】
データロガーＤＬは、表示制御部３７から出力された表示データを通信端末ＭＴあるいは１つ以上の外部接続機器（不図示）に送信し、通信端末ＭＴあるいは１つ以上の外部接続機器（例えば監視ルーム内のモニタ）の表示画面における表示データの表示を促す。なお、データロガーＤＬは、各種のフィードバック制御の要否を制御部７に判断させるために、表示データを飛沫汚れ検知装置１の制御部７に送ってもよい。制御部７は、データロガーＤＬから送られた表示データに基づいて、各種のフィードバック制御を実行してもよい（図６参照）。
【0053】
通信端末ＭＴは、例えばユーザ個人が用いる携帯用の通信用端末であり、ネットワーク（不図示）を介して、表示制御部３７から送信された表示データを受信し、通信端末ＭＴの表示画面（不図示）に表示データを表示する。なお、通信端末ＭＴは、各種のフィードバック制御の要否を制御部７に判断させるために、表示データを飛沫汚れ検知装置１の制御部７に送ってもよい。制御部７は、通信端末ＭＴから送られた表示データに基づいて、各種のフィードバック制御を実行してもよい（図６参照）。
【0054】
次に、実施の形態１に係る飛沫汚れ検知装置１の非可視センサ部５の制御部７における初期動作の一例について、図４Ａを参照して説明する。図４Ａは、飛沫汚れ検知装置１の制御部７による初期設定動作例を示すフローチャートである。
【0055】
図４Ａにおいて、制御部７は、閾値設定／飛沫汚染度検知処理部２７ａに対し、下地層ＢＳ１の形状を識別するための正規化吸光度比ＮＡＲの閾値Ｓｈの設定を指示する。この指示には、例えば正規化吸光度比ＮＡＲの閾値Ｓｈが含まれる。閾値設定／飛沫汚染度検知処理部２７ａは、制御部７からの指示に応じて、閾値Ｓｈを設定する（Ｓｔ１）。なお、非可視センサ部５の画角（視野範囲）が下地層ＢＳ１全体のみを覆うように設置される場合には、このステップＳｔ１の処理は省略されてもよい。
【0056】
制御部７は、非可視センサ部５の検知処理部２７における正規化吸光度比ＮＡＲの閾値Ｎ，Ｍを閾値設定／飛沫汚染度検知処理部２７ａに設定する（Ｓｔ２）。閾値Ｎは、例えば－０．４である（図１２参照）。閾値Ｍは、例えば０．６である（図１２参照）。
【0057】
ステップＳｔ２の処理後、制御部７は、下地層ＢＳ１の可視光に基づく撮像処理を開始させるための制御信号を可視カメラ部３０の各部に出力する（Ｓｔ３－１）。さらに、制御部７は、第１投光光源１３に参照光ＬＳ１あるいは第２投光光源１５に測定光ＬＳ２の投光を開始させるための光源走査用タイミング信号ＴＲおよび光源発光信号ＲＦを、非可視センサ部５の第１投光光源１３あるいは第２投光光源１５に送る（Ｓｔ３－２）。なお、ステップＳｔ３－１の動作とステップＳｔ３－２の動作との実行タイミングはどちらが先でもよく、同時でもよい。
【0058】
図４Ｂは、飛沫汚れ検知装置１の非可視センサ部５によるＯＨ基の検知原理の一例を示す図である。図４Ｂにおいて、ＶＡは、下地層ＢＳ１が拭掃された直後および拭掃されてから一定時間が経過した時点のいずれのタイミングでの、ＯＨ基により吸収され難い特性を有する波長９０５ｎｍの拡散反射光ＲＶ１（図２参照）の振幅を示す。ＶＢは、下地層ＢＳ１が拭掃された直後および拭掃されてから一定時間が経過した時点のいずれのタイミングでの、ＯＨ基により吸収され易い特性を有する波長１５５０ｎｍの拡散反射光ＲＶ２（図２参照）の振幅を示す。ＲＴは、例えば検知処理部２７によって（ＶＡ－ＶＢ）／ＶＡにより算出される値である。閾値は、例えば検知処理部２７のメモリ２７ｂに保存される。
【0059】
図４Ｂにおいて、閾値設定／飛沫汚染度検知処理部２７ａは、例えばＲＴ＞閾値であれば下地層ＢＳ１においてＯＨ基（例えば飛沫ＳＬＶ１）を検知したと判定し、ＲＴ≦閾値であれば下地層ＢＳ１においてＯＨ基（例えば飛沫ＳＬＶ１）を検知しないと判定してもよい。このように、閾値設定／飛沫汚染度検知処理部２７ａは、振幅差分（ＶＡ－ＶＢ）と振幅ＶＡとの比ＲＴと閾値との比較結果に応じて、下地層ＢＳ１におけるＯＨ基（例えば飛沫ＳＬＶ１）の有無を検知することで、ノイズ（例えば外乱光）の影響を排除でき、ＯＨ基（例えば飛沫ＳＬＶ１）の有無を高精度に検知できる。
【0060】
図８は、ＯＨ基に対する近赤外光の分光特性例を示すグラフである。図８の横軸は波長［ｎｍ］であり、図８の縦軸は透過率［％］を示す。図８に示すように、波長λ１（例えば中心波長９０５ｎｍの波長域）の参照光ＬＳ１は、ＯＨ基の透過率がほぼ１００％に近く、ＯＨ基に吸収され難い特性を有することがわかる。同様に、波長λ２（例えば中心波長１５５０ｎｍの波長域）の測定光ＬＳ２は、ＯＨ基の透過率が１０％に近く、ＯＨ基に吸収され易い特性を有することがわかる。そこで、実施の形態１では、第１投光光源１３から投光される参照光ＬＳ１の波長を９０５ｎｍ、第２投光光源１５から投光される測定光ＬＳ２の波長を１５５０ｎｍとしている。
【0061】
次に、飛沫汚れ検知装置１の非可視センサ部５におけるＯＨ基の検知に関する詳細な動作手順について、図５を参照して説明する。図５は、非可視センサ部５によるＯＨ基の検知動作手順例を詳細に示すフローチャートである。図５に示すフローチャートの説明の前提として、タイミング制御部７ａは、光源走査用タイミング信号ＴＲおよび光源発光信号ＲＦを第１投光光源１３あるいは第２投光光源１５に時分割に送り、飛沫汚れ検知装置１から参照光ＬＳ１および測定光ＬＳ２のそれぞれが時分割に下地層ＢＳ１に向けて照射される。
【0062】
図５において、現在時刻が奇数番目の投光周期の開始時点である場合（Ｓｔ１１、ＹＥＳ）、第１投光光源１３は、タイミング制御部７ａから送られた光源走査用タイミング信号ＴＲおよび光源発光信号ＲＦに基づいて、波長λ１の参照光ＬＳ１を投光する（Ｓｔ１２）。投光光源走査用光学部１７は、飛沫汚れ検知装置１の画角内に含まれる下地層ＢＳ１のＸ方向（例えば横方向）のライン上に参照光ＬＳ１を１次元的に照射する（Ｓｔ１４）。参照光ＬＳ１が照射されたＸ方向のライン上のそれぞれの照射位置において、参照光ＬＳ１が拡散反射したことで生じた拡散反射光ＲＶ１が撮像光学部２１を介して受光部２３により受光される（Ｓｔ１５）。
【0063】
信号加工部２５では、拡散反射光ＲＶ１の受光部２３における出力（電気信号）が電圧信号に変換され、この電圧信号のレベルがコンパレータ・ピークホールド処理部２５ｃにおいて処理可能なレベルまで増幅される（Ｓｔ１６）。コンパレータ・ピークホールド処理部２５ｃは、増幅回路２５ｂの出力信号と所定の閾値（既定値）との比較結果に応じて、増幅回路２５ｂの出力信号を２値化して閾値設定／飛沫汚染度検知処理部２７ａに送る。コンパレータ・ピークホールド処理部２５ｃは、増幅回路２５ｂの出力信号のピークの情報を閾値設定／飛沫汚染度検知処理部２７ａに送る。この後、ステップＳｔ１７の処理が検知処理部２７において実行される。
【0064】
具体的には、閾値設定／飛沫汚染度検知処理部２７ａは、参照光ＬＳ１の拡散反射光ＲＶ１に対するコンパレータ・ピークホールド処理部２５ｃの出力（ピークの情報）をメモリ２７ｂに一時的に保存する（Ｓｔ１７－１）。閾値設定／飛沫汚染度検知処理部２７ａは、メモリ２７ｂに保存された前回の投光周期（具体的には、奇数番目の投光周期あるいは偶数番目の投光周期）のフレームにおける拡散反射光ＲＶ１あるいは拡散反射光ＲＶ２の同一ラインを対象としたコンパレータ・ピークホールド処理部２５ｃの出力をメモリ２７ｂから読み出す（Ｓｔ１７－２）。
【0065】
閾値設定／飛沫汚染度検知処理部２７ａは、同一ラインにおける拡散反射光ＲＶ１（戻り光Ｉ０）および拡散反射光ＲＶ１（戻り光Ｉ１）のそれぞれに基づくコンパレータ・ピークホールド処理部２５ｃの出力（ピークの情報）と、同一ラインにおける拡散反射光ＲＶ２（戻り光Ｉ１）および拡散反射光ＲＶ２（戻り光Ｉ１）のそれぞれにおけるコンパレータ・ピークホールド処理部２５ｃの出力（ピークの情報）と、所定の閾値Ｎ，Ｍ（図４Ａ参照）とを基に、参照光ＬＳ１および測定光ＬＳ２の照射位置における飛沫ＳＬＶ１の有無を検知する。
【0066】
具体的には、閾値設定／飛沫汚染度検知処理部２７ａは、同一ラインにおける拡散反射光ＲＶ１（戻り光Ｉ１）および拡散反射光ＲＶ２（戻り光Ｉ１）のそれぞれに基づくコンパレータ・ピークホールド処理部２５ｃの出力（ピークの情報）と、ステップＳｔ１７－１でメモリ２７ｂに保存された同一ラインにおける拡散反射光ＲＶ１（戻り光Ｉ０）および拡散反射光ＲＶ２（戻り光Ｉ１）のそれぞれに基づくコンパレータ・ピークホールド処理部２５ｃの出力（ピークの情報）とを参照して、非可視センサ画像データの画角内に含まれる下地層ＢＳ１の同一ラインを構成する画素ごとの正規化吸光度比ＮＡＲを上述した式（１）にしたがって算出する（Ｓｔ１７－３）。さらに、閾値設定／飛沫汚染度検知処理部２７ａは、画角（視野範囲）内に含まれる下地層ＢＳ１の同一ラインを構成する画素ごとの正規化吸光度比ＮＡＲの算出結果（式（１）参照））が所定範囲の値（例えば閾値Ｎから閾値Ｍ）となる画素数（占有画素数）をカウントし、そのカウント結果に相当する占有画素数分の正規化吸光度比ＮＡＲの総和を下地層ＢＳ１の飛沫汚染度として算出する（Ｓｔ１７－３）。この下地層ＢＳ１の飛沫汚染度の算出処理の詳細については、図６を参照して後述する。
【0067】
また、閾値設定／飛沫汚染度検知処理部２７ａは、ステップＳｔ１７－３で算出された正規化吸光度比ＮＡＲが閾値Ｎから閾値Ｍまでの間の値となる領域（つまり、参照光ＬＳ１および測定光ＬＳ２の照射位置全体に対応する画素全体の中で、飛沫ＳＬＶ１が付着していると推定される画素の集合体）を飛沫ＳＬＶ１による汚れ部として検知する（Ｓｔ１７－４）。
【0068】
表示処理部２９は、画角（視野範囲）内を覆う全てのライン（１フレーム全体）分のステップＳｔ１７での検知処理部２７の処理結果を用いて、飛沫ＳＬＶ１（具体的には、ＯＨ基）の検知位置を示す非可視センサ画像データを生成する。表示制御部３７は、撮像信号処理部３５により生成されたカラー画像データと、表示処理部２９により生成された非可視センサ画像データとをデータロガーＤＬ、通信端末ＭＴ等に送信する（Ｓｔ１８）。なお、下地層ＢＳ１の非可視センサ画像データおよびカラー画像データは、制御部７にフィードバックするように表示制御部３７から送られてもよい。
【0069】
上述したステップＳｔ１４～ステップＳｔ１７の各動作は、１回のフレーム（投光周期）の検知エリア内のラインごとに実行される。つまり、１つのＸ方向（例えば横方向）のラインに対するステップＳｔ１４～ステップＳｔ１７の各動作が終了すると、次のＸ方向のラインに対するステップＳｔ１４～ステップＳｔ１７の各動作が行われ（Ｓｔ１９、ＮＯ）、以降、１フレーム分のステップＳｔ１４～ステップＳｔ１７の各動作が終了するまで、ステップＳｔ１４～ステップＳｔ１７の各動作がラインごとに繰り返される。
【0070】
一方、１フレームの全てのラインに対してステップＳｔ１４～Ｓｔ１７の各動作の実行が終了した場合には（Ｓｔ１９、ＹＥＳ）、参照光ＬＳ１および測定光ＬＳ２の投光走査が継続する場合には（Ｓｔ２０、ＹＥＳ）、非可視センサ部５の動作はステップＳｔ１１に戻る。なお、この時、制御部７は、下地層ＢＳ１の拭掃（リセット）と拡散反射光ＲＶ１（戻り光Ｉ０）および拡散反射光ＲＶ２（戻り光Ｉ０）の強度（光量）の測定の実行とを含む指示を、例えばユーザが所持する通信端末ＭＴ等に外部出力してもよい。一方、参照光ＬＳ１および測定光ＬＳ２の投光走査が継続しない場合には（Ｓ２０、ＮＯ）、図５に示す非可視センサ部５の動作は終了する。
【0071】
図６は、図５の非可視センサ画像データの生成処理の動作手順例を詳細に示すフローチャートである。図６の処理は、主に非可視センサ部５の表示処理部２９により実行される。図６の説明の前提として、検知処理部２７には、拡散反射光ＲＶ１（戻り光Ｉ０）に基づくコンパレータ・ピークホールド処理部２５ｃの出力（ピークの情報で、つまり拡散反射光ＲＶ１（戻り光Ｉ０）の強度（光量））と、拡散反射光ＲＶ２（戻り光Ｉ０）に基づくコンパレータ・ピークホールド処理部２５ｃの出力（ピークの情報で、つまり拡散反射光ＲＶ２（戻り光Ｉ０）の強度（光量））がメモリ２７ｂに一時的に保存される。さらに、検知処理部２７には、拡散反射光ＲＶ１（戻り光Ｉ１）および拡散反射光ＲＶ２（戻り光Ｉ１）のそれぞれに基づくコンパレータ・ピークホールド処理部２５ｃの出力（ピークの情報で、つまり拡散反射光ＲＶ１（戻り光Ｉ１），拡散反射光ＲＶ２（戻り光Ｉ１）のそれぞれの強度（光量））を信号加工部２５から入力する。
【0072】
図６において、表示処理部２９は、画角（視野範囲）内を覆う全てのライン（１フレーム全体）分（つまり、非可視センサ画像データを構成する全ての画素分）の正規化吸光度比ＮＡＲの検知処理部２７による算出結果を取得する（Ｓｔ２１）。表示処理部２９は、画素ごとの正規化吸光度比ＮＡＲが閾値Ｎ（例えば－０．４、図１２参照）から閾値Ｍ（例えば０．６、図１２参照）までの範囲の値であるか否かを判定する（Ｓｔ２２）。正規化吸光度比ＮＡＲが閾値Ｎから閾値Ｍまでの範囲の値でないと判定された場合（Ｓｔ２２、ＮＯ）、表示処理部２９は、その正規化吸光度比ＮＡＲに対応する画素について、その画素を非可視センサ画像データ中の飛沫ＳＬＶ１以外の背景（言い換えると、ユーザの観測対象とならない部分）として単色（例えば青色、黒色）で表示するよう非可視センサ画像データを生成する（Ｓｔ２４）。
【0073】
一方、表示処理部２９は、画素ごとの正規化吸光度比ＮＡＲが閾値Ｎから閾値Ｍまでの範囲の値であると判定した場合（Ｓｔ２２、ＹＥＳ）、その正規化吸光度比ＮＡＲに対応する画素について、その画素を飛沫汚れ（言い換えると、ユーザの観測対象となる部分）として任意のｎ階調による色で表示するよう非可視センサ画像データを生成する（Ｓｔ２３）。ここで、ｎは既定の整数であり、例えばｎ＝５である場合、最も飛沫汚れが多い画素は赤色、その次に飛沫汚れが多い画素は橙色、その次に飛沫汚れが多い画素は黄色、その次に飛沫汚れが多い画素は緑色、その次に飛沫汚れが多い画素は水色のように色が定められる。なお、ｎの値も使用される色も上述した例に限定されないことは言うまでもない。
【0074】
表示処理部２９は、閾値Ｎから閾値Ｍまでの範囲の値となっている正規化吸光度比ＮＡＲに対応する画素数に基づいて、正規化吸光度比ＮＡＲが閾値Ｎから閾値Ｍまでの範囲の値となっている画素空間（つまり、飛沫汚れが占有している領域）として任意のＡ×Ｂ画素（Ａ，Ｂ：非可視センサ画像データの最大縦，横の画素数未満となる整数値）の領域を設定する（Ｓｔ２５）。表示処理部２９は、ステップＳｔ２５で設定された領域（Ａ×Ｂ画素）の中で、ステップＳｔ１７でのラインを構成する画素ごとの飛沫汚染度の算出結果を用いて、閾値Ｎより大きい正規化吸光度比ＮＡＲが得られる画素ごとの正規化吸光度比ＮＡＲの総和（Σ（各正規化吸光度比ＮＡＲ×占有画素数））である飛沫汚染度、領域Ａ×Ｂ画素の飛沫汚染度の平均値を算出する（Ｓｔ２６）。さらに、表示処理部２９は、飛沫汚染度（総和）、あるいは飛沫汚染度（総和）およびその平均値のいずれかの算出結果の大小（例えばその算出結果と所定の閾値との比較）から、下地層ＢＳ１の拭掃の要否を示すフィードバック信号（例えば金属板等の下地層ＢＳ１の拭掃の実行を指示する信号）を生成して制御部７に通知する（Ｓｔ２６）。
【0075】
さらに、制御部７は、表示処理部２９からのフィードバック信号に基づいて、人（例えば通信端末ＭＴ）あるいは拭掃ロボットＲＯＢ１（図２参照）に下地層ＢＳ１の拭掃の指示を通知してもよいし（Ｓｔ２７）、その拭掃が完了したことの入力信号を受信した場合に、検知処理部２７のメモリ２７ｂに保存されている拡散反射光ＲＶ１（戻り光Ｉ０）に基づくコンパレータ・ピークホールド処理部２５ｃの出力（ピークの情報で、つまり拡散反射光ＲＶ１（戻り光Ｉ０）の強度（光量））と、拡散反射光ＲＶ２（戻り光Ｉ０）に基づくコンパレータ・ピークホールド処理部２５ｃの出力（ピークの情報で、つまり拡散反射光ＲＶ２（戻り光Ｉ０）の強度（光量））の自動リセットあるいはユーザによる手動（データ削除）を通信端末ＭＴ等に外部指示する。この後、拡散反射光ＲＶ１（戻り光Ｉ０）および拡散反射光ＲＶ２（戻り光Ｉ０）の測定が行われる。
【0076】
図７は、飛沫汚染度（総和）および飛沫汚染度の平均値の概念を示す図である。図７の例では、飛沫ＳＬＶ１の汚れ部Ｐｔ１と飛沫ＳＬＶ１の汚れ部Ｐｔ２とは同一面積であり、汚れ部Ｐｔ１の正規化吸光度比ＮＡＲの平均値は汚れ部Ｐｔ２の正規化吸光度比ＮＡＲの平均値より高いので汚れ部Ｐｔ１の方が汚れ部Ｐｔ２よりも汚れている（つまり、同一面積における飛沫汚染度が相対的に高い）。また、汚れ部Ｐｔ１では、画素ごとの正規化吸光度比ＮＡＲの値が汚れ部Ｐｔ１の領域全体にわたってほぼ均一になっている。同様に、汚れ部Ｐｔ２でも、画素ごとの正規化吸光度比ＮＡＲの値が汚れ部Ｐｔ２の領域全体にわたってほぼ均一になっている。このように、汚れ部Ｐｔ１，Ｐｔ２のように、領域全体にわたってほぼ均一に飛沫ＳＬＶ１が金属板等の下地層ＢＳ１に付着しているのは、飛沫ＳＬＶ１が付着して間もない頃のタイミングが該当する。
【0077】
ところが、金属板等の下地層ＢＳ１に飛沫ＳＬＶ１（例えば細かい唾液）が付着し始めてから一定時間が経過すると、飛沫ＳＬＶ１をほぼ構成する水分が蒸発するとともに濃縮が起こる。このため、飛沫ＳＬＶ１が金属板等の下地層ＢＳ１に付着して間もない頃には下限の閾値Ｎ以上であった同じ画素の正規化吸光度比ＮＡＲが時間の経過に伴って下限の閾値Ｎ未満となり、飛沫ＳＬＶ１による汚れ部の領域（占有画素数）が徐々に減少してくる。したがって、例えば汚れ部Ｐｔ１が汚れ部Ｐｔ３のように、水の表面張力が大きい（つまり、水分が多い）汚れ部Ｐｔ１の周辺部分から蒸発、乾燥が進行して飛沫ＳＬＶ１の膜厚が徐々に小さくなる（時刻ｔ＝Ｔ１）。さらに、時間の進行度合いによって、周辺部分の水分が蒸発して飛沫痕Ｐｔ３ａ，Ｐｔ３ｂ，Ｐｔ３ｃのいずれかが形成される（時刻ｔ＝Ｔ２）。つまり、時刻ｔ＝Ｔ２では、時刻ｔ＝Ｔ１に比べて汚れ部の領域周辺部分では水分の蒸発により正規化吸光度比ＮＡＲが小さくなってくるが、濃縮によって汚れ部（例えば飛沫痕Ｐｔ３ａ，Ｐｔ３ｃ）の中心付近の正規化吸光度比ＮＡＲは大きくなってくる。なお、飛沫ＳＬＶ１の付着状態によっては周辺部分と中心部分とがほぼ同様な正規化吸光度比ＮＡＲが得られる汚れ部Ｐｔ３ｂも検知されて構わない。
【0078】
したがって、図６のステップＳｔ２６において、表示処理部２９は、飛沫汚染度（総和）の平均値だけでフィードバック信号を生成するのではなく、飛沫汚染度（総和）、あるいは飛沫汚染度（総和）およびその平均値のいずれかの算出結果の大小（例えばその算出結果と所定の閾値との比較）から、下地層ＢＳ１の拭掃の要否を示すフィードバック信号を生成することが好ましい。
【0079】
次に、実施の形態１に係る飛沫汚れ検知装置１を用いた複数の実験例について、図面を参照して説明する。図９は、第１の実験例（唾液痕に含まれるＯＨ基を検知する）の概要例を示す図である。図１０は、下地層がプラスチック、金属板である場合の唾液痕の分光分析例を示す図である。
【0080】
図９に示すように、第１の実験例では、アルミニウム板等の金属板からなる下地層ＢＳ１に、人が指ＦＧ１の先端部につけた唾液ＳＬＶ０を付着させ、例えば「ＣＮＳ」というアルファベット３文字を描字して乾燥させる。飛沫汚れ検知装置１は、この下地層ＢＳ１に向けて近赤外光（例えば波長λ１の参照光ＬＳ１および波長λ２の測定光ＬＳ２）を交互に時分割に照射する。
【0081】
すると、飛沫汚れ検知装置１は、「ＣＮＳ」というアルファベット３文字の部分ＳＰＬ１がユーザにとって視認可能となる程度にｎ階調（図６参照）の色が着色された非可視センサ画像データＩＭＧ１を生成する。図９の例では、「ＣＮＳ」というアルファベット３文字の部分ＳＰＬ１は白色に近い薄灰色で示され、その他の背景部分は黒色に近い濃灰色で示されている。なお、唾液ＳＬＶ０はほぼ水分により構成されて無色透明であって色味成分の検知が本来的に困難であるため、例えば市販されている公知の色差計で観測したところ、指ＦＧ１で描字した以降の時間経過に伴う「ＣＮＳ」というアルファベット３文字の部分ＳＰＬ１における観測値の差は見られなかった。
【0082】
また、第１の実験例では、下地層がアルミニウム板等の金属板の場合だけでなくプラスチックとした場合の唾液痕の分光分析も行った。ユーザは、プラスチック材料からなる下地層ＢＳ０に、同様に指Ｆ１で唾液（例えば飛沫ＳＬＶ１）を付着させて指定された文字（例えば「ＩＣ」）を描字した。飛沫汚れ検知装置１は、この下地層ＢＳ０に向けて近赤外光（例えば波長λ１の参照光ＬＳ１および波長λ２の測定光ＬＳ２）を交互に時分割に照射する。すると、飛沫汚れ検知装置１は、「ＩＣ」というアルファベット２文字の部分がユーザにとって視認可能となる程度にｎ階調（図６参照）の色が着色できない非可視センサ画像データＩＭＧ２を生成した。これは、下地層ＢＳ０がプラスチック材料からなる場合に、唾液ＳＬＶ０に含まれるＯＨ基による測定光ＬＳ２の吸収が非常に少なかったことに起因すると推察される。
【0083】
特許文献２の植物に存在する水分の膜厚（数ｍｍオーダ）とは異なり、下地層ＢＳ０に付着された唾液ＳＬＶ０の膜厚は数μｍオーダであって膜厚が非常に薄い。また、波長λ２の測定光ＬＳ２はプラスチック材料に浸透し易く（言い換えると、測定光ＬＳ２の光学的深さが大きく）こともあり、波長λ２と同程度の数μｍオーダの膜厚では測定光ＬＳ２の吸収が非常に少なくなる。このため、下地層ＢＳ０に情報（例えば唾液ＳＬＶ０が付着しているか否かを示す情報）が埋没してしまい、下地層ＢＳ０では「ＩＣ」というアルファベット２文字の部分がうまく検知されなかった。
【0084】
また、ユーザは、セラミックス材料からなる下地層に、同様に指Ｆ１で唾液ＳＬＶ０を付着させて指定された文字（例えば「Ｐ」）を描字した。なお、セラミックス材料からなる下地層とアルミニウム板等の金属板からなる下地層ＢＳ１とは材質的に異なるものである。飛沫汚れ検知装置１は、このセラミックス材料からなる下地層に向けて近赤外光（例えば波長λ１の参照光ＬＳ１および波長λ２の測定光ＬＳ２）を交互に時分割に照射する。すると、飛沫汚れ検知装置１は、「Ｐ」というアルファベット１文字の部分がユーザにとって視認可能となる程度にｎ階調（図６参照）の色が着色できない非可視センサ画像データＩＭＧ３を生成した。これは、下地層がプラスチック材料だけでなくセラミックス材料からなる場合も同様に、唾液ＳＬＶ０に含まれるＯＨ基による測定光ＬＳ２の吸収が非常に少なかったことに起因すると推察される。
【0085】
一方、下地層がアルミニウム板等の金属板からなる下地層ＢＳ１である場合に、飛沫汚れ検知装置１は、「ＣＮＳ」というアルファベット３文字の部分ＳＰＬ１がユーザにとって視認可能となる程度にｎ階調（図６参照）の色が着色された非可視センサ画像データＩＭＧ１を生成できた（上述参照）。これは、下地層がアルミニウム板等の金属板からなる場合、少なくとも測定光ＬＳ２の下地層ＢＳ１での反射時に、金属板において特有に生じる定常波のうなりが発生することで唾液ＳＬＶ０の膜厚が同じ数μｍオーダであっても測定光ＬＳ２の吸収量が多くなることに起因すると推察される。つまり、測定光ＬＳ２の垂直偏光成分は下地層ＢＳ１への入射光と下地層ＢＳ２からの反射光とで打ち消し合うが、測定光ＬＳ２の平行偏光成分は下地層ＢＳ１への入射光と下地層ＢＳ２からの反射光とが互いに重ね合うことで定常波（うなり現象）が生じることが知られている。したがって、この金属板が下地層ＢＳ１である場合に特有のうなり現象により、数μｍオーダの膜厚しかない唾液ＳＬＶ０に含まれるＯＨ基によって測定光ＬＳ２が多く吸収される。これにより、飛沫汚れ検知装置１は、「ＣＮＳ」というアルファベット３文字の部分ＳＰＬ１がユーザにとって視認可能となる程度にｎ階調（図６参照）の色が着色された非可視センサ画像データＩＭＧ１を生成できる。
【0086】
図１１は、第２の実験例（下地層が金属板である場合のエリアごとの正規化吸光度比ＮＡＲの画素分布ならびに画素平均の時間推移を比較する）の概要例を示す図である。第２の実験例では、第１の実験例と同様にアルミニウム板等の金属板からなる下地層ＢＳ１に指定された文字（例えば「Ｐ」というアルファベット１文字）がユーザの指ＦＧ１についた唾液ＳＬＶ０が付着されて描字された。第２の実験例では、下地層ＢＳ１の複数箇所（具体的には、領域ＡＲ１，ＡＲ２，ＡＲ３）のそれぞれにおける２つのタイミング（時刻ｔ＝Ｔ３，Ｔ４）での正規化吸光度比ＮＡＲの経時変化を観測した。なお、第２の実験例では、正規化吸光度比ＮＡＲの算出式は、式（２）となっている。式（１）との違いは、分子の項の符号（＋および－）が逆になっている点である。つまり、実施の形態１において、画素ごとの正規化吸光度比ＮＡＲは、式（１）および式（２）のいずれにより算出されてもよい。
【0087】
【数2】
【0088】
時刻ｔ＝Ｔ３は、例えば「Ｐ」というアルファベット１文字が下地層ＢＳ１の領域ＡＲ１，ＡＲ２，ＡＲ３のそれぞれに唾液（例えば飛沫ＳＬＶ１）で描字される前の状態を示す。飛沫汚れ検知装置１は、時刻ｔ＝Ｔ３の時点で、下地層ＢＳ１に照射した近赤外光（波長λ１の参照光ＬＳ１および波長λ２の測定光ＬＳ２）の受光結果に基づいて、非可視センサ画像データＩＭＧ４を生成した。時刻ｔ＝Ｔ４は、例えば「Ｐ」というアルファベット１文字が下地層ＢＳ１の領域ＡＲ１，ＡＲ２，ＡＲ３のそれぞれに唾液（例えば飛沫ＳＬＶ１）で描字されて一定時間が経過した時の状態を示す。飛沫汚れ検知装置１は、時刻ｔ＝Ｔ４の時点で、下地層ＢＳ１に照射した近赤外光（波長λ１の参照光ＬＳ１および波長λ２の測定光ＬＳ２）の受光結果に基づいて、非可視センサ画像データＩＭＧ５を生成した。
【0089】
第２の実験例では、非可視センサ画像データの生成時に用いるｎ階調として１０階調（１０段階）の色表示を用いた。ｎは１０として示しているが、１０に限定されないことは言うまでもない。非可視センサ画像データＩＭＧ４に示されるように、時刻ｔ＝Ｔ３では、唾液ＳＬＶ０が下地層ＢＳ１に付着する前の状態であるため、領域ＡＲ１，ＡＲ２，ＡＲ３のいずれにおいても正規化吸光度比ＮＡＲは高い値になっている。ところが、時刻ｔ＝Ｔ４では、唾液ＳＬＶ０が下地層ＢＳ１に付着して一定時間が経過した状態であるため、領域ＡＲ１，ＡＲ２，ＡＲ３のいずれにおいても唾液ＳＬＶ０に含まれるＯＨ基により測定光ＬＳ２が吸収されて拡散反射光ＲＶ２が時刻ｔ＝Ｔ３に比べて小さくなっているので、正規化吸光度比ＮＡＲは相対的に小さい値になっていることが分かった。
【0090】
図１２は、第３の実験例（一定量の飛沫を最大で１０回噴き付けて所定時間乾燥させた金属板の正規化吸光度比ＮＡＲの範囲ごとの占有画素数を比較する）の概要例を示す図である。図１３は、第３の実験例による非可視センサ画像データの噴き付け回数ごとの比較例を示す図である。第３の実験例では、アルミニウム板等の金属板からなる下地層ＢＳ１に人工的に生成された唾液ＳＬＶ０を最大１０回（５０ｍｇ／１回）噴き付け、１５分の乾燥後に参照光ＬＳ１および測定光ＬＳ２の照射に基づく画素ごとの正規化吸光度比ＮＡＲを算出した。
【0091】
図１２に示すテーブルＴＢＬ１およびグラフＧＰＨ１は、噴霧ごとの測定値（正規化吸光度比ＮＡＲ）の任意の範囲における占有画素数を示す。噴霧の回数の増加（つまり、飛沫ＳＬＶ１の増加）にしたがって、正規化吸光度比ＮＡＲが－０．４から０．６までの範囲ＰＴＳ１の値をとる画素（占有画素数）の増加が見られた。また、噴霧の回数の増加（つまり、飛沫ＳＬＶ１の増加）にしたがって、正規化吸光度比ＮＡＲが－１から－０．４までの範囲の値をとる画素（占有画素数）の減少が見られた。つまり、噴霧の回数が増加しても正規化吸光度比ＮＡＲが－１から－０．４までの範囲の値をとる画素は増えないことが分かった。さらに、噴霧の回数の増加（つまり、飛沫ＳＬＶ１の増加）にしたがって、正規化吸光度比ＮＡＲが０．６から２．０までの範囲の値をとる画素（占有画素数）の減少も見られた。つまり、噴霧の回数が増加しても正規化吸光度比ＮＡＲが０．６から２．０までの範囲の値をとる画素は増えないことが分かった。したがって、噴霧の回数の増加にしたがって占有画素数の増加が見られた範囲ＰＴＳ１に対応する正規化吸光度比ＮＡＲの範囲（－０．４から０．６）の下限値－０．４を下限の閾値Ｎとして採用し、その同じ範囲の上限値０．６を上限の閾値Ｍとして採用することで、噴霧に応じて飛沫ＳＬＶ１の有無の検知が高精度に判定可能となる閾値Ｎ，Ｍが得られることが分かった。
【0092】
さらに、第３の実験例では、飛沫汚れ検知装置１は、噴霧前（０回）を含めた噴霧の回数ごとに飛沫汚れをｎ階調で示した非可視センサ画像データＩＭＧ１０，ＩＭＧ１１，ＩＭＧ１２，ＩＭＧ１３，ＩＭＧ１４，ＩＭＧ１５，ＩＭＧ１６，ＩＭＧ１７，ＩＭＧ１８，ＩＭＧ１９，ＩＭＧ２０をそれぞれ生成した。非可視センサ画像データＩＭＧ１０，ＩＭＧ１１，ＩＭＧ１２，ＩＭＧ１３，ＩＭＧ１４，ＩＭＧ１５，ＩＭＧ１６，ＩＭＧ１７，ＩＭＧ１８，ＩＭＧ１９，ＩＭＧ２０のそれぞれの領域ＡＴＴ１は、噴霧の回数が増加するにしたがって、３階調の表示のうち汚れが徐々に増加するような階調で表示されることが分かった。なお、領域ＡＴＴの枠線は分かりやすく示すために白色で示しているが、この白色は、３段階の階調表示のうち最も汚れが大きいことを示すものではないことに留意されたい。
【0093】
以上により、実施の形態１に係る飛沫汚れ検知装置１は、ＯＨ基を有する水分あるいは糖類を含む、金属板の表面に付着する唾液痕（例えば飛沫ＳＬＶ１）による汚れを検知する検知部（例えば非可視センサ部５）と、唾液痕による汚れの検知結果が許容条件（例えば非可視センサ画像データ中の全ての画素のうち１０％未満の画素数に汚れ（例えば飛沫ＳＬＶ１）が検知された）を満足しない場合、検知結果を外部端末（例えば通信端末ＭＴ）あるいは外部ロボット（例えば拭掃ロボットＲＯＢ１）に通知する通知部（例えば制御部７）と、を備える。通知部は、汚れ検知装置（例えば飛沫汚れ検知装置１）と接続された外部端末あるいは外部ロボットに検知結果を含む金属板の拭掃指示を送信する。
【0094】
これにより、飛沫汚れ検知装置１は、人物から発せられる飛沫ＳＬＶ１に付着している水分あるいは糖類を含む特定物質（例えば唾液痕）を検知でき、その特定物質（例えば唾液痕）の検知結果を外部に通知して次の行動（例えば金属板等の下地層ＢＳ１の拭掃）の実行を促すことができる。
【0095】
また、検知部（例えば非可視センサ部５）は、金属板により反射されたＯＨ基に吸収され難い特性を有する参照光の反射光量と、金属板により反射されたＯＨ基に吸収され易い特性を有する測定光の反射光量と、唾液痕が付着していない金属板により反射された参照光の反射光量と、唾液痕が付着していない金属板により反射された測定光の反射光量と、に基づいて、唾液痕による汚れを検知する。検知部は、金属板の表面に唾液痕が付着している領域（例えば非可視センサ画像データを構成する画素ごとの正規化吸光度比ＮＡＲが閾値Ｎから閾値Ｍまでの値である画素数）が閾値（例えば非可視センサ画像データ中の全ての画素のうち１０％以上の画素数）以上である場合、金属板の表面に唾液痕による汚れが付着していると判定する。これにより、飛沫汚れ検知装置１は、金属板の表面に唾液痕が付着しているか否かを簡易に判定できる。
【0096】
また、飛沫汚れ検知装置１は、ＯＨ基に吸収され難い特性を有する参照光ＬＳ１を金属板（例えば下地層ＢＳ１）に向けて順次走査しながら照射する第１光源（例えば第１投光光源１３）と、ＯＨ基に吸収され易い特性を有する測定光ＬＳ２を金属板に向けて順次走査しながら照射する第２光源（例えば第２投光光源１５）と、をさらに備える。参照光ＬＳ１の波長は９０５ｎｍであり、測定光ＬＳ２の波長は１５５０ｎｍである。これにより、飛沫汚れ検知装置１は、金属板に唾液痕が付着していない時の参照光および測定光のそれぞれの反射光量と金属板に唾液痕が付着している時の参照光および測定光のそれぞれの反射光量とを用いて、人物から発せられる飛沫ＳＬＶ１に付着している水分あるいは糖類を含む特定物質（例えば唾液痕）を検知できる。また、飛沫ＳＬＶ１を構成する主成分である水分あるいはその他の成分である糖類のいずれにもＯＨ基が含まれることに鑑みて、飛沫汚れ検知装置１は、ＯＨ基による吸収がされ易い測定光ＬＳ２とＯＨ基による吸収がされ難い参照光ＬＳ１の両方を用いることで、分光感度の特性の差分に応じて唾液痕による汚れの有無を簡易に判定できる。
【0097】
また、飛沫汚れ検知装置１は、金属板により反射された参照光ＬＳ１および測定光ＬＳ２の撮像により、金属板の所定範囲を被写体とした唾液痕による汚れの有無を示す検知結果画像（例えば非可視センサ画像データ）を生成する画像生成部（例えば表示処理部２９）、をさらに備える。通知部（例えば制御部７）は、飛沫汚れ検知装置１と接続された外部端末（例えばデータロガーＤＬ、通信端末ＭＴ）あるいは外部ロボット（例えば拭掃ロボットＲＯＢ１）に検知結果画像を含む金属板の拭掃指示を送信（通知）する。これにより、飛沫汚れ検知装置１は、画角（視野範囲）内に唾液痕（例えば飛沫ＳＬＶ１）の有無が判明可能となる非可視センサ画像データだけでなく、金属板の拭掃の実行指示をユーザあるいは外部の拭掃ロボットＲＯＢ１に的確に通知できる。
【0098】
また、飛沫汚れ検知装置１は、金属板の所定範囲を同じ被写体とした可視光の撮像により、被写体のカラー画像（例えばカラー画像データ）を生成する可視カメラ部３０、をさらに備える。通知部（例えば制御部７）は、被写体のカラー画像上に検知結果画像を重畳した重畳画像を金属板の拭掃指示に含めて外部端末（例えばデータロガーＤＬ、通信端末ＭＴ）あるいは外部ロボット（例えば拭掃ロボットＲＯＢ１）に送信（通知）する。これにより、唾液痕はほぼ無色透明で人には見え難いので、飛沫汚れ検知装置１は、カラー画像データと非可視センサ画像データとの重畳により唾液痕の位置をユーザに対して直感的に把握させ易くできるとともに、金属板の拭掃の実行指示のユーザあるいは外部の拭掃ロボットＲＯＢ１への通知が的確に実現可能となる。
【0099】
また、第１光源（例えば第１投光光源１３）は、レーザ光による参照光ＬＳ１を照射する。第２光源（例えば第２投光光源１５）は、レーザ光による測定光ＬＳ２を照射する。これにより、レーザ光を用いることで参照光ＬＳ１および測定光ＬＳ２の直進性が高くなり、飛沫汚れ検知装置１は、拡散反射光ＲＶ１，ＲＶ２の強度（光量）を高精度に得ることができる。
【0100】
（本開示に係る実施の形態２に至る経緯）
例えば、特開２００７－１８５３２１号公報には、被験者にＸ線を照射するＸ線発生部と、支持機構を介してＸ線発生部を支持する本体と、この本体を走行させる移動台車とを備え、被検者を透過したＸ線を用いてＸ線画像を撮影する移動型Ｘ線装置が開示されている。移動型Ｘ線装置は、撮影が予約される被検者（予約被検者）の本人識別情報をマスター情報として記憶し、実際に撮影しようとする被検者（撮影被検者）の本人識別情報を取得し、この取得した本人識別情報をマスター情報と照合し、撮影被検者が予約被検者と同一か否かを判定して、判定結果を出力する。なお、本人識別情報は、例えば被検者の口唇紋等の被験者の生体識別情報である。
例えば、特開２００７－１８５３２１号公報には、被験者にＸ線を照射するＸ線発生部と、支持機構を介してＸ線発生部を支持する本体と、この本体を走行させる移動台車とを備え、被検者を透過したＸ線を用いてＸ線画像を撮影する移動型Ｘ線装置が開示されている。移動型Ｘ線装置は、撮影が予約される被検者（予約被検者）の本人識別情報をマスター情報として記憶し、実際に撮影しようとする被検者（撮影被検者）の本人識別情報を取得し、この取得した本人識別情報をマスター情報と照合し、撮影被検者が予約被検者と同一か否かを判定して、判定結果を出力する。なお、本人識別情報は、例えば被検者の口唇紋等の被験者の生体識別情報である。
【0101】
しかし、特開２００７－１８５３２１号公報では、例えば適宜な色素を被検者の唇に塗布し、その唇に適宜なシートを押し当てるなどして、シートに口唇紋を写し取り、一般的なイメージスキャナなどで取り込むことで口唇紋を取得する必要がある。このため、撮影被検者が予約被検者と同一か否かを判定にあたって、本人識別情報である口唇紋の取得がたいへん手間だった。
【0102】
そこで、以下の実施の形態２では、生体認証に用いられる口唇紋をより容易に取得可能な生体認証システムおよび生体認証方法の例を説明する。
【0103】
（実施の形態２）
まず、図１４を参照して、実施の形態２に係る生体認証システム１００００の全体構成、および近赤外線カメラ１００の内部構成について説明する。図１４は、実施の形態２に係る生体認証システム１００００の全体構成例、および近赤外線カメラ１００の内部構成例を示すブロック図である。
まず、図１４を参照して、実施の形態２に係る生体認証システム１００００の全体構成、および近赤外線カメラ１００の内部構成について説明する。図１４は、実施の形態２に係る生体認証システム１００００の全体構成例、および近赤外線カメラ１００の内部構成例を示すブロック図である。
【0104】
生体認証システム１００００は、近赤外線カメラ１００と、制御装置２００とを含んで構成される。生体認証システム１００００は、近赤外線カメラ１００により撮像対象である被測定物ＰＴ（例えば、金属、食器等）を撮像し、撮像された撮像画像から唾液痕を検知する。生体認証システム１００００は、検知された唾液痕をｎ（ｎ：１以上の整数）階調色で表示した唾液痕表示画像ＰＴ３１（図２２参照）を生成するとともに、この唾液（唾液痕）が付着したエリアを口唇紋エリアとして算出して、制御装置２００に送信する。なお、本実施の形態２における唾液痕は、唾液に含まれる水分または糖類に含まれるＯＨ基を示す。
【0105】
生体認証システム１００００は、制御装置２００により唾液痕表示画像ＰＴ３１を表示させる。また、生体認証システム１００００は、制御装置２００により口唇紋エリアから口唇紋を検知し、検知された口唇紋と、事前に登録された複数の人物の口唇紋とを照合して、被測定物ＰＴに付着した唾液痕が示す口唇紋に対応する人物を特定（認証）する。
【0106】
近赤外線カメラ１００は、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、ＬＤ（Ｌａｓｅｒ Ｄｉｏｄｅ）、ハロゲンランプ等の照明を有する。近赤外線カメラ１００は、近赤外線カメラ１００から約３０ｃｍ未満の距離に位置する被測定物ＰＴに、異なる２波長帯の近赤外光（不可視光）を照射する。近赤外線カメラ１００は、唾液痕未付着時（例えば、唾液痕付着前、あるいは被測定物ＰＴに付着した唾液痕を清掃した後）の被測定物ＰＴと、唾液痕付着時の被測定物ＰＴとをそれぞれ撮像し、被測定物ＰＴの表面に付着した唾液痕を検知する。
【0107】
なお、唾液痕未付着時の撮像タイミングは、唾液痕付着前の被測定物ＰＴを撮像する前であってもよいし、唾液痕付着前の被測定物ＰＴを撮像した後であって、かつ、唾液痕付着後に被測定物ＰＴの表面に付着した唾液痕を清掃（拭掃）した後であってもよい。
【0108】
近赤外線カメラ１００は、通信部１１００と、制御部１３００と、メモリ３１００と、照明部ＰＪと、撮像部ＪＧと、を含んで構成される。
【0109】
通信部１１００は、制御装置２００の通信部４１００との間でデータ送受信可能に接続される。なお、近赤外線カメラ１００の通信部１１００と、制御装置２００の通信部４１００との間は、所定のネットワーク（不図示）を介して無線通信可能に接続されていてもよいし、有線通信可能に接続されていてもよい。通信部１１００は、制御部１３００から出力された各種データ（例えば、唾液痕表示画像ＰＴ３１（図２２参照）、唾液痕の検知結果、口唇紋エリアの算出結果等）を対応付けて、制御装置２００に送信する。
【0110】
なお、ここでいう無線通信は、例えばＷｉ－Ｆｉ（登録商標）などの無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介した通信である。
【0111】
制御部１３００は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）またはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いて構成され、各部の動作を制御する。制御部１３００は、メモリ３１００と協働して、各種の処理および制御を統括的に行う。具体的には、制御部１３００は、メモリ３１００に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、照明部ＰＪ、撮像部ＪＧ等の各部の機能を実現する。
【0112】
メモリ３１００は、例えば制御部１３００の各処理を実行する際に用いられるワークメモリとしてのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、制御部１３００の動作を規定したプログラムおよびデータを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、を有する。ＲＡＭには、制御部１３００により生成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、制御部１３００の動作を規定するプログラムが書き込まれている。
【0113】
照明部ＰＪは、第１投射光源１５００と、第２投射光源１７００と、投射光源光学部１９００と、を含んで構成される。照明部ＰＪは、制御部１３００により制御され、近赤外線光源（照明）である第１投射光源１５００および第２投射光源１７００のそれぞれから異なる２波長帯の照射光ＬＳ１１，ＬＳ２１を照射する。第１投射光源１５００および第２投射光源１７００のそれぞれは、例えば、ＬＥＤ、ＬＤ、ハロゲンランプ等である。
【0114】
なお、第１投射光源１５００および第２投射光源１７００のそれぞれがハロゲンランプにより実現される場合、後述する撮像部ＪＧは、撮像光学部２１００にバンドパスフィルタ（不図示）を、さらに含んで構成される。このバンドパスフィルタは、ハロゲンランプから照射され、被測定物ＰＴの表面により拡散された反射光ＲＶ１１，ＲＶ２１のうち所定の波長帯の拡散光のみを透過させる機能を有する。これにより、照明部ＰＪは、第１投射光源１５００および第２投射光源１７００のそれぞれがハロゲンランプにより実現される場合であっても、被測定物ＰＴに所定の波長帯の近赤外光を照射できる。
【0115】
第１光源の一例としての第１投射光源１５００は、制御部１３００により制御されて、非可視光であって、所定の波長帯（例えば１２００ｎｍ，１３００ｎｍ等）の照射光ＬＳ１１を、投射光源光学部１９００を介して、被測定物ＰＴに照射する。
【0116】
第２光源の一例としての第２投射光源１７００は、制御部１３００により制御されて、非可視光であって、所定の波長帯（例えば１４００ｎｍ等）の照射光ＬＳ２１（例えば近赤外光）を、投射光源光学部１９００を介して、被測定物ＰＴに照射する。
【0117】
投射光源光学部１９００は、制御部１３００により制御され、第１投射光源１５００から照射される照射光ＬＳ１１と、第１投射光源１５００から照射される照射光ＬＳ２１とを被測定物ＰＴの表面に同時、あるいは順次、一定時間照射する。これにより、投射光源光学部１９００は、唾液痕の付着が期待される被測定物ＰＴの広範囲にわたって照射光ＬＳ１１，ＬＳ２１のそれぞれを照射可能にする。
【0118】
撮像部ＪＧは、撮像光学部２１００と、受光部２３００と、信号加工部２５００と、検知処理部２７００と、表示処理部２９００と、を含んで構成される。撮像部ＪＧは、制御部１３００により制御され、照明部ＰＪから照射され、被測定物ＰＴにより反射された反射光ＲＶ１１，ＲＶ２１のそれぞれを受光する。撮像部ＪＧは、受光された反射光ＲＶ１１，ＲＶ２１のそれぞれの強度に基づいて、被測定物ＰＴの唾液痕の検知（取得）を実行する。
【0119】
撮像光学部２１００は、例えば少なくともレンズＬＳ（図１５，図３参照）を用いて構成される。なお、撮像光学部２１００は、照明部ＰＪの第１投射光源１５００および第２投射光源１７００のそれぞれがハロゲンランプにより実現される場合には、バンドパスフィルタＢＰＦをさらに用いて構成される。
【0120】
撮像光学部２１００は、バンドパスフィルタＢＰＦとレンズＬＳとを用いて構成される場合には、近赤外線カメラ１００の外部から入射する入射光を集光し、集光された入射光のうちバンドパスフィルタＢＰＦを透過した透過光をレンズＬＳに入射させる。なお、ここでいう入射光および透過光は、例えば、第１投射光源１５００および第２投射光源１７００のそれぞれから照射された照射光ＬＳ１１，ＬＳ２１のそれぞれが被測定物ＰＴの表面で拡散し、撮像光学部２１００に向かって反射する反射光ＲＶ１１，ＲＶ２１である。撮像光学部２１００は、レンズＬＳに入射した反射光ＲＶ１１，ＲＶ２１を受光部２３００のイメージセンサＩＭＳ（図１５，図３参照）上に結像させる。
【0121】
また、撮像光学部２１００は、レンズＬＳを用いて構成される（つまり、バンドパスフィルタＢＰＦが省略された構成である）場合には、近赤外線カメラ１００の外部から入射する入射光（つまり、反射光ＲＶ１１，ＲＶ２１）を集光し、集光された反射光ＲＶ１１，ＲＶ２１を受光部２３００のイメージセンサＩＭＳ（図１５，図３参照）上に結像させる。
【0122】
受光部２３００は、照射光ＬＳ１１の波長帯（例えば、１３００ｎｍ）と、照射光ＬＳ２１の波長帯（例えば、１４００ｎｍ）との両方の波長帯に対する分光感度のピークを有する複数のイメージセンサＩＭＳ（図１５，図３参照）のそれぞれが碁盤目状に並べられて構成される。受光部２３００は、各イメージセンサＩＭＳ上で結像した反射光ＲＶ１１，ＲＶ２１の光学像を電気信号に変換する。受光部２３００の出力は、電気信号（電流信号）として信号加工部２５００に入力される。
【0123】
信号加工部２５００は、Ｉ／Ｖ変換回路、増幅回路、コンパレータ素子、あるいはピークホールド回路等を用いて構成される。信号加工部２５００は、受光部２３００から出力された電気信号（電流信号）を、Ｉ／Ｖ変換回路を用いて電圧信号に変換する。信号加工部２５００は、増幅回路を用いて、Ｉ／Ｖ変換回路により変換された電圧信号のレベルを、コンパレータ素子あるいはピークホールド回路等により処理可能なレベルまで増幅する。
【0124】
信号加工部２５００は、コンパレータ素子あるいはピークホールド回路による電圧信号と所定の閾値との比較結果に基づいて、増幅回路の出力信号を２値化する。信号加工部２５００は、２値化された出力信号を検知処理部２７００に出力する。なお、信号加工部２５００は、コンパレータ素子またはピークホールド回路にＡＤＣ（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）を含み、増幅回路の出力信号（アナログ信号）のＡＤ（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ）変換結果のピーク（つまり、反射光ＲＶ１１，ＲＶ２１のそれぞれの光強度のピーク）を検知して保持するとともに、検知されたピークの情報を検知処理部２７００に出力する。
【0125】
以降の説明において、照射光ＬＳ１１の反射光ＲＶ１１に対応するコンパレータ素子またはピークホールド回路の出力であるピークの情報を、第１出力情報と称する。また、同様に、以降の説明において、照射光ＬＳ２１の反射光ＲＶ２１に対応するコンパレータ素子またはピークホールド回路の出力であるピークの情報を、第２出力情報と称する。
【0126】
また、検知処理部２７００は、第１出力情報および第２出力情報に基づいて、被測定物ＰＴに照射された照射光ＬＳ１１，ＬＳ２１のそれぞれの照射位置での唾液痕（唾液）の有無を検知する。
【0127】
具体的に、検知処理部２７００は、被測定物ＰＴに照射された照射光ＬＳ１１，ＬＳ２１のそれぞれの照射位置に対応する第１出力情報および第２出力情報を取得する。なお、検知処理部２７００は、第１出力情報および第２出力情報の取得した場合、第１出力情報および第２出力情報と、照射光ＬＳ１１，ＬＳ２１のそれぞれの照射位置の情報とを対応付けてメモリ３１００に記録する。検知処理部２７００は、同一の照射位置に対応する第１出力情報および第２出力情報を再度取得した場合、メモリ３１００に記憶済みであって、同一の照射位置の情報が対応付けられた第１出力情報および第２出力情報を抽出し、取得された第１出力情報および第２出力情報と、メモリ３１００から抽出された第１出力情報および第２出力情報との比を算出する。
【0128】
例えば、照射位置に唾液痕（唾液）が存在する場合に取得される反射光ＲＶ２１の強度は、照射光ＬＳ２１の一部が吸光され易いため、反射光ＲＶ２１の強度（つまり、振幅）が減衰する。したがって、検知処理部２７００は、画角内に含まれる被測定物ＰＴの同一ラインごとに、異なる波長帯を有する反射光ＲＶ１１（例えば、波長帯＝１２００ｎｍ，１３００ｎｍ）に対応する第１出力情報と、反射光ＲＶ２１（例えば、波長帯＝１４００ｎｍ）に対応する第２出力情報との強度（出力）差分、または第１出力情報と第２出力情報の強度（出力）比等に基づいて、照射位置における唾液痕（唾液）の有無を検知することができる。なお、以降で説明する唾液痕の検知処理の説明では、一例として反射光ＲＶ１１の波長帯が１３００ｎｍである例について説明する。
【0129】
また、例えば、検知処理部２７００は、照射光ＬＳ１１の反射光ＲＶ１１の強度（振幅ＶＡ，図１７参照）と、照射光ＬＳ２１の反射光ＲＶ２１の強度（振幅ＶＢ，図１７参照）との振幅差分（ＶＡ－ＶＢ）と、振幅ＶＡとの比率ＲＴ（図１７参照）と所定の閾値Ｍとの大小の比較に応じて、唾液痕の有無を検知してもよい（図１７参照）。
【0130】
さらに、検知処理部２７００は、反射光ＲＶ１１の強度と反射光ＲＶ２１の強度とを用いて、画素ごとに唾液痕（唾液）により吸光された吸光度を示す正規化吸光度比ＮＡＲを算出する。
【0131】
以降、正規化吸光度比ＮＡＲの算出方法について説明する。正規化吸光度比ＮＡＲは、同一の照射位置における唾液痕付着時の反射光ＲＶ１１の強度に対する唾液痕未付着時の反射光ＲＶ１１の強度の比率を示す強度比Ｌｎ（Ｉ００／Ｉ１１）１３００と、同一の照射位置における唾液痕付着時の反射光ＲＶ２１の強度に対する唾液痕未付着時の反射光ＲＶ２１の強度Ｉの比率を示す強度比Ｌｎ（Ｉ００／Ｉ１１）１４００とを用いて、以下に示す（式３）により算出される。
【0132】
【数3】
【0133】
また、検知処理部２７００は、（式３）を用いて吸光度を正規化した正規化吸光度比ＮＡＲを算出することにより、各波長帯の反射光の強度変化によらず吸光度を算出できる。例えば、第１投射光源１５００および第２投射光源１７００以外の他の照明（外部照明）を使用する場合、検知処理部２７００は、その他の照明と被測定物ＰＴとの角度変化に基づいて、受光部２３００により受光される反射光ＲＶ１１，ＲＶ２１の強度が変化することがある。このような場合であっても、各波長帯の反射光ＲＶ１１，ＲＶ２１のそれぞれの強度比の和（つまり、強度比Ｌｎ（Ｉ００／Ｉ１１）１３００＋強度比Ｌｎ（Ｉ００／Ｉ１１）１４００）で正規化することで、検知処理部２７００は、各波長帯の反射光の強度変化によらず吸光度を算出できる。
【0134】
検知処理部２７００は、すべての画素の正規化吸光度比ＮＡＲをそれぞれ算出した後、算出された正規化吸光度比ＮＡＲと、被測定物ＰＴにおける唾液痕（唾液）検知の有無を判定するための閾値Ｍ１，Ｍ２のそれぞれとを画素ごとに比較する。
【0135】
なお、閾値Ｍ１，Ｍ２のそれぞれは、予め決められた任意の値でもよく、唾液痕（唾液）がない状態（つまり、唾液痕未付着時、あるいは唾液痕拭掃後の被測定物ＰＴ）で取得された反射光ＲＶ１１，ＲＶ２１のそれぞれの強度に基づく値（例えば、唾液痕がない状態で取得された反射光ＲＶ１１，ＲＶ２１のそれぞれの強度（値）に所定のマージンが加算された値）でもよい。
【0136】
つまり、閾値Ｍ１，Ｍ２のそれぞれは、唾液痕未付着時、あるいは唾液痕拭掃後の被測定物ＰＴが撮像された検知結果画像データと、唾液痕付着時の被測定物ＰＴが撮像された検知結果画像データとを比較することで、決定されてもよい。これにより、検知処理部２７００は、近赤外線カメラ１００の設置環境、被測定物ＰＴの設置環境（例えば、湿度、気温等）により適した閾値Ｍ１，Ｍ２のそれぞれを用いて唾液痕を検知できるため、唾液痕の検知精度および口唇の外形形状、口唇紋等の検知精度を向上させることができる。
【0137】
検知処理部２７００は、正規化吸光度比ＮＡＲが閾値Ｍ１＞正規化吸光度比ＮＡＲ＞閾値Ｍ２であるか否かを判定し、閾値Ｍ１＞正規化吸光度比ＮＡＲ＞閾値Ｍ２である正規化吸光度比ＮＡＲを有する画素を、唾液痕が検知された画素であると判定する。一方、検知処理部２７００は、閾値Ｍ１＞正規化吸光度比ＮＡＲ＞閾値Ｍ２でない正規化吸光度比ＮＡＲを有する画素を、唾液痕が検知されない画素であると判定する。
【0138】
また、検知処理部２７００は、表示処理部２９００により生成された唾液痕表示画像ＰＴ３１に基づいて、唾液痕が占有している画素の集合エリアを判定する。
【0139】
検知処理部２７００は、画素ごとの正規化吸光度比ＮＡＲと、画素ごとの唾液痕の検知の有無と、口唇紋エリアＡＲ０の情報とを含む唾液痕の検知結果を生成し、表示処理部２９００に出力する。
【0140】
表示処理部２９００は、検知処理部２７００から出力された画素ごとの唾液痕の検知結果と、画素ごとの正規化吸光度比ＮＡＲとに基づいて、正規化吸光度比ＮＡＲにより示される唾液痕の膜厚をｎ（ｎ：２以上の整数）階調色で可視化した唾液痕表示画像ＰＴ３１（図２２参照）を生成する。表示処理部２９００は、画素ごとの正規化吸光度比ＮＡＲに基づいて、唾液痕が検知された画素が、所定の画素数以上集合している集合エリアを、生体認証用の口唇紋を検知する口唇紋エリアＡＲ０（図２４参照）として算出する。表示処理部２９００は、生成された唾液痕表示画像ＰＴ３１と、口唇紋エリアＡＲ０とを、制御部１３００に出力する。制御部１３００は、表示処理部２９００から出力された唾液痕表示画像ＰＴ３１と、画素ごとの唾液痕の検知結果と、口唇紋エリアＡＲ０の情報とを対応付けて、通信部１１００を介して制御装置２００に送信する。
【0141】
次に、図１５および図１６を参照して、近赤外線カメラ１００のユースケース例について説明する。図１５は、実施の形態２における近赤外線カメラ１００のユースケース例（唾液痕未付着時）を説明する図である。図１６は、実施の形態２における近赤外線カメラ１００のユースケース例（唾液痕未付着時）を説明する図である。なお、図１５および図１６に示す近赤外線カメラ１００は、説明を分かり易くするために、照明部ＰＪおよび撮像部ＪＧのみを図示している。また、図１５および図１６に示す近赤外線カメラ１００の照明部ＰＪおよび撮像部ＪＧと、被測定物ＰＴとの位置関係は、一例であってこれに限定されないことは言うまでもない。
【0142】
唾液痕未付着時において、照明部ＰＪは、被測定物ＰＴの表面に近赤外線である各波長帯の照射光ＬＳ１１，ＬＳ２１を照射する。照射光ＬＳ１１，ＬＳ２１のそれぞれは、被測定物ＰＴの表面で拡散され、拡散された拡散光ＤＬ１１のうち一部が撮像部ＪＧに向かう反射光ＲＶ１１，ＲＶ２１となって撮像部ＪＧの撮像光学部２１００に入射し、受光される。
【0143】
唾液痕付着時において、照明部ＰＪは、被測定物ＰＴの表面に近赤外線である各波長帯の照射光ＬＳ１１，ＬＳ２１を照射する。照射光ＬＳ１１，ＬＳ２１のそれぞれは、被測定物ＰＴの表面に付着した唾液痕ＳＶ（唾液）により拡散され、拡散された拡散光ＤＬ１１のうち一部が撮像部ＪＧに向かう反射光ＲＶ１１，ＲＶ２１となって撮像部ＪＧの撮像光学部２１００に入射し、受光される。唾液痕付着時の反射光ＲＶ１１，ＲＶ２１の強度Ｉ１１は、第２投射光源１７００の照射光ＬＳ２１が唾液痕（唾液）により吸光されるため、唾液痕未付着時の反射光ＲＶ１１，ＲＶ２１の強度Ｉ００よりも小さくなる。
【0144】
撮像部ＪＧに受光された反射光ＲＶ１１，ＲＶ２１は、バンドパスフィルタＢＰＦを透過して、レンズＬＳに入射し、イメージセンサＩＭＳ上で結合する。なお、バンドパスフィルタＢＰＦは、第１投射光源１５００および第２投射光源１７００のそれぞれがハロゲンランプにより実現されない場合には省略されてよい。
【0145】
【0146】
検知処理部２７００は、例えば、第１出力情報である振幅ＶＡに対して、第１出力情報の（振幅ＶＡ）と第２出力情報（振幅ＶＢ）との振幅差分（ＶＡ－ＶＢ）の比率ＲＴ＝（ＶＡ－ＶＢ）／ＶＡを算出する。検知処理部２７００は、算出された比率ＲＴが、比率ＲＴ＞閾値Ｍ１であると判定した場合、唾液痕が検知されたと判定し、比率ＲＴ≦閾値Ｍ１であれば唾液痕が検知されないと判定してもよい。なお、図１７に示す第２出力情報である振幅ＶＢは、唾液痕がある場合には唾液痕により吸光されるため、第１出力情報である振幅ＶＡよりも小さくなる。
【0147】
以上のように、検知処理部２７００は、比率ＲＴと閾値Ｍ１との比較結果に基づいて、唾液痕の有無を検知することで、ノイズ（例えば外乱光）の影響を排除し、唾液痕の有無をより高精度に検知することができる。
【0148】
【0149】
制御装置２００は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ノートＰＣ、タブレット端末、スマートフォン等を用いて実現されたり、サーバあるいはクラウドサーバにより実現されたりする。制御装置２００は、近赤外線カメラ１００から送信された唾液痕表示画像ＰＴ３１（図２２参照）を表示部４９００に表示する。また、制御装置２００は、近赤外線カメラ１００から送信されたすべての画素のそれぞれの正規化吸光度比ＮＡＲに基づいて、口唇紋を取得し、取得された口唇紋と、事前に登録された複数の人物の口唇紋とを照合することで、取得された口唇紋（つまり、被測定物ＰＴに付着した唾液痕）に対応する人物を特定し、人物認証を実行する。
【0150】
制御装置２００は、通信部４１００と、制御部４３００と、メモリ４７００と、表示部４９００と、口唇紋データベースＤＢと、を含んで構成される。なお、口唇紋データベースＤＢは、制御装置２００と別体で構成されてもいい。また、制御装置２００がサーバあるいはクラウドサーバにより実現される場合、表示部４９００は、制御装置２００と別体で構成され、かつ、制御装置２００との間でデータ通信可能に接続されたモニタ，ディスプレイ等により実現されてもよい。
【0151】
通信部４１００は、近赤外線カメラ１００の通信部１１００との間で無線通信あるいは有線通信可能に接続され、データの送受信を実行する。なお、ここでいう無線通信は、例えばＷｉ－Ｆｉ（登録商標）などの無線ＬＡＮを介した通信である。通信部４１００は、近赤外線カメラ１００の通信部１１００から送信された唾液痕の検知結果と、唾液痕表示画像ＰＴ３１（図２２参照）とを取得して、制御部４３００に出力する。
【0152】
制御部４３００は、例えばＣＰＵまたはＦＰＧＡを用いて構成され、メモリ４７００と協働して、各種の処理および制御を行う。具体的には、制御部４３００は、メモリ４７００に保持されたプログラムを参照し、そのプログラムを実行することにより照合部４５００等の各部の機能を実現する。制御部４３００は、取得された唾液痕表示画像ＰＴ３１を表示部４９００に出力して、表示させる。
【0153】
また、制御部４３００は、通信端末ＭＴとの間でデータ信号の送受信が可能に接続されてよい。図１８に示す通信端末ＭＴは、図２に示す通信端末ＭＴと同一の外部端末である。この場合、制御部４３００は、照合部４５００による口唇紋を用いた人物の特定結果（認証結果）、あるいは、近赤外線カメラ１００から送られたデータに基づいて検知した口唇紋のデータを通信端末ＭＴ（図１８参照）に通知してもよい。また、制御部４３００は、口唇紋を用いた人物の特定結果あるいは口唇紋のデータだけでなく、その口唇紋の拭掃を促すメッセージ等の指示を通信端末ＭＴ（図１８参照）に通知してもよい。
【0154】
照合部４５００は、近赤外線カメラ１００から送信された口唇紋エリアの情報と、この口唇紋エリアに含まれる複数の画素のそれぞれの正規化吸光度比ＮＡＲとに基づいて、正規化吸光度比ＮＡＲにより示される唾液痕の膜厚をｋ（ｋ：３以上の整数，ｋ＞ｎ）階調色で可視化した口唇紋表示画像ＰＴ４１（図２３参照）を生成する。
【0155】
照合部４５００は、生成された口唇紋表示画像ＰＴ４１から口唇紋を検知して取得する。なお、ここで照合部４５００は、口唇紋エリアが示す口唇の形状を検知し、検知された口唇の形状が口唇紋の照合により適した形状であるか否かを判定してよい。照合部４５００は、検知された口唇の形状が口唇紋の照合により適した形状でないと判定した場合、検知された口唇紋を所定の方向に変形することで、検知された口唇の形状を口唇紋の照合により適した形状に変形する。
【0156】
照合部４５００は、取得された口唇紋、あるいは変形処理後の口唇紋と、口唇紋データベースＤＢに登録された複数の人物のそれぞれの口唇紋とを照合する。照合部４５００は、取得された口唇紋、あるいは変形処理後の口唇紋と同一あるは類似する口唇紋に対応する人物を、被測定物ＰＴから検知された唾液痕（口唇紋）に対応する人物であると特定する。一方、照合部４５００は、取得された口唇紋、あるいは変形処理後の口唇紋と同一あるは類似する口唇紋がないと判定した場合には、被測定物ＰＴから検知された唾液痕（口唇紋）に対応する人物が口唇紋データベースＤＢに登録済みでない人物（つまり、認証失敗）であると判定する。
【0157】
照合部４５００は、照合結果を含む画面（不図示）を生成して、表示部４９００に出力する。なお、人物が特定された（つまり、認証成功した）場合、照合部４５００は、口唇紋データベースＤＢに登録済みであって、口唇紋に対応付けて登録されている人物に関する情報（例えば、氏名、年齢、性別等）を含む画面（不図示）を生成してもよい。
【0158】
メモリ４７００は、例えば制御部４３００の処理を実行する際に用いられるワークメモリとしてのＲＡＭと、制御部４３００の処理を規定したプログラムを格納するＲＯＭとを有する。ＲＡＭには、制御部４３００により生成あるいは取得されたデータが一時的に保存される。ＲＯＭには、制御部４３００の処理を規定するプログラムが書き込まれている。
【0159】
表示部４９００は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）等の表示用デバイスを用いて構成されてよい。表示部４９００は、制御部４３００から出力された唾液痕表示画像ＰＴ３１（図２２参照）、口唇紋表示画像ＰＴ４１（図２３参照）、照合結果を含む画面等を出力（表示）する。
【0160】
口唇紋データベースＤＢは、所謂ストレージであって、例えばフラッシュメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）あるいはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶媒体を用いて構成される。口唇紋データベースＤＢは、複数の人物の人物に関する情報と、口唇紋データとを対応付けて格納（登録）する。
【0161】
【0162】
近赤外線カメラ１００における制御部１３００は、唾液痕を検知するための閾値Ｍ１，Ｍ２のそれぞれを検知処理部２７００に設定する（Ｓｔ１０１）。なお、閾値Ｍ１，Ｍ２のそれぞれは、被測定物ＰＴの設置環境、被測定物ＰＴの材質等に基づいて、適宜設定されてよい。
【0163】
制御部１３００は、撮像処理を開始させるための制御信号を撮像部ＪＧの第１投射光源１５００および第２投射光源１７００のそれぞれに出力する（Ｓｔ１０２）。
【0164】
図２０を参照して、実施の形態２に係る生体認証システム１００００の口唇紋照合手順について説明する。図２０は、実施の形態２に係る生体認証システム１００００の口唇紋照合手順例を説明するフローチャートである。なお、ステップＳｔ１０１１～ステップＳｔ１０１９のそれぞれの処理は、近赤外線カメラ１００により実行される。また、ステップＳｔ１０２０～ステップＳｔ１０２２のそれぞれの処理は、制御装置２００により実行される。
【0165】
生体認証システム１００００は、近赤外線カメラ１００を用いて口唇紋エリアの算出処理を開始する（Ｓｔ１０１１）。
【0166】
近赤外線カメラ１００は、照明部ＰＪおよび撮像部ＪＧのそれぞれを駆動させて、唾液痕未付着時あるいは唾液痕拭掃後の被測定物ＰＴに照射光ＬＳ１１，ＬＳ２１のそれぞれを照射し、被測定物ＰＴにより反射された反射光ＲＶ１１，ＲＶ２１の強度Ｉ００を計測する（Ｓｔ１０１２）。また、近赤外線カメラ１００は、照明部ＰＪおよび撮像部ＪＧのそれぞれを駆動させて、唾液痕付着時の被測定物ＰＴに照射光ＬＳ１１，ＬＳ２１のそれぞれを照射し、被測定物ＰＴの表面に付着した唾液痕ＳＶ（唾液）により反射された反射光ＲＶ１１，ＲＶ２１の強度Ｉ１１を計測する（Ｓｔ１０１３）。なお、ステップＳｔ１０１２およびステップＳｔ１０１３の順序は入れ替わってもよい。
【0167】
具体的に、近赤外線カメラ１００は、照明部ＰＪの投射光源光学部１９００により第１投射光源１５００から照射される照射光ＬＳ１１と、第１投射光源１５００から照射される照射光ＬＳ２１とを被測定物ＰＴの表面に照射する。近赤外線カメラ１００は、投射光源光学部１９００による第１投射光源１５００および第２投射光源１７００のそれぞれの照射位置の情報と、受光部２３００を構成する複数のイメージセンサＩＭＳ上の受光位置（画素の位置）情報とに基づいて、フレーム画像の各画素の位置と、被測定物ＰＴの表面における座標（位置情報）とを対応付ける。
【0168】
近赤外線カメラ１００は、（式３）を用いて、フレーム画像（具体的には、図２１に示す撮像画像ＰＴ１１，ＰＴ１２，ＰＴ２１，ＰＴ２２）からすべての画素の正規化吸光度比ＮＡＲを算出する（Ｓｔ１０１４）。
【0169】
なお、ここで、ステップＳｔ１０１４の処理は、ステップＳｔ１０１２およびステップＳｔ１０１３のいずれかの処理が実行された後に実行されてよい。また、近赤外線カメラ１００は、同一の被測定物ＰＴの唾液痕の検知処理として、ステップＳｔ１０１２の処理およびステップＳｔ１０１２に対応するステップＳｔ１０１４の処理と、ステップＳｔ１０１３の処理およびステップＳｔ１０１３に対応するステップＳｔ１０１４の処理とが終了するまで、ステップＳｔ１０１１～ステップＳｔ１０１４の処理を繰り返し実行してもよい。
【0170】
図２１を参照して、唾液痕未付着時の撮像画像ＰＴ１１，ＰＴ２１と、唾液痕付着時の撮像画像ＰＴ１２，ＰＴ２２とを説明する。図２１は、近赤外線カメラ１００により撮像された唾液痕未付着時および唾液痕付着時のそれぞれの撮像画像ＰＴ１１，ＰＴ１２，ＰＴ２１，ＰＴ２２を比較する図である。
【0171】
「Ｎ描画前」の撮像画像ＰＴ１１，ＰＴ２１のそれぞれは、被測定物ＰＴの表面に唾液で文字「Ｎ」を描画する前、つまり、唾液痕未付着時に撮像された撮像画像である。撮像画像ＰＴ１１は、第１投射光源１５００の波長帯１３００ｎｍの照射光ＬＳ１１が照射された被測定物ＰＴの撮像画像である。撮像画像ＰＴ２１は、第２投射光源１７００の波長帯１４００ｎｍの照射光ＬＳ２１が照射された被測定物ＰＴの撮像画像である。
【0172】
「Ｎ描画後」の撮像画像ＰＴ１２，ＰＴ２２のそれぞれは、被測定物ＰＴの表面に唾液で文字「Ｎ」を描画した後、つまり、唾液痕付着時に撮像された撮像画像である。撮像画像ＰＴ１２は、第１投射光源１５００の波長帯１３００ｎｍの照射光ＬＳ１１が照射された被測定物ＰＴの撮像画像である。撮像画像ＰＴ２２は、第２投射光源１７００の波長帯１４００ｎｍの照射光ＬＳ２１が照射された被測定物ＰＴの撮像画像である。
【0173】
近赤外線カメラ１００は、画素ごとの正規化吸光度比ＮＡＲと、閾値Ｍ１，Ｍ２のそれぞれとを比較して、正規化吸光度比ＮＡＲが閾値Ｍ１＞正規化吸光度比ＮＡＲ＞閾値Ｍ２であるか否かを判定する（Ｓｔ１０１５）。なお、本実施の形態２においては、閾値Ｍ１＝０．６，閾値Ｍ２＝０．２である例について説明するが、閾値Ｍ１，Ｍ２のそれぞれの値は、これに限定されないことは言うまでもない。
【0174】
近赤外線カメラ１００は、ステップＳｔ１０１５の処理において、正規化吸光度比ＮＡＲが閾値Ｍ１＞正規化吸光度比ＮＡＲ＞閾値Ｍ２であると判定した場合（Ｓｔ１０１５，ＹＥＳ）、閾値Ｍ１＞正規化吸光度比ＮＡＲ＞閾値Ｍ２であると判定された画素を唾液痕が検知された画素であると判定し、フレーム画像上において任意のｎ階調色で表示する（Ｓｔ１０１６）。なお、本実施の形態２では、ｎ＝１であって、「網掛け１」で唾液痕が検知された画素を表示する例について説明するが、階調色の数（つまり、ｎの値）および階調色は、それぞれ上述の例に限定されないことは言うまでもない。
【0175】
一方、近赤外線カメラ１００は、ステップＳｔ１０１５の処理において、正規化吸光度比ＮＡＲが閾値Ｍ１＞正規化吸光度比ＮＡＲ＞閾値Ｍ２でないと判定した場合（Ｓｔ１０１５，ＮＯ）、閾値Ｍ１＞正規化吸光度比ＮＡＲ＞閾値Ｍ２でないと判定された画素を唾液痕が検知されない画素であると判定し、フレーム画像上において唾液痕以外の背景（被測定物ＰＴの表面）を示す所定の単色で表示する（Ｓｔ１０１７）。なお、本実施の形態２では、唾液痕が検知されない画素を「網掛け２」、照射光ＬＳ１１，ＬＳ２１の照射範囲外の画素を「網掛け３」で表示する例について説明するが、背景色の数および色は、それぞれ上述の例に限定されないことは言うまでもない。
【0176】
ここで、図２２を参照して、唾液痕表示画像ＰＴ３１の生成方法について具体的に説明する。図２２は、３階調色における唾液痕表示画像の生成例を説明する図である。なお、図２２に示す例において、被測定物ＰＴは、唾液を用いて文字「Ｎ」が描かれている。
【0177】
近赤外線カメラ１００は、－１＜正規化吸光度比ＮＡＲ＜－０．４、または０．６＜正規化吸光度比ＮＡＲ＜２．０である画素を、唾液痕が検知されない画素を示す「網掛け２」で表示する。近赤外線カメラ１００は、－０．４≦正規化吸光度比ＮＡＲ＜０．２である画素を、第１投射光源１５００および第２投射光源１７００による照射光ＬＳ１１，ＬＳ２１が照射されていない画素を示す「網掛け３」で表示する。また、近赤外線カメラ１００は、０．２＜正規化吸光度比ＮＡＲ＜０．６である画素を、唾液痕が検知された画素を示す「網掛け１」で表示する。以上により、近赤外線カメラ１００は、唾液痕表示画像ＰＴ３１（図２２参照）を生成することで、唾液痕である文字「Ｎ」（図２２に示す白枠内）を検知できる。
【0178】
近赤外線カメラ１００は、唾液痕が検知された画素空間として、唾液痕が検知されたことを示す色（ここでは、「網掛け１」）で表示された画素のそれぞれを検知し、この検知された複数の画素が占有する任意の口唇紋エリアを判定する（Ｓｔ１０１８）。
【0179】
近赤外線カメラ１００は、口唇紋認証に用いられる口唇紋を含む口唇紋エリアＡＲ０（図２４参照）を算出し（Ｓｔ１０１９）、この口唇紋エリアＡＲ０の情報と、画素ごとの正規化吸光度比ＮＡＲと、唾液痕表示画像ＰＴ３１と、を少なくとも含む唾液痕の検知結果を生成して、制御装置２００に送信する。
【0180】
制御装置２００は、近赤外線カメラ１００から送信された任意の口唇紋エリアの情報と、画素ごとの正規化吸光度比ＮＡＲと、唾液痕表示画像ＰＴ３１とを取得し、口唇紋エリア内から口唇紋を検知する。具体的に、近赤外線カメラ１００は、口唇紋エリアＡＲ０に含まれる画素ごとの正規化吸光度比ＮＡＲに基づいて、唾液痕が検知された画素の表示をｋ階調色で表示した口唇紋表示画像ＰＴ４１を生成する（Ｓｔ１０２０）。なお、本実施の形態２では、ｋ＝８であって、かつ、「網掛け４」～「網掛け９」のそれぞれで唾液痕が検知された画素を表示する例について説明するが、階調色の数（つまり、ｋの値）および階調色は、それぞれ上述の例に限定されないことは言うまでもない。
【0181】
【0182】
制御装置２００は、唾液痕が検知された－０．４≦正規化吸光度比ＮＡＲ＜０．２である画素を８階調色でさらに表示する。制御装置２００は、－０．４＜正規化吸光度比ＮＡＲ＜－０．３である画素を「網掛け４」、－０．３≦正規化吸光度比ＮＡＲ＜－０．２である画素を「網掛け５」、－０．２≦正規化吸光度比ＮＡＲ＜－０．１である画素を「網掛け６」、－０．１≦正規化吸光度比ＮＡＲ＜０である画素を「網掛け７」、０≦正規化吸光度比ＮＡＲ＜０．０５である画素を「網掛け８」、０．０５≦正規化吸光度比ＮＡＲ＜０．２である画素を「網掛け９」でそれぞれ表示した口唇紋表示画像ＰＴ４１を生成する。
【0183】
制御装置２００は、生成された口唇紋表示画像ＰＴ４１に基づいて、口唇紋を検知し、検知された口唇紋と、口唇紋データベースＤＢに登録された複数の人物の口唇紋データのそれぞれとを照合する（Ｓｔ１０２１）。制御装置２００は、照合結果を含む画面を生成して、表示部４９００に出力して表示させる。また、制御装置２００は、照合結果（例えば口唇紋の照合による人物の特定結果）あるいはその照合結果と口唇紋が付着した被測定物ＰＴの拭掃指示と、を通信端末ＭＴに通知する（Ｓｔ１０２２）。
【0184】
ここで、図２４～図２６のそれぞれを参照して、口唇紋の検知方法について具体的に説明する。図２４は、口唇紋検知処理例を説明する図である。図２５は、口唇紋変形処理例を説明する図である。図２６は、口唇紋変形処理例を説明する図である。なお、図２４に示す口唇紋表示画像ＰＴ５１は、説明を分かり易くするために、ｋ階調色での表示を省略している。
【0185】
制御装置２００は、口唇紋表示画像ＰＴ５１の口唇紋エリアＡＲ０から口唇紋ＬＣを検知する。なお、図２４に示す口唇紋表示画像ＰＴ５１の口唇紋エリアＡＲ０のうちエリアＬＡＲは、唾液痕が残っていないエリアである。
【0186】
制御装置２００は、イメージセンサＩＭＳ上に設定されたＸ軸，Ｙ軸を基準として、検知された口唇紋ＬＣの外形形状から口唇の中心位置Ｐｔ０（Ｘｃ，Ｙｃ，θ）を計測する。制御装置２００は、計測された口唇の中心位置Ｐｔ０の回転角度θ＝０（ゼロ）を基準とする（つまり、口唇の中心位置Ｐｔ０´（Ｘｃ，Ｙｃ，０）を中心とする）新たなＸ´軸，Ｙ´軸を設定し、この新たなＸ´軸，Ｙ´軸上における口唇紋上のｐ（ｐ：２以上の整数）点の座標（Ｘ１，Ｙ１），…，（Ｘｐ，Ｙｐ）のそれぞれを計測する。
【0187】
制御装置２００は、計測された口唇紋上のｐ（ｐ：２以上の整数）点の座標（Ｘ１，Ｙ１），…，（Ｘｐ，Ｙｐ）のそれぞれと、口唇紋データベースＤＢに登録された複数の人物の口唇紋データとを照合して、検知された口唇紋と同一あるいは類似する口唇紋を判定する。制御装置２００は、同一あるいは類似する口唇紋に対応する人物を、検知された口唇紋に対応する人物であると特定する。
【0188】
なお、照合処理において、制御装置２００は、検知された口唇の外形形状が口唇紋を用いた生体認証（照合処理）に適した外形形状であるか否かを判定してよい。制御装置２００は、検知された口唇の外形形状が口唇紋を用いた生体認証（照合処理）に適した外形形状であると判定した場合には、計測された口唇紋上のｐ点の座標（Ｘ１，Ｙ１），…，（Ｘｐ，Ｙｐ）のそれぞれと、口唇紋データベースＤＢに登録された複数の人物の口唇紋データとを照合する。
【0189】
一方、制御装置２００は、検知された口唇の外形形状が口唇紋を用いた生体認証（照合処理）に適した外形形状でないと判定した場合には、検知された口唇の外形形状から生体認証（照合処理）に適した外形形状への変形係数ａ，ｂをそれぞれ算出する。なお、ここでいう変形係数ａは、Ｘ´軸方向の変形係数である。変形係数ｂは、Ｙ´軸方向の変形係数である。
【0190】
なお、ここでいう生体認証（照合処理）に適した口唇の外形形状は、口唇紋データベースＤＢに登録される口唇の形状であって、図２６に示す例では、「変形例１」～「変形例３」等に示す形状である。なお、図２６に示す例は一例であってこれに限定されないことは言うまでもない。
【0191】
制御装置２００は、計測された口唇紋上のｐ点の座標（Ｘ１，Ｙ１），…，（Ｘｐ，Ｙｐ）のそれぞれに変形係数ａ１，ｂ１を乗じて、「検知例」に示す口唇の外形形状を「変形例１」に示す口唇の外形形状に変形する。同様にして、制御装置２００は、計測された口唇紋上のｐ点の座標（Ｘ１，Ｙ１），…，（Ｘｐ，Ｙｐ）のそれぞれに変形係数ａ２，ｂ２を乗じて、「検知例」に示す口唇の外形形状を「変形例２」に示す口唇の外形形状に変形したり、変形係数ａ３，ｂ３を乗じて、「検知例」に示す口唇の外形形状を「変形例３」に示す口唇の外形形状に変形したりして、口唇紋の照合処理を実行する。
【0192】
以上により、実施の形態２に係る生体認証システム１００００は、被測定物ＰＴを撮像する近赤外線カメラ１００（カメラの一例）と、近赤外線カメラ１００との間で通信可能な制御装置２００と、を備える。近赤外線カメラ１００は、第１波長帯（例えば、１２００ｎｍ，１３００ｎｍ等）の照射光ＬＳ１１と、第１波長帯と異なる波長帯である第２波長帯（例えば、１４００ｎｍ）の照射光ＬＳ２１とを被測定物ＰＴに照射し、被測定物ＰＴの撮像画像に基づいて、被測定物ＰＴに付着する水分または糖類を検知し、水分および糖類が検知されない第１画像（例えば、図２１に示す撮像画像ＰＴ１１，ＰＴ１２）と、水分あるいは糖類が検知された第２画像（例えば、図２１に示す撮像画像ＰＴ２１，ＰＴ２２）とを比較して、被測定物ＰＴ上に付着する水分あるいは糖類の検知結果を制御装置２００に送信する。制御装置２００は、検知結果に基づいて、人物の口唇紋を取得し、取得された口唇紋と、口唇紋データベースＤＢ（データベースの一例）に登録された複数の口唇紋のそれぞれとを照合し、口唇紋データベースＤＢに取得された口唇紋と同一あるいは類似する口唇紋があると判定した場合、同一あるいは類似する口唇紋に対応する人物を、取得された口唇紋に対応する人物であると判定する。なお、ここでいう複数のコンピュータは、例えば、被測定物ＰＴを撮像可能な近赤外線カメラ１００，口唇紋を検知（取得）可能な制御装置２００等である。
【0193】
これにより、実施の形態２に係る生体認証システム１００００は、被測定物ＰＴに異なる波長帯の照射光ＬＳ１１，ＬＳ２１のそれぞれを照射して撮像し、撮像された撮像画像を用いて、被測定物ＰＴ上に付着している水分または糖類のＯＨ基に基づく特定物質（例えば唾液痕）を検知し、検知された唾液痕に基づいて、人物の口唇紋を取得することにより、口唇紋を用いた人物認証を実行することができる。したがって、生体認証システム１００００は、生体認証に用いられる口唇紋をより容易に取得できる。
【0194】
また、実施の形態２に係る近赤外線カメラ１００は、水分または糖類のＯＨ基に対する吸光度がそれぞれ異なる第１波長帯の照射光ＬＳ１１と第２波長帯の照射光ＬＳ２１とを照射する。これにより、実施の形態２に係る生体認証システム１００００は、被測定物ＰＴ上で反射した時に、照射光ＬＳ１１と照射光ＬＳ２１とが被測定物ＰＴ上に付着した水分または糖類のＯＨ基によりそれぞれ吸光される。したがって、生体認証システム１００００は、第１画像および第２画像のそれぞれに映る第１波長帯の反射光ＲＶ１１と第２波長帯の反射光ＲＶ２１とに基づいて、被測定物ＰＴ上に付着した水分または糖類を検知できる。
【0195】
また、実施の形態２に係る近赤外線カメラ１００は、波長帯が１２００ｎｍまたは１３００ｎｍである第１波長帯の照射光ＬＳ１１と、波長帯が１４００ｎｍである第２波長帯の照射光ＬＳ２１とを照射する。これにより、実施の形態２に係る生体認証システム１００００は、第１画像および第２画像のそれぞれに映る第１波長帯の反射光ＲＶ１１と第２波長帯の反射光ＲＶ２１とに基づいて、被測定物ＰＴ上に付着した水分または糖類を検知できる。
【0196】
また、実施の形態２に係る被測定物ＰＴは、アルミニウムの粉末が塗装される。これにより、実施の形態２に係る生体認証システム１００００は、水分または糖類をより高精度に検知できるため、口唇紋をより高精度に取得でき、口唇紋を用いた生体認証精度を向上させることができる。
【0197】
以上、図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
【産業上の利用可能性】
【0198】
本開示は、人物から発せられる飛沫に含まれる水分あるいは糖類もしくは被測定物に付着している水分あるいは糖類を含む特定物質を検知し、特定物質の検知結果を外部に通知して次の行動の実行を促す汚れ検知装置、汚れ検知方法、生体認証システムおよび生体認証方法として有用である。
【符号の説明】
【0199】
１ 飛沫汚れ検知装置
５ 非可視センサ部
７ 制御部
７ａ タイミング制御部
１０ 投光処理部
１３ 第１投光光源
１５ 第２投光光源
１７ 投光光源走査用光学部
２０ 受光処理部
２１、３１ 撮像光学部
２３、３３ 受光部
２５ 信号加工部
２５ａ Ｉ／Ｖ変換回路
２５ｂ 増幅回路
２５ｃ コンパレータ・ピークホールド処理部
２７ 検知処理部
２７ａ 閾値設定／飛沫汚染度検知処理部
２７ｂ メモリ
２７ｃ 検知結果フィルタ処理部
２９ 表示処理部
３０ 可視カメラ部
３５ 撮像信号処理部
３７ 表示制御部
ＢＳ１ 下地層
ＤＬ データロガー
ＭＴ 通信端末
ＳＬＶ１ 飛沫
１００ 近赤外線カメラ
２００ 制御装置
１１００，４１００ 通信部
１３００，４３００ 制御部
１５００ 第１投射光源
１７００ 第２投射光源
１９００ 投射光源光学部
２１００ 撮像光学部
２３００ 受光部
２５００ 信号加工部
２７００ 検知処理部
２９００ 表示処理部
３１００，４７００ メモリ
１００００ 生体認証システム
ＤＢ 口唇紋データベース
ＰＴ 被測定物
５ 非可視センサ部
７ 制御部
７ａ タイミング制御部
１０ 投光処理部
１３ 第１投光光源
１５ 第２投光光源
１７ 投光光源走査用光学部
２０ 受光処理部
２１、３１ 撮像光学部
２３、３３ 受光部
２５ 信号加工部
２５ａ Ｉ／Ｖ変換回路
２５ｂ 増幅回路
２５ｃ コンパレータ・ピークホールド処理部
２７ 検知処理部
２７ａ 閾値設定／飛沫汚染度検知処理部
２７ｂ メモリ
２７ｃ 検知結果フィルタ処理部
２９ 表示処理部
３０ 可視カメラ部
３５ 撮像信号処理部
３７ 表示制御部
ＢＳ１ 下地層
ＤＬ データロガー
ＭＴ 通信端末
ＳＬＶ１ 飛沫
１００ 近赤外線カメラ
２００ 制御装置
１１００，４１００ 通信部
１３００，４３００ 制御部
１５００ 第１投射光源
１７００ 第２投射光源
１９００ 投射光源光学部
２１００ 撮像光学部
２３００ 受光部
２５００ 信号加工部
２７００ 検知処理部
２９００ 表示処理部
３１００，４７００ メモリ
１００００ 生体認証システム
ＤＢ 口唇紋データベース
ＰＴ 被測定物
【図1A】
【図1B】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】