特許 7266071 オンライン認証装置、方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-19

(45)【発行日】2023-04-27

(54)【発明の名称】オンライン認証装置、方法、およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230420BHJP

   G06V 40/16 20220101ALI20230420BHJP

   G16H 80/00 20180101ALI20230420BHJP

【ＦＩ】

G06T7/00 510F

G06V40/16 A

G16H80/00

【請求項の数】 6

(21)【出願番号】P 2021126829

(22)【出願日】2021-08-02

(65)【公開番号】P2023021762

(43)【公開日】2023-02-14

【審査請求日】2021-12-03

(73)【特許権者】

【識別番号】505194686

【氏名又は名称】株式会社日立ソリューションズ西日本

(74)【代理人】

【識別番号】110000279

【氏名又は名称】弁理士法人ウィルフォート国際特許事務所

(72)【発明者】

【氏名】舩田 成亮

(72)【発明者】

【氏名】濱田 稔洋

(72)【発明者】

【氏名】木原 裕之

(72)【発明者】

【氏名】柳原 育造

(72)【発明者】

【氏名】兵頭 俊治

【審査官】合田 幸裕

(56)【参考文献】

【文献】国際公開第０３／０３４３６１（ＷＯ，Ａ１）

【文献】特開２００７－２１９７１３（ＪＰ，Ａ）

【文献】特開２００８－１９９５４９（ＪＰ，Ａ）

【文献】国際公開第２０２１／０２９０４６（ＷＯ，Ａ１）

【文献】特開２０１９－１８５５３４（ＪＰ，Ａ）

【文献】米国特許出願公開第２００９／００１９５５２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／００１１１７９（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１１０４６３６１（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ ４０／１６

Ｇ１６Ｈ ８０／００

ＩＥＥＥ Ｘｐｌｏｒｅ

ＪＳＴＰｌｕｓ（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

画面上に表示された画像を時系列にキャプチャし、複数のキャプチャ画像を生成する画面キャプチャ部と、
前記複数のキャプチャ画像のそれぞれから顔画像を検出する顔検出部と、
複数の前記顔画像のそれぞれから特徴量を抽出し、該複数の顔画像同士の特徴量が相互に所定の品質条件を満たした場合、顔認証に用いられる顔テンプレートを生成する顔テンプレート生成部と、
前記顔テンプレートを用いた顔認証により人物の本人確認を行う顔認証部と、
を有するオンライン認証装置であって、
前記顔テンプレート生成部は、前記オンライン認証装置が接続されたネットワークにおける通信性能を測定し、前記通信性能に基づいて、前記所定の品質条件が満たされるか否か判断する処理に用いる顔画像の個数または周期を決定する、
オンライン認証装置。

【請求項2】

前記顔テンプレート生成部は、前記顔画像同士の特徴量の一致あるいは不一致の度合いを表す照合スコアを算出し、前記照合スコアを閾値と比較することにより、前記所定の品質条件が満たされるか否か判定する、
請求項１に記載のオンライン認証装置。

【請求項3】

前記顔テンプレート生成部は、前記複数のキャプチャ画像のそれぞれの明るさを算出し、明るさの度数分布を算出し、前記度数分布に基づいて前記閾値を決定する、
請求項２に記載のオンライン認証装置。

【請求項4】

前記顔検出部は、前記キャプチャ画像から顔を検出すると、該顔の領域を示す枠を前記画面に表示し、
前記顔認証部は、前記人物の本人確認の結果として、該人物を示す情報を提示するエリアを前記画面に表示する、
請求項１に記載のオンライン認証装置。

【請求項5】

装置において、
画面上に表示された画像を時系列にキャプチャして複数のキャプチャ画像を生成し、
前記複数のキャプチャ画像のそれぞれから顔画像を検出し、
複数の前記顔画像のそれぞれから特徴量を抽出し、該複数の顔画像同士の特徴量が相互に所定の品質条件を満たした場合、顔認証に用いられる顔テンプレートを生成し、
前記顔テンプレートを用いた顔認証により人物の本人確認を行う、方法であって、
前記装置が接続されたネットワークにおける通信性能を測定し、前記通信性能に基づいて、前記所定の品質条件が満たされるか否か判断する処理に用いる顔画像の個数または周期を決定する、
オンライン認証方法。

【請求項6】

画面上に表示された画像を時系列にキャプチャして複数のキャプチャ画像を生成し、
前記複数のキャプチャ画像のそれぞれから顔画像を検出し、
複数の前記顔画像のそれぞれから特徴量を抽出し、該複数の顔画像同士の特徴量が相互に所定の品質条件を満たした場合、顔認証に用いられる顔テンプレートを生成し、
前記顔テンプレートを用いた顔認証により人物の本人確認を行う、
処理をコンピュータに実行させる、プログラムであって、
前記コンピュータが接続されたネットワークにおける通信性能を測定し、前記通信性能に基づいて、前記所定の品質条件が満たされるか否か判断する処理に用いる顔画像の個数または周期を決定する、
オンライン認証プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、オンライン診療における本人確認を実現する技術に関する。

【背景技術】

【0002】

医師が離れた場所にいる患者をビデオ通話等によって診療するオンライン診療が注目されている。オンライン診療では様々な面で安全性の確保が重要である。

【0003】

特許文献１には、オンライン診療の安全性確保に関する技術が開示されている。

【0004】

特許文献１の技術は、オンライン診療の録画が患者と医師との合意なしに行われることを防止するための技術である。オンライン診療対応装置は、オンライン診療の相手側のオンライン診療対応装置から受信した映像音声信号に基づき映像および音声を再生すると共に、使用者の映像および音声を信号化した映像音声信号を相手側のオンライン診療対応装置へ送信する。オンライン診療対応装置は、相手側のオンライン診療対応装置から受信した映像音声信号を記録することで、オンライン診療の録画を行う録画部と、当該オンライン診療対応装置の使用者と相手側のオンライン診療対応装置の使用者との間で、オンライン診療を録画することの合意が成立した場合に限り、録画部にオンライン診療の録画を行わせる録画制御部とを備える。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０２１－５２３１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

オンライン診療において確保すべき安全性には、オンライン診療の録画が患者と医師との合意なしに行われることを防止することの他に、医師および／または患者の本人確認を確実に行うことがある。しかしながら、オンライン診療における本人確認を実現する技術は提案されていない。

【0007】

多くの場合、オンライン診療では、汎用的な通信アプリやオンライン会議アプリが用いられる。その構成において、通常、患者の本人確認では、患者がパーソナルコンピュータ等のカメラに被保険者証をかざし、それを医師がパーソナルコンピュータ等の画面上で目視により確認するという手法が採られている。また、医師の本人確認では、医師がパーソナルコンピュータ等のカメラに身分証明書や医師免許をかざし、それを患者がパーソナルコンピュータ等の画面上で目視により確認するという手法が採られている。

【0008】

本開示のひとつの目的は、オンライン診療において顔認証による本人確認を行う技術を提供することである。

【課題を解決するための手段】

【0009】

本開示のひとつの態様によるオンライン認証装置は、画面上に表示された画像を時系列にキャプチャし、複数のキャプチャ画像を生成する画面キャプチャ部と、前記複数のキャプチャ画像のそれぞれから顔画像を検出する顔検出部と、複数の前記顔画像に基づいて所定の品質条件が満たされることを確認し、顔認証に用いられる顔テンプレートを生成する顔テンプレート生成部と、前記顔テンプレートを用いた顔認証により人物の本人確認を行う顔認証部と、有する。

【発明の効果】

【0010】

本開示のひとつの態様によれば、オンライン診療において顔認証による本人確認が可能となる。

【図面の簡単な説明】

【0011】

【図1】本実施形態に係るオンライン認証装置の構成例を示す模式図である。

【図2】本実施形態に係る顔認証装置のハードウェアの構成例を示すブロック図である。

【図3】本実施形態に係る顔認証用ＵＩ（User Interface）の一例を示す模式図である。

【図4】本実施形態に係る顔認証装置の機能の構成例を示すブロック図である。

【図5】本実施形態に係るクラウド環境の構成例を示すブロック図である。

【図6】本実施形態に係る顔認証本人確認アプリケーションの構成例を示す図である。

【図7】本実施形態に係る顔認証の全体の処理を示すフローチャートである。

【図8】図７に示す顔画像品質チェックの処理の詳細を示すフローチャートである。

【図9】図７に示す顔認証の結果通知の処理の詳細を示すフローチャートである。

【図10】本実施形態に係る顔特徴量リングバッファの最大格納数を調整する処理を示すフローチャートである。

【図11】本実施形態に係る通信時間と発生確率との関係の一例を示す通信時間分布のグラフである。

【図12】本実施形態に係る通信時間分布に基づいて顔特徴量リングバッファの最大格納数を決定する処理の一例を示すフローチャートである。

【図13】本実施形態に係る発生確率が最大の通信時間と顔特徴量リングバッファの最大格納数との関係の一例を示すグラフである。

【図14】本実施形態に係る照合スコアの閾値の調整処理を示すフローチャートである。

【図15】本実施形態に係るキャプチャ画像の輝度と発生確率との関係を示す輝度分布のグラフである。

【図16】本実施形態に係る輝度分布に基づいて照合スコアの閾値を算出する処理を示すフローチャートである。

【図17】本実施形態に係る発生確率が最大の輝度と照合スコアの閾値との関係の一例を示すグラフである。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について図面を参照して説明する。

【0013】

（本実施形態）
図１は、本実施形態に係るオンライン認証装置の構成例を示す模式図である。

【0014】

患者１１は、患者宅１０において、医療機関２０に属する医療従事者２１（例えば医師、看護師、検査技師等）からオンライン診療を受けることができる。オンライン認証システムは、オンライン診療において、患者１１及び医療従事者２１が本人であることを認証するための装置である。

【0015】

オンライン認証装置は、患者１１が利用する端末１２と、医療従事者２１が利用する顔認証装置２２と、患者１１及び医療従事者２１の認証を行うためのクラウド環境５０と、を含んで構成される。

【0016】

端末１２の例として、スマートフォン、タブレット、ＰＣ（Personal Computer）等が挙げられる。顔認証装置２２の例として、ＰＣ、タブレット、スマートフォン等が挙げられる。クラウド環境５０は、サーバ５１及びストレージ５２を含んで構成される。

【0017】

端末１２と顔認証装置２２とサーバ５１とは、通信ネットワークを通じて互いにデータを送受信できる。通信ネットワークの例として、インターネット、セルラ網、無線ＬＡＮ（Local Area Network）、有線ＬＡＮ等が挙げられる。

【0018】

従来より、患者１１と医療従事者２１のオンライン認証は、例えば次のステップＳ１～ステップＳ６の手順によって行われている。

【0019】

（ステップＳ１）端末１２は、カメラを通じて患者１１の顔を撮像する。以下、この患者１１の顔を撮像した画像を、患者１１の撮像顔画像と称する。端末１２は、患者１１の撮像顔画像を、顔認証装置２２へ送信する。
（ステップＳ２）顔認証装置２２は、端末１２から患者１１の撮像顔画像を受信する。
（ステップＳ３）顔認証装置２２は、カメラを通じて医療従事者２１の顔を撮像する。以下、その医療従事者２１の顔を撮像した画像を、医療従事者２１の撮像顔画像と称する。
（ステップＳ４）顔認証装置２２は、サーバ５１から、患者１１の認証用顔画像と、医療従事者２１の認証用顔画像とを取得する。患者１１の認証用顔画像は、認証用に患者１１の顔を撮像した画像であり、サーバ５１に予め登録される。医療従事者２１の認証顔画像は、認証用に医療従事者２１の顔を撮像した画像であり、サーバ５１に予め登録される。
（ステップＳ５）顔認証装置２２は、患者１１の撮像顔画像と認証用顔画像とを照合し、端末１２の前にいる患者１１が本人であるか否かを認証する。加えて、顔認証装置２２は、医療従事者２１の撮像顔画像と認証用顔画像と照合し、顔認証装置２２の前にいる医療従事者２１が本人であるか否かを認証する。
（ステップＳ６）顔認証装置２２は、患者１１及び医療従事者２１の認証結果を、患者１１の端末１２に表示させる。加えて、顔認証装置２２は、患者１１及び医療従事者２１の認証結果を、当該顔認証装置２２に表示する。

【0020】

これにより、患者１１は、端末１２に表示される認証結果に基づき、オンライン診療を行う医療従事者２１が本人であるか否かを確認できる。医療従事者２１は、顔認証装置２２に表示される認証結果に基づき、オンライン診療を受ける患者１１が本人であるか否かを確認できる。

【0021】

しかし、患者１１の撮像顔画像の画像品質（例えば輝度）が低い場合、顔認証装置２２は、患者１１の撮像顔画像を十分な精度で認証することができない。端末１２のカメラを制御して患者１１の撮像顔画像の画像品質を高めることも考えられるが、そのためには顔認証装置２２から端末１２のカメラを制御する必要があり、セキュリティの観点から好ましくない。また、端末１２に専用アプリケーションをインストールさせ、当該専用アプリケーションに端末１２のカメラを制御させることも考えられるが、オンライン診療の汎用性を高める観点から好ましくない。

【0022】

そこで以下では、患者１１の端末１２に特別な対処を行うことなく、患者１１の撮像顔画像を十分な精度で認証することを可能にする技術の実施形態について説明する。

【0023】

図２は、本実施形態に係る顔認証装置２２のハードウェアの構成例を示すブロック図である。

【0024】

顔認証装置２２は、プロセッサ６１、メインメモリ６２、記憶装置６３、通信装置６４、入力装置６５、表示装置６６、及び、バス６７を含んで構成される。

【0025】

プロセッサ６１、メインメモリ６２、記憶装置６３、通信装置６４、入力装置６５、及び、表示装置６６は、バス６７を通じてデータを送受信できる。

【0026】

プロセッサ６１は、他の部品と協働して、顔認証装置２２が有する機能を実現する。例えば、プロセッサ６１は、コンピュータプログラムを実行することにより、顔認証装置２２が有する機能を実現する。プロセッサ６１は、ＣＰＵ（Central Processing Unit）、コントローラ、又は、制御装置等と読み替えられてもよい。

【0027】

メインメモリ６２は、顔認証装置２２にて用いられるコンピュータプログラム及びデータ等を記憶する。メインメモリ６２は、例えば、ＲＯＭ（Real Only Memory）、ＲＡＭ（Random Access Memory）、及び／又は、フラッシュメモリによって構成される。

【0028】

記憶装置６３は、不揮発性記憶媒体によって構成され、顔認証装置２２にて用いられるコンピュータプログラム及びデータ等を記憶する。記憶装置６３は、例えば、ＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）、及び／又は、フラッシュメモリによって構成される。

【0029】

通信装置６４は、通信ネットワークを通じて、端末１２又はサーバ５１と通信を行う。通信装置６４は、有線通信及び無線通信のいずれに対応してもよい。

【0030】

入力装置６５は、入力を受け付ける。入力装置６５の例として、キーボード、マウス、タッチパッド、マイク等が挙げられる。

【0031】

表示装置６６は、画像を表示する。表示装置６６の例として、液晶ディスプレイ、有機ＥＬディスプレイ等が挙げられる。

【0032】

図３は、本実施形態に係る顔認証用ＵＩ（User Interface）の一例を示す模式図である。

【0033】

図３に示すように、顔認証装置２２の表示装置６６には、患者１１の撮像顔画像と、医療従事者２１の撮像顔画像とが表示される。

【0034】

顔認証用ＵＩは、患者１１の撮像顔画像と医療従事者２１の撮像顔画像とが表示された表示装置６６に合わせて表示される。顔認証用ＵＩは、フレーム枠７１と、閉じるボタン７２と、顔枠７３と、ガイドメッセージ表示エリア７４と、患者の認証結果表示エリア７５と、医療従事者の認証結果表示エリア７６とを含んでよい。

【0035】

フレーム枠７１には、患者１１の撮像顔画像と医療従事者２１の撮像顔画像とが並べて配置される。後述する画面キャプチャ部２４（図４参照）は、当該フレーム枠７１に囲まれた範囲内の画像を、キャプチャする。フレーム枠７１は、半透明であってよい。また、フレーム枠７１は、例えば医療従事者２１の操作によって、任意に拡大、縮小又は移動されてよい。これにより、医療従事者２１は、患者１１及び医療従事者２１の撮像顔画像を含むようにフレーム枠７１を簡単に設定することができる。なお、画面キャプチャ部２４は、フレーム枠７１の撮像顔画像に患者１１及び医療従事者２１の上半身あるいは顔の画像が含まれるようにフレーム枠７１を自動的に設定してもよい。

【0036】

閉じるボタン７２は、例えばフレーム枠７１の右上の角に配置される。閉じるボタン７２が押下されると、フレーム枠７１は閉じられてよい。

【0037】

顔枠７３は、患者１１の撮像顔画像の顔部分を囲むように表示される。加えて、顔枠７３は、医療従事者２１の撮像顔画像の顔部分を囲むように表示される。例えば、後述する顔検出部２５（図４参照）は、撮像顔画像から顔部分を検出すると、その検出した顔部分を囲むように顔枠７３を表示することにしてよい。

【0038】

ガイドメッセージ表示エリア７４には、顔品質チェックがＯＫ又はＮＧであることを示すメッセージが表示される。例えば、顔検出部２５は、表示されている患者１１の撮像顔画像について、顔品質チェック結果がＯＫであるかＮＧであるかを示すメッセージを、ガイドメッセージ表示エリア７４に出力する。

【0039】

患者の認証結果表示エリア７５には、患者１１の顔認証結果に関するメッセージが表示される。例えば、後述する顔認証部２７（図４参照）は、患者１１の顔認証結果がＯＫの場合、患者１１の本人確認情報（例えば患者１１の番号及び患者１１の氏名）を患者の認証結果表示エリア７５に表示し、患者１１の顔認証結果がＮＧの場合、その旨を患者の認証結果表示エリア７５に表示する。

【0040】

医療従事者の認証結果表示エリア７６には、医療従事者２１の顔認証結果に関するメッセージが表示される。例えば、顔認証部２７は、医療従事者２１の顔認証結果がＯＫの場合、医療従事者２１の本人確認情報（例えば医療従事者２１の番号及び医療従事者２１の氏名）を医療従事者の認証結果表示エリア７６に表示し、医療従事者２１の顔認証結果がＮＧの場合、その旨を医療従事者の認証結果表示エリア７６に表示する。

【0041】

図４は、本実施形態に係る顔認証装置２２の機能の構成例を示すブロック図である。

【0042】

顔認証装置２２が備えるプロセッサ６１は、クライアント側の顔認証本人確認アプリケーション２３を実行する。顔認証本人確認アプリケーション２３の実行により、画面キャプチャ部２４、顔検出部２５、顔テンプレート生成部２６、及び、顔認証部２７が実現される。

【0043】

画面キャプチャ部２４は、画面上に表示された画像を時系列にキャプチャし、複数のキャプチャ画像を生成する。顔検出部２５は、複数のキャプチャ画像のそれぞれから顔画像を検出する。顔テンプレート生成部２６は、複数の顔画像に基づいて所定の品質条件が満たされることを確認し、顔認証に用いられる顔テンプレートを生成する。顔認証部２７は、顔テンプレートを用いた顔認証により患者１１の本人確認を行う。

【0044】

これにより、画面からキャプチャした複数の顔画像を用いて品質を確認し、良好な顔画面を用いて顔認証を行うので、オンライン診療において顔認証による良好な本人確認が可能になる。例えば、汎用的なパーソナルコンピュータ等に搭載されたカメラで撮影される顔画像により良好な本人確認が可能である。

【0045】

また、顔テンプレート生成部２６は、複数の顔画像のそれぞれから特徴量を抽出し、該複数の顔画像同士の特徴量が相互に所定の品質条件を満たしたら、顔画像から顔テンプレートを生成してよい。特徴量は、顔認証に利用可能なそれぞれの人の顔の特徴を表す情報であり、例えば、顔の輪郭の形状や、眼、鼻、口などのパーツの配置、形状、及び大きさの情報を含んでよい。

【0046】

これにより、複数の顔画像の特徴量を相互に照合するので、容易に顔画像の品質を確保する処理を行うことができる。

【0047】

また、顔テンプレート生成部２６は、顔画像同士の特徴量の一致あるいは不一致の度合いを表す照合スコアを算出し、照合スコアを閾値と比較することにより、所定の品質条件が満たされるか否か判定してよい。

【0048】

また、顔テンプレート生成部２６は、複数のキャプチャ画像のそれぞれの明るさを算出し、明るさの度数分布を算出し、度数分布に基づいて閾値を決定してよい。

【0049】

これにより、キャプチャ画像の明るさから閾値を決めるので、顔画像同士の照合における画像の明るさの影響を低減し、顔テンプレートの品質確保を可能にする。

【0050】

また、顔テンプレート生成部２６は、オンライン認証装置が接続されたネットワークにおける通信性能を測定し、通信性能に基づいて、所定の品質条件が満たされるか否か判断する処理に用いる顔画像の個数又は周期を決定してよい。

【0051】

通信性能には、通信時間、又は、通信速度等が含まれてよい。通信性能の測定は、オンライン認証装置（顔認証本人確認アプリケーション２３が搭載された医療機関２０の顔認証装置２２）とクラウド環境５０に構築されたサーバ５１との間を測定したものであってもよい。あるいは、通信性能の測定は、オンライン認証装置と、患者１１の端末１２との間を測定したものであってもよい。

【0052】

これにより、通信状況によって顔画像の変化が滞ったときに誤って所定の品質条件が満たされたとする誤判定を抑制することができる。

【0053】

また、顔検出部２５は、キャプチャ画像から顔を検出すると、当該顔の領域を示す顔枠７３を画面に表示してよい。顔認証部２７は、患者１１の本人確認の結果として、当該患者１１を示す情報を提示するエリアを前記画面に表示してよい。

【0054】

なお、顔認証本人確認アプリケーション２３は、画面キャプチャ部２４、顔検出部２５、顔テンプレート生成部２６、及び、顔認証部２７についてのさらなる詳細については後述する。

【0055】

図５は、本実施形態に係るクラウド環境５０の構成例を示すブロック図である。

【0056】

クラウド環境５０は、サーバ５１及びストレージ５２を含んで構成される。サーバ５１は、図示しないが、プロセッサ６１、メインメモリ６２、通信装置６４、入力装置６５、及び、表示装置６６を含んで構成される。ストレージ５２は、図示しないが、例えば、ＳＳＤ、ＨＤＤ、及び／又は、フラッシュメモリによって構成される。また、ストレージ５２は、ＲＡＩＤ（Redundant Arrays of Inexpensive Disks）として構成されてもよい。

【0057】

ストレージ５２には、顔テンプレートＤＢ（Database）５７、及び、本人確認情報ＤＢ５８が構成される。

【0058】

顔テンプレートＤＢ５７は、予め登録された患者１１のマスタ顔テンプレート及び医療従事者２１のマスタ顔テンプレートを格納する。なお、顔テンプレートは、顔画像から抽出された顔特徴量から、公知技術である公開型生体認証基盤（ＰＢＩ；Public Biometric Infrastructure）に基づいて生成されるものであってよい。

【0059】

本人確認情報ＤＢ５８は、予め登録された患者１１の本人確認情報及び医療従事者２１の本人確認情報を格納する。例えば、患者１１の本人確認情報には、患者１１の識別番号、及び、患者１１の氏名等が含まれる。例えば、医療従事者２１の本人確認情報には、医療従事者２１の識別番号、及び、医療従事者２１の氏名等が含まれる。

【0060】

サーバ５１が備えるプロセッサ６１は、サーバ５１側の顔認証本人確認アプリケーション５３を実行する。サーバ５１側の顔認証本人確認アプリケーション５３は、顔テンプレート取得部５４、本人確認情報取得部５５、及び、認証結果通知部５６を含んで構成される。

【0061】

顔テンプレート取得部５４は、顔テンプレートＤＢ５７から顔テンプレートを取得し、顔認証装置２２に送信する。

【0062】

本人確認情報取得部５５は、本人確認情報ＤＢ５８から本人確認情報を取得し、顔認証装置２２に送信する。

【0063】

認証結果通知部５６は、患者１１及び医療従事者２１の両方の認証に成功した場合、医療従事者２１の本人確認情報を、例えばＳＭＳを用いて、患者１１の端末１２に通知する。

【0064】

なお、顔テンプレート取得部５４、本人確認情報取得部５５、及び、認証結果通知部５６についてのさらなる詳細については後述する。

【0065】

図６は、本実施形態に係る顔認証本人確認アプリケーション２３、５３の構成例を示す図である。

【0066】

顔認証本人確認アプリケーション２３、５３は、顔認証部２７、顔テンプレート取得部５４、本人確認情報取得部５５、及び、認証結果通知部５６を含んで構成される。

【0067】

顔認証部２７は、キャプチャ画像情報９０１、顔画像情報９０２、顔特徴量情報９０３、顔テンプレート情報９０４、通信時間履歴情報９０５、輝度履歴情報９０６、顔品質チェック環境設定情報９０７、顔品質チェック結果情報９０８、顔認証環境設定情報９０９、及び、顔認証結果情報９１０を含む。

【0068】

キャプチャ画像情報９０１は、キャプチャ画像を含む情報である。

【0069】

顔画像情報９０２は、顔の有無を示すフラグと、顔画像とを含む情報である。

【0070】

顔特徴量情報９０３は、顔特徴量を含む情報である。

【0071】

顔テンプレート情報９０４は、顔テンプレートを含む情報である。

【0072】

通信時間履歴情報９０５は、履歴連番と、通信時間とを含む情報である。

【0073】

輝度履歴情報９０６は、履歴連番と、輝度とを含む情報である。

【0074】

顔品質チェック環境設定情報９０７は、顔特徴量リングバッファの最大格納数と、照合スコアの閾値とを含む情報である。

【0075】

顔品質チェック結果情報９０８は、顔品質チェック結果を含む情報である。

【0076】

顔認証環境設定情報９０９は、照合スコアの閾値を含む情報である。

【0077】

顔認証結果情報９１０は、ユーザＩＤと、照合スコアと、本人判定結果とを含む情報である。

【0078】

顔テンプレート取得部５４は、登録済み顔テンプレート情報９１１を含む。

【0079】

登録済み顔テンプレート情報９１１は、ユーザＩＤと、マスタ顔テンプレートとを含む情報である。

【0080】

本人確認情報取得部５５は、登録済み本人確認情報９１２を含む。

【0081】

登録済み本人確認情報９１２は、ユーザＩＤと、本人確認情報とを含む情報である。

【0082】

認証結果通知部５６は、本人確認結果情報９１３を含む。

【0083】

本人確認結果情報９１３は、ユーザＩＤと、本人確認結果とを含む情報である。

【0084】

図７は、本実施形態に係る顔認証の全体の処理を示すフローチャートである。

【0085】

顔認証装置２２が備えるプロセッサ６１は、表示装置６６に表示中の患者１１の撮像顔画像及び医療従事者２１の撮像顔画像を囲むように、フレーム枠７１を表示する（Ｓ２０１）。

【0086】

プロセッサ６１（画面キャプチャ部２４）は、フレーム枠７１内の画像をキャプチャし、キャプチャ画像を生成する（Ｓ２０２）。

【0087】

プロセッサ６１（顔検出部２５）は、キャプチャ画像から患者１１の顔及び医療従事者２１の顔を検出する（Ｓ２０３）。

【0088】

プロセッサ６１（顔検出部２５）は、キャプチャ画像から患者１１の顔及び医療従事者２１の顔を検出できたか否かを判定する（Ｓ２０４）。

【0089】

キャプチャ画像から患者１１の顔及び医療従事者２１の顔を検出できなかった場合（Ｓ２０４：ＮＯ）、プロセッサ６１は、処理をＳ２０２に戻す。

【0090】

キャプチャ画像から患者１１の顔及び医療従事者２１の顔を検出できた場合（Ｓ２０４：ＹＥＳ）、プロセッサ６１（顔検出部２５）は、検出した顔を囲むような顔枠７３（図３参照）を表示装置６６に表示する（Ｓ２０５）。

【0091】

プロセッサ６１（顔検出部２５）は、患者１１の撮像顔画像から顔特徴量を抽出し、医療従事者２１の撮像顔画像から顔特徴量を抽出する（Ｓ２０６）。

【0092】

プロセッサ６１（顔検出部２５）は、抽出した顔特徴量に基づき、顔品質チェックを行う（Ｓ２０７）。なお、本処理の詳細については後述する（図８参照）。

【0093】

プロセッサ６１は、顔品質チェックの結果がＮＧの場合（Ｓ２０８：ＮＧ）、処理をＳ２０２に戻し、顔品質チェックの結果がＯＫの場合（Ｓ２０８：ＯＫ）、処理をＳ２０９に進める。

【0094】

プロセッサ６１（顔テンプレート生成部２６）は、患者１１の撮像顔画像から抽出した顔特徴量から、ＰＢＩ技術に基づいて、患者１１の顔テンプレートを生成する。加えて、プロセッサ６１（顔テンプレート生成部２６）は、医療従事者２１の撮像顔画像から抽出した顔特徴量から、ＰＢＩ技術に基づいて、医療従事者２１の顔テンプレートを生成する（Ｓ２０９）。

【0095】

プロセッサ６１（顔認証部２７）は、顔テンプレートＤＢ５７に格納されている患者１１のマスタ顔テンプレートをサーバ５１から取得し、患者１１のマスタ顔テンプレートと、Ｓ２０９にて生成した患者１１の顔テンプレートとを照合し、患者１１の顔認証を行う。加えて、プロセッサ６１（顔認証部２７）は、顔テンプレートＤＢ５７に格納されている医療従事者２１のマスタ顔テンプレートをサーバ５１から取得し、医療従事者２１のマスタ顔テンプレートと、Ｓ２０９にて生成した医療従事者２１の顔テンプレートとを照合し、医療従事者２１の顔認証を行う（Ｓ２１０）。

【0096】

プロセッサ６１（顔認証部２７）は、Ｓ２１０の顔認証結果をサーバ５１へ送信し、サーバ５１の認証結果通知部５６は、その顔認証結果を患者１１の端末１２に通知する（Ｓ２１１）。なお、本処理の詳細については後述する（図９参照）。

【0097】

図８は、図７に示す顔画像品質チェック（Ｓ２０７）の処理の詳細を示すフローチャートである。なお、本処理は、患者１１の顔特徴量及び医療従事者２１の顔特徴量の両方に対して行われる。

【0098】

顔認証装置２２の顔検出部２５は、抽出した顔特徴量を顔特徴量リングバッファに記録する（Ｓ３０１）。顔特徴量リングバッファは、複数の顔特徴量を記録可能なリング状のバッファである。例えば、顔検出部２５は、顔特徴量リングバッファが一巡するまでは、先頭から順番に顔特徴量を記録し、顔特徴量リングバッファが一巡した後、先頭から順番に上書き記録する。なお、顔特徴量リングバッファの最大格納数（つまり、顔特徴量リングバッファのサイズ）は、可変であってよい。顔特徴量リングバッファの最大格納数の決定方法については後述する（図１０参照）。

【0099】

顔検出部２５は、顔特徴量リングバッファが一巡したか否かを判定する（Ｓ３０２）。

【0100】

次に、顔特徴量リングバッファが一巡していない場合（Ｓ３０２：ＮＯ）について説明する。

【0101】

顔検出部２５は、顔品質チェックがＮＧであることを示すガイドメッセージを表示装置６６に表示する（Ｓ３０３）。そして、顔検出部２５は、顔品質チェック結果として「ＮＧ」を出力し（Ｓ３０４）、本処理を終了する。

【0102】

次に、顔特徴量リングバッファが一巡している場合（Ｓ３０２：ＹＥＳ）について説明する。

【0103】

顔検出部２５は、顔特徴量リングバッファに記録されている複数の顔特徴量を相互に照合し、互いの顔特徴量のずれの大きさを示すスコア（以下、照合スコアと称する）を算出する（Ｓ３０５）。照合スコアは、大きいほど、互いの顔特徴量のずれが大きい（つまり類似していない）ことを示す。別言すると、照合スコアは、小さいほど、互いの顔特徴量のずれが小さい（つまり類似している）ことを示す。

【0104】

顔検出部２５は、相互に照合された複数の照合スコアがすべて所定の閾値以下であるか否かを判定する（Ｓ３０６）。なお、当該照合スコアの閾値は、可変であってよい。照合スコアの閾値の決定方法については後述する（図１４参照）。

【0105】

照合スコアの少なくとも１つが閾値より大きい場合（Ｓ３０６：ＮＯ）、顔検出部２５は、処理をＳ３０３に進める。同一人物の互いの顔特徴量の照合スコアが大きいということは、撮像顔画像の画像品質が悪いと想定されるためである。

【0106】

複数の照合スコアのすべてが閾値以上である場合（Ｓ３０６：ＹＥＳ）、顔検出部２５は、顔品質チェックがＯＫであることを示すガイドメッセージを表示装置６６に表示する（Ｓ３０７）。そして、顔検出部２５は、顔品質チェック結果として「ＯＫ」を出力し（Ｓ３０８）、本処理を終了する。同一人物の互いの顔特徴量の照合スコアが小さいということは、撮像顔画像の画像品質が良いと想定されるためである。

【0107】

図９は、図７に示す顔認証の結果通知（Ｓ２１１）の処理の詳細を示すフローチャートである。

【0108】

顔認証装置２２の顔認証部２７は、Ｓ２１０にて患者１１の顔テンプレートとマスタ顔テンプレートとを照合して算出した患者１１の照合スコアが所定の閾値以下であるか否かを判定する（Ｓ４０１）。

【0109】

患者１１の照合スコアが閾値よりも大きい場合（Ｓ４０１：ＮＯ）、顔認証部２７は、患者１１の認証結果がＮＧである旨を示すメッセージを、患者の認証結果表示エリア７５に表示し（Ｓ４０２）、処理をＳ４０４に進める。

【0110】

患者１１の照合スコアが閾値以下である場合（Ｓ４０１：ＹＥＳ）、顔認証部２７は、本人確認情報ＤＢ５８に格納されている患者１１の本人確認情報をサーバ５１から取得し、その患者１１の本人確認情報を、患者の認証結果表示エリア７５に表示し（Ｓ４０３）、処理をＳ４０４に進める。

【0111】

顔認証部２７は、Ｓ２１０にて医療従事者２１の顔テンプレートとマスタ顔テンプレートとを照合して算出した医療従事者２１の照合スコアが所定の閾値以下であるか否かを判定する（Ｓ４０４）。

【0112】

医療従事者２１の照合スコアが閾値よりも大きい場合（Ｓ４０４：ＮＯ）、顔認証部２７は、医療従事者２１の認証結果がＮＧである旨を示すメッセージを、医療従事者の認証結果表示エリア７６に表示し（Ｓ４０５）、処理をＳ４０７に進める。

【0113】

医療従事者２１の照合スコアが閾値以下である場合（Ｓ４０４：ＹＥＳ）、顔認証部２７は、本人確認情報ＤＢ５８に格納されている医療従事者２１の本人確認情報をサーバ５１から取得し、その医療従事者２１の本人確認情報を、医療従事者の認証結果表示エリア７６に表示し（Ｓ４０６）、処理をＳ４０７に進める。

【0114】

顔認証部２７は、患者１１及び医療従事者２１が共に本人であると認証されたか否かを判定する（Ｓ４０７）。

【0115】

患者１１及び医療従事者２１の両方の認証がＯＫである場合（Ｓ４０７：ＹＥＳ）、顔認証部２７は、サーバ５１の認証結果通知部５６を通じて、医療従事者２１の本人確認情報を、ＳＭＳを用いて患者１１の端末１２に通信し（Ｓ４０８）、本処理を終了する。

【0116】

患者１１及び医療従事者２１の少なくとも一方の認証がＮＧである場合（Ｓ４０７：ＮＯ）、顔認証部２７は、本処理を終了する。

【0117】

なお、上述した照合スコアの閾値は、可変であってよい。照合スコアの閾値の決定方法については後述する（図１４参照）。

【0118】

図１０は、本実施形態に係る顔特徴量リングバッファの最大格納数を調整する処理を示すフローチャートである。図１１は、本実施形態に係る通信時間と発生確率との関係の一例を示す通信時間分布のグラフである。

【0119】

顔検出部２５は、顔特徴量リングバッファの最大格納数として固定値が予め設定されているか否かを判定する（Ｓ５０１）。

【0120】

顔特徴量リングバッファの最大格納数として固定値が予め設定されている場合（Ｓ５０１：ＹＥＳ）、顔検出部２５は、その固定値を顔特徴量リングバッファの最大格納数として本処理を終了する。

【0121】

顔特徴量リングバッファの最大格納数として固定値が予め設定されていない場合（Ｓ５０１：ＮＯ）、顔検出部２５は、端末１２と顔認証装置２２との間の通信時間を記録する（Ｓ５０２）。この通信時間は、例えば、端末１２が撮像顔画像を送信してから顔認証装置２２がその撮像顔画像を受信するまでの時間であってよい。あるいは、顔認証装置２２が端末１２に対して撮像顔画像を要求してから顔認証装置２２がその撮像顔画像を端末１２から受信するまでの時間であってよい。また、この通信時間の記録は継続的に行われる。よって、顔検出部２５は、その継続的に記録されたデータに基づき、図１１に示すように、通信時間と発生確率との関係性を示す通信時間分布を算出することができる。

【0122】

顔検出部２５は、通信時間分布に基づいて、顔特徴量リングバッファの最大格納数を算出する（Ｓ５０３）。なお、当該顔特徴量リングバッファの最大格納数の算出方法の詳細については後述する（図１２参照）。

【0123】

顔検出部２５は、Ｓ５０３にて算出した顔特徴量リングバッファの最大格納数を出力し（Ｓ５０４）、本処理を終了する。

【0124】

図１２は、本実施形態に係る通信時間分布に基づいて顔特徴量リングバッファの最大格納数を決定する処理の一例を示すフローチャートである。なお、図１２に示す処理は、図１０に示すＳ５０３の処理を詳細化したものである。図１３は、本実施形態に係る発生確率が最大の通信時間と顔特徴量リングバッファの最大格納数との関係の一例を示すグラフである。

【0125】

顔検出部２５は、通信時間分布を更新する（Ｓ６０１）。

【0126】

顔検出部２５は、図１１に示す通信時間分布において、発生確率が最大（ピーク）の通信時間に基づいて、候補値を算出する（Ｓ６０２）。例えば、顔検出部２５は、図１３に示すように、発生確率が最大（ピーク）の通信時間が長くなるにつれて（例えば比例して）大きくなる候補値を算出する。

【0127】

顔検出部２５は、候補値が予め設定された下限値よりも小さいか否かを判定する（Ｓ６０３）。

【0128】

候補値が下限値よりも小さい場合（Ｓ６０３：ＹＥＳ）、顔検出部２５は、下限値を顔特徴量リングバッファの最大格納数として出力し（Ｓ６０４）、本処理を終了する。

【0129】

候補値が下限値以上である場合（Ｓ６０３：ＮＯ）、顔検出部２５は、候補値が上限値よりも大きいか否かを判定する（Ｓ６０５）。

【0130】

候補値が上限値よりも大きい場合（Ｓ６０５：ＹＥＳ）、顔検出部２５は、上限値を顔特徴量リングバッファの最大格納数として出力し（Ｓ６０６）、本処理を終了する。

【0131】

候補値が上限値以下である場合（Ｓ６０５：ＮＯ）、顔検出部２５は、候補値を顔特徴量リングバッファの最大格納数として出力し（Ｓ６０７）、本処理を終了する。

【0132】

これにより、図１３に示すように、上限値と下限値との間において、端末１２と顔認証装置２２との間の通信時間が長くなるほど、顔特徴量リングバッファの最大格納数が多くなる。このようにしている理由は次の通りである。すなわち、端末１２と顔認証装置２２との間の通信時間が比較的長い場合、顔特徴量として変化の少ない時間的に連続したキャプチャ画像が取得される。それに加えて、顔特徴量リングバッファの最大格納数が少ない場合、その変化の少ない複数の顔特徴量によって顔特徴量リングバッファが占められてしまい、その結果、顔品質チェックにおける相互の照合スコアから、顔品質が安定したと誤って判定されてしまうリスクがある。そのため、上述したように、端末１２と顔認証装置２２との間の通信時間が長い場合に、顔特徴量リングバッファの最大格納数を大きくしている。

【0133】

図１４は、本実施形態に係る照合スコアの閾値の調整処理を示すフローチャートである。図１５は、本実施形態に係るキャプチャ画像の輝度と発生確率との関係を示す輝度分布のグラフである。

【0134】

プロセッサ６１（例えば顔検出部２５又は顔認証部２７）は、照合スコアの閾値として固定値が予め設定されているか否かを判定する（Ｓ７０１）。

【0135】

照合スコアの閾値として固定値が予め設定されている場合（Ｓ７０１：ＹＥＳ）、プロセッサ６１は、その固定値を照合スコアの閾値として本処理を終了する。

【0136】

照合スコアの閾値として固定値が設定されていない場合（Ｓ７０１：ＮＯ）、プロセッサ６１は、キャプチャ画像の各画素の輝度を推定する（Ｓ７０２）。

【0137】

プロセッサ６１は、推定したキャプチャ画像の各画素の輝度を記録する（Ｓ７０３）。この輝度の記録は継続的に行われる。よって、プロセッサ６１は、その継続的に記録された輝度に基づき、図１５に示すように、輝度と発生確率との関係性を示す輝度分布を算出することができる。

【0138】

プロセッサ６１は、輝度分布に基づき、照合スコアの閾値を算出する（Ｓ７０４）。なお、この照合スコアの閾値の算出方法の詳細については後述する（図１６参照）。

【0139】

プロセッサ６１は、算出した照合スコアの閾値を出力し（Ｓ７０５）、本処理を終了する。

【0140】

図１６は、本実施形態に係る輝度分布に基づいて照合スコアの閾値を算出する処理を示すフローチャートである。なお、図１６に示す処理は、図１４に示すＳ７０４の処理を詳細化したものである。図１７は、本実施形態に係る発生確率が最大の輝度と照合スコアの閾値との関係の一例を示すグラフである。

【0141】

プロセッサ６１（例えば顔検出部２５又は顔認証部２７）は、輝度分布を更新する（Ｓ８０１）。

【0142】

プロセッサ６１は、発生確率が最大（ピーク）の輝度が所定の下限値よりも小さいか否かを判定する（Ｓ８０２）。

【0143】

ピークの輝度が下限値よりも小さい場合（Ｓ８０２：ＹＥＳ）、プロセッサ６１は、図１７に示すように、ピークの輝度が下限値よりも小さくなるにつれて（例えば比例して）、閾値が所定のデフォルト値よりも小さくなるように（つまり顔検出又は顔認証が厳しくなるように）、当該閾値を算出及び出力し（Ｓ８０３）、本処理を終了する。

【0144】

ピークの輝度が下限値以上である場合（Ｓ８０２：ＮＯ）、プロセッサ６１は、ピークの輝度が所定の上限値よりも大きいか否かを判定する（Ｓ８０４）。

【0145】

ピークの輝度が上限値よりも大きい場合（Ｓ８０４：ＹＥＳ）、プロセッサ６１は、ピークの輝度が上限値よりも大きくなるにつれて（例えば比例して）、閾値がデフォルト値よりも小さくなるように（つまり顔検出又は顔認証が厳しくなるように）、当該閾値を算出及び出力し（Ｓ８０５）本処理を終了する。

【0146】

ピークの輝度が上限値以下である場合（Ｓ８０４：ＮＯ）、プロセッサ６１は、デフォルト値を閾値として出力し（Ｓ８０６）、本処理を終了する。

【0147】

上述した本発明の実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の範囲を逸脱することなしに、他の様々な態様で本発明を実施することができる。

【符号の説明】

【0148】

１０…患者宅、１１…患者、１２…端末、２０…医療機関、２１…医療従事者、２２…顔認証装置、２３…クライアント側の顔認証本人確認アプリケーション、２４…画面キャプチャ部、２５…顔検出部、２６…顔テンプレート生成部、２７…顔認証部、５０…クラウド環境、５１…サーバ、５２…ストレージ、５３…サーバ側の顔認証本人確認アプリケーション、５４…顔テンプレート取得部、５５…本人確認情報取得部、５６…認証結果通知部、５７…顔テンプレートＤＢ、５８…本人確認情報ＤＢ、６１…プロセッサ、６２…メインメモリ、６３…記憶装置、６４…通信装置、６５…入力装置、６６…表示装置、６７…バス、７１…フレーム枠、７２…閉じるボタン、７３…顔枠、７４…ガイドメッセージ表示エリア、７５…患者の認証結果表示エリア、７６…医療従事者の認証結果表示エリア、９０１…キャプチャ画像情報、９０２…顔画像情報、９０３…顔特徴量情報、９０４…顔テンプレート情報、９０５…通信時間履歴情報、９０６…輝度履歴情報、９０７…顔品質チェック環境設定情報、９０８…顔品質チェック結果情報、９０９…顔認証環境設定情報、９１０…顔認証結果情報、９１１…登録済み顔テンプレート情報、９１２…登録済み本人確認情報、９１３…本人確認結果情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】