特許 7511168 対話装置および対話方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-27

(45)【発行日】2024-07-05

(54)【発明の名称】対話装置および対話方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240628BHJP

   H04N 23/60 20230101ALI20240628BHJP

【ＦＩ】

G06T7/00 660A

G06T7/00 P

H04N23/60 500

【請求項の数】 8

(21)【出願番号】P 2023503370

(86)(22)【出願日】2021-10-29

(86)【国際出願番号】 JP2021040000

(87)【国際公開番号】W WO2022185608

(87)【国際公開日】2022-09-09

【審査請求日】2023-08-09

(31)【優先権主張番号】P 2021033937

(32)【優先日】2021-03-03

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100111383

【弁理士】

【氏名又は名称】芝野 正雅

(74)【代理人】

【識別番号】100170922

【弁理士】

【氏名又は名称】大橋 誠

(72)【発明者】

【氏名】吉田 隆雅

(72)【発明者】

【氏名】吉岡 元貴

(72)【発明者】

【氏名】今村 邦博

【審査官】千葉 久博

(56)【参考文献】

【文献】特開２０１７－１１３４２１（ＪＰ，Ａ）

【文献】特開２０１６－３４４３１（ＪＰ，Ａ）

【文献】特開２０１４－１７４６２１（ＪＰ，Ａ）

【文献】登録実用新案第３２２９７１１（ＪＰ，Ｕ）

【文献】国際公開第２０２０／０７５３０８（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

撮像画像中に含まれる顔画像に基づいて所定の対話を行う対話装置であって、
前記対話のための制御を行う制御部を備え、
前記制御部は、
前記撮像画像から対象者の顔画像を特定し、
特定した前記顔画像から前記対象者の顔に対する装着物の有無を検出し、
前記装着物の種類を特定し、
前記装着物の種類と所定の参照情報に基づいて前記対象者の周辺環境を判定し、
前記周辺環境に基づいて前記装着物の離脱または装着を促す情報を出力部に出力させる、
ことを特徴とする対話装置。

【請求項2】

請求項１に記載の対話装置において、
前記参照情報は、前記撮像画像を含み、
前記制御部は、前記撮像画像に含まれる前記対象者以外の他の人の状況を前記周辺環境として判定して、前記装着物の離脱または装着を促す、
ことを特徴とする対話装置。

【請求項3】

請求項２に記載の対話装置において、
前記制御部は、前記他の人の顔の向きに基づいて、前記装着物の離脱または装着を促す、
ことを特徴とする対話装置。

【請求項4】

請求項１ないし３の何れか一項に記載の対話装置において、
前記参照情報は、前記対象者の周囲の音声を含み、
前記制御部は、前記音声から前記対象者以外の人の状況を前記周辺環境として判定して、前記装着物の離脱または装着を促す、
ことを特徴とする対話装置。

【請求項5】

請求項１ないし４の何れか一項に記載の対話装置において、
前記制御部は、前記参照情報に基づいて、前記対象者の周囲にいる他の人の密度合を判定して、前記装着物の離脱または装着を促す、
ことを特徴とする対話装置。

【請求項6】

請求項１ないし５の何れか一項に記載の対話装置において、
前記装着物は、マスクである、
ことを特徴とする対話装置。

【請求項7】

請求項１ないし６の何れか一項に記載の対話装置において、
前記装着物は、サングラスであり、
前記参照情報は、現在時刻を含み、
前記制御部は、前記現在時刻に基づき、前記対象者の顔に日光が射し込み得る状況にあるか否かを前記周辺環境として判定して、前記サングラスの離脱または装着を促す、
ことを特徴とする対話装置。

【請求項8】

撮像画像中に含まれる顔画像に基づいて所定の対話を自動で行う対話方法であって、
前記撮像画像から対象者の顔画像を特定し、
特定した前記顔画像から前記対象者の顔に対する装着物の有無を検出し、
前記装着物の種類を特定し、
前記装着物の種類と所定の参照情報に基づいて前記対象者の周辺環境を判定し、
前記周辺環境に基づいて前記装着物の離脱または装着を促す情報を出力する、
ことを特徴とする対話方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像画像中に含まれる顔画像に基づいて所定の対話を行う対話装置および対話方法に関する。

【背景技術】

【0002】

撮像画像中に含まれる顔画像に基づいて所定の対話を行う対話装置が、店舗等に配備された受付ロボットや車両等に搭載されつつある。たとえば、以下の特許文献１には、車両において、運転者と対話を行う構成が記載されている。

【0003】

この構成では、運転席に着座した人の容姿が、３Ｄカメラによって取得されて、個人認証装置に出力される。個人認証装置は、３Ｄカメラの撮像画像から顔画像を抽出し、抽出した顔画像と、予め登録されている登録顔画像とを照合する。抽出した顔画像と登録顔画像との照合レベルが所定値以上である場合、個人認証装置は、当該人が運転者本人であると判断し、セキュリティを解除する。

【0004】

他方、照合レベルが所定値未満である場合、個人認証装置は、抽出した顔画像において特徴量の類似度が極端に低い部分（特定部分）を抽出し、この特定部分に関する対話を行う。たとえば、特定部分が口元である場合、マスクの着用を示唆する音声が出力される。この音声に対する当該人の応答が肯定的である場合（マスクの着用を示唆する場合）、個人認証装置は、特定部分の照合結果は正しいと判定し、顔画像以外の認証手段（たとえば声紋照合）によって、本人認証を行う。この認証が適正である場合、個人認証装置は、当該人が運転者本人であると判断し、セキュリティを解除する処理を行う。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１０－０８６４１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記特許文献１の構成では、対象者がマスクやサングラス等の装着物を装着している場合、判定対象の顔画像から特定部分（類似度が極端に低い部分）が抽出され、さらに、この特定部分に関する対話が行われた後、他の認証手段による認証へと移行する処理が行われる。このため、本人認証のために、多くの処理が必要となり、また、特定部分ごとに種々の対話内容を予め保持しておく必要もある。対象者が装着物を装着しているような場合においても、なるべく撮像画像を用いながら、簡易に、本人認証が行われることが好ましい。

【0007】

その一方で、対象者の周りの状況によっては、対象者に装着物の離脱を促すことが適正でない場合も想定され得る。たとえば、対象者の周囲に他の人が接近して存在するような場合、装着物であるマスクの離脱を促すことは適正とは言い難い。また、運転者である対象者の顔に日光が射すような場合は、装着物であるサングラスの離脱を促すことは適正とは言い難い。

【0008】

また、本人認証以外の場面では、逆に、対象者に所定の装着物の装着を促すことが適正である場合も想定され得る。たとえば、車内や建物内等の密閉空間において、対象者の周囲に他の人が接近して存在する場合、対象者にマスクの装着を促すことが適正であると言える。

【0009】

かかる課題に鑑み、本発明は、撮像画像を用いながら、より適正に、対象者に装着物の離脱または装着を誘導することが可能な対話装置および対話方法を提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明の第１の態様は、撮像画像中に含まれる顔画像に基づいて所定の対話を行う対話装置に関する。この態様に係る対話装置は、前記対話のための制御を行う制御部を備える。前記制御部は、前記撮像画像から対象者の顔画像を特定し、特定した前記顔画像から前記対象者の顔に対する装着物の有無を検出し、前記装着物の種類を特定し、前記装着物の種類と所定の参照情報に基づいて前記対象者の周辺環境を判定し、前記周辺環境に基づいて前記装着物の離脱または装着を促す情報を出力部に出力させる。

【0011】

本態様に係る対話装置によれば、対象者の顔画像における装着物の有無が検出されると、対象者の周辺環境の判定結果に基づいて、当該装着物の離脱または装着が対象者に誘導される。よって、撮像画像を用いながら、より適正に、対象者に装着物の離脱または装着を誘導することができる。

【0012】

本発明の第２の態様は、撮像画像中に含まれる顔画像に基づいて所定の対話を自動で行う対話方法に関する。この態様に係る対話方法は、前記撮像画像から対象者の顔画像を特定し、特定した前記顔画像から前記対象者の顔に対する装着物の有無を検出し、前記装着物の種類を特定し、前記装着物の種類と所定の参照情報に基づいて前記対象者の周辺環境を判定し、前記周辺環境に基づいて前記装着物の離脱または装着を促す情報を出力する。

【0013】

本態様に係る対話装置によれば、上記第１の態様と同様、対象者の顔画像における装着物の有無が検出されると、対象者の周辺環境の判定結果に基づいて、当該装着物の離脱または装着が対象者に誘導される。よって、撮像画像を用いながら、より適正に、対象者に装着物の離脱または装着を誘導することができる。

【発明の効果】

【0014】

以上のとおり、本発明によれば、撮像画像を用いながら、より適正に、対象者に装着物の離脱または装着を誘導することが可能な対話装置および対話方法を提供できる。

【0015】

本発明の効果ないし意義は、以下に示す実施形態の説明により更に明らかとなろう。ただし、以下に示す実施形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施形態に記載されたものに何ら制限されるものではない。

【図面の簡単な説明】

【0016】

【図1】図１（ａ）は、実施形態１に係る対話装置の使用環境を模式的に示す図である。図１（ｂ）は、実施形態１に係る、撮像画像の一例を示す図である。

【図2】図２は、実施形態１に係る対話装置の回路部の構成を示すブロック図である。

【図3】図３は、実施形態１に係る、制御部により行われる本人認証処理を示すフローチャートである。

【図4】図４（ａ）および図４（ｂ）は、それぞれ、実施形態１に係る、離脱条件の判定処理を示すフローチャートである。

【図5】図５は、実施形態１に係る、撮像画像に含まれる対象顔画像を顔認識エンジンにより抽出した例を示す図である。

【図6】図６（ａ）は、実施形態１に係る、装着物認識エンジンによる検知結果として、マスクが装着されていた場合の検知結果の例を示す図である。図６（ｂ）および図６（ｃ）は、それぞれ、実施形態１に係る、眼鏡とサングラスが装着されていた場合の検知結果の例を示す図である。

【図7】図７は、実施形態１に係る、周辺環境の領域取得の一例を示す図である。

【図8】図８は、実施形態１に係る、他の人の抽出例を示す図である。

【図9】図９は、実施形態２に係る対話装置の使用環境を模式的に示す図である。

【図10】図１０は、実施形態２に係る、制御部により行われる装着誘導処理を示すフローチャートである。

【図11】図１１（ａ）および図１１（ｂ）は、それぞれ、実施形態２に係る、装着条件の判定処理を示すフローチャートである。

【図12】図１２は、実施形態２に係る、制御部により行われる表情判定処理を示すフローチャートである。

【図13】図１３は、実施形態３に係る対話装置の構成を示すブロック図である。

【図14】図１４は、実施形態３に係る、制御部により行われる年齢確認処理を示すフローチャートである。

【図15】図１５（ａ）および図１５（ｂ）は、それぞれ、実施形態３に係る、離脱条件の判定処理を示すフローチャートである。

【図16】図１６は、実施形態３に係る、密度合の検出例を示す図である。

【図17】図１７（ａ）および図１７（ｂ）は、それぞれ、実施形態３の変更例に係る、装着条件の判定処理を示すフローチャートである。

【0017】

ただし、図面はもっぱら説明のためのものであって、この発明の範囲を限定するものではない。

【発明を実施するための形態】

【0018】

以下、本発明の実施形態について、図面を参照して説明する。

【0019】

以下の実施形態には、撮像画像中に含まれる顔画像に基づいて所定の対話を行う対話装置および対話方法の一例が示される。対話装置および対話方法は、対話を通じて所定の処理を行う。ここで、所定の処理は、顔画像に基づく本人認証の他、対象者の表情判定に基づく制御処理や、対象者の年齢判定に基づく所定品目（たとえば、酒類、タバコ等）の購買許可等、顔画像に基づく種々の処理を含み得る。また、対話装置および対話方法は、車両や年齢確認システム、受付ロボット、キャッシュディスペンサ等の種々の装置に適用され得る。

【0020】

以下には、これらの実施形態のうち一例が示される。但し、本発明は、以下の実施形態に何ら制限されるものではない。

【0021】

＜実施形態１＞
実施形態１では、対話装置がキャッシュディスペンサに搭載される場合の構成が示される。

【0022】

図１（ａ）は、対話装置１００の使用環境を模式的に示す図である。

【0023】

図１（ａ）には、キャッシュディスペンサ１０と操作者の利用環境を想定した図が示されており、図１（ｂ）には、キャッシュディスペンサ１０に搭載されたカメラ２１からの撮像画像Ｐ１０の例が示されている。

【0024】

実施形態１では、周辺環境を判定するための参照情報として、カメラ２１からの撮像画像、マイク２２からの音声情報が用いられる。但し、参照情報は、これらに限られるものではなく、これらのいずれかが省略されてもよく、あるいは、他の情報がさらに追加されてもよい。

【0025】

対話装置１００は、たとえば、キャッシュディスペンサ１０の内部に収納および設置される。このほか、キャッシュディスペンサ１０には、所定の音声を出力するためのスピーカ２３、情報を表示するためのディスプレイ２４および情報を入力するためのタッチパネル２５が設置される。ディスプレイ２４およびタッチパネル２５は、重ねて配置されて、操作表示部を構成する。

【0026】

図２は、対話装置１００の回路部の構成を示すブロック図である。

【0027】

対話装置１００は、回路部の構成として、制御部１０１と、記憶部１０２と、インタフェース１０３と、通信部１０４とを備える。

【0028】

制御部１０１は、ＣＰＵ（Central Processing Unit）等の演算処理回路を備え、記憶部１０２に記憶されているプログラムに従って各部を制御する。制御部１０１は、ＦＰＧＡ（Field Programmable Gate Array）を含んでもよい。制御部１０１は、記憶部１０２に記憶されている顔認識エンジン１０２ａにより、カメラ２１からの撮像画像中の顔画像を抽出する。また、制御部１０１は、抽出した顔画像にマスクやサングラス等の装着物が含まれているか否かを、記憶部１０２に記憶されている装着物認識エンジン１０２ｂにより判定する。顔画像に装着物が含まれている場合、制御部１０１は、さらに、その装着物の種類（マスク、サングラス等）を、装着物認識エンジン１０２ｂにより特定する。

【0029】

さらに、制御部１０１は、時計回路１０１ａを備える、制御部１０１は、当該時計回路１０１ａによって、随時、現在時刻を取得する。

【0030】

記憶部１０２は、ＲＯＭ（Read only Memory）やＲＡＭ（Random Access Memory）等の記憶媒体を備え、制御部１０１が実行するプログラムを記憶する。上記のように、記憶部１０２は、顔認識エンジン１０２ａおよび装着物認識エンジン１０２ｂを記憶する。また、記憶部１０２は、顔画像から表情判定を行うアルゴリズムを記憶する。さらに、記憶部１０２は、後述の本人認証に用いる顔画像や声紋情報、パスワード等を利用者のカードの識別情報に対応付けて記憶する。この他、記憶部１０２は、制御部１０１が上記プログラムを実行する際のワーク領域として用いられる。

【0031】

インタフェース１０３は、上述のカメラ２１、マイク２２およびスピーカ２３と制御部１０１とを接続する。この他、インタフェース１０３は、ディスプレイ２４およびタッチパネル２５を、制御部１０１に接続する。通信部１０４は、制御部１０１からの制御のもと、キャッシュディスペンサ側の制御部と通信を行う。制御部１０１は、通信部１０４を介してキャッシュディスペンサ側の通信部から受信する指令に応じて、操作者の本人認証等の種々の制御処理を行う。

【0032】

＜本人認証処理＞
図３は、制御部１０１により行われる本人認証処理を示すフローチャートである。

【0033】

図３の処理は、たとえば、本人認証の指令（操作者から受け付けたカードの識別情報を含む）を、制御部１０１が、キャッシュディスペンサ側の制御部から受信したことに応じて開始される。

【0034】

制御部１０１は、カメラ２１から撮像画像を取得し（Ｓ１０１）、さらに、撮像画像に含まれる顔画像を顔認識エンジン１０２ａにより抽出する（Ｓ１０２）。次に、制御部１０１は、抽出した顔画像のうち、キャッシュディスペンサの前に立っている認証対象者の顔画像（以下、「対象顔画像」という）を特定する（Ｓ１０３）。ここでは、ステップＳ１０２で抽出された顔画像のうち、カメラ２１の正面方向にあり、且つ、最も大きな顔画像が、対象顔画像として特定される。図５は、撮像画像Ｐ１０に含まれる対象顔画像Ｐ１１を顔認識エンジン１０２ａにより抽出した例を示している。そして、制御部１０１は、対象顔画像に装着物が含まれるか否かを、装着物認識エンジン１０２ｂにより判定する（Ｓ１０４）。ここでは、認識対象の装着物として、マスクやサングラス、眼鏡等が含まれる。

【0035】

図６（ａ）は、装着物認識エンジン１０２ｂによる検知結果として、マスクＰ１２ａが装着されていた場合の検知結果の例を示している。また、図６（ｂ）、（ｃ）は、それぞれ、眼鏡Ｐ１２ｂとサングラスＰ１２ｃが装着されていた場合の検知結果の例を示している。

【0036】

対象顔画像に装着物が含まれない場合（Ｓ１０５：ＮＯ）、制御部１０１は、対象顔画像と、記憶部１０２に予め登録されている操作者の登録顔画像とを照合し、両者の整合率が所定の閾値（たとえば７０％）を超えるか否かを判定する（Ｓ１１０）。このとき、記憶部１０２に登録顔画像が複数記憶されている場合、制御部１０１は、各登録顔画像と対象顔画像との整合率をそれぞれ求め、このうち最も高い整合率が閾値を超えるか否かを判定する（Ｓ１１０）。

【0037】

なお、登録顔画像が、たとえば眼鏡等の所定の装着物を装着した状態の顔画像である場合、記憶部１０２には、予め、登録顔画像に紐づけて、当該登録顔画像に含まれる装着物の種類が記憶される。ステップＳ１０４で判定された装着物が登録顔画像に紐づけられている装着物のみである場合、ステップＳ１０５の判定はＮＯとされる。

【0038】

上述の整合率が閾値を超える場合（Ｓ１１０：ＹＥＳ）、制御部１０１は、操作者は本人であるとして、本人認証が適正に行われたことを示す通知をキャッシュディスペンサ側の制御部に送信する（Ｓ１１１）。これにより、キャッシュディスペンサ側の制御部は、操作に応じた取引を実行する。

【0039】

他方、上述の整合率が閾値を超えない場合（Ｓ１１０：ＮＯ）、制御部１０１は、顔画像に基づく本人認証に失敗したとして、声紋やパスワード等、他の手法による本人認証処理を実行する（Ｓ１１２）。この認証処理により本人認証に成功すると、制御部１０１は、ステップＳ１１１と同様、本人認証が適正に行われたことを示す通知をキャッシュディスペンサ側の制御部に送信する。他方、この認証処理によっても本人認証を適正に行えなかった場合、制御部１０１は、本人認証が不適正であったことを示す通知を、キャッシュディスペンサ側の制御部に送信する。これにより、キャッシュディスペンサ側の制御部は、所定の報知を行って、当該取引を中止する。

【0040】

ステップＳ１０５において、対象顔画像に装着物が含まれていると判定した場合（Ｓ１０５：ＹＥＳ）、制御部１０１は、参照情報から対象者の周辺環境を判定する（Ｓ１０６）。

【0041】

具体的には、制御部１０１は、参照情報として、カメラ２１からの撮像画像とマイク２２からの音声を用いて、操作者以外の他の人が周囲に居るか否かを判定する。たとえば、制御部１０１は、撮像画像から対象者以外の顔を抽出した場合、対象者以外の他の人が周囲に居ると判定する。

【0042】

図７は、周辺環境の領域取得の例を示し、図８は、他の人の抽出例を示している。図７に示すように、制御部１０１は、撮像画像Ｐ１０から対象者の顔の範囲を含むマスク領域Ｍ１０を除いた領域を、周辺環境の取得領域に設定する。そして、図８に示すように、制御部１０１は、周辺環境の取得領域に存在する他の人Ｐ１３の顔を、顔認識エンジン１０２ａを用いて特定する。

【0043】

また、制御部１０１は、撮像画像から対象者以外の顔を抽出しなかった場合においても、マイク２２からの音声により、周囲のざわつき等を検出した場合、対象者以外の他の人が周囲に居ると判定する。

【0044】

また、制御部１０１は、参照情報として、時計回路１０１ａからの現在時刻を用いて、当該現在時刻が、操作者の顔に日光が射し込む時間帯に含まれるか否かを判定する。

【0045】

こうして、周辺環境を判定した後、制御部１０１は、この周辺環境が、装着物の離脱条件を充足するか否かを判定する（Ｓ１０７）。

【0046】

図４（ａ）、（ｂ）は、離脱条件の判定処理を示すフローチャートである。

【0047】

本実施形態では、離脱条件が、マスクとサングラスに対してのみ設定されている。マスクおよびサングラス以外の装着物については、制御部１０１において、一律、離脱条件を充足すると判定される。また、上記のように、登録顔画像に装着物が含まれている場合、登録顔画像に紐づけられている装着物は、離脱条件の判定対象外とされる。

【0048】

図４（ａ）を参照して、判定対象の装着物がマスクである場合、制御部１０１は、ステップＳ１０４における周辺環境の判定結果が、他の人が周囲にいることを含むか否かを判定する（Ｓ２０１）。周囲に他の人がいる場合（Ｓ２０１：ＹＥＳ）、制御部１０１は、離脱条件が充足されないと判定する（Ｓ２０２）。他方、周囲に他の人がいない場合（Ｓ２０１：ＮＯ）、制御部１０１は、離脱条件が充足されると判定する（Ｓ２０３）。

【0049】

図４（ｂ）を参照して、判定対象の装着物がサングラスである場合、制御部１０１は、ステップＳ１０４における周辺環境の判定結果が、操作者の顔に日光が射し込む時間帯に現在時刻が含まれるとの判定結果を含むか否かを判定する（Ｓ２１１：ＹＥＳ）。現在時刻が当該時間帯に含まれる場合、制御部１０１は、離脱条件が充足されないと判定する（Ｓ２１２）。他方、現在時刻が当該時間帯に含まれない場合（Ｓ２１１：ＮＯ）、制御部１０１は、離脱条件が充足されると判定する（Ｓ２１３）。

【0050】

なお、離脱条件の判定ステップは、図４（ａ）、（ｂ）に示されたステップに限られるものではない。たとえば、装着物がサングラスの場合、季節や年月日に応じて、現在時刻と比較される時間帯が変更されてもよく、さらに、キャッシュディスペンサ１０の向きが操作者の顔に日光の射し込む方位の範囲に含まれるか否かがさらに判定されてもよい。この場合、制御部１０１は、管理者により予め設定されたキャッシュディスペンサ１０の方位に基づいて、この判定を行えばよい。制御部１０１は、現在時刻が時間帯に含まれても、キャッシュディスペンサ１０の向きが操作者の顔に日光の射し込む方位の範囲に含まれなければ、離脱条件が充足すると判定し得る。

【0051】

また、マスクおよびサングラス以外の所定の装着物が、所定の周辺環境との関係から、離脱の制限を行うことが好ましい場合、当該装着物についても、当該周辺環境の状況に基づく離脱条件が設定されてもよい。

【0052】

図３に戻り、判定対象の全ての装着物について離脱条件が充足されると（Ｓ１０７：ＹＥＳ）、制御部１０１は、当該装着物の離脱を誘導するための離脱誘導情報を出力させる。

【0053】

ここで、離脱誘導情報は、図２のスピーカ２３から音声として出力される。たとえば、離脱対象の装着物がマスクおよびサングラスである場合、制御部１０１は、スピーカ２３に、「本人認証のため、マスクとサングラスを外してください」との音声を出力させる。離脱誘導情報は、ディスプレイ２４にメッセージとして表示されてもよい。この場合、たとえば、チャイム音とともに、ディスプレイ２４にメッセージが表示される。あるいは、ディスプレイ２４がフラッシュ制御されてもよい。スピーカ２３とディスプレイ２４の両方から、メッセージが出力されてもよい。

【0054】

離脱誘導情報の出力を行った後、制御部１０１は、対象者が装着物を離脱するための所定時間が経過するのを待つ（Ｓ１０９）。所定時間が経過すると（Ｓ１０９：ＹＥＳ）、制御部１０１は、処理をステップＳ１０１に戻して、上記と同様の処理を実行する。離脱誘導情報の出力に応じて、対象者が指定の装着物を離脱した場合、再度行われるステップＳ１０５の判定がＮＯとなる。これにより、上記と同様、ステップＳ１１０以降の処理が実行される。

【0055】

他方、ステップＳ１０７の判定がＮＯの場合、すなわち、何れかの装着物について離脱条件が充足されない場合、制御部１０１は、対象顔画像に基づく本人認証は不可能であるとして、声紋情報やパスワード等の他の認証手段による認証処理を実行する（Ｓ１１２）。以上の処理により、対象顔画像またはその他の認証手段による認証処理が完了すると、制御部１０１は、図３の処理を終了する。

【0056】

＜実施形態１の効果＞
図３に示したように、対象者の顔画像における装着物の有無が検出されると（Ｓ１０５）、対象者の周辺環境の判定結果に基づいて（Ｓ１０６）、当該装着物の離脱が誘導される（Ｓ１０８）。よって、撮像画像を用いながら、より適正に装着物の離脱を誘導することができる。

【0057】

上記のように、参照情報は、撮像画像を含み（Ｓ１０６）、制御部１０１は、図４（ａ）の処理において、撮像画像に含まれる対象者以外の他の人の状況を周辺環境として判定して（Ｓ２０１）、装着物（マスク）の離脱を促す。これにより、マスク非装着による罹患の可能性を抑制しつつ、マスクの離脱を適正に誘導することができる。

【0058】

上記のように、参照情報は、対象者の周囲の音声を含み（Ｓ１０６）、制御部１０１は、図４（ａ）の処理において、音声から対象者以外の人の状況を周辺環境として判定して、装着物（マスク）の離脱を促す。これにより、撮像画像では検出できない周辺環境（他の人の有無）を音声により検出できる。よって、周辺環境に基づく装着物（マスク）の離脱を、より適正に誘導することができる。

【0059】

図４（ａ）に示したように、離脱誘導の対象とされる装着物は、マスクを含む。これにより、他の人の有無に応じて、マスクの離脱を誘導できる。よって、マスク非装着による罹患の可能性を抑制しつつ、本人認証の処理を適正に行うことができる。

【0060】

着脱誘導の対象とされる装着物は、サングラスを含んでいる。また、参照情報は、現在時刻を含み（Ｓ１０６）、制御部１０１は、図４（ｂ）の処理において、現在時刻に基づき、操作者の顔に日光が射し込み得る状況にあるか否かを周辺環境として判定して、サングラスの離脱を促す。これにより、眩しさ低減による快適性に配慮しつつ、サングラスの離脱を適正に誘導することができる。

【0061】

＜実施形態２＞
実施形態２では、対話装置が車両に搭載される場合の構成が示される。対話装置１００の構成は、上記実施形態１で示した図２の構成と同様である。実施形態２では、通信部１０４を介して、制御部１０１と車両側の制御部との間で通信が行われる。便宜上、実施形態２では、カメラ２１、マイク２２、スピーカ２３、ディスプレイ２４およびタッチパネル２５と同様の付番が用いられる。

【0062】

図９は、対話装置１００の使用環境を模式的に示す図である。図９には、乗用車３０（車両）の内部から走行方向前方を見たときの図が示されている。

【0063】

実施形態２では、周囲環境を判定するための参照情報として、カメラ２１からの撮像画像、マイク２２からの音声情報、および時計回路１０１ａからの現在時刻が用いられる。但し、参照情報は、これに限られるものではなく、これらの何れかが省略されてもよく、あるいは、他の情報がさらに追加されてもよい。

【0064】

図９に示すように、乗用車３０は、ハンドル３１、ウインドシールド３２、ダッシュボード３３、操作表示部３４、空調の吹き出し口３５およびバックミラー３６を備える。操作表示部３４は、カーナビゲーションシステムのユーザインタフェースである。操作表示部３４は、ディスプレイ２４およびタッチパネル２５から構成される。バックミラー３６の上部に、カメラ２１とマイク２２が設置される。カメラ２１は、運転席および他の全ての乗車席を含み得るアングルを有する。また、マイク２２は、車内の音声を収音して取得する。

【0065】

＜本人認証処理＞
本人認証処理は、図３と同様の処理により行われる。本人認証処理は、たとえば、車両のイグニッションスイッチがオン操作されたこと、あるいは、車両に配置された本人認証用のボタンが操作されたことを示す通知を、制御部１０１が、車両側の制御部から受信したことに応じて開始される。これらの操作に応じて、カメラ２１、マイク２２、スピーカ２３、ディスプレイ２４およびタッチパネル２５が動作を開始する。

【0066】

この処理において、運転席に着座した対象者がマスクまたはサングラスを装着している場合、離脱条件が充足されていると、これらの装着物を離脱することを促す情報が出力される。他方、離脱条件が充足されていなければ、顔認証以外の他の認証処理が行われる。この場合、マイク２２を用いた声紋認証や、操作表示部３４を用いたパスワード認証が行われる。

【0067】

離脱条件の判定処理は、図４（ａ）、（ｂ）と同様である。図４（ａ）では、他の人として、同乗者が居るかいなかが判定され、図４（ｂ）では、現在時刻が運転者の顔に日光が差し込む時間帯に含まれるか否かが判定される。

【0068】

上記実施形態１と同様、装着物がサングラスの場合、季節や年月日に応じて、現在時刻と比較される時間帯が変更されてもよく、さらに、乗用車３０の向きが日光の射し込む方位の範囲に含まれるか否かがさらに判定されてもよい。この場合、制御部１０１は、ＧＰＳ（Global Positioning System）等により取得された車の向きを、車両側の制御部から受信すればよい。

【0069】

本人認証の結果は、制御部１０１から車両側の制御部に送信される。本人認証が成功した場合、車両側の制御部は、セキュリティを解除して、エンジンを起動し、通常の運転動作を実行可能な状態に車両を設定する。他方、本人認証が失敗した場合、車両側の制御部は、セキュリティを維持したまま、警報出力や、予め登録されているメールアドレスへの異常通知の送信等の処理を行う。

【0070】

実施形態２では、本人認証処理の他、運転者に所定の装着物の装着を促すための装着誘導処理と、運転者の表情に基づき所定の制御を行うための表情判定処理が行われる。以下、これらの処理について説明する。

【0071】

＜装着誘導処理＞
図１０は、制御部１０１により行われる装着誘導処理を示すフローチャートである。

【0072】

図１０の処理は、エンジン起動後からエンジン停止までの間の所定のタイミングで実行される。便宜上、図１０のフローチャートにおいて、図３のフローチャートと同様のステップについては、図３と同じステップ番号が付されている。

【0073】

制御部１０１は、ステップＳ１０１～ステップＳ１０４の処理により、撮像画像から対象顔画像（運転席に着座する運転者の顔画像）を特定し、さらに、対象顔画像が装着物を含むか否かを判定する。そして、制御部１０１は、対象顔画像が、周辺環境に応じて運転者に装着を促すことが好ましいと想定され得る装着物（以下、「対象装着物」という）を含むか否かを判定する（Ｓ１２１）。ここでは、マスクおよびサングラスが対象装着物に設定されている。但し、対象装着物はこれに限られるものではない。

【0074】

対象顔画像が対象装着物を全て含む場合（Ｓ１２１：ＹＥＳ）、制御部１０１は、処理を終了する。他方、対象顔画像が対象装着物の何れかを含まない場合（Ｓ１２１：ＮＯ）、制御部１０１は、参照情報から対象者の周辺環境を判定する（Ｓ１２２）。

【0075】

ステップＳ１２２における処理は、図３のステップＳ１０６における処理と同様である。すなわち、制御部１０１は、参照情報として、カメラ２１からの撮像画像とマイク２２からの音声を用いて、運転席に着座している対象者以外の他の人（同乗者）が車内に居るか否かを判定する。また、制御部１０１は、参照情報として、時計回路１０１ａからの現在時刻を用いて、当該現在時刻が、運転席に着座する運転者の顔に日光が射し込む時間帯に含まれるか否かを判定する。

【0076】

こうして、周辺環境を判定した後、制御部１０１は、この周辺環境が、装着物の装着条件を充足するか否かを判定する（Ｓ１２３）。

【0077】

図１１（ａ）、（ｂ）は、装着条件の判定処理を示すフローチャートである。

【0078】

図１１（ａ）を参照して、対象装着物がマスクである場合、制御部１０１は、ステップＳ１０４における周辺環境の判定結果が、同乗者が車内に居ることを含むか否かを判定する（Ｓ２３１）。車内に同乗者がいる場合（Ｓ２３１：ＹＥＳ）、制御部１０１は、装着条件が充足されると判定する（Ｓ２３２）。他方、車内に同乗者がいない場合（Ｓ２３１：ＮＯ）、制御部１０１は、装着条件が充足されないと判定する（Ｓ２３３）。

【0079】

図１１（ｂ）を参照して、対象装着物がサングラスである場合、制御部１０１は、ステップＳ１０４における周辺環境の判定結果が、運転席に着座する運転者の顔に日光が射し込む時間帯に現在時刻が含まれるとの判定結果を含むか否かを判定する（Ｓ２４１：ＹＥＳ）。現在時刻が当該時間帯に含まれる場合、制御部１０１は、装着条件が充足されると判定する（Ｓ２４２）。他方、現在時刻が当該時間帯に含まれない場合（Ｓ２４１：ＮＯ）、制御部１０１は、装着条件が充足されないと判定する（Ｓ２４３）。

【0080】

なお、図４（ａ）、（ｂ）の場合と同様、装着条件の判定ステップは、図１１（ａ）、（ｂ）に示されたステップに限られるものではない。たとえば、装着物がサングラスの場合、季節や年月日に応じて、現在時刻と比較される時間帯が変更されてもよく、また、車の向きが日光の射し込む方位の範囲に含まれるか否かがさらに判定されてもよい。また、マスクおよびサングラス以外の所定の装着物が、所定の周辺環境との関係から、装着の誘導を行うことが好ましい場合、当該装着物についても、当該周辺環境の状況に基づく装着条件が設定されてもよい。

【0081】

図１０に戻り、何れかの対象装着物について装着条件が充足されると（Ｓ１２３：ＹＥＳ）、制御部１０１は、当該装着物の装着を誘導するための装着誘導情報を出力させる。

【0082】

ここで、装着誘導情報は、図２のスピーカ２３から音声として出力される。たとえば、対象装着物がマスクである場合、制御部１０１は、スピーカ２３に、「マスクの装着をお勧めします」との音声を出力させる。また、対象装着物がサングラスである場合、制御部１０１は、スピーカ２３に、「顔に日が射し込む時間帯のためサングラスの装着をお勧めします」との音声を出力させる。装着誘導情報は、ディスプレイ２４にメッセージとして表示されてもよい。この場合、たとえば、チャイム音とともに、ディスプレイ２４にメッセージが表示される。スピーカ２３とディスプレイ２４の両方から、メッセージが出力されてもよい。こうして、装着誘導情報を出力した後、制御部１０１は、図１０の処理を終了する。

【0083】

＜表情判定処理＞
図１２は、制御部１０１により行われる表情判定処理を示すフローチャートである。

【0084】

図１２の処理は、エンジン起動後からエンジン停止までの間の所定のタイミングで実行される。便宜上、図１２のフローチャートにおいて、図３のフローチャートと同様のステップについては、図３と同じステップ番号が付されている。

【0085】

制御部１０１は、ステップＳ１０１～ステップＳ１０９の処理により、運転者の顔から装着物を離脱することを誘導する。ここで、ステップＳ１０５の判定は、たとえば、マスクやサングラス等、顔の表情の判定に支障がある装着物のみに制限されてもよい。

【0086】

この誘導により、運転者の対象顔画像が装着物を含まなくなると（Ｓ１０５：ＮＯ）、制御部１０１は、表情判定アルゴリズムにより、対象顔画像の表情を判定する（Ｓ１３１）。たとえば、制御部１０１は、対象顔画像から、快適、眠い、疲れた、熱い、寒い等の表情を判定する。そして、制御部１０１は、表情の判定結果を、車両側の制御部に送信する（Ｓ１３２）。

【0087】

車両側の制御部は、受信した判定結果に応じた制御を行う。たとえば、判定結果が「眠い」の場合、車両側の制御部は、眠気を抑制するために、空調機の設定温度を所定温度だけ低下させる。また、判定結果が「疲れた」の場合、車両側の制御部は、休憩を促すメッセージをスピーカ２３から出力させる。こうして、制御部１０１は、図１２の処理を終了する。

【0088】

＜実施形態２の効果＞
実施形態２によれば、実施形態１と同様の効果が奏され得る。

【0089】

加えて、実施形態２では、図１０の処理により、周辺環境に基づいて、装着物（マスク、サングラス）の装着が誘導される。よって、同乗者および運転者の安全性を高めることができる。

【0090】

また、図１２の処理により、周辺環境に基づいて装着物（マスク、サングラス）の離脱を促しながら、表情判定に基づく制御が行われる。これにより、車内を含む周辺環境に配慮しつつ、運転の安全性を高めることができる。

【0091】

なお、図１０の処理は、上記実施形態１においても、本人認証が終了した後の取引処理時に実行されてもよい。

【0092】

＜実施形態３＞
上記実施形態２では、対話装置１００が乗用車３０（車両）に搭載された。これに対し、実施形態３では、酒類およびタバコの購買を許可する購買許可システムに対話装置が用いられる。購買許可システムは、店舗の支払いカウンタ等に設置される。

【0093】

図１３は、実施形態３に係る対話装置１１０の構成を示すブロック図である。

【0094】

実施形態３では、周囲環境を判定するための参照情報として、カメラ１１３の撮像画像、およびマイク１１４で取得される音声が用いられる。但し、参照情報は、これに限られるものではなく、これらの何れかが省略されてもよく、あるいは、他の情報がさらに追加されてもよい。たとえば、店内を監視するための監視カメラの撮像画像が、周囲環境を判定するための参照情報として、さらに用いられてもよい。

【0095】

図１３に示すように、対話装置１１０は、制御部１１１と、記憶部１１２と、カメラ１１３と、マイク１１４と、スピーカ１１５と、ディスプレイ１１６と、タッチパネル１１７と、通信部１１８と、を備える。

【0096】

制御部１１１は、ＣＰＵ等の演算処理回路を備え、記憶部１１２に記憶されているプログラムに従って各部を制御する。制御部１１１は、ＦＰＧＡを含んでもよい。制御部１１１は、記憶部１１２に記憶されている顔認識エンジン１１２ａにより、カメラ１１３からの撮像画像中の顔画像を抽出する。また、制御部１１１は、抽出した顔画像にマスクやサングラス等の装着物が含まれているか否かを、記憶部１１２に記憶されている装着物認識エンジン１１２ｂにより判定する。顔画像に装着物が含まれている場合、制御部１１１は、さらに、その装着物の種類（マスク、サングラス等）を装着物認識エンジン１１２ｂにより特定する。

【0097】

記憶部１１２は、ＲＯＭやＲＡＭ等の記憶媒体を備え、制御部１１１が実行するプログラムを記憶する。上記のように、記憶部１１２は、顔認識エンジン１１２ａおよび装着物認識エンジン１１２ｂを記憶する。また、記憶部１１２は、顔画像から年齢判定を行うアルゴリズムを記憶する。この他、記憶部１１２は、制御部１１１が上記プログラムを実行する際のワーク領域として用いられる。

【0098】

カメラ１１３は、物品購入者およびその周囲の領域を含み得るアングルで撮像を行う。マイク１１４は、物品購入者およびその周囲の領域における音声を収音して取得する。ディスプレイ１１６およびタッチパネル１１７は、対話装置１１０の前面パネルに配置される操作表示部を構成する。通信部１１８は、制御部１１１からの制御のもと、購買許可システムの上位装置（たとえば、清算機）と通信を行う。制御部１１１は、通信部１１８を介して上位装置の通信部から受信する指令に応じて、物品購入者の年齢確認のための処理を行う。

【0099】

＜年齢確認処理＞
図１４は、制御部１１１により行われる年齢確認処理を示すフローチャートである。

【0100】

図１４の処理は、上位装置から制御部１１１が年齢確認指令を受信したことに応じて実行される。便宜上、図１４のフローチャートにおいて、図３のフローチャートと同様のステップについては、図３と同じステップ番号が付されている。

【0101】

制御部１１１は、ステップＳ１０１～ステップＳ１０５の処理により、物品購入者の顔に装着物が装着されているか否かを判定する。ステップＳ１０３では、抽出された顔画像のうち最も大きな顔画像が、物品購入者の顔画像（対象顔画像）に特定される。なお、ステップＳ１０５の判定は、たとえば、マスクやサングラス等、年齢判定に支障がある装着物に制限されてよい。

【0102】

ステップＳ１０５の判定がＮＯの場合、制御部１１１は、年齢判定アルゴリズムにより、対象顔画像から、物品購入者の年齢を判定する（Ｓ１４１）。そして、制御部１１１は、判定した年齢が、所定の閾値を超えるか否かを判定する（Ｓ１４２）。ここでは、未成年者に酒類およびタバコの購入が確実に許可されないよう、ステップＳ１４２に設定される閾値は、法令の年齢よりも高い年齢（たとえば、３０歳以上の所定の年齢）に設定される。

【0103】

ステップＳ１４２の判定がＹＥＳの場合、制御部１１１は、年齢確認が適正であったことを示す通知を上位装置に送信する（Ｓ１４３）。これにより、上位装置において、当該物品の購入手続きが進められる。他方、ステップＳ１４２の判定がＮＯの場合、制御部１１１は、他の年齢確認処理を実行する（Ｓ１４４）。たとえば、制御部１１１は、ディスプレイ１１６に、物品購入者の年齢が当該物品を購入可能な年齢であることの確認を受け付けるための画面を表示させる。この画面において、物品購入者が、当該物品を購入可能な年齢であることの応答を入力すると、制御部１１１は、年齢確認が適正であったことを示す通知を上位装置に送信する。

【0104】

ステップＳ１０５の判定がＹＥＳである場合、制御部１１１は、ステップＳ１０６以降の処理により、年齢判定に支障がある装着物を物品購入者の顔から離脱することを誘導する。

【0105】

まず、制御部１１１は、ステップＳ１０６において、カメラ１１３の撮像画像およびマイク１１４で取得される音声を用いて、物品購入者の周囲の状況（周辺環境）を判定する。ここでは、物品購入者の周囲に他の人がいるか否かの他、他の人の密度合が判定される。他の人の密度合として、物品購入者から所定の距離範囲に含まれる他の人の人数や、物品購入者と他の人の間の距離が判定される。上記のように、これらの周辺環境の判定において、カメラ１１３の撮像画像の他、監視カメラの撮像画像がさらに用いられてもよく、あるいは、カメラ１１３の撮像画像に代えて、監視カメラの撮像画像が用いられてもよい。

【0106】

図１５（ａ）は、図１４のステップＳ１０７における離脱条件の判定処理を示すフローチャートである。

【0107】

なお、ここでは、周辺環境に基づく離脱条件の判定が、マスクに対してのみ行われる。サングラス等のマスク以外の装着物（年齢判定に支障がある装着物）については、特別な処理を行うことなく、離脱条件が充足されると判定される。

【0108】

制御部１１１は、ステップＳ１０６の判定結果が、物品購入者の周囲に他の人がいないことを示す場合（Ｓ２５１：ＮＯ）、離脱条件が充足されると判定する（Ｓ２５４）。他方、物品購入者の周囲に他の人がいる場合（Ｓ２５１：ＹＥＳ）、制御部１１１は、ステップＳ１０６の判定結果から、物品購入者の周囲における他の人の密度合が所定のレベルよりも高いか否かを判定する（Ｓ２５２）。具体的には、制御部１１１は、他の人の人数（密度）が所定の閾値を超えるか否かを判定し、さらに、物品購入者と他の人との距離が所定の閾値よりも短いか否かを判定する。

【0109】

図１６は、密度合の検出例を示している。この場合も、図７および図８の場合と同様、制御部１１１は、撮像画像Ｐ１０の領域のうち、マスク領域Ｍ１０以外の領域を、周辺環境の取得領域に設定する。そして、制御部１１１は、設定した周辺環境の取得領域に存在する他の人Ｐ１３の顔画像を顔認識エンジン１１２ａで抽出し、さらに、抽出した顔画像の大きさに基づき各顔画像の他の人Ｐ１３までの距離を取得する。

【0110】

制御部１１１は、こうして取得した他の人の顔画像および距離に基づき、図１５（ａ）のステップＳ２５２の判定を行う。具体的には、制御部１１１は、周辺環境の取得領域から抽出した他の人の人数が所定の閾値を超えること、および、これら他の人までの距離が所定の閾値よりも短いことの少なくとも一方が充足された場合に、密度合が高いとして、ステップＳ２５２の判定をＹＥＳとする。

【0111】

制御部１１１は、他の人の密度合が高くないと判定した場合（Ｓ２５２：ＮＯ）、離脱条件が充足されると判定する（Ｓ２５４）。他方、他の人の密度合が高いと判定した場合（Ｓ２５２：ＹＥＳ）、制御部１１１は、離脱条件が充足されないと判定する（Ｓ２５３）。

【0112】

なお、離脱条件の判定処理は、図１５（ｂ）のように、さらに、他の人の顔の向きが加味されてもよい。すなわち、制御部１１１は、他の人の密度合が高くないと判定した場合であっても（Ｓ２５２：ＮＯ）、物品購入者付近にいる何れかの他の人の顔が物品購入者の方を向いている場合は（Ｓ２６１：ＮＯ）、離脱条件が充足されないと判定し（Ｓ２５３）、物品購入者付近にいる何れの他の人の顔も物品購入者の方を向いていない場合に（Ｓ２６１：ＹＥＳ）、離脱条件が充足されると判定してもよい（Ｓ２５４）。

【0113】

図１４に戻り、何れかの装着物について離脱条件が充足されない場合（Ｓ１０７：ＮＯ）、制御部１１１は、他の年齢確認処理を実行する（Ｓ１４４）。ステップＳ１４４における処理は、上記と同様である。他方、全ての装着物について離脱条件が充足された場合（Ｓ１０７：ＹＥＳ）、制御部１１１は、装着物を顔から離脱することを促すための離脱誘導情報の出力を行う（Ｓ１０８）。ステップＳ１０８では、上記実施形態１、２と同様、マイク１１４等を用いて、離脱誘導情報の出力が行われる。

【0114】

この誘導により、物品購入者の対象顔画像が年齢確認に支障のある装着物を含まなくなると（Ｓ１０５：ＮＯ）、制御部１０１は、上記と同様、年齢判定アルゴリズムにより、対象顔画像から物品購入者の年齢を判定する（Ｓ１４１）。ステップＳ１４１以降の処理は、上記と同様である。こうして、制御部１１１は、ステップＳ１４３またはステップＳ１４４において、年齢確認が適正であったことを示す通知を上位装置に送信する。これにより、制御部１１１は、図１４の処理を終了する。

【0115】

＜実施形態３の効果＞
上記実施形態１、２と同様、実施形態３によれば、対象者（物品購入者）の顔画像における装着物の有無が検出されると（Ｓ１０５）、対象者の周辺環境の判定結果に基づいて（Ｓ１０６）、当該装着物の離脱が誘導される（Ｓ１０８）。よって、撮像画像を用いながら、より適正に装着物の離脱を誘導することができる。

【0116】

また、図１５（ａ）に示したように、制御部１１１は、参照情報に基づいて、対象者（物品購入者）の周囲にいる他の人の密度合を判定して（Ｓ２５２）、装着物（マスク）の離脱を促す。これにより、マスク離脱による他の人への罹患の可能性を、より確実に回避しつつ、対象者（物品購入者）の年齢確認を行うことができる。

【0117】

また、図１５（ｂ）の処理では、制御部１１１は、他の人の顔の向きに基づいて（Ｓ２６１）、装着物（マスク）の離脱を促す。これにより、年齢確認の際に、マスク離脱による他の人への罹患の可能性を、より一層確実に回避することができる。

【0118】

なお、実施形態３においても、制御部１１１は、図１０と同様の処理により、物品購入者に対するマスクの装着を促してもよい。この場合、図１０のステップＳ１２３における処理は、図１７（ａ）または図１７（ｂ）に示す装着条件の判定処理に変更される。ここでは、図１５（ａ）、（ｂ）のステップＳ２５３、Ｓ２５４が、ステップＳ２７１、Ｓ２７２に置き換えられる。図１７（ａ）、（ｂ）のその他のステップの処理は、図１５（ａ）、（ｂ）の対応するステップと同様である。

【0119】

ステップＳ２７１では、他の人の密度合が高い場合または他の人の顔が対象者（物品購入者）の方を向いている場合に、マスクの装着条件が充足されると判定される。ステップＳ２７２では、他の人の密度合が高くない場合または他の人の顔が対象者（物品購入者）の方を向いていない場合に、マスクの装着条件が充足されないと判定される。

【0120】

この装着誘導処理により、年齢確認の際にマスクを装着していなかった物品購入者に対し、年齢確認後に、マスクの着用を適切に促すことができる。よって、店舗内におけるマスク非着用による罹患をより一層確実に防ぐことができる。

【0121】

なお、図１５（ａ）、（ｂ）および図１７（ａ）、（ｂ）における密度合の判定は、撮像画像および音声の何れか一方のみを用いて行ってもよい。但し、物品購入者と他の人との距離の判定や他の人の顔の向きの判定は、音声からは判定が困難であるため、少なくとも撮像画像を用いて行うことが好ましい。また、図１５（ａ）、（ｂ）の処理から、ステップＳ２５２、Ｓ２６１が省略されて、周囲に他の人がいる場合は、一律、離脱条件が充足されないと判定されてもよい。この点は、図１７（ａ）、（ｂ）の処理においても同様である。

【0122】

また、図１５（ａ）、（ｂ）に示した処理は、上記実施形態１における図４（ａ）の処理に代えて、図３のステップＳ１０７に適用されてもよい。

【0123】

＜変更例＞
上記実施形態では、図３、図１０、図１２および図１４の処理が１つの制御部で行われたが、これらの処理を、複数の制御部が分担して行ってもよい。

【0124】

たとえば、上記実施形態３に示した図１３の構成において、図１４のステップＳ１０６、Ｓ１０７の処理を上位装置側の制御部が行ってもよい。この場合、上位装置側の制御部は、図１４のステップＳ１０５の判定結果がＹＥＳである場合に、そのことを示す通知を、図１３の対話装置１１０の制御部１１１から受信する。そして、上位装置側の制御部は、たとえば、監視カメラから取得した撮像画像および音声情報に基づいて、図１４のステップＳ１０６、Ｓ１０７の処理を実行し、その判定結果を対話装置１１０に送信する。対話装置１１０の制御部１１１は、上位装置側の制御部から受信した判定結果に基づいて、図１４のステップＳ１０８の処理またはステップＳ１４４の処理を実行する。すなわち、受信した判定結果が条件充足を示す場合、制御部１１１は、ステップＳ１０８の処理を実行し、受信した判定結果が条件非充足を示す場合、制御部１１１は、ステップＳ１４４の処理を実行する。

【0125】

この場合、図１３に示した対話装置１１０および上位端末から構成される購買許可システムが、特許請求の範囲に記載の対話装置に対応する。これによっても、上記実施形態３と同様の効果が奏され得る。実施形態２においても、一部の制御を、車両側の制御部が分担してもよい。

【0126】

また、複数の端末装置がＬＡＮ（Local Area Network）により中央制御装置に接続されているような場合も、顔画像を用いた装着物の離脱または装着の誘導制御が、端末装置と中央制御装置とで分担して行われてもよい。また、この構成において、顔画像を用いた装着物の離脱または装着の誘導制御の全てが、各端末装置で行われてもよく、あるいは、中央制御装置で行われてもよい。後者の場合、必要な情報が適宜、ＬＡＮを介して、端末装置と中央制御装置との間で送受信されればよい。

【0127】

また、対話装置の構成は、上記実施形態１～３に記載された構成に制限されるものではなく、適宜、変更可能である。たとえば、カメラ、マイク、スピーカは、対話装置に配置されていてもよく、あるいは、対話装置が実装されるシステムに予め配備されたものを用いてもよい。また、対話装置は、必ずしも、ディスプレイやタッチパネルを備えていなくてもよく、対話が音声のみで行われる場合は、これらが省略されてもよい。

【0128】

また、本発明の適用対象は、上記実施形態に示した装置またはシステムに限られるものではなく、他の様々な装置およびシステムとされ得る。

【0129】

たとえば、実施形態３に示した年齢確認の構成および処理が、年齢制限付きの他の物品の自動販売機等に適用されてもよい。また、大型店舗等に配備された顧客受付ロボットや顧客誘導ロボットに、上述の装着誘導処理や表情判定処理の構成が配備され、これらのロボットが対話装置を構成してもよい。また、病院等の施設の入口や旅客機等の搭乗ゲートに、上述の装着誘導処理の構成を備える対話装置が配置されてもよい。本発明は、この他にも、本人認証処理、装着誘導処理、表情判定処理および年齢確認処理等の、撮像画像中に含まれる顔画像に基づいて顔に対する装着物の離脱または装着を促す処理を含む装置またはシステムに広く適用可能である。

【0130】

本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。

【符号の説明】

【0131】

１０ 車両
１００、１１０ 対話装置
１０１、１１１ 制御部
１０２、１１２ 記憶部
１０１ａ 時計回路
１０２ａ、１１２ａ 顔認識エンジン
１０２ｂ、１１２ｎ 装着物認識エンジン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】