特許 7218634 端末装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-30

(45)【発行日】2023-02-07

(54)【発明の名称】端末装置

(51)【国際特許分類】

   G06F 21/32 20130101AFI20230131BHJP

   G06K 7/14 20060101ALI20230131BHJP

   G06T 7/00 20170101ALI20230131BHJP

【ＦＩ】

G06F21/32

G06K7/14 017

G06T7/00 510F

【請求項の数】 5

(21)【出願番号】P 2019051357

(22)【出願日】2019-03-19

(65)【公開番号】P2020154577

(43)【公開日】2020-09-24

【審査請求日】2022-01-19

(73)【特許権者】

【識別番号】501428545

【氏名又は名称】株式会社デンソーウェーブ

(74)【代理人】

【識別番号】110000110

【氏名又は名称】弁理士法人 快友国際特許事務所

(72)【発明者】

【氏名】石川 靖明

【審査官】上島 拓也

(56)【参考文献】

【文献】米国特許出願公開第２０１５／００９８６３１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／０１６１７５０（ＵＳ，Ａ１）

【文献】特開２０１５－０４６０６１（ＪＰ，Ａ）

【文献】特開２０１６－０１５５７８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ２１／３２

Ｇ０６Ｋ ７／１４

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

特定の機能を実行するための端末装置であって、
特定のユーザの顔を撮像するための第１の撮像部と、
前記第１の撮像部とは異なる第２の撮像部であって、情報コードを撮像するための前記第２の撮像部と、
情報を表示するための表示部と、
事前に登録された登録済みユーザの顔の特徴点を表わす登録済み顔データを記憶するメモリと、
制御部と、
を備えており、
前記制御部は、前記特定の機能の実行のために認証を行うべき特定の場合において、
前記第１の撮像部が前記特定のユーザの顔を撮像することによって生成される顔画像と、前記第２の撮像部が前記情報コードを撮像することによって生成されるコード画像の両方を前記表示部に表示させるとともに、
前記顔画像と前記コード画像の両方が前記表示部に表示されている間に、
（ａ）前記顔画像に基づいて前記特定のユーザの顔の特徴点を表わす特定の顔データを抽出し、抽出された前記特定の顔データが、前記メモリに記憶された前記登録済み顔データと対応するか否かの第１種の判定を実行するとともに、
（ｂ）前記コード画像に基づいて前記情報コードに記録されたデータの出力が成功するか否かの第２種の判定を実行し、
前記顔画像と前記コード画像とが前記表示部に表示されている間に、前記第１種の判定と前記第２種の判定の両方において肯定的に判定される特定の状況が成立する場合に、前記認証に成功したと判断し、前記特定の機能の実行を許可し、
前記制御部は、前記特定の場合において、前記顔画像と前記コード画像を重ねて前記表示部に表示させるとともに、前記表示部に表示される前記顔画像と前記コード画像のうち、上方に重ねられた側の画像を、少なくとも一部が半透過された態様で表示させる、
端末装置。

【請求項2】

前記制御部は、前記特定の場合において、前記顔画像と前記コード画像の両方が前記表示部に表示されている間に、
前記第１種の判定において肯定的に判定される前に、前記第２種の判定において肯定的に判定された場合には、前記顔画像を前記コード画像よりも強調して前記表示部に表示させ、
前記第２種の判定において肯定的に判定される前に、前記第１種の判定において肯定的に判定された場合には、前記コード画像を前記顔画像よりも強調して前記表示部に表示させる、請求項１に記載の端末装置。

【請求項3】

特定の機能を実行するための端末装置であって、
特定のユーザの顔を撮像するための第１の撮像部と、
前記第１の撮像部とは異なる第２の撮像部であって、情報コードを撮像するための前記第２の撮像部と、
情報を表示するための表示部と、
事前に登録された登録済みユーザの顔の特徴点を表わす登録済み顔データを記憶するメモリと、
制御部と、
を備えており、
前記制御部は、前記特定の機能の実行のために認証を行うべき特定の場合において、
前記第１の撮像部が前記特定のユーザの顔を撮像することによって生成される顔画像と、前記第２の撮像部が前記情報コードを撮像することによって生成されるコード画像の両方を前記表示部に表示させるとともに、
前記顔画像と前記コード画像の両方が前記表示部に表示されている間に、
（ａ）前記顔画像に基づいて前記特定のユーザの顔の特徴点を表わす特定の顔データを抽出し、抽出された前記特定の顔データが、前記メモリに記憶された前記登録済み顔データと対応するか否かの第１種の判定を実行するとともに、
（ｂ）前記コード画像に基づいて前記情報コードに記録されたデータの出力が成功するか否かの第２種の判定を実行し、
前記顔画像と前記コード画像とが前記表示部に表示されている間に、前記第１種の判定と前記第２種の判定の両方において肯定的に判定される特定の状況が成立する場合に、前記認証に成功したと判断し、前記特定の機能の実行を許可し、
前記制御部は、前記特定の場合において、前記顔画像と前記コード画像の両方が前記表示部に表示されている間に、
前記第１種の判定において肯定的に判定される前に、前記第２種の判定において肯定的に判定された場合には、前記顔画像を前記コード画像よりも強調して前記表示部に表示させ、
前記第２種の判定において肯定的に判定される前に、前記第１種の判定において肯定的に判定された場合には、前記コード画像を前記顔画像よりも強調して前記表示部に表示させる、
端末装置。

【請求項4】

前記制御部は、前記特定の場合において、前記顔画像と前記コード画像とを並べて前記表示部に表示させる、請求項３に記載の端末装置。

【請求項5】

前記特定のユーザが把持可能な筐体をさらに備え、
前記筐体は、第１の平面と、前記第１の平面と反対側の第２の平面と、を有しており、
前記第１の撮像部及び前記表示部は、前記第１の平面上に露出するように設けられ、前記第２の撮像部は、前記第２の平面上に露出するように設けられる、請求項１から４のいずれか一項に記載の端末装置。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書で開示する技術は、特定の機能を実行するための端末装置に関する。

【背景技術】

【0002】

特許文献１には、ユーザの認証を行ない、認証が成功したユーザに特定の機能の実行を許可する認証装置が開示されている。この認証装置は、撮像部と制御部とを備える。この認証装置で認証を行う場合、まず撮像部はユーザの顔を撮像する。そして、制御部は、撮像されたユーザの顔の画像からユーザの顔の特徴点を表わす第１の顔データを抽出する。その後、撮像部は、ユーザが所持する携帯端末の表示部に表示された情報コードを撮像する。そして、制御部は、撮像された情報コードの画像から、事前に情報コードに記録されているユーザの顔の特徴点を表わす第２の顔データを出力する。制御部は、第１の顔データと第２の顔データとを照合し、両者が対応するか否か（即ち、同一人物を表わす顔データ同士であるか否か）を判定する。そして制御部は、両者が対応すると判定される場合に、認証が成功したと判断し、当該ユーザに特定の機能の実行を許可する。

【0003】

特許文献１の認証装置は、認証のために、ユーザに、撮像部に自身の顔を撮像させるための動作と、携帯端末の表示部に表示させた情報コードを撮像部に撮像させる動作と、の２つの異なる動作を順番に行わせることを要求することにより、高いセキュリティ性の実現を図っている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１４－２２２４４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記の通り、特許文献１の認証装置では、認証のために、ユーザは、撮像部に自身の顔を撮像させるための動作と、携帯端末の表示部に表示させた情報コードを撮像部に撮像させる動作と、の２つの異なる動作を順番に行う必要がある。しかしながら、特許文献１の認証装置による認証では、２つの異なる動作が異なるタイミングで行われるため、本来のユーザ（即ち、事前に情報コードに第２の顔データが記録されているユーザ）以外の第三者が不正に認証を成功させてしまうおそれがある。

【0006】

本来のユーザ以外の第三者が不正に認証を成功させてしまう例を説明する。例えば、本来のユーザの携帯端末を不正に入手した第三者が、本来のユーザの携帯端末のメモリ内に保存されている本来のユーザの顔画像を表示部に表示させて、その顔画像を認証装置の撮像部に撮像させることによって、認証装置の制御部に本来のユーザの顔の特徴点を表わす第１の顔データを不正に抽出させることができる。続けて、第三者は、情報コードを携帯端末の表示部に表示させて、その情報コードを認証装置の撮像部に撮像させることによって、制御部に、事前に情報コードに記録された第２の顔データを不正に出力させることができる。この場合、第１の顔データと第２の顔データが対応するため、ユーザではない第三者による認証が不正に成功してしまう。このように、特許文献１の認証装置によっては、ユーザではない第三者による認証が不正に成功してしまう事態が生じるおそれがある。

【0007】

本明細書では、事前に登録されたユーザ以外の第三者が不正に認証を成功させてしまう事態を抑制し得る技術を提供する。

【課題を解決するための手段】

【0008】

本明細書は、特定の機能を実行するための端末装置を開示する。前記端末装置は、特定のユーザの顔を撮像するための第１の撮像部と、前記第１の撮像部とは異なる第２の撮像部であって、情報コードを撮像するための前記第２の撮像部と、情報を表示するための表示部と、事前に登録された登録済みユーザの顔の特徴点を表わす登録済み顔データを記憶するメモリと、制御部と、を備えている。前記制御部は、前記特定の機能の実行のために認証を行うべき特定の場合において、前記第１の撮像部が前記特定のユーザの顔を撮像することによって生成される顔画像と、前記第２の撮像部が前記情報コードを撮像することによって生成されるコード画像の両方を前記表示部に表示させるとともに、前記顔画像と前記コード画像の両方が前記表示部に表示されている間に、（ａ）前記顔画像に基づいて前記特定のユーザの顔の特徴点を表わす特定の顔データを抽出し、抽出された前記特定の顔データが、前記メモリに記憶された前記登録済み顔データと対応するか否かの第１種の判定を実行するとともに、（ｂ）前記コード画像に基づいて前記情報コードに記録されたデータの出力が成功するか否かの第２種の判定を実行し、前記顔画像と前記コード画像とが前記表示部に表示されている間に、前記第１種の判定と前記第２種の判定の両方において肯定的に判定される特定の状況が成立する場合に、前記認証に成功したと判断し、前記特定の機能の実行を許可する。

【0009】

上記の構成によると、特定の機能の実行のために認証を行うべき特定の場合において、表示部には、顔画像とコード画像の両方が表示される。制御部は、表示部に顔画像とコード画像の両方が表示されている間に、第１種の判定と第２種の判定の両方において肯定的に判定される特定の状況が成立する場合に認証に成功したと判断する。即ち、特定のユーザは、端末装置によって認証を行うために、第１の撮像部に顔を撮像させる動作と、第２の撮像部に情報コードを撮像させる動作と、の両方を同タイミングで実行する必要がある。さらに、その上で、認証の成功のためには、表示部に顔画像とコード画像の両方が表示されている間に、第１種の判定と第２種の判定の両方において肯定的に判定される必要がある。

【0010】

そのため、仮に、登録済みユーザ以外の第三者が登録済みユーザの端末装置を不正に入手したとしても、登録済みユーザの許可なく、第１の撮像部に登録済みユーザの顔（若しくは、登録済みユーザの顔の画像）を撮像させる動作と、第２の撮像部に情報コードを撮像させる動作と、を同タイミングで実行することは非常に困難である。そのため、表示部に登録済みユーザの顔画像と、情報コードのコード画像の両方が表示されている間に第１種の判定と第２種の判定の両方において肯定的に判定される事態を実現することは極めて困難である。そのため、上記の構成によると、顔の撮像及び撮像された顔の画像に基づく判定と、情報コードの撮像及び撮像されたコード画像に基づく判定と、を別個に行う従来の構成に比べて、事前に登録された登録済みユーザ以外の第三者が不正に認証を成功させてしまう事態の発生が抑制され得る。

【0011】

前記制御部は、前記特定の場合において、前記顔画像と前記コード画像を重ねて前記表示部に表示させるとともに、前記表示部に表示される前記顔画像と前記コード画像のうち、上方に重ねられた側の画像を、少なくとも一部が半透過された態様で表示させてもよい。

【0012】

この構成によると、顔画像とコード画像の両画像を表示部の比較的広範な領域内に表示させることができる。そのため、特定のユーザは、比較的大きく表示された顔画像とコード画像を見ながら、顔と情報コードが適切に撮影されるように、第１の撮像部及び第２の撮像部の位置、角度等を調整することができる。

【0013】

前記制御部は、前記特定の場合において、前記顔画像と前記コード画像とを並べて前記表示部に表示させてもよい。

【0014】

この構成によると、顔画像とコード画像の両画像を明確に視認できる対応で表示部内に表示させ得る。そのため、特定のユーザは、明確に表示された顔画像とコード画像を見ながら、顔と情報コードが適切に撮影されるように、第１の撮像部及び第２の撮像部の位置、角度等を調整することができる。

【0015】

前記制御部は、前記特定の場合において、前記顔画像と前記コード画像の両方が前記表示部に表示されている間に、前記第１種の判定において肯定的に判定される前に、前記第２種の判定において肯定的に判定された第１種の場合には、前記顔画像を前記コード画像よりも強調して前記表示部に表示させ、前記第２種の判定において肯定的に判定される前に、前記第１種の判定において肯定的に判定された第２種の場合には、前記コード画像を前記顔画像よりも強調して前記表示部に表示させてもよい。

【0016】

この構成によると、顔画像と前記コード画像の両方が表示部に表示されている間に、第１種の判定及び第２種の判定のうち、いずれか一方の判定で先に肯定的な判定が得られた場合において、特定のユーザが、他方の判定において肯定的に行われ易いよう、対応する側の撮像部の位置、角度等を調整することができる。

【0017】

前記端末装置は、前記特定のユーザが把持可能な筐体をさらに備えてもよい。前記筐体は、第１の平面と、前記第１の平面と反対側の第２の平面と、を有していてもよい。前記第１の撮像部及び前記表示部は、前記第１の平面上に露出するように設けられ、前記第２の撮像部は、前記第２の平面上に露出するように設けられていてもよい。

【0018】

この構成によると、特定のユーザが、表示部と対面するように（即ち、表示部を視認できるように）筐体を把持すると、特定のユーザの顔が第１の撮像部によって撮像され得る。そして、特定のユーザは、表示部を視認し、第１の撮像部で自身の顔を撮像しながら第２の撮像部を情報コードに向けることができる。従って、この構成によると、特定のユーザは、表示部を見ながら、第１の撮像部で顔を撮影する動作と、第２の撮像部で情報コードを撮像する動作と、を適切に行い得る。

【0019】

なお、上記の端末装置を実現するための制御方法、コンピュータプログラム、及び、当該コンピュータプログラムを記憶するコンピュータ読取可能記録媒体も、新規で有用である。

【図面の簡単な説明】

【0020】

【図1】第１実施例において端末装置１０を利用した認証が実行される状況の例を示す。

【図2】端末装置１０のブロック図を示す。

【図3】制御部３０が実行する機能実行処理のフローチャートを示す。

【図4】第１実施例において表示部１４に顔画像Ｉ１及びコード画像Ｉ２が表示される場合の例を示す。

【図5】第２実施例において表示部１４に顔画像Ｉ１及びコード画像Ｉ２が表示される場合の例を示す。

【図6】第３実施例において端末装置１０を利用した認証が実行される状況の例を示す。

【発明を実施するための形態】

【0021】

（第１実施例）
（端末装置１０の構成；図１、図２）
図１に示すように、本実施例の端末装置１０は、ユーザＵによって携帯される可搬式の端末装置である。端末装置１０は、例えば、ユーザＵが所持するスマートフォン等である。他の例では、端末装置１０は、ユーザＵが所持するタブレット端末、ノートＰＣ等、ユーザが携帯可能な可搬型端末であれば任意の端末装置であってもよい。

【0022】

図１の例では、ユーザＵが端末装置１０を用いて電子決済を実行しようとする状況において、端末装置１０が認証を行う状況が図示されている。この状況では、端末装置１０は、ユーザＵの顔画像に基づいて、ユーザＵが事前に登録されている登録済みユーザ本人であるか否かを判定するとともに、決済を実行する店舗に配置されたサービス利用のための情報コードＣのデコードが成功したか否かを判定することにより、認証を行っている。認証が成功すると、端末装置１０は、ユーザＵによって指示された電子決済を実行することができる。

【0023】

図１に示すように、端末装置１０は、ユーザＵが把持可能な筐体１１を有している。筐体１１は、第１の平面１１ａと、第１の平面１１ａとは反対側の第２の平面１１ｂと、を有している。第１の平面１１ａには、操作部１２であるとともに表示部１４であるタッチパネルと、内側カメラ１８とが、第１の平面１１ａ上に露出する態様で設けられている。一方、第２の平面１１ｂには、外側カメラ１６が、第２の平面１１ｂ上に露出する態様で設けられている。

【0024】

図２に示すように、端末装置１０は、操作部１２と、表示部１４と、外側カメラ１６と、内側カメラ１８と、通信インターフェース２０と、制御部３０と、メモリ３２と、を備えている。なお、以下ではインターフェースのことを「Ｉ／Ｆ」と記載する。

【0025】

操作部１２は、１個以上のキーを備えており、ユーザＵの操作を受け付ける。表示部１４は、様々な情報を表示するためのディスプレイであり、いわゆるタッチパネルとしても機能する。即ち、表示部１４は、操作部１２としても機能する。

【0026】

外側カメラ１６は、撮像範囲内を撮像可能なＣＣＤカメラである。外側カメラ１６は、上記の通り、筐体１１の第２の平面１１ｂ上に露出する態様で設けられている。そのため、図１に示すように、ユーザＵが、表示部１４と対面するように（即ち、表示部１４を視認できるように）筐体１１を把持し、第２の平面１１ｂを情報コードＣに向けることで外側カメラ１６の撮像範囲内に情報コードＣが入ると、外側カメラ１６は、情報コードＣを撮像することができる。外側カメラ１６が情報コードＣを撮像することにより、情報コードＣを表わすコード画像が生成される。

【0027】

ここで、図１に示す情報コードＣは、電子決済の実行に関係するデータ（例えば、電子決済に用いられるＵＲＬなど）が記録された二次元コード等である。情報コードＣが光学的に読み取られることで、情報コードＣに記録された電子決済の実行に関係するデータが出力される。

【0028】

内側カメラ１８は、外側カメラと同様に、撮像範囲内を撮像可能なＣＣＤカメラである。内側カメラ１８は、上記の通り、筐体１１の第１の平面１１ａ上に表示部１４とともに露出する態様で設けられている。そのため、図１に示すように、ユーザＵが、表示部１４と対面するように（即ち、表示部１４を視認できるように）筐体１１を把持すると、内側カメラ１８の撮像範囲内にユーザＵの顔が入る。その場合、内側カメラ１８は、ユーザＵの顔を撮影することができる。内側カメラ１８がユーザＵの顔を撮像することにより、ユーザＵの顔を表す顔画像が生成される。

【0029】

図２の通信Ｉ／Ｆ２０は、図示しない外部端末（例えば、電子決済サービスの提供者が設置するサーバ等）との間で無線通信を実行するためのＩ／Ｆである。

【0030】

制御部３０は、メモリ３２に記憶されているＯＳ（Operation Systemの略）プログラム３４に従って、様々な処理を実行する。メモリ３２は、さらに、電子決済サービスを提供するためのアプリケーションプログラム３６（以下では「アプリケーション３６」と呼ぶ）を記憶している。アプリケーション３６は、電子決済サービスを提供する提供者によって設置されるサーバ（図示しない）から端末装置１０にインストールされる。

【0031】

メモリ３２は、さらに、事前に登録されたユーザＵの顔の特徴点を表わす登録済み顔データ３８を記憶している。登録済み顔データ３８は、アプリケーション３６のインストール後、後述の機能実行処理（図３）が実行される前に、ユーザＵによって所定の登録処理が実行されることによって、メモリ３２に記憶される。詳しい説明は省略するが、所定の登録処理は、例えば、ユーザＵの顔画像を撮像すること、撮像された顔画像からユーザＵの顔の特徴点を抽出すること、抽出された特徴点を表わすデータを登録済み顔データ３８としてメモリ３２に記憶させること、等を含む。

【0032】

（機能実行処理；図３）
続いて、図３を参照して、端末装置１０の制御部３０がアプリケーション３６に従って実行する機能実行処理の内容について説明する。本実施例における機能実行処理は、ユーザＵの指示に従って、制御部３０が認証を行ない、認証が成功する場合に「電子決済」という特定の機能を実行するための処理である。上記の通り、図３の機能実行処理が実行される前提として、事前に所定の登録処理が行われ、メモリ３２にユーザＵの登録済み顔データ３８が記憶されている必要がある。

【0033】

アプリケーション３６が起動された後で、ユーザＵが操作部１２を操作して、電子決済を実行するための所定の機能実行指示を入力すると、制御部３０は、図３の機能実行処理を開始する。

【0034】

Ｓ１０では、制御部３０は、外側カメラ１６及び内側カメラ１８を起動させる。これにより、外側カメラ１６及び内側カメラ１８は、それぞれの撮像範囲内の画像の撮像を開始する。この際、図１に示すように、ユーザＵが、筐体１１の第２の平面１１ｂを、店舗に配置された情報コードＣに向けることで、外側カメラ１６の撮像範囲内に情報コードＣを入れることができる。外側カメラ１６が情報コードＣを撮像することにより、コード画像が生成される。そして、ユーザＵが、表示部１４と対面するように（即ち、表示部１４を視認できるように）筐体１１を把持することで、内側カメラ１８の撮像範囲内にユーザＵの顔を入れることができる。内側カメラ１８がユーザＵの顔を撮影することにより、顔画像が生成される。

【0035】

続くＳ１２では、制御部３０は、表示部１４への画像の表示を開始する。具体的には、Ｓ１２では、制御部３０は、外側カメラ１６が撮像している画像、及び、内側カメラ１８が撮像している画像の表示部１４への表示を開始する。上記の例のように、ユーザＵが、筐体１１の位置及び角度を調整したことによって、外側カメラ１６に情報コードＣを撮像させ、内側カメラ１８に自身の顔を撮像させている場合、Ｓ１２では、外側カメラ１６で撮像されたコード画像と、内側カメラ１８で撮像された顔画像と、が両方とも表示部１４に表示される。

【0036】

ここで、図４を参照して、本実施例において、表示部１４に表示される画面の例を説明する。図４中の（ａ）は、外側カメラ１６が情報コードＣを撮像し、内側カメラ１８がユーザＵの顔を撮像している状況において、Ｓ１２の時点で表示部１４に表示される画面の一例である。図４の（ａ）に示すように、表示部１４には、顔画像Ｉ１と、コード画像Ｉ２と、が重複した態様で表示される。即ち、図４の（ａ）の例では、表示部１４には、顔画像Ｉ１の上に、半透過された態様のコード画像Ｉ２が重ねて表示されている。他の例では、表示部１４には、コード画像Ｉ２の上に、半透過された態様の顔画像Ｉ１が表示されてもよい。また、さらに他の例では、顔画像Ｉ１と、コード画像Ｉ２と、が重複した態様で表示される際、上に表示される側の画像のうちの一部のみが半透過された態様で表示されるようにしてもよい。

【0037】

次いで、Ｓ１４において、制御部３０は、表示部１４に表示されている画像（即ち、内側カメラ１８が撮像している画像、及び、外側カメラ１６が撮像している画像）に基づいて、第１種の判定と、第２種の判定と、を開始する。

【0038】

Ｓ１４で開始される第１種の判定は、顔画像に基づくいわゆる本人認証である。具体的には、第１種の判定では、制御部３０は、以下の各処理を実行する。まず、制御部３０は、内側カメラ１８によって撮像されている顔画像（図４の（ａ）の顔画像Ｉ１参照）に基づいて、当該顔画像から顔の特徴点を表わす顔データ（以下では「特定の顔データ」と呼ぶ）を抽出する。この際、内側カメラ１８によって顔画像が撮像されていない場合（例えば、内側カメラ１８の撮像可能範囲にユーザＵの顔が適切に配置されていない場合）には、制御部３０は、特定の顔データの抽出を行なうことができない。その場合、制御部３０は、内側カメラ１８によって顔画像が撮像されるまで、特定の顔データの抽出の試行を継続して行う。特定の顔データが抽出されると、制御部３０は、抽出された特定の顔データが、メモリ３２に記憶されている登録済み顔データ３８と対応するか否か（即ち、同一人物を表わしているか否か）を判定する。制御部３０が、抽出された特定の顔データが、メモリ３２に記憶されている登録済み顔データ３８と対応すると判定する場合（即ち同一人物であると判定する場合）、第１種の判定が成功したと判断する（即ち、肯定的に判定する）。第１種の判定が成功する場合、制御部３０は、メモリ３２に、第１種の判定が成功したことを示す第１種のフラグを記憶させる。本実施例では、制御部３０は、メモリ３２に第１種のフラグが記憶された後も、後述のＳ１６でＹＥＳと判断されるまで、第１種の判定を継続して実行する。即ち、メモリ３２に第１種のフラグが記憶された後、Ｓ１６でＹＥＳと判断される前に、第１種が成功する条件が満たされなくなった場合（例えば、ユーザＵの顔が内側カメラ１８の撮像可能範囲から外れた場合など）には、制御部３０は、メモリ３２から記第１種のフラグを削除する。

【0039】

一方、Ｓ１４で開始される第２種の判定は、いわゆる情報コード（即ち情報コードＣ）の読み取り処理である。具体的には、第２種の判定では、制御部３０は、外側カメラ１６によって撮像されているコード画像（図４の（ａ）のコード画像Ｉ２参照）に基づいて、当該コード画像が表す情報コード（即ち情報コードＣ）から、電子決済の実行に関係するデータ（例えば、電子決済に用いられるＵＲＬなど）が出力される（「デコードされる」又は「読み取られる」と言い換えてもよい）ことを監視する。第２種の判定が開始されると、まず、制御部３０は、現在外側カメラ１６によって撮像されている画像が、コード画像であるか否かを判断する。外側カメラ１６によって撮像されている画像に、情報コードを表わす特徴点（例えばファインダパターン等）が含まれている場合、制御部３０は、撮像されている画像がコード画像であると判断する。その場合、制御部３０は、撮像されているコード画像に対してデコードを試行する。詳しく言うと、制御部３０は、コード画像が表している情報コードに記録されたデータのデコードを試行する。デコードの手法自体は公知であるため、詳細な説明は省略する。制御部３０は、デコードが成功する場合、デコードされたデータが、電子決済の実行に関係するデータであるか否かを判断する。制御部３０は、デコードされたデータが、電子決済の実行に関係するデータであるか否かを判断する場合、第２種の判定が成功したと判断する（即ち、肯定的に判定する）。第２種の判定が成功する場合、制御部３０は、メモリ３２に、第２種の判定が成功したことを示す第２種のフラグを記憶させる。本実施例では、制御部３０は、メモリ３２に第２種のフラグが記憶された後も、後述のＳ１６でＹＥＳと判断されるまで、第２種の判定を継続して実行する。即ち、メモリ３２に第２種のフラグが記憶された後、Ｓ１６でＹＥＳと判断される前に、第２種が成功する条件が満たされなくなった場合（例えば、情報コードＣが外側カメラ１６の撮像可能範囲から外れた場合など）には、制御部３０は、メモリ３２から記第２種のフラグを削除する。

【0040】

上記のように、Ｓ１４で第１種の判定及び第２種の判定を開始させると、制御部３０は、Ｓ１６に進む。

【0041】

Ｓ１６では、制御部３０は、この時点で第１種の判定が成功した状態と第２種の判定が成功した状態の両方が同時に成立することを監視する。上記の通り、Ｓ１４で第１種の判定及び第２種の判定が開始された後、第１種の判定が成功した状態が成立すると、メモリ３２には第１種のフラグが記憶される。同様に、第２種の判定が成功した状態が成立すると、メモリ３２には第２種のフラグが記憶される。この時点でメモリ３２に第１種のフラグと第２種のフラグの両方が記憶された状態が成立していれば、制御部３０は、Ｓ１６でＹＥＳと判断し、Ｓ２２に進む。一方、この時点でメモリ３２に第１種のフラグと第２種のフラグの両方が記憶されていない場合（一方のみが記憶されている場合又は両方とも記憶されていない場合）には、制御部３０は、Ｓ１６でＮＯと判断し、Ｓ１８に進む。

【0042】

Ｓ１８では、制御部３０は、この時点で、第１種の判定と第２種の判定のうちの一方が成功した状態が成立しているか否かを判断する。この時点で、メモリ３２に第１種のフラグと第２種のフラグの一方のみが記憶されている場合、制御部３０は、Ｓ１８でＹＥＳと判断し、Ｓ２０に進む。一方、この時点で、メモリ３２に第１種のフラグと第２種のフラグのうちのどちらも記憶されていない場合、Ｓ１８でＮＯと判断し、Ｓ１６に戻る。

【0043】

Ｓ２０では、制御部３０は、この時点で、表示部１４に表示されている内側カメラ１８の撮像画像と外側カメラ１６の撮像画像のうち、まだ成功していない側の判定（以下では「未成功判定」と呼ぶ場合がある）に対応する側の画像を強調表示させる。例えば、この時点で、第１種の判定が既に成功しているが、第２種の判定が未成功である場合、Ｓ２０では、制御部３０は、未成功判定である第２種の判定に用いられる画像（即ち、外側カメラ１６の撮像画像）を強調表示する。逆に、この時点で、第２種の判定が既に成功しているが、第１種の判定が未成功である場合、Ｓ２０では、制御部３０は、未成功判定である第１種の判定に用いられる画像（即ち、内側カメラ１８の撮像画像）を強調表示する。

【0044】

図４の（ｂ）は、Ｓ２０において、第１種の判定が既に成功しており、第２種の判定に用いられる画像が強調表示された場合の表示部１４の表示内容の例を示す。即ち、図４の（ｂ）は、Ｓ１２の時点で図４の（ａ）のように顔画像Ｉ１及びコード画像Ｉ２が表示部１４に表示された後で、第１種の判定が先に成功した場合における表示部１４の表示内容を示す。図４の（ｂ）の例でも、表示部１４には、顔画像Ｉ１とコード画像Ｉ２とが重ねて表示されている。但し、この場合は、顔画像Ｉ１の上に、透過されない態様のコード画像Ｉ２が重ねて表示されている。これにより、ユーザＵは、第２種の判定に用いられるべきコード画像Ｉ２を明確に視認しながら、外側カメラ１６の位置及び角度を、第２種の判定に適した位置及び角度に調整することができる。

【0045】

これに対し、図４の（ｃ）は、Ｓ２０において、第２種の判定が既に成功しており、第１種の判定に用いられる画像が強調表示された場合の表示部１４の表示内容の例を示す。即ち、図４の（ｃ）は、Ｓ１２の時点で図４の（ａ）のように顔画像Ｉ１及びコード画像Ｉ２が表示部１４に表示された後で、第２種の判定が先に成功した場合における表示部１４の表示内容を示す。図４の（ｃ）の例でも、表示部１４には、顔画像Ｉ１とコード画像Ｉ２とが重ねて表示されている。但し、この場合は、コード画像Ｉ２の上に、透過されない態様の顔画像Ｉ１が重ねて表示されている。これにより、ユーザＵは、第１種の判定に用いられるべき顔画像Ｉ１を明確に視認しながら、内側カメラ１８の位置及び角度を、第１種の判定に適した位置及び角度に調整することができる。

【0046】

Ｓ２０を終えると、制御部３０は、Ｓ１６に戻る。その後、制御部３０は、Ｓ１６でＹＥＳと判断されるまで、Ｓ１６、Ｓ１８の判断を繰り返す。なお、二度目以降のＳ２０では、制御部３０は、未成功判定に対応する側の強調表示状態を維持する。

【0047】

Ｓ２２では、制御部３０は、機能（本実施例では「電子決済」）実行のための認証が成功したと判断する。続くＳ２４では、制御部３０は、ユーザＵによって指示された機能（即ち電子決済）を実行する。Ｓ２４で機能が実行されると、制御部３０は、メモリ３２に記憶された第１種のフラグ及び第２種のフラグを削除し、図３の機能実行処理を終了する。

【0048】

以上、本実施例の端末装置１０の構成及び動作について説明した。上記の通り、本実施例では、電子決済機能の実行のために認証を行うべき場合において、制御部３０は、表示部１４に顔画像とコード画像の両方が表示されている間に（図４参照）、第１種の判定が成功した状態と第２種の判定が成功した状態の両方が同時に成立することを監視する（図３のＳ１６参照）。そして、制御部３０は、表示部１４に顔画像とコード画像の両方が表示されている間に、第１種の判定と第２種の判定の両方が成功した状態が同時に成立する場合に認証に成功したと判断する（Ｓ１６でＹＥＳ、Ｓ２２）。即ち、本実施例では、電子決済機能の実行を希望するユーザＵは、端末装置１０によって認証を行うために、内側カメラ１８に顔を撮像させる動作と、外側カメラ１６に情報コードＣを撮像させる動作と、の両方を同タイミングで実行する必要がある。さらに、その上で、認証の成功のためには、表示部１４に顔画像とコード画像の両方が表示されている間に、第１種の判定と第２種の判定の両方において肯定的に判定（即ち成功する）される必要がある。

【0049】

そのため、仮に、登録済みのユーザであるユーザＵ以外の第三者がユーザＵの端末装置１０を不正に入手したとしても、ユーザＵの許可なく、内側カメラ１８にユーザＵの顔（若しくは、ユーザＵの顔の画像）を撮像させる動作と、外側カメラ１６に情報コードＣを撮像させる動作と、を同タイミングで実行することは非常に困難である。そのため、表示部１４にユーザＵの顔画像と、情報コードＣのコード画像の両方が表示されている間に第１種の判定と第２種の判定の両方において肯定的に判定される事態（Ｓ１６でＹＥＳ）を実現することは極めて困難である。そのため、上記の構成によると、顔の撮像及び撮像された顔の画像に基づく判定と、情報コードの撮像及び撮像されたコード画像に基づく判定と、を別個に行う従来の構成に比べて、事前に登録された登録済みのユーザＵ以外の第三者が不正に認証を成功させてしまう事態の発生を抑制することができる。

【0050】

また、本実施例では、図４の（ａ）に示すように、第１種の判定及び第２種の判定のために表示部１４に顔画像Ｉ１とコード画像Ｉ２を表示させる際に、顔画像Ｉ１の上に、半透過された態様のコード画像Ｉ２が重ねて表示される。そのため、本実施例では、顔画像Ｉ１とコード画像Ｉ２の両画像を表示部１４の比較的広範な領域内に表示させることができる。そのため、ユーザＵは、比較的大きく表示された顔画像Ｉ１とコード画像Ｉ２を見ながら、自身の顔と情報コードＣが適切に撮影されるように、内側カメラ１８及び外側カメラ１６の位置、角度等を調整することができる。

【0051】

また、本実施例では、Ｓ２０において、制御部３０は、未成功判定に対応する側の画像を強調表示させる（図４の（ｂ）及び（ｃ）参照）。これにより、ユーザＵは、未成功判定に用いられるべき画像（顔画像又はコード画像）を明確に視認しながら、内側カメラ１８又は外側カメラ１６の位置及び角度を、未成功判定に適した位置及び角度に調整することができる。

【0052】

また、図１に示すように、本実施例の端末装置１０では、内側カメラ１８と表示部１４が、筐体１１の第１の平面１１ａ上に露出するように設けられ、外側カメラ１６は、第１の平面１１ａの反対側の第２の平面１１ｂ上に露出するように設けられている。そのため、認証を行うべき際に、ユーザＵが、表示部１４と対面するように（即ち、表示部１４を視認できるように）筐体１１を把持すると、ユーザＵの顔が内側カメラ１８によって撮像され得る。そして、ユーザＵは、表示部１４を視認し、内側カメラ１８で自身の顔を撮像しながら外側カメラ１６を情報コードＣに向けることができる。従って、本実施例では、ユーザＵは、表示部１４を見ながら、内側カメラ１８で顔を撮影する動作と、外側カメラ１６で情報コードＣを撮像する動作と、を適切に行い得る。

【0053】

本実施例と請求項の記載の対応関係を説明しておく。電子決済機能が「特定の機能」の一例である。ユーザＵが、「特定のユーザ」及び「登録済みユーザ」の一例である。内側カメラ１８が「第１の撮像部」の一例であり、外側カメラ１６が「第２の撮像部」の一例である。図３の機能実行処理が開始される場合が「特定の場合」の一例である。図３のＳ１６でＹＥＳと判断される場合が「特定の状況が成立する場合」の一例である。

【0054】

（第２実施例）
第２実施例の端末装置１０について、第１実施例と異なる点を中心に説明する。本実施例の端末装置１０も、その基本的構成及び動作内容は、第１実施例と共通する。ただし、本実施例では、第１種の判定及び第２種の判定のために表示部１４に顔画像Ｉ１とコード画像Ｉ２を表示させる態様が、第１実施例の態様（図４の（ａ）参照）とは異なる。本実施例では、図５の（ａ）に示すように、顔画像Ｉ１と、コード画像Ｉ２とが、区画された態様で並べて表示される。そのため、本実施例では、ユーザＵは、明確に表示された顔画像Ｉ１とコード画像Ｉ２を見ながら、顔と情報コードＣが適切に撮影されるように、内側カメラ１８及び外側カメラ１６の位置、角度等を調整することができる。

【0055】

また、本実施例では、図５の（ｂ）及び（ｃ）に示すように、図３のＳ２０において、制御部３０が、未成功判定に対応する側の画像を強調表示させる際の表示態様も、第１実施例とは異なる。図５の（ｂ）は、本実施例のＳ２０において、第１種の判定が既に成功しており、第２種の判定に用いられる画像が強調表示された場合の表示部１４の表示内容の例を示す。即ち、図５の（ｂ）の例でも、表示部１４には、顔画像Ｉ１とコード画像Ｉ２とが区画されて並べて表示されている。但し、この場合は、コード画像Ｉ２が、顔画像Ｉ１よりも大きく表示される。そして、既に判定が成功している顔画像Ｉ１には、判定が成功していることを示す表示（図中の「ＯＫ」）が付されている。これにより、ユーザＵは、第２種の判定に用いられるべきコード画像Ｉ２を明確に視認しながら、外側カメラ１６の位置及び角度を、第２種の判定に適した位置及び角度に調整することができる。

【0056】

一方、図５の（ｃ）は、図３のＳ２０において、第２種の判定が既に成功しており、第１種の判定に用いられる画像が強調表示された場合の表示部１４の表示内容の例を示す。図５の（ｃ）の例でも、表示部１４には、顔画像Ｉ１とコード画像Ｉ２とが区画されて並べて表示されている。但し、この場合は、顔画像Ｉ１が、コード画像Ｉ２よりも大きく表示される。そして、既に判定が成功しているコード画像Ｉ２には、判定が成功していることを示す表示（図中の「ＯＫ」）が付されている。これにより、ユーザＵは、第１種の判定に用いられるべき顔画像Ｉ１を明確に視認しながら、内側カメラ１８の位置及び角度を、第１種の判定に適した位置及び角度に調整することができる。

【0057】

（第３実施例）
第３実施例の端末装置１０について、第１、第２実施例と異なる点を中心に説明する。本実施例の端末装置１０は、その構成及び動作内容は、第１、第２実施例と共通する。図６に示すように、本実施例では、端末装置１０を用いて認証を行うべき状況が、第１、第２実施例の場合と異なる。

【0058】

図６に示すように、本実施例では、ユーザＵが端末装置１０を用いて扉５０の電子錠を解錠しようとする状況において、端末装置１０が認証を行う状況が図示されている。この状況では、端末装置１０は、ユーザＵの顔画像に基づいて、ユーザＵが事前に登録されている登録済みユーザ本人であるか否かを判定するとともに、ユーザＵが解錠を希望する扉５０の近傍に配置され、扉５０を示す扉ＩＤが記録された情報コードＣのデコードが成功したか否かを判定することにより、認証を行っている。本実施例では、認証が成功する場合に、端末装置１０から、図示しないサーバに、解錠要求が送信される。サーバにおける照合が成功すると、サーバから扉５０に解錠指示が出力され、扉５０の電気錠が解錠される。

【0059】

本実施例における機能実行処理の内容も、基本的にはほぼ第１、第２実施例と共通する（図３）。ただし、本実施例における機能実行処理は、ユーザＵの指示に従って、制御部３０が認証を行ない、認証が成功する場合に「解錠要求をサーバに送信する」という特定の機能を実行するための処理である。そのため、図３のＳ１０～Ｓ２２の各処理は第１、第２実施例と共通する。ただし、本実施例では、Ｓ１４で開始される第２種の判定において、制御部３０は、コード画像から、当該コード画像が示す情報コードから、扉５０を示す扉ＩＤが出力されることを監視する。

【0060】

また、Ｓ２４では、制御部３０は、ユーザＵによって指示された機能（即ち、解錠要求のサーバへの送信）を実行する。この場合、例えば、制御部３０は、ユーザＵの登録済み顔データ３８と、情報コードＣから読み取られた扉５０の扉ＩＤとを含む解錠要求を生成し、通信Ｉ／Ｆ２０を介して、図示しないサーバに送信する。その場合、サーバにおいて、受信された解錠要求扉ＩＤと、登録済み顔データ３８との組み合わせの照合（即ち、ユーザＵが扉５０を解錠することが許可された許可者であることが確認されること）が成功すると、サーバから扉５０に解錠指示が出力され、扉５０の電気錠が解錠される。

【0061】

本実施例のように使用される場合も、端末装置１０は、第１、第２実施例と同様の作用効果を発揮することができる。

【0062】

以上、本明細書で開示する技術の具体例を説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には以上に例示した具体例を様々に変形、変更したものが含まれる。例えば、以下の変形例を採用してもよい。

【0063】

（変形例１）上記の各実施例の端末装置１０では、内側カメラ１８と表示部１４が、筐体１１の第１の平面１１ａ上に露出するように設けられ、外側カメラ１６は、第１の平面１１ａの反対側の第２の平面１１ｂ上に露出するように設けられている。これに限られず、端末装置は、ユーザの顔を撮像するための第１のカメラと、情報コードを撮像するための第２のカメラと、を備えていれば、その配置は任意としてもよい。例えば、端末装置において、第１及び第２のカメラが、本体に対して有線接続され、撮像方向を自在に変化させられるように構成されていてもよい。この変形例における第１のカメラ及び第２のカメラが、「第１の撮像部」及び「第２の撮像部」の一例である。

【0064】

（変形例２）上記の第２実施例において、顔画像Ｉ１と、コード画像Ｉ２とを並べて表示させる際の顔画像Ｉ１及びコード画像Ｉ２の配置も、図５に示すものに限られず、任意とすることができる。

【0065】

（変形例３）また、図３のＳ２０において、制御部３０が、未成功判定に対応する側の画像を強調表示させる際の強調の態様も、図４の（ｂ）及び（ｃ）、図５の（ｂ）及び（ｃ）に示すものに限られず、任意の態様で強調を行うようにしてもよい。

【0066】

本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。

【符号の説明】

【0067】

１０：端末装置
１１：筐体
１１ａ：第１の平面
１１ｂ：第２の平面
１２：操作部
１４：表示部
１６：外側カメラ
１８：内側カメラ
２０：通信Ｉ／Ｆ
３０：制御部
３２：メモリ
３４：ＯＳプログラム
３６：アプリケーション
３８：登録済み顔データ
５０：扉
Ｃ：情報コード
Ｕ：ユーザ
Ｉ１：顔画像
Ｉ２：コード画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】