IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 沖電気工業株式会社の特許一覧

特許7351333画像処理装置、画像処理方法、画像処理システム
<>
  • 特許-画像処理装置、画像処理方法、画像処理システム 図1
  • 特許-画像処理装置、画像処理方法、画像処理システム 図2
  • 特許-画像処理装置、画像処理方法、画像処理システム 図3
  • 特許-画像処理装置、画像処理方法、画像処理システム 図4
  • 特許-画像処理装置、画像処理方法、画像処理システム 図5
  • 特許-画像処理装置、画像処理方法、画像処理システム 図6
  • 特許-画像処理装置、画像処理方法、画像処理システム 図7
  • 特許-画像処理装置、画像処理方法、画像処理システム 図8
  • 特許-画像処理装置、画像処理方法、画像処理システム 図9
  • 特許-画像処理装置、画像処理方法、画像処理システム 図10
  • 特許-画像処理装置、画像処理方法、画像処理システム 図11
  • 特許-画像処理装置、画像処理方法、画像処理システム 図12
  • 特許-画像処理装置、画像処理方法、画像処理システム 図13A
  • 特許-画像処理装置、画像処理方法、画像処理システム 図13B
  • 特許-画像処理装置、画像処理方法、画像処理システム 図13C
  • 特許-画像処理装置、画像処理方法、画像処理システム 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-19
(45)【発行日】2023-09-27
(54)【発明の名称】画像処理装置、画像処理方法、画像処理システム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20230920BHJP
   G06V 40/16 20220101ALI20230920BHJP
【FI】
G06T7/00 510F
G06V40/16 A
【請求項の数】 6
(21)【出願番号】P 2021508731
(86)(22)【出願日】2019-12-09
(86)【国際出願番号】 JP2019048052
(87)【国際公開番号】W WO2020194892
(87)【国際公開日】2020-10-01
【審査請求日】2022-08-09
(31)【優先権主張番号】P 2019055330
(32)【優先日】2019-03-22
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000000295
【氏名又は名称】沖電気工業株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】前田 和彦
【審査官】武田 広太郎
(56)【参考文献】
【文献】特開2019-028959(JP,A)
【文献】特許第5541407(JP,B1)
【文献】特許第5920799(JP,B2)
【文献】特開平09-161135(JP,A)
【文献】特開2007-004612(JP,A)
【文献】特開2017-059208(JP,A)
【文献】特開2018-159965(JP,A)
【文献】特開2009-205570(JP,A)
【文献】国際公開第2018/066511(WO,A1)
【文献】特開2013-206232(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
G06V 40/16
(57)【特許請求の範囲】
【請求項1】
撮影画像を出力するカメラと、
前記カメラから出力された撮影画像を基に、前記撮影画像が顧客の本人確認に適する画像であるか否かを判定する画像判定部と、
前記画像判定部が判定した結果、本人確認に適さない画像であるとの判定の場合、顧客に対し、誘導する誘導部と、
画面を表示すると共に顧客からの入力を受け付ける操作表示部と、
を備え、
前記画像判定部は、前記カメラから出力された撮影画像を基に、前記撮影画像のターゲットが所定レベルに達しているか否かを判定し、
前記誘導部は、前記画像判定部により、前記所定レベルに達していないと判定された場合、顧客に対し、音声及び又は画面で誘導し、
前記ターゲットは、顧客の顔であり、
前記画像判定部による判定結果において、前記顧客の顔の向き及び/又は顔の大きさが所定レベルに達していない場合、前記誘導部は、前記顔の向き及び/又は顔の大きさが所定レベルに達するよう誘導を行い、
前記誘導が、前記操作表示部に、撮影画像の枠と、前記顧客のリアルタイムの顔画像の動画と、前記顧客が選択可能な確認ボタンと、を表示することを含み、
前記顧客の前記顔画像が前記撮影画像の枠内に収まった場合に、前記顧客に確認ボタンを選択させることで、前記カメラによる撮影を行い、
前記誘導部は、前記カメラにより最初に撮影する第1の撮影の際、及び前記第1の撮影の後に撮影し直す第2の撮影の際、顧客に対し誘導し、
前記第1の撮影の際の誘導は、撮影画像内のターゲットを前記カメラに向ける誘導であり、前記第2の撮影の際の誘導は、前記ターゲットの撮影レベルが所定レベルに達するようにする誘導である、
画像処理装置。
【請求項2】
撮影画像を出力するカメラと、
前記カメラの近傍に配置される発光体と、
前記カメラの近傍に配置され、撮影対象に対する照度を調整するための照明体と、
前記カメラから出力された撮影画像を基に、前記撮影画像が顧客の本人確認に適する画像であるか否かを判定する画像判定部と、
前記画像判定部が判定した結果、本人確認に適さない画像であるとの判定の場合、顧客に対し、誘導する誘導部と、
を備え、
前記誘導部は、前記カメラにより撮影し直す場合、撮影前に前記発光体の面発光により顧客に対し誘導し、
前記照明体は、前記カメラによる撮影の際に、撮影対象に対する照度を調整するよう照明し、
前記発光体と前記照明体とは、異なる色の光を発光する、
画像処理装置。
【請求項3】
前記発光体は青色の光を発光し、前記照明体は白色光を照明する、請求項に記載の画像処理装置。
【請求項4】
前記カメラによる撮影が終了後、顧客によるPINの入力を受け付ける入力部をさらに備える請求項1~請求項のいずれか一項に記載の画像処理装置。
【請求項5】
取引又は顧客の本人確認の選択を受け付ける入力部をさらに備え、
前記入力部において店員又は係員からの取引又は前記顧客の本人確認の選択が受付けられた場合、前記画像判定部は、前記撮影画像に対し判定する、請求項1~請求項のいずれか一項に記載の画像処理装置。
【請求項6】
前記画像処理装置と接続する外部装置から、取引又は顧客の本人確認の選択を受信する通信部をさらに備え、
前記通信部において店員又は係員からの取引又は前記顧客の本人確認の選択が受信された場合、前記画像判定部は、前記撮影画像に対し判定する、請求項1~請求項のいずれか一項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、2019年3月22日出願の日本国出願、特願2019-055330号の優先権を主張すると共に、その全体が参照により本明細書に取り込まれる。
本開示は、画像処理装置、画像処理方法、及び画像処理システムに関し、例えば、本人確認を行うための画像処理装置、画像処理方法、及び画像処理システムに適用し得る。
【背景技術】
【0002】
従来、金融機関等に設置されるATM(Automated Teller Machine)では、キャッシュカードの磁気ストライプ又はICチップに記録された口座情報の内容と、ATMを利用する顧客(ユーザ)によって画面の指示に従って入力された、例えば4桁の暗証番号とを、通信回線を介してホストコンピュータに通知し、ホストコンピュータ側で本人確認の処理を実施していた。
【0003】
近年、顔認証等の生体認証方法が金融機関のATMを始め様々な分野で導入されつつある。例えば、ATMにカメラを設けて、顧客の顔画像を撮像し、事前に登録した口座開設者の顔データとの照合を行なうことにより、顔認証を行うシステムが存在する。
【0004】
顔認証の精度を向上させるための一つの手段として、撮影画像の品質を向上させることが考えられる。顧客が撮影するカメラを正視すれば、それだけで撮影する顔画像の品質を向上させることができる。
【0005】
例えば、特開2002-024913号公報ではカメラ近傍にLED(Light Emitting Diode)照明を設け、LEDを点灯させることにより、カメラへの誘導を行う例が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特開2002-024913号公報に記載の技術では、顔撮影の際の誘導が不十分であり、また、撮影画像の品質については特に考慮されていなかった。撮影画像の質が悪いと、正しく画像確認ができず、本人確認に支障をきたす結果となる。
【0007】
また、特開2002-024913号公報に記載の技術は、再度の撮影の際の誘導も存在せず、誘導手段として不十分なものであった。
【0008】
そのため、顔認証を行う顧客への利便性を考慮した誘導手段を備える画像処理装置が望まれている。
【課題を解決するための手段】
【0009】
本開示の第1の態様は、画像処理装置であって、(1)撮影画像を出力するカメラと、(2)前記カメラから出力された撮影画像を基に、該撮影画像が顧客の本人確認に適する画像であるか否かを判定する画像判定部と、(3)前記画像判定部が判定した結果、本人確認に適さない画像であるとの判定の場合、顧客に対し、誘導する誘導部とを備える。
【0010】
本開示の第2の態様は、画像処理装置であって、(1)撮影画像を出力するカメラと、(2)前記カメラから出力された撮影画像を基に、該撮影画像のターゲットが所定レベルに達しているか否かを判定する画像判定部と、前記画像判定部が判定した結果、前記所定レベルに達していない判定の場合、音声及び又は画面で誘導する誘導部とを備える。
【0011】
本開示の第3の態様は、画像処理装置であって、(1)撮影画像を出力するカメラと、(2)前記カメラの近傍に配置される発光体と、(3)前記カメラにより撮影し直す場合、前記発光体の面発光により顧客に対し誘導する誘導部とを備える。
【0012】
本開示の第4の態様は、画像処理装置であって、(1)撮影画像を出力するカメラと、(2)前記カメラにより最初に撮影する第1の撮影の際、及び該第1の撮影の後に撮影し直す第2の撮影の際、顧客に対し誘導する誘導部とを備える。
【発明の効果】
【0013】
本態様によれば、顔認証を行う顧客への利便性を考慮した誘導を行うことができる。
【図面の簡単な説明】
【0014】
図1】第1の実施形態の自動取引装置の制御系の構成を示すブロック図である。
図2】第1の実施形態に係る認証システムの全体構成を示す全体構成図である。
図3】第1の実施形態に係る自動取引装置の外観構成を示す外観斜視図である。
図4】第1の実施形態に係る自動取引装置の特徴動作(顔認証のための画像処理)を示すフローチャートである。
図5】第1の実施形態に係る顔状態判定結果と当該判定結果に対応する音声ガイダンスの例を示す説明図(その1)である。
図6】第1の実施形態に係る顔状態判定結果と当該判定結果に対応する音声ガイダンスの例を示す説明図(その2)である。
図7】第2の実施形態に係る自動取引装置の外観構成を示す外観斜視図である。
図8】第2の実施形態に係る画像処理部の構成を示す図である。
図9】第2の実施形態に係る自動取引装置の特徴動作(顔認証のための画像処理)を示すフローチャートである。
図10】変形実施形態に係る自動取引装置の外観構成を示す外観斜視図(その1)である。
図11】変形実施形態に係るセミセルフ機の外観構成を示す外観斜視図である。
図12】変形実施形態に係る自動取引装置の外観構成を示す外観斜視図(その2)である。
図13A】第1の実施形態に係る画面誘導の一例を示す説明図である。
図13B】第1の実施形態に係る画面誘導の一例を示す説明図である。
図13C】第1の実施形態に係る画面誘導の一例を示す説明図である。
図14】変形実施形態に係る自動取引装置の制御系の構成を示すブロック図である。
【発明を実施するための形態】
【0015】
(A)第1の実施形態
以下では、本開示の画像処理装置の第1の実施形態を、図面を参照しながら詳細に説明する。第1の実施形態では、本開示の画像処理装置をATMに適用した例について説明する。
【0016】
(A-1)第1の実施形態の構成
(A-1-1)全体構成
図2は、第1の実施形態に係る認証システムの全体構成を示す全体構成図である。図2において、認証システム5は、ネットワークNに接続可能な、自動取引装置1、ホストコンピュータ2、及び顔認証サーバ3を有して構成される。
【0017】
ネットワークNは、金融取引に関するデータを通信することができる通信網であり、例えば、専用網を適用することができる。また、ネットワークNは、金融取引に関するデータを通信することができるのであれば公衆網としても良い。
【0018】
自動取引装置1は、例えば、金融機関、駅、コンビニエンスストア、ホテル等に設けられている現金自動預け払い装置(ATM)である。なお、自動取引装置1は、ATMに限らず、顔認証を行う装置であれば良く、その他にも、例えば、POSレジ、セミセルフ機、券売機等でも良い。
【0019】
自動取引装置1は、ネットワークNを介して、ホストコンピュータ2と通信可能であり、例えば、振り込み取引、預け入れ取引(入金取引)、引き出し取引(出金取引)、等の各種金融取引を行うものである。なお、図2では、説明を容易にするために、1台の自動取引装置1のみ図示している。しかし、実際には、複数台の自動取引装置1のそれぞれが、ネットワークNを介して、ホストコンピュータ2と接続する。
【0020】
ホストコンピュータ2は、金融機関のホストコンピュータであり、自動取引装置1から取引に関する情報を取得すると、取得した取引に関する情報に基づいて、顧客が行なった取引の内容を管理するものである。
【0021】
顔認証サーバ3は、自動取引装置1から送信されたカメラ等で撮影した顧客の顔画像と、予めデータベース又は顧客のカード媒体に登録した顧客の顔の画像データとを照合して本人であるか否かを判断するものである。なお、上記登録した顧客の顔の画像データは、例えば、顧客の顔が撮影された画像でも良く、又は、顔認証する際に使用される、顔の特徴点に関する情報等を含む特徴情報でも良い。
【0022】
(A-1-2)自動取引装置1の詳細な構成
図3は、第1の実施形態に係る自動取引装置の外観構成を示す外観斜視図である。
【0023】
図3において、第1の実施形態の自動取引装置1は、操作表示部12、カメラ13、紙幣入出口14、硬貨入出口15、及びレシート排出口16を有する。
【0024】
操作表示部12は、例えば、取引種類の選択メニュー画面、各取引の操作画面、取引内容の確認画面等を表示したり、顧客が入力した入力情報を取り込んだりするものである。操作表示部12は、例えば、タッチパネル方式の操作表示部を適用することができる。なお、操作表示部12は、操作部と表示部とが一体となったタッチパネル方式のものに限らず、操作部と表示部とがそれぞれ物理的に別の構成のものであってもよい。
【0025】
カメラ13は、外部の映像(顧客の顔等)を、レンズを通して例えばCCD(Charge Coupled Device)やCMOS(Complementar Metal OxideSemiconductor)などの撮像素子に結像させ、静止画像又は動画像を撮影する機能を有する。
【0026】
なお、自動取引装置1は、変形例として、カメラ13で撮影する画像を表示するモニタをカメラ13の近傍に備えても良い(又は操作表示部12が当該機能を備えていても良い)。
【0027】
紙幣入出口14は、顧客が紙幣を挿入したり又は紙幣を取り出したりするものである。紙幣入出口14は、例えば、開閉可能な開閉体を有するバケットタイプのものを用いても良いし、若しくは、開閉体を有しないバケットタイプのものを用いることができる。顧客が紙幣を投入するときには、例えば、開閉体を有するバケットタイプの場合、開閉体がバケットの開口部を開けた後、顧客はバケットの開口部に紙幣を投入し、その後自動取引装置1は、開閉体が閉じて投入された紙幣を取り込む。また自動取引装置1が紙幣を返却するときには、自動取引装置1はバケットに紙幣を繰り出し、その後、開閉体が開放する。
なお、紙幣入出口14は、紙幣を投入する紙幣入口と紙幣を放出する紙幣出口とが一体となったものに限らず、紙幣入口と紙幣出口とがそれぞれ物理的に別の構成のものであってもよい。
【0028】
硬貨入出口15は、顧客が硬貨を投入したり又は硬貨を取り出したりするものである。硬貨入出口15も、例えば、開閉体が開口部を開閉可能なバケットタイプのものを用いても良いし、若しくは、開閉体を有しないバケットタイプのものを用いても良い。この場合も、紙幣入出口14と同様に、顧客が硬貨を投入するときには、例えば、開閉体を有するバケットタイプの場合、開閉体がバケットの開口部を開けた後、顧客はバケットの開口部に硬貨を投入し、その後自動取引装置1は、開閉体を閉じて投入された硬貨を取り込む。また自動取引装置1が硬貨を返却するときには、自動取引装置1はバケットに硬貨を繰り出し、その後、開閉体が開放する。なお、硬貨入出口15は、硬貨を投入する硬貨入口と硬貨を放出する硬貨出口とが一体となったものに限らず、硬貨入口と硬貨出口とがそれぞれ物理的に別の構成のものであってもよい。
【0029】
レシート排出口16は、取引内容を印刷したレシートを排出するものである。
【0030】
図1は、第1の実施形態の自動取引装置の制御系の構成を示すブロック図である。図1において、自動取引装置1は、制御部10、記憶部20、通信部30、操作表示制御部40、画像処理部50、紙幣入出金部60、硬貨入出金部70、及び明細票発行部80を有する。
【0031】
制御部10は、図示しないCPU(Central Processing Unit)を中心に構成されており、ROM(Read Only Memory)、RAM(Random Access Memory)、記憶部20から所定のプログラムを読み出して実行することにより、各部を制御して入金取引、収納処理や出金取引等の種々の処理を行う。
【0032】
制御部10が備える認証部11は、顔認証サーバ3及びホストコンピュータ2と連携して、顔認証及びPIN入力により本人確認のための認証処理を行う機能部である。
【0033】
記憶部20は、制御部10が実行する処理プログラム等を記憶するものあり、例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive)等により構成される。
【0034】
通信部30は、ネットワークNを介して、ホストコンピュータ2、及び顔認証サーバ3と接続するためのネットワークインタフェースである。なお、通信部30は、例えば、顧客の非接触ICカード又は携帯端末(スマートフォン等)と無線通信することも可能である。
【0035】
操作表示制御部40は、制御部10の制御の下、操作表示部12の動作を制御するものである。操作表示制御部40は、制御部10から画面情報に基づいて、操作表示部12に画面を表示させたり、又は操作表示部12から入力された情報を制御部10に与えたりするものである。
【0036】
画像処理部50は、制御部10(認証部11)の制御の下、顔認証サーバ3で顧客の顔認証(画像認証)を行うために適した画像の撮影を、顧客への誘導を供って行うものである。
【0037】
紙幣入出金部60は、制御部10の制御の下、紙幣を金種別に収納・管理するものである。
【0038】
硬貨入出金部70は、制御部10の制御の下、硬貨を金種別に収納・管理するものである。
【0039】
明細票発行部80は、制御部10の制御の下、取引明細票に取引結果を印刷して、レシート排出口16から発行(排出)を行うものである。
【0040】
(A-1-3)画像処理部50の詳細な構成
画像処理部50は、画像判定部51及び誘導部52を備える。
【0041】
画像判定部51は、顔認証サーバ3に通知する顔画像がベストショット(顔認証に適した状態の画像)であるか否かを判定する機能部である。ベストショットであるか否かの判定は、種々の要素を加味して判定して良いが、例えば、撮影対象の位置、撮影対象の向き、および撮影対象の大きさのうち少なくとも1つのパラメータにより、ベストショットであるか否か判定する。より具体的には、後述するように、例えば、「顔位置」、「顔向き」、「大きさ」の3個のパラメータにより、ベストショットであるか否か判定して良い。本実施形態では、上記パラメータを使って顧客の顔画像がベストショットであるか否か判定する場合を例に挙げて、以下説明する。画像判定部51は、3個のパラメータが全てGoodとなったときに撮影画像がベストショットと判定する。また、1個でもBadのパラメータが存在すれば、誘導部52の誘導によって再度顧客に撮影を促す。なお、本実施形態では、パラメータの評価としてGood(良)又はBad(悪)の2段階だが、2段階よりも多い多段階で評価しても良く、この場合、例えば、全てのパラメータが最上位段階となったときに撮影画像がベストショットと判定されても良い。
【0042】
誘導部52は、自動取引装置1を利用する顧客の顔画像がベストショットになるまで繰り返し撮影するとき、例えば、「顔位置」、「顔向き」、「大きさ」のパラメータで、ベストショットであるか評価し、ベストショットでない場合、優先順位に従って、ベストショットに誘導するための音声及び/又は画像を出力する。誘導部52の詳細は動作の項で述べる。
【0043】
(A-2)第1の実施形態の動作
次に、第1の実施形態に係る認証システム5(自動取引装置1)における取引処理(主に顔認証のための画像処理)を、図面を参照しながら詳細に説明する。
【0044】
(A-2-1)顔認証のための画像処理
図4は、第1の実施形態に係る自動取引装置の動作(顔認証のための画像処理)を示すフローチャートである。
【0045】
自動取引装置1(制御部10)は、顧客待ちの状態から、顧客からの何らかの取引(例えば、入金取引、出金取引、カードレス取引、支払取引、精算取引等)が選択されると(S101)、次のS102の処理を実行する。なお、カードレス取引の場合は、例えば、顧客からの選択がなくても次の処理が実行されてもよい(S101)。
【0046】
制御部10(認証部11)は、操作表示部12に本人確認のための認証処理の実行を開始する認証開始実行ボタン(図示せず)を表示し、顧客からのボタン押下(即ち、タッチ又は選択)を受け付ける(S102)。制御部10は、顧客からの認証開始実行ボタンの押下を受け付けると、以下に示すように所定時間内の顔撮影を開始する。また、制御部10は、認証開始実行ボタンを表示せず、上述のステップS101処理の後、即座に(又は所定時間後)次のステップS103の処理を開始しても良い。
【0047】
画像処理部50は、カメラ13を用いて顔認証のための顧客の顔撮影処理を実行する(S103)。例えば、画像処理部50は、操作表示部12に撮影ボタン(図示せず)を表示し、撮影ボタンの押下により撮影を実行する。また、画像処理部50は、撮影中では操作表示部12にその旨を示す画面を表示しても良い。また、かかる例に限定されず、例えば、操作表示部12により画面に確認ボタン(図示せず)が表示された後、画像処理部50は、カメラ13を用いて顔認証のための顧客の顔撮影処理を実行しても良く、上記撮影ボタン又は確認ボタンの表示とともに、「帽子を外して下さい」、「マスク又はサングラ
スを外して下さい」、または「帽子、マスク、サングラスを外して下さい」等のように、顧客が身に着けているものを外すよう促すメッセージを画面に表示しても良い。なお、上記メッセージを画面ではなく音声で出力してもよい。また、上記メッセージの画面表示とともに上記メッセージを音声で出力してもよい。
【0048】
また、初回の撮影のみ、誘導部52は、“正面を向いてください”等の音声ガイダンスをデフォルトで出力しても良く、上記音声ガイダンスと共に“正面を向いてください”等のメッセージを画面に出力しても良く、又は音声ガイダンスではなく上記メッセージを画面に出力しても良い。
【0049】
なお、撮影する対象(ターゲット)は、本人(顔)そのものに限定されず、例えば運転免許証、社員証、マイナンバーカードの顔写真、又はスマートフォン等の電子デバイスに表示した顔写真等を利用しても良い。また、撮影する対象は、顔写真そのものではなく、本人の顔面情報をQRコード(登録商標)等で一次元又は二次元コード等のコード化した画像でも良い。
【0050】
画像処理部50(画像判定部51)は、上述のステップS103の処理で撮影した顔画像がベストショット(顔認証に適した状態の画像)であるか否か判定する(S104)。画像判定部51は、撮影画像がベストショットの場合には、後述するステップS106の処理を実行し、ベストショットでない場合には、次のS105の処理を実行する。
【0051】
画像処理部50(誘導部52)は、撮影画像がベストショットでない場合には、例えば、顔位置、顔向き、大きさの各パラメータから、Badとなる部分を解消するための誘導処理を実行する(S105)。そして、当該誘導処理(及び撮影処理)は、全てのパラメータがGoodとなるまで(ステップS104の処理でベストショットと判定されるまで)、繰り返されることになる。なお、これ以上の誘導処理の詳細は、(A-2-2)の項目で述べるものとする。
【0052】
制御部10は、上述のステップS104の処理で、撮影画像がベストショットと判定されると、通信部30を介して、顔認証サーバ3に顔画像を含むデータを通知し、顔認証処理を依頼する(S106)。なお、顔認証サーバ3による認証が失敗だった場合には、制御部10は、取引を終了して良い。
【0053】
制御部10は、上述のステップS106の処理で顔認証サーバ3から顔認証による本人確認がなされると、操作表示部12に暗証番号(PIN)の入力を受付ける操作画面(図示せず)を表示し、顧客からのPIN入力を受け付ける(S107)。
【0054】
制御部10は、PIN入力を受け付けた後、通信部30を介して、入力されたPIN、顔認証から特定される口座情報等を含む情報をホストコンピュータ2に通知する(S108)。
【0055】
制御部10は、ホストコンピュータ2により本人確認がなされた場合、上述のステップS101で選択された所定の取引を続行する(S109)。
【0056】
(A-2-2)ステップS105の処理(ベストショットへの誘導)の詳細
誘導部52は、自動取引装置1を利用する顧客の顔画像をベストショットになるまで繰り返し撮影するとき、例えば、図5のリスト91に示すように、顔位置、顔向き、大きさのパラメータで、Bad分析し、優先順位に従って、ベストショットに誘導するための音声又は画像を出力する。なお、操作画面には、例えば、図13Aに示すような画面が表示される。
【0057】
ここで、「顔位置」は、撮影画像内に顔が存在する位置であって、撮影画像内に顔が完全に収まっていればGoodとなり、収まっていなければBadとなる。「顔向き」は、補正範囲内であればGoodとなり、補正範囲外であればBadとなる。「大きさ」は、撮影画像内に顔が過不足なく収まっていればGoodとなる。また、撮影画像内の顔が小さければ「Small」のBadとなり、撮影画像内の顔が大きければ「Big」のBadとなる。
【0058】
また、誘導部52は、複数のパラメータがBadとなった場合、例えば、「大きさ」>「顔向き」>「顔位置」の優先順位で音声出力する。言い換えれば、誘導部52は、複数のパラメータがBadとなった場合でも複数のBadをまとめて解消させるような音声誘導は行わず、ひとつずつ解消できるような音声誘導を行う。
【0059】
例えば、図5のリスト91に示すように、「顔向き」と「大きさ」が双方ともBadとなった場合には、「大きさ」のBadの解消を顧客に促すような音声(大きさのBadが「Small」なら”少し前に近づいてください”、「Big」なら”少し後ろにさがってください”)を出力する。また、上記音声と共に、または音声とは別に、例えば、「大きさ」のBadとして「Small」の解消を顧客に促す場合、”少し前に近づいてください”を表すイラスト/アニメーション又は顧客から見て画面に近づく方向に矢印が向くアイコン等を画面の、顔画像近傍、画面端部、又は画面隅部に表示しても良い。
【0060】
なお、図5では、「顔位置」がBadで、「顔向き」、及び「大きさ」がGoodとなっている場合には、”正面を向いてください”と音声出力される例が示されているが、顔の位置によって、異なる音声出力を行っても良い。例えば、撮影画像内に対して、顔の位置が高い場合(顔の位置が上に行き過ぎて、下部分しか顔が存在しない場合)には、”少ししゃがんでください”と出力して良いし、一方、顔の位置が低い場合(顔の位置が下に行き過ぎて、上部分しか顔が存在しない場合)には、”少し背伸びしてください”と音声出力しても良い。また、誘導部52は、「顔位置」のパラメータを省略し、図6のリスト92に示すように、「顔向き」、及び「大きさ」のみを用いて誘導を行っても良い。また、上記音声出力とともに、または音声出力とは別に、上記”正面を向いてください”または”少し背伸びしてください”などを表すイラスト/アニメーション又は顧客から見て上方向に矢印が向くアイコン等を画面の、顔画像近傍、画面端部、又は画面隅部に表示しても良い。
【0061】
また、誘導部52は、音声誘導の代わりに又は音声誘導と共に、操作表示部12(又は操作表示部12とは別のモニタ(第2の表示部))に表示する画面を利用して誘導を行っても良い。例えば、誘導部52は、撮影画像の枠と、リアルタイムの顔画像(動画)を画面に表示して、及び/又は、例えば、イラスト、アニメーション、又はアイコンのうち少なくとも一つを画面に表示して、顔画像が撮影画像の枠に収まるように誘導しても良い。
【0062】
また、上記では誘導する回数については特に述べなかったが、誘導部52は、誘導回数が閾値(例えば、2回)を超えると、音声誘導に代えて又は音声誘導と共に、上述の画面誘導を行っても良い。また、以下に記載のような画面誘導を音声誘導と共に又は個別に行っても良い。例えば、「顔位置」がBadの場合、図13Bに示すように、撮影画像内に顔位置を合わして納めてもらえるように画面に撮影画像範囲の四角(例えば緑色の四角401)及び/又は、現在の顔位置の四角(例えば赤色の四角402)を表示して、顧客に動いてもらって、納めてもらうようにしても良い。他にも、画面に撮影画像範囲の四角を表示し、その中に現在のカメラ画像を表示して、“カメラ画像がこの枠の中に納まるようにしてください”というような音声誘導及び/又は画面誘導を行っても良い。なお、カメラ画像は、顧客の顔では無くアバター(体の動きに連動するアバター)でも良い。上記アバターであれば、背後から第三者により顧客の顔画像が撮影されてしまう可能性が低減し得る。
【0063】
なお、上記画面誘導は、上述した”少し前に近づいてください”等の音声誘導を行っても改善しない場合に、上記緑色の四角401及び/又は赤色の四角402を画面に表示しても良く、また、顔画像を撮影する当初から上記四角を画面に表示しても良い。また、図13Cに示すように、画面400には確認ボタン403が表示されており、上記画面誘導及び/又は音声誘導により、顔画像が撮影画像の枠に適切に収まると、顧客に上記確認ボタン403を選択させ、その後に画像処理部50は撮影処理を実行しても良く、又は、上記確認ボタン403が表示されず、顔画像が撮影画像の枠に適切に収まった状態であると画像処理部50が判断すると、画像処理部50が撮影処理を実行しても良い。また、上記画面誘導及び/又は音声誘導が開始後、所定時間経過すると、画像処理部50は撮影処理を実行する場合でも良い。
【0064】
また、誘導部52は、上述のステップS102の後、即座にベストショットの誘導を行っても良い。即ち、顧客が撮影ボタンを押下せず、カメラ13に向かって顔位置を調整している最中でも、ステップS105の誘導処理を常時機能させても良い。この場合、3個のパラメータが全てGoodとなったときには、顧客に撮影ボタンの押下を促す音声を出力しても良い(又は顧客にボタンを押下させずに自動で撮影しても良い)。
【0065】
さらに、自動取引装置1がハンドセットを備えて、顧客がハンドセットを使用する場合には、ハンドセットによる音声ガイダンスを出力しても良い。また、顧客がハンドセットを使用する際には、制御部10(認証部11)は顔画像による認証から音声による認証に自動的に(又は顧客からの選択によって)切り替えても良い。
【0066】
音声による認証の場合には、例えば、音声により声が小さい/大きい/ゆっくり話す等の誘導を行っても良い。
【0067】
(A-3)第1の実施形態の効果
第1の実施形態によれば、画像処理部50が、顧客を繰り返し誘導してベストショットとなる顔画像を取得(撮影)することとした。ベストショットとなる顔画像は、顔画像認証の際に正解データとの比較対象となるため、顔画像認証がいかなるロジックを用いたとしても、従来よりも確実に顔認証の精度を向上させることができる。
【0068】
また、本実施形態の自動取引装置1は、顔認証とPINにより本人確認を十分行えるため、キャッシュカードそのものが不要となった。その他にも、キャッシュカードが発行されている場合に、例えば、有事の際に罹災され、キャッシュカードを紛失したときでも、顔認証等により本人確認が十分行えるため、現金の引き出し等の取引を行うことができる。
【0069】
(B)第2の実施形態
次に、本開示に係る画像処理装置の第2の実施形態を、図面を参照しながら詳細に説明する。第2の実施形態では、本開示の画像処理装置をATMに適用した例について説明する。また、第2の実施形態では、ATMが顧客の顔画像を撮影する場合を例に挙げて、以下に説明する。
【0070】
(B-1)第2の実施形態の構成
第2の実施形態に係る認証システム5の全体構成は、第1の実施形態の図2に示す構成と同一又は対応する。
【0071】
図7は、第2の実施形態に係る自動取引装置の外観構成を示す外観斜視図である。
【0072】
第2の実施形態に係る自動取引装置1は、上述の図3で示した構成(操作表示部12、カメラ13、紙幣入出口14、硬貨入出口15、及びレシート排出口16)に加えて、LED17を備える。
【0073】
LED17は、カメラ13の近傍に配置され、後述するようにカメラ13によって顧客の顔を撮影する際、青色の発光ダイオードを点灯させることによって、顧客を正面に向かすための誘導機能を発揮するものである。LED17の照明の色は青色に限定されるものではないが、周囲の発光体とは異なる色を採用することが、顧客の注意を引く観点からは望ましい。
【0074】
第2の実施形態に係る自動取引装置1の制御系の構成は、基本的には上述の図1で示した構成と同様である。ただし、画像処理装置としての画像処理部50の代わりに図8の画像処理部50Aが適用される点が異なる。また、制御部10の認証部11の処理が第1の実施形態と一部異なる。
【0075】
第2の実施形態の認証部11は、顔認証の段階で失敗した場合に、顧客を特定する情報の質問及びその回答により認証処理を行う点が第1の実施形態と異なる。
【0076】
画像処理部50Aは、正面誘導部53を備え、画像認証に適した画像を取得するための処理を行う。正面誘導部53は、上述のLED17を制御し、顔撮影の際にはLED17を点灯させ、顔撮影開始直後、顔撮影中、又は顔撮影終了後にはLED17を消灯させる。
【0077】
(B-2)第2の実施形態の動作
次に、第2の実施形態に係る認証システム5(自動取引装置1)における取引処理(主に顔認証のための画像処理)を、図面を参照しながら詳細に説明する。
【0078】
(B-2-1)顔認証のための画像処理
図9は、第2の実施形態に係る自動取引装置の特徴動作(顔認証のための画像処理)を示すフローチャートである。なお、図9において、第1の実施形態に係る図4の特徴動作と同一又は対応する処理については、同一符号を付して示している。また、第1の実施形態に係る図4の特徴動作と同一又は対応する処理の詳細な説明は、重複するため省略する。
【0079】
先述のステップ102の処理の後、若しくは取引選択画面から入金取引等の取引ボタンが顧客に選択されると、又は取引ボタンが選択された後、正面誘導部53は、顧客をカメラ正面に向かせるために、LED17を点灯させる(S201)。なお、LED17は点滅しても良い。
【0080】
LED17を点灯後、画像処理部50Aは、先述のステップ103の処理と同様に顧客の顔撮影を行う(S202)。顧客の顔撮影開始直後、顔撮影中、又は顔撮影を行った後、LED17は消灯する。
【0081】
顔撮影後、認証部11は、先述のステップ106の処理を実行し、顔認証サーバ3による顔認証の結果の成否を判定する(S203)。認証部11は、顔認証サーバ3による顔認証が成功だった場合には、上述のステップ107以降の処理を実行し、一方、顔認証サーバ3による顔認証が失敗だった場合には、次のS204の処理を実行する。
【0082】
認証部11は、自動取引装置を利用する顧客を特定する情報の質問を操作表示部12に表示し、顧客からの入力を受け付ける(S204)。例えば、顧客を特定する情報の質問は、誕生日、ファーストネーム、電話番号、又は予め設定された秘密の質問(両親の一方の旧姓は何か等)である。
【0083】
認証部11は、通信部30を介して、顔認証サーバ3(質問事項に対する答えを保持するデータベースを備える)に、入力された情報が正しいか否かを問い合わせる(S205)。認証部11は、顔認証サーバ3から正答との返信がなされた場合には、本人確認がされたとみなして、上述のステップ107以降の処理を実行し、一方、誤答との返信がなされた場合には、顧客に再度質問の回答を促すか(上述のステップS204)、又は、取引を終了する。
【0084】
なお、質問事項に対する答えを自動取引装置1が保持している場合には、顔認証サーバ3に問い合わせる必要はなく、自動取引装置1が質問に対する回答により顧客の本人確認を行っても良い。
【0085】
(B-2-2)ステップS202の処理の変形例について
画像処理部50Aは、撮影を行う際に、操作表示部12に“撮影を開始する”、“撮影を開始するので顔を上げて下さい”、“撮影を開始するので照明の方を向いて下さい”等のメッセージ、又はこれらをアニメーション、静止画(又はアイコン)、動画化したものを表示しても良い。
【0086】
さらに、画像処理部50Aは、撮影中には、操作表示部12に“動かないでください”等のメッセージ又はこれらをアニメーション、静止画(又はアイコン)、動画化したものを表示又は音声出力と共に表示しても良い。
【0087】
上記の表示は、操作表示部12の任意の箇所に行っても良いが、なるべくカメラ13に向かって顔を上げやすくするために、画面の上部に表示するのが好ましい。また、上記メッセージ等を表示するデバイスは、操作表示部12ではなく、例えば、自動取引装置1の筐体の天板や天板上部又はカメラ13の近傍に別個のモニタを設けて、そのモニタに表示又は音声出力と共に表示しても良い。
【0088】
また、画像処理部50Aは、顧客の選択により複数回の顔撮影を行っても良い。画像処理部50Aは、再度撮影を行う際に、操作表示部12に“もう一度撮影します”等のメッセージ又はこれらをアニメーション、静止画(又はアイコン)、動画化したものを表示しても良い。
【0089】
(B-3)第2の実施形態の効果
第2の実施形態によれば、LED17が、顔撮影の際に顧客をカメラ13正の面に誘導させる機能を発揮するために、顔認証に適した顔画像を撮影することができる。そのため、第2の実施形態は、第1の実施形態で述べたものと同様の効果を奏する。
【0090】
(C)他の実施形態
上述した各実施形態においても種々の変形実施形態を言及したが、本開示は、以下の変形実施形態にも適用できる。また、本開示は、上述した第1又は第2の実施形態に記載の構成要素の全部又は一部を組み合わせた実施形態にも適用できる。
【0091】
(C-1)上述した各実施形態の自動取引装置において、顔周辺の照度不足を補うため、又は照度過大を軽減するために、例えば、自動取引装置1の操作表示部12近傍、LED17近傍又は自動取引装置1筐体の天板付近にLED照明(例えば、白色)を追加しても良い。なお、LED照明は、例えば、輝度調整する等によって上記操作表示部12が役割を果たしても良い。顧客が自動取引装置1の前に立った時点で、白色のLEDを点灯させる。そして、自動取引装置1は、顔撮影を実施する際に、照度過不足を判定し、LEDの照度を調整しても良い。
【0092】
(C-2)上述した各実施形態の自動取引装置1では、顔認証とPINにより、認証を行っていたが、PINの代わりに指紋又は手のひら静脈認証(又は、虹彩認証、声帯認証など)を用いても良い。また、自動取引装置1は、PIN入力を不要とし顔認証で本人確認を行っても良い。顔認証のみで本人確認を行う場合、PINを入力する入力部は備えなくても良い。
【0093】
(C-3)上述した各実施形態の認証システム5では、顔認証サーバ3により、顔認証を行う例を示したが、自動取引装置1が、予め顧客の顔画像データを記憶部20に記憶し、自動取引装置1内で、撮影画像と記憶データとを比較して本人確認を行っても良い。
【0094】
(C-4)上述した各実施形態の取引では、顧客はカードを使用しない場合を例に挙げて説明した。しかしながら、かかる例に限定されず、カードを使用する場合であっても良い。つまり、自動取引装置1には、図14に示すように、顧客のカードの磁気ストライプ及び/又はICチップから顧客に関する情報を読むカード処理部90が備わっており、顧客はカードインタフェースに、カードを投入、かざす、若しくは上下又は左右方向にスライド(又はスワイプ)する。上記カードインタフェースは、例えば、カード投入口やカードを搬送するカード搬送手段やカードから顧客情報を読む手段等を有する場合や、顧客がかざしたカードから非接触に無線通信により顧客情報を読む無線通信手段を有する場合や、及び/又は顧客がスライド(又はスワイプ)したカードから顧客情報を読む手段を有する場合が考えられる。顔認証の前後又は顔認証中に、顧客のカードから顧客情報を読み、顧客情報を利用し顔認証を行う、及び/又は、顧客情報を利用して本人確認(PIN入力、生体認証)しても良い。なお、顧客情報には顔認証や静脈認証等に必要な生体情報が含んでも良い。また、顧客情報に生体情報が含まない場合は、当該顧客情報を利用して自動取引装置1又は外部装置(サーバ等)が当該生体情報を取得しても良い。
【0095】
(C-5)上述した各実施形態の取引では、顧客により取引が選択される場合を例に挙げて説明したが、かかる例に限定されず、例えば、店員又は係員(オペレータ)により支払、決済、または精算などの取引が選択される場合でも良く、かかる場合、画像処理装置は、例えば、POSレジ、セミセルフ機、セルフ機、又は券売機等に適用される。POSレジ、セミセルフ機の場合、店員又は係員によりPOSレジで取引又は顧客の本人確認が選択されると、POSレジのカメラ又はPOSレジに接続するセミセルフ機のカメラで顧客の顔撮影が行われる。なお、セミセルフ機が画像処理装置として顧客の顔撮影を行う場合、POSレジにおける店員又は係員からの取引又は顧客の本人確認の選択は、セミセルフ機の通信部において受信される。また、画像処理装置が、例えばセルフ機又は券売機等に適用される場合、顧客により取引が選択され、顧客の顔撮影が行われる。
【0096】
(C-6)上述した各実施形態の顔認証では、顧客の顔を撮影する場合を例に挙げて説明したが、かかる例に限定されず、例えば、免許証、パスポート、またはマイナンバーカード等の顔画像を撮影する場合、又は、顔の特徴情報など顔認証に必要な顧客の顔情報を有する2次元バーコードを撮影する場合でも良い。また、上述した各実施形態の顔認証では、顧客の顔の撮影により生成される顔画像と、カード又は顔認証サーバ3等に登録済の顔認証に必要な画像データ又は生体情報(指紋情報、顔の特徴情報等)を基に認証が行われる場合を例に挙げて説明したが、かかる例に限定されず、例えば、上記顧客の顔の撮影により生成される顔画像と、免許証、パスポート、若しくはマイナンバーカードの写真から撮影された顔画像を基に認証が行われる場合でも良い。かかる場合、例えば、第1の撮影で、顧客の顔の撮影が行われ、第2の撮影で、上記免許証等の媒体の顔画像の撮影が行われるが、上記第1の撮影と第2の撮影の順番は逆でも良い。または、スマートフォン等の携帯端末に表示される上記顔の特徴情報がコード化されたコード情報が撮影され、当該撮影されたコード情報と、顧客の顔を撮影した顔画像を基に認証が行われる場合でも良い。または、上記撮影の代わりに、例えば、上記免許証、パスポート、マイナンバーカードのICチップ又は携帯端末に記憶された上記顔画像データ又は上記生体情報が、通信部30を介して送信されても良い。
(C-7)上述した各実施形態の顔認証では、下位の自動取引装置1等の装置から受信した顔画像を基に顔認証サーバ3が顔認証する場合場合を例に挙げて説明したが、かかる例に限定されず、例えば、自動取引装置1又はPOSレジ、セミセルフ機、セルフ機、又は券売機等の下位装置が顔認証する場合でも良い。かかる場合では、顧客の顔を撮影した顔画像を基に認証するため、上記下位装置は上記登録済の顔認証に必要な画像データ又は生体情報(例えば、指紋情報、顔の特徴情報等があり得る)を記憶するか、又は、上記下位装置は、上記免許証、パスポート、マイナンバーカード、携帯端末、又は上位装置(顔認証サーバ3等)から上記顔画像データ又は上記生体情報を撮影又は通信により取得する。
【0097】
(C-8)上述した第2の実施形態では、自動取引装置1内部のカメラ13を用いて顧客の顔を撮影する例を示したが、例えば、図10に示すように外部のカメラを用いても良い。図10では、自動取引装置1を監視する監視カメラ200が示されている。監視カメラ200は、LED17と同様の機能を備える照明部201を備え、照明部201は、顧客への誘導手段として機能する。
【0098】
(C-9)上述した第1又は2の実施形態では、画像処理装置が適用される装置として、ATMを例に挙げて説明したが、第1の実施形態と同様に、顔認証を行う装置であれば良く、例えば、POSレジ、セミセルフ機、券売機等でも良い。
【0099】
また、これらの装置では、LEDの代わりに、パトランプを誘導手段として用いても良い。例えば、図11では、顧客の顔を撮影するカメラ301と、カメラ301の近傍に設置され、顧客の顔を撮影する際に、色を変えて点灯または点滅するパトランプ302が示されている。
【0100】
(C-10)上述した第2の実施形態では、顔撮影の際、カメラ13への誘導手段として、LED17を点滅させる例を示したが、誘導手段はこれに限定されるものではなく、その他にも、レーザー光やプロジェクトションマッピング等を適用することができる。例えば、自動取引装置1(カメラ13)が、スマートフォン等に表示されたQRコード(登録商標)(顧客の顔情報が2次元コード化された画像)を読み取って、顔認証する場合には、上記QRコード(登録商標)等のコードの撮影の際にレーザー光などの光を照射する。照射される光は、照射面として所定領域の大きさを有しても良い。照射された光の軸線上/照射面に上記コードの全部又は一部が入ると、カメラ13は上記コードを撮影することができる。したがって、例えば、顧客はカメラ13近傍のレーザー光に向かってスマートフォンを近づけて翳すことになる。
【0101】
(C-11)上述した第2の実施形態では、カメラ13の近傍に1個のLED17のみを備える例を示したが、図12に示すように複数個備えても良い。この場合には、顔撮影する際に、外側のLED17から順々に点灯し、最後にカメラ13の最近傍のLED17が点灯しても良い(これの点灯動作は繰り返し行っても良い)。また、LED17の代わりに、プロジェクションマッピングを用いて同様の点灯動作を行っても良い。
【0102】
(C-12)上述した第2の実施形態でも、第1の実施形態の変形例と同様に、自動取引装置1がハンドセットを備えて、画像ではなく音声による認証を行っても良い。
【0103】
(C-13)変形例として、自動取引装置1又はPOSレジ、セミセルフ機、セルフ機、又は券売機等に適用される画像処理装置は、上述した第1及び第2実施形態、(C-1)~(C-11)で述べた変形例の構成及び機能の全部又は一部を組み合わせて使用しても良い。
【0104】
(C-14)上述した各実施形態では、画像処理装置が適用される装置として、ATMを例に挙げて説明したが、例えば、顔認証を行う貸金庫又は夜間金庫(金庫ドア開錠管理装置)にも適用することができる。例えば、顧客が契約する金庫を使用するために、カメラを備える金庫ドア開錠管理装置に、先に述べたものと同様の音声誘導及び/又は画像誘導を供なった顔(又はQRコード(登録商標)等)の撮影を行い、撮影した画像を顔認証サーバ(認証用の顔データを記憶するデータベースを備える)に通知して顔認証を行う。金庫ドア開錠管理装置は、顔認証による本人確認後、顧客が契約する金庫を解錠しても良いし、金庫を解錠する鍵(カードキーを含む)を排出するか、又は顧客に鍵が取り出される状態にしても良い。また、金庫ドア開錠管理装置は、先に述べたものと同様に、顔認証に加えて、PIN入力によって本人確認を行っても良い。PINによって認証する場合には、金庫ドア開錠管理装置は、PINを入力する入力部を備える必要がある。また、金庫ドア開錠管理装置のカメラには、先に述べたような正面誘導手段としての照明部を備えても良い。
【0105】
さらに、上記で述べた例に限らず、変形例の金庫ドア開錠管理装置は、上述した第1及び第2実施形態、(C-1)~(C-11)で述べた変形例の構成及び機能の全部又は一部を組み合わせて使用しても良い。
【0106】
(C-15)さらに、上述した各実施形態では、自動取引装置1又はPOSレジ、セミセルフ機、セルフ機、又は券売機等に適用される画像処理装置が画像判定部51を備え、顧客の顔が撮影された顔画像が顔認証に適した顔画像であるか判定していたが、例えば、当該画像判定部51はホストコンピュータ2又は顔認証サーバ3に備わっても良い。かかる例では、上記画像処理装置の通信部30は、顧客の顔を撮影した顔画像データを、画像判定部51を備えるホストコンピュータ2又は顔認証サーバ3に送信し、顔状態判定結果データを受信する。ホストコンピュータ2又は顔認証サーバ3には、顔状態判定結果データ等のデータを送信/受信する通信部が備わる。顔状態判定結果データには、例えば、顧客誘導の要/否のフラグが設定されても良いし、顔画像の状態が良い/悪いのフラグが設定されても良いし、顔位置・顔向き等の各パラメータ値が設定されても良い。また、上記パラメータ値は、例えば、顧客誘導が必要な場合又は顔画像の状態が悪い場合に、顔状態判定結果データに設定されても良い。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13A
図13B
図13C
図14