特許 7358956 自動取引装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-02

(45)【発行日】2023-10-11

(54)【発明の名称】自動取引装置

(51)【国際特許分類】

   G07D 11/60 20190101AFI20231003BHJP

【ＦＩ】

G07D11/60

【請求項の数】 8

(21)【出願番号】P 2019222971

(22)【出願日】2019-12-10

(65)【公開番号】P2021092952

(43)【公開日】2021-06-17

【審査請求日】2022-08-09

(73)【特許権者】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】110001025

【氏名又は名称】弁理士法人レクスト国際特許事務所

(72)【発明者】

【氏名】貫 彰太

【審査官】平野 貴也

(56)【参考文献】

【文献】特開２０１８－１３６７７０（ＪＰ，Ａ）

【文献】特開２００７－０１１８６５（ＪＰ，Ａ）

【文献】特開２０１８－１５１６８４（ＪＰ，Ａ）

【文献】特開２０１３－１０１６９５（ＪＰ，Ａ）

【文献】特開２０１５－１５３３２５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０７Ｄ １／００ － ３／１６，

９／００ － １３／００

Ｇ０７Ｆ ５／００ － ９／１０，

１９／００

Ｇ０７Ｂ １１／００ － １７／０４

Ｇ０７Ｇ １／００ － ５／００

Ｇ０６Ｆ ３／０１，

３／０４８－ ３／０４８９５

(57)【特許請求の範囲】

【請求項1】

利用者の操作を受け付け利用者へ情報を表示する画面を有するインターフェイス部を有する自動取引装置であって、
利用者の顔を含む身体の一部を撮像して撮像データを生成する撮像部と、
前記撮像データに基づいて利用者の感情を認識して感情データを生成する感情認識人工知能部と、
前記感情データに基づいて前記利用者のネガティブな感情の有無の結果を判定する制御部と、
サーバに通信可能な通信部と、を有し、
前記制御部は、前記ネガティブな感情結果が有と判定した時、前記ネガティブな感情結果に対応するサポートが必要か否かのメッセージを前記インターフェイス部の前記画面へ出力し、
前記制御部は、前記サポートが必要である入力情報が入力された場合、前記ネガティブな感情結果が判別された時の操作段階の画面情報及び前記ネガティブな感情結果に対応する質問データの要求を、前記通信部を介して前記サーバに送信する
ことを特徴とする自動取引装置。

【請求項2】

前記制御部は、前記サーバが送信して前記通信部を介して受信する前記ネガティブな感情結果に対応する質問データを、前記ネガティブな感情結果に対応するメッセージとして前記インターフェイス部の前記画面へ出力する
ことを特徴とする請求項１に記載の自動取引装置。

【請求項3】

オペレータ端末に通話可能な自動呼出電話部を備え、前記制御部は、前記ネガティブな感情結果に対応するメッセージには前記質問データに該当するものが無い該当なしの選択肢を含ませ、前記自動呼出電話部の受話器を取ることを促すメッセージを前記インターフェイス部の前記画面へ出力する
ことを特徴とする請求項２に記載の自動取引装置。

【請求項4】

前記制御部は、前記該当なしの選択肢を含む前記メッセージの表示後、前記自動呼出電話部の受話器が持ち上げられる場合、前記オペレータ端末と通話確立させる
ことを特徴とする請求項３に記載の自動取引装置。

【請求項5】

利用者の操作を受け付け利用者へ情報を表示する画面を有するインターフェイス部を有する自動取引装置であって、
利用者の顔を含む身体の一部を撮像して撮像データを生成する撮像部と、
前記撮像データに基づいて利用者の感情を認識して感情データを生成する感情認識人工知能部と、
前記感情データに基づいて前記利用者のネガティブな感情の有無の結果を判定する制御部と、
前記ネガティブな感情結果に対応する操作段階の画面情報及び前記ネガティブな感情結果に対応する質問データを記憶する記憶部と、を有し、
前記制御部は、前記ネガティブな感情結果が有と判定した時、前記ネガティブな感情結果に対応するサポートが必要か否かのメッセージを前記インターフェイス部の前記画面へ出力し、
前記制御部は、前記サポートが必要である入力情報が入力された場合、記憶されている前記操作段階の画面情報及び前記ネガティブな感情結果に対応する質問データを、前記ネガティブな感情結果に対応するメッセージとして前記インターフェイス部の前記画面へ出力する
ことを特徴とする自動取引装置。

【請求項6】

オペレータ端末に通話可能な自動呼出電話部を備え、前記制御部は、前記ネガティブな感情結果に対応するメッセージには前記質問データに該当するものが無い該当なしの選択肢を含ませ、前記自動呼出電話部の受話器を取ることを促すメッセージを前記インターフェイス部の前記画面へ出力する
ことを特徴とする請求項５に記載の自動取引装置。

【請求項7】

前記制御部は、前記該当なしの選択肢を含む前記メッセージの表示後、前記自動呼出電話部の受話器が持ち上げられる場合、前記オペレータ端末と通話確立させる
ことを特徴とする請求項６に記載の自動取引装置。

【請求項8】

前記利用者の前記操作が振り込み操作の場合において前記制御部は前記ネガティブな感情結果を分析した場合は振り込め詐欺注意喚起のメッセージを前記インターフェイス部の前記画面へ出力する
ことを特徴とする請求項１乃至７の何れか一項に記載の自動取引装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自動取引装置に関する。

【背景技術】

【0002】

自動取引装置には、金融機関の現金自動預け払い機（ＡＴＭ：Automated Teller Machine）や現金自動支払い機（ＣＤ：Cash Dispenser）等が知られている。自動取引装置は、銀行等の金融機関の支店やコンビニエンスストア等の店舗や駅等の交通機関の施設に設置されている。利用者は、自動取引装置のインターフェイス部の表示画面に応じて入力キーやタッチパネルで各種操作を行うことにより、入金、出金、振込及び残高照会等の取引を行うことができる。

【0003】

一般に、自動取引装置には自動呼出電話が配置されている。自動呼出電話は、利用者が自動呼出電話の受話器を上げることでオペレータ等の特定の相手を呼び出してオペレータが利用者の問い合わせ（課題）に対応できる応対システムとして、知られている（特許文献１）。

【0004】

また、ロボットが、顧客の状況又は自動処理機の処理状態に応じて、顧客に適切な自動処理機の操作ガイダンスを行うスシステムが知られている（特許文献２）。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００１－３４８１２号公報

【文献】特開２０１７－８７４１１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１の自動取引装置システムでは、利用者からの受話器を取るといった行動がなければ、利用者の課題に対応することができない。そのため、利用者からの発信がなければ利用者の対応や課題解決をすることができないという問題点がある。

【0007】

特許文献２の操作ガイダンスシステムにおいて、ロボットが備える撮像部で撮像された顧客の撮影顔撮像データと、記憶部に記憶されている顔撮像データと人間の感情とを関連付けた感情データと、に基づいて推定して認識、或いは、顧客の表情を認定し又撮影した顧客の顔撮像データから顧客の感情を推定して認識している（段落００６２、０１５０）けれども、広告表示時の顧客の表情、発される声から認識した感情や表情のデータと、当該顧客の年齢性別推定結果のデータを所定のデータベースに記憶して、記憶された情報は、例えば、当該広告が関係するマーケティングに活用される（段落０１５１）だけであり、操作ガイダンスには認識した顧客の感情が何ら反映されていない問題がある。移動ロボットが広い空間を要する問題がある。

【0008】

本発明は上記した問題に鑑みなされたものであり、自動取引装置のインターフェイス部前における利用者の様々な顔の表情に基づく感情を利用して、様々な操作段階での助言や誘導が可能な自動取引装置を提供することを課題の１つとする。また、本発明の感情判定の他の目的として、例えば、利用者の自動取引装置の操作についての間違いや戸惑いを解消するサポートを提供することである。

【課題を解決するための手段】

【0009】

本発明の自動取引装置は、利用者の操作を受け付け利用者へ情報を表示する画面を有するインターフェイス部を有する自動取引装置であって、
利用者の顔を含む身体の一部を撮像して撮像データを生成する撮像部と、
前記撮像データに基づいて利用者の感情を認識して感情データを生成する感情認識人工知能部と、を有し、
前記感情データに対応する操作段階で前記感情データから判別された所定の感情データに対応するメッセージを前記インターフェイス部の前記画面へ出力する
ことを特徴とする。

【発明の効果】

【0010】

本発明によれば、カメラを備えたコンパクトな自動取引装置において、撮像データに基づく利用者の前記感情データに対応する操作段階で前記感情データから判別された所定の感情データに対応するメッセージを前記インターフェイス部の前記画面へ出力するので、様々な操作について利用者に助言や誘導が可能であり、自動取引装置の操作についての間違いや戸惑いを解消するサポートを利用者に提供することができる。

【図面の簡単な説明】

【0011】

【図1】本発明による実施例の自動取引装置を示す概略斜視図である。

【図2】本実施例の自動取引装置を含む監視システムの構成例の一例を示す概略説明図である。

【図3】本実施例に関わる自動取引装置における利用者が「キャッシュカード」で金銭を振込む取引を行う場合の操作の流れを示すフロー図である。

【発明を実施するための形態】

【0012】

以下、図面を参照しつつ本発明による実施例の現金を扱う自動取引装置（以下、ＡＴＭともいう）の例について説明する。なお、本発明は以下の実施例に限定されるものではない。なお、実施例において、実質的に同一の機能及び構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0013】

（ＡＴＭの構成）
図１に示すように、ＡＴＭには、その前面側に利用者が対峙した状態で取引操作等をしやすいインターフェイス部ＩＦが設けられている。インターフェイス部ＩＦは、利用者との間で取引に関する情報の伝達や操作指示の受付を行う機能を有する。インターフェイス部ＩＦには、撮像部であるカメラ１と、操作表示部２と、通帳や払込票等の紙媒体を入出力する紙媒体入出口３ａを有する紙媒体処理部３と、紙幣や硬貨を入出する現金入出金口４ａを有する現金処理部４と、カード入出口５ａ及びレシート発行口５ｂを有するカードリーダレシートプリンタ部５と、自動呼出電話部（図示せず）の受話器６ａとが設けられている。

【0014】

また、ＡＴＭには該インターフェイス部ＩＦの他に、図２に示すように、ＡＴＭの動作を制御するためのプログラムが格納されている記憶部７と、記憶部７に格納されているプロクラムをＣＰＵ（Central Processing Unit）が実行することによりＡＴＭの各機能部の動作を制御する制御部８と、感情認識人工知能部９と、受話器６ａの主装置の自動呼出電話部６と、を備えている。

【0015】

カメラ１は、動画や静止画の撮像データを取得する機能を有する。カメラ１自体は利用者の顔全体が撮影でき認識できる位置に配置される。例えば、カメラ１は、利用者の顔を含む身体の一部の画像やＡＴＭの周囲の画像を含むＡＴＭ周辺画像を取得することができる。カメラ１は、ＡＴＭの操作表示部２上の例えば、後方確認ハーフミラー（図示せず）の背後側の筐体内部に、外部からは見えないように実装されていてもよい。

【0016】

操作表示部２は、制御部８から命令された取引の為の操作画面を表示して、取引の種類の選択や暗証番号や取引金額等の入力を可能とするタッチパネルである。操作表示部２は、利用者からの選択や入力を受け付けて、指示内容を制御部８に伝達するとともに、制御部８から利用者へ各種情報の確認や、選択入力等の操作画面を表示する。タッチパネルは、液晶ディスプレイ等の画像表示装置とタッチパッド等の位置入力装置を組み合わせた電子部品であり、画面上の表示を触れることで画面位置の情報を感知して制御部８に伝達する。制御部８の制御に基づき、操作表示部２の操作画面（以下、単に画面ともいう）には、初期画面として、例えば、取引種類である「入金」、「出金」等が表示される。そして、利用者は、制御部８の制御に基づき表示される様々な操作段階の画面において、希望する操作のボタン等の表示部分に触れることにより取引が進行する。

【0017】

紙媒体処理部３は、払込票、通帳等の紙媒体を紙媒体入出口３ａから取り込み、制御部８の制御に基づき、当該紙媒体の処理を行い、これを紙媒体入出口３ａから排出する。紙媒体処理部３の通帳処理機能としては、利用者から挿入された通帳における磁気ストライプデータの読取りと書込みを行い、取引内容（記帳データ）に関する記帳印字を行う。紙媒体処理部３の払込票処理機能としては、利用者から通帳出入口に挿入された払込票の光学的読取りを行い、又は必要があれば印字を行う。

【0018】

現金処理部４は、制御部８の制御に基づき、現金の入出金に関する処理（現金入出金口４ａから現金の搬送や格納、現金の真偽や金種の判別等）を行い、現金を現金入出金口４ａから排出することができる。

【0019】

カードリーダレシートプリンタ部５は、制御部８の制御に基づき、利用者からカード入出口５ａへ挿入されたキャッシュカード等のカード媒体に記録されている利用者識別情報（例えば、氏名、口座番号等）を読取り、利用者を認識する機能を有する。カードリーダレシートプリンタ部５は、当該カード媒体に記録されているデータの読み取りと書き込みを行うこともできる。カードリーダレシートプリンタ部５は、制御部８から供給された取引明細プリント信号に応じて、当該信号にて表される取引結果を明細票用紙に印刷して、これをレシート発行口５ｂから排出する。

【0020】

図２に示すように監視システム内の自動取引装置（ＡＴＭ）、サーバ１１、オペレータ室１２のオペレータ端末１２ａは全て通信網ＮＷに接続され、通信網ＮＷを介して各々が制御／情報データや音声データを伝達することができる。自動呼出電話部６は、受話器６ａを介して音声を出力する機能及び音声情報を取得する機能を有する。自動呼出電話部６は、その受話器６ａを利用者が持ち上げるだけで、自動的に所定の相手を呼び出す通信装置である。自動呼出電話部６の受話器６ａを上げると、例えば、自動呼出電話部６は、ＡＴＭを管理するオペレータ室１２を呼び出し、利用者は受話器６ａとオペレータ端末１２ａを介してオペレータと通話可能になる。なお、自動呼出電話部６は、受話器６ａを介して操作の音声ガイダンスのアナウンスを利用者に流す機能を備えることができる。

【0021】

感情認識人工知能部９はカメラ１と制御部８に接続され、カメラ１からの映像より利用者の顔等の筋肉の動きや視線の動きにより感情を分析し、喜び・驚き・恐怖・怒り・嫌悪・悲しみ・軽蔑・満足・困惑・興奮・罪悪感・納得感・焦り等の分析結果の感情を抽出する。その分析結果を制御部８に伝達する。すなわち、感情認識人工知能部９は、カメラ１で撮像した利用者の顔の表情の撮像データに基づいて感情解析を実行して感情データを生成し、これを制御部８へ出力する。なお、感情認識人工知能部９は制御部８におけるＣＰＵやメモリ（ＲＯＭ、ＲＡＭ、ＨＤＤ等）内で、メモリ搭載のプログラムに基づいてＣＰＵとメモリの協働により、感情データに基づく感情判定処理を行うように構成されていてもよい。感情認識ソフトウェアプログラムは、例えば、装置に設けられる記憶部７に予め格納され、各プログラムは、例えば、実行時にＲＡＭに読み込まれ、ＣＰＵにより実行される。感情認識ソフトウェアプログラムとしてはMicrosoft社のFace API、Affectiva社のAffdex等が挙げられる。制御部８は、受信した分析結果（感情データ）において、判別された所定の感情データである「困惑」や「焦り」（以下、これらを単に「困惑」ともいう）といった利用者がサポートを必要としているネガティブ感情結果の有無を検出する。これを、感情認識人工知能部９と制御部８とによる感情判定ステップという。

【0022】

通信部１０は、有線又は無線により他の情報処理装置（通信網ＮＷを介してサーバ１１やオペレータ室１２のオペレータ端末１２ａと通信する）との間でデータの送受信を行うための通信モジュールである。通信部１０は利用者の感情分析結果や通話確立要求、通話切断要求、画面操作データ等をサーバ１１に伝達する。また、サーバ１１より主要な質問事項のメッセージを受信し、制御部８に伝達する。例えば、通信部１０は、ＬＡＮ（Local Area Network）や電話回線等に接続されており、通信網ＮＷを介してオペレータ端末１２ａやサーバ１１と通信する。通信部１０は、ＡＴＭで行われた処理に関する情報を、通信網ＮＷを介してサーバ１１と送受信している。通信網ＮＷは、接続されている通信部１０から送信される情報の有線又は無線の伝送路である。例えば、通信網ＮＷは、公衆回線網（インターネット、電話回線網、衛星通信網）を含んでもよいし、各種のＬＡＮを含んでもよいし、ＷＡＮ（Wide Area Network）を含んでもよい。また、通信網ＮＷは、ＩＰ－ＶＰＮ（Internet Protocol-Virtual Private Network）等の専用回線網を含んでもよい。

【0023】

本実施例にて使用する構成要素は主に、カメラ１、操作表示部２、感情認識人工知能部９、制御部８、自動呼出電話部６、通信部１０であるので、以下では便宜上、これら要素以外の構成については詳細な説明を省略して、感情判定ステップと困惑対応処理ステップを説明する。

【0024】

図２に示すように自動取引装置（ＡＴＭ）、サーバ１１、オペレータ室１２のオペレータ端末１２ａは全て通信網ＮＷに接続され、通信網ＮＷを介して各々が制御／情報データや音声データを伝達する。

【0025】

Ａ：自動取引装置（ＡＴＭ）の感情判定ステップ
或る取引の１つの操作段階の画面が表示されている状態（当該操作段階の画面情報を含んでいる状態）における利用者の顔の表情を撮像したカメラ１からの映像より、感情認識人工知能部９が利用者の感情を分析して感情データを生成し、分析結果を制御部８に伝達する。制御部８にて分析結果（感情データ）を受信した際に、「困惑」や「焦り」といった利用者がサポートを必要としている感情結果の有無を検出する（困惑の感情判定）。以上の感情認識人工知能部９と制御部８とによる処理が感情判定ステップである。

【0026】

Ｂ：自動取引装置（ＡＴＭ）での困惑対応処理ステップの開始初段
感情判定ステップの後、制御部８は当該必要としている感情結果が無と判定すると、次の段階の画面を操作表示部２に表示させる。感情判定ステップの後、制御部８は当該必要としている感情結果が有（すなわち、困惑）と判定すると、制御部８より操作表示部２にサポートが必要か否かのメッセージ出力を指示する。利用者が操作表示部２の画面のメッセージに対してサポートが「必要」の入力を画面より入力する場合、操作表示部２より入力情報が制御部８に伝達される。サポート要求有「要」の時、制御部８は通信部１０を介してサーバ１１に、現状の画面情報（現状の操作段階の画面情報）と共に質問データの要求を送信する。かかる制御部８による質問データの要求送信の処理が困惑対応処理ステップの開始初段である。利用者の「サポート不要」入力の場合、制御部８はそのまま処理を続行する（次の段階の画面を表示させる）。

【0027】

Ｃ：サーバ１１での困惑対応処理ステップの開始中段
サーバ１１は通信部１０からの信号を受信してから現状の画面情報に対する質問データを通信部１０に送信する。かかるサーバ１１による質問データの送信の処理が困惑対応処理ステップの開始中段である。

【0028】

Ｄ：自動取引装置（ＡＴＭ）での困惑対応処理ステップの開始終段
通信部１０はサーバ１１からの質問データを受信し制御部８に伝達する。制御部８は受信した質問データを操作表示部２に出力するように指示する。操作表示部２は制御部８からの質問データ（選択肢）を画面に出力し、利用者に、どの質問が該当するか又は無いかの入力を促す。これによって、操作表示部２、制御部８、通信部１０、サーバ１１の間のデータやりとりにて利用者のサポートを開始する。利用者は画面に出力された質問（選択肢）に該当するものが無い場合は、画面の「該当なし」を入力する。この場合、操作表示部２は制御部８に「該当なし」が入力されたことを伝達する。制御部８は操作表示部２に受話器６ａを取ることを促す受話器メッセージを出力する指示を出し、操作表示部２は当該受話器メッセージを表示する。かかるＡＴＭによる質問データの送信の処理が困惑対応処理ステップの開始終段である。

【0029】

Ｅ：自動取引装置（ＡＴＭ）での困惑対応処理ステップの利用者サポートの１段階
利用者は当該受話器メッセージを見ることで受話器６ａを持ち上げると、受話器６ａが持ち上げられたことを自動呼出電話部６が検出し制御部８に伝達する。これにより制御部８は通信部１０を介してサーバ１１にオペレータとの通話接続を要求する。

【0030】

Ｆ：サーバ１１での困惑対応処理ステップの利用者サポートの２段階
通話接続要求を受信するサーバ１１は空きのあるオペレータ端末１２ａと自動取引装置（ＡＴＭ）の受話器６ａとの通話を確立することで、これらの間で音声データの送受信が行われる。

【0031】

Ｇ：サーバ１１での困惑対応処理ステップの利用者サポートの３段階
通話確立と同時にサーバ１１は当該オペレータ端末１２ａに利用者が自動取引装置（ＡＴＭ）から受けていたサポート情報（現状の操作段階の画面情報）を送信する。当該オペレータ端末１２ａを介してオペレータは受信したサポート情報に基づき利用者の課題の対応を行う。

【0032】

以上のように、カメラ１及び感情認識人工知能部９を使用することで利用者の感情を分析し、画面からメッセージを出力することで自動取引装置（ＡＴＭ）から発信する利用者のサポートを実現できる。

【0033】

また、サーバ１１に主要な質問事項に対する対策方法を予め用意し画面に出力することでオペレータ端末１２ａに接続しなくても利用者の課題を自動取引装置にて解決できる効果が得られる。更に、自動取引装置（ＡＴＭ）の記憶部７に、感情データに対応する現状の操作段階の画面情報及び所定の感情データ「困惑」に対応する質問データを記憶して、当該所定の感情データに対応する質問データを、前記所定の感情データに対応するメッセージとしてインターフェイス部ＩＦの画面へ出力させれば、サーバ１１とオペレータ端末１２ａに接続しなくても利用者の課題をＡＴＭ自体にて解決できる効果が得られる。

【0034】

また、振り込み画面時に制御部８が「困惑」や「焦り」といった分析をした場合は画面に振り込め詐欺注意喚起のメッセージをインターフェイス部ＩＦの画面に出力させることで振り込み詐欺への対策を強化することも可能である。

【0035】

次に、利用者が「キャッシュカード」で振込む場合の本実施例のＡＴＭの操作の流れの一例を説明する。図３は本実施例に関わる自動取引装置における利用者が「キャッシュカード」で金銭を振込む取引を行う場合の操作の流れを示すフロー図である。

【0036】

ＡＴＭは、ステップＳ１として各構成要素を待機させることから操作を開始する。

【0037】

利用者がＡＴＭにて取引を始めるためにはインターフェイス部ＩＦの初期画面にて取引を選択する必要がある。制御部８が、カメラ１からの撮像データから利用者の動きがあるか否かを検知し（ステップＳ２）、動きを検知した時、感情検知を始める。そうでない場合はステップＳ１へ戻り再度動きが検知されるまでＡＴＭは待機する。本例の振込取引の場合、利用者は、初期画面の「お振り込み」ボタン表示を選択する。

【0038】

当該ボタン選択を検知してステップＳ３に進んだ場合は、「現金」及び「キャッシュカード」の選択ボタンが画面に表示される（振込方法選択画面）。この画面状態で、感情認識人工知能部９と制御部８は、当該選択の感情判定を行う（ステップＳ３）。

【0039】

次に、判定ステップＳ３の結果が困惑か否かを判定する（ステップＳ４）。制御部８が困惑あり「Ｙ」と判定した場合、ステップＳ５へ進み、困惑対応処理を行う。本例では利用者が現金振込するときは「現金」でなく「キャッシュカード」のボタンを押して利用者の口座から支払うことを選択する。よって、制御部８が困惑なし「Ｎ」と判定した場合、ステップＳ６へ進む。

【0040】

ステップＳ６に進んだ場合は、認証のため利用者に自分の暗証番号の入力を促す旨が画面に表示される（暗証番号入力画面）。利用者が暗証番号を入力する。この画面状態で、感情認識人工知能部９と制御部８は、当該入力の感情判定を行う（ステップＳ６）。

【0041】

次に、感情判定ステップＳ６の結果が困惑か否かを判定する（ステップＳ７）。制御部８が困惑あり「Ｙ」と判定した場合、ステップＳ８へ進み、困惑対応処理を行う。制御部８が困惑なし「Ｎ」と判定した場合、ステップＳ９へ進む。

【0042】

ステップＳ９に進んだ場合は、利用者に自分の電話番号の入力を促す旨が画面に表示される（電話番号入力画面）。電話番号はミスが発覚した場合、銀行から連絡するために使用される。利用者が電話番号を入力する。この画面状態で、感情認識人工知能部９と制御部８は、当該入力の感情判定を行う（ステップＳ９）。

【0043】

次に、感情判定ステップＳ９の結果が困惑か否かを判定する（ステップＳ１０）。制御部８が困惑あり「Ｙ」と判定した場合、ステップＳ１１へ進み、困惑対応処理を行う。制御部８が困惑なし「Ｎ」と判定した場合、ステップＳ１２へ進む。

【0044】

ステップＳ１２に進んだ場合は、「キャッシュカード」で振込む場合は利用者（自分）の口座名義が画面に表示される。（名前入力確認画面）。利用者が名前を確認する。この名前は利用者名でなくとも支払元が把握できる名前であればよい。この画面状態で、感情認識人工知能部９と制御部８は、当該確認の感情判定を行う（ステップＳ１２）。

【0045】

次に、感情判定ステップＳ１２の結果が困惑か否かを判定する（ステップＳ１３）。制御部８が困惑あり「Ｙ」と判定した場合、ステップＳ１４へ進み、困惑対応処理を行う。制御部８が困惑なし「Ｎ」と判定した場合、ステップＳ１５へ進む。

【0046】

ステップＳ１５に進んだ場合は、振込先の金融機関を選択したり、支店名を選択するための選択ボタンが画面に表示される（金融機関入力画面）。利用者がそれぞれの選択ボタン一覧の中から該当する金融機関名、支店名のボタンを押して、振込先の金融機関を選択し、支店名を選択する。この画面状態で、感情認識人工知能部９と制御部８は、当該選択の感情判定を行う（ステップＳ１５）。

【0047】

次に、感情判定ステップＳ１５の結果が困惑か否かを判定する（ステップＳ１６）。制御部８が困惑あり「Ｙ」と判定した場合、ステップＳ１７へ進み、困惑対応処理を行う。制御部８が困惑なし「Ｎ」と判定した場合、ステップＳ１８へ進む。

【0048】

ステップＳ１８に進んだ場合は、振込先の口座科目（口座種別）を選択するための選択ボタンが画面に表示される（口座科目選択画面）。利用者が選択ボタン一覧の中から該当する科目のボタンを押して、科目を選択する。この画面状態で、感情認識人工知能部９と制御部８は、当該選択の感情判定を行う（ステップＳ１８）。

【0049】

次に、感情判定ステップＳ１８の結果が困惑か否かを判定する（ステップＳ１９）。制御部８が困惑あり「Ｙ」と判定した場合、ステップＳ２０へ進み、困惑対応処理を行う。制御部８が困惑なし「Ｎ」と判定した場合、ステップＳ２１へ進む。

【0050】

ステップＳ２１に進んだ場合は、振込先の口座番号の入力を促す旨が画面に表示される（振込先口座番号入力画面）。利用者が振込先口座番号を入力する。この画面状態で、感情認識人工知能部９と制御部８は、当該入力の感情判定を行う（ステップＳ２１）。

【0051】

次に、感情判定ステップＳ２１の結果が困惑か否かを判定する（ステップＳ２２）。制御部８が困惑あり「Ｙ」と判定した場合、ステップＳ２３へ進み、困惑対応処理を行う。制御部８が困惑なし「Ｎ」と判定した場合、ステップＳ２４へ進む。

【0052】

ステップＳ２４に進んだ場合は、振込金額の入力を促す旨が画面に表示される（振込金額入力画面）。利用者が振込先口座番号を入力する。この画面状態で、感情認識人工知能部９と制御部８は、当該入力の感情判定を行う（ステップＳ２４）。

【0053】

次に、感情判定ステップＳ２４の結果が困惑か否かを判定する（ステップＳ２５）。制御部８が困惑あり「Ｙ」と判定した場合、ステップＳ２６へ進み、困惑対応処理を行う。制御部８が困惑なし「Ｎ」と判定した場合、ステップＳ２７へ進む。

【0054】

ステップＳ２７に進んだ場合は、振込内容の確認を促す旨が画面に表示される（振込確認画面）。キャッシュカード振込の場合は、振込内容の確認画面に切り替わり、利用者が内容に相違がなければ「確認」ボタンを押して、間違いがあれば「訂正」ボタンで修正するが、修正するステップへ戻る（ステップＳ２７）。

【0055】

次に、「確認」ボタンが選択されれば、完了の旨が画面に表示される。「キャッシュカード」で振込むときはこれで取引が完了し、振込明細書が出力される。

【0056】

本実施例によれば、撮像データに基づく利用者の表情の感情データに対応する操作段階（入力や選択や確認の操作画面状態）で前記感情データから判別された所定の感情データ「困惑」に対応するメッセージをインターフェイス部の画面へ出力するので、様々な操作段階について利用者に助言や誘導が可能であり、自動取引装置の操作についての間違いや戸惑いを解消するサポートを提供できる自動取引装置が得ることができる。

【符号の説明】

【0057】

１ カメラ
２ 操作表示部
３ 紙媒体処理部
４ 現金処理部
５ カードリーダレシートプリンタ部
６ 自動呼出電話部
７ 記憶部
８ 制御部
９ 感情認識人工知能部
１０ 通信部
１１ サーバ
１２ オペレータ室
１２ａ オペレータ端末
ＩＦ インターフェイス部

【図1】

【図2】

【図3】