(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-13
(45)【発行日】2024-02-21
(54)【発明の名称】情報処理装置、情報処理方法、及び、プログラム
(51)【国際特許分類】
G07C 9/37 20200101AFI20240214BHJP
G07C 9/25 20200101ALI20240214BHJP
G07C 9/38 20200101ALI20240214BHJP
G07C 9/27 20200101ALI20240214BHJP
G07C 9/22 20200101ALI20240214BHJP
【FI】
G07C9/37
G07C9/25
G07C9/38
G07C9/27
G07C9/22
(21)【出願番号】P 2022544906
(86)(22)【出願日】2020-08-24
(86)【国際出願番号】 JP2020031885
(87)【国際公開番号】W WO2022044086
(87)【国際公開日】2022-03-03
【審査請求日】2023-02-08
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100107331
【氏名又は名称】中村 聡延
(74)【代理人】
【識別番号】100104765
【氏名又は名称】江上 達夫
(74)【代理人】
【識別番号】100131015
【氏名又は名称】三輪 浩誉
(72)【発明者】
【氏名】入江 富美
(72)【発明者】
【氏名】吉村 義崇
(72)【発明者】
【氏名】新粥 美涼
(72)【発明者】
【氏名】小久保 帆夏
(72)【発明者】
【氏名】田村 武夫
(72)【発明者】
【氏名】則松 香威
(72)【発明者】
【氏名】出雲 謙一
【審査官】山本 裕太
(56)【参考文献】
【文献】特開2007-020669(JP,A)
【文献】特開2006-309562(JP,A)
【文献】特開2008-071158(JP,A)
【文献】国際公開第2018/110334(WO,A1)
【文献】特開2012-068864(JP,A)
【文献】特開2014-063493(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G07C 1/00 - 15/00
G06Q 10/00 - 10/30,
30/00 - 30/08,
50/00 - 50/20,
50/26 - 99/00
G16Z 99/00
G06T 7/00
G06V 40/00 - 40/16,
40/18 - 40/19,
40/30 - 40/70
A61B 5/06 - 5/22
(57)【特許請求の範囲】
【請求項1】
指紋読取装置を用いて対象の指紋を取得する指紋取得手段と、
前記対象の手元画像を取得する画像取得手段と、
前記手元画像に基づいて、前記対象が前記指紋読取装置に人差し指を置いているか否かを判定する指判定手段と、
前記対象が前記指紋読取装置に人差し指を置いていない場合に、アラートを出力するアラート手段と、
パスポート読取装置を用いてパスポート情報を取得するパスポート情報取得手段と、
前記パスポート情報に基づいて、前記対象に次の目的地を案内する情報を表示部に表示する目的地案内手段と、
を備える情報処理装置。
【請求項2】
前記アラート手段は、前記手元画像とメッセージとを含む画像を表示部に表示する請求項1に記載の情報処理装置。
【請求項3】
前記手元画像を表示部に表示するとともに、前記指紋読取装置に対して正しく人差し指を置いた状態を示すガイドハンドを前記手元画像に重畳して表示する表示制御手段を備える請求項1又は2に記載の情報処理装置。
【請求項4】
パスポート読取装置を用いてパスポート情報を取得するパスポート情報取得手段を備え、
前記アラート手段は、前記パスポート情報取得手段がパスポートから前記パスポート情報を読み取った後、前記パスポートが前記パスポー
ト読取装置上にある場合、前記パスポートを前記パスポート読取装置から取ることを促す置き忘れアラートを出力する請求項1乃至3のいずれか一項に記載の情報処理装置。
【請求項5】
前記パスポート情報取得手段によるパスポート情報の読み取りに続いて、前記対象の顔認証を行う顔認証手段を備え、
前記指紋取得手段は、前記顔認証に続いて前記対象の指紋を取得し、
前記アラート手段は、前記顔認証の終了後、及び、前記指紋の取得後に、前記置き忘れアラートを表示する請求項4に記載の情報処理装置。
【請求項6】
前記情報処理装置の近傍の床に情報を投影するプロジェクタを備え、
前記目的地案内手段は、前記次の目的地を案内する情報を前記プロジェクタを用いて床に投影する請求項
1に記載の情報処理装置。
【請求項7】
前記目的地案内手段は、前記パスポート情報に基づいて決定した言語で前記次の目的地を案内する情報を投影する請求項
6に記載の情報処理装置。
【請求項8】
コンピュータにより実行される情報処理方法であって、
指紋読取装置を用いて対象の指紋を取得し、
前記対象の手元画像を取得し、
前記手元画像に基づいて、前記対象が前記指紋読取装置に人差し指を置いているか否かを判定し、
前記対象が前記指紋読取装置に人差し指を置いていない場合に、アラートを出力
し、
パスポート読取装置を用いてパスポート情報を取得し、
前記パスポート情報に基づいて、前記対象に次の目的地を案内する情報を表示部に表示する情報処理方法。
【請求項9】
指紋読取装置を用いて対象の指紋を取得し、
前記対象の手元画像を取得し、
前記手元画像に基づいて、前記対象が前記指紋読取装置に人差し指を置いているか否かを判定し、
前記対象が前記指紋読取装置に人差し指を置いていない場合に、アラートを出力
し、
パスポート読取装置を用いてパスポート情報を取得し、
前記パスポート情報に基づいて、前記対象に次の目的地を案内する情報を表示部に表示する処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この開示は、情報処理装置、情報処理方法、及び、記録媒体に関する。
【背景技術】
【0002】
出入国の審査では、審査官が渡航者の旅券の内容を確認するとともに、旅券に添付された顔写真と渡航者の顔とを比較して出入国の可否を判定する。審査官による審査を効率化するため、渡航者の顔画像を撮影し、渡航者の旅券の写真と照合する装置が提案されている(特許文献1、2を参照)。また、近年では、主として外国人入国者に対し、審査官による審査に先立ってパスポート情報、顔画像、指紋などを取得する装置が知られている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2002-008070号公報
【文献】特開2016-053896号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
この開示の1つの目的は、上述した先行技術文献に開示されている技術を改善することにある。
【課題を解決するための手段】
【0005】
この開示の一つの観点では、情報処理装置は、
指紋読取装置を用いて対象の指紋を取得する指紋取得手段と、
前記対象の手元画像を取得する画像取得手段と、
前記手元画像に基づいて、前記対象が前記指紋読取装置に人差し指を置いているか否かを判定する指判定手段と、
前記対象が前記指紋読取装置に人差し指を置いていない場合に、アラートを出力するアラート手段と、
パスポート読取装置を用いてパスポート情報を取得するパスポート情報取得手段と、
前記パスポート情報に基づいて、前記対象に次の目的地を案内する情報を表示部に表示する目的地案内手段と、を備える。
【0006】
この開示の他の観点では、情報処理方法は、
コンピュータにより実行される情報処理方法であって、
指紋読取装置を用いて対象の指紋を取得し、
前記対象の手元画像を取得し、
前記手元画像に基づいて、前記対象が前記指紋読取装置に人差し指を置いているか否かを判定し、
前記対象が前記指紋読取装置に人差し指を置いていない場合に、アラートを出力し、
パスポート読取装置を用いてパスポート情報を取得し、
前記パスポート情報に基づいて、前記対象に次の目的地を案内する情報を表示部に表示する。
【0007】
この開示のさらに他の観点では、記録媒体は、
指紋読取装置を用いて対象の指紋を取得し、
前記対象の手元画像を取得し、
前記手元画像に基づいて、前記対象が前記指紋読取装置に人差し指を置いているか否かを判定し、
前記対象が前記指紋読取装置に人差し指を置いていない場合に、アラートを出力し、
パスポート読取装置を用いてパスポート情報を取得し、
前記パスポート情報に基づいて、前記対象に次の目的地を案内する情報を表示部に表示する処理をコンピュータに実行させるプログラムを記録する。
【図面の簡単な説明】
【0008】
【
図1】第1実施形態に係る入国審査システムの全体構成を示す。
【
図4】情報処理装置の機能構成を示すブロック図である。
【
図5】管理サーバの機能構成を示すブロック図である。
【
図7】パスポート処理及び顔認証処理のフローチャートである。
【
図8】指紋採取処理及びEDカード処理のフローチャートである。
【
図19】管理サーバによる情報管理処理のフローチャートである。
【
図32】第2実施形態に係る情報取得処理のフローチャートである。
【
図33】第2実施形態の顔認証処理のフローチャートである。
【
図34】指紋採取時の入国者の指を判定するための構成を示す。
【
図35】指紋採取の指が正しくない場合のアラートの例を示す。
【
図36】第3実施形態に係る指紋採取処理のフローチャートである。
【
図37】ガイドハンドを表示した案内画像の例を示す。
【
図38】第5実施形態に係るパスポート処理のフローチャートを示す。
【
図39】パスポート置き忘れ検出処理のフローチャートである。
【
図40】第6実施形態によるパスポート処理のフローチャートである。
【
図41】第7実施形態に係る情報処理装置の外観構成を示す図である。
【
図42】プロジェクタにより情報を投影する例を示す。
【
図43】プロジェクタにより情報を投影する他の例を示す。
【
図44】第8実施形態に係る情報取得処理のフローチャートである。
【
図46】第9実施形態に係る情報処理装置の構成を示すブロック図である。
【
図47】第9実施形態による情報処理のフローチャートである。
【発明を実施するための形態】
【0009】
以下、図面を参照して、この開示の好適な実施形態について説明する。
<第1実施形態>
本実施形態の入国審査システムは、空港などに設置され、主として外国人の入国審査に使用される。外国人に対する入国審査は、基本的に個人識別情報の取得と、審査官による入国審査の2ステップで行われる。具体的に、外国人入国者は、飛行機を降りて入国審査エリアに入ると、まず、情報処理装置を操作して個人識別情報を提供する。次に、入国者は、審査官のいる審査ブースへ進み、審査官による審査を受ける。審査官による審査が完了すると、入国が許可される。
【0010】
[全体構成]
図1は、第1実施形態に係る入国審査システムの全体構成を示す。入国審査システム1は、複数の情報処理装置100と、管理サーバ200と、タブレット300と、PC5とを備える。情報処理装置100は、入国者Pの個人識別情報を取得するために設けられている。入国者Pは、外国人に限らず、入国を希望する人物全員を対象とすることができる。なお、入国者Pは、人間のみならず、犬、猫、蛇などの動物であっても構わない。これらの入国者Pは「対象」の一例である。個人識別情報は、顔画像と指紋を含む。情報処理装置100の付近には、コンシェルジュが待機しており、情報処理装置100の管理や操作の補助を行う。コンシェルジュには、担当する所定数の情報処理装置100が割り当てられている。コンシェルジュは、情報処理装置100の管理などを行う際に使用するタブレット300を所持している。なお、タブレット300は一例であり、情報処理装置100の管理を行える端末装置であれば、PC、スマートフォンなど、どのような端末を使用してもよい。なお、コンシェルジュに対して、補助業務を行う補助者(サポーター)が割り当てられている場合もあるが、本明細書では補助者も含めてコンシェルジュと呼ぶ。
【0011】
審査ブースには、審査官が待機しており、個人識別情報の提供を済ませた入国者Pに対する審査を行う。審査ブースには、審査官が使用するPC5が設置されている。審査官は、入国者Pの個人識別情報などをPC5に表示し、審査を行う。なお、
図1では便宜上1つの審査ブースのみを図示しているが、実際には複数の審査ブースが設置されている。
【0012】
管理サーバ200は、無線通信により、情報処理装置100及びタブレット300を管理、制御する。また、管理サーバ200は、審査官が使用するPC5と有線又は無線により通信する。具体的に、情報処理装置100は、入国者Pが情報処理装置100を操作することにより提供した情報を、管理サーバ200に送信する。管理サーバ200は、情報処理装置100から取得した情報を記憶するとともに、タブレット300及びPC5へ送信する。タブレット300は、情報処理装置100の操作状態を示す情報などを管理サーバ200から受信し、表示する。これにより、コンシェルジュは、自分が担当する情報処理装置100の状況を把握することができる。
【0013】
また、管理サーバ200は、入国者Pが情報処理装置100を操作して提供した個人識別情報を審査ブースのPC5へ送信する。審査官は、管理サーバ200から受信した入国者Pの個人識別情報をPC5に表示させ、その内容を見て審査を行う。なお、上記の例では、情報処理装置100、コンシェルジュのタブレット300及び審査ブースのPC5は管理サーバ200を介して情報を授受しているが、情報処理装置100とタブレット300の間、及び、情報処理装置100と審査ブースのPC5との間で、管理サーバ200を介さずに直接情報の授受を行う構成としてもよい。
【0014】
[情報処理装置]
次に、情報処理装置について説明する。
(外観構成)
図2は、情報処理装置100の外観を示す図である。情報処理装置100は、サーモセンサ115と、監視カメラ116と、タッチパネル117と、2つの顔認証カメラ118A、118Bと、パスポートリーダ119と、一対の指紋スキャナ120R、120Lと、一対の手元カメラ121R、121Lと、昇降機構122と、一対の移動用ハンドル131R、131Lと、ベース132と、移動用キャスター133と、バー134と、テーブル135とを備える。なお、以下の説明では、ペアで構成されている要素について、個々を特定する必要がない場合には添え字を省略して表記する。例えば、指紋スキャナ120R、120Rについて、いずれかを特定する場合は「指紋スキャナ120R」、「指紋スキャナ120L」などと表記し、いずれかを特定しない場合には単に「指紋スキャナ120」と表記する。
【0015】
サーモセンサ115は、情報処理装置100の最上部に設けられ、情報処理装置100に対する人物の接近を検知する。基本的に、サーモセンサ115が人物を検知していない状態では、情報処理装置100は待機(スリープ)状態となっている。入国者Pがサーモセンサ115の前に立つと、サーモセンサ115が入国者Pを熱源として検知し、情報処理装置100が起動する。また、後述するように、サーモセンサ115は、入国者Pの発熱を検知するためにも使用される。
【0016】
監視カメラ116も情報処理装置100の最上部に設けられており、情報処理装置100の前方の所定の範囲を斜め上から撮影する。監視カメラ116は、情報処理装置100の前にいる入国者Pの挙動などを撮影するために使用される。
【0017】
タッチパネル117は、情報処理装置100の前に立った入国者Pの上半身に相当する位置に設けられており、バー134に沿って上下方向に移動可能である。タッチパネル117は、入国者Pが情報処理装置100を操作する際の入力部及び表示部としての役割を有する。タッチパネル117には、入国者Pが情報処理装置100を操作する際に必要な案内情報が表示される。また、案内情報に対して入国者Pが何らかの選択を行う必要がある場合には、タッチパネル117に選択ボタンが表示される。
【0018】
タッチパネル117の上端には顔認証カメラ118Aが設けられ、下端には顔認証カメラ118Bが設けられている。基本的に、上側の顔認証カメラ118Aは背の高い人の顔画像を撮影するために使用され、下側の顔認証カメラ118Bは子供などの背の低い人の顔画像を撮影するために使用される。このように、撮影対象に応じて使用する顔認証カメラを選択することで、顔認証に適した画像(例えば、正面の顔画像)を撮影できる可能性が高くなる。なお、上側の顔認証カメラ118Aで背の低い人の顔画像を撮影しても構わないし、下側の顔認証カメラ118Bで背の高い人の顔画像を撮影しても構わない。また、複数の顔認証カメラを使用することにより、正面の顔画像だけでなく、様々な角度の顔画像を取得することが可能となる。
【0019】
なお、本実施形態のようにタッチパネル117をバー134に沿って上下方向に移動可能とした場合には、タッチパネル117の上下方向における中央付近に1つの顔認証カメラを設けることとしてもよい。また、
図2の例では、顔認証カメラ118A、118Bをタッチパネル117の上下の表示エリア外に設けているが、その代わりに、タッチパネル117の上にハーフミラーを設け、ハーフミラーの内側においての任意の位置に顔認証カメラを設けてもよい。このようにハーフミラーの内側に顔認証カメラを設けることで、入国者にカメラの存在を意識させることなく、顔画像を撮影することが可能となる。
【0020】
タッチパネル117の下方にはテーブル135が設けられている。テーブル135の上面には、パスポートリーダ119と、一対の指紋スキャナ120R、120Lとが設けられている。パスポートリーダ119は、パスポートリーダ119上に置かれたパスポート内のICチップから、無線通信により記録情報を読みとる。具体的には、パスポートリーダ119は、パスポートから国籍、氏名、生年月日、旅券番号などの身分事項、及び、パスポートの申請書に貼られた写真の顔画像など(以下、これらをまとめて「パスポート情報」とも呼ぶ。)を読み取る。指紋スキャナ120は、入国者Pの左右の手の人差し指の指紋を読み取る。指紋スキャナ120Rは右手用、指紋スキャナ120Lは左手用である。
【0021】
昇降機構122は、テーブル135を上下方向に移動させる。昇降機構122により、入国者Pの身長に合った高さ、即ち、入国者Pが指紋スキャナ120R、120Lに指を置きやすい高さにテーブル135を移動させることができる。また、昇降機構122は、タッチパネル117をバー134に沿って移動させる。なお、タッチパネル117をバー134に沿って移動させる機構はどのようなものでも良い。例えば、バーの前面にレールを設け、レール内を上下移動可能なスライダーにタッチパネル117に固定し、昇降機構122によりスライダーを上下移動させることにより、タッチパネル117を昇降させることができる。
【0022】
テーブル135の上方には、一対の手元カメラ121R、121Lが設けられている。手元カメラ121R、121Lは、入国者Pがパスポートリーダ119にパスポートを置いた状態や、指紋スキャナ120に左右の指を置いた状態などを撮影する。手元カメラ121Rは入国者Pの右手側、即ち、指紋スキャナ120R側を撮影し、手元カメラ121Lは入国者Pの左手側、即ち、指紋スキャナ120L側を撮影する。手元カメラ121は、タッチパネル117の下端に設けてもよく、タッチパネル117の背後の位置でバー134に設けてもよい。
【0023】
ベース132は、情報処理装置100の下端に設けられた筐体であり、内部には取り外し可能なバッテリーや予備バッテリーなどが収納される。情報処理装置100は、取り外し可能なバッテリーで電源供給されるため、コンセントが無い場所に移動して使用可能である。ベース132の下には移動用キャスター133が設けられ、テーブル135の下端には一対の移動用ハンドル131R、131Lが設けられている。コンシェルジュや他の作業者は、移動用ハンドル131を持って情報処理装置100を移動することができる。
【0024】
図3は、ベース132の内部構造を示す。
図3は、ベース132の前面パネルを外し、正面から内部を見た状態を示す。ベース132の中央には操作パネル152が設けられ、操作パネル152の左右のスペースにバッテリー151が設置される。バッテリー151は一方が使用中であり、もう一方が予備である。バッテリー151は、所定位置に置かれた状態で端子に電気的に接続され、充電が行われる。操作パネル152には、電源ボタン153と、昇降ボタン154、155とが設けられる。電源ボタン153は情報処理装置100の主電源のボタンである。昇降ボタン154、155は、それぞれ昇降機構122によりタッチパネル117及びテーブル135を昇降させるためのボタンである。
【0025】
また、操作パネル152は、各バッテリーに対応して、残量インジケータ156と、使用中ランプ157と、交換ランプ158と、充電中ランプ159を備える。残量インジケータ156は、バッテリーの残量を表示する。使用中ランプ157は、バッテリーが使用中であるときに点灯する。交換ランプ158は、バッテリーの交換が必要な場合に点灯する。充電中ランプ159は、バッテリーが充電中である場合に点灯する。
【0026】
(機能構成)
図4は、情報処理装置100の機能構成を示すブロック図である。図示のように、情報処理装置100は、通信部111と、プロセッサ112と、メモリ113と、記録媒体114とを備える。また、情報処理装置100は、
図2を参照して説明したサーモセンサ115、監視カメラ116、タッチパネル117、顔認証カメラ118、パスポートリーダ119、指紋スキャナ120、手元カメラ121及び昇降機構122を備える。
【0027】
通信部111は、外部装置との間でデータの送受信を行う。具体的に、通信部111は、管理サーバ200との間で情報を送受信する。また、情報処理装置100がタブレット300又は審査ブースのPC5と直接に通信可能な場合、通信部111はタブレット300又はPC5との間で情報を送受信する。
【0028】
プロセッサ112は、CPU(Central Processing Unit)などのコンピュータであり、予め用意されたプログラムを実行することにより、情報処理装置100の全体を制御する。なお、プロセッサ112は、GPU(Graphics Processing Unit)、FPGA(Field-Programmable Gate Array)、DSP(Demand-Side Platform)、ASIC(Application Specific Integrated Circuit)などであってもよい。具体的に、プロセッサ112は、後述するパスポート処理、顔画像処理、指紋採取処理、EDカード処理などの各種の処理を実行する。
【0029】
メモリ113は、ROM(Read Only Memory)、RAM(Random Access Memory)などにより構成される。メモリ113は、プロセッサ112による各種の処理の実行中に作業メモリとしても使用される。
【0030】
記録媒体114は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、情報処理装置100に対して着脱可能に構成される。記録媒体114は、プロセッサ112が実行する各種のプログラムを記録している。情報処理装置100が各種の処理を実行する際には、記録媒体114に記録されているプログラムがメモリ113にロードされ、プロセッサ112により実行される。
【0031】
[管理サーバ]
図5(A)は、管理サーバ200の機能構成を示すブロック図である。図示のように、管理サーバ200は、通信部211と、プロセッサ212と、メモリ213と、記録媒体214と、データベース215と、を備える。
【0032】
通信部211は、外部装置との間でデータの送受信を行う。具体的に、通信部211は、情報処理装置100、コンシェルジュが使用するタブレット300、及び、審査ブースのPC5との間で情報を送受信する。
【0033】
プロセッサ212は、CPUなどのコンピュータであり、予め用意されたプログラムを実行することにより、管理サーバ200の全体を制御する。なお、プロセッサ212は、GPU、FPGA、DSP、ASICなどであってもよい。具体的に、プロセッサ212は、情報処理装置100が入国者Pから取得した情報を受信してDB215に記憶したり、審査ブースのPC5へ入国者の情報を送信したりする。
【0034】
メモリ213は、ROM、RAMなどにより構成される。メモリ213は、プロセッサ212による各種の処理の実行中に作業メモリとしても使用される。
【0035】
記録媒体214は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、管理サーバ200に対して着脱可能に構成される。記録媒体214は、プロセッサ212が実行する各種のプログラムを記録している。管理サーバ200が各種の処理を実行する際には、記録媒体214に記録されているプログラムがメモリ213にロードされ、プロセッサ212により実行される。
【0036】
データベース215は、通信部211を通じて受信した入国者Pの個人識別情報や情報処理装置100の動作状態を示す情報などを記憶する。なお、管理サーバ200は、管理者などが指示や入力を行うためのキーボード、マウスなどの入力部、及び、液晶ディスプレイなどの表示部を備えていてもよい。
【0037】
[タブレット]
図5(B)は、コンシェルジュが使用するタブレット300の内部構成を示すブロック図である。図示のように、タブレット300は、通信部311と、プロセッサ312と、メモリ313と、タッチパネル314と、を備える。
【0038】
通信部311は、外部装置との間でデータの送受信を行う。具体的に、通信部311は、管理サーバ200との間で情報を送受信する。また、タブレット300が、情報処理装置100や審査ブースのPC5と直接通信可能である場合、通信部311は情報処理装置100及びPC5との間で情報を送受信する。
【0039】
プロセッサ312は、CPUなどのコンピュータであり、予め用意されたプログラムを実行することにより、タブレット300の全体を制御する。なお、プロセッサ312は、GPU、FPGA、DSP、ASICなどであってもよい。具体的に、プロセッサ312は、情報処理装置100の状態や入国者Pによる操作状況などを示す情報を管理サーバ200又は情報処理装置100から受信し、タッチパネル314に表示する。
【0040】
メモリ313は、ROM、RAMなどにより構成される。メモリ313は、プロセッサ312による各種の処理の実行中に作業メモリとしても使用される。タッチパネル314は、タブレット300を所持するコンシェルジュが担当する情報処理装置100の状態や入国者Pによる操作状況を示す情報を表示する。
【0041】
[情報処理装置の処理]
次に、情報処理装置100で実行される処理について説明する。
図6は、情報処理装置100で実行される情報取得処理のフローチャートである。この処理は、
図4に示すプロセッサ112が予め用意されたプログラムを実行することにより実現される。
【0042】
情報処理装置100は、入国者Pが操作していないときはスリープ状態となっており、サーモセンサ115で情報処理装置100の前方を検知している(ステップS1)。なお、情報処理装置100の「前方」とは、情報処理装置100を操作する入国者Pが立つ領域であり、例えば
図2の破線170で示す領域である。入国者Pが情報処理装置100の前に立つと、サーモセンサ115は入国者Pを検知し(ステップS1:Yes)、情報処理装置100はパスポート処理を実行する(ステップS10)。パスポート処理は、入国者Pのパスポートからパスポート情報を読み取る処理である。
【0043】
図7(A)は、パスポート処理のフローチャートである。具体的に、情報処理装置100は、パスポートリーダ119によりパスポートを検出する(ステップS11)。パスポートを検出できない場合(ステップS11:No)、情報処理装置100は、タッチパネル117に「パスポートを置いて下さい。」などのメッセージを表示する(ステップS12)。一方、パスポートを検出すると(ステップS11:Yes)、パスポートリーダ119は、パスポート内のICチップからパスポート情報を読み取る(ステップS13)。ここで、パスポート情報は、国籍、氏名、生年月日、旅券番号などの身分事項、及び、パスポートの申請書に貼られた写真から読み取った顔画像などを含む。次に、情報処理装置110は、読み取ったパスポート情報をメモリ113などに一時的に記憶する(ステップS14)。そして、処理は
図6のメインルーチンへ戻る。
【0044】
次に、情報処理装置100は、顔認証処理を実行する(ステップS20)。顔認証処理は、入国者Pの顔画像を撮影し、パスポート情報に含まれる顔画像と照合して顔認証を行う処理である。
図7(B)は、顔認証処理のフローチャートである。まず、情報処理装置100は、タッチパネル117に「顔画像を撮影します。」などのメッセージを表示する。また、必要に応じて、情報処理装置100は、撮影タイミングを示すカウントダウンの数字などを表示してもよい。次に、顔認証カメラ118は、入国者Pの顔画像を撮影する(ステップS22)。この際、情報処理装置100は、入国者Pの身長に応じて顔認証カメラ118Aの118Bのうちの一方を用いて入国者Pを撮影する。
【0045】
次に、情報処理装置100は、顔認証カメラ118で撮影した顔画像をメモリ113に一時的に記憶する(ステップS23)。次に、情報処理装置110は、顔認証カメラ118で撮影した顔画像と、パスポートから読み取ったパスポート情報に含まれる顔画像とを照合して顔認証を行い、認証結果をメモリ113に保存する(ステップS24)。そして、処理は
図6のメインルーチンへ戻る。
【0046】
次に、情報処理装置100は、指紋採取処理を実行する(ステップS30)。指紋採取処理は、入国者Pの指紋を採取する処理である。具体的に、指紋採取処理は、入国者Pの左右の手の人差し指の指紋を採取する。
図8(A)は、指紋採取処理のフローチャートである。まず、情報処理装置100は、タッチパネル117に指紋を採取するための案内画面を表示する(ステップS31)。例えば、情報処理装置100は、指紋スキャナ120に対する指の配置方法などを示す案内画像をタッチパネル117に表示する。次に、指紋スキャナ120R、120Lはそれぞれ入国者Pの人差し指の指紋を読み取り(ステップS32)、指紋画像をメモリ113に一時的に記憶する(ステップS33)。そして、処理は
図6のメインルーチンへ戻る。
【0047】
次に、情報処理装置100は、ED(Embarkation Disembarkation)カード処理を行う(ステップS40)。EDカードとは、渡航先の国に入出国する際に必要事項を記入するカードであり、入出国カードとも呼ばれる。EDカード処理は、入国者Pが事前登録したED情報を入国者Pのスマートフォンなどの端末装置から読み取る処理である。入国者PがED情報を事前登録すると、登録したED情報と関連付けされたQRコード(登録商標)が発行され、入国者Pはこれをスマートフォンに記憶している。
【0048】
図8(B)は、EDカード処理のフローチャートである。まず、情報処理装置100は、入国者PがED情報を事前登録済みであるか否かを尋ねる(ステップS41)。ED情報が事前登録済みで無い場合(ステップS41:No)、処理は終了する。一方、ED情報が事前登録済みである場合(ステップS41:Yes)、情報処理装置100は、入国者Pがスマートフォンなどに表示したQRコードを読み取る(ステップS42)。具体的には、入国者PはQRコードをスマートフォンに表示させ、パスポートリーダ119などにかざす。パスポートリーダ119は、スマートフォンからQRコードを読み取る。そして、情報処理装置100は、読み取ったED情報をメモリ113に一時的に記憶する(ステップS43)。そして、処理は
図6のメインルーチンへ戻る。
【0049】
なお、上記の例では、QRコードをパスポートリーダ119で読み取っているが、QRコードを顔認証カメラ118や手元カメラ121でも読み取れるようにしてもよい。また、情報処理装置100にICカードリーダを設け、入国者Pのスマートフォンと情報処理装置100との間で無線通信を行うことで登録済のED情報を入国者Pのスマートフォンから取得する構成としてもよい。
【0050】
次に、情報処理装置100は、ステップS10~S40で取得した個人識別情報を管理サーバ200へ送信する(ステップS50)。ここで、管理サーバ200へ送信される個人識別情報は、パスポート処理で取得したパスポート情報、顔認証処理で取得した顔画像及び顔認証結果、指紋採取処理で取得した指紋画像、及び、EDカード処理で取得したED情報を含む。このとき、情報処理装置100は、「審査ブースへ進んでください。」などのメッセージをタッチパネル117に表示し、入国者Pに審査ブースへ進むよう促す。
【0051】
[情報処理装置の表示例]
次に、上記の情報取得処理において情報処理装置100がタッチパネル117に表示する画像の例を説明する。なお、以下に示す表示例の順序は一例に過ぎず、表示する順序を任意に変更することが可能である。まず、入国者Pが情報処理装置100の前に来てサーモセンサ115が入国者Pを検知すると、情報処理装置100はタッチパネル117に
図9(A)に示す初期画像401を表示する。なお、初期画像401に含まれる言語選択ボタン481については後述する。
【0052】
次に、情報処理装置100は、パスポートスキャンの案内画像を表示する。具体的に、情報処理装置100は、
図9(B)~(D)に示す画像402~404を順に表示する。画像402~404はいずれもパスポートリーダ119にパスポートを置くことを求めるメッセージを含む。画像402はパスポートリーダの外観を示し、画像403はパスポートの外側面をパスポートリーダ119に重ねることを示し、画像404はパスポートの内側面をパスポートリーダ119に重ねることを示す。なお、画像402に含まれるヘルプボタン482、及び、画像404に含まれるリプレイボタン483については後述する。
【0053】
入国者Pがパスポートをパスポートリーダ119に重ねると、タッチパネル117には
図10(A)に示す読取中画像405が表示される。パスポートの読取が成功すると、
図10(B)に示すように、読取OKを示す画像406が表示される。一方、パスポートの読取が失敗すると、
図10(C)に示すように、読取NGを示す画像407が表示される。読取が失敗した場合、入国者Pはパスポートの読取操作をやり直す。
【0054】
パスポートの読取に成功すると、
図11(A)に示すように、顔撮影の案内画像410が表示される。情報処理装置100は、入国者Pの身長に応じて、上側の顔認証カメラ118Aと下側の顔認証カメラ118Bのいずれを使用するかを決定する。そして、情報処理装置100は、上側の顔認証カメラ118Aを使用する場合、
図11(B)に示す画像411を表示し、入国者Pに上側の顔認証カメラ118Aを見るように促す。一方、情報処理装置100は、下側の顔認証カメラ118Bを使用する場合、
図11(C)に示す画像412を表示し、入国者Pに下側の顔認証カメラ118Bを見るように促す。
【0055】
その後、顔認証カメラ118が顔画像の撮影を開始すると、
図12(A)に示す撮影中画像413が表示される。適正な顔画像が撮影された場合、
図12(B)に示す撮影OK画像414が表示される。一方、適正な顔画像が撮影できなかった場合、
図12(C)に示す撮影NG画像415が表示される。
【0056】
撮影NGの場合、情報処理装置100は、顔画像を正しく撮影するための案内情報を表示する。例えば、
図13(A)の画像416に示すように入国者Pの顔が撮影枠490内に収まっていない場合、情報処理装置100は入国者Pに撮影枠490内に入るように促すメッセージを表示する。ここで、情報処理装置100は、顔画像の撮影に使用する顔認証カメラ118に対応する位置にメッセージを表示する。具体的に、上側の顔認証カメラ118Aを使用して顔画像を撮影している場合、情報処理装置100は、
図13(A)の画像416に示すように、撮影枠490の上側にメッセージを表示する。一方、下側の顔認証カメラ118Bを使用して顔画像を撮影している場合、情報処理装置100は、
図13(B)の画像417に示すように、撮影枠490の下側にメッセージを表示する。また、2つの顔認証カメラ118を使用して顔画像を撮影している場合、情報処理装置100は、入国者の身長、画像416内における入国者の顔の位置、又は、顔画像に基づいて検知した入国者の視線の位置に応じてメッセージを表示する場所を適宜設定することができる。
【0057】
なお、顔画像の撮影がNGになる他の原因としては、入国者Pがカメラの方向を見ていないこと、入国者Pがサングラスやマスクをしていることなどが挙げられる。入国者Pが正しくカメラの方向を見ていない場合には、画像416又は417で「カメラの方向を見てください。」などのメッセージが表示され、入国者Pがサングラスやマスクをしている場合には、画像416又は417で「サングラス(又はマスク)を外して下さい。」などのメッセージが表示される。
【0058】
顔認証処理が終了すると、指紋採取処理が行われる。情報処理装置100は、まず、指紋の採取方法を説明する案内画像を表示する。具体的には、情報処理装置100は、
図13(C)、(D)に示す画像421、422を順に表示する。画像421は指紋スキャナを表示し、画像422は指紋スキャナに対する指の配置例を示す。続いて、情報処理装置100は
図14(A)に示す画像423を表示する。画像423では、手元カメラ121で撮影した左右の指紋スキャナ120付近の画像上に、左右の手の指の正しい配置を示すガイドハンド512が表示される。さらに、人差し指を指紋スキャナ120上に置くことを示す破線の円511が表示される。なお、リプレイボタン483については後述する。
【0059】
入国者Pが実際に指紋スキャナ120上に指を置くと、その様子が手元カメラ121で撮影される。情報処理装置100は、
図14(B)に示すように、手元カメラ121が撮影した入国者Pの手513を含む画像424を表示する。入国者Pは、画像424におけるガイドハンド512の位置を参照して、自分の手を正しい位置に配置する。
【0060】
入国者Pの指が接触すると、指紋スキャナ120は指紋の読取を開始し、
図14(C)に示す読取中画像425が表示される。指紋の読取が成功すると、
図14(D)に示す読取OK画像426が表示される。一方、指紋の読取が失敗すると、
図15(A)に示す読取NG画像427が表示される。指紋の読取が失敗する原因はいくつかある。例えば、入国者Pが指紋スキャナ120に片手しか置いていない場合、情報処理装置100は
図15(B)に示す画像428を表示する。画像428では、両手を指紋スキャナ120に置くことを求めるメッセージが表示される。
【0061】
指紋スキャナ120に対する指の位置がずれている場合、情報処理装置100は
図15(C)に示す画像429を表示する。画像429では、右手の位置がずれていることを示すメッセージが表示される。なお、画像429では、右手の指の位置がずれているが、左手の指の位置はずれていないため、右手の画像の下にのみ「位置ずれ」のメッセージが表示されている。仮に左手の指の位置のみがずれている場合、左手の画像の下にのみ「位置ずれ」のメッセージが表示される。また、両手の指の位置がずれている場合、両手の画像の下にそれぞれ「位置ずれ」のメッセージが表示される。なお、下側の顔認証カメラ118Bを用いて顔認証を行った場合は手の画像の下側にメッセージを表示し、上側の顔認証カメラ118Aを用いて顔認証を行った場合は手の画像の上側にメッセージを表示してもよい。また、指の位置が正しいか否かに応じて、ガイドハンド512の色や線の太さなどを変えてもよい。例えば、指が正しい位置に置かれるまでは第1の表示(例えば赤の点線)でガイドハンド512を表示し、指が正しい位置に置かれたら第2の表示(例えば緑の実線)でガイドハンド512を表示してもよい。
【0062】
指紋スキャナ120に対する指の押し付けが不足している場合、情報処理装置100は
図15(D)に示す画像430を表示する。画像430では、指紋スキャナ120に対する右手の人差し指の押し付けが不足していることを示すメッセージが表示されている。なお、この場合も、左右の指のうち、押し付け不足となっている方の画像の下にメッセージが表示される。こうして、情報処理装置100は、指紋の読取が失敗した理由をタッチパネル117に表示し、再度の指紋採取を促す。
【0063】
指紋採取処理が終了すると、EDカード処理が行われる。情報処理装置100は、まず、
図16(A)に示す画像441を表示し、事前登録したED情報を使用するか否かを入国者Pに尋ねる。画像411は、YESボタン531と、NOボタン532を含む。入国者PがNOボタン532を押すと、EDカード処理は終了する。一方、入国者PがYESボタン531を押すと、情報処理装置100はQRコードの読取操作の案内画像を表示する。具体的には、情報処理装置100は、
図16(B)~(D)の画像442~444を順に表示する。画像442は、事前登録済みのED情報に対応するQRコードをスマートフォンに表示させることを促す画像である。画像443は、QRコードの読取に使用するパスポートリーダ119を示す。画像444は、QRコードをパスポートリーダ119にかざす様子を示す。なお、画像444にはリプレイボタン483が表示されているが、これについては後述する。
【0064】
入国者PがQRコードをパスポートリーダ119にかざすと、QRコードの読取が開始し、
図17(A)に示す読取中画像445が表示される。QRコードが正しく読み取られると、
図17(B)に示す画像446が表示される。画像446は、事前登録したED情報と、入国者Pに修正の要否の確認を促すメッセージと、YESボタン541と、NOボタン542とを含む。入国者Pは、修正の要否に応じて、YESボタン541又はNOボタン542を押す。YESボタン541が押されると、画像446に対する入力が可能となり、入国者Pは必要な修正を行う。修正が無い場合又は修正が終了した場合、
図17(C)に示す確認画像447が表示される。確認画像447は、YESボタン543とNOボタン544を含む。入国者PがNOボタン544を押すと、
図17(B)に示す画像446に戻る。一方、入国者PがYESボタン543を押すと、
図17(D)のような終了画面448が表示され、情報取得処理は終了する。
【0065】
図9~17に例示した画像のうち、全ての画像又は任意の画像において、言語選択ボタン及びヘルプボタンを表示することができる。
図9(A)は、言語選択ボタン481が表示された画像の一例を示す。言語選択ボタン481が押されると、
図18(A)に示す画像451が表示され、入国者Pは情報処理装置100の操作において使用する言語を選択することができる。
【0066】
ヘルプボタンは、コンシェルジュを呼び出すためのボタンである。
図9(B)は、ヘルプボタン482が表示された画像の一例を示す。ヘルプボタン482が押されると、まず、
図18(B)に示す画像452が表示される。画像452において、YESボタン551が押されると、情報処理装置100はコンシェルジュのタブレット300に呼び出し情報を送信し、
図18(C)に示す画像453を表示する。コンシェルジュが情報処理装置100に到着し、所定の操作を行うと、画像453の表示は終了する。
【0067】
また、上記のパスポート処理、顔認証処理、指紋採取処理、及び、EDカード処理の各々において、情報処理装置100の操作方法の案内画像に続く画像にリプレイボタンを表示することができる。リプレイボタンは、情報処理装置100の操作方法を示す案内画像のリプレイを指示するためのボタンである。具体的に、リプレイボタン483は、
図9(D)の画像404、
図14(A)の画像423、
図16(D)の画像444などに表示されている。リプレイボタン483は、先行して表示された案内画像のリプレイを行うためのボタンである。例えば、
図9(D)の画像404において入国者Pがリプレイボタン483を押すと、
図9(B)~(D)の画像402~404がこの順でリプレイされる。
図14(A)の画像423において入国者Pがリプレイボタン483を押すと、
図13(C)、(D)、
図14(A)の画像421~423がこの順でリプレイされる。また、
図16(D)の画像444において入国者Pがリプレイボタン483を押すと、
図16(B)~(D)の画像442~444がこの順でリプレイされる。これら以外に、顔認証処理やEDカード処理においても一連の案内画像の最後の画像においてリプレイボタンを設けることができる。この場合、顔認証処理に関する一連の案内画像の最後に表示されたリプレイボタンが押された場合、顔認証処理に関する一連の案内画像がリプレイされる。また、EDカード処理に関する一連の案内画像の最後に表示されたリプレイボタンが押された場合、EDカード処理に関する一連の案内画像がリプレイされる。なお、リプレイボタン483が所定回数以上選択された場合、情報処理装置100は、入国者Pが操作方法で困っていると判断し、自動的にコンシェルジュを呼び出すアラートをタブレット300に送信するようにしてもよい。
【0068】
[管理サーバの処理]
次に、情報取得処理と並行して行われる管理サーバの処理について説明する。
図19は、管理サーバ200による情報管理処理のフローチャートである。この処理は、
図5(A)に示すプロセッサ212が予め用意されたプログラムを実行することにより実現される。
【0069】
まず、情報処理装置100は、取得した個人識別情報を管理サーバ200へ送信し(ステップS50)、管理サーバ200は個人識別情報を受信する(ステップS51)。次に、管理サーバ200は、受信した個人識別情報を、パスポート番号に関連付けてDB215に記憶する(ステップS52)。こうして、入国者Pが情報処理装置100を操作して提供した個人識別情報が管理サーバ200のDB215に蓄積される。
【0070】
入国者Pは情報処理装置100での操作を終了すると、審査ブースへ進む。入国者Pが審査ブースで審査官にパスポートを提示すると、審査官はPC5を用いて入国者Pのパスポートを読み取る(ステップS53)。PC5は、読み取ったパスポート情報をモニタなどに表示するとともに、パスポート番号を管理サーバ200へ送信する(ステップS54)。
【0071】
管理サーバ200は、パスポート番号を受信し(ステップS55)、そのパスポート番号に対応する個人識別情報をDB215から取得し、審査ブースのPC5へ送信する(ステップS56)。審査ブースのPC5は、受信した個人識別情報をモニタなどに表示する(ステップS57)。こうして、審査ブースに来た入国者Pについて情報処理装置100が取得した個人識別情報が、審査ブースのPC5のモニタに表示される。審査官は、表示された個人識別情報に含まれる顔画像や、顔認証結果などを参照して入国の可否の審査を行う。
【0072】
なお、情報処理装置100による情報提供が必要な入国者Pが、情報処理装置100での操作を行わずに審査ブースに来てしまった場合、審査ブースのPC5は、コンシェルジュのタブレット300に通知するとともに、使用可能な(他に誰も使用していない)情報処理装置100のIDと当該情報処理装置100までの道のりを示す地図情報をPC5のモニタに表示してもよい。この場合、審査官は上記の地図情報をプリントアウトして入国者Pに渡すことができ、入国者Pを正しく情報処理装置100へ案内することができる。
【0073】
[タブレットの表示例]
次に、コンシェルジュが使用するタブレット300の表示例を説明する。入国者Pが情報処理装置100を操作している間、情報処理装置100は入国者Pの個人識別情報を取得し、管理サーバ200へ送信する。管理サーバ200は、取得した情報を担当のコンシェルジュが所持するタブレット300へ送信する。
図20は、コンシェルジュのタブレット300の表示例を示す。1人のコンシェルジュには、複数の情報処理装置100が紐づけされる。
図20の例は、コンシェルジュXのタブレット300の表示画面を示す。
【0074】
図示のように、タブレット300は、コンシェルジュXに紐付けられた複数の情報処理装置100の情報を表示する装置一覧画面を表示する。装置一覧画面は、情報処理装置100毎の個別情報を表示する個別情報エリア320と、全体的な情報を表示する全体情報エリア330とを含む。
図20の例では、コンシェルジュは、装置番号「01」~「07」の7台の情報処理装置100を担当しており、各情報処理装置100に対応する7個の個別情報エリア320が表示されている。
【0075】
各個別情報エリア320は、カメラ表示ボタン321と、個別アラートエリア322と、プロセス表示エリア323とを備える。カメラ表示ボタン321は、監視カメラ116の撮影画像を表示させるためのボタンである。コンシェルジュがカメラ表示ボタン321を押すと、
図20の装置番号「04」の個別情報エリア320に示すように、監視カメラ116により撮影された監視カメラ画像324が表示される。監視カメラ画像324が表示された状態で、コンシェルジュが監視カメラ画像324内の閉じるボタン325を押すと、監視カメラ画像324の表示が終了する。
【0076】
監視カメラ画像324は、情報処理装置100の監視カメラ116が撮影した入国者Pの画像である。
図2に示すように、監視カメラ116は情報処理装置100の上端に設けられているため、監視カメラ画像324は、入国者Pを斜め上から見下ろしたような画像となる。監視カメラ画像324は、入国者P及びその前方にある情報処理装置100のテーブル135を含む画像となるので、コンシェルジュは監視カメラ画像324を見ることにより、入国者Pが操作を行っている状況を把握することができる。なお、監視カメラ116の画像だけでなく、顔認証カメラ118や手元カメラ121を監視カメラとして使用してもよい。その場合、顔認証カメラ118や手元カメラ121の画像も監視カメラ画像324として表示することができる。
【0077】
個別アラートエリア322は、入国者Pが情報処理装置を操作する際に、情報処理装置100毎に個別に発生したアラートを表示するエリアである。
図20の例では、「呼出」、「不正」、「故障」、及び、「バッテリー」の4つのマークが表示されている。「呼出」マークは、入国者Pが情報処理装置100の操作に困り、呼び出しボタンなどを押してコンシェルジュを呼び出したときに点灯する。「不正」マークは、情報処理装置100が入国者Pの操作における不正を検出した場合に点灯し、例えば1つの情報処理装置100の周辺に2人以上の人物が立っている場合に点灯する。「故障」マークは、情報処理装置100のハードウェアなどに異常が発生した場合に点灯する。「バッテリー」マークは、情報処理装置100のバッテリー残量が所定値以下となった場合に点灯する。
【0078】
情報処理装置100においてアラートが発生すると、個別アラートエリア322内の対応するマークが点灯するとともに、そのアラートの発生時刻が表示される。
図20の装置番号「01」の個別情報エリア320では、「不正」のアラートマークが点灯し、そのアラートの発生時刻「10:51」が表示されている。これにより、コンシェルジュは、自分が担当する情報処理装置100に発生しているアラートの種類及びその発生時刻を知ることができる。実際の処理としては、情報処理装置100は、上記のいずれかの状態になったときに、その旨を示すアラート信号を管理サーバ200へ送信するか、もしくはタブレット300へ直接送信する。タブレット300は、アラート信号を、管理サーバ200経由又は直接に受信し、表示する。
【0079】
プロセス表示エリア323は、各情報処理装置100の入国者Pが前述の情報取得処理のどのプロセスを行っているかを示す。具体的に、プロセス表示エリア323は、「旅券」、「顔」、「指紋」及び「ED」のマークを含む。「旅券」はパスポート処理を示し、「顔」は顔認証処理を示し、「指紋」は指紋採取処理を示し、「ED」はEDカード処理を示す。
図20の表示例において、プロセス表示エリア323は、装置番号「01」及び「02」の入国者Pは指紋採取処理を行っており、装置番号「03」の入国者Pは顔認証処理を行っており、装置番号「04」~「07」の入国者Pは指紋採取処理を行っていることを示している。なお、各処理(プロセス)に関してアラートが発生した場合には、対応するマークが点灯する。例えば、各処理において、入国者Pが2回以上エラーを起こしたときや、入国者Pの操作時間が既定の時間を超えたときなどには、そのプロセスのマークが点灯する。
図20の表示画面例では、装置番号「06」の入国者Pの指紋採取処理においてアラートが発生し、「指紋」のマークが点灯している。監視カメラ画像とプロセスとを同時に表示することにより、コンシェルジュは入国者が行っているプロセスとその様子を示す画像とを併せて見ることができ、不審な行動を行っていないかなどを確認しやすくなる 。
【0080】
なお、タブレット300は、プロセス表示エリア300への表示を行うために、各情報処理装置100と通信し、各情報処理装置100が実行しているプロセスを示す情報を取得する。この場合、情報処理装置100は、入国者Pの操作入力に基づいて実行中のプロセスを特定してもよいし、監視カメラ116、顔認証カメラ118、手元カメラ121などの画像に基づいて入国者Pの行動を解析し、実行中のプロセスを判定してもよい。例えば、情報処理装置100は、入国者Pが両手を指紋スキャナ120の所に置いていたら、指紋採取処理を実行中であると判定してもよい。
【0081】
全体情報エリア330は、全体アラートのマーク332~335と、コンシェルジュID336と、ログアウトボタン337と、紐づけボタン338と、紐渡しボタン339とを含む。全体アラートのマーク332~335は、呼出マーク332と、不正マーク333と、故障マーク334と、バッテリーマーク335を含む。全体アラートのマーク332~335は、コンシェルジュXが担当する複数の情報処理装置100のいずれかにアラートが発生した場合に点灯する。例えば、呼出マーク332は、コンシェルジュXの管理する装置番号「01」~「07」の情報処理装置100のいずれか1つが呼び出しを行った場合に点灯する。不正マーク333、故障マーク334、バッテリーマーク335についても同様である。
【0082】
点灯した全体アラートのマーク332~335のいずれかをコンシェルジュXが押すと、そのアラートの詳細を示すアラートリスト370が表示される。
図21は、不正マーク333が押されたときのアラートリスト370の例を示す。アラートリスト370は、不正アラートが発生している情報処理装置100のリストを表示する。
図21の例では、アラートリスト370は装置番号「01」と「07」の情報処理装置100で不正アラートが発生していることを示している。表示されている装置番号「01」のバー371をコンシェルジュXが押すと、
図20のような装置一覧画面が表示され、その装置番号「01」の個別情報エリア320が一時的に点灯する。また、コンシェルジュXがキャンセルボタン372を押すと、アラートリスト370の表示が終了し、
図20のような装置一覧画面に戻る。
【0083】
なお、上記の例では、全体アラートのマーク332~335のいずれかが選択されると、そのマークに対応するアラートのアラートリストが表示される。その代わりに、マーク332~335のいずれかが選択されると、そのときに発生している4種類のアラート全てを含むアラートリストを表示することとしてもよい。
【0084】
次に、情報処理装置の紐づけについて説明する。
図20に示す紐づけボタン338はコンシェルジュXに対して情報処理装置100を紐づけするためのボタンである。コンシェルジュXが紐付けボタン338を押すと、
図22に示す紐づけウィンドウ340が表示される。紐づけウィンドウ340では、個々の情報処理装置100が、装置番号を示す装置マークで表示される。このうち、色付きの装置マーク341は、このタブレット300を操作するコンシェルジュXに紐づけされている情報処理装置100を示している。破線の装置マーク342は、他のコンシェルジュに紐づけされている情報処理装置100を示している。また、実線の装置マーク343は、いずれのコンシェルジュにも紐づけされていない情報処理装置100を示している。
図22の例では、装置番号「01」~「07」がコンシェルジュXに紐づけされており、装置番号「09」~「24」の情報処理装置100は他のコンシェルジュに紐づけされており、装置番号「08」、「25」~「27」はいずれのコンシェルジュにも紐づけされていない。
【0085】
ここで、コンシェルジュXが装置番号「08」の装置マーク343を押すと、装置番号「08」の情報処理装置100がコンシェルジュXに紐づけされる。閉じるボタン344を押すことにより、紐づけウィンドウ340が閉じる。
図23は、装置番号「08」の情報処理装置100をコンシェルジュXに紐づけた後の装置一覧画面を示す。
図20との比較によりわかるように、装置番号「08」の情報処理装置についての個別情報エリア320が追加されている。
【0086】
次に、情報処理装置100の紐外しについて説明する。紐外しとは、担当装置の一部又は全部を、自分の担当から外す作業である。紐外しを行う場合、コンシェルジュXは紐づけボタン338を押し、
図22に示す紐づけウィンドウ340を表示させる。そして、コンシェルジュXは、紐外しの対象となる装置番号の装置マーク341を押せばよい。
【0087】
次に、情報処理装置100の紐渡しについて説明する。紐渡しとは、自分の担当装置を他のコンシェルジュに渡すことをいう。コンシェルジュXが
図20に示す紐渡しボタン339を押すと、
図24に示す紐づけウィンドウ340が表示される。ここで、コンシェルジュが紐渡しボタン345を押すと、
図25に示すように、紐づけウィンドウ340の右端に対象となるコンシェルジュを指定するボタン347が表示される。コンシェルジュXが紐渡し先のコンシェルジュ(コンシェルジュAとする。)のボタン347を選択すると、紐渡し先のコンシェルジュAのタブレット300には、
図26に示すように確認ウィンドウ350が表示される。確認ウィンドウ350は、紐渡しが要求されたことを示すメッセージと、同意ボタン351と、拒否ボタン352とを含む。紐渡し先のコンシェルジュAが同意ボタン351を押すと、紐渡しが行われ、コンシェルジュXの担当していた情報処理装置100がコンシェルジュAに渡される。一方、コンシェルジュAが拒否ボタン352を押すと、紐渡しは行われない。
【0088】
次に、情報処理装置100の奪取について説明する。奪取とは、他のコンシェルジュの担当している装置を自分の担当装置に変更することをいう。奪取を行う場合、コンシェルジュXが
図20に示す紐渡しボタン339を押すと、
図24に示す紐づけウィンドウ340が表示される。ここで、コンシェルジュXが、例えば他のコンシェルジュが担当している装置番号「16」の装置マークを押すと、
図27に示すように、紐づけウィンドウ340の右端に、選択した情報処理装置100が他のコンシェルジュ(コンシェルジュBとする。)の担当装置であることを示すメッセージと、OKボタン353と、キャンセルボタン354とが表示される。コンシェルジュXがOKボタン353を押すと、装置番号16を担当しているコンシェルジュBのタブレット300には
図28に示すように、確認ウィンドウ350が表示される。確認ウィンドウ350は、奪取が要求されたことを示すメッセージと、同意ボタン351と、拒否ボタン352とを含む。コンシェルジュBが同意ボタン351を押すと、奪取が行われ、コンシェルジュBの担当していた装置番号「16」の情報処理装置100がコンシェルジュXに渡される。一方、コンシェルジュBが拒否ボタン352を押すと、奪取は行われない。
【0089】
次に、装置一覧画面のページ送りについて説明する。上記の例では、コンシェルジュXの担当装置が8個以内であるが、1人のコンシェルジュが9個以上の情報処理装置100を担当する場合、
図20に例示する装置一覧画面は複数のページにまたがることになる。この場合、コンシェルジュは、装置一覧画面のページをフリックすることにより、複数のページ間を移動することができる。例えば、コンシェルジュXが9個以上の情報処理装置を担当している場合、コンシェルジュXは装置一覧画面の第1ページを左へフリックすることにより、9個目以降の装置に対応する第2ページを表示させることができる。また、コンシェルジュXは、第2ページを右へフリックすることにより、第1ページに戻ることができる。また、フリックを使用する代わりに、
図29に例示するように、ページ移動ボタン348を設け、ページ移動ボタン348が押されたときにページを移動するようにしてもよい。
【0090】
次に、タブレットからのログアウトについて説明する。コンシェルジュXが
図20に示すログアウトボタン337を押すと、
図30に例示するように、ログアウトウィンドウ360が表示される。コンシェルジュXがログアウトウィンドウ360内のログアウトボタン361を押すと、
図31に例示する確認ウィンドウ365が表示される。確認ウィンドウ365は、担当装置の紐づけを外すためのボタン366と、紐づけを残すためのボタン367と、ログアウトをキャンセルするためのボタン368とを含む。コンシェルジュXがボタン366を選択すると、担当している情報処理装置100の紐づけが外され、コンシェルジュXはログアウトできる。コンシェルジュXがボタン367を押すと、担当している情報処理装置100の紐づけが維持されたままとされ、コンシェルジュXはログアウトできる。コンシェルジュXがボタン368を押すと、ログアウトがキャンセルされる。
【0091】
<第2実施形態>
次に、この開示の第2実施形態について説明する。
[基本概念]
第2実施形態に係る情報処理装置100の構成は基本的に第1実施形態と同様であり、
図2に示す外観構成及び
図4に示す内部構成を備える。但し、第2実施形態に係る情報処理装置100は、
図6に示す情報取得処理のステップS20で実行される顔認証処理が第1実施形態とは異なる。
【0092】
具体的に、第1実施形態では、情報処理装置100は、情報取得処理においてパスポート処理が終了した後、顔認証処理において入国者Pの顔画像を撮影し、顔認証を行っている。これに対し、第2実施形態では、情報処理装置100は、情報処理装置100の前方のサーモセンサ115の検知範囲に入国者が入ったときに入国者Pの顔画像の撮影を開始する。即ち、情報処理装置100は、パスポート処理の実行前及び実行中に入国者Pの顔画像の撮影を行う。なお、入国者Pが情報処理装置100の使用状態を遠くからでも判断できるように、タッチパネル117や情報処理装置100の付近の床などに情報処理装置100の使用状態(例えば、使用可能、使用不可など)を表示しておいてもよい。そして、パスポート処理が終了するまでに、顔認証に適した顔画像(以下、「適合顔画像」と呼ぶ。)が得られた場合には、その顔画像を使用して顔認証処理を実行する。即ち、パスポート処理中に適合顔画像が得られた場合には、顔認証処理において入国者Pの顔画像を撮影する処理を省略する。
【0093】
ここで、「適合顔画像」とは、顔認証に使用可能な顔画像を意味する。具体的には、適合顔画像に該当するか否かは、顔画像に写っている顔の方向が適正か、即ち、目、鼻、口などの顔の全てのパーツが写っているか、画像の解像度が十分であるか、画像のブレがないか、などを考慮して決定される。
【0094】
[処理フロー]
図32は、第2実施形態に係る情報取得処理のフローチャートである。この処理は、プロセッサ112が予め用意されたプログラムを実行することにより実現される。
【0095】
情報処理装置100は、入国者Pが操作していないときはスリープ状態となっており、サーモセンサ115で情報処理装置100の前方を検知している(ステップS1)。入国者Pが情報処理装置100の前に立つと、サーモセンサ115は入国者Pを検知し(ステップS1:Yes)、情報処理装置100は、顔認証カメラ118をオンにして入国者Pの撮影を開始する(ステップS2)。続いて、情報処理装置100は、パスポート処理を実行する(ステップS10)。これにより、入国者Pがサーモセンサ115の検出範囲に入ってから、情報処理装置100の前に来てパスポート処理を終了するまでの間、顔認証カメラ118は入国者Pの顔画像を撮影し続けることになる。パスポート処理が終了すると、情報処理装置100は、顔認証処理を実行する(ステップS20)。
【0096】
図33は、第2実施形態の顔認証処理のフローチャートである。まず、情報処理装置100は、それまでに取得した顔画像の適否を判定する(ステップS51)。具体的には、情報処理装置100は、ステップS2で顔認証カメラ118をオンにしてから撮影された入国者Pの顔画像を分析し、前述の適合顔画像に該当するか否かを判定する。情報処理装置100は、適合顔画像が取得できていないと判定した場合(ステップS52:No)、第1実施形態と同様に顔認証処理を行う。即ち、情報処理装置100は、「顔画像を撮影します。」などのメッセージをタッチパネル117に表示し(ステップS54)、顔画像を撮影する(ステップS55)。そして、情報処理装置100は、撮影した顔画像を一時的にメモリ113に記憶し(ステップS56)、撮影した顔画像とパスポート情報に含まれる顔画像とを用いて顔認証を行ってその結果をメモリ113に記憶する(ステップS57)。
【0097】
一方、情報処理装置100は、適合顔画像が取得できていると判定した場合(ステップS52:Yes)、「顔画像は取得済みです。」などのメッセージをタッチパネル117に表示し(ステップS53)、顔画像の撮影を行わずにステップS56へ進む。そして、情報処理装置100は、顔認証処理の開始前に取得された適合顔画像を一時的にメモリ113に記憶し(ステップS56)、その適合顔画像とパスポート情報に含まれる顔画像とを用いて顔認証を行ってその結果をメモリ113に記憶する(ステップS57)。こうして顔認証処理は終了し、処理は指紋採取処理へ進む。なお、指紋採取処理以降の処理は第1実施形態と同様であるので、説明を省略する。
【0098】
なお、
図32及び
図33の処理では、適合顔画像が得られている場合でも、パスポート処理が完了するまでは適合顔画像を用いた認証処理を行わないこととしている。その代わりに、適合顔画像が取得できた場合は、パスポート処理と並行して適合顔画像を用いた顔認証処理を行ってもよい。この場合、タッチパネル117には「顔画像は取得済みです。」の代わりに、「顔認証処理は完了しています。」などのメッセージを表示すればよい。また、「顔画像は取得済みです。」や「顔認証処理は完了しています。」などのメッセージの表示を省略し、パスポート処理が終了すると直ちに指紋採取処理に移行するようにしてもよい。
【0099】
以上のように、第2実施形態の情報取得処理では、入国者Pがパスポート処理を終了するまでの間に顔認証カメラ118で入国者Pの顔画像を撮影しておく。そして、その間に顔認証に使用可能な品質の適合顔画像が取得できた場合には、顔認証処理において顔画像の撮影は行わず、その適合顔画像を用いて顔認証処理を行う。これにより、顔認証処理に要する時間を短縮することができる。なお、第2実施形態は、第1実施形態と組み合わせて実施することができる。
【0100】
[変形例]
(変形例1)
第2実施形態では、情報処理装置100は、ステップS51において、顔画像に写っている顔の方向が適正か、画像の解像度が十分であるか、などに基づいて適合顔画像の判定を行っている。その代わりに、情報処理装置100は、パスポート処理の終了までに得られた顔画像と、パスポート処理により得られたパスポート情報に含まれる顔画像とを用いて実際に顔認証処理を行い、得られた照合スコア(一致スコア)が所定値以上である場合に、その顔画像を適合顔画像と判定してもよい。
【0101】
(変形例2)
第2実施形態では、パスポート処理を行っている間も顔認証カメラ118で入国者Pの顔画像を撮影しているが、入国者Pとしては知らないうちに顔画像を撮影されていることになる。そこで、情報処理装置100は、
図32のステップS2で入国者Pの顔画像の撮影を開始したときに、顔画像を撮影していることを入国者Pに知らせることが好ましい。例えば、情報処理装置100は、タッチパネル117に「顔画像撮影中」などのメッセージやカメラにより撮影していることを表すマークなどを表示してもよい。これにより、顔画像の撮影中であることを入国者Pに伝えることができる。入国者Pは顔画像の撮影中であることを知ると、顔をタッチパネル117に向けるなどして撮影に協力すると考えられるので、パスポート処理と並行して適合顔画像を取得できる可能性が高くなり、情報取得処理の効率化が期待できる。また、入国者Pに撮影中であることを伝える場合には、適合顔画像が取得できたタイミングでその旨を入国者Pに伝えてもよい。例えば、情報処理装置100は、適合顔画像が取得できたタイミングで「顔画像OK」などのメッセージやマークをタッチパネル117に表示してもよい。
【0102】
<第3実施形態>
次に、この開示の第3実施形態について説明する。
[基本概念]
第3実施形態に係る情報処理装置100の構成は基本的に第1実施形態と同様であり、
図2に示す外観構成及び
図4に示す機能構成を備える。但し、第2実施形態に係る情報処理装置100は、
図6に示す情報取得処理のステップS30で実行される指紋採取処理が第1実施形態とは異なる。
【0103】
第3実施形態では、入国者Pの指紋の採取時に、情報処理装置100は、カメラの撮影画像を用いて、入国者Pが正しく人差し指の指紋を採取しているか否かを判定する。入国審査時に個人識別情報を取得する際には、入国者Pの左右の人差し指の指紋を採取することが決められている。情報処理装置100で採取された指紋はウォッチリストと照合される入国審査においては、入国者Pの指紋がウォッチリストに載っている場合、その入国者Pは入国を拒否される。
【0104】
このため、ウォッチリストに載っていることが懸念される入国者Pは、指紋採取処理において、人差し指以外の指の指紋を提供しようとすることがある。そこで、第3実施形態では、情報処理装置100は、カメラによる撮影画像を用いて、入国者Pが正しく人差し指の指紋を提供しているかを判定する。
【0105】
具体的には、指紋採取処理において、入国者Pが指紋スキャナ120上に指を置いたときに、情報処理装置100は手元カメラ121により入国者Pの手元、即ち、指紋スキャナ120及び入国者の手を含む領域の画像を撮影する。そして、情報処理装置100は、撮影画像に基づいて、入国者Pが正しく人差し指を指紋スキャナ120に置いているか否かを判定し、人差し指以外を指紋スキャナ120に置いている場合には、アラートを発する。
【0106】
[構成]
図34は、入国者Pが正しく人差し指を指紋スキャナ120に置いているかの判定(以下、「指判定」とも呼ぶ。)を行うための構成を示す。指判定は、主として手元カメラ121と、指判定部125と、タッチパネル117により行われる。なお、指判定部125は、実際には、プロセッサ112により実現される。
【0107】
手元カメラ121は、情報処理装置100のテーブル135の領域の画像、即ち、パスポートリーダ119及び指紋スキャナ120を含む画像(以下、「手元画像」とも呼ぶ。)を撮影し、指判定部125に出力する。指判定部125は、手元画像に基づいて、入国者Pが指紋スキャナ120に正しく人差し指を置いているか否かを判定する。好適な例では、指判定部125は、機械学習やニューラルネットワークなどを用いて学習された指判定モデルを用いて判定を行う。指判定モデルは、入国者Pの手の画像から、人差し指を検出するように学習されており、指判定部125は、検出した人差し指が指紋スキャナ120上に位置しているか否かを判定する。そして、指判定部125は、判定結果に基づいて、タッチパネル117にアラートを表示する。
【0108】
図35は、入国者Pが指紋スキャナ120に人差し指を置いていないと指判定部125が判定した場合に、タッチパネル117に表示されるアラートの例を示す。この例では、手元カメラ121により撮影された手元画像126がタッチパネル117の中央に表示されている。手元画像126は実際の入国者Pの手元を撮影した画像であり、左右の手元カメラ121R、121Lにより撮影される。この例では、入国者Pは人差し指ではなく、中指を指紋スキャナ120に置いている。また、手元画像126に加えて、指紋スキャナ120に人差し指を置くことを求めるメッセージ127が表示される。このように、アラートを表示することにより、入国者Pの指紋提供方法が誤っていることと、正しい指紋提供方法とを入国者Pに明確に伝えることができる。
【0109】
[処理フロー]
図36は、第3実施形態に係る指紋採取処理のフローチャートである。この処理は、
図6に示す情報取得処理におけるステップS30として実行される。まず、情報処理装置100は、
図14(A)に例示するように、指紋を採取する際の案内画面をタッチパネル117に表示する(ステップS101)。次に、手元カメラ121は入国者Pの手元画像を取得する(ステップS102)。次に、指判定部125は、手元画像に基づいて、入国者Pが指紋スキャナ120に正しく人差し指を置いているか否かを判定する(ステップS103)。
【0110】
入国者Pが指紋スキャナ120に人差し指を置いていない場合(ステップS103:No)、情報処理装置100は、
図35に例示するようなアラートをタッチパネル117に表示する(ステップS104)。一方、入国者Pが指紋スキャナ120に人差し指を置いている場合(ステップS103:Yes)、指紋スキャナ120は入国者Pの左右の人差し指の指紋を読み取り(ステップS105)、読み取った指紋と、ステップS102で取得された手元画像とをメモリ113に一時的に記憶する(ステップS106)。そして、処理は
図6のメインルーチンへ戻る。なお、ステップS106で一時的に記憶された指紋と手元画像は、
図6のステップS50で管理サーバ200へ送信される。よって、審査ゲートの審査官は、この入国者Pが審査ゲートに来た時に、必要であれば指紋取得時の手元画像を見ることができる。
【0111】
上記の処理において、指紋スキャナ120は指紋読取装置の一例であり、手元カメラ121は画像取得手段の一例であり、指判定部125は指判定手段の一例であり、プロセッサ112は指紋取得手段の一例であり、タッチパネル117はアラート手段の一例である。
【0112】
以上のように、第3実施形態によれば、入国者Pが正しく人差し指を指紋スキャナ120に置かない場合、情報処理装置100はそれを検知してアラートを発することができる。なお、第3実施形態は、第1及び第2実施形態の一方又は両方と組み合わせて実施することができる。
【0113】
[変形例]
(変形例1)
上記の例では、指判定部125は、手元画像からユーザの人差し指を検出するように学習されているが、その代わりに、ユーザの手の全ての指を区別して検出するように学習されてもよい。即ち、指判定部125は、画像に写っている各指がそれぞれ何指か(親指、人差し指、中指、薬指、小指のいずれか)を検出可能に学習されていてもよい。その場合には、
図35に例示するアラート表示において、「あなたが指紋スキャナに置いたのは中指です。中指ではなく、人差し指を置いて下さい。」などのメッセージを表示することもできる。また、その際に、手の画像における人差し指を強調表示(例えば、黄色く塗る、白い枠線で囲むなど)してもよい。
【0114】
(変形例2)
ウォッチリストに載っていることが懸念される入国者Pは、左右の人差し指を入れ替えて指紋を提供しようとすることがある。即ち、左手用の指紋スキャナ120Lに右手の人差し指を置き、右手用の指紋スキャナ120Rに左手の人差し指を置いて指紋を提供しようとする。この場合、入国者Pの左右の腕が交差することになる。そこで、指判定部125は、手元カメラ121の撮影画像に基づいて、入国者Pの腕が交差しているか否かを判定する。情報処理装置100は、手元カメラ121の撮影画像に基づいて、入国者Pの腕が交差していると判定した場合、タッチパネル117に「左右の手が逆です。」などのアラートを表示すればよい。
【0115】
なお、左右の腕が交差していることを検出するために、監視カメラ116及び/又は顔認証カメラ118の撮影画像を利用してもよい。
図2に示すように、監視カメラ116は情報処理装置100の上端付近に設けられており、顔認証カメラ118も指紋スキャナ120が設けられたテーブル135より上に設けられているので、監視カメラ116や顔認証カメラ118の撮影画像に基づいて、入国者Pの腕が交差しているか否かを判定することができる。
【0116】
<第4実施形態>
次に、この開示の第4実施形態について説明する。
[基本概念]
第4実施形態に係る情報処理装置100の構成は基本的に第1実施形態と同様であり、
図2に示す外観構成及び
図4に示す機能構成を備える。
図14(B)を参照して先に簡単に説明しているが、第4実施形態に係る情報処理装置100は、指紋採取処理において、指紋スキャナ120に対する正しい指の置き方を案内するガイドハンドを表示した案内画像をタッチパネル117に表示する。
【0117】
図37は、ガイドハンドを表示した案内画像の例を示す。情報処理装置100は、まず、手元カメラ121で撮影した入国者Pの手元画像126をタッチパネル117に表示する。手元画像126は、手元カメラ121の撮影画像をリアルタイムで表示しているので、入国者Pの手513が動けば、手元画像126も変化する。さらに、情報処理装置100は、指紋採取時の正しい手の配置を示すガイドハンド512をタッチパネル117に表示する。ガイドハンド512は、左右の手の輪郭を示すラインであり、手元画像126に重畳して表示される。なお、ガイドハンド512の大きさは、一般的な大人の手のサイズとする。ガイドハンド512は、左右の指紋スキャナ120に対して正しく左右の人差し指を置いた場合の左右の手の位置を示し、表示位置は固定されている。よって、入国者Pは、案内画像に表示された手元画像126が示す自分の手513の位置が、ガイドハンド512と一致するように手を動かして、正しい位置に手を配置すればよい。なお、ガイドハンド512において、人差し指の部分のみ色付けしたり、ラインの太さや種類を変えるなどして、人差し指を他の指と区別して表示してもよい。なお、タッチパネル117は表示部の一例であり、プロセッサ112は表示制御手段の一例である。
【0118】
第4実施形態によれば、ガイドハンド512を表示することにより、入国者Pは容易に正しい位置に手及び指を配置することができ、指紋採取処理に要する時間を短縮することができる。なお、第4実施形態は、第1~第3第2実施形態の1つ又は複数と組み合わせて実施することができる。
【0119】
[変形例]
(変形例1)
入国者Pが子供である場合、情報処理装置100は、子供の手の大きさに相当するガイドハンド512を表示してもよい。なお、情報処理装置100は、パスポート情報や顔画像などに基づいて入国者Pが大人であるか子供であるかを判定すればよい。
【0120】
(変形例2)
図37に例示するような、ガイドハンド512を含む案内画像をコンシェルジュのタブレット300に送信して表示してもよい。具体的には、情報処理装置100は生成した案内画像を管理サーバ2経由で、又は、直接にタブレット300に送信する。タブレット300は、
図20に例示する表示画像において、入国者Pが指紋の採取を行っている場合に、監視カメラ画像324の代わりに、又は、監視カメラ画像324に加えて、
図37に示すような案内画像を表示する。これにより、コンシェルジュは、担当の情報処理装置100を操作している入国者Pが正しく指紋採取を行っているかを確認することができる。また、ガイドハンド512を含む案内画像が表示されているにも関わらず、なかなかうまく手を正しい位置に置くことができない入国者Pに対しては、コンシェルジュが情報処理装置100のところに行って直接操作を補助することができる。
【0121】
また、情報処理装置100は、入国者Pが指紋の採取を完了するまでに撮影した、ガイドハンドを含む案内画像(動画)を、管理サーバ200を経由して審査官のPC5に送信してもよい。これにより、審査官は、審査ゲートに来た入国者Pが、どのような状態で指紋を採取したかを見ることができる。
【0122】
<第5実施形態>
次に、この開示の第5実施形態について説明する。
[基本概念]
第5実施形態に係る情報処理装置100の構成は基本的に第1実施形態と同様であり、
図2に示す外観構成及び
図4に示す機能構成を備える。但し、第5実施形態に係る情報処理装置100は、パスポートの置き忘れ防止機能を備える。
【0123】
情報処理装置100では、入国者Pは、パスポート処理、顔認証処理、指紋採取処理、EDカード処理をこの順に行うが、全ての処理が終わった後、パスポートリーダ119上にパスポートを置き忘れることがある。そこで、第5実施形態では、いくつかのタイミングで、入国者Pにパスポートを取ることを促すアラートをタッチパネル117に表示する。
【0124】
[処理フロー]
図38は、第5実施形態に係るパスポート処理のフローチャートを示す。この処理は、
図6に示す情報取得処理のステップS10において行われる。
図7と比較すると理解されるように、第5実施形態に係るパスポート処理のステップS11~S14は、
図7に示すパスポート処理と同様である。ステップS14でパスポートリーダ119が読み取ったパスポート情報がメモリ113に一時的に記憶されると、情報処理装置100は、タッチパネル1117に「パスポートを取ってください。」などのアラートを表示する(ステップS15)。なお、情報処理装置100は、タッチパネル117への表示に加えて、音声メッセージや警告音などを出力してもよい。こうして、パスポート処理の終了直後にパスポートを取ることを促す。そして、パスポート処理は終了する。
【0125】
また、情報処理装置100は、上記のパスポート処理の終了後に加えて、
図6に示す顔認証処理の終了後、指紋採取処理の終了後、EDカード処理の終了後の各タイミングにおいて、パスポート置き忘れ検出処理を行う。
図39は、パスポート置き忘れ検出処理のフローチャートである。
【0126】
まず、情報処理装置100は、パスポートリーダ119上にパスポートが置かれたままであるか否かを判定する(ステップS121)。例えば、情報処理装置100は、パスポートリーダ119でパスポートの読み取りを行うことにより、パスポートが置かれたままであるか否かを検出する。なお、パスポートリーダ119による検出の代わりに、又は、それに加えて、手元カメラ121の撮影画像の画像解析などによりパスポートが置かれたままであることを検出してもよい。
【0127】
パスポートリーダ上にパスポートがある場合(ステップS121:Yes)、情報処理装置100はアラートを出力する(ステップS122)。なお、アラートは、上述のように、タッチパネル117へのメッセージ表示や、音声メッセージ又は警告音の出力などにより行われる。一方、パスポートリーダ上にパスポートがない場合(ステップS121:No)、情報処理装置100はアラートを出力しない。そして、パスポート置き忘れ検出処理は終了する。
【0128】
なお、上記の処理において、パスポートリーダ119はパスポート読取装置の一例であり、プロセッサ112はパスポート情報取得手段の一例であり、顔認証カメラ118及びプロセッサ112は顔認証手段の一例である。
【0129】
以上のように、第5実施形態では、入国者Pが最後までパスポートを置きっぱなしである場合、情報処理装置100は、パスポート処理の終了時、顔認証処理の終了時、指紋採取処理の終了時、及び、EDカード処理の終了時にアラートを出力することになる。このように、情報取得処理中に入国者Pにパスポートの置き忘れを繰り返し伝えることにより、パスポートの置き忘れを減らすことができる。なお、第5実施形態は、第1~第4実施形態の1つ又は複数と組み合わせて実施することができる。
【0130】
<第6実施形態>
次に、この開示の第6実施形態について説明する。
[基本概念]
第6実施形態に係る情報処理装置100の構成は基本的に第1実施形態と同様であり、
図2に示す外観構成及び
図4に示す機能構成を備える。但し、第6実施形態に係る情報処理装置100は、誤って情報処理装置100の場所に来た入国者Pに対して、正しい目的地を案内する機能を備える。
【0131】
入国審査時に情報処理装置100を使用して個人識別情報を提供する必要があるのは外国人であることが多い。外国人以外の利用者は、基本的に情報処理装置100を操作する必要はなく、日本人専用の顔認証ゲートへ進めばよい。また、外国人であっても、事前登録を行った者は、情報処理装置100を操作する必要はなく、自動化ゲートへ進めばよい。そこで、第5実施形態では、日本人が誤って情報処理装置100を操作した場合、情報処理装置100は、日本人専用の顔認証ゲートへ進むよう案内する情報をタッチパネル117に表示する。また、事前登録を行った外国人が情報処理装置100を操作した場合、情報処理装置100は、自動化ゲートへ進むよう案内する情報をタッチパネル117に表示する。
【0132】
[処理フロー]
図40は、第6実施形態によるパスポート処理のフローチャートである。この処理は、
図6に示す情報取得処理のステップS10において実行される。まず、情報処理装置100は、パスポートリーダ119によりパスポートを検出する(ステップS131)。パスポートを検出できない場合(ステップS131:No)、情報処理装置100は、タッチパネル117に「パスポートを置いて下さい。」などのメッセージを表示する(ステップS132)。一方、パスポートを検出すると(ステップS131:Yes)、パスポートリーダ119は、パスポート内のICチップからパスポート情報を読み取る(ステップS133)。
【0133】
次に、情報処理装置100は、読み取ったパスポート情報に含まれる国籍に基づいて、入国者Pが日本人であるか否かを判定する(ステップS134)。入国者Pが日本人である場合(ステップS134:Yes)、情報処理装置100は、タッチパネル117に顔認証ゲートへの案内を表示する(ステップS135)。例えば、情報処理装置100は、タッチパネル117に「日本人は顔認証ゲートへ進んで下さい。」などのメッセージを表示する。そして、処理は終了する。なお、メッセージの表示に加えて、音声メッセージを出力してもよい。
【0134】
一方、入国者Pが日本人でない場合(ステップS134:No)、情報処理装置100は、入国者Pが自動化ゲートを使用するための事前登録を済ませているか否かを判定する(ステップS136)。自動化ゲートを使用する外国人は、所定の事前登録を済ませており、事前登録済みであることを示す情報がパスポートに記録されている。よって、情報処理装置100は、パスポート情報に自動登録済みであることを示す情報が含まれているか否かによって、入国者Pが事前登録済みであるか否かを判定することができる。なお、事前登録済であることを示す情報をパスポートに記録する代わりに、事前登録済であることを示す情報と、パスポートから取得した入国者Pの個人識別情報とを別のDB等に関連付けて記憶しておき、当該DBにアクセスして登録済みか否かを判断することとしてもよい。
【0135】
入国者Pが事前登録済みである場合(ステップS136:Yes)、情報処理装置100は、タッチパネル177に自動化ゲートへの案内を表示する(ステップS137)。例えば、情報処理装置100は、タッチパネル117に「事前登録済みですので、自動化ゲートへ進んで下さい。」などのメッセージを表示する。また、音声メッセージを出力してもよい。なお、このメッセージは、外国人向けであるので、基本的に英語となる。もしくは、情報処理装置100は、入国者Pのパスポート情報に基づいて入国者Pの国籍を検出し、その国の公用語でこのメッセージを表示してもよい。
【0136】
一方、入国者Pが事前登録済みでない場合(ステップS137:No)、その入国者Pは情報処理装置100を使用して個人識別情報を提供する必要がある。よって、情報処理装置110は、読み取ったパスポート情報をメモリ113などに一時的に記憶する(ステップS38)。そして、処理は
図6のメインルーチンへ戻る。なお、上記の処理において、タッチパネル117は表示部の一例であり、プロセッサ112は目的地案内手段の一例である。
【0137】
以上のように、第6実施形態によれば、情報処理装置100を操作する必要が無い入国者P、具体的には、日本人又は自動化ゲートの事前登録済みの外国人が誤って情報処理装置100を操作した場合、情報処理装置100は、その入国者Pの正しい目的地を案内する。よって、誤って情報処理装置100に来た入国者Pを正しい目的地に誘導することができる。なお、第6実施形態は、第1~第5実施形態の1つ又は複数と組み合わせて実施することができる。
【0138】
[変形例]
(変形例1)
上記の例では、
図40に示すパスポート処理のステップS134において、情報処理装置100はパスポート情報に基づいて入国者Pが日本人であるか否かを判定しているが、顔認証処理により日本人であるか否かを判定が可能な場合には、顔認証処理を用いて日本人か否かの判定を行ってもよい。
【0139】
(変形例2)
図40に示すパスポート処理のステップS136において、入国者Pが事前登録済みでないと判定した場合(ステップS136)、情報処理装置100は、その入国者Pに対して、次回以降に自動化ゲートを使用できるように事前登録を行うよう勧めてもよい。具体的には、情報処理装置100は、タッチパネル117に事前登録を行うか否かを指定するボタンなどを表示し、その入国者Pが事前登録を行う旨を指定した場合には、事前登録処理を行えばよい。情報処理装置100が事前登録の機能を有する場合には、その場で事前登録を行うことができる。一方、情報処理装置100が事前登録の機能を有しない場合、情報処理装置100はタッチパネル117に事前登録用端末の場所などの案内情報を表示すればよい。
【0140】
<第7実施形態>
次に、この開示の第7実施形態について説明する。
[基本概念]
第7実施形態に係る情報処理装置100aは、第1実施形態の構成に加えて、情報処理装置100の足元付近に情報を投影するプロジェクタを備える。
図41(A)は第7実施形態に係る情報処理装置の外観構成を示す斜視図であり、
図41(B)は第7実施形態に係る情報処理装置を上方から見た平面図である。
【0141】
図示のように、第7実施形態に係る情報処理装置100aは、第1実施形態の構成に加えて、テーブル135の側面に設けられたプロジェクタ137R、137C、137Lを備える。プロジェクタ137Rはテーブル135の右側に設けられ、情報処理装置100aの右側の床に情報を投影する。プロジェクタ137Rはテーブル135の中央に設けられ、情報処理装置100aの手前の床に情報を投影する。プロジェクタ137Lはテーブル135の左側に設けられ、情報処理装置100aの左側の床に情報を投影する。
【0142】
プロジェクタ137R、137Lは、情報処理装置100aの操作を終了した入国者Pに対して、次の目的地を示す情報を投影する。
図42(A)、42(B)は、プロジェクタが情報を投影する例を示す。なお、
図42(A)、42(B)は、情報処理装置100aを上方から見た図である。
図42(A)の例では、情報処理装置100aは、プロジェクタ137Rにより、情報処理装置100aの右側の床に案内情報G1を投影している。案内情報G1は、情報処理装置100aの右方向にある審査ゲートへ入国者Pを誘導している。なお、情報処理装置100aは、入国者Pのパスポート情報に基づいて入国者Pの国籍を検出し、その国の公用語で案内情報G1を投影してもよい。
【0143】
図42(B)の例では、
図42(A)の例と同様に情報処理装置100aの右方向の審査ゲートに入国者Pを誘導する必要があるが、情報処理装置100aの右側には入国者Pの荷物などの物体OBが存在している。この場合、情報処理装置100aは、監視カメラ116により情報処理装置100aの右側に物体OBがあることを検出し、左側のプロジェクタ137Lを使用して情報処理装置100aの左側の床に案内情報G2を投影する。案内情報G2は、案内情報G1と同様に、入国者Pを情報処理装置100aの右方向にある審査ゲートへ誘導するものである。なお、情報処理装置100aの側方に近接センサを設け、プロジェクタ137R又は137Lが情報を投影する位置に物体があるか否かを検出するようにしてもよい。また、サーモカメラ115の映像を用いて物体があるか否かを検出してもよい。
【0144】
図43(A)、43(B)は、中央のプロジェクタ137Cを用いて情報を投影する例である。
図43(A)は、プロジェクタ137Cにより、情報処理装置100aの正面に、案内情報G4として足跡マークを投影している。この足跡マークは、正しく顔認証などを行うために、情報処理装置100aを操作する入国者Pが立つべき位置を示している。
図43(B)は、情報処理装置100aが何らかの理由により使用できないことを示す案内情報G5を情報処理装置100aの正面の床に投影している。
【0145】
以上のように、第7実施形態によれば、プロジェクタ137により、情報処理装置100aを使用する入国者Pに対して各種の情報を提供することができる。なお、第7実施形態は、第1~第6実施形態の1つ又は複数と組み合わせて実施することができる。特に、第6実施形態において、誤って情報処理装置100を操作した日本人や事前登録済みの外国人に対して、本実施形態のプロジェクタ137を用いて正しい目的地を案内することができる。また、パスポートに基づいた公用語で案内を表示することにより、入国者の理解しやすい案内を行うことができる。
【0146】
<第8実施形態>
次に、この開示の第8実施形態について説明する。
[基本概念]
第8実施形態に係る情報処理装置100の構成は基本的に第1実施形態と同様であり、
図2に示す外観構成及び
図4に示す機能構成を備える。第8実施形態に係る情報処理装置100は、入国者Pの身長などに応じて、タッチパネル117及びテーブル135の高さを自動的に調整するものである。
【0147】
図2に示すように、情報処理装置100のタッチパネル117には顔認証カメラ118が設けられており、タッチパネル117は昇降機構122によりバー134に沿って上下方向に移動可能となっている。また、情報処理装置100のテーブル135の上面にはパスポートリーダ119及び2つの指紋スキャナ120が設けられており、テーブル135は昇降機構122により上下方向に移動可能となっている。
【0148】
第8実施形態では、昇降機構122は、タッチパネル117とテーブル135を独立に上下移動させ、高さ調整を行う。具体的に、タッチパネル117の高さは、情報処理装置100の前に立った入国者Pの顔の高さに基づいて調整される。一方、本出願の発明者は、指紋スキャナは使用者の肘の高さにある場合に最も使用しやすいという知見を得ており、テーブル135の高さは、入国者Pの肘の高さに基づいて調整される。第8実施形態では、テーブル135の高さを入国者Pの肘の高さに基づいて調整する。
【0149】
図44は、第8実施形態に係る情報取得処理のフローチャートである。
図6を比較すると理解されるように、第8実施形態の情報取得処理では、ステップS1とS10の間に、高さ調整処理(ステップS2)が設けられている。ステップS1でサーモセンサ115が入国者Pを検知すると、情報処理装置100は高さ調整処理を行い、情報処理装置100のタッチパネル117とテーブル135の高さを入国者Pに合わせて調整する。この点以外は、第8実施形態の情報取得処理は第1実施形態の情報取得処理と同様である。
【0150】
図45は、高さ調整処理のフローチャートである。まず、情報処理装置100は、カメラを用いて情報処理装置100の前に立っている入国者Pを撮影する(ステップS141)。この場合のカメラは、監視カメラ116と顔認証カメラ118の一方でもよく、両方でもよい。次に、情報処理装置100は、カメラの撮影画像に基づいて、入国者Pの顔の高さを決定する(ステップS142)。また、情報処理装置100は、カメラでの撮影画像に基づいて、入国者の肘の高さを決定する(ステップS143)。なお、顔の高さは第1の高さの一例であり、肘の高さは第2の高さの一例である。
【0151】
次に、昇降機構122は、入国者Pの顔の高さに基づいてタッチパネル117の高さを調整する(ステップS144)。具体的には、昇降機構122は、入国者Pの顔がタッチパネル117に設けられた上下の顔認証カメラ118Aと118Bの間に位置するようにタッチパネル117の高さを調整する。次に、昇降機構122は、入国者Pの肘の高さとほぼ一致するようにテーブル135の高さを調整する(ステップS145)。そして、高さ調整処理は終了する。なお、上記の処理において、監視カメラ116と顔認証カメラ118の一方又は両方は撮影手段の一例であり、昇降機構122は高さ調整手段の一例である。
【0152】
以上のように、第8実施形態では、入国者Pの顔の高さに合わせて、顔認証カメラ118と指紋スキャナ120の高さと独立に調整する。よって、様々な体形の入国者Pに対して顔認証カメラ118と指紋スキャナ120の高さを適切に調整することが可能となる。なお、第8実施形態は、第1~第7実施形態の1つ又は複数と組み合わせて実施することができる。
【0153】
[変形例]
上記の例では、指紋スキャナ120が設けられたテーブル135の高さを、入国者Pの肘の高さに基づいて調整しているが、必要に応じて、肘の高さを補正してもよい。情報処理装置100の前にいる入国者Pが動いている場合、例えば、入国者Pが情報処理装置100に向かって歩いている状態をカメラで撮影している場合や、入国者Pがバッグからものを取り出している場合などは、肘の高さが安定しない。その場合には、カメラで撮影した入国者Pの肩や腰などの高さも加味して肘の高さを決定してもよい。また、肘の高さが安定しない間は、肘の高さの取得や高さ調整等を控え、肘の高さが一定時間安定した際(一定時間肘の高さが変わらなかった際)に肘の高さを決定し、テーブルの高さを調整しても良い。
【0154】
<第9実施形態>
次に、本開示の第9実施形態について説明する。
図46は、第9実施形態に係る情報処理装置の構成を示すブロック図である。情報処理装置500は、指紋取得手段501と、画像取得手段502と、指判定手段503と、アラート手段とを備える。指紋取得手段501は、指紋読取装置を用いて対象の指紋を取得する。画像取得手段502は、指紋読取装置に指を置いた対象の手元画像を取得する。指判定手段503は、手元画像に基づいて、対象が指紋読取装置に人差し指を置いているか否かを判定する。アラート手段504は、対象が指紋読取装置に人差し指を置いていない場合に、アラートを出力する。
【0155】
図47は、第9実施形態による情報処理のフローチャートである。この処理は、
図4に示すプロセッサ112が、予め用意されたプログラムを実行することにより実現される。まず、指紋取得手段501は、指紋読取装置を用いて対象の指紋を取得する(ステップS501)。次に、画像取得手段502は、指紋読取装置に指を置いた対象の手元画像を取得する(ステップS502)。指判定手段503は、手元画像に基づいて、対象が指紋読取装置に人差し指を置いているか否かを判定する(ステップS503)。アラート手段504は、対象が指紋読取装置に人差し指を置いていない場合に、アラートを出力する(ステップS504)。
【0156】
第9実施形態によれば、対象が指紋読取装置に正しく人差し指を置いていない場合に、アラートを発することができ、指紋採取時の対象の不正を検出することが可能となる。
【0157】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0158】
(付記1)
指紋読取装置を用いて対象の指紋を取得する指紋取得手段と、
前記対象の手元画像を取得する画像取得手段と、
前記手元画像に基づいて、前記対象が前記指紋読取装置に人差し指を置いているか否かを判定する指判定手段と、
前記対象が前記指紋読取装置に人差し指を置いていない場合に、アラートを出力するアラート手段と、
を備える情報処理装置。
【0159】
(付記2)
前記アラート手段は、前記手元画像とメッセージとを含む画像を表示部に表示する付記1に記載の情報処理装置。
【0160】
(付記3)
前記手元画像を表示部に表示するとともに、前記指紋読取装置に対して正しく人差し指を置いた状態を示すガイドハンドを前記手元画像に重畳して表示する表示制御手段を備える付記1又は2に記載の情報処理装置。
【0161】
(付記4)
パスポート読取装置を用いてパスポート情報を取得するパスポート情報取得手段を備え、
前記アラート手段は、前記パスポート情報取得手段がパスポートから前記パスポート情報を読み取った後、前記パスポートが前記パスポー読取装置上にある場合、前記パスポートを前記パスポート読取装置から取ることを促す置き忘れアラートを出力する付記1乃至3のいずれか一項に記載の情報処理装置。
【0162】
(付記5)
前記パスポート情報取得手段によるパスポート情報の読み取りに続いて、前記対象の顔認証を行う顔認証手段を備え、
前記指紋取得手段は、前記顔認証に続いて前記対象の指紋を取得し、
前記アラート手段は、前記顔認証の終了後、及び、前記指紋の取得後に、前記置き忘れアラートを表示する付記4に記載の情報処理装置。
【0163】
(付記6)
パスポート読取装置を用いてパスポート情報を取得するパスポート情報取得手段と、
前記パスポート情報に基づいて、前記対象に次の目的地を案内する情報を表示部に表示する目的地案内手段と、
を備える付記1乃至5のいずれか一項に記載の情報処理装置。
【0164】
(付記7)
前記情報処理装置の近傍の床に情報を投影するプロジェクタを備え、
前記目的地案内手段は、前記次の目的地を案内する情報を前記プロジェクタを用いて床に投影する付記6に記載の情報処理装置。
【0165】
(付記8)
前記目的地案内手段は、前記パスポート情報に基づいて決定した言語で前記次の目的地を案内する情報を投影する付記7に記載の情報処理装置。
【0166】
(付記9)
前記対象を撮影する撮影手段と、
前記撮影手段による撮影画像に基づいて前記対象の顔の高さと肘の高さを決定し、前記顔の高さに基づいて顔認証カメラの高さを調整するとともに、前記肘の高さに基づいて前記指紋読取装置の高さを調整する高さ調整手段と、
を備える付記1乃至8のいずれか一項に記載の情報処理装置。
【0167】
(付記10)
前記対象を撮影する撮影手段と、
パスポート情報取得手段が前記対象のパスポート情報を取得した後、前記対象の顔画像を取得して顔認証を行う顔認証手段と、
を備え、
前記顔認証手段は、前記パスポート情報の取得中に、前記撮影手段により所定の基準を具備する顔画像を取得できた場合には、パスポート情報の取得後における顔画像の取得を省略する付記1乃至9のいずれか一項に記載の情報処理装置。
【0168】
(付記11)
指紋読取装置を用いて対象の指紋を取得し、
前記対象の手元画像を取得し、
前記手元画像に基づいて、前記対象が前記指紋読取装置に人差し指を置いているか否かを判定し、
前記対象が前記指紋読取装置に人差し指を置いていない場合に、アラートを出力する情報処理方法。
【0169】
(付記12)
指紋読取装置を用いて対象の指紋を取得し、
前記対象の手元画像を取得し、
前記手元画像に基づいて、前記対象が前記指紋読取装置に人差し指を置いているか否かを判定し、
前記対象が前記指紋読取装置に人差し指を置いていない場合に、アラートを出力するする処理をコンピュータに実行させるプログラムを記録した記録媒体。
【0170】
以上、実施形態及び実施例を参照してこの開示を説明したが、この開示は上記実施形態及び実施例に限定されるものではない。この開示の構成や詳細には、この開示のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【0171】
1 入国審査システム
5 PC
100 情報処理装置
115 サーモセンサ
116 監視カメラ
117 タッチパネル
118 顔認証カメラ
119 パスポートリーダ
120 指紋スキャナ
121 手元カメラ
122 昇降機構
125 指判定部
200 管理サーバ
212 プロセッサ
300 タブレット
312 プロセッサ
314 タッチパネル
P 入国者