IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社リコーの特許一覧

特許7563641認証システム、認証装置、認証方法、及びプログラム
<>
  • 特許-認証システム、認証装置、認証方法、及びプログラム 図1
  • 特許-認証システム、認証装置、認証方法、及びプログラム 図2
  • 特許-認証システム、認証装置、認証方法、及びプログラム 図3
  • 特許-認証システム、認証装置、認証方法、及びプログラム 図4
  • 特許-認証システム、認証装置、認証方法、及びプログラム 図5
  • 特許-認証システム、認証装置、認証方法、及びプログラム 図6
  • 特許-認証システム、認証装置、認証方法、及びプログラム 図7
  • 特許-認証システム、認証装置、認証方法、及びプログラム 図8
  • 特許-認証システム、認証装置、認証方法、及びプログラム 図9
  • 特許-認証システム、認証装置、認証方法、及びプログラム 図10
  • 特許-認証システム、認証装置、認証方法、及びプログラム 図11
  • 特許-認証システム、認証装置、認証方法、及びプログラム 図12
  • 特許-認証システム、認証装置、認証方法、及びプログラム 図13
  • 特許-認証システム、認証装置、認証方法、及びプログラム 図14
  • 特許-認証システム、認証装置、認証方法、及びプログラム 図15
  • 特許-認証システム、認証装置、認証方法、及びプログラム 図16
  • 特許-認証システム、認証装置、認証方法、及びプログラム 図17
  • 特許-認証システム、認証装置、認証方法、及びプログラム 図18
  • 特許-認証システム、認証装置、認証方法、及びプログラム 図19
  • 特許-認証システム、認証装置、認証方法、及びプログラム 図20
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-30
(45)【発行日】2024-10-08
(54)【発明の名称】認証システム、認証装置、認証方法、及びプログラム
(51)【国際特許分類】
   G06F 21/31 20130101AFI20241001BHJP
   G06F 21/44 20130101ALI20241001BHJP
【FI】
G06F21/31
G06F21/44
【請求項の数】 12
(21)【出願番号】P 2024002329
(22)【出願日】2024-01-11
(62)【分割の表示】P 2020135983の分割
【原出願日】2020-08-11
(65)【公開番号】P2024026713
(43)【公開日】2024-02-28
【審査請求日】2024-02-08
(73)【特許権者】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】川瀬 勉
【審査官】岸野 徹
(56)【参考文献】
【文献】国際公開第2015/182059(WO,A1)
【文献】特開2015-170297(JP,A)
【文献】特開2020-079515(JP,A)
【文献】特開2019-191846(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 21/31
G06F 21/44
(57)【特許請求の範囲】
【請求項1】
端末装置を利用する人物又は前記端末装置を認証する認証装置と、ドローンとを含む認証システムであって、
前記ドローンは、
画像を撮影するカメラと、
音波を発するスピーカと、
を備え、
前記認証装置は、
前記ドローンの前記カメラで撮影された画像を取得する画像取得部と、
第1の識別情報を表す第1の音波を、前記ドローンが備える前記スピーカを用いて出力する第1の音波出力部と、
前記第1の音波出力部で前記第1の音波を出力した後に前記画像取得部で取得した、前記端末装置の表示画面を含む画像に基づいて、前記端末装置において第2の表示画面が表示されたか否かを判断する判断部と、
前記判断部により前記第2の表示画面が表示されたと判断された場合、第2の識別情報を表す第2の音波を、前記ドローンが備える前記スピーカを用いて出力する第2の音波出力部と、
前記第2の音波を前記端末装置が受信したことに基づいて前記端末装置から送信される認証情報であって、前記端末装置を識別する端末識別情報と、前記第2の識別情報とを含む前記認証情報を受信する通信部と、
前記通信部で受信した前記認証情報を、記憶部に記憶されている登録情報と照合して、前記登録情報に登録されている場合、前記端末装置を利用する人物又は、前記端末装置を認証する認証部と、
を有する認証システム。
【請求項2】
前記第1の音波出力部は、前記端末装置を第1の表示状態から前記第2の表示画面を表示する第2の表示状態に遷移させる前記第1の識別情報を表す前記第1の音波を出力し、
前記判断部は、前記端末装置が前記第2の表示状態に遷移した場合、前記端末装置において前記第2の表示画面が表示されたと判断する、請求項1に記載の認証システム
【請求項3】
前記認証部は、前記人物の認証を許可するときに、前記端末装置に認証結果を通知し、前記端末装置が、前記認証結果に応じて第3の表示状態に移行しない場合、前記人物の認証の許可を取り消す、請求項2に記載の認証システム
【請求項4】
前記第1の音波出力部は、前記第1の識別情報と前記第2の識別情報とを表す前記第1の音波を出力し、
前記認証部は、前記端末装置が、前記第1の音波に応じて、認証済みであることを示す第4の表示状態に移行した場合、前記人物又は前記端末装置を認証する認証処理の少なくとも一部を省略する、請求項2又は3に記載の認証システム
【請求項5】
前記第1の音波出力部は、前記端末装置に対して、所定の画面を表示させる前記第1の識別情報を表す前記第1の音波を出力し、
前記判断部は、前記端末装置が前記所定の画面を表示したときに、前記端末装置において前記第2の表示画面が表示されたと判断する、請求項1に記載の認証システム
【請求項6】
前記第1の音波出力部は、前記端末装置に対して、前記人物に所定の動作を促す表示画面を表示させる前記第1の識別情報を表す前記第1の音波を出力し、
前記判断部は、前記人物が前記所定の動作をしたときに、前記端末装置において前記第2の表示画面が表示されたと判断する、請求項1に記載の認証システム
【請求項7】
ドローンと通信可能な認証装置であって、
前記ドローンで撮影された画像を取得する画像取得部と、
第1の識別情報を表す第1の音波を、前記ドローンが備えるスピーカを用いて出力する第1の音波出力部と、
前記第1の音波出力部で前記第1の音波を出力した後に前記画像取得部で取得した、端末装置の表示画面を含む画像に基づいて、前記端末装置において第2の表示画面が表示されたか否かを判断する判断部と、
前記判断部により前記第2の表示画面が表示されたと判断された場合、第2の識別情報を表す第2の音波を、前記ドローンが備える前記スピーカを用いて出力する第2の音波出力部と、
前記第2の音波を前記端末装置が受信したことに基づいて前記端末装置から送信される認証情報であって、前記端末装置を識別する端末識別情報と、前記第2の識別情報とを含む前記認証情報を受信する通信部と、
前記通信部で受信した前記認証情報を、記憶部に記憶されている登録情報と照合して、前記登録情報に登録されている場合、前記端末装置を利用する人物又は、前記端末装置を認証する認証部と、
を有する認証装置。
【請求項8】
認証装置であって、
撮影された画像を取得する画像取得部と、
第1の識別情報を表す第1の音波を、スピーカを用いて出力する第1の音波出力部と、
前記第1の音波出力部で前記第1の音波を出力した後に前記画像取得部で取得した、端末装置の表示画面を含む画像に基づいて、前記端末装置において第2の表示画面が表示されたか否かを判断する判断部と、
前記判断部で前記第2の表示画面が表示されたと判断された場合、第2の識別情報を表す第2の音波を、前記スピーカを用いて出力する第2の音波出力部と、
前記第2の音波を前記端末装置が受信したことに基づいて前記端末装置から送信される認証情報を、記憶部に記憶されている登録情報と照合して、前記登録情報に登録されている場合、前記端末装置を利用する人物又は、前記端末装置を認証する認証部と、
を有する認証装置。
【請求項9】
ドローンと通信可能な認証装置が、
前記ドローンで撮影された画像を取得する画像取得処理と、
第1の識別情報を表す第1の音波を、前記ドローンが備えるスピーカを用いて出力する第1の音波出力処理と、
前記第1の音波出力処理で前記第1の音波を出力した後に前記画像取得処理で取得した、端末装置の表示画面を含む画像に基づいて、前記端末装置において第2の表示画面が表示されたか否かを判断する判断処理と、
前記判断処理により前記第2の表示画面が表示されたと判断された場合、第2の識別情報を表す第2の音波を、前記ドローンが備える前記スピーカを用いて出力する第2の音波出力処理と、
前記第2の音波を前記端末装置が受信したことに基づいて前記端末装置から送信される認証情報であって、前記端末装置を識別する端末識別情報と、前記第2の識別情報とを含む前記認証情報を受信する通信処理と、
前記通信処理で受信した前記認証情報を、記憶部に記憶されている登録情報と照合して、前記登録情報に登録されている場合、前記端末装置を利用する人物又は、前記端末装置を認証する認証処理と、
を実行する認証方法。
【請求項10】
認証装置が、
撮影された画像を取得する画像取得処理と、
第1の識別情報を表す第1の音波を、スピーカを用いて出力する第1の音波出力処理と、
前記第1の音波出力処理で前記第1の音波を出力した後に前記画像取得処理で取得した、端末装置の表示画面を含む画像に基づいて、前記端末装置において第2の表示画面が表示されたか否かを判断する判断処理と、
前記判断処理で前記第2の表示画面が表示されたと判断された場合、第2の識別情報を表す第2の音波を、前記スピーカを用いて出力する第2の音波出力処理と、
前記第2の音波を前記端末装置が受信したことに基づいて前記端末装置から送信される認証情報を、記憶部に記憶されている登録情報と照合して、前記登録情報に登録されている場合、前記端末装置を利用する人物又は、前記端末装置を認証する認証処理と、
を実行する認証方法。
【請求項11】
ドローンと通信可能な認証装置に、
前記ドローンで撮影された画像を取得する画像取得処理と、
第1の識別情報を表す第1の音波を、前記ドローンが備えるスピーカを用いて出力する第1の音波出力処理と、
前記第1の音波出力処理で前記第1の音波を出力した後に前記画像取得処理で取得した、端末装置の表示画面を含む画像に基づいて、前記端末装置において第2の表示画面が表示されたか否かを判断する判断処理と、
前記判断処理により前記第2の表示画面が表示されたと判断された場合、第2の識別情報を表す第2の音波を、前記ドローンが備える前記スピーカを用いて出力する第2の音波出力処理と、
前記第2の音波を前記端末装置が受信したことに基づいて前記端末装置から送信される認証情報であって、前記端末装置を識別する端末識別情報と、前記第2の識別情報とを含む前記認証情報を受信する通信処理と、
前記通信処理で受信した前記認証情報を、記憶部に記憶されている登録情報と照合して、前記登録情報に登録されている場合、前記端末装置を利用する人物又は、前記端末装置を認証する認証処理と、
を実行させるプログラム。
【請求項12】
認証装置に、
撮影された画像を取得する画像取得処理と、
第1の識別情報を表す第1の音波を、スピーカを用いて出力する第1の音波出力処理と、
前記第1の音波出力処理で前記第1の音波を出力した後に前記画像取得処理で取得した、端末装置の表示画面を含む画像に基づいて、前記端末装置において第2の表示画面が表示されたか否かを判断する判断処理と、
前記判断処理で前記第2の表示画面が表示されたと判断された場合、第2の識別情報を表す第2の音波を、前記スピーカを用いて出力する第2の音波出力処理と、
前記第2の音波を前記端末装置が受信したことに基づいて前記端末装置から送信される認証情報を、記憶部に記憶されている登録情報と照合して、前記登録情報に登録されている場合、前記端末装置を利用する人物又は、前記端末装置を認証する認証処理と、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、認証システム、認証装置、認証方法、及びプログラムに関する。
【背景技術】
【0002】
監視カメラ等の固定カメラや、移動ロボットが備える移動カメラ等を用いて、施設内の人物の認証を行う認証システムが知られている。
【0003】
例えば、固定カメラで撮影した第1の画像に含まれる人物の顔照合ができない場合に、人物を撮影可能な位置にある移動体のカメラで第2の画像を取得し、人物の顔認証を行う照合システムが知られている(例えば、特許文献1参照)。
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記のような、カメラを用いた認証システムにより、例えば、ドローン、移動ロボット、監視カメラ等を用いて、比較的離れた場所からでも人物を認証することができる。
【0005】
しかし、特許文献1に開示された技術では、人物の顔認証を行うために、より解像度の高い画像や認証精度が要求される。また、顔認証には、認証の対象となる人物がマスク等を着用している場合には、認証が困難であるという問題もある。
【0006】
本発明の一実施形態は、上記の問題点に鑑みてなされたものであって、カメラを用いて人物を認証する認証システムにおいて、離れた場所から顔認証によらずに、人物を認証できるようにする。
【課題を解決するための手段】
【0007】
上記の課題を解決するため、本発明の一実施形態に係る認証システムは、端末装置を利用する人物又は前記端末装置を認証する認証装置と、ドローンとを含む認証システムであって、前記ドローンは、画像を撮影するカメラと、音波を発するスピーカと、を備え、前記認証装置は、前記ドローンの前記カメラで撮影された画像を取得する画像取得部と、第1の識別情報を表す第1の音波を、前記ドローンが備える前記スピーカを用いて出力する第1の音波出力部と、前記第1の音波出力部で前記第1の音波を出力した後に前記画像取得部で取得した、前記端末装置の表示画面を含む画像に基づいて、前記端末装置において第2の表示画面が表示されたか否かを判断する判断部と、前記判断部により前記第2の表示画面が表示されたと判断された場合、第2の識別情報を表す第2の音波を、前記ドローンが備える前記スピーカを用いて出力する第2の音波出力部と、前記第2の音波を前記端末装置が受信したことに基づいて前記端末装置から送信される認証情報であって、前記端末装置を識別する端末識別情報と、前記第2の識別情報とを含む前記認証情報を受信する通信部と、前記通信部で受信した前記認証情報を、記憶部に記憶されている登録情報と照合して、前記登録情報に登録されている場合、前記端末装置を利用する人物又は、前記端末装置を認証する認証部と、を有する
【発明の効果】
【0008】
本発明の一実施形態によれば、カメラを用いて人物を認証する認証システムにおいて、離れた場所から顔認証によらずに、人物を認証できるようになる。
【図面の簡単な説明】
【0009】
図1】一実施形態に係る情報処理システムのシステム構成の例を示す図である。
図2】一実施形態に係る情報処理システムの認証処理の概要を示す図である。
図3】一実施形態に係る端末装置の表示画面の遷移の例を示す図である。
図4】一実施形態に係るコンピュータのハードウェア構成の例を示す図である。
図5】一実施形態に係るドローンのハードウェア構成の例を示す図である。
図6】一実施形態に係る端末装置のハードウェア構成の例を示す図である。
図7】一実施形態に係る情報処理システムの機能構成の一例を示す図である。
図8】一実施形態に係る情報処理システムの機能構成の別の一例を示す図である。
図9】一実施形態に係る情報管理部が管理する情報の一例のイメージを示す図である。
図10】第1の実施形態に係る認証システムの処理の例を示すフローチャートである。
図11】第1の実施形態に係る認証OKの場合の処理の例を示すフローチャートである。
図12】第1の実施形態に係る認証NGの場合の処理の例を示すフローチャートである。
図13】第1の実施形態に係る端末装置の処理の例を示すフローチャートである。
図14】第1の実施形態に係る情報処理システムの処理の例を示すシーケンス図である。
図15】第2の実施形態に係る情報処理システムの処理の例を示すシーケンス図である。
図16】一実施形態に係る登録処理の一例を示すシーケンス図である。
図17】一実施形態に係る登録処理の別の一例を示すシーケンス図である。
図18】第3の実施形態に係る情報処理システムの処理の例を示すシーケンス図である。
図19】一実施形態に係る応用例を示す図(1)である。
図20】一実施形態に係る応用例を示す図(2)である。
【発明を実施するための形態】
【0010】
以下に、本発明の実施の形態について、添付の図面を参照して説明する。
【0011】
<システム構成>
図1は、一実施形態に係る情報処理システムのシステム構成の例を示す図である。情報処理システム100は、ドローン120を使って、端末装置130を利用する人物131を認証するシステムである。
【0012】
ドローン120は、人が搭乗しない無人の航空機であり、例えば、端末装置130及び端末装置130を利用する人物131の画像を撮影するカメラ121と、音波123を出力するスピーカ122とを備えている。
【0013】
このようなドローン120を使って、人物131への音声による指示やガイド、警備等を行う事例が出てきている。例えば、ドローン120を操作する操作者111は、ドローン120と無線通信101で通信可能な情報処理装置110を利用してドローン120を操作し、人物131の撮影、人物131への音声メッセージの出力等を行うことができる。
【0014】
しかし、従来の技術では、このようなドローン120を利用して、例えば、施設内で不審な人物を発見したときに、人物131が、施設の利用を許可された人物であるか否かを認証することには困難を伴っていた。
【0015】
例えば、特許文献1に開示された技術のように、人物131の顔認証を行うためには、より解像度の高い画像を撮影するカメラや、より高い認証精度が要求される。また、顔認証には、認証の対象となる人物131がマスク等を着用している場合には、認証が困難であるという問題もある。
【0016】
そこで、本実施形態に係る情報処理システム100では、例えば、認証対象となる人物131が利用する、例えば、スマートフォン、タブレット端末、ウェアラブル端末等の端末装置130を利用して、人物131の認証を行う。
【0017】
なお、ドローン120は、カメラ121とスピーカ122とを備え、人物131の認証に用いられる装置の一例である。人物131の認証に用いられる装置は、例えば、路面、床面等を走行する走行装置(警備ロボット等)や、水上を移動する移動装置等であっても良い。また、人物131の認証に用いられる装置は、移動機能を有さない、例えば、監視カメラ、デジタルサイネージ、受付端末等の装置であっても良い。ここでは、一例として、人物131の認証に用いられる装置がドローン120であり、認証対象となる人物131が利用する端末装置130がスマートフォンであるものとして、以下の説明を行う。
【0018】
<処理の概要>
図2は、一実施形態に係る情報処理システムの認証処理の概要を示す図である。図2の例では、端末装置130を利用する人物131を認証する認証システム200には、例えば、ドローン120、情報処理装置110、及びアクセス認証DB(Database)201等が含まれる。
【0019】
認証システム200は、例えば、私有地、管理地、公園、会社、河川等の様々な施設のうち、管理対象となる施設内にいる人物131の認証を行う。また、認証システム200は、施設の利用か許可されている利用者の情報、及び当該利用者が利用している端末装置を識別する端末識別情報(以下、端末IDと呼ぶ)等を、アクセス認証DB201に予め記憶しているものとする。
【0020】
認証システム200は、ドローン120のカメラ121で撮影した画像から、施設内にいる人物131を検出(発見)すると、例えば、次のような認証処理を実行する。なお、ここでは、人物131は、施設の利用が許可されている利用者であり、人物131が利用する端末装置130には、認証システム200に対応するアプリケーション(以下、アプリと呼ぶ)がインストールされているものとする。
【0021】
ステップS1において、認証システム200は、ドローン120のスピーカ122を用いて、人物131に対して、例えば、アプリを起動して、端末装置130の表示画面をドローン120に向けるように促す音声アナウンスを出力する。
【0022】
ステップS2において、人物131がアプリを起動すると、端末装置130は第1の表示画面(例えば、赤色の画面等)を表示する。
【0023】
ステップS3において、認証システム200は、カメラ121で撮影した画像から、端末装置130による第1の表示画面の表示を確認すると、ステップS4において、スピーカ122から、第1の識別情報(以下、ID1と呼ぶ)を表す第1の音波を出力する。なお、ID1は、端末装置130に対して所定の表示処理を実行させる第1の識別情報の一例である。
【0024】
ステップS5において、端末装置130は、端末装置130が備えるマイクを用いて周辺の音を取得し、ID1を表す第1の音波を受信すると、第1の表示画面から第2の表示画面(例えば、黄色の画面等)に遷移させる。
【0025】
ステップS6において、認証システム200は、カメラ121で撮影した画像から、端末装置130による第2の表示画面への遷移を確認すると、ステップS7において、スピーカ122から第2の識別情報(以下、ID2と呼ぶ)を表す第2の音波を出力する。なお、ID2は、ドローン120(又は認証システム200、情報処理装置110等)を識別する第2の識別情報の一例である。
【0026】
ステップS8において、端末装置130は、ID2を表す音波を受信すると、ID2、及び端末装置130を識別する端末IDを含む認証情報を、例えば、無線通信で認証システム200に送信する。好ましくは、この認証情報には、端末装置130がGPS(Global Positioning System)等で取得した、端末装置130の位置を示す位置情報が含まれる。
【0027】
なお、認証情報の送信先は、例えば、アプリが、ID2に対応する送信先のアドレス等を予め有していても良いし、端末装置130が、予め設定された外部サーバ等から、ID2に対応する送信先のアドレス等を取得しても良い。
【0028】
ステップS9において、認証システム200は、端末装置130から送信された認証情報と、アクセス認証DB201との照合結果により、人物131の認証を許可(又は拒否)する。例えば、認証システム200は、端末装置130の端末IDが、アクセス認証DB201に登録されている場合、端末装置130を利用する人物131の認証を許可する。或いは、認証システム200は、認証情報に含まれるID2、位置情報等をさらに用いて、端末装置130を利用する人物131の認証を行っても良い。
【0029】
ステップS10において、認証システム200は、例えば、無線通信で端末装置130に認証結果を通知する。ここでは、人物131は、施設の利用が許可された利用者なので、人物131の認証が許可されたことを示す認証結果が端末装置130に通知される。
【0030】
ステップS11において、端末装置130は、認証システム200から、認証が許可されたことを示す認証結果を受信すると、表示画面を第2の表示画面から第3の表示画面(例えば、緑色の画面等)に遷移させる。
【0031】
ステップS12において、認証システム200は、カメラ121で撮影した画像から、端末装置130による第3の表示画面への遷移を確認すると、人物131による施設の利用を許可する。また、ステップS13において、認証システム200は、ドローン120のスピーカ122を用いて、施設の利用を許可することを示す音声アナウンスを出力する。
【0032】
このように、本実施形態によれば、カメラ121を用いて人物131を認証する認証システム200において、離れた場所から顔認証によらずに、人物131を認証できるようになる。
【0033】
図3は、一実施形態に係る端末装置の表示画面の遷移の例を示す図である。図3(A)は、端末装置130が表示する第1の表示画面、第2の表示画面、及び第3の表示画面の一例を示している。端末装置130は、図2のステップS2において、一例として、表示画面全体を赤色とした第1の表示画面310aを表示する。この場合、端末装置130は、図2のステップS5において、例えば、表示画面全体を黄色とした第2の表示画面310bを表示する。また、端末装置130は、図2のステップS11において、例えば、表示画面全体を緑色とした第3の表示画面310cを表示する。なお、図3(A)に示す第1の表示画面310a、第2の表示画面310b、第3の表示画面310cの色は一例であり、他の色であっても良い。
【0034】
図3(B)は、端末装置130が表示する第1の表示画面、第2の表示画面、及び第3の表示画面の別の一例を示している。端末装置130は、図2のステップS2において、一例として、表示画面全体に文字「A」を表示する第1の表示画面320aを表示しても良い。この場合、端末装置130は、図2のステップS5において、例えば、表示画面全体に文字「B」を表示する第2の表示画面320bを表示する。また、端末装置130は、図2のステップS11において、例えば、表示画面全体に文字「C」を表示する第3の表示画面320cを表示する。なお、図3(B)に示す第1の表示画面320a、第2の表示画面320b、第3の表示画面320cに表示される文字は一例であり、他の文字であっても良い。
【0035】
図3(C)は、端末装置130が表示する第1の表示画面、第2の表示画面、及び第3の表示画面の別の一例を示している。端末装置130は、図2のステップS2において、一例として、表示画面の所定の位置に複数の矩形331を配置した第1の表示画面330aを表示しても良い。この場合、端末装置130は、図2のステップS5において、例えば、第1の表示画面330aとは異なる位置に複数の矩形331を配置した第2の表示画面330bを表示する。また、端末装置130は、図2のステップS11において、例えば、第1の表示画面330a及び第2の表示画面330bとは異なる位置に複数の矩形331を配置した第3の表示画面330cを表示する。なお、図3(C)に示す第1の表示画面330a、第2の表示画面330b、第3の表示画面330cに表示される複数の矩形331の配置は一例であり、他の配置であっても良い。
【0036】
このように、端末装置130は、ドローン120のカメラ121で撮影した画像から、表示画面の遷移が判別し易い態様で、第1~3の表示画面を表示する。従って、本実施形態では、ドローン120のカメラ121として、高解像度のカメラは不要になり、一般的なカメラを用いて、人物131の認証を行うことができるようになる。また、本実施形態に係る認証システム200は、顔認証機能を有していなくても良い(有していても良い)。
【0037】
なお、図3(A)~(C)に示した第1~3の表示画面は、端末装置130が表示する第1~3の表示画面の一例である。端末装置130は、第1~3の表示画面として、例えば、互いに異なるQRコード(登録商標)又はバーコード等の他の表示要素を表示画面に表示するもの等であっても良い。
【0038】
また、第1~3の表示画面を表示する処理は、端末装置130が実行する第1~3の表示処理の一例である。端末装置130が実行する第1~3の表示処理は、例えば、互いに異なる点滅パターンで、LED(Light Emitting Diode)を点滅させる処理等であっても良い。
【0039】
さらに、本実施形態の応用例として、端末装置130は、第1~3の表示処理に代えて、第1~3の音波出力処理を実行するものであっても良い。例えば、端末装置130は、第1~3の表示画面に代えて、互いに異なる音階の音を、端末装置130が備えるスピーカから出力するものであっても良い。或いは、端末装置130は、第1~3の表示処理に代えて、互いに異なる情報を表す音波を、端末装置130が備えるスピーカから出力するもの等であっても良い。
【0040】
<ハードウェア構成>
続いて、情報処理装置110、ドローン120、及び端末装置130のハードウェア構成について説明する。
【0041】
(情報処理装置のハードウェア構成)
情報処理装置110は、例えば、図4に示すようなコンピュータ400のハードウェア構成を有している。
【0042】
図4は、一実施形態に係るコンピュータのハードウェア構成の例を示す図である。コンピュータ400は、例えば、CPU(Central Processing Unit)401、ROM(Read Only Memory)402、RAM(Random Access Memory)403、HD(Hard Disk)404、HDD(Hard Disk Drive)コントローラ405、ディスプレイ406、外部機器接続I/F(Interface)407、通信I/F408、キーボード409、ポインティングデバイス410、DVD-RW(Digital Versatile Disk Rewritable)ドライブ412、メディアI/F414、及びバスライン415等を備えている。
【0043】
これらのうち、CPU401は、コンピュータ400の全体の動作を制御するプロセッサである。ROM402は、例えば、IPL(Initial Program Loader)等のコンピュータ400の起動に用いられるプログラム等を記憶する不揮発性のメモリである。RAM403は、CPU401のワークエリア等として使用される揮発性のメモリである。HD404は、プログラムや各種データ等を記憶するストレージデバイスである。HDDコントローラ405は、CPU401の制御に従ってHD404に対する各種データの読み出し又は書き込みを制御する。
【0044】
ディスプレイ406は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する表示デバイスである。外部機器接続I/F407は、コンピュータ400に各種の外部機器を接続するためのインタフェースである。外部機器の例としては、例えば、ヘッドセット416、マイク、ヘッドホン、スピーカ等がある。
【0045】
通信I/F408は、外部装置と通信するためのインタフェースである。通信I/F408には、コンピュータ400を、例えば、インターネットやLAN(Local Area Network)等の通信ネットワークに接続するNIC(Network Interface Card)や、ドローン120と無線通信を行うための無線通信インタフェース等が含まれる。
【0046】
キーボード409は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス410は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行なう入力手段の一種である。DVD-RWドライブ412は、着脱可能な記録媒体の一例としてのDVD-RW411に対する各種データの読み出し又は書き込みを制御する。なお、DVD-RW411は、DVD-RWに限らず、他の記録媒体であっても良い。メディアI/F414は、フラッシュメモリ等のメディア413に対するデータの読み出し又は書き込み(記憶)を制御する。バスライン415は、上記の各構成要素に共通に接続され、例えば、アドレスバス、データバス及び各種の制御信号等を含む。
【0047】
(ドローンのハードウェア構成)
図5は、一実施形態に係るドローンのハードウェア構成の例を示す図である。ドローン120は、例えば、CPU501、メモリ502、ストレージデバイス503、通信装置504、飛行装置505、カメラ121、音波出力回路506、スピーカ122、スポットライト507、及びバス508等を有する。
【0048】
CPU501は、例えば、ストレージデバイス503、メモリ502等に記憶したプログラムを実行することにより、ドローン120が備える様々な機能を実現する演算装置である。メモリ502には、例えば、CPU501のワークエリアとして用いられる揮発性のメモリであるRAM、及びCPU501の起動用のプログラム等を予め記憶したROM等が含まれる。ストレージデバイス503は、例えば、フラッシュROM、SSD(Solid State Drive)等の大容量の不揮発性の記憶装置である。
【0049】
通信装置504は、例えば、情報処理装置110の通信I/F408と同じ無線通信方式で無線通信を行う通信インタフェースを含む。また、通信装置504は、例えば、インターネットやLAN等の通信ネットワークに、無線WAN(Wide Area Network)通信で接続する通信インタフェースを含む。
【0050】
飛行装置505は、ドローン120を飛行させるための複数のプロペラ、プロペラを駆動するモータ又はエンジン等のアクチュエータ、及びアクチュエータを制御する制御回路等が含まれる。
【0051】
カメラ121は、ドローン120の周辺の画像を撮影する撮影装置である。音波出力回路506は、例えば、音波信号を増幅するアンプ、音波データを音波信号に変換するDA(Digital to Analog)コンバータ等を含み、スピーカ122に出力する音波信号を生成する。スピーカ122は、音波出力回路506が出力する音波信号を音波に変換して出力するスピーカである。
【0052】
スポットライト507は、例えば、周辺が暗いときに、認証対象となる人物131等を照らす照明装置である。バス508は、上記の各構成要素に共通に接続され、例えば、アドレス信号、データ信号、及び各種の制御信号等を伝送する。
【0053】
(端末装置のハードウェア構成)
図6は、一実施形態に係る端末装置のハードウェア構成の例を示す図である。図6に示されているように、端末装置130は、CPU601、ROM602、RAM603、ストレージデバイス604、CMOS(Complementary Metal Oxide Semiconductor)センサ605、撮像素子I/F606、加速度・方位センサ607、メディアI/F609、GPS受信部610を備えている。
【0054】
これらのうち、CPU601は、所定のプログラムを実行することにより端末装置130全体の動作を制御する。ROM602は、例えば、IPL等のCPU601の起動に用いられるプログラムを記憶する。RAM603は、CPU601のワークエリアとして使用される。ストレージデバイス604は、OS、アプリ等のプログラム、及び各種のデータ等を記憶する大容量の記憶装置であり、例えば、SSD、フラッシュROM等によって実現される。
【0055】
CMOSセンサ605は、CPU601の制御に従って被写体(主に自画像)を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、端末装置130は、CMOSセンサ605に代えて、CCD(Charge Coupled Device)センサ等の撮像手段を有していても良い。撮像素子I/F606は、CMOSセンサ605の駆動を制御する回路である。加速度・方位センサ607は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアI/F609は、フラッシュメモリ等のメディア(記憶メディア)608に対するデータの読み出し又は書き込み(記憶)を制御する。GPS受信部610は、GPS衛星からGPS信号を受信する。
【0056】
また、端末装置130は、遠距離通信回路611、遠距離通信回路611のアンテナ611a、CMOSセンサ612、撮像素子I/F613、マイク614、スピーカ615、音入出力I/F616、ディスプレイ617、外部機器接続I/F618、近距離通信回路619、近距離通信回路619のアンテナ619a、及びタッチパネル620を備えている。
【0057】
これらのうち、遠距離通信回路611は、例えば、通信ネットワークを介して、他の装置と通信する回路である。CMOSセンサ612は、CPU601の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F613は、CMOSセンサ612の駆動を制御する回路である。マイク614は、音を電気信号に変える内蔵型の回路である。スピーカ615は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力I/F616は、CPU601の制御に従ってマイク614及びスピーカ615との間で音波信号の入出力を処理する回路である。
【0058】
ディスプレイ617は、被写体の画像や各種アイコン等を表示する液晶や有機EL(Electro Luminescence)等の表示手段の一種である。外部機器接続I/F618は、各種の外部機器を接続するためのインタフェースである。近距離通信回路619は、近距離無線通信を行う回路を含む。タッチパネル620は、利用者がディスプレイ617を押下することで、端末装置130を操作する入力手段の一種である。
【0059】
また、端末装置130は、バスライン621を備えている。バスライン621は、図6に示されているCPU601等の各構成要素を電気的に接続するためのアドレスバスやデータバス等を含む。
【0060】
<機能構成>
図7は、一実施形態に係る情報処理システムの機能構成の一例を示す図である。図7の例では、認証システム200には、情報処理装置110、ドローン120、及びアクセス認証サーバ700が含まれる。
【0061】
(情報処理装置の機能構成)
情報処理装置110は、例えば、図4のCPU401で所定のプログラムを実行することにより、通信部731、ドローン操作部732等を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであっても良い。
【0062】
通信部731は、例えば、図4の通信I/F408等を用いて、所定の無線通信方式でドローン120と無線通信を行う。
【0063】
ドローン操作部732は、例えば、図4のディスプレイ406等にドローン120の操作画面を表示し、操作者111の操作に応じた制御信号を、通信部711を介してドローン120に送信することにより、ドローン120を操作する。また、ドローン操作部732は、ドローン120が撮影した画像を、図4のディスプレイ406等に表示する。
【0064】
(ドローンの機能構成)
ドローン(認証装置)120は、例えば、図5のCPU501で所定のプログラムを実行することにより、通信部721、画像取得部722、第1の音波出力部723、判断部724、第2の音波出力部725、認証部726、飛行制御部727、及び記憶部728等を実現している。
【0065】
通信部721は、例えば、図5の通信装置504を用いて、所定の無線通信で情報処理装置110と通信を行う。また、通信部721は、例えば、通信装置504を用いて、ドローン120を、インターネットやLAN等の通信ネットワークNに接続して、アクセス認証サーバ700、端末装置130等と通信を行う。
【0066】
画像取得部722は、例えば、図5のカメラ121を用いて、ドローン120の周辺にいる人物131を撮影した画像を取得する。
【0067】
第1の音波出力部723は、例えば、図5の音波出力回路506、スピーカ122等を用いて、端末装置130に対して、所定の表示処理を実行させるID1(第1の識別情報)を表す第1の音波を出力する。例えば、第1の音波出力部723は、図2で説明したように、端末装置130に、第1の表示画面を表示している状態(第1の表示状態)から、第2の表示画面を表示している状態(第2の表示状態)に遷移させるID1を表す第1の音波を出力する。
【0068】
なお、本実施形態では、音波でIDを表す方法については、特に限定しないが、一例として、複数の周波数の音波のオン/オフで、デジタル値の1/0を表すことにより、複数ビットのIDを表しても良い。
【0069】
好適な一例として、第1の音波出力部723、及び第2の音波出力部725は、端末装置130が備えるマイクで取得可能な周波数範囲(例えば、20Hz~20kHz)のうち、16kHz以上の周波数で、第1の音波、及び第2の音波を出力しても良い。16kHz以上の周波数の音波は、一般的な人の耳には聞こえ難く、直進性が高いため、IDを表す音波を、端末装置130に送信する用途に適している。
【0070】
判断部724は、画像取得部722が取得した画像から、端末装置130が所定の表示処理を実行したか否かを判断する。例えば、判断部724は、第1の音波出力部723が第1の音波を出力した後に、端末装置130が、第2の表示画面を表示している状態(第2の表示状態)に遷移した場合、端末装置130が所定の表示処理を実行したと判断する。
【0071】
第2の音波出力部725は、端末装置130が所定の表示処理を実行した場合、端末装置130に対して、ドローン(自装置)120を識別するID2(第2の識別情報)を表す第2の音波を出力する。
【0072】
なお、第1の音波出力部723と、第2の音波出力部725は、1つの音波出力部720によって実現されるものであっても良い。また、音波出力部720は、第1の音波、第2の音波以外の様々な音波(例えば、音声アナウンス等)を出力することができる。
【0073】
認証部726は、端末装置130が送信する、ID2、及び端末装置130を識別する端末IDを含む認証情報と、予め登録された登録情報とを照合して、端末装置130を利用する人物131、又は端末装置130を認証する。
【0074】
例えば、端末装置130は、ドローン120が出力したID2を表す第2の音波を受信すると、第2の音波に含まれるID2、端末装置130の端末ID、及び端末装置130の位置情報を含む認証情報を、アクセス認証サーバ700に送信する。
【0075】
また、アクセス認証サーバ700は、端末装置130から送信された認証情報を受信すると、受信した認証情報に、例えば、図9(A)に示すように、日時(タイムスタンプ)を付加して、アクセス認証DB201に記憶する。
【0076】
また、アクセス認証サーバ700は、例えば、図9(B)に示すように、施設の利用が許可されている利用者の端末ID、ユーザID、ユーザ名等を含む登録情報を、アクセス認証DB201に予め記憶している。
【0077】
認証部726は、例えば、アクセス認証DB201を参照して、図9(A)に示すような複数の認証情報の中から、日時、ID2、及び位置情報等により、端末装置130が送信した認証情報を特定する。また、認証部726は、端末装置130が送信した認証情報に含まれる端末IDが、図9(B)に示すような登録情報に登録されている場合、端末装置130を利用する人物131(又は端末装置130)の認証を許可する。
【0078】
好ましくは、認証部726は、図2のステップS10~S13で説明したように、認証が許可された端末装置130に、認証が許可されたことを示す認証結果を送信し、端末装置130が第3の表示画面に遷移したときに、人物131等の認証を許可しても良い。
【0079】
飛行制御部727は、例えば、情報処理装置110のドローン操作部732から送信される制御情報に従って、図5の飛行装置505を制御して、ドローン120の処理の位置、又は所定の方向に移動させる制御を行う。
【0080】
記憶部728は、例えば、図5のCPU501で実行されるプログラム、及びストレージデバイス503、メモリ502等によって実現され、ドローン120の端末ID等の様々な情報を記憶する。
【0081】
(アクセス認証サーバの機能構成)
アクセス認証サーバ700は、例えば、図4に示すようなコンピュータ400のハードウェア構成を有しており、CPU401で所定のプログラムを実行することにより、通信部701、情報管理部702、及びアクセス認証DB201等を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであっても良い。
【0082】
通信部701は、例えば、図4の通信I/F408を用いて、アクセス認証サーバ700を通信ネットワークNに接続して、ドローン120、端末装置130等と通信を行う。
【0083】
情報管理部702は、例えば、端末装置130が送信する、端末ID、ID2、位置情報等を含む認証情報に、例えば、図9(A)に示すように日時を付加して、アクセス認証DB201に記憶して管理する。
【0084】
また、情報管理部702は、例えば、図9(B)に示すような、施設の利用が許可されている利用者の端末ID、ユーザID、ユーザ名等を含む登録情報を、アクセス認証DB201に記憶して管理する。
【0085】
アクセス認証DB201は、例えば、CPU401で実行されるプログラム、及びHD404、HDDコントローラ405等によって実現され、情報管理部702が管理する認証情報、登録情報等を記憶する。
【0086】
(端末装置の機能構成)
端末装置130は、例えば、図6のCPU601で、所定のプログラム(アプリ)を実行することにより、通信部711、音波取得部712、表示制御部713、認証情報送信部714、操作受付部715、及び記憶部716等を実現している。
【0087】
通信部711は、例えば、図6の遠距離通信回路611等を用いて、端末装置130を通信ネットワークNに接続し、アクセス認証サーバ700、ドローン120等と通信を行う。
【0088】
音波取得部712は、例えば、図6のマイク614、音入出力I/F616等を用いて、第1の音波出力部723が出力する第1の音波、第2の音波出力部725が出力する第2の音波等を含む、端末装置130の周辺の音波を取得する。
【0089】
表示制御部713は、音波取得部712が取得した音波が、所定の表示処理の実行を要求するID1を表す第1の音波である場合、所定の表示処理を実行する。例えば、表示制御部713は、ディスプレイ617に表示している第1の表示画面を、第2の表示画面に遷移させる。
【0090】
認証情報送信部714は、音波取得部712が取得した音波が、例えば、ドローン120を識別するID2を表す第2の音波である場合、ID2、及び端末装置130の端末IDを含む認証情報を、アクセス認証サーバ700に送信する。なお、アクセス認証サーバ700は、所定の送信先の一例である。
【0091】
好ましくは、認証情報送信部714は、音波取得部712が取得した音波が第2の音波である場合、第2の音波に含まれるID2、端末装置130の端末ID、及び端末装置130の位置情報を含む認証情報を、アクセス認証サーバ700に送信する。
【0092】
操作受付部715は、例えば、図6のタッチパネル等を用いて、端末装置130を利用する人物131による入力操作を受け付ける。記憶部716は、例えば、図6のCPU601で実行されるプログラム、及びストレージデバイス604、RAM603等によって実現され、端末装置130の端末ID等を含む様々な情報を記憶する。
【0093】
なお、図7に示す認証システム200の機能構成は一例であり、認証システム200は様々な機能構成とすることができる。例えば、アクセス認証サーバ700の機能は、情報処理装置110、又はドローン120に含まれていても良い。また、ドローン120が有する機能は、例えば、図8に示すように、情報処理装置110が有していても良い。
【0094】
図8は、一実施形態に係る情報処理システムの機能構成の別の一例を示す図である。図8の例では、情報処理装置110は、図7のドローン120が有していた、画像取得部722、第1の音波出力部723、判断部724、第2の音波出力部725、及び認証部726を有している。また、情報処理装置110は、図7のアクセス認証サーバ700が有していた、情報管理部702、及びアクセス認証DB201を有している。
【0095】
(ドローンの機能構成)
図8の例では、ドローン120は、例えば、図5のCPU501で所定のプログラムを実行することにより、通信部721、飛行制御部727、音波再生部801、及び撮影部802等を実現している。このうち、通信部721、及び飛行制御部727は、図7のドローン120が有する通信部721、及び飛行制御部727と同様である。
【0096】
音波再生部801は、例えば、図5の音波出力回路506、スピーカ122等を用いて、情報処理装置110から無線通信で送信される音波データを再生し、音波として出力する。
【0097】
撮影部802は、カメラ121で撮影した画像データを、無線通信で情報処理装置110に送信する。
【0098】
(情報処理装置の機能構成)
図8の例では、情報処理装置(認証装置)110は、例えば、図4のCPU401で所定のプログラムを実行することにより、通信部731、画像取得部722、第1の音波出力部723、判断部724、第2の音波出力部725、認証部726、情報管理部702、アクセス認証DB201、及びドローン操作部732等を有している。
【0099】
なお、各機能構成の処理内容は、基本的に図7で説明した処理内容と同様なので、ここでは、図7で説明した処理内容との相違点を中心に説明する。
【0100】
通信部731は、所定の無線通信でドローン120と通信するとともに、情報処理装置110を通信ネットワークNに接続して、端末装置130との通信も行う。
【0101】
画像取得部722は、ドローン120の撮影部802が撮影した画像データを、通信部711を介して受信することにより、端末装置130を利用する人物131を撮影した画像を取得する。
【0102】
第1の音波出力部723は、端末装置130に対して、所定の表示処理を実行させるID1を表す第1の音波の音波データを、通信部711を介してドローン120に送信することにより、ドローン120を用いて第1の音波を出力する。
【0103】
第2の音波出力部725は、端末装置130が所定の表示処理を実行した場合、情報処理装置110又はドローン120を識別するIDを表す第2の音波データを、ドローン120に送信することにより、ドローン120を用いて第2の音波を出力する。
【0104】
なお、上記以外の機能構成の処理は、図7で説明した各機能構成の処理と同様で良い。このように、認証システム200に含まれる各機能構成は、認証システム200に含まれていれば良い。
【0105】
<処理の流れ>
続いて、本実施形態に係る認証方法の処理の流れについて説明する。
【0106】
[第1の実施形態]
(認証システムの処理)
図10は、第1の実施形態に係る認証システムの処理の例を示すフローチャートである。この処理は、例えば、図7に示す認証システム200が実行する処理の一例を示している。
【0107】
ステップS1001において、認証システム200の画像取得部722は、取得した画像に人物が含まれているか否かを判断し、取得した画像に人物が含まれている場合、ステップS1002以降の処理を実行する。一方、取得した画像に人物が含まれていない場合、画像取得部722は、ステップS1001の処理を繰り返し実行する。
【0108】
なお、ステップS1001の処理は、図10に示す認証システムの処理を開始するトリガーの一例である。例えば、認証システム200は、操作者111の開始操作に応じて、図10の処理を開始するものであっても良い。また、認証システム200は、例えば、画像に含まれている人物の顔認証を行い、顔認証に失敗したとき等に、図10の処理を開始するものであっても良い。
【0109】
ステップS1002において、認証システム200の音波出力部720は、画像に含まれる人物131に対して、アプリの起動、及び画面の提示を指示する音声アナウンスを出力する。なお、この処理は、例えば、操作者111が、ヘッドセット416のマイク等を用いて、アナウンスするものであっても良い。
【0110】
ステップS1003において、認証システム200の判断部724は、画像取得部722が取得した画像から、端末装置130によって、例えば、図3(A)に示すような第1の表示画面310aが表示されたか否かを判断する。第1の表示画面が表示された場合、認証システム200は、処理をステップS1004に移行させる。一方、第1の表示画面が表示されない場合、認証システム200は、処理をステップS1010に移行させる。
【0111】
ステップS1004に移行すると、認証システム200の第1の音波出力部723は、例えば、人物131が利用する端末装置130に対して、ID1を表す第1の音波を出力する。
【0112】
ステップS1005において、判断部724は、画像取得部722が取得した画像から、端末装置130によって、例えば、図3(A)に示すような第2の表示画面310bが表示されたか否かを判断する。第2の表示画面が表示された場合、認証システム200は、処理をステップS1006に移行させる。一方、第2の表示画面が表示されない場合、認証システム200は、処理をステップS1010に移行させる。
【0113】
ステップS1006に移行すると、認証システム200の第2の音波出力部725は、人物131が利用する端末装置130に対して、ドローン120を識別するID2を表す第2の音波を出力する。
【0114】
ステップS1007において、認証システム200の認証部726は、所定の時間内に、アクセス認証DB201に、端末装置130が送信した認証情報が登録されたか否かを判断する。例えば、認証部726は、アクセス認証DB201に記憶されている図9(A)に示すような複数の認証情報の日時、ID2、位置情報等から、端末装置130が送信した認証情報が登録されているか否かを判断する。
【0115】
アクセス認証DB201に端末装置130の認証情報が登録されている場合、認証部726は、処理をステップS1008に移行させる。一方、アクセス認証DB201に端末装置130の認証情報が登録されていない場合、認証部726は、処理をステップS1010に移行させる。
【0116】
ステップS1008において、認証部726は、端末装置130が送信した認証情報と、例えば、図9(B)に示すような登録情報とを照合して、認証を許可するか(認証OKか)、認証を拒否する(認証NGか)を判断する。例えば、認証部726は、端末装置130が送信した認証情報に含まれる端末IDが、図9(B)に示すような登録情報に登録されている場合、端末装置130、及び端末装置130を利用する人物131の認証を許可する。一方、認証部726は、端末装置130が送信した認証情報に含まれる端末IDが、登録情報に登録されていない場合、端末装置130、及び端末装置130を利用する人物131の認証を拒否する。
【0117】
認証を許可する場合(認証OKである場合)、認証システム200は、処理をステップS1009に移行させる。一方、認証を拒否する場合(認証がNGである場合)、認証システム200は、処理をステップS1010に移行させる。
【0118】
ステップS1009に移行すると、認証システム200は、例えば、図11に示すような、認証OKの場合の処理を実行する。
【0119】
ステップS1010に移行すると、認証システム200は、例えば、図12に示すような、認証NGの場合の処理を実行する。
【0120】
(認証OKの場合の処理)
図11は、第1の実施形態に係る認証OKの場合の処理の例を示すフローチャートである。この処理は、例えば、図10のステップS1009において、認証システム200が実行する、認証OKの場合の処理の一例を示している。
【0121】
ステップS1101において、認証部726は、アクセス認証DB201に、端末装置130の認証が許可されたことを登録する。例えば、認証部726は、図9(A)に示すような認証情報の「認証結果」をOKとする。
【0122】
ステップS1102において、認証システム200は、端末装置130に、認証が許可されたことを示す認証結果を通知する。この認証結果は、例えば、アクセス認証サーバ700が、通信ネットワークNを介して端末装置130に送信しても良い。この場合、アクセス認証サーバ700は、例えば、端末装置130の送信元アドレス等を、図9(A)に示すような認証情報に記憶しておく。また、別の一例として、この認証結果は、認証部726が音波出力部720を用いて、認証結果を示すIDを含む音波を出力するものであっても良い。
【0123】
ステップS1103において、判断部724は、画像取得部722が取得した画像から、端末装置130によって、例えば、図3(A)に示すような第3の表示画面310cが表示されたか否かを判断する。第3の表示画面が表示された場合、認証システム200は、処理をステップS1104に移行させる。一方、第3の表示画面が表示されない場合、認証システム200は、処理をステップS1105に移行させる。なお、第3の表示画面が表示されている状態は、第3の表示状態の一例である。
【0124】
ステップS1104に移行すると、認証システム200の音波出力部720は、認証が完了したこと(例えば、施設の利用が許可されたこと等)を示す音声アナウンスを出力する。なお、この処理は、例えば、操作者111が、ヘッドセット416等のマイクを用いて、アナウンスするものであっても良い。
【0125】
一方、ステップS1105に移行すると、認証システム200の認証部726は、アクセス認証DB201に登録した、端末装置130の認証の許可を取り消す。
【0126】
ステップS1006において、認証システム200は、例えば、図12に示すような、認証NGの場合の処理を実行する。
【0127】
(認証NGの場合の処理)
図12は、第1の実施形態に係る認証NGの場合の処理の例を示すフローチャートである。この処理は、例えば、図10のステップS1010、図11のステップS1106等において、認証システム200が実行する、認証NGの場合の処理の一例を示している。
【0128】
ステップS1201において、認証システム200の音波出力部720は、認証に失敗したこと、及び認証をリトライする場合の合図(例えば、手を振る)等を音声アナウンスで出力する。なお、この処理は、例えば、操作者111が、ヘッドセット416等のマイクを用いて、アナウンスするものであっても良い。
【0129】
ステップS1202、S1203において、認証システム200は、画像取得部722が取得した画像から、端末装置130を利用する人物131が、音声アナウンスで通知した合図をしているか否かを判断する。合図をしている場合、認証システム200は、処理をステップ1202に移行させる。一方、合図をしていない場合、認証システム200は、処理をステップS1206に移行させる。なお、この処理は、例えば、判断部724によって実行される。また、別の一例として、この処理の少なくとも一部は、操作者111等によって実行されるものであっても良い。
【0130】
ステップS1204、S1205において、認証システム200は、リトライ回数が所定回数以下であるかを判断し、リトライ回数が所定の回数以下である場合、例えば、図10のステップS1002以降の処理を再び実行(リトライ)する。一方、リトライ回数が所定の以下でない場合、処理をステップS1206に移行させる。
【0131】
ステップS1206、S1207において、認証システム200は、施設の利用が許可されていない人物131がいることを警備員等に連絡し、認証に失敗したことを示す音声アナウンスを出力する。なお、この処理は、例えば、操作者111によって実行されるものであっても良い。
【0132】
(端末装置の処理)
図13は、第1の実施形態に係る端末装置の処理の例を示すフローチャートである。この処理は、図10~12で説明した、認証システム200の処理に対応する端末装置130側の処理の例を示している。
【0133】
ステップS1301において、端末装置130で、認証システム200に対応するアプリが起動すると、端末装置130は、ステップS1302以降の処理を実行する。或いは、端末装置130は、アプリの操作画面で所定の操作が行われたときに、ステップS1302以降の処理を実行するものであっても良い。
【0134】
ステップS1302において、端末装置130の表示制御部713は、端末装置130が表示する表示画面の色を赤色とし、例えば、図3(A)に示すような第1の表示画面310aを表示する。好ましくは、表示制御部713は、このときに、画面の輝度を最大に設定する。
【0135】
ステップS1303において、端末装置130は、音波取得部712がID1を表す第1の音波を受信するまで待機し、第1の音波を受信したときに、処理をステップS1304に移行させる。
【0136】
ステップS1304に移行すると、端末装置130の表示制御部713は、端末装置130が表示する表示画面の色を黄色とし、例えば、図3(A)に示すような第2の表示画面310bを表示する。
【0137】
ステップS1305において、音波取得部712がID2を表す第2の音波を受信すると、ステップS1306において、認証情報送信部714は、通信部711を用いて認証システム200に、認証情報を送信する。この認証情報には、例えば、端末装置130を識別する端末ID、第2の音波が表すID2、端末装置130の位置を示す位置情報等が含まれる。
【0138】
ステップS1307において、端末装置130の通信部711(又は音波取得部712)が、認証OKであることを示す認証結果を受信した場合、端末装置130は、処理をステップS1308に移行させる。一方、所定の時間内に、認証OKであることを示す認証結果を受信しない場合(認証NGの認証結果を受信した場合を含む)、処理をステップS1310に移行させる。
【0139】
ステップS1308に移行すると、端末装置130の表示制御部713は、端末装置130が表示する表示画面の色を緑色とし、例えば、図3(A)に示すような第3の表示画面310cを表示する。
【0140】
ステップS1308において、端末装置130の通信部711(又は音波取得部712)が、所定の時間内に認証NGであることを示す認証結果を受信しない場合、端末装置130は、図13の処理を終了する。一方、所定の時間内に認証NGであることを示す認証結果を受信した場合、端末装置130は、処理をステップS1310に移行させる。
【0141】
ステップS1310に移行すると、端末装置130の表示制御部713は、端末装置130が表示する表示画面の色を赤色とし、例えば、図3(A)に示すような第1の表示画面310aを再び表示する。
【0142】
(情報処理システムの処理)
図14は、第1の実施形態に係る情報処理システムの処理の例を示すシーケンス図である。この処理は、図10~13の処理に対応する情報処理システム100全体の処理の一例を示している。なお、ここでは、端末装置130を利用する人物131が、施設の利用を許可された利用者であるものとして、以下の説明を行う。
【0143】
ステップS1401において、認証システム200の画像取得部722が、認証対象となる人物131を検出すると、ステップS1402において、音波出力部720は、アプリの起動、及び画面の提示を指示する音声アナウンスを出力する。なお、この処理は、例えば、図10のステップS1001、S1002の処理に対応している。
【0144】
ステップS1403において、端末装置130は、例えば、人物131の操作に応じてアプリを起動し、第1の表示画面を表示する。この処理は、例えば、図13のステップS1301、S1302の処理に対応している。
【0145】
ステップS1404において、認証システム200の判断部724が、端末装置130によって、第1の表示画面が表示されたことを確認すると、ステップS1405において、第1の音波出力部723は、ID1を表す第1の音波を出力する。なお、この処理は、例えば、図10のステップS1003、S1004の処理に対応している。
【0146】
ステップS1406において、端末装置130の音波取得部712が第1の音波を受信すると、ステップS1407において、表示制御部713は、第2の表示画面を表示する。なお、この処理は、例えば、図13のステップS1303、S1304の処理に対応している。
【0147】
ステップS1407において、認証システム200の判断部724が、端末装置130によって、第2の表示画面が表示されたことを確認すると、ステップS1408において、第2の音波出力部725は、ID2を表す第2の音波を出力する。なお、この処理は、例えば、図10のステップS1005、S1006の処理に対応している。
【0148】
ステップS1409において、端末装置130の表示制御部713は、一例として、認証情報の送信確認画面を表示しても良い。ここで、操作受付部715が、人物131による許諾操作を受け付けた場合、ステップS1410の処理が実行される。なお、この処理は、オプションであり、この処理を省略して、自動的にステップ1410の処理を実行しても良い。
【0149】
ステップS1410において、端末装置130の認証情報送信部714は、通信部711を用いて、例えば、端末ID、ID2、位置情報等を含む認証情報を認証システム200に送信する。なお、この処理は、例えば、図13のステップ1306の処理に対応している。
【0150】
ステップS1411において、認証システム200の情報管理部702は、端末装置130が送信した認証情報を受信すると、例えば、図9(A)に示すように、認証情報に日時(タイムスタンプ)を付加して、アクセス認証DB201に登録する。
【0151】
ステップS1412において、認証システム200の認証部726は、アクセス認証DB201に端末装置130の認証情報が登録された場合、端末装置130の認証情報と、予め登録された登録情報とを照合して、端末装置130の認証を行う。ここでは、前述したように、人物131は、施設の利用を許可された利用者なので、認証結果はOKとなる。なお、この処理は、例えば、図10のステップS1007、S1008の処理に対応している。
【0152】
ステップS1413において、認証システム200は、端末装置130に、認証が許可されたことを示す認証結果を通知する。なお、この処理は、例えば、図11のステップS1102の処理に対応している。
【0153】
ステップS1414において、端末装置130の通信部711が、認証OKであることを示す認証結果を受信すると、表示制御部713は、第3の表示画面を表示する。なお、この処理は、例えば、図13のステップS1307、S1308の処理に対応している。
【0154】
ステップS1415において、認証システム200の判断部724が、端末装置130によって第3の表示画面が表示されたと判断すると、ステップS1416において、音波出力部720は、認証が完了したことを示す音声アナウンスを出力する。なお、この処理は、例えば、図11のステップS1103、S1104の処理に対応している。
【0155】
上記の処理により、認証システム200は、端末装置130を利用する人物131の認証を許可する。これにより、端末装置130を利用する人物131は、施設を利用することができるようになる。
【0156】
[第2の実施形態]
第2の実施形態では、認証システム200が出力する第1の音波に、例えば、ドローン120を識別するID2(第2の識別情報)が含まれている場合の例について説明する。
【0157】
図15は、第2の実施形態に係る情報処理システムの処理の例を示すシーケンス図である。なお、ここでは、図14で説明した第1の実施形態に係る情報処理システムの処理と同様の処理内容に対する詳細な説明は省略する。
【0158】
ステップS1501において、認証システム200の画像取得部722が、認証対象となる人物131を検出すると、ステップS1502において、音波出力部720は、アプリの起動、及び画面の提示を指示する音声アナウンスを出力する。
【0159】
ステップS1503において、端末装置130は、例えば、人物131の操作に応じてアプリを起動し、第1の表示画面を表示する。
【0160】
ステップS1504において、認証システム200の判断部724が、端末装置130によって、第1の表示画面が表示されたことを確認すると、ステップS1505において、第1の音波出力部723は、ID1とID2とを表す第1の音波を出力する。
【0161】
ステップS1506において、端末装置130の表示制御部713は、第1の音波が表すID2により、当該ドローン120で認証済であるか否かを判断する。当該ドローン120で認証済でない場合、例えば、図14のステップS1406以降の処理が実行される。
【0162】
一方、当該ドローン120で認証済である場合、ステップS1507において、端末装置130の表示制御部713は、第2の表示画面の表示を中止して、第3の表示画面を表示する。
【0163】
ステップS1508において、端末装置130の認証情報送信部714は、通信部711を用いて、例えば、端末ID、ID2、位置情報等を含む認証情報を認証システム200に送信する。
【0164】
ステップS1509において、認証システム200の認証部726は、端末装置130から受信した認証情報と、アクセス認証DB201に登録されている認証済の端末装置の情報とを照合して、端末装置130が認証済であるか否かを判断する。
【0165】
端末装置130が認証済であることを確認できた場合、ステップS1510において、音波出力部720は、認証が完了したことを示す音声アナウンスを出力する。
【0166】
上記の処理により、第2の実施形態に係る情報処理システム100では、端末装置130が既に認証に成功している場合、例えば、図4に示すような認証処理の一部を省略することができる。
【0167】
<登録処理>
ここで、端末装置130を利用する人物131等を、施設を利用可能な利用者として認証サーバに登録する処理の例について説明する。
【0168】
(登録処理1)
図16は、一実施形態に係る登録処理の一例を示すシーケンス図である。この処理は、例えば、企業等の施設を利用可能な社員の情報を、アクセス認証DB201に登録する場合の処理の例について説明する。
【0169】
ステップ1601において、例えば、端末装置130を利用する人物131(社員等)は、端末装置130に、認証システム200に対応するアプリをインストールして、起動する。
【0170】
ステップS1602において、端末装置130の表示制御部713は、利用者の登録画面を表示し、操作受付部715は、人物131による、例えば、社員ID、氏名、顔写真等の登録情報の登録操作を受け付ける。
【0171】
ステップS1603において、端末装置130の通信部711は、受け付けた登録情報を、アクセス認証サーバ700に送信する。
【0172】
ステップS1604において、アクセス認証サーバ700の情報管理部702は、端末装置130から登録情報を受け付けると、登録情報の登録可否を判断する。例えば、情報管理部702は、端末IDが未登録であり、社員ID、及び氏名が社員リストに登録されている場合、登録可と判断する。一方、情報管理部702は、例えば、端末IDが登録済みである場合、或いは、社員ID、氏名等が社員リストに登録されていない場合等に、登録不可と判断する。
【0173】
ここで、登録可と判断された場合、ステップS1605~S1607の処理が実行される。一方、登録不可と判断された場合、例えば、ステップS1611、S1612の処理が実行される。
【0174】
ステップS1605に移行すると、アクセス認証サーバ700の情報管理部702は、登録可と判断された登録情報を、アクセス認証DB201に登録する。また、ステップS1606において、アクセス認証サーバ700の通信部701は、登録が完了したことを示す登録結果を端末装置130に送信する。
【0175】
ステップS1607において、端末装置130の表示制御部713は、登録が完了したことを示す登録完了画面を表示する。
【0176】
上記の処理により、企業等の施設を利用した社員の情報を、アクセス認証DB201に登録することができる。
【0177】
一方、ステップS1611に移行すると、アクセス認証サーバ700の通信部701は、登録が失敗したことを示す登録結果を、端末装置130に送信する。この登録結果(失敗)には、例えば、登録に失敗した理由を示す失敗理由が含まれる。
【0178】
ステップS16121において、端末装置130の表示制御部713は、登録が失敗したことを示す登録失敗画面に、失敗理由を表示する。
【0179】
(登録処理2)
図17は、一実施形態に係る登録処理の別の一例を示すシーケンス図である。この処理は、認証システム200が、例えば、施設の入場券、釣り等の漁業権等の利用権を購入した人物131の情報を、アクセス認証DB201に登録する場合の処理の例について説明する。
【0180】
ステップ1701において、例えば、端末装置130を利用する人物131は、端末装置130に、認証システム200に対応するアプリをインストールして、起動する。
【0181】
ステップS1702において、端末装置130の表示制御部713は、利用権の購入画面を表示し、操作受付部715は、人物131による、例えば、支払い情報、個人登録情報、顔写真等の購入情報の登録操作を受け付ける。
【0182】
ステップS1703において、端末装置130の通信部711は、受け付けた購入情報を、アクセス認証サーバ700に送信する。
【0183】
ステップS1704において、アクセス認証サーバ700の情報管理部702は、端末装置130から購入情報を受け付けると、購入情報に基づいて、利用権の購入可否を判断する。例えば、情報管理部702は、購入情報に含まれる支払い情報で支払いに成功し、未入力の必須情報がない場合、購入可と判断する。一方、情報管理部702は、登録情報に含まれる支払い情報で支払いに失敗した場合、又は未入力の必須情報がある場合、購入不可と判断する。
【0184】
ここで、購入可と判断された場合、ステップS1705~S1707の処理が実行される。一方、購入不可と判断された場合、例えば、ステップS1711、S1712の処理が実行される。
【0185】
ステップS1705に移行すると、アクセス認証サーバ700の情報管理部702は、購入可と判断された購入情報を、アクセス認証DB201に登録する。また、ステップS1706において、アクセス認証サーバ700の通信部701は、購入が完了したことを示す購入結果を端末装置130に送信する。
【0186】
ステップS1707において、端末装置130の表示制御部713は、購入が完了したことを示す購入完了画面を表示する。
【0187】
上記の処理により、認証システム200は、例えば、施設の入場券、釣り等の漁業権等の利用権を購入した人物131の情報、及び人物131が利用する端末装置130の情報を、アクセス認証DB201に登録することができる。
【0188】
一方、ステップS1711に移行すると、アクセス認証サーバ700の通信部701は、利用権の購入に失敗したことを示す購入結果を、端末装置130に送信する。この購入結果(失敗)には、例えば、購入に失敗した理由を示す失敗理由が含まれる。
【0189】
ステップS16121において、端末装置130の表示制御部713は、購入に失敗したことを示す購入失敗画面に、失敗理由を表示する。
【0190】
[第3の実施形態]
図18は、第3の実施形態に係る情報処理システムの処理の例を示すシーケンス図である。この処理は、例えば、図17で説明した登録処理により、利用権を購入した人物131を認証する認証処理の例を示している。なお、図18に示す処理のうち、ステップS1401~S1411の処理は、図14で説明した処理と同様なので、ここでは、第1の実施形態との相違点を中心に説明を行う。
【0191】
ステップS1801において、認証システム200の認証部726は、アクセス認証DB201に端末装置130の認証情報が登録された場合、端末装置130の認証情報と、予め登録された購入情報とを照合して、端末装置130の認証を行う。
【0192】
ここで、端末装置130を利用する人物131が、図17の登録処理で、利用権を購入済みである場合、認証結果はOKとなる。この場合、例えば、図14のステップS1412以降の処理が実行される。
【0193】
一方、端末装置130を利用する人物131が、利用権を未購入である場合、認証結果はNGとなる。この場合、図18のステップS1802以降の処理が実行される。
【0194】
ステップS1802において、認証システム200の音波出力部720は、利用権の購入を促す音声アナウンスを出力する。
【0195】
ステップS1803において、端末装置130を利用する人物131は、例えば、図17のステップS1702以降の処理を実行して、利用権を購入する。ここで、利用権の購入が完了すると、端末装置130は、ステップS1804において、第1~3の表示画面とは異なる第4の表示画面を表示する。なお、第4の表示画面を表示している状態は、第4の表示状態の一例である。
【0196】
ステップS1805において、認証システム200の判断部724が、端末装置130によって、第4の表示画面が表示されたことを確認すると、ステップS1806において、認証処理をリトライする。例えば、情報処理システム100は、図14、又は図18のステップS1405以降の処理を再び実行する。
【0197】
このように、第1の実施形態で説明した各処理は、用途や目的に応じて、様々な変形や応用が可能である。
【0198】
<応用例>
上記の各実施形態では、ドローン120、又は情報処理装置110が認証装置であるものとして説明を行ったが、例えば、図5に示すようなハードウェア構成を有するドローン120は、認証装置の一例である。
【0199】
例えば、認証装置は、例えば、図15に示すドローン120のハードウェア構成に加えて、図19(A)に示すように、パラメトリックスピーカ1610を有するドローン120であっても良い。
【0200】
パラメトリックスピーカ1610は、超音波を利用して鋭い施行性を持たせることができる音響システムである。
【0201】
パラメトリックスピーカ1610は、例えば、超音波に振幅変調、DSB(Double Sideband)変調、SSB(Single Sideband)変調等をかけて、約110dBを超える強力な音圧で変調された超音波を発生させる。これにより、空気中を超音波が伝搬する際の「非線形特性」により、可聴音が発生する。
【0202】
一般的な超音波スピーカは、単体では約60~70度程度の指向性しか得られないが、超音波スピーカを平面に複数個並べて、パラメトリックアレイを構成すると、指向性が非常に鋭くなる。このように、超音波スピーカを複数個並べたユニットを、パラメトリックスピーカと呼ぶ。
【0203】
パラメトリックスピーカ1610が出力する音波の出力範囲1611は、一般的なスピーカ122の出力範囲1612より狭くすることができる。従って、例えば、図19(B)に示すように、端末装置130を利用する人物131、及び端末装置130に向けて、選択的に第1の音波、及び第2の音波を出力することができるようになる。
【0204】
また、ドローン120は、周囲が暗い場合でも、人物131を発見できるように、例えば、スポットライト507等の照明装置を有していることが望ましい。
【0205】
また、上記の各実施形態では、例えば、図4に示すようなハードウェア構成を有する情報処理装置110を利用してドローン120を制御していたが、ドローン120を制御する情報処理装置は、例えば、図20(A)に示すような、小型の操作装置2010等であっても良い。この場合、操作装置2010は、例えば、図20(B)に示すように、複数の操作内容を選択可能に表示するタッチパネルティスプレイ2011等を有していることが望ましい。
【0206】
また、認証システム200は、ドローン120に代えて、図10(C)に示す警備ロボット2020のように、路面、又は床面を走行可能な移動装置を用いて、端末装置130を利用する人物131を撮影し、音波を出力するものであっても良い。
【0207】
さらに、認証システム200は、ドローン120に代えて、図10(d)に示すデジタルサイネージ2030や、スピーカ付きの監視カメラ等の移動機能を有していない機器を用いて、端末装置130を利用する人物131を撮影し、音波を出力するものであっても良い。
【0208】
例えば、図20(D)において、デジタルサイネージ2030は、カメラ2031、スピーカ2032、及びディスプレイ2033を有している。この場合、デジタルサイネージ2030は、カメラ2031を用いて、端末装置130を利用する人物131を撮影し、スピーカ2032を用いて、第1の音波、及び第2の音波を出力する。また、デジタルサイネージ2030は、例えば、図14のステップS1402等で出力する音声アナウンスに代えて(又は加えて)、テキストメッセージをディスプレイ2033に表示しても良い。
【0209】
以上、本発明の各実施形態によれば、カメラを用いて人物を認証する認証システム200において、離れた場所から顔認証によらずに、人物を認証できるようになる。
【0210】
<補足>
上記で説明した各実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
【0211】
また、実施例に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの1つを示すものに過ぎない。ある実施形態では、認証システム200は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。同様に、端末装置130は、互いに通信するように構成された複数のコンピューティングデバイスを含むことができる。
【0212】
さらに、認証システム200、及び端末装置130、開示された処理ステップ、例えば図10~19に示す各処理を様々な組合せで共有するように構成できる。また、認証システム200の各機能構成は、1つのサーバ装置にまとめられていても良いし、複数の装置に分けられていても良い。
【符号の説明】
【0213】
100 情報処理システム
110 情報処理装置(認証装置の一例)
120 ドローン(認証装置の一例)
130 端末装置
131 人物
200 認証システム
722 画像取得部
723 第1の音波出力部
724 判断部
725 第2の音波出力部
726 認証部
【先行技術文献】
【特許文献】
【0214】
【文献】特開2018-173788号公報
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20