特開 2024-49262 情報処理方法、情報処理装置、情報処理プログラム及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024049262

(43)【公開日】2024-04-09

(54)【発明の名称】情報処理方法、情報処理装置、情報処理プログラム及び記録媒体

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20240402BHJP

【ＦＩ】

G06Q50/10

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022155623

(22)【出願日】2022-09-28

(71)【出願人】

【識別番号】000125370

【氏名又は名称】学校法人東京理科大学

(71)【出願人】

【識別番号】519368264

【氏名又は名称】Ｕ－ＳＴＡＲ合同会社

(74)【代理人】

【識別番号】100171206

【弁理士】

【氏名又は名称】小林 茂

(72)【発明者】

【氏名】長谷川 幹雄

(72)【発明者】

【氏名】中嶋 宇史

(72)【発明者】

【氏名】酒造 孝

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049CC11

(57)【要約】

【課題】複数の顔画像が取得された時刻情報及び位置情報を用いることで当該複数の顔画像を顔認証に用いられる特徴量を算出するためのクラスに分類できることに寄与する。
【解決手段】情報処理サーバ１０は、一又は複数のセンサ部を用いて取得された複数の顔画像のそれぞれから抽出された複数の特徴点データと、複数の特徴点データのそれぞれに対応する、複数の顔画像のそれぞれが取得された複数の時刻情報及び位置情報とを用いて、複数の特徴点データを、特徴点データ間の所定の類似基準、及び、時刻情報と位置情報に関する第１所定条件に基づいて一又は複数のクラスに分類し、第１クラスに分類された複数の特徴点データを用いて第１クラスに固有の第１特徴量を算出し、第１クラスの第１識別情報と第１特徴量とを対応付けて記憶装置１０３に記憶させる、情報処理方法。
【選択図】図１

【特許請求の範囲】

【請求項1】

位置情報の検知機能及び画像の撮像機能を有するセンサ部を備える自律移動型の一又は複数の移動体と通信ネットワークを介して接続可能である情報処理サーバを備える情報処理システムにおける情報処理方法であって、
前記情報処理サーバは、
一又は複数の前記センサ部を用いて取得された複数の顔画像のそれぞれから抽出された複数の特徴点データと、前記複数の特徴点データのそれぞれに対応する、前記複数の顔画像のそれぞれが取得された複数の時刻情報及び前記位置情報とを用いて、前記複数の特徴点データを、前記特徴点データ間の所定の類似基準、及び、前記時刻情報と前記位置情報に関する第１所定条件に基づいて一又は複数のクラスに分類し、
第１クラスに分類された複数の前記特徴点データを用いて前記第１クラスに固有の第１特徴量を算出し、前記第１クラスの第１識別情報と前記第１特徴量とを対応付けて記憶装置に記憶させ、
前記第１所定条件は、第１特徴点データと第２特徴点データとが前記類似基準を満たし、前記第１特徴点データに対応する第１時刻情報と前記第２特徴点データに対応する第２時刻情報とが所定の時間範囲に含まれる場合において、前記第１特徴点データに対応する第１位置情報と前記第２特徴点データに対応する第２位置情報とが所定の距離範囲にあるとき、前記第１特徴点データ及び前記第２特徴点データは同一の前記クラスに分類され、一方、前記第１位置情報と前記第２位置情報とが前記所定の距離範囲にないとき、前記第１特徴点データ及び前記第２特徴点データは異なる前記クラスに分類される条件である、
情報処理方法。

【請求項2】

前記複数の特徴点データのそれぞれは、前記一又は複数の移動体のそれぞれに備わる制御部において、前記複数の顔画像のそれぞれから抽出されたデータである場合において、
前記情報処理サーバは、前記複数の特徴点データのそれぞれと、前記複数の時刻情報及び位置情報のそれぞれとを対応付けて前記一又は複数の移動体から受信する、
請求項１に記載の情報処理方法。

【請求項3】

前記情報処理サーバは、前記複数の顔画像のそれぞれと、前記複数の時刻情報及び位置情報のそれぞれとを対応付けて前記一又は複数の移動体から受信した場合、受信された前記複数の顔画像のそれぞれから前記複数の特徴点データのそれぞれを抽出する、
請求項１に記載の情報処理方法。

【請求項4】

前記情報処理サーバは、さらに、前記第１クラスに分類された複数の前記特徴点データの数をカウントし、分類された前記特徴点データの数が所定値以上又は所定値より大きい第２所定条件を満たすとき前記第１特徴量を算出する、
請求項１に記載の情報処理方法。

【請求項5】

前記情報処理システムに複数の移動体が含まれ、前記位置情報は前記センサ部を用いた撮像対象の位置を示す情報である場合において、
前記複数の特徴点データは、第１移動体に備わる第１センサ部を用いて取得された第１顔画像から抽出された第３特徴点データと、第２移動体に備わる第２センサ部を用いて取得された第２顔画像から抽出された第４特徴点データとを含み、前記第３特徴点データに対応する第３時刻情報及び第３位置情報と、前記第４特徴点データに対応する第４時刻情報及び第４位置情報とが前記通信ネットワークを介して同期されることによって、前記第１顔画像及び前記第２顔画像は同一対象の顔画像であり、
前記第１特徴量は、前記第３特徴点データ及び前記第４特徴点データを含む複数の前記特徴点データを用いて算出される、
請求項１に記載の情報処理方法。

【請求項6】

前記情報処理サーバが前記通信ネットワークを介して端末装置と接続可能である場合において、
前記情報処理サーバは、
前記端末装置から認証対象である所定の第１対象顔画像の情報を受信したとき、
前記第１対象顔画像に含まれる前記特徴点データから第１対象特徴量を算出し、前記第１対象特徴量と、前記一又は複数のクラスのそれぞれに固有の一又は複数の前記特徴量とを用いて顔認証処理を実行し、
前記第１特徴量が前記第１対象特徴量に対応すると判定されたとき、前記第１クラスに分類された複数の前記時刻情報及び前記位置情報のうち少なくとも一を含む情報を前記端末装置に備わる表示媒体に表示可能にさせる、
請求項１に記載の情報処理方法。

【請求項7】

前記情報処理サーバは、前記第１クラスに分類された複数の前記特徴点データのそれぞれに対応する複数の前記時刻情報及び前記位置情報を用いて所定の第１行動パターン情報を生成し、前記第１識別情報と前記第１行動パターン情報とを対応付けて前記記憶装置に記憶させる、
請求項１に記載の情報処理方法。

【請求項8】

前記第１行動パターン情報は、前記第１クラスに分類された複数の前記時刻情報及び前記位置情報に基づく行動履歴情報のうち、所定の位置範囲に所定数以上の、又は、所定数より多い複数の前記位置情報を含み、且つ、前記複数の位置情報のそれぞれに対応する前記時刻情報が、所定の同一時間帯に含まれる前記時刻情報及び前記位置情報の集合に基づいて生成される、
請求項７に記載の情報処理方法。

【請求項9】

前記情報処理サーバが前記通信ネットワークを介して端末装置と接続可能である場合において、
前記情報処理サーバは、
前記端末装置から認証対象である所定の第２対象顔画像の情報を受信したとき、
前記第２対象顔画像に含まれる前記特徴点データから第２対象特徴量を算出し、前記第２対象特徴量と、前記一又は複数のクラスのそれぞれに固有の一又は複数の前記特徴量とを用いて顔認証処理を実行し、
前記第１特徴量が前記第２対象特徴量に対応すると判定されたとき、前記第１行動パターン情報に基づいて自律移動させ、且つ、前記センサ部を用いて前記顔画像を取得させる制御信号を前記移動体に送信する、
請求項７に記載の情報処理方法。

【請求項10】

前記情報処理サーバは、さらに、前記複数の特徴点データに追加された追加特徴点データを前記類似基準、及び、前記第１所定条件に基づいて前記一又は複数のクラスに分類した場合において、前記第１クラスに複数の前記追加特徴点データが分類されたとき、
前記第１クラスに分類された複数の前記特徴点データと、前記第１クラスに分類された前記複数の追加特徴点データとを用いて、前記第１特徴量を更新し、
前記第１クラスに分類された前記複数の追加特徴点データのそれぞれに対応する複数の前記時刻情報及び前記位置情報を用いて第２行動パターン情報を生成し、
前記第１行動パターン情報と前記第２行動パターン情報との間において、前記時刻情報及び前記位置情報のうち少なくとも一方の差が所定値以上であるとき、所定のアドレス情報を用いて、前記通信ネットワークに所定の通知を出力する、
請求項７に記載の情報処理方法。

【請求項11】

前記移動体がデリバリー機能を有するロボットである場合において、前記移動体が、デリバリー対象物を受け取り、且つ、前記センサ部を用いて、デリバリー先の人物の第３対象顔画像の情報を受け取ったとき、
前記情報処理サーバは、
前記第３対象顔画像に含まれる前記特徴点データから第３対象特徴量を算出し、前記第３対象特徴量と、前記一又は複数のクラスのそれぞれに固有の一又は複数の前記特徴量とを用いて顔認証処理を実行し、
前記第１特徴量が前記第３対象特徴量に対応すると判定されたとき、前記第１行動パターン情報に基づいて自律移動させ、且つ、前記センサ部を用いて前記顔画像を取得させる第１制御信号を前記移動体に送信し、
前記第１制御信号に基づいて前記センサ部を用いて取得された第４対象顔画像の情報を受け取り、前記第４対象顔画像から抽出された第４対象特徴量が前記第１特徴量に対応すると判定したとき、前記第４対象顔画像に対応する前記位置情報に存在する対象に対して前記デリバリー対象物を提供させる第２制御信号を前記移動体に送信し、
前記第２制御信号に基づいて提供させた前記デリバリー対象物が受け取られたか否かを示す結果情報を受信し、
前記受信した結果情報が、前記デリバリー対象物が受け取られなかったことを示すとき、少なくとも前記第１クラスに前記特徴点データを分類する前記類似基準を更新する、
請求項７に記載の情報処理方法。

【請求項12】

位置情報の検知機能及び画像の撮像機能を有するセンサ部を備える自律移動型の一又は複数の移動体と通信ネットワークを介して通信する通信部と、
一又は複数の前記センサ部を用いて取得された複数の顔画像のそれぞれから抽出された複数の特徴点データと、前記複数の特徴点データのそれぞれに対応する、前記複数の顔画像のそれぞれが取得された複数の時刻情報及び前記位置情報とを用いて、前記複数の特徴点データを、前記特徴点データ間の所定の類似基準、及び、前記時刻情報と前記位置情報に関する第１所定条件に基づいて一又は複数のクラスに分類し、第１クラスに分類された複数の前記特徴点データを用いて前記第１クラスに固有の第１特徴量を算出し、前記第１クラスの第１識別情報と前記第１特徴量とを対応付けて記憶装置に記憶させる制御部と、
を備え、
前記第１所定条件は、第１特徴点データと第２特徴点データとが前記類似基準を満たし、前記第１特徴点データに対応する第１時刻情報と前記第２特徴点データに対応する第２時刻情報とが所定の時間範囲に含まれる場合において、前記第１特徴点データに対応する第１位置情報と前記第２特徴点データに対応する第２位置情報とが所定の距離範囲にあるとき、前記第１特徴点データ及び前記第２特徴点データは同一の前記クラスに分類され、一方、前記第１位置情報と前記第２位置情報とが前記所定の距離範囲にないとき、前記第１特徴点データ及び前記第２特徴点データは異なる前記クラスに分類される条件である、
情報処理装置。

【請求項13】

位置情報の検知機能及び画像の撮像機能を有するセンサ部を備える自律移動型の一又は複数の移動体と通信ネットワークを介して通信する通信処理と、
一又は複数の前記センサ部を用いて取得された複数の顔画像のそれぞれから抽出された複数の特徴点データと、前記複数の特徴点データのそれぞれに対応する、前記複数の顔画像のそれぞれが取得された複数の時刻情報及び前記位置情報とを用いて、前記複数の特徴点データを、前記特徴点データ間の所定の類似基準、及び、前記時刻情報と前記位置情報に関する第１所定条件に基づいて一又は複数のクラスに分類し、第１クラスに分類された複数の前記特徴点データを用いて前記第１クラスに固有の第１特徴量を算出し、前記第１クラスの第１識別情報と前記第１特徴量とを対応付けて記憶装置に記憶させる制御処理と、
をコンピュータに実行させ、
前記第１所定条件は、第１特徴点データと第２特徴点データとが前記類似基準を満たし、前記第１特徴点データに対応する第１時刻情報と前記第２特徴点データに対応する第２時刻情報とが所定の時間範囲に含まれる場合において、前記第１特徴点データに対応する第１位置情報と前記第２特徴点データに対応する第２位置情報とが所定の距離範囲にあるとき、前記第１特徴点データ及び前記第２特徴点データは同一の前記クラスに分類され、一方、前記第１位置情報と前記第２位置情報とが前記所定の距離範囲にないとき、前記第１特徴点データ及び前記第２特徴点データは異なる前記クラスに分類される条件である、
情報処理プログラム。

【請求項14】

位置情報の検知機能及び画像の撮像機能を有するセンサ部を備える自律移動型の一又は複数の移動体と通信ネットワークを介して通信する通信処理と、
一又は複数の前記センサ部を用いて取得された複数の顔画像のそれぞれから抽出された複数の特徴点データと、前記複数の特徴点データのそれぞれに対応する、前記複数の顔画像のそれぞれが取得された複数の時刻情報及び前記位置情報とを用いて、前記複数の特徴点データを、前記特徴点データ間の所定の類似基準、及び、前記時刻情報と前記位置情報に関する第１所定条件に基づいて一又は複数のクラスに分類し、第１クラスに分類された複数の前記特徴点データを用いて前記第１クラスに固有の第１特徴量を算出し、前記第１クラスの第１識別情報と前記第１特徴量とを対応付けて記憶装置に記憶させる制御処理と、
をコンピュータに実行させ、
前記第１所定条件は、第１特徴点データと第２特徴点データとが前記類似基準を満たし、前記第１特徴点データに対応する第１時刻情報と前記第２特徴点データに対応する第２時刻情報とが所定の時間範囲に含まれる場合において、前記第１特徴点データに対応する第１位置情報と前記第２特徴点データに対応する第２位置情報とが所定の距離範囲にあるとき、前記第１特徴点データ及び前記第２特徴点データは同一の前記クラスに分類され、一方、前記第１位置情報と前記第２位置情報とが前記所定の距離範囲にないとき、前記第１特徴点データ及び前記第２特徴点データは異なる前記クラスに分類される条件である、
情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は情報処理装置、情報処理方法、情報処理プログラム及び記録媒体に関する。

【背景技術】

【0002】

人物の顔画像に基づいて顔認証処理を実行する装置又はシステムが開発されている。例えば、ユーザーが入力するＩＤ情報と予め登録されているＩＤ情報とに基づいてユーザーが本人であることを認証する認証手段と、認証手段により認証されたユーザーの顔画像を入力する画像入力手段と、画像入力手段により入力されたユーザーの顔画像データを当該ユーザーが入力したＩＤ情報ととともに記録する画像記録手段と、前記画像入力手段により入力された顔画像データと前記画像記録手段に既に記録されている顔画像データとを照合する照合手段と、照合手段による照合が失敗した場合、前記認証ユーザーより認証されたユーザーが本人でないと判断する判断手段と、を具備したことを特徴とするシステムがある（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００４－２６５２３１号公報

【特許文献2】特開２０２２－０１５２６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１の技術（以下、従来技術１）は、認証対象者の顔画像をＩＤ情報と併せて予め記録しておく必要があるため、顔画像の登録手続の煩雑性の問題があった。また、特許文献２の技術（以下、従来技術２）は、認証対象者が事前に顔画像の登録手続をしておく必要はないが、例えば、アトラクション施設における当日中の回遊を前提としているため、顔認証に用いられる顔画像の適用範囲が限定的であった。

【0005】

本発明の目的は、認証対象者による顔画像の登録手続を要することなく、複数の顔画像が取得された時刻情報及び位置情報を用いることによって、当該複数の顔画像を、顔認証に用いられる特徴量を算出するためのクラスに分類できることに寄与する情報処理装置、情報処理方法、情報処理プログラム、及び、記録媒体を提供することである。

【課題を解決するための手段】

【0006】

本発明の一態様に係る情報処理方法は、位置情報の検知機能及び画像の撮像機能を有するセンサ部を備える自律移動型の一又は複数の移動体と通信ネットワークを介して接続可能である情報処理サーバを備える情報処理システムにおける情報処理方法であって、前記情報処理サーバは、一又は複数の前記センサ部を用いて取得された複数の顔画像のそれぞれから抽出された複数の特徴点データと、前記複数の特徴点データのそれぞれに対応する、前記複数の顔画像のそれぞれが取得された複数の時刻情報及び前記位置情報とを用いて、前記複数の特徴点データを、前記特徴点データ間の所定の類似基準、及び、前記時刻情報と前記位置情報に関する第１所定条件に基づいて一又は複数のクラスに分類し、第１クラスに分類された複数の前記特徴点データを用いて前記第１クラスに固有の第１特徴量を算出し、前記第１クラスの第１識別情報と前記第１特徴量とを対応付けて記憶装置に記憶させ、前記第１所定条件は、第１特徴点データと第２特徴点データとが前記類似基準を満たし、前記第１特徴点データに対応する第１時刻情報と前記第２特徴点データに対応する第２時刻情報とが所定の時間範囲に含まれる場合において、前記第１特徴点データに対応する第１位置情報と前記第２特徴点データに対応する第２位置情報とが所定の距離範囲にあるとき、前記第１特徴点データ及び前記第２特徴点データは同一の前記クラスに分類され、一方、前記第１位置情報と前記第２位置情報とが前記所定の距離範囲にないとき、前記第１特徴点データ及び前記第２特徴点データは異なる前記クラスに分類される条件である、を含むようにした。

【0007】

本発明の一態様に係る情報処理装置は、位置情報の検知機能及び画像の撮像機能を有するセンサ部を備える自律移動型の一又は複数の移動体と通信ネットワークを介して通信する通信部と、一又は複数の前記センサ部を用いて取得された複数の顔画像のそれぞれから抽出された複数の特徴点データと、前記複数の特徴点データのそれぞれに対応する、前記複数の顔画像のそれぞれが取得された複数の時刻情報及び前記位置情報とを用いて、前記複数の特徴点データを、前記特徴点データ間の所定の類似基準、及び、前記時刻情報と前記位置情報に関する第１所定条件に基づいて一又は複数のクラスに分類し、第１クラスに分類された複数の前記特徴点データを用いて前記第１クラスに固有の第１特徴量を算出し、前記第１クラスの第１識別情報と前記第１特徴量とを対応付けて記憶装置に記憶させる制御部と、を備え、前記第１所定条件は、第１特徴点データと第２特徴点データとが前記類似基準を満たし、前記第１特徴点データに対応する第１時刻情報と前記第２特徴点データに対応する第２時刻情報とが所定の時間範囲に含まれる場合において、前記第１特徴点データに対応する第１位置情報と前記第２特徴点データに対応する第２位置情報とが所定の距離範囲にあるとき、前記第１特徴点データ及び前記第２特徴点データは同一の前記クラスに分類され、一方、前記第１位置情報と前記第２位置情報とが前記所定の距離範囲にないとき、前記第１特徴点データ及び前記第２特徴点データは異なる前記クラスに分類される条件である、構成を採る。

【0008】

本発明の一態様に係る情報処理プログラムは、位置情報の検知機能及び画像の撮像機能を有するセンサ部を備える自律移動型の一又は複数の移動体と通信ネットワークを介して通信する通信処理と、一又は複数の前記センサ部を用いて取得された複数の顔画像のそれぞれから抽出された複数の特徴点データと、前記複数の特徴点データのそれぞれに対応する、前記複数の顔画像のそれぞれが取得された複数の時刻情報及び前記位置情報とを用いて、前記複数の特徴点データを、前記特徴点データ間の所定の類似基準、及び、前記時刻情報と前記位置情報に関する第１所定条件に基づいて一又は複数のクラスに分類し、第１クラスに分類された複数の前記特徴点データを用いて前記第１クラスに固有の第１特徴量を算出し、前記第１クラスの第１識別情報と前記第１特徴量とを対応付けて記憶装置に記憶させる制御処理と、をコンピュータに実行させ、前記第１所定条件は、第１特徴点データと第２特徴点データとが前記類似基準を満たし、前記第１特徴点データに対応する第１時刻情報と前記第２特徴点データに対応する第２時刻情報とが所定の時間範囲に含まれる場合において、前記第１特徴点データに対応する第１位置情報と前記第２特徴点データに対応する第２位置情報とが所定の距離範囲にあるとき、前記第１特徴点データ及び前記第２特徴点データは同一の前記クラスに分類され、一方、前記第１位置情報と前記第２位置情報とが前記所定の距離範囲にないとき、前記第１特徴点データ及び前記第２特徴点データは異なる前記クラスに分類される条件である、ようにした。

【0009】

本発明の一態様に係る記録媒体は、位置情報の検知機能及び画像の撮像機能を有するセンサ部を備える自律移動型の一又は複数の移動体と通信ネットワークを介して通信する通信処理と、一又は複数の前記センサ部を用いて取得された複数の顔画像のそれぞれから抽出された複数の特徴点データと、前記複数の特徴点データのそれぞれに対応する、前記複数の顔画像のそれぞれが取得された複数の時刻情報及び前記位置情報とを用いて、前記複数の特徴点データを、前記特徴点データ間の所定の類似基準、及び、前記時刻情報と前記位置情報に関する第１所定条件に基づいて一又は複数のクラスに分類し、第１クラスに分類された複数の前記特徴点データを用いて前記第１クラスに固有の第１特徴量を算出し、前記第１クラスの第１識別情報と前記第１特徴量とを対応付けて記憶装置に記憶させる制御処理と、をコンピュータに実行させ、前記第１所定条件は、第１特徴点データと第２特徴点データとが前記類似基準を満たし、前記第１特徴点データに対応する第１時刻情報と前記第２特徴点データに対応する第２時刻情報とが所定の時間範囲に含まれる場合において、前記第１特徴点データに対応する第１位置情報と前記第２特徴点データに対応する第２位置情報とが所定の距離範囲にあるとき、前記第１特徴点データ及び前記第２特徴点データは同一の前記クラスに分類され、一方、前記第１位置情報と前記第２位置情報とが前記所定の距離範囲にないとき、前記第１特徴点データ及び前記第２特徴点データは異なる前記クラスに分類される条件である、情報処理プログラムを記録する。

【発明の効果】

【0010】

本発明によれば、認証対象者による顔画像の登録手続を要することなく、複数の顔画像が取得された時刻情報及び位置情報を用いることによって、当該複数の顔画像を、顔認証に用いられる特徴量を算出するためのクラスに分類できることに寄与することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施形態１に係る情報処理システムおよび情報処理装置の機能的な構成の一例を示すブロック図

【図2】本発明の実施形態１に係る情報処理システムおよび情報処理装置の機能的な構成の他の例を示すブロック図

【図3】実施形態１に係る移動体の機能的な構成の一例を示すブロック図

【図4】実施形態１に係る端末装置の機能的な構成の一例を示すブロック図

【図5】本発明の実施形態１に係る情報処理サーバと移動体と端末装置との間の情報の送受信および情報処理の手順の一例を示すシーケンス図

【図6】実施形態１に係る複数の移動体間の同期処理の概念の一例を示す図

【図7】対象顔画像を設定可能である設定ページを示す画像の一例を示す図

【図8】対象顔画像に対応する時刻情報及び位置情報を照会可能である照会ページを示す画像の一例を示す図

【図9】認証対象の時刻情報及び位置情報の分布の説明の用に供する図

【図10】実施形態１に係る情報処理サーバの動作の流れの一例を示すフロー図

【図11】各部の機能をプログラムにより実現するコンピュータのハードウェア構成の一例を示す図

【発明を実施するための形態】

【0012】

（本発明に係る一態様を発明するに至った経緯）

【0013】

従来技術１は、ＩＤ情報を用いて本人認証を実行した上で顔画像が入力されると、予めＩＤ情報とともに記録された顔画像データと照合することによって、認証対象者が本人であるか否かを判定する技術である。

【0014】

しかし、従来技術１に係る顔認証システムにおいては、認証対象者を特定可能であるＩＤ情報と認証対象者の顔画像とを対応付けて記憶させておく必要があるため、顔認証システムを構築するためには、認証対象者が事前に顔画像の登録手続をしておく必要がある。事前に登録手続される顔画像はマスタ情報とも呼称され、顔認証が高精度に実行されるためには、複数の顔画像がマスタ情報として登録されていることが望ましい。そのため、顔認証技術が適用されるサービスによっては、従来技術１に基づく顔認証システムを構築することは困難な場合がある。

【0015】

例えば、飲食店などの店舗に導入された顔認証システムにおいて、顧客の顔画像を用いて顔認証処理を実行し、店舗の管理者又は運営者が、顧客が初めての来店者であるのか、又は、常連客であるのかを判定する場合、従来技術１によっては、顧客に対して、顔画像の登録手続の負担を強いることになり、手続の煩雑性の問題があった。

【0016】

また、例えば、高齢者等が入居する所定の施設に導入された顔認証システムにおいて、高齢者の顔画像を用いて顔認証処理を実行し、高齢者の親族が、当該高齢者が健康に生活していることを確認する場合、従来技術１によっては、高齢者等に対して、顔画像の登録手続の負担を強いることになり、手続の煩雑性の問題があった。

【0017】

これに対して、本発明の発明者は、認証対象者による顔画像の登録手続を要することなく、認証対象者の複数の顔画像を所定又は任意のタイミングにおいて取得しておくことで、上述したサービス等においても導入が容易である顔認証システムの必要性を見出した。

【0018】

ところで、認証対象者に対して事前に顔画像の登録手続を強いることなく、認証対象者が回遊中に顔画像を取得し、取得された当該顔画像を含む複数の顔画像を用いて顔認証処理を実行する技術が、従来技術２として開示されている。また、従来技術２として、さらに、顔認証の段階において、顔認証に用いられる複数の顔画像のそれぞれが撮像された位置情報及び時刻情報と、認証対象である一の顔画像の位置情報及び時刻情報とを対比することによって顔認証処理に用いられる複数の顔画像を間引き、顔認証処理に要する時間を低減させている。

【0019】

しかし、従来技術２においては、例えば、アトラクション施設等における当日中の回遊を前提としているため、顔認証に用いられる複数の顔画像のうち真値に相当する顔画像は一の画像であり、上述したサービス等に適用することは困難である。また、顔画像が撮像された位置情報及び時刻情報を用いることによって顔認証処理に要する時間を低減させているが、位置情報及び時刻情報を顔認証の段階で用いるにすぎず、顔認証の精度向上には寄与していない。

【0020】

そこで、本発明の発明者は、認証対象者による顔画像の登録手続を要することなく、複数の顔画像が取得された時刻情報及び位置情報を用いることによって、当該複数の顔画像を、顔認証に用いられる特徴量を算出するためのクラスに分類できる情報処理方法、情報処理装置、情報処理プログラム及び記録媒体を創案し、本発明に係る一態様を発明するに至った。

【0021】

なお、本開示においては、以下のように用語が定義される。

【0022】

（本サービス）
本開示において、情報処理サーバを用いて提供されるサービスを本サービスという。本サービスにおける基本的なサービス内容は、例えば、所定範囲を稼働領域とする移動体が取得した複数の顔画像に係る特徴点データ並びに顔画像が撮像された時刻情報及び位置情報に基づいて、情報処理サーバが当該複数の顔画像を一又は複数のクラスに分類し、クラスごとに特徴量を算出した場合において、ユーザーが端末装置を用いて設定した顔画像を情報処理サーバに送信したとき、送信された顔画像と当該特徴量を用いた顔認証処理が実行され、当該送信された顔画像に対応する位置情報及び時刻情報のうち少なくとも一方がユーザーに通知されるサービスであってもよい。なお、本開示における実施形態において、本サービスのすべての要素が実施される必要はなくてもよい。例えば、ユーザーが端末装置を用いて設定した顔画像を情報処理サーバに送信し、上述した通知を受ける処理が実行されるか否かによって、本開示の範囲は限定されない。

【0023】

（ユーザー）
本サービスの利用者をユーザーという。ユーザーは、本サービスに係るＷｅｂサイト上において、または、本サービスに係るアプリケーションソフトウェア上において、本サービスの提供を受ける者であってもよい。ユーザーは、例えば、後述する顔画像の設定ページにおいて、顔認証の対象顔画像を設定した者であってもよい。ユーザーは、自然人または法人であってもよい。

【0024】

（移動体）
本開示において移動体とは、車輪機構、走行機構などの移動手段を備えた装置であってもよい。また、本開示において、移動体とは、特段の言及がない限り、自然人による都度の操作によらず、所定のプログラム等の情報に基づいて自律的に移動することができる移動体であってもよい。本開示において、移動体は、例えばロボットと呼称されてもよい。

【0025】

（管理者）
管理者は、本サービスにおいて用いられる情報処理サーバを管理または運用する者であってもよい。具体的には、管理者は、例えば、本サービスをユーザーに提供するために、情報処理サーバを管理して運用する自然人または法人であってもよい。また、管理者は、一又は複数の者によって構成されてもよい。管理者は、支配管理者と呼称されてもよい。

【0026】

以上、本開示における用語の定義について説明した。定義された用語について、特別な意味が付される場合には、実施形態の説明において、さらに定義される場合がある。

【0027】

以下、本発明の実施形態について、図面を参照して詳細に説明する。実施形態において、同一機能を有する構成には同一符号を付し、重複する説明は省略する。以下に説明される実施形態は本開示の一具体例を示す。実施形態において示される構成、フロー図における処理または処理の順序などは一例であって、本開示の技術を限定しない。

【0028】

（実施形態１）
本実施形態に係る情報処理システム１および情報処理装置１００の構成について、図１および図２を参照して説明する。図１は、本発明の実施形態１に係る情報処理システム１および情報処理装置１００の機能的な構成の一例を示すブロック図である。図２は、本発明の実施形態１に係る情報処理システム１および情報処理装置１００の機能的な構成の他の例を示すブロック図である。

【0029】

図１において、情報処理システム１は、情報処理装置１００、記憶装置１０３、自律移動型の一又は複数の移動体２００、及び、端末装置３００を備える。図１において、情報処理装置１００は情報処理サーバ１０とも呼称される。自律移動型の一又は複数の移動体２００と、端末装置３００と、情報処理サーバ１０とは、通信ネットワーク４００を介して相互に接続可能であってもよい。情報処理システム１に複数の移動体２００が含まれる場合、複数の移動体２００のそれぞれは、通信ネットワーク４００を介して相互に接続可能であってもよい。また、以下の説明において、単に移動体と記載した場合であっても、自律移動型の移動体と読み替えることができる。

【0030】

図１において、情報処理装置１００と情報処理サーバ１０とは、互いに読み替えることができる。図１においては、情報処理サーバ１０は情報処理装置１００を含み、記憶装置１０３を含まないとして説明しているが、図２に示すように、情報処理サーバ１０は、情報処理装置１００および記憶装置１０３を含む構成としてもよい。

【0031】

以下において、情報処理サーバ１０とは、図１に示すシステム構成の場合も、図２に示すシステム構成の場合も含むものとする。すなわち、情報処理サーバ１０に記憶装置１０３が含まれるか否かは本開示の範囲を限定しない。通信部１０１および記憶装置１０３は、互いに通信ネットワーク４００を介して接続されてもよい。

【0032】

情報処理サーバ１０は、後述するように、複数の顔画像のそれぞれから抽出された複数の特徴点データと、複数の特徴点データのそれぞれに対応する、複数の顔画像のそれぞれが取得された複数の時刻情報及び位置情報とを用いて、当該複数の特徴点データを、特徴点データ間の所定の類似基準、及び、時刻情報と位置情報に関する第１所定条件に基づいて一又は複数のクラスに分類し、第１クラスに分類された複数の特徴点データを用いて第１クラスに固有の第１特徴量を算出し、第１クラスの第１識別情報と第１特徴量とを対応付けて記憶装置１０３に記憶させる機能を有するコンピュータまたは記録媒体であってもよい。情報処理サーバ１０は、例えば、汎用コンピュータ、および、本実施形態において説明される各動作等を実施させるソフトウェアの組み合わせによって実現されてもよい。

【0033】

なお、図１に示す情報処理サーバ１０および記憶装置１０３、ならびに、図２に示す情報処理サーバ１０のそれぞれは複数あってもよい。係る場合、複数のサーバおよび複数の装置に対して、複数の機能が分散されてもよい。なお、記憶装置１０３は記憶サーバまたはデータベースと呼称されてもよい。

【0034】

また、図１および図２において、複数の端末装置３００が通信ネットワーク４００を介して情報処理サーバ１０に接続されてもよい。例えば、複数のユーザーが同時に本サービスの提供を受ける場合、複数のユーザーのそれぞれが操作する各端末装置３００が、同時に情報処理サーバ１０に接続されてもよい。

【0035】

図１および図２において、情報処理装置１００は、通信部１０１および制御部１０２を備える。通信部１０１および制御部１０２は、互いに有線接続または無線接続される。

【0036】

図３は、実施形態１に係る移動体の機能的な構成の一例を示すブロック図である。図３において、移動体２００は、センサ部２０１、駆動部２０２、通信部２０３、メモリ部２０４および制御部２０５を備える。移動体２００に含まれる各要素は、設計仕様に基づき、他の要素の一部または全部と有線接続または無線接続される。

【0037】

センサ部２０１は、位置情報の検知機能及び画像の撮像機能を有してもよい。位置情報は、移動体２００の位置情報、及び、顔画像の撮像対象である対象者の位置情報のうち、少なくとも一方であってもよい。

【0038】

センサ部２０１は、一又は複数のセンサを有してもよい。センサ部２０１は、例えば、移動体２００が自律移動するために必要な周囲の情報または位置情報を検知するための一又は複数の検知センサを含んでもよい。また、センサ部２０１は、顔画像を撮像可能である画像センサを含んでもよい。センサ部２０１は、２次元センサ及び３次元センサのうち少なくとも一方を含んでもよい。センサ部２０１に含まれるセンサの種類は、例えば、ＬｉＤＡＲ、ソナー、イメージセンサ、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサ、ＧＰＳセンサ、加速度センサ、角速度センサ、近接センサなどであってもよい。

【0039】

センサ部２０１は、例えば、移動体２００の位置情報、センサ部２０１の角度情報、及び、移動体２００から対象者までの距離情報に基づいて、撮像対象である対象者の位置情報を算出してもよい。センサ部２０１は、例えば、移動体２００の位置情報、及び、複数のイメージセンサの視差情報に基づいて、対象者の位置情報を算出してもよい。なお、撮像対象である対象者の位置情報を算出する方法は一例にすぎず、その具体的内容によって本開示の範囲は限定されない。また、上述したセンサ部２０１に含まれるセンサの数、センサの種類の具体的内容は一例であって、本開示の範囲を限定しない。

【0040】

駆動部２０２は、移動体２００の移動を駆動する機能を有する。駆動部２０２は、例えば、移動体２００に備わる車輪、脚部またはプロペラなどを駆動する一又は複数のモータを有してもよい。なお、移動体２００が移動するための駆動部２０２の仕組みは公知技術であるため、詳細な説明は省略する。

【0041】

通信部２０３は、通信ネットワーク４００を介して通信部１０１と接続可能であり、例えば、顔画像に関する情報と、顔画像が撮像された位置情報及び時刻情報とを対応付けて、情報処理サーバ１０に対して送信する機能を有してもよい。顔画像に関する情報とは、後述するように、顔画像の情報であってもよく、又は、制御部２０５によって顔画像の情報から抽出された特徴点データであってもよい。また、通信部２０３は、後述するように、情報処理サーバ１０から、自律移動して任意又は所定の画像を撮像する旨を示す制御信号を受信する機能を有してもよい。

【0042】

さらに、通信部２０３は、後述するように、別の移動体２００ｂに備わる通信部２０３ｂと接続可能であり、相互に情報または同期信号等を送受信する機能を有してもよい。通信部２０３は、例えば、無線通信のためのアンテナを含む通信モジュールであってもよく、または、有線通信のための通信モジュールであってもよい。

【0043】

メモリ部２０４は、通信部２０３が情報処理サーバ１０または別の移動体２００ｂから受け取った情報、移動体２００が自律移動する範囲を示す所定の地図情報、各種アプリケーションソフトウェア、作業プログラムなどを一時的に保存若しくは記憶する機能、及び、非一時的に記憶する機能のうち少なくとも一の機能を有してもよい。

【0044】

メモリ部２０４は、例えば、顔画像から特徴点データを抽出するためのアプリケーションソフトウェアを記憶してもよい。当該アプリケーションソフトウェアは、例えば、一又は複数の顔モデルを含んでもよい。顔モデルは、例えば、顔の形状の情報を含んでもよい。当該アプリケーションソフトウェアは、当該顔モデルを用いて、顔画像から、輪郭、並びに、目、鼻及び口等の座標を特徴点データとして抽出するものであってもよい。

【0045】

なお、顔画像から特徴点データを抽出する方法は公知技術であるため、詳細な説明は省略する。また、後述するように、顔画像から特徴点データを抽出する処理は、移動体２００において実行されず、情報処理サーバ１０において実行されてもよい。

【0046】

制御部２０５は、移動体２００における各種制御を行う。制御部２０５は、例えば、駆動部２０２を制御することで移動体２００を駆動させてもよい。制御部２０５は、例えば、不図示の電源部を制御してもよく、通信部２０３が各種情報又は信号を受け取る処理を実行させてもよい。また、制御部２０５は、センサ部２０１によって顔画像が撮像されたとき、顔画像が撮像された時刻情報を検知し、顔画像が撮像された位置情報と対応付けてメモリ部２０４に記憶させてもよい。なお、制御部２０５における各種制御は一例である。

【0047】

制御部２０５は、例えば、電気信号によって各部を制御する制御回路（ｃｏｎｔｒｏｌ ｃｉｒｃｕｉｔｒｙ）であってもよい。具体的には、制御部２０５は、例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路によって構成されてもよい。また、制御部２０５は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などにより実現されてもよい。

【0048】

移動体２００は、上記の構成例に基づいて、例えば、所定範囲の領域において自律移動が可能であって、センサ部２０１を用いて当該領域に存する一又は複数の対象者の一又は複数の顔画像を取得し、顔画像のそれぞれから特徴点データを抽出し、抽出された特徴点データと、顔画像が撮像された時刻情報及び位置情報とを対応付けて、情報処理サーバ１０に送信する機能を有する装置であってもよい。

【0049】

図４は、実施形態１に係る端末装置３００の機能的な構成の一例を示すブロック図である。図４において、端末装置３００は、表示媒体３０１、入力部３０２、通信部３０３、メモリ部３０４、および制御部３０５を備える。端末装置３００に含まれる各要素は、設計仕様に基づき、他の要素の一部または全部と有線接続または無線接続される。

【0050】

端末装置３００は、後述するように、例えば、ユーザーが本サービスの提供を受けるために、本サービスに係るＷｅｂサイトにアクセスし、または、本サービスに係るアプリケーションソフトウェアを起動させたことに応じて、後述する顔認証の対象である顔画像を設定するための設定ページを表示媒体３０１に表示させ、入力部３０２を用いた対象顔画像の設定を受け付け、設定された対象顔画像の情報を含むサービス要求を情報処理サーバ１０に送信する機能を有する情報機器であってもよい。端末装置３００は、例えば、スマートフォン、タブレット端末、ノートパソコン、デスクトップパソコン、ウェアラブル端末、または、専用端末などの装置であってもよい。

【0051】

表示媒体３０１は、例えば、２次元ディスプレイでもよく、バーチャルリアリティー、ミックスドリアリティーなどにおける３次元ディスプレイであってもよい。２次元ディスプレイは、液晶ディスプレイ、有機ＥＬディスプレイなどであってもよい。ディスプレイの種類は、本開示の範囲を限定しない。

【0052】

入力部３０２は、表示媒体３０１における表示内容を選択する機能、および、文字を入力または編集する機能を有する。入力部３０２は、ユーザーによる入力を受け付ける。

【0053】

入力部３０２は、例えば、キーボード、マウス、ハードウェアボタン、タッチパネルを用いたタッチ操作、タッチパネルを用いたスタイラスペン、ユーザーの視線検知に基づく入力、および音声入力などのうち少なくとも１つであってもよい。キーボードは、外部接続された物理的キーボードであってもよく、タッチパネル上のソフトウェアキーボードであってもよい。また、表示媒体３０１がバーチャルリアリティー、ミックスドリアリティーなどにおける３次元ディスプレイの場合には、専用コントローラー、ユーザーのジェスチャーなどに基づく情報入力または情報選択であってもよい。

【0054】

通信部３０３は、通信部１０１と通信ネットワーク４００によって接続され、情報処理サーバ１０から信号または情報を受け取る。通信部３０３は、例えば、無線通信のためのアンテナを含む通信モジュールであってもよい。また、通信部３０３は、例えば、有線通信のための通信モジュールであってもよい。

【0055】

メモリ部３０４は、通信部３０３が情報処理サーバ１０から受け取った情報を一時的に記憶若しくは保存する機能、及び、非一時的に記憶する機能のうち少なくとも一の機能を有してもよい。メモリ部３０４は、通信部３０３が受け取った各種アプリケーションソフトウェアを保存してもよい。以下の説明において、端末装置３００は、情報処理サーバ１０から受け取った各種情報を、例えば、メモリ部３０４に保存してもよい。

【0056】

制御部３０５は、端末装置３００における各種制御を行う。制御部３０５は、例えば、通信部３０３が情報処理サーバ１０から受け取った情報をメモリ部３０４に保存させてもよい。制御部３０５は、ユーザーによる入力を入力部３０２に受け取らせてもよい。

【0057】

また、制御部３０５は、例えば、情報処理サーバ１０から受け取った情報に基づいて、後述する顔認証の対象である対象顔画像を設定可能である設定ページを表示媒体３０１に表示する機能を有してもよい。制御部３０５は、例えば、各種アプリケーションまたは情報処理サーバ１０からの指示に基づいて、表示媒体３０１に所定の情報を表示する機能を有してもよい。制御部３０５における、各種情報を表示媒体３０１に表示させる機能は公知技術であるため、詳細な説明は省略する。

【0058】

制御部３０５は、例えば、電気信号によって各部を制御する制御回路であってもよい。具体的には、制御部３０５は、例えば、ＦＰＧＡ等の集積回路によって構成されてもよい。また、制御部３０５は、例えば、ＣＰＵまたはＭＰＵなどにより実現されてもよい。制御部３０５は、例えば、Ｗｅｂブラウザであってもよい。

【0059】

なお、以上の説明において、端末装置３００が備える表示媒体３０１などの各要素は、端末装置３００に内蔵されるものとして説明したが、端末装置３００に対して外付けされるものであってもよい。

【0060】

図１および図２において、記憶装置１０３は、例えば、後述するように、一又は複数のクラスごとの識別情報と特徴量とを対応付けて記憶してもよい。また、記憶装置１０３は、後述するように、移動体２００が自律移動する位置情報を示す制御信号を生成するために、メモリ部２０４に記憶される所定の地図情報と同様の情報を記憶してもよい。

【0061】

また、記憶装置１０３は、各種アプリケーションソフトウェアを記憶してもよい。各種アプリケーションソフトウェアは、例えば、情報処理サーバ１０が提供するサービスを、ユーザーの要求に応じて、端末装置３００においてスタンドアロンで実行させるものであってもよい。また、各種アプリケーションソフトウェアは、例えば、クライアントＰＣにインストールされたＷｅｂブラウザに読み込んで動作させるＨＴＭＬ、ＣＳＳ、ＪａｖａＳｃｒｉｐｔ（登録商標）等のソースコードであってもよい。

【0062】

なお、記憶部１０３は、所定のデータベースを含んでもよい。所定のデータベースの構造またはモデルは、例えば、リレーショナルデータベースであってもよく、非リレーショナルデータベース（ＮｏＳＱＬ：Ｎｏｔ ｏｎｌｙ ＳＱＬ）であってもよく、または、分散型台帳であってもよい。

【0063】

通信ネットワーク４００は、電気通信回線によって構成されるネットワークであってもよい。通信ネットワーク４００は、有線通信ネットワークであっても、無線通信ネットワークであってもよい。通信ネットワーク４００は、例えば、インターネット、専用回線、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等であってもよい。

【0064】

情報処理装置１００において、通信部１０１は、位置情報の検知機能及び画像の撮像機能を有するセンサ部２０１を備える自律移動型の一又は複数の移動体２００と通信ネットワーク４００を介して通信する機能を有してもよい。具体的には、通信部１０１は、移動体２００における通信部２０３と通信ネットワーク４００によって接続され、例えば、顔画像から抽出された特徴点データと、当該顔画像が撮像された時刻情報及び位置情報とを対応付けて受け取る機能を有してもよい。また、通信部１０１は、移動体２００に対して、後述する各種制御信号を送信する機能を有してもよい。

【0065】

さらに、通信部１０１は、端末装置３００から認証対象である所定の対象顔画像の情報を受信する機能を有してもよい。また、通信部１０１は、後述するように、対象顔画像から抽出された対象特徴量に対応するクラスに分類された複数の時刻情報及び位置情報のうち少なくとも一を含む情報を端末装置３００に備わる表示媒体３０１に表示可能にさせる機能を有してもよい。

【0066】

通信部１０１は、記憶装置１０３との間で情報を送受信する機能を有してもよい。通信部１０１および記憶装置１０３は、互いに有線ネットワークまたは無線ネットワークによって接続されてもよい。通信部１０１は、例えば、無線通信のためのアンテナを含む通信モジュールであってもよく、有線通信のための通信モジュールであってもよい。通信部１０１および記憶装置１０３を接続するネットワークの形態、規格などの仕様は、本開示の範囲を限定しない。

【0067】

制御部１０２は、一又は複数のセンサ部２０１を用いて取得された複数の顔画像のそれぞれから抽出された複数の特徴点データと、複数の特徴点データのそれぞれに対応する、複数の顔画像のそれぞれが取得された複数の時刻情報及び位置情報とを用いて、複数の特徴点データを、特徴点データ間の所定の類似基準、及び、時刻情報と位置情報に関する第１所定条件に基づいて一又は複数のクラスに分類し、第１クラスに分類された複数の特徴点データを用いて第１クラスに固有の第１特徴量を算出し、第１クラスの第１識別情報と第１特徴量とを対応付けて記憶装置１０３に記憶させる機能を有してもよい。

【0068】

制御部１０２は、電気信号によって各部を制御する制御回路であってもよい。具体的には、制御部１０２は、例えば、ＦＰＧＡなどの集積回路によって構成されてもよい。また、制御部１０２は、例えば、ＣＰＵまたはＭＰＵなどにより実現されてもよい。制御部１０２の機能の詳細については、後述する。

【0069】

以上、図１から図４を参照して、本実施形態に係る情報処理システム１、情報処理サーバ１０、移動体２００および端末装置３００の構成例について説明した。

【0070】

本実施形態に係る情報処理システム１において、上記の構成例によって、例えば、高齢者等が入居する所定の施設において一又は複数の移動体２００が設置され、一又は複数の移動体２００のそれぞれが、自律移動しながら入居者である対象者の顔画像を取得し、各移動体２００のそれぞれが、取得した顔画像の特徴点データと、顔画像が撮像された時刻情報及び位置情報とを対応付けて、情報処理サーバ１０に対して送信してもよい。複数の特徴点データと、複数の時刻情報及び位置情報とを対応付けて受信した情報処理サーバ１０は、上述のとおり、特徴点データ間の類似度、及び、時刻情報と位置情報に関する所定条件に基づいて、複数の特徴点データを一又は複数のクラスに分類し、一又は複数のクラスごとに分類された複数の特徴点データを用いて、クラスに固有の一の特徴量を算出してもよい。

【0071】

さらに、係る場合において、情報処理サーバ１０は、ユーザーが操作する端末装置３００から、顔認証の対象である対象顔画像を受信したとき、受信した対象顔画像から対象特徴量を算出し、抽出された対象特徴量と、上記クラスに固有の特徴量とを用いて顔認証処理を実行してもよい。情報処理サーバ１０は、顔認証処理の結果、例えば、対称特徴量が第１クラスの第１特徴量に対応すると判定された場合、第１クラスに分類された特徴点データに対応する時刻情報及び位置情報のうち少なくとも一方を含む情報を、端末装置３００に送信してもよい。

【0072】

このように、認証対象者の複数の顔画像を所定又は任意のタイミングにおいて取得し、複数の顔画像が取得された時刻情報及び位置情報を用いることによって、当該複数の顔画像を、顔認証に用いられる特徴量を算出するためのクラスに高精度に分類することができる。これにより、高齢者等に対して顔画像の登録手続の負担を強いることなく、高齢者の顔画像を用いた顔認証処理を実行することができる。そして、例えば、高齢者の親族であるユーザーが、当該高齢者が健康に生活していることを確認することを目的に、本サービスの提供を受けることができる。すなわち、ユーザーは、端末装置３００を用いて、当該高齢者の対象顔画像を情報処理サーバ１０に送信することによって、当該高齢者の顔画像が撮像された時刻情報及び位置情報などを受信することができる。

【0073】

なお、本サービスは、例えば、本サービスに係るＷｅｂサイトにユーザーがアクセスすることを起点として提供されてもよい。本サービスは、例えば、本サービスに係るアプリケーションソフトウェアが端末装置３００において起動されることを起点として提供されてもよい。なお、本サービスが提供される態様は本開示の範囲を限定しない。例えば、情報処理サーバ１０がＷｅｂブラウザを用いないスタンドアロンで動作するアプリケーションソフトウェアを端末装置３００に送信し、ダウンロードされた当該アプリケーションソフトウェアの起動を起点として本サービスが提供されてもよい。

【0074】

また、例えば、本サービスに係るアプリケーションソフトウェアがスマートフォンなどの端末装置３００にインストールされ、インストールされたアプリケーションソフトウェアが起動されることを起点として、本サービスが実現されてもよい。係る場合、本サービスに係るアプリケーションソフトウェアは、例えば、図示しない所定のアプリケーション配布システムから、通信ネットワーク４００を介して端末装置３００へダウンロードされてもよい。所定のアプリケーション配布システムは、例えば、一または複数のアプリケーションソフトウェアを端末装置３００へ提供するシステムであってもよい。なお、アプリケーションソフトウェアは、情報処理プログラムを意味してもよい。

【0075】

図５は、本発明の実施形態１に係る情報処理サーバ１０と移動体２００と端末装置３００との間の情報の送受信および情報処理の手順の一例を示すシーケンス図である。

【0076】

以下、図５などを参照して、情報処理サーバ１０、移動体２００および端末装置３００の間で行われる情報の送受信、ならびに、情報処理サーバ１０、移動体２００および端末装置３００の各部において行われる情報処理について説明する。

【0077】

図５において、移動体２００は、メモリ部２０４に記憶された所定の地図情報に基づいて、自律移動してもよい（ステップＳ５０１）。地図情報は、例えば、高齢者等が入居する所定施設の地図情報であってもよい。地図情報は、例えば、移動体２００が移動可能である領域と移動不可能である領域の境界条件を座標で示す情報であってもよい。

【0078】

移動体２００は、例えば、情報処理サーバ１０からの指示、又は、メモリ部２０４に記憶された所定のプログラムなどに基づいて、自律移動を開始してもよい。移動体２００が自律移動を開始するトリガーは、管理者が任意に設定してもよい。移動体２００は、自律的に充電装置に接続して充電してもよく、充電時間以外の時間のうち少なくとも所定時間、自律移動してセンサ部２０１を用いて顔画像を撮像してもよい。移動体２００が地図情報に基づいて自律移動する技術は公知であるため、詳細な説明は省略する。

【0079】

なお、情報処理システム１に複数の移動体２００が含まれる場合、各移動体２００は、他の移動体２００と独立に、又は、協調して自律移動してもよい。各移動体２００が他の移動体２００と独立に自律移動する場合、メモリ部２０４に記憶された所定のアプリケーションソフトウェアに基づいて、例えばランダムに移動してもよい。一方、各移動体２００が他の移動体２００と協調して自律移動する場合、後述するように、通信ネットワーク４００を介して同期信号を送受信してもよい。

【0080】

次に、移動体２００は、地図情報に対応する所定施設に存在する者の顔画像を、センサ部２０１を用いて取得してもよい（ステップＳ５０２）。具体的には、例えば、移動体２００は、センサ部２０１に含まれる物体検知機能を用いて人物を検知し、メモリ部２０４に記憶される人物の骨格モデル情報に基づいて顔領域の画像を撮像する機能を有してもよい。センサ部２０１における物体検知機能の技術は公知であるため、詳細な説明を省略する。また、移動体２００は、センサ部２０１を用いて人物を検知し、当該人物の画像を撮像したとき、撮像された画像のうちから顔画像を抽出する機能を有してもよい。移動体２００が画像センサを用いて人物の顔画像を撮像する技術は公知であるため、詳細な説明は省略する。

【0081】

なお、情報処理システム１に複数の移動体２００が含まれる場合、各移動体２００のそれぞれは、一又は複数の顔画像を取得してもよい。当該一又は複数の顔画像の対象は、一又は複数の対象者であってもよい。一方、情報処理システム１に一の移動体２００が含まれる場合、当該一の移動体２００は、複数の顔画像を取得してもよい。当該複数の顔画像の対象は、一又は複数の対象者であってもよい。

【0082】

次に、一又は複数の移動体２００は、一又は複数のセンサ部２０１を用いて取得された複数の顔画像のそれぞれから特徴点データを抽出してもよい（ステップＳ５０３ａ）。例えば、移動体２００に備わる制御部２０５は、メモリ部２０４に記憶された顔モデルの情報を用いて、一の顔画像から、目、目頭、鼻、口角などの顔における複数の部位のうち所定数の部位の座標情報などを一の特徴点データとして抽出してもよい。

【0083】

具体的には、例えば、後述する特徴量としてＨｏＧ（Ｈｉｓｔｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）を用いる場合においては、特徴点データとして、座標情報及びサイズ情報を抽出してもよい。特徴点データの内容は一例にすぎず、その具体的内容によって本開示の範囲は限定されない。

【0084】

制御部２０５は、センサ部２０１によって顔画像が撮像されたとき、顔画像が撮像された時刻情報を検知してもよい。さらに、制御部２０５は、センサ部２０１によって顔画像が撮像されたとき、センサ部２０１に含まれる位置検知機能を用いて、センサ部２０１によって顔画像が撮像されたときの位置情報を検知してもよい。

【0085】

位置情報は、顔画像の撮像対象である対象者の位置情報であってもよい。また、位置情報は、センサ部２０１によって顔画像が撮像されたときの移動体２００の位置情報であってもよい。後述するように、当該位置情報は、撮像された顔画像から抽出された特徴点データを分類するときに用いられる。以下の説明において、当該位置情報は、対象者の位置情報であるものとして説明するが、移動体２００の位置情報であってもよい。

【0086】

なお、制御部２０５は、センサ部２０１を用いて取得された一又は複数の顔画像のそれぞれから抽出された特徴点データと、当該特徴点データのそれぞれに対応する、一又は複数の顔画像のそれぞれが撮像された時刻情報及び位置情報とを対応付けて、メモリ部２０４に記憶させてもよい。

【0087】

次に、図５に戻り、一又は複数の移動体２００のそれぞれは、一又は複数の特徴点データと、一又は複数の顔画像が撮像された時刻情報及び位置情報とを対応付けて、情報処理サーバ１０へ送信してもよい（ステップＳ５０４ａ）。移動体２００は、例えば、自らに付与された移動体ＩＤ情報を併せて送信してもよい。

【0088】

すなわち、複数の特徴点データのそれぞれは、一又は複数の移動体２００のそれぞれに備わる制御部２０５において、複数の顔画像のそれぞれから抽出されたデータである場合において、情報処理サーバ１０は、複数の特徴点データのそれぞれと、複数の時刻情報及び位置情報のそれぞれとを対応付けて一又は複数の移動体２００から受信してもよい。

【0089】

なお、上記説明においては、センサ部２０１によって撮像された顔画像から特徴点データを抽出する処理は、移動体２００において実行されるものとして説明したが、その限りではない。例えば、移動体２００は、顔画像を取得したとき（ステップＳ５０２）、顔画像から特徴点データを抽出せずに、不図示のステップＳ５０４ｂとして、顔画像の情報と、当該顔画像が撮像された時刻情報及び位置情報とを対応付けて、情報処理サーバ１０へ送信してもよい。

【0090】

すなわち、情報処理サーバ１０は、複数の顔画像のそれぞれと、複数の時刻情報及び位置情報のそれぞれとを対応付けて一又は複数の移動体２００から受信した場合、受信された複数の顔画像のそれぞれから複数の特徴点データのそれぞれを抽出してもよい。

【0091】

係る場合、顔画像から特徴点データを抽出する処理は、情報処理サーバ１０において実行されてもよく、顔モデルの情報はメモリ部２０４に記憶されず、記憶装置１０３に記憶されていてもよい。以下においては、顔画像から特徴点データを抽出する処理は、移動体２００に備わる制御部２０５において実行されるものとして説明する。

【0092】

次に、図５に戻り、情報処理サーバ１０は、一又は複数のセンサ部２０１を用いて取得された複数の顔画像のそれぞれから抽出された複数の特徴点データと、複数の特徴点データのそれぞれに対応する、複数の顔画像のそれぞれが取得された複数の時刻情報及び位置情報とを用いて、複数の特徴点データを、特徴点データ間の所定の類似基準、及び、時刻情報と位置情報に関する第１所定条件に基づいて一又は複数のクラスに分類してもよい（ステップＳ５０５）。

【0093】

例えば、情報処理サーバ１０は、複数の特徴点データを、特徴点データ間の所定の類似基準に基づいて、一又は複数のクラスに分類してもよい。所定の類似基準とは、例えば、複数の特徴点データ間において、特徴点データに含まれる各座標の相対的距離情報、及び、正規化された顔領域における各座標の相対的位置情報のうち少なくとも一方の情報の差が所定値以下、又は、所定値より小さい条件を満たすか否かによって、相互に類似するか否かを判定する基準であってもよい。

【0094】

すなわち、情報処理サーバ１０は、複数の特徴点データ間における座標の相対的差分情報が、所定値以下、又は、所定値より小さい類似条件を満たすか否かによって、複数の特徴点データを一又は複数のクラスに分類してもよい。具体的には、情報処理サーバ１０は、複数の特徴点データ間における座標の相対的差分情報が類似条件を満たすとき、複数の特徴点データを同一クラスに分類し、一方で、当該相対的差分情報が当該類似条件を満たさないとき、複数の特徴点データを異なるクラスに分類してもよい。

【0095】

さらに、情報処理サーバ１０は、複数の特徴点データを、時刻情報と位置情報に関する第１所定条件に基づいて一又は複数のクラスに分類してもよい。

【0096】

第１所定条件は、第１特徴点データと第２特徴点データとが類似基準を満たし、第１特徴点データに対応する第１時刻情報と第２特徴点データに対応する第２時刻情報とが所定の時間範囲に含まれる場合において、第１特徴点データに対応する第１位置情報と第２特徴点データに対応する第２位置情報とが所定の距離範囲にあるとき、第１特徴点データ及び第２特徴点データは同一のクラスに分類され、一方、第１位置情報と第２位置情報とが所定の距離範囲にないとき、第１特徴点データ及び第２特徴点データは異なるクラスに分類される条件であってもよい。

【0097】

具体的には、例えば、第１特徴点データ及び第２特徴点データが、類似基準を満たし、同一対象者の特徴点データであると推定される場合において、情報処理サーバ１０は、第１特徴点データに対応する第１時刻情報と、第２特徴点データに対応する第２時刻情報とを対比してもよい。第１時刻情報と第２時刻情報とが、例えば、所定の時間範囲に含まれない場合、情報処理サーバ１０は、第１特徴点データに対応する第１位置情報と、第２特徴点データに対応する第２位置情報とを対比し、第１位置情報及び第２位置情報が所定の距離範囲にあるとき、後述するように、行動パターン情報の生成に用いられてもよい。

【0098】

一方、第１時刻情報と第２時刻情報とが所定の時間範囲に含まれる場合、情報処理サーバ１０は、第１位置情報と第２位置情報とが所定の距離範囲に含まれるか否かを判定してもよい。係る場合において、第１位置情報と第２位置情報とが所定の距離範囲に含まれるとき、第１特徴点データ及び第２特徴点データは同一クラスへの分類を確定させてもよい。同一時間帯に同一領域に存在することは、複数の特徴点データが同一人物に対応するデータであることの推定を強めるからである。他方で、第１位置情報と第２位置情報とが所定の距離範囲に含まれないとき、第１特徴点データ及び第２特徴点データは同一クラスへの分類を解消させてもよい。同一時間帯に異なる領域に存在することは、複数の特徴点データが同一人物に対応するデータであることの推定を弱めるからである。

【0099】

なお、第１所定条件において、例えば、第１時刻情報と第２時刻情報とが所定の時間範囲に含まれ、且つ、第１位置情報と第２位置情報とが所定の距離範囲に含まれる場合にのみ、第１特徴点データ及び第２特徴点データを同一クラスに分類させてもよい。係る場合、第１時刻情報と第２時刻情報とが所定の時間範囲に含まれること、及び、第１位置情報と第２位置情報とが所定の距離範囲に含まれることのうち、少なくとも一方が欠けた場合には、第１特徴点データ及び第２特徴点データを同一クラスに分類させなくてもよい。

【0100】

なお、所定の時間範囲及び所定の距離範囲は、支配管理者によって任意に設定されてもよい。例えば、人物の歩行時又は走行時における移動速度、対象者の年齢、情報処理システム１が導入される所定施設の地図情報等に基づいて、所定の時間範囲に含まれつつ所定の距離範囲に含まれない複数の特徴点データは異なる対象者に対応するものであると判定できる程度に、所定の時間範囲及び所定の距離範囲の具体的数値が設定されてもよい。なお、所定の時間範囲及び所定の距離範囲の設定方法は一例にすぎず、その具体的内容によって本開示の範囲は限定されない。

【0101】

なお、上記説明においては、複数の特徴点データのそれぞれが分類される一又は複数のクラスには、例えば、既に分類された特徴点データが含まれていてもよい。また、本開示において、クラスとは、類似基準及び第１所定条件に基づいて分類される集合であってもよく、クラスは、グループ、集合、又は、データ群と呼称されてもよい。

【0102】

次に、図５に戻り、所定の類似基準及び第１所定条件に基づいて複数の特徴点データを一又は複数のクラスに分類した情報処理サーバ１０は、一又は複数のクラスごとに、分類された複数の特徴点データを用いて、クラスに固有の一の特徴量を算出してもよい（ステップＳ５０６）。すなわち、情報処理サーバ１０は、第１クラスに分類された複数の特徴点データを用いて第１クラスに固有の第１特徴量を算出してもよい。

【0103】

例えば、情報処理サーバ１０は、複数の特徴点データに基づいて２次元特徴量を算出してもよい。具体的には、情報処理サーバ１０は、第１クラスに分類された複数の特徴点データ間において、相互に差分が所定値より小さい種類の特徴点を抽出し、抽出された特徴点の座標情報等に基づいて特徴量を算出してもよい。例えば、特徴点データとして目頭、目じり、鼻、口角が含まれる場合において、目頭、目じり、鼻に係る特徴点が相互に差分が所定値より小さく、口角に係る特徴点が相互に差分が所定値以上であるとき、目頭、目じり、鼻に係る特徴点データに基づいて特徴量を算出してもよい。係る場合、複数の特徴点データのうち一の特徴点データに基づいて特徴量を算出してもよく、複数の特徴点データの平均値に基づいて特徴量を算出してもよい。

【0104】

係る場合、情報処理サーバ１０は、例えば、特徴量としてＨｏＧを用いる場合、特徴点データに含まれる座標情報及びサイズ情報に基づき、ベクトル情報として第１特徴量を算出してもよい。

【0105】

また、例えば、情報処理サーバ１０は、複数の特徴点データに基づいて３次元特徴量を算出してもよい。具体的には、例えば、情報処理サーバ１０は、第１クラスに分類された複数の特徴点データ間において所定のマッチング手法を用いて、対応する特徴点をマッチング処理し、マッチング処理がなされた特徴点から３次元座標を算出し、算出された３次元座標に基づいて特徴量が算出されてもよい。また、例えば、情報処理サーバ１０は、３次元センサによって撮像された３次元画像情報から抽出された複数の特徴点データに基づいて、３次元特徴量を算出してもよい。３次元画像情報から３次元特徴量を算出する手法は公知であるため、詳細な説明を省略する。

【0106】

なお、上述した特徴量を算出する手法は一例であって、その限りではない。また、第１クラスは特定のクラスを意味するものではなく、任意又は所定のクラスを意味するものであってもよい。

【0107】

なお、情報処理サーバ１０は、さらに、第１クラスに分類された複数の特徴点データの数をカウントし、分類された特徴点データの数が所定値以上又は所定値より大きい第２所定条件を満たすとき第１特徴量を算出してもよい。すなわち、情報処理サーバ１０は、顔画像から抽出された特徴点データを一又は複数のクラスに分類し、分類された特徴点データを記憶装置１０３に記憶させ、一又は複数のクラスごとに、記憶装置１０３に記憶された特徴点データの数が当該第２所定条件を満たすか否かを判定してもよい。そして、情報処理サーバ１０は、当該第２所定条件を満たすクラスに分類された複数の特徴点データに基づいて特徴量を算出してもよい。

【0108】

次に、図５に戻り、情報処理サーバ１０は、第１クラスの第１識別情報と第１特徴量とを対応付けて記憶装置１０３に記憶させてもよい（ステップＳ５０７）。すなわち、情報処理サーバ１０は、一又は複数のクラスごとに固有の識別情報を付与し、各識別情報と、クラスごとに固有の特徴量とを対応付けて記憶装置１０３に記憶させてもよい。識別情報は、数字を含む文字、記号などの組み合わせであってもよく、管理者によって任意に設定されてもよい。

【0109】

なお、上記説明においては、情報処理システム１に含まれる一又は複数の移動体２００が顔画像を撮像するとき、互いに独立しているものとして説明したが、例えば、複数の移動体２００が協調して顔画像を撮像し、協調して撮像した画像に基づいて特徴量が算出されてもよい。すなわち、情報処理システム１に複数の移動体２００が含まれ、位置情報はセンサ部２０１を用いた撮像対象の位置を示す情報である場合において、複数の特徴点データは、第１移動体２００ａに備わる第１センサ部２０１ａを用いて取得された第１顔画像から抽出された第３特徴点データと、第２移動体２００ｂに備わる第２センサ部２０１ｂを用いて取得された第２顔画像から抽出された第４特徴点データとを含み、第３特徴点データに対応する第３時刻情報及び第３位置情報と、第４特徴点データに対応する第４時刻情報及び第４位置情報とが通信ネットワーク４００を介して同期されることによって、第１顔画像及び第２顔画像は同一対象の顔画像であり、第１特徴量は、第３特徴点データ及び第４特徴点データを含む複数の特徴点データを用いて算出されてもよい。

【0110】

図６は、実施形態１に係る複数の移動体間の同期処理の概念の一例を示す図である。図６において、例えば、所定の施設６０において、矢印の方向に顔を向けている対象者６１、第１移動体２００ａ、及び、第２移動体２００ｂが含まれている場合において、第１移動体２００ａは第１センサ部２０１ａを用いて、対象者６１の顔画像を取得してもよい。また、第２移動体２００ｂは第２センサ部２０１ｂを用いて、同様に、対象者６１の顔画像を取得してもよい。第１移動体２００ａ及び第２移動体２００ｂは、互いに通信ネットワーク４００を介して同期信号を送受信し、同期されたタイミングで対象者６１を撮像してもよい。また、第１移動体２００ａ及び第２移動体２００ｂのそれぞれは、各センサ部２０１を用いて対象者６１の座標を算出し、通信ネットワーク４００を介して算出された座標を共有することによって撮像対象を同期させてもよい。

【0111】

係る場合において、情報処理サーバ１０は、第１センサ部２０１ａを用いて取得された第１顔画像から抽出され、第３時刻情報及び第３位置情報に対応付けられた第３特徴点データと、第２センサ部２０１ｂを用いて取得された第２顔画像から抽出され、第４時刻情報及び第４位置情報に対応付けられた第４特徴点データとを含む複数の特徴点データを移動体２００ａ及び移動体２００ｂから受信してもよい。そして、情報処理サーバ１０は、第３特徴点データ及び第４特徴点データを含む複数の特徴点データを用いて、例えば、３次元特徴量を算出してもよい。

【0112】

以上のように、位置情報の検知機能及び画像の撮像機能を有するセンサ部２０１を備える自律移動型の一又は複数の移動体２００と通信ネットワーク４００を介して接続可能である情報処理サーバ１０を備える情報処理システム１における情報処理方法であって、情報処理サーバ１０は、一又は複数のセンサ部２０１を用いて取得された複数の顔画像のそれぞれから抽出された複数の特徴点データと、複数の特徴点データのそれぞれに対応する、複数の顔画像のそれぞれが取得された複数の時刻情報及び位置情報とを用いて、複数の特徴点データを、特徴点データ間の所定の類似基準、及び、時刻情報と位置情報に関する第１所定条件に基づいて一又は複数のクラスに分類し、第１クラスに分類された複数の特徴点データを用いて第１クラスに固有の第１特徴量を算出し、第１クラスの第１識別情報と第１特徴量とを対応付けて記憶装置１０３に記憶させ、第１所定条件は、第１特徴点データと第２特徴点データとが当該類似基準を満たし、第１特徴点データに対応する第１時刻情報と第２特徴点データに対応する第２時刻情報とが所定の時間範囲に含まれる場合において、第１特徴点データに対応する第１位置情報と第２特徴点データに対応する第２位置情報とが所定の距離範囲にあるとき、第１特徴点データ及び第２特徴点データは同一のクラスに分類され、一方、第１位置情報と第２位置情報とが所定の距離範囲にないとき、第１特徴点データ及び第２特徴点データは異なるクラスに分類される条件であってもよい。

【0113】

これにより、認証対象者による顔画像の登録手続を要することなく、複数の顔画像が取得された時刻情報及び位置情報を用いることによって、当該複数の顔画像を、顔認証に用いられる特徴量を算出するためのクラスに分類できる。

【0114】

また、さらに、図５に示すように、端末装置３００から対象顔画像が情報処理サーバに対して送信されてもよい（ステップＳ５０８）。

【0115】

例えば、ユーザーが、本サービスの提供を受けるために、端末装置３００を用いて、本サービスに係るＷｅｂサイトへアクセスし、又は、端末装置３００にインストールされているアプリケーションソフトウェアを起動させることによって設定ページ７００を表示媒体３０１に表示させ、顔認証の対象である対象顔画像を設定して情報処理サーバ１０に送信させてもよい。なお、Ｗｅｂサイトまたはアプリケーションソフトウェアは、Ｗｅｂサイト等と呼称されてもよい。また、係る場合において、ユーザーを固有に識別するためのユーザーＩＤを用いて、対象顔画像が送信されてもよい。

【0116】

図７は、対象顔画像を設定可能である設定ページを示す画像の一例を示す図である。図７において、本サービスに係るＷｅｂサイト等における設定ページ７００は、例えば、対象顔画像を設定するための領域７０１、設定された対象顔画像を確定させて情報処理サーバ１０に対して送信させる所定ボタン７０２を有してもよい。設定ページ７００は、スクロールすることで表示可能な範囲を意味してもよく、また、複数ページによって構成されていてもよい。当該説明は、後述する照会ページ８００にも適用されてよい。設定ページ７００を表示媒体３０１に表示させる技術は公知であるため、詳細な説明は省略する。

【0117】

所定ボタン７０２は入力部３０２を用いて選択またはタップ可能であり、選択等が検知されたとき、領域７０１に設定された対象顔画像が認証対象として情報処理サーバ１０へ送信されてもよい。なお、図７における所定ボタン７０２の表記は一例であり、その具体的表示態様は、本開示の範囲を限定しない。

【0118】

なお、図７の説明において、所定ボタン７０２が選択等されることが、設定された対象顔画像が情報処理サーバ１０へ送信されるトリガーであるとして説明したが、この限りではない。例えば、領域７０１に対象顔画像が設定された場合において条件を満たしたとき、対象顔画像が情報処理サーバ１０へ送信されてもよい。当該条件とは、例えば、対象顔画像の設定後、編集が行われずに所定時間が経過することであってもよい。また、当該条件とは、所定の音声入力が行われることであってもよい。係る場合、所定ボタン７０２は表示されなくてもよい。設定された対象顔画像が情報処理サーバ１０へ送信されるトリガーは任意に設定可能であり、本開示の範囲を限定しない。

【0119】

次に、図５に戻り、情報処理サーバ１０は、端末装置３００から認証対象である所定の第１対象顔画像の情報を受信したとき、第１対象顔画像に含まれる特徴点データから第１対象特徴量を算出し、第１対象特徴量と、一又は複数のクラスのそれぞれに固有の一又は複数の特徴量とを用いて顔認証処理を実行してもよい（ステップＳ５０９）。

【0120】

具体的には、例えば、情報処理サーバ１０は、第１対象顔画像から特徴点データを抽出し、抽出された特徴点データから第１対象特徴量を算出してもよい。第１対象特徴量は、一又は複数のクラスのそれぞれについて計算された特徴量と同様にベクトル情報として算出されてもよい。そして、情報処理サーバ１０は、第１対象特徴量と、一又は複数のクラスのそれぞれの特徴量とを用いて顔認証処理を実行してもよい。

【0121】

顔認証処理は、例えば、各特徴量と第１対象特徴量との内積が演算され、正規化された内積値に基づいて、第１対象特徴量に対応する特徴量を特定する処理であってもよい。なお、顔認証処理の具体的内容は一例にすぎず、その他の公知技術によって顔認証処理が実行されてもよい。

【0122】

次に、図５に戻り、情報処理サーバ１０は、顔認証処理を実行した結果、第１特徴量が第１対象特徴量に対応すると判定されたとき、第１クラスに分類された複数の時刻情報及び位置情報のうち少なくとも一を含む情報を端末装置３００に送信し、表示媒体３０１に表示可能にさせてもよい（ステップＳ５１０）。

【0123】

図８は、対象顔画像に対応する時刻情報及び位置情報を照会可能である照会ページを示す画像の一例を示す図である。例えば、情報処理サーバ１０が、第１クラスに分類された複数の時刻情報及び位置情報のうち少なくとも一を含む情報を端末装置３００に送信した場合、表示媒体３０１に照会ページ８００が表示されてもよい。図８に示すように、照会ページ８００は、顔認証処理の実行の結果、対象顔画像に対応すると判定された対象者の行動履歴情報８０１を含んでもよい。行動履歴情報８０１は、例えば、図８に示すように対象顔画像に対応すると判定された対象者の顔画像が撮像された時刻情報及び位置情報の履歴であってもよく、又は、地図画像上において当該位置情報がマッピングされ、且つ、当該時刻情報が対応付けられて表示可能である情報であってもよい。すなわち、行動履歴情報８０１は、第１クラスに分類された複数の時刻情報及び位置情報のうち少なくとも一を含む情報であればよく、その具体的内容によって本開示の範囲は限定されない。

【0124】

なお、行動履歴情報８０１の提供範囲、提供態様は、例えば、設定ページ７００において、入力部３０２を用いて設定可能であってもよい。また、上記説明においては、行動履歴情報８０１は照会ページ８００に表示されるものとして説明したが、その限りではなく、例えば、設定ページ７００に行動履歴情報８０１が追加表示されてもよい。係る場合、設定ページ７００は、照会ページ８００の機能を含むページであってもよい。

【0125】

このように、さらに、情報処理サーバ１０が通信ネットワーク４００を介して端末装置３００と接続可能である場合において、情報処理サーバ１０は、端末装置３００から認証対象である所定の第１対象顔画像の情報を受信したとき、第１対象顔画像に含まれる特徴点データから第１対象特徴量を算出し、第１対象特徴量と、一又は複数のクラスのそれぞれに固有の一又は複数の特徴量とを用いて顔認証処理を実行し、第１特徴量が第１対象特徴量に対応すると判定されたとき、第１クラスに分類された複数の時刻情報及び位置情報のうち少なくとも一を含む情報を端末装置３００に備わる表示媒体３０１に表示可能にさせてもよい。

【0126】

以上、図５から図８を参照して、本発明の実施形態１に係る情報処理サーバ１０と移動体２００と端末装置３００との間の情報の送受信および情報処理の手順の一例について説明した。

【0127】

なお、情報処理サーバ１０は、第１クラスに分類された複数の特徴点データのそれぞれに対応する複数の時刻情報及び位置情報を用いて所定の第１行動パターン情報を生成し、第１識別情報と第１行動パターン情報とを対応付けて記憶装置１０３に記憶させてもよい。第１行動パターン情報は、第１クラスに分類された複数の時刻情報及び位置情報に基づく行動履歴情報のうち、所定の位置範囲に所定数以上の、又は、所定数より多い複数の位置情報を含み、且つ、複数の位置情報のそれぞれに対応する時刻情報が、所定の同一時間帯に含まれる時刻情報及び位置情報の集合に基づいて生成されてもよい。

【0128】

図９は、認証対象の時刻情報及び位置情報の分布の説明の用に供する図である。図９に示すように、例えば、所定の施設６０における地図情報に、一の対象者の行動履歴情報がマッピング可能である場合において、当該行動履歴情報のうち、所定の位置範囲に所定数以上の、又は、所定数より多い複数の位置情報を含み、且つ、複数の位置情報のそれぞれに対応する時刻情報が、所定の同一時間帯に含まれる条件を満たす集合は、行動パターン情報として生成されてもよい。

【0129】

例えば、図９において、集合９１は、４月１日１４時５８分、４月２日１５時５分、４月３日１５時２分、４月４日１４時５２分、４月５日１４時５６分のそれぞれにおける位置情報を含み、いずれの時刻情報も所定の同一時間帯に含まれているものとして、行動パターン情報として生成されてもよい。一方、集合９２は、例えば、同一時間帯に含まれるが所定の位置範囲に含まれないとして、行動パターン情報と判定されなくてもよい。また、集合９３は、例えば、所定の位置範囲に含まれるが、同一時間帯に含まれないものとして、行動パターン情報と判定されなくてもよい。なお、一又は複数のクラスのそれぞれに対して、一の行動パターン情報、又は、複数の行動パターン情報が対応付けられて記憶装置１０３に記憶されてもよい。

【0130】

係る場合において、上述したように、情報処理サーバ１０が通信ネットワーク４００を介して端末装置３００と接続可能であるとき、例えば、ユーザーが、本サービスの提供を受けるために、端末装置３００を用いて設定ページ７００を表示媒体３０１に表示させ、顔認証の対象である第２対象顔画像を情報処理サーバ１０に送信させてもよい。情報処理サーバ１０は、端末装置３００から認証対象である所定の第２対象顔画像の情報を受信したとき、第２対象顔画像に含まれる特徴点データから第２対象特徴量を算出し、第２対象特徴量と、一又は複数のクラスのそれぞれに固有の一又は複数の特徴量とを用いて顔認証処理を実行してもよい。そして、情報処理サーバ１０は、第１特徴量が第２対象特徴量に対応すると判定されたとき、第１行動パターン情報に基づいて自律移動させ、且つ、センサ部２０１を用いて顔画像を取得させる制御信号を移動体２００に送信してもよい。

【0131】

このように、ユーザーから送付された対象顔画像に対応するクラスに対応付けられた行動パターン情報に基づいて移動体２００を自律移動させ、所定の顔画像、又は、任意の顔画像を取得させることによって、当該対象顔画像に対応する対象者の最新の行動履歴情報を取得することができる。なお、取得された最新の行動履歴情報は、当該ユーザーに対して提供されてもよい。

【0132】

なお、上述したように、複数の特徴点データが一又は複数のクラスに分類された後、情報処理サーバ１０は、さらに、複数の特徴点データに追加された追加特徴点データを類似基準、及び、第１所定条件に基づいて一又は複数のクラスに分類してもよい。係る場合において、第１クラスに複数の追加特徴点データが分類されたとき、情報処理サーバ１０は、第１クラスに分類された複数の特徴点データと、第１クラスに分類された複数の追加特徴点データとを用いて第１特徴量を更新し、第１クラスに分類された複数の追加特徴点データのそれぞれに対応する複数の時刻情報及び位置情報を用いて第２行動パターン情報を生成してもよい。

【0133】

そして、情報処理サーバ１０は、第１行動パターン情報と第２行動パターン情報との間において、時刻情報及び位置情報のうち少なくとも一方の差が所定値以上であるとき、所定のアドレス情報を用いて、通信ネットワーク４００に所定の通知を出力してもよい。所定のアドレス情報は、例えば、管理者が受け取り可能であるアドレス情報であってもよい。アドレス情報は、例えば、メールアドレス情報等であってもよい。所定の通知は、例えば、所定の施設内において行動パターンが変更された者の存在を示す通知であってもよい。

【0134】

これにより、例えば、高齢者が入居する所定施設、又は、児童が通う所定施設において、個人を特定せずに、行動パターンに変更があった者の存否のみが通知されるため、個人情報を保護しながら、管理者が所定施設内における変化を把握することができる。

【0135】

なお、移動体２００は、対象物をデリバリー可能であるロボットであってもよい。係る場合、情報処理サーバ１０は、デリバリー先である対象者の対象顔画像を用いて顔認証処理を実行し、ロボット２００がデリバリーを失敗したとき、複数の特徴点データを分類するための類似基準を更新してもよい。

【0136】

すなわち、移動体２００がデリバリー機能を有するロボットである場合において、移動体２００が、デリバリー対象物を受け取り、且つ、センサ部２０１を用いて、デリバリー先の人物の第３対象顔画像の情報を受け取ったとき、情報処理サーバ１０は、第３対象顔画像に含まれる特徴点データから第３対象特徴量を算出し、第３対象特徴量と、一又は複数のクラスのそれぞれに固有の一又は複数の特徴量とを用いて顔認証処理を実行し、第１特徴量が第３対象特徴量に対応すると判定されたとき、第１行動パターン情報に基づいて自律移動させ、且つ、センサ部を用いて顔画像を取得させる第１制御信号を移動体２００に送信し、第１制御信号に基づいてセンサ部２０１を用いて取得された第４対象顔画像の情報を受け取り、第４対象顔画像から抽出された第４対象特徴量が第１特徴量に対応すると判定したとき、第４対象顔画像に対応する位置情報に存在する対象に対してデリバリー対象物を提供させる第２制御信号を移動体２００に送信し、第２制御信号に基づいて提供させたデリバリー対象物が受け取られたか否かを示す結果情報を受信し、受信した結果情報が、デリバリー対象物が受け取られなかったことを示すとき、少なくとも第１クラスに特徴点データを分類する類似基準を更新してもよい。

【0137】

具体的には、例えば、移動体２００は、デリバリー対象物を受け取ってもよい。デリバリー対象物は、例えば、有体物であってもよく、音声メッセージなどの無体物であってもよい。移動体２００は、デリバリー先である対象者の第３対象顔画像の情報を、通信ネットワーク４００を介して受信してもよい。または、移動体２００は、当該だい３対象顔画像の情報の提示を受け、センサ部２０１を用いて撮像することで取得してもよい。

【0138】

移動体２００は、受け取った第３対象顔画像を情報処理サーバ１０に対して送信してもよい。情報処理サーバ１０は、受信した第３対象顔画像から特徴点データを抽出し、抽出された特徴点データから第３対象特徴量を算出してもよい。情報処理サーバ１０は、上述のとおり、第３対象特徴量と、一又は複数のクラスのそれぞれの特徴量とを用いて顔認証処理を実行してもよい。

【0139】

情報処理サーバ１０は、顔認証処理の実行の結果、第１クラスに対応する第１特徴量が第３対象特徴量に対応すると判定したとき、第１クラスに対応して記憶装置１０３に記憶された第１行動パターン情報に基づいて移動体２００が自律移動し、且つ、センサ部２０１を用いて一又は複数の顔画像を撮像させる第１制御信号を移動体２００に送信してもよい。

【0140】

当該第１制御信号を受信した移動体２００は、第１行動パターン情報を参照し、第１行動パターンに含まれる時刻情報及び位置情報にしたがって自律移動し、第３対象顔画像に対応する対象者を探索してもよい。移動体２００は、第１行動パターン情報に含まれる時刻情報及び位置情報において一又は複数の顔画像を撮像し、情報処理サーバ１０に対して送信してもよい。当該一又は複数の顔画像を受信した情報処理サーバ１０は、各顔画像に対して顔認証処理を実行し、第３対象顔画像に対応する対象者であるか否かを判定してもよい。そして、第３対象顔画像に対応する対象者であると判定したとき、当該対象者にデリバリー対象物を提供させる第２制御信号を移動体２００に送信してもよい。

【0141】

第２制御信号を受信した移動体２００は、当該対象者に対してデリバリー対象物を届け、デリバリー対象物が受け取られたか否かを判定してもよい。具体的には、例えば、移動体２００がデリバリー対象物である有体物を当該対象者に提供し、センサ部２０１を用いて、受け取られたか否かを判定してもよい。また、デリバリー対象物が音声データなどの無体物である場合には、対象者から移動体２００に対する情報入力に基づいて、デリバリー対象物が受け取られたか否かを判定してもよい。当該情報入力は、例えば、対象者からの音声入力でもよく、または、移動体に備わるディスプレイ上での所定入力であってもよい。

【0142】

移動体２００は、デリバリー対象物が受け取られなかったと判定したとき、当該事実を示す情報を情報処理サーバ１０に対して送信してもよい。係る場合、情報処理サーバ１０は、デリバリー対象物の届け先として指定された第３対象顔画像の情報を用いた顔認証処理に失敗したと判定し、少なくとも第１クラスに特徴点データを分類する類似基準を更新してもよい。

【0143】

これにより、デリバリー対象物を対象者に届けるアプリケーションを実現しながら、顔認証処理に用いられる学習処理の精度を向上させることができる。

【0144】

図１０は、実施形態１に係る情報処理サーバの動作の流れの一例を示すフロー図である。以下、図１０を参照して、実施形態１に係る情報処理サーバ１０の基本動作の処理手順について説明する。

【0145】

なお、下記に説明される各フロー図は、本開示に係る情報処理サーバ１０の動作の処理手順について説明するために必要なステップを例示として記載しているにすぎない。本発明の実施形態における機能が発揮される範囲において、各フロー図の各ステップの間に他の動作の処理に関するステップが適切に挿入されることを妨げるものではない。

【0146】

また、本サービス提供のためのシステムが構築される場合、ユーザーインターフェースは一般的にイベントドリブン型でプログラムが実行されるが、本発明の実施形態におけるフロー図においては、説明の便宜のために、必ずしもイベントドリブン型のフロー図に基づいて説明されるわけではない。

【0147】

以上のフロー図に関する説明は、下記で説明されるフロー図において適用されてもよい。

【0148】

図１０において、情報処理サーバ１０は、例えば、複数の特徴点データを保有しているか否かを判定してもよい（ステップＳ１００１）。情報処理サーバ１０は、複数の特徴点データを保有していないとき（ステップＳ１００１：ＮＯ）、複数の特徴点データを保有するまで待機してもよい。

【0149】

一方、情報処理サーバ１０は、複数の特徴点データを保有したとき（ステップＳ１００１：ＹＥＳ）、一又は複数のセンサ部２０１を用いて取得された複数の顔画像のそれぞれから抽出された複数の特徴点データと、複数の特徴点データのそれぞれに対応する、複数の顔画像のそれぞれが取得された複数の時刻情報及び位置情報とを用いて、複数の特徴点データを、特徴点データ間の所定の類似基準、及び、時刻情報と位置情報に関する第１所定条件に基づいて一又は複数のクラスに分類してもよい（ステップＳ１００２）。

【0150】

次に、情報処理サーバ１０は、第１クラスに分類された複数の特徴点データの数をカウントし、分類された特徴点データの数が所定値以上又は所定値より大きい第２所定条件を満たすか否かを判定してもよい（ステップＳ１００３）。情報処理サーバ１０は、第２所定条件が満たされないとき、さらに、追加の特徴点データを保有するまで待機してもよい。

【0151】

一方、情報処理サーバ１０は、第１クラスについて第２所定条件が満たされると判定されたとき、第１クラスに分類された複数の特徴点データを用いて第１クラスに固有の第１特徴量を算出してもよい（ステップＳ１００４）。そして、情報処理サーバ１０は、第１クラスの第１識別情報と第１特徴量とを対応付けて記憶装置１０３に記憶させてもよい（ステップＳ１００５）。

【0152】

以上、図１０を参照して、実施形態１に係る情報処理サーバ１０の処理手順の一例について説明した。

【0153】

なお、上記の実施形態の説明において、各機能および各情報処理に関する公知技術の説明は省略している。

【0154】

（コンピュータのハードウェア構成の一例）
実施形態における各部の機能は、プログラムにより実現されてもよい。

【0155】

すなわち、本発明の一態様に係る情報処理プログラムは、位置情報の検知機能及び画像の撮像機能を有するセンサ部２０１を備える自律移動型の一又は複数の移動体２００と通信ネットワーク４００を介して通信する通信処理と、一又は複数のセンサ部２０１を用いて取得された複数の顔画像のそれぞれから抽出された複数の特徴点データと、複数の特徴点データのそれぞれに対応する、複数の顔画像のそれぞれが取得された複数の時刻情報及び位置情報とを用いて、複数の特徴点データを、特徴点データ間の所定の類似基準、及び、時刻情報と位置情報に関する第１所定条件に基づいて一又は複数のクラスに分類し、第１クラスに分類された複数の特徴点データを用いて第１クラスに固有の第１特徴量を算出し、第１クラスの第１識別情報と第１特徴量とを対応付けて記憶装置１０３に記憶させる制御処理と、をコンピュータに実行させ、第１所定条件は、第１特徴点データと第２特徴点データとが当該類似基準を満たし、第１特徴点データに対応する第１時刻情報と第２特徴点データに対応する第２時刻情報とが所定の時間範囲に含まれる場合において、第１特徴点データに対応する第１位置情報と第２特徴点データに対応する第２位置情報とが所定の距離範囲にあるとき、第１特徴点データ及び第２特徴点データは同一のクラスに分類され、一方、第１位置情報と第２位置情報とが所定の距離範囲にないとき、第１特徴点データ及び第２特徴点データは異なるクラスに分類される条件であってもよい。

【0156】

係る場合におけるコンピュータのハードウェア構成の一例を図１１に示す。

【0157】

図１１に示すように、コンピュータ９０００は、例えば、ＣＰＵ（Central Processing Unit）９００１、ＲＡＭ（Random Access Memory）９００２、ＲＯＭ（Read Only Memory）９００３、記憶装置９００４、入出力インターフェース（Ｉ／Ｆ）９００５、読取インターフェース（Ｉ／Ｆ）９００６、通信インターフェース（Ｉ／Ｆ）９００７を有する。上述した各部はバス９００８を介して、直接的に、または、間接的に接続される。

【0158】

記憶装置９００４は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等である。コンピュータ９０００は、入出力インターフェース９００５を介して、入出力（Ｉ／Ｏ）装置９００９と接続される。入出力装置９００９は、磁気ディスク装置等の入力機能および出力機能を有する装置の他、入力機能が主機能である入力装置、出力機能が主機能である出力装置を含む。入力装置は、例えば、入力キー、マウス、タッチパネル、スキャナである。出力装置は、例えば、ディスプレイ、スピーカ、プリンタである。

【0159】

読取インターフェース９００６は、記録媒体９０１０に記録されたプログラムまたはデータを読み取る。記録媒体９０１０は、例えば、半導体メモリ、光学記録媒体、磁気記録媒体、光磁気記録媒体等である。

【0160】

通信インターフェース９００７は、ネットワーク９０１１を介して、他の機器からデータを受信し、他の機器へデータを送信する。ネットワーク９０１１は、有線ネットワークであってもよく、無線ネットワークであってもよい。他の機器は、クライアント装置であってもよく、サーバ装置であってもよい。

【0161】

例えば、ＲＯＭ９００３に記憶されたプログラム、記憶装置９００４に記憶されたプログラム、記録媒体９０１０に記録されたプログラム、または、通信インターフェースが他の機器から受信したプログラムは、ＲＡＭ９００２にロードされる。上記の実施形態および各変形例において、例えば、ＣＰＵ９００１がＲＡＭ９００２にロードされたプログラムを実行することにより、上記の実施形態等における各部の機能が実現される。

【0162】

なお、コンピュータ９０００における各部の機能は、クラウドコンピューティングによって実現されてもよい。

【0163】

なお、情報処理システム１におけるコンピュータに実行させる情報処理プログラムまたは説明された機能は、非一時的な有形のコンピュータ可読記録媒体（A non-transitory, tangible computer-readable storage medium）に記録されてもよい。非一時的な有形のコンピュータ可読記録媒体は、コンピュータ、ＣＰＵ、ＭＰＵ（Micro Processing Unit）等によってアクセスされることが可能な任意の記録媒体である。任意の記録媒体は、例えば、ＲＯＭ、ＲＡＭ、フラッシュメモリ、磁気記憶装置、光ディスク等であって、例示したものに限定されない。

【0164】

なお、以上の説明において、Ａ、ＢおよびＣのうち少なくとも１つ（at least one of）が含まれるとは、Ａ、Ｂ、Ｃのうち１つまたは２つ以上（one or two or more of）の組み合わせでもよいという意味であってもよい。

【産業上の利用可能性】

【0165】

本発明に係る情報処理方法、情報処理装置、情報処理プログラム及び記録媒体は、顔認証技術を用いた所定サービスの提供に関する技術全般に有効である。

【符号の説明】

【0166】

１ 情報処理システム
１０ 情報処理サーバ
１００ 情報処理装置
１０１ 通信部
１０２ 制御部
１０３ 記憶装置
２００ 移動体
２０１ センサ部
２０２ 駆動部
２０３ 通信部
２０４ メモリ部
２０５ 制御部
３００ 端末装置
３０１ 表示媒体
３０２ 入力部
３０３ 通信部
３０４ メモリ部
３０５ 制御部
４００ 通信ネットワーク
９０００ コンピュータ
９００１ ＣＰＵ
９００２ ＲＡＭ
９００３ ＲＯＭ
９００４ 記憶装置
９００５ 入出力インターフェース
９００６ 読取インターフェース
９００７ 通信インターフェース
９００８ バス
９００９ 入出力装置
９０１０ 記録媒体
９０１１ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】