▶ 富士通株式会社の特許一覧 ▶ 大学共同利用機関法人情報・システム研究機構の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024021805
(43)【公開日】2024-02-16
(54)【発明の名称】判定プログラム、判定方法および判定装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20240208BHJP
G06T 7/20 20170101ALI20240208BHJP
【ＦＩ】
G06T7/00 660B
G06T7/20 300Z
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022124896
(22)【出願日】2022-08-04
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(71)【出願人】
【識別番号】504202472
【氏名又は名称】大学共同利用機関法人情報・システム研究機構
(74)【代理人】
【識別番号】110002918
【氏名又は名称】弁理士法人扶桑国際特許事務所
(72)【発明者】
【氏名】鄭 明燮
(72)【発明者】
【氏名】高橋 潤
(72)【発明者】
【氏名】吉武 敏幸
(72)【発明者】
【氏名】清水 雅芳
(72)【発明者】
【氏名】越前 功
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA18
5L096CA02
5L096GA51
5L096HA02
5L096JA13
(57)【要約】
【課題】画像上の人物が本人であるかを高精度に判定する。
【解決手段】判定装置１は、各人物の挙動を示すデータが登録されたデータ群３に基づき、複数の種類の挙動のそれぞれについて、人物の間での基準挙動を示す基準挙動データを算出し、データ群３から、人物Ａについての挙動を示す第１の挙動データを複数の種類のそれぞれについて取得し、第１の挙動データと基準挙動データとの差分を複数の種類のそれぞれについて算出し、複数の種類の中から差分が第１の閾値以上である１以上の第１の種類を特定して、１以上の第１の種類のそれぞれについての人物Ａの挙動を示す第２の挙動データをデータ群４に登録し、入力画像２から人物の挙動を示す第３の挙動データを抽出し、第３の挙動データと第２の挙動データとの比較結果に基づいて、その人物が人物Ａと同一であるか否かを判定する。
【選択図】図１
【解決手段】判定装置１は、各人物の挙動を示すデータが登録されたデータ群３に基づき、複数の種類の挙動のそれぞれについて、人物の間での基準挙動を示す基準挙動データを算出し、データ群３から、人物Ａについての挙動を示す第１の挙動データを複数の種類のそれぞれについて取得し、第１の挙動データと基準挙動データとの差分を複数の種類のそれぞれについて算出し、複数の種類の中から差分が第１の閾値以上である１以上の第１の種類を特定して、１以上の第１の種類のそれぞれについての人物Ａの挙動を示す第２の挙動データをデータ群４に登録し、入力画像２から人物の挙動を示す第３の挙動データを抽出し、第３の挙動データと第２の挙動データとの比較結果に基づいて、その人物が人物Ａと同一であるか否かを判定する。
【選択図】図１
【特許請求の範囲】
【請求項1】
コンピュータに、
複数の人物のそれぞれの挙動を示すデータが登録された第１のデータ群に基づき、複数の種類の挙動のそれぞれについて、前記複数の人物の間での基準挙動を示す基準挙動データを算出し、
前記第１のデータ群から、前記複数の人物のうち第１の人物についての挙動を示す第１の挙動データを前記複数の種類のそれぞれについて取得し、
前記第１の挙動データと前記基準挙動データとの差分を前記複数の種類のそれぞれについて算出し、
前記複数の種類の中から前記差分が第１の閾値以上である１以上の第１の種類を特定して、前記１以上の第１の種類のそれぞれについての前記第１の人物の挙動を示す第２の挙動データを第２のデータ群に登録し、
入力画像から第２の人物の挙動を示す第３の挙動データを抽出し、
前記第３の挙動データと前記第２の挙動データとの比較結果に基づいて、前記第２の人物が前記第１の人物と同一であるか否かを判定する、
処理を実行させる判定プログラム。
複数の人物のそれぞれの挙動を示すデータが登録された第１のデータ群に基づき、複数の種類の挙動のそれぞれについて、前記複数の人物の間での基準挙動を示す基準挙動データを算出し、
前記第１のデータ群から、前記複数の人物のうち第１の人物についての挙動を示す第１の挙動データを前記複数の種類のそれぞれについて取得し、
前記第１の挙動データと前記基準挙動データとの差分を前記複数の種類のそれぞれについて算出し、
前記複数の種類の中から前記差分が第１の閾値以上である１以上の第１の種類を特定して、前記１以上の第１の種類のそれぞれについての前記第１の人物の挙動を示す第２の挙動データを第２のデータ群に登録し、
入力画像から第２の人物の挙動を示す第３の挙動データを抽出し、
前記第３の挙動データと前記第２の挙動データとの比較結果に基づいて、前記第２の人物が前記第１の人物と同一であるか否かを判定する、
処理を実行させる判定プログラム。
【請求項2】
前記第１の挙動データは、前記複数の種類のそれぞれについて複数取得され、
前記コンピュータに、前記複数の種類の中から、複数の前記第１の挙動データの変動幅が第２の閾値以下である１以上の第２の種類を特定する処理をさらに実行させ、
前記１以上の第１の種類は、前記１以上の第２の種類の中から特定される、
請求項１記載の判定プログラム。
前記コンピュータに、前記複数の種類の中から、複数の前記第１の挙動データの変動幅が第２の閾値以下である１以上の第２の種類を特定する処理をさらに実行させ、
前記１以上の第１の種類は、前記１以上の第２の種類の中から特定される、
請求項１記載の判定プログラム。
【請求項3】
前記複数の種類のうち一の種類についての前記基準挙動データは、前記第１のデータ群に登録された、前記複数の人物のそれぞれについての前記一の種類の挙動を示すデータの中間値または平均値として算出される、
請求項１または２記載の判定プログラム。
請求項１または２記載の判定プログラム。
【請求項4】
前記判定では、前記入力画像から、前記１以上の第１の種類のうちのいずれの種類の挙動も検出されなかった場合には、前記第２の人物が前記第１の人物とは異なると判定する、
請求項１または２記載の判定プログラム。
請求項１または２記載の判定プログラム。
【請求項5】
前記コンピュータに、前記１以上の第１の種類の各挙動をとるように前記第２の人物に指示する指示情報を出力する処理をさらに実行させ、
前記第３の挙動データは、前記指示情報の出力後に撮影された前記入力画像から抽出される、
請求項１または２記載の判定プログラム。
前記第３の挙動データは、前記指示情報の出力後に撮影された前記入力画像から抽出される、
請求項１または２記載の判定プログラム。
【請求項6】
コンピュータに、
入力画像から第２の人物の挙動を示す第３の挙動データを抽出し、
挙動を分類する複数の種類のうち、１以上の第１の種類のそれぞれについての第１の人物の挙動を示す第２の挙動データが登録された第２のデータ群を参照して、前記第３の挙動データと前記第２の挙動データとを比較し、
前記比較の結果に基づいて、前記第２の人物が前記第１の人物と同一であるか否かを判定する、
処理を実行させる判定プログラムであって、
前記第２のデータ群は、
前記第１の人物を含む複数の人物のそれぞれの挙動を示すデータが登録された第１のデータ群に基づき、前記複数の種類の挙動のそれぞれについて、前記複数の人物の間での基準挙動を示す基準挙動データを算出し、
前記第１のデータ群から、前記第１の人物についての挙動を示す第１の挙動データを前記複数の種類のそれぞれについて取得し、
前記第１の挙動データと前記基準挙動データとの差分を前記複数の種類のそれぞれについて算出し、
前記複数の種類の中から前記差分が所定の閾値以上である１以上の第１の種類を特定して、前記１以上の第１の種類のそれぞれについての前記第１の人物の挙動を示すデータを前記第２の挙動データとして前記第２のデータ群に登録することによって生成される、
判定プログラム。
入力画像から第２の人物の挙動を示す第３の挙動データを抽出し、
挙動を分類する複数の種類のうち、１以上の第１の種類のそれぞれについての第１の人物の挙動を示す第２の挙動データが登録された第２のデータ群を参照して、前記第３の挙動データと前記第２の挙動データとを比較し、
前記比較の結果に基づいて、前記第２の人物が前記第１の人物と同一であるか否かを判定する、
処理を実行させる判定プログラムであって、
前記第２のデータ群は、
前記第１の人物を含む複数の人物のそれぞれの挙動を示すデータが登録された第１のデータ群に基づき、前記複数の種類の挙動のそれぞれについて、前記複数の人物の間での基準挙動を示す基準挙動データを算出し、
前記第１のデータ群から、前記第１の人物についての挙動を示す第１の挙動データを前記複数の種類のそれぞれについて取得し、
前記第１の挙動データと前記基準挙動データとの差分を前記複数の種類のそれぞれについて算出し、
前記複数の種類の中から前記差分が所定の閾値以上である１以上の第１の種類を特定して、前記１以上の第１の種類のそれぞれについての前記第１の人物の挙動を示すデータを前記第２の挙動データとして前記第２のデータ群に登録することによって生成される、
判定プログラム。
【請求項7】
第１のコンピュータが、
複数の人物のそれぞれの挙動を示すデータが登録された第１のデータ群に基づき、複数の種類の挙動のそれぞれについて、前記複数の人物の間での基準挙動を示す基準挙動データを算出し、
前記第１のデータ群から、前記複数の人物のうち第１の人物についての挙動を示す第１の挙動データを前記複数の種類のそれぞれについて取得し、
前記第１の挙動データと前記基準挙動データとの差分を前記複数の種類のそれぞれについて算出し、
前記複数の種類の中から前記差分が所定の閾値以上である１以上の第１の種類を特定して、前記１以上の第１の種類のそれぞれについての前記第１の人物の挙動を示す第２の挙動データを第２のデータ群に登録し、
前記第１のコンピュータまたは第２のコンピュータが、
入力画像から第２の人物の挙動を示す第３の挙動データを抽出し、
前記第３の挙動データと前記第２のデータ群に登録された前記第２の挙動データとの比較結果に基づいて、前記第２の人物が前記第１の人物と同一であるか否かを判定する、
判定方法。
複数の人物のそれぞれの挙動を示すデータが登録された第１のデータ群に基づき、複数の種類の挙動のそれぞれについて、前記複数の人物の間での基準挙動を示す基準挙動データを算出し、
前記第１のデータ群から、前記複数の人物のうち第１の人物についての挙動を示す第１の挙動データを前記複数の種類のそれぞれについて取得し、
前記第１の挙動データと前記基準挙動データとの差分を前記複数の種類のそれぞれについて算出し、
前記複数の種類の中から前記差分が所定の閾値以上である１以上の第１の種類を特定して、前記１以上の第１の種類のそれぞれについての前記第１の人物の挙動を示す第２の挙動データを第２のデータ群に登録し、
前記第１のコンピュータまたは第２のコンピュータが、
入力画像から第２の人物の挙動を示す第３の挙動データを抽出し、
前記第３の挙動データと前記第２のデータ群に登録された前記第２の挙動データとの比較結果に基づいて、前記第２の人物が前記第１の人物と同一であるか否かを判定する、
判定方法。
【請求項8】
複数の人物のそれぞれの挙動を示すデータが登録された第１のデータ群に基づき、複数の種類の挙動のそれぞれについて、前記複数の人物の間での基準挙動を示す基準挙動データを算出し、
前記第１のデータ群から、前記複数の人物のうち第１の人物についての挙動を示す第１の挙動データを前記複数の種類のそれぞれについて取得し、
前記第１の挙動データと前記基準挙動データとの差分を前記複数の種類のそれぞれについて算出し、
前記複数の種類の中から前記差分が第１の閾値以上である１以上の第１の種類を特定して、前記１以上の第１の種類のそれぞれについての前記第１の人物の挙動を示す第２の挙動データを第２のデータ群に登録し、
入力画像から第２の人物の挙動を示す第３の挙動データを抽出し、
前記第３の挙動データと前記第２の挙動データとの比較結果に基づいて、前記第２の人物が前記第１の人物と同一であるか否かを判定する、処理部、
を有する判定装置。
前記第１のデータ群から、前記複数の人物のうち第１の人物についての挙動を示す第１の挙動データを前記複数の種類のそれぞれについて取得し、
前記第１の挙動データと前記基準挙動データとの差分を前記複数の種類のそれぞれについて算出し、
前記複数の種類の中から前記差分が第１の閾値以上である１以上の第１の種類を特定して、前記１以上の第１の種類のそれぞれについての前記第１の人物の挙動を示す第２の挙動データを第２のデータ群に登録し、
入力画像から第２の人物の挙動を示す第３の挙動データを抽出し、
前記第３の挙動データと前記第２の挙動データとの比較結果に基づいて、前記第２の人物が前記第１の人物と同一であるか否かを判定する、処理部、
を有する判定装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、判定プログラム、判定方法および判定装置に関する。
【背景技術】
【0002】
近年、深層学習の手法を利用して生成された偽画像、特に人物の偽画像の悪用が問題となっている。このような偽画像は非常に高品質であり、一見しただけでは偽物と判別することが難しい。
【0003】
そこで、過去に撮影された画像から検出された人物の挙動と、新たに入力された画像から検出された人物の挙動とを比較して、これらの人物の同一性を判定する技術が考えられている。例えば、遠隔対話システムの参加者の過去の特徴的挙動に基づく基準挙動情報と、現対話時における参加者の特徴的挙動に基づく現在挙動情報とを比較して、その比較結果に基づいて参加者の同一性を判定する遠隔対話システムが提案されている。
【0004】
また、画像認識に関しては次のような提案もある。例えば、撮影された複数の画像から認識対象者の顔の各部位の状態を示す情報を検出して部位ごとに時系列に並べ、それらの情報が実在する人の顔における各部位の動きとして認められるかを、あらかじめ登録された各部位の動きパターンに基づいて判定する人物認識システムが提案されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第６９０１１９０号公報
【特許文献2】特開２００８－７１１７９号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、上記のように人物の同一性を判定する方法としては、あらかじめ決められた複数種類の挙動に関して、人物の過去の挙動の特徴量と、その人物の現在の挙動の特徴量とを比較する方法が考えられる。この方法では、人物本人に特有の挙動だけでなく、他人との差異が小さい挙動についても比較の対象となり得るので、例えば本人になりすました他人を本人と誤判定する可能性がある。
【0007】
１つの側面では、本発明は、画像上の人物が本人であるかを高精度に判定可能な判定プログラム、判定方法および判定装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
１つの案では、コンピュータに、複数の人物のそれぞれの挙動を示すデータが登録された第１のデータ群に基づき、複数の種類の挙動のそれぞれについて、複数の人物の間での基準挙動を示す基準挙動データを算出し、第１のデータ群から、複数の人物のうち第１の人物についての挙動を示す第１の挙動データを複数の種類のそれぞれについて取得し、第１の挙動データと基準挙動データとの差分を複数の種類のそれぞれについて算出し、複数の種類の中から差分が第１の閾値以上である１以上の第１の種類を特定して、１以上の第１の種類のそれぞれについての第１の人物の挙動を示す第２の挙動データを第２のデータ群に登録し、入力画像から第２の人物の挙動を示す第３の挙動データを抽出し、第３の挙動データと第２の挙動データとの比較結果に基づいて、第２の人物が第１の人物と同一であるか否かを判定する、処理を実行させる判定プログラムが提供される。
【0009】
また、１つの案では、コンピュータに、入力画像から第２の人物の挙動を示す第３の挙動データを抽出し、挙動を分類する複数の種類のうち、１以上の第１の種類のそれぞれについての第１の人物の挙動を示す第２の挙動データが登録された第２のデータ群を参照して、第３の挙動データと第２の挙動データとを比較し、比較の結果に基づいて、第２の人物が第１の人物と同一であるか否かを判定する、処理を実行させる判定プログラムが提供される。ここで、第２のデータ群は、第１の人物を含む複数の人物のそれぞれの挙動を示すデータが登録された第１のデータ群に基づき、複数の種類の挙動のそれぞれについて、複数の人物の間での基準挙動を示す基準挙動データを算出し、第１のデータ群から、第１の人物についての挙動を示す第１の挙動データを複数の種類のそれぞれについて取得し、第１の挙動データと基準挙動データとの差分を複数の種類のそれぞれについて算出し、複数の種類の中から差分が所定の閾値以上である１以上の第１の種類を特定して、１以上の第１の種類のそれぞれについての第１の人物の挙動を示すデータを第２の挙動データとして第２のデータ群に登録することによって生成される。
【0010】
さらに、１つの案では、第１のコンピュータが、複数の人物のそれぞれの挙動を示すデータが登録された第１のデータ群に基づき、複数の種類の挙動のそれぞれについて、複数の人物の間での基準挙動を示す基準挙動データを算出し、第１のデータ群から、複数の人物のうち第１の人物についての挙動を示す第１の挙動データを複数の種類のそれぞれについて取得し、第１の挙動データと基準挙動データとの差分を複数の種類のそれぞれについて算出し、複数の種類の中から差分が所定の閾値以上である１以上の第１の種類を特定して、１以上の第１の種類のそれぞれについての第１の人物の挙動を示す第２の挙動データを第２のデータ群に登録し、第１のコンピュータまたは第２のコンピュータが、入力画像から第２の人物の挙動を示す第３の挙動データを抽出し、第３の挙動データと第２のデータ群に登録された第２の挙動データとの比較結果に基づいて、第２の人物が第１の人物と同一であるか否かを判定する、判定方法が提供される。
【0011】
また、１つの案では、複数の人物のそれぞれの挙動を示すデータが登録された第１のデータ群に基づき、複数の種類の挙動のそれぞれについて、複数の人物の間での基準挙動を示す基準挙動データを算出し、第１のデータ群から、複数の人物のうち第１の人物についての挙動を示す第１の挙動データを複数の種類のそれぞれについて取得し、第１の挙動データと基準挙動データとの差分を複数の種類のそれぞれについて算出し、複数の種類の中から差分が第１の閾値以上である１以上の第１の種類を特定して、１以上の第１の種類のそれぞれについての第１の人物の挙動を示す第２の挙動データを第２のデータ群に登録し、入力画像から第２の人物の挙動を示す第３の挙動データを抽出し、第３の挙動データと第２の挙動データとの比較結果に基づいて、第２の人物が第１の人物と同一であるか否かを判定する、処理部を有する判定装置が提供される。
【発明の効果】
【0012】
１つの側面では、画像上の人物が本人であるかを高精度に判定できる。
【図面の簡単な説明】
【0013】
【図1】第１の実施の形態に係る判定装置の処理例を示す図である。
【図2】第２の実施の形態に係るビデオ通話システムの構成例を示す図である。
【図3】制御サーバのハードウェア構成例を示す図である。
【図4】制御サーバが備える基本的な処理機能の構成例を示す図である。
【図5】なりすまし判定方法の比較例を示す図である。
【図6】本人らしい挙動について説明するための図である。
【図7】実施形態２－１に係る制御サーバが備える処理機能の構成例を示す図である。
【図8】挙動抽出部による挙動抽出処理の手順を示すフローチャートの例である。
【図9】時系列特徴量のデータ構成例を示す図である。
【図10】挙動判定部による挙動判定処理の手順を示すフローチャートの例である。
【図11】挙動ＤＢのデータ構成例を示す図である。
【図12】基準挙動定義部による基準挙動定義処理の手順を示すフローチャートの例である。
【図13】基準挙動ＤＢのデータ構成例を示す図である。
【図14】挙動差異算出部による挙動差異算出処理の手順を示すフローチャートの例である。
【図15】挙動差異ＤＢのデータ構成例を示す図である。
【図16】判定用特徴量算出部による判定用特徴量算出処理の手順を示すフローチャートの例である。
【図17】判定用特徴量ＤＢのデータ構成例を示す図である。
【図18】なりすまし判定部によるなりすまし判定処理の手順を示すフローチャートの例（その１）である。
【図19】なりすまし判定部によるなりすまし判定処理の手順を示すフローチャートの例（その２）である。
【図20】判定結果の表示画面の例を示す図である。
【図21】実施形態２－２に係る制御サーバが備える処理機能の構成例を示す図である。
【図22】実施形態２－２におけるなりすまし判定方法について説明するための図である。
【図23】本人が決まってとる挙動の判定処理を概念的に説明するための図である。
【図24】挙動の変動幅の算出例を示す図である。
【図25】判定用特徴量の選別処理を概念的に説明するための図である。
【図26】特徴量差分値の算出例を示す図である。
【図27】個人挙動判定部による個人挙動判定処理の手順を示すフローチャートの例である。
【図28】個人挙動ＤＢのデータ構成例を示す図である。
【図29】実施形態２－２における基準挙動定義処理の手順を示すフローチャートの例である。
【図30】実施形態２－２における挙動差異算出処理の手順を示すフローチャートの例である。
【図31】実施形態２－３に係る制御サーバが備える処理機能の構成例を示す図である。
【図32】実施形態２－３におけるなりすまし判定処理の手順を示すフローチャートの例である。
【発明を実施するための形態】
【0014】
以下、本発明の実施の形態について図面を参照して説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態に係る判定装置の処理例を示す図である。図１に示す判定装置１は、入力画像２に写っている人物が、所定の人物と同一か（本人であるか）を判定する装置である。判定装置１は、例えば、プロセッサやメモリを備えるコンピュータである。この場合、判定装置１の処理の少なくとも一部は、プロセッサが所定のプログラムを実行することで実現される。
〔第１の実施の形態〕
図１は、第１の実施の形態に係る判定装置の処理例を示す図である。図１に示す判定装置１は、入力画像２に写っている人物が、所定の人物と同一か（本人であるか）を判定する装置である。判定装置１は、例えば、プロセッサやメモリを備えるコンピュータである。この場合、判定装置１の処理の少なくとも一部は、プロセッサが所定のプログラムを実行することで実現される。
【0015】
以下の説明では、入力画像２に写っている人物が人物Ａか否かを判定するための処理を例示する。判定装置１は、まず、判定に用いるデータを次のような手順で生成する。
判定装置１は、人物Ａを含む複数の人物のそれぞれの挙動を示すデータが登録されたデータ群３に基づき、複数の種類の挙動のそれぞれについて、複数の人物の間での基準挙動を示す基準挙動データを算出する（ステップＳ１）。図１の例では、挙動が８つの種類ＴＰ１～ＴＰ８に分類されており、データ群３には、各人物について、種類ＴＰ１～ＴＰ８のそれぞれの挙動についての挙動データが登録されている。挙動データは、例えば、挙動の種類ごとに決められた１つ以上の画像特徴量を含む。なお、図１では説明をわかりやすくするために、挙動データを０以上１００以下の整数で示している。基準挙動データは、同一種類の挙動についての複数の人物の間での平均的な特徴量を示し、例えば、複数の人物の挙動データの中間値または平均値として算出される。
判定装置１は、人物Ａを含む複数の人物のそれぞれの挙動を示すデータが登録されたデータ群３に基づき、複数の種類の挙動のそれぞれについて、複数の人物の間での基準挙動を示す基準挙動データを算出する（ステップＳ１）。図１の例では、挙動が８つの種類ＴＰ１～ＴＰ８に分類されており、データ群３には、各人物について、種類ＴＰ１～ＴＰ８のそれぞれの挙動についての挙動データが登録されている。挙動データは、例えば、挙動の種類ごとに決められた１つ以上の画像特徴量を含む。なお、図１では説明をわかりやすくするために、挙動データを０以上１００以下の整数で示している。基準挙動データは、同一種類の挙動についての複数の人物の間での平均的な特徴量を示し、例えば、複数の人物の挙動データの中間値または平均値として算出される。
【0016】
次に、判定装置１は、データ群３から、人物Ａの挙動データを種類ＴＰ１～ＴＰ８のそれぞれについて取得する（ステップＳ２）。そして、判定装置１は、人物Ａの挙動データと基準挙動データとの差分を、種類ＴＰ１～ＴＰ８のそれぞれについて算出する（ステップＳ３）。例えば、種類ＴＰ１に対応する人物Ａの挙動データ「８０」と、種類ＴＰ１に対応する基準挙動データ「７０」との差分「１０」が算出される。また、種類ＴＰ２に対応する人物Ａの挙動データ「５５」と、種類ＴＰ２に対応する基準挙動データ「６０」との差分「５」が算出される。
【0017】
次に、判定装置１は、種類ＴＰ１～ＴＰ８の中から、差分が所定の閾値以上である種類を特定し、特定された種類に対応する人物Ａの挙動データを判定用挙動データとしてデータ群４に登録する（ステップＳ４）。図１では例として、閾値が「１５」であり、該当する種類として種類ＴＰ４，ＴＰ７，ＴＰ８が特定されたとする。この場合、判定装置１は、種類ＴＰ４に対応する人物Ａの挙動データ「３４」と、種類ＴＰ７に対応する人物Ａの挙動データ「３０」と、種類ＴＰ８に対応する人物Ａの挙動データ「５０」とが、判定用挙動データとしてデータ群４に登録される。これらの挙動データは、種類の識別番号を対応付けて登録される。
【0018】
このようにして、人物Ａに対応する判定用挙動データがデータ群４に登録され、このデータ群４を参照して判定処理が実行される。判定装置１は、入力画像２から人物の挙動を示す挙動データを抽出する（ステップＳ５）。この処理では、種類ＴＰ１～ＴＰ８のうちの少なくとも１つの種類の挙動を示す挙動データが抽出される。次に、判定装置１は、抽出された挙動データと、データ群４に登録された種類ごとの判定用挙動データとを比較し、それらの比較結果に基づいて、入力画像２上の人物が人物Ａと同一であるか否かを判定する（ステップＳ６）。
【0019】
例えば、ステップＳ５において、種類ＴＰ２，ＴＰ３，ＴＰ４，ＴＰ７の各挙動を示す挙動データが抽出されたとする。ただし、種類ＴＰ２，ＴＰ３に対応する判定用挙動データはデータ群４に登録されていない。このため、ステップＳ６では、種類ＴＰ４，ＴＰ７についての比較のみが実行される。
【0020】
ここで、種類ＴＰ４，ＴＰ７に対応する挙動データがそれぞれ「４０」、「３５」であったとする。この場合、例えば、種類ＴＰ４については挙動データ「４０」と判定用挙動データ「３４」との差分「６」が算出され、種類ＴＰ７については挙動データ「３５」と判定用挙動データ「３０」との差分「５」が算出される。閾値を「１０」とすると、これらの差分はいずれも閾値以下であるので、種類ＴＰ４，ＴＰ７については判定用挙動データが示す挙動と一致したと判定される。例えば２種類以上の挙動が一致した場合に同一人物と判定されるとすると、上記の例では入力画像２上の人物は人物Ａと同一であると判定される。
【0021】
ここで、挙動の種類の中には、複数の人物の間で挙動の差異が生じにくいものがある。例えば、手を挙げる、頷くといった挙動は、どの人物でも似たような挙動となる。このため、各人物の挙動データと基準挙動データとの差異が生じにくい。したがって、人物間で差異が生じにくい種類の挙動データをステップＳ６での比較で用いると、本人になりすました他人を本人と誤判定する可能性が高まってしまう。一方、ある人物の過去の挙動データと基準挙動データとの差異が大きい種類の挙動は、その人物に特有の挙動（本人らしい挙動）であるといえる。このため、このような種類の挙動データだけをステップＳ６の比較で用いることで、誤判定の可能性を抑制できる。
【0022】
データ群４に登録される判定用挙動データは、人物Ａの過去の挙動データと基準挙動データとの差異が大きい種類の挙動（すなわち、人物Ａとその他の人物との間で差異が大きい種類の挙動）を示す。このため、上記のように、入力画像２から抽出された挙動データのうち、データ群４に登録されている種類の挙動データだけを用いてステップＳ６の比較を実行することで、入力画像２上の人物が人物Ａであるか否かを高精度に判定できる。
【0023】
〔第２の実施の形態〕
次に、図１の判定装置１の処理機能を、ビデオ通話システムにおけるなりすましの判定に用いたシステムについて説明する。
次に、図１の判定装置１の処理機能を、ビデオ通話システムにおけるなりすましの判定に用いたシステムについて説明する。
【0024】
【0025】
制御サーバ１００は、図１に示した判定装置１の一例である。この制御サーバ１００は、通話端末間のビデオ通話を制御する。例えば、通話端末２００ａ，２００ｂの間でビデオ通話が行われる場合、制御サーバ１００は、通話端末２００ａで収音された音声と通話端末２００ａで撮影された画像とを受信して、通話端末２００ｂに送信する。これとともに、制御サーバ１００は、通話端末２００ｂで収音された音声と通話端末２００ｂで撮影された画像とを受信して、通話端末２００ａに送信する。
【0026】
また、制御サーバ１００は、通話端末から送信された画像に写っている人物が、その人物本人であるかを判定するなりすまし判定処理を実行する。このなりすまし判定処理を実行するために、制御サーバ１００は、通話端末２００，２００ａ，２００ｂ，・・・から受信した通話時の画像を蓄積し、蓄積された画像を基になりすまし判定処理時に参照するデータを作成する。
【0027】
通話端末２００，２００ａ，２００ｂ，・・・は、ビデオ通話する人物が使用する端末装置であり、例えば、ノート型やデスクトップ型のパーソナルコンピュータ、スマートフォンなどである。通話端末２００，２００ａ，２００ｂ，・・・のそれぞれには、マイクロフォン、カメラ、スピーカ、ディスプレイなどが搭載または接続されている。ビデオ通話が行われる一方の通話端末は、マイクロフォンで収音された音声とカメラで撮影された画像とを制御サーバ１００に送信する。これとともに、一方の通話端末は、他方の通話端末で収音された音声とこの通話端末で撮影された画像とを制御サーバ１００から受信し、受信した音声をスピーカから出力し、受信した画像をディスプレイに表示させる。
【0028】
なお、ビデオ通話システムは、３台以上の通話端末の間でビデオ通話が可能なシステムであってもよい。
図３は、制御サーバのハードウェア構成例を示す図である。制御サーバ１００は、例えば、図３に示すようなコンピュータとして実現される。図３に示す制御サーバ１００は、プロセッサ１０１、ＲＡＭ（Random Access Memory）１０２、ＨＤＤ（Hard Disk Drive）１０３、ＧＰＵ（Graphics Processing Unit）１０４、入力インタフェース（Ｉ／Ｆ）１０５、読み取り装置１０６および通信インタフェース（Ｉ／Ｆ）１０７を備える。
図３は、制御サーバのハードウェア構成例を示す図である。制御サーバ１００は、例えば、図３に示すようなコンピュータとして実現される。図３に示す制御サーバ１００は、プロセッサ１０１、ＲＡＭ（Random Access Memory）１０２、ＨＤＤ（Hard Disk Drive）１０３、ＧＰＵ（Graphics Processing Unit）１０４、入力インタフェース（Ｉ／Ｆ）１０５、読み取り装置１０６および通信インタフェース（Ｉ／Ｆ）１０７を備える。
【0029】
プロセッサ１０１は、制御サーバ１００全体を統括的に制御する。プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）またはＰＬＤ（Programmable Logic Device）である。また、プロセッサ１０１は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＰＬＤのうちの２以上の要素の組み合わせであってもよい。
【0030】
ＲＡＭ１０２は、制御サーバ１００の主記憶装置として使用される。ＲＡＭ１０２には、プロセッサ１０１に実行させるＯＳ（Operating System）プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ１０２には、プロセッサ１０１による処理に必要な各種データが格納される。
【0031】
ＨＤＤ１０３は、制御サーバ１００の補助記憶装置として使用される。ＨＤＤ１０３には、ＯＳプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、ＳＳＤ（Solid State Drive）などの他の種類の不揮発性記憶装置を使用することもできる。
【0032】
ＧＰＵ１０４には、表示装置１０４ａが接続されている。ＧＰＵ１０４は、プロセッサ１０１からの命令にしたがって、画像を表示装置１０４ａに表示させる。表示装置１０４ａとしては、例えば、液晶ディスプレイや有機ＥＬ（ElectroLuminescence）ディスプレイなどが使用される。
【0033】
入力インタフェース１０５には、入力装置１０５ａが接続されている。入力インタフェース１０５は、入力装置１０５ａから出力される信号をプロセッサ１０１に送信する。入力装置１０５ａとしては、キーボードやポインティングデバイスなどがある。ポインティングデバイスとしては、マウス、タッチパネル、タブレット、タッチパッド、トラックボールなどが使用される。
【0034】
読み取り装置１０６には、可搬型記録媒体１０６ａが脱着される。読み取り装置１０６は、可搬型記録媒体１０６ａに記録されたデータを読み取ってプロセッサ１０１に送信する。可搬型記録媒体１０６ａとしては、光ディスク、半導体メモリなどがある。
【0035】
通信インタフェース１０７は、ネットワーク１０７ａを介して、通話端末２００，２００ａ，２００ｂ，・・・などの他の装置との間でデータの送受信を行う。
以上のようなハードウェア構成によって、制御サーバ１００の処理機能を実現することができる。なお、通話端末２００，２００ａ，２００ｂ，・・・についても、プロセッサや主記憶装置、補助記憶装置などを含むコンピュータとして実現可能である。
以上のようなハードウェア構成によって、制御サーバ１００の処理機能を実現することができる。なお、通話端末２００，２００ａ，２００ｂ，・・・についても、プロセッサや主記憶装置、補助記憶装置などを含むコンピュータとして実現可能である。
【0036】
図４は、制御サーバが備える基本的な処理機能の構成例を示す図である。図４に示すように、制御サーバ１００は、記憶部１１０、ビデオ通話制御部１２０、ＤＢ（データベース）作成部１３０およびなりすまし判定部１４０を備える。
【0037】
記憶部１１０は、ＲＡＭ１０２やＨＤＤ１０３などの制御サーバ１００が備える記憶装置に確保される記憶領域である。記憶部１１０には、ビデオ通話時に撮影された画像が人物ごとに蓄積される画像ＤＢ（データベース）１１１と、なりすまし判定の際に参照されるデータが登録された判定用特徴量ＤＢ（データベース）１１２が記憶される。
【0038】
ビデオ通話制御部１２０、ＤＢ作成部１３０およびなりすまし判定部１４０の処理は、例えば、プロセッサ１０１が所定のアプリケーションプログラムを実行することで実現される。
【0039】
ビデオ通話制御部１２０は、通話端末間のビデオ通話を制御する。また、ビデオ通話制御部１２０は、ビデオ通話中において、通話端末から送信された動画像のデータを、通話している人物を識別する人物ＩＤに対応付けて画像ＤＢ１１１に保存する。これにより、画像ＤＢ１１１には、各人物の過去の挙動を示す動画像データが蓄積される。さらに、ビデオ通話制御部１２０は、なりすまし判定部１４０による判定処理中において、ビデオ通話中の通話端末から送信された動画像のデータを、通話中の人物を示す人物ＩＤとともになりすまし判定部１４０に入力する。
【0040】
ＤＢ作成部１３０は、画像ＤＢ１１１に蓄積された動画像データを基に各人物の過去の挙動を分析することによって、判定用特徴量ＤＢ１１２を作成する。判定用特徴量ＤＢ１１２には、人物ＩＤごとに、本人らしい挙動（本人に特有の挙動）を示す特徴量（判定用特徴量）が登録される。この特徴量としては、例えば、手、顔、頭部の位置や動きを示すデータが登録される。
【0041】
なりすまし判定部１４０は、ビデオ通話中の通話端末から送信された動画像のデータをビデオ通話制御部１２０から取得する。なりすまし判定部１４０は、取得した動画像に写っている人物の挙動の特徴量を、判定用特徴量ＤＢ１１２に登録された、その人物に対応する判定用特徴量とを比較することで、通話中の人物が人物ＩＤに対応する人物本人であるか否かを判定する。本人でないと判定された場合、例えば、画像に写っている人物が本人になりすました他者である、あるいは本人に似せて作成された合成画像（フェイク画像）であると判定されることになる。
【0042】
なお、なりすまし判定部１４０は、通話端末２００，２００ａ，２００ｂ，・・・が備えていてもよい。この場合、通話端末２００，２００ａ，２００ｂ，・・・の記憶装置に判定用特徴量ＤＢ１１２が記憶される。そして、通話端末２００，２００ａ，２００ｂ，・・・は、ビデオ通話先である他方の通話端末で撮影された動画像を制御サーバ１００を介して受信し、なりすまし判定部１４０に入力することで、通話相手の人物が本人であるか否かを判定する。
【0043】
ところで、上記のように、人物の過去の挙動の特徴量と現在の挙動の特徴量とを比較することでなりすましを判定する方法としては、次の図５に示すような方法が考えられる。
図５は、なりすまし判定方法の比較例を示す図である。この比較例では、挙動が複数の挙動パターンにあらかじめ分類される。そして、制御サーバ１００は、入力された動画像から、そこに写っている人物の挙動がどの挙動パターンに該当するかを判定できるようになっている。図５では例として、挙動が２０パターンに分類され、各挙動パターンには識別のための挙動パターンＩＤが付与されている。
図５は、なりすまし判定方法の比較例を示す図である。この比較例では、挙動が複数の挙動パターンにあらかじめ分類される。そして、制御サーバ１００は、入力された動画像から、そこに写っている人物の挙動がどの挙動パターンに該当するかを判定できるようになっている。図５では例として、挙動が２０パターンに分類され、各挙動パターンには識別のための挙動パターンＩＤが付与されている。
【0044】
判定用特徴量ＤＢ１１２には、画像ＤＢ１１１に蓄積された、ある人物を写した動画像から、挙動パターンごとにその人物の挙動の特徴量が登録される。すなわち、判定用特徴量ＤＢ１１２には、ある人物について、すべての挙動パターンに対応する特徴量が登録される。
【0045】
なりすまし判定の際には、制御サーバ１００は、ビデオ通話中の人物の動画像を取得すると、その動画像から上記の挙動パターンのそれぞれに対応する挙動を検知し、検知された各挙動についての特徴量を算出する。そして、制御サーバ１００は、挙動パターンごとに、判定用特徴量ＤＢ１１２に登録された特徴量と、取得した動画像に基づく特徴量とを比較して、特徴量の差分を算出する。図５に示した「過去と現在との差分」は、このようにして挙動パターンごとに算出された特徴量の差分を示す。制御サーバ１００は、算出された差分が所定の閾値以上の場合に、なりすましであると判定する。
【0046】
このような比較例において、判定用特徴量ＤＢ１１２に登録された挙動パターンごとの特徴量は、それぞれ人物の挙動の特徴を示しているものの、これらの挙動パターンの中には、本人以外の他人の動きと似ている挙動パターンも含まれる。このため、なりすましの検知に失敗したり、あるいは本人をなりすましと誤判定する可能性がある。
【0047】
図５の例では、ビデオ通話中の人物が本人になりすました他人である場合に、挙動パターンＩＤ「０３」、「０４」の挙動に関して特徴量の差分「０．２」が算出されている。閾値を「０．２」とすると、これらの差分の加算値「０．４」は閾値以上であるので、なりすましであると正しく判定される。一方、ビデオ通話中の人物が本人である場合に、挙動パターン「０２」、「０５」の挙動に関して特徴量の差分「０．２」が算出されている。これらの差分の加算値「０．４」は閾値以上であるので、本人であるにもかかわらず、なりすましであると誤判定される。
【0048】
このような誤判定の発生を抑制するためには、判定用特徴量ＤＢ１１２に登録される特徴量として、あらかじめ決められた複数の挙動パターンについての特徴量ではなく、人物本人に特有な挙動である「本人らしい挙動」の特徴量を用いた方がよいと考えられる。
【0049】
ここで、挙動の比較には、「本人の過去と現在の挙動の比較」と、「本人と他人の挙動の比較」の２種類が考えられる。前者では、比較対象となる挙動は、本人の過去と現在との間で一致しやすい挙動と一致しにくい挙動とに分類できる。また、後者では、比較対象となる挙動は、本人と他人との間で一致しやすい挙動と一致しにくい挙動とに分類できる。
【0050】
上記の比較例では、本人の過去と現在の挙動の比較において、本人の過去と現在との間で一致しにくい挙動だけでなく、一致しやすい挙動も比較対象となっていたことが、誤判定が発生しやすい要因であると考えられる。判定精度を上げるには、本人の過去と現在との間で一致しにくい挙動だけを比較対象にする必要がある。また、本人と他人の挙動の比較」においても、本人と他人との間で一致しにくい挙動だけを比較対象にする必要がある。
【0051】
【0052】
挙動の中には、大脳辺縁系による反応で、個人の成長環境などによって生成された本人固有の挙動がある。このような挙動については、本人が同様の挙動を決まって行う。このため、図６（Ａ）に示すように、本人の過去の挙動を分析した場合に、それらの挙動は、その本人が決まってとる挙動と一時的にとる挙動とに分類される。前者の挙動は、なりすまし判定時に取得された本人の挙動と一致しやすく、「本人らしい挙動」といえるが、後者の挙動は一致しにくい。したがって、なりすまし判定の際には前者の挙動についてのみ比較することが望ましい。
【0053】
一方、本人と他人の挙動の比較に関しては、図６（Ｂ）に示すように、挙動は他人との差異が小さい挙動と大きい挙動とに分類される。前者の挙動は、なりすまし判定時に取得された他人の挙動と一致しやすいが、後者の挙動は、他人の挙動と一致しにくいので「本人らしい挙動」といえる。例えば、手を挙げる挙動は人によってほとんど差異がないので、なりすまし判定時に他人の挙動と一致しやすい。一方、頭を掻く挙動では、人によって頭を手のひらで掻く場合や指で掻く場合などがある。このため、頭を掻く挙動は人によって差異が大きい可能性が高く、なりすまし判定時に他人の挙動と一致しにくい。したがって、なりすまし判定の際には後者の挙動についてのみ比較することが望ましい。
【0054】
そこで、下記に示す実施形態２－１では、他人との差異が大きい挙動の特徴量が判定用特徴量ＤＢ１１２に登録され、なりすまし判定の際にはこれらの挙動の特徴量のみが比較されるようにする。また、実施形態２－２では、本人が決まってとる挙動のうち、他人との差異が大きい挙動の特徴量が判定用特徴量ＤＢ１１２に登録され、なりすまし判定の際にはこれらの挙動の特徴量のみが比較されるようにする。
【0055】
＜実施形態２－１＞
図７は、実施形態２－１に係る制御サーバが備える処理機能の構成例を示す図である。図７に示すように、実施形態２－１に係る制御サーバ１００において、記憶部１１０は、前述の画像ＤＢ１１１および判定用特徴量ＤＢ１１２に加えて、定義挙動ＤＢ（データベース）１１３、挙動ＤＢ（データベース）１１４、基準挙動ＤＢ（データベース）１１５および挙動差異ＤＢ（データベース）１１６を記憶する。
図７は、実施形態２－１に係る制御サーバが備える処理機能の構成例を示す図である。図７に示すように、実施形態２－１に係る制御サーバ１００において、記憶部１１０は、前述の画像ＤＢ１１１および判定用特徴量ＤＢ１１２に加えて、定義挙動ＤＢ（データベース）１１３、挙動ＤＢ（データベース）１１４、基準挙動ＤＢ（データベース）１１５および挙動差異ＤＢ（データベース）１１６を記憶する。
【0056】
定義挙動ＤＢ１１３には、挙動パターンごとに、対応する挙動を定義した特徴量（定義挙動特徴量）が登録される。定義挙動ＤＢ１１３は、画像に写っている人物の挙動がどの挙動パターンに該当するかを判定するために参照される。
【0057】
挙動ＤＢ１１４には、各人物について、過去に行われた挙動を示す特徴量が挙動パターンごとに登録される。これらの特徴量は、画像ＤＢ１１１に記憶された動画像に基づいて算出される。
【0058】
基準挙動ＤＢ１１５には、挙動パターンごとに、複数の人物の間で基準となる特徴量が基準挙動特徴量として登録される。基準挙動特徴量は、同一の挙動パターンについて複数の人物が過去に行った挙動のうち平均的な挙動を示す特徴量を示し、人物それぞれについての判定用特徴量（本人らしい挙動を示す特徴量）を算出するための基準となる。
【0059】
挙動差異ＤＢ１１６には、人物ごとの挙動の特徴量と基準挙動特徴量との差分値が登録される。挙動差異ＤＢ１１６は、判定用特徴量を算出する際に一時的に作成される。
また、図７に示すように、ＤＢ作成部１３０は、挙動抽出部１３１、挙動判定部１３２、基準挙動定義部１３３、挙動差異算出部１３４および判定用特徴量算出部１３５を備える。
また、図７に示すように、ＤＢ作成部１３０は、挙動抽出部１３１、挙動判定部１３２、基準挙動定義部１３３、挙動差異算出部１３４および判定用特徴量算出部１３５を備える。
【0060】
挙動抽出部１３１は、画像ＤＢ１１１から取得した動画像データから画像認識によって特徴量を抽出し、抽出された特徴量から所定の身体部位の動きを示す特徴量を算出する。算出される特徴量は、動画像上で時間的に連続して算出され、時系列特徴量として人物の人物ＩＤと対応付けて記憶装置（ＲＡＭ１０２など）に記録される。
【0061】
挙動判定部１３２は、記録された時系列特徴量を、定義挙動ＤＢ１１３に挙動パターンごとに定義された定義挙動特徴量と比較することで、時系列特徴量が示す挙動がどの挙動パターンに該当するかを判定する。挙動判定部１３２は、いずれかの挙動パターンに該当すると判定した場合、時系列特徴量を基に該当する挙動パターンの挙動を示す挙動特徴量を生成し、生成された挙動特徴量を人物ＩＤおよび挙動パターンＩＤと対応付けて挙動ＤＢ１１４に登録する。これにより、挙動ＤＢ１１４には、各人物が過去に行った挙動を示す特徴量が、挙動パターンごとに分類して登録される。
【0062】
基準挙動定義部１３３は、挙動ＤＢ１１４から挙動パターンごとに挙動特徴量を取得し、取得した挙動特徴量に基づいて該当する挙動パターンについての基準となる特徴量（基準挙動特徴量）を算出し、基準挙動ＤＢ１１５に登録する。
【0063】
挙動差異算出部１３４は、挙動ＤＢ１１４に登録された特徴量に基づき、人物ごとに過去の挙動の特徴量と基準挙動特徴量との差異を算出する。具体的には、人物ごとに次のような処理が実行される。挙動差異算出部１３４は、挙動ＤＢ１１４から特徴量を挙動パターンごとに取得するとともに、該当する挙動パターンの基準挙動特徴量を基準挙動ＤＢ１１５から取得し、これらの特徴量間の差分を示す特徴量差分値を算出する。挙動差異算出部１３４は、挙動パターンごとに算出された特徴量差分値を、挙動差異ＤＢ１１６に登録する。
【0064】
判定用特徴量算出部１３５は、挙動差異ＤＢ１１６に登録された特徴量差分値を所定の閾値と比較する。ある人物についてのある挙動パターンの挙動差分値が閾値以上の場合、その挙動パターンは他人との差異が大きく、本人らしい挙動を示すと考えられるので、この挙動パターンの特徴量が判定用特徴量として判定用特徴量ＤＢ１１２に登録される。このようにして、判定用特徴量ＤＢ１１２には、人物ごとに、本人らしい挙動を示す挙動パターンの挙動特徴量が登録される。
【0065】
また、図７に示すように、なりすまし判定部１４０は、挙動抽出部１４１、挙動判定部１４２、挙動比較部１４３および判定結果出力部１４４を備える。
挙動抽出部１４１は、ビデオ通話中の通話端末から送信された動画像のデータをビデオ通話制御部１２０から取得し、取得した動画像データから画像認識によって時系列特徴量を抽出する。
挙動抽出部１４１は、ビデオ通話中の通話端末から送信された動画像のデータをビデオ通話制御部１２０から取得し、取得した動画像データから画像認識によって時系列特徴量を抽出する。
【0066】
挙動判定部１４２は、抽出された時系列特徴量を、定義挙動ＤＢ１１３に挙動パターンごとに定義された定義挙動特徴量と比較することで、時系列特徴量が示す挙動がどの挙動パターンに該当するかを判定する。挙動判定部１４２は、いずれかの挙動パターンに該当すると判定した場合、時系列特徴量を基に該当する挙動パターンの挙動を示す挙動特徴量を生成する。
【0067】
挙動抽出部１４１および挙動判定部１４２の処理は、例えば一定時間が経過するまで継続され、生成された挙動特徴量が挙動パターンＩＤに対応付けて記憶装置（ＲＡＭ１０２など）に記録される。
【0068】
挙動比較部１４３は、記録された挙動特徴量を取得するとともに、その挙動特徴量に対応する挙動パターンの判定用特徴量を判定用特徴量ＤＢ１１２から取得して、これらの特徴量間の差分と所定の閾値とを比較する。挙動比較部１４３は、差分が閾値以内の場合に、挙動特徴量が示す挙動（通話中の人物の挙動）が、判定用特徴量が示す挙動（本人らしい挙動）と一致すると判定する。挙動比較部１４３は、挙動パターンのうち、通話中の人物の挙動が本人らしい挙動と一致すると判定されたパターン数が所定の閾値以上である場合に、通話中の人物が本人であると判定する。一方、挙動比較部１４３は、判定されたパターン数が閾値未満の場合、なりすましと判定する。
【0069】
判定結果出力部１４４は、なりすましの判定結果を出力する。例えば、判定結果出力部１４４は、判定結果を、判定対象の人物の通話先である通話端末の表示装置に表示させる。
【0070】
以下、実施形態２－１に係る制御サーバ１００の処理を、フローチャートを用いて説明する。
図８は、挙動抽出部による挙動抽出処理の手順を示すフローチャートの例である。
図８は、挙動抽出部による挙動抽出処理の手順を示すフローチャートの例である。
【0071】
［ステップＳ１１］挙動抽出部１３１は、画像ＤＢ１１１から動画像データを取得する。取得した動画像データには、撮影時に通話していた人物の人物ＩＤが付加されている。
［ステップＳ１２］挙動抽出部１３１は、取得した動画像データの各フレームから、画像認識によって特徴量を抽出する。特徴量としては、例えば、所定の身体部位の座標が抽出される。
［ステップＳ１２］挙動抽出部１３１は、取得した動画像データの各フレームから、画像認識によって特徴量を抽出する。特徴量としては、例えば、所定の身体部位の座標が抽出される。
【0072】
［ステップＳ１３］挙動抽出部１３１は、抽出された特徴量に基づいて頭部の動きを検出する。
［ステップＳ１４］挙動抽出部１３１は、抽出された特徴量に基づいて手の動きを検出する。
［ステップＳ１４］挙動抽出部１３１は、抽出された特徴量に基づいて手の動きを検出する。
【0073】
［ステップＳ１５］挙動抽出部１３１は、抽出された特徴量に基づいて瞬きを検出する。
［ステップＳ１６］挙動抽出部１３１は、抽出された特徴量に基づいて視線の動きを検出する。
［ステップＳ１６］挙動抽出部１３１は、抽出された特徴量に基づいて視線の動きを検出する。
【0074】
以上のステップＳ１３～Ｓ１６の処理は、並列に実行されてもよいし、順に実行されてもよい。後者の場合、処理順は特に限定されない。
［ステップＳ１７］挙動抽出部１３１は、ステップＳ１３～Ｓ１６での検出結果に基づいて時系列特徴量を記憶装置に記録する。
［ステップＳ１７］挙動抽出部１３１は、ステップＳ１３～Ｓ１６での検出結果に基づいて時系列特徴量を記憶装置に記録する。
【0075】
［ステップＳ１８］挙動抽出部１３１は、画像ＤＢ１１１に記憶されたすべての動画像データについて処理済みかを判定する。未処理の動画像データがある場合、処理がステップＳ１１に進められ、未処理の動画像データのうちの１つが取得される。一方、すべての動画像データについて処理済みの場合、挙動抽出処理が終了する。
【0076】
図９は、時系列特徴量のデータ構成例を示す図である。図８のステップＳ１７では、例えば、図９に示すような時系列特徴量１５１が記録される。
時系列特徴量１５１には、人物ＩＤに対応付けて、日時と特徴量とが複数組登録される。日時は、フレームの撮影日時を示す。特徴量は、フレームから抽出された特徴量を示す。この特徴量としては、身体部位を識別するＩＤと、その身体部位のフレーム上の座標とが、フレームから抽出された身体部位ごとに登録される。
時系列特徴量１５１には、人物ＩＤに対応付けて、日時と特徴量とが複数組登録される。日時は、フレームの撮影日時を示す。特徴量は、フレームから抽出された特徴量を示す。この特徴量としては、身体部位を識別するＩＤと、その身体部位のフレーム上の座標とが、フレームから抽出された身体部位ごとに登録される。
【0077】
【0078】
［ステップＳ２２］挙動判定部１３２は、取得した時系列特徴量と、定義挙動ＤＢ１１３に登録された挙動パターンごとの定義挙動特徴量とを比較する。
［ステップＳ２３］挙動判定部１３２は、時系列特徴量が、いずれかの挙動パターンの定義挙動特徴量と一致したかを判定する。一致した場合、処理がステップＳ２４に進められ、いずれの挙動パターンの定義挙動特徴量とも一致しなかった場合、処理がステップＳ２５に進められる。
［ステップＳ２３］挙動判定部１３２は、時系列特徴量が、いずれかの挙動パターンの定義挙動特徴量と一致したかを判定する。一致した場合、処理がステップＳ２４に進められ、いずれの挙動パターンの定義挙動特徴量とも一致しなかった場合、処理がステップＳ２５に進められる。
【0079】
［ステップＳ２４］挙動判定部１３２は、ステップＳ２１で取得した時系列特徴量に基づき、一致した挙動パターンに対応する挙動特徴量を算出する。挙動判定部１３２は、算出された挙動特徴量を、少なくとも人物ＩＤおよび挙動パターンＩＤに対応付けて挙動ＤＢ１１４に登録する。
【0080】
［ステップＳ２５］挙動判定部１３２は、図８の処理によって記録されたすべての時系列特徴量について処理済みかを判定する。未処理の時系列特徴量がある場合、処理がステップＳ２１に進められ、未処理の時系列特徴量のうちの１つが取得される。一方、すべての時系列特徴量について処理済みの場合、挙動判定処理が終了する。
【0081】
以上の処理により、各人物が過去に行った挙動を示す特徴量が挙動パターンごとに挙動ＤＢ１１４に登録される。
図１１は、挙動ＤＢのデータ構成例を示す図である。図１１に示すように、挙動ＤＢ１１４には人物ごとのテーブル１１４ａが登録される。
図１１は、挙動ＤＢのデータ構成例を示す図である。図１１に示すように、挙動ＤＢ１１４には人物ごとのテーブル１１４ａが登録される。
【0082】
テーブル１１４ａには、人物ＩＤと、検出された挙動パターンの数とが対応付けられる。また、テーブル１１４ａには、日時、挙動パターンＩＤおよび挙動特徴量を含むレコードが登録される。日時は、挙動パターンの挙動が検出された時系列特徴量に付加された日時のうち、先頭の日時（すなわち、該当する挙動の検出が開始された日時）を示す。挙動パターンＩＤは、検出された挙動の挙動パターンを示す。挙動特徴量は、図１０のステップＳ２４で算出された特徴量である。
【0083】
挙動特徴量として登録されるデータは、挙動パターンＩＤごとにあらかじめ決められている。例えば、挙動パターンＩＤ「４」が「頭を手で掻く」という挙動を示す場合、挙動特徴量としては、頭および手のそれぞれについての向き、位置および座標が登録される。また、挙動パターンＩＤ「８」が「両手を頭の後ろで組む」という挙動を示す場合、挙動特徴量としては、頭、右手および左手のそれぞれについての向き、位置および座標が登録される。ここで、例えば、挙動特徴量に含まれる「座標」は、対応する身体部位上の１以上の特徴点の座標を示し、「位置」は、これらの特徴点の座標の中央値を示す。
【0084】
なお、挙動ＤＢ１１４には、同一の挙動パターンについて複数の挙動特徴量が登録されることが望ましい。換言すると、画像ＤＢ１１１には、各人物について、同じ挙動パターンの挙動が複数回写るように動画像データが蓄積されることが望ましい。また、挙動特徴量は、複数フレームにわたる時系列特徴量であってもよい。
【0085】
図１２は、基準挙動定義部による基準挙動定義処理の手順を示すフローチャートの例である。
［ステップＳ３１］基準挙動定義部１３３は、すべての挙動パターンの中から１つを選択する。
［ステップＳ３１］基準挙動定義部１３３は、すべての挙動パターンの中から１つを選択する。
【0086】
［ステップＳ３２］基準挙動定義部１３３は、挙動ＤＢ１１４から、選択された挙動パターンについての挙動特徴量を取得する。この処理では、人物ＩＤに関係なく、該当する挙動パターンについての挙動特徴量が取得される。
【0087】
［ステップＳ３３］基準挙動定義部１３３は、挙動ＤＢ１１４から該当する挙動パターンについてのすべての挙動特徴量を取得済みかを判定する。未取得の挙動特徴量がある場合、処理がステップＳ３２に進められ、該当する挙動パターンについての挙動特徴量のうち、未取得の挙動特徴量の１つが取得される。一方、すべての挙動特徴量を取得済みの場合、処理がステップＳ３４に進められる。
【0088】
［ステップＳ３４］基準挙動定義部１３３は、ステップＳ３２で取得された挙動特徴量に基づいて、該当する挙動パターンに対応する基準挙動特徴量を算出する。基準挙動特徴量は、例えば、ステップＳ３２で取得された挙動特徴量の、パラメータごとの中央値または平均値として算出される。また、挙動特徴量が時系列特徴量である場合には、例えば、各時系列特徴量をベクトルとして表し、それらのベクトルの平均を算出することで、時系列の基準挙動特徴量を算出することができる。基準挙動定義部１３３は、算出された基準挙動特徴量を、挙動パターンＩＤに対応付けて基準挙動ＤＢ１１５に登録する。
【0089】
［ステップＳ３５］基準挙動定義部１３３は、すべての挙動パターンについて処理済みかを判定する。未処理の挙動パターンがある場合、処理がステップＳ３１に進められ、未処理の挙動パターンの１つが選択される。一方、すべての挙動パターンについて処理済みの場合、基準挙動定義処理が終了する。
【0090】
以上の処理により、他人との比較によって本人らしい挙動の特徴量を算出するための基準となる基準挙動特徴量が、挙動パターンごとに算出される。
図１３は、基準挙動ＤＢのデータ構成例を示す図である。図１３に示すように、基準挙動ＤＢ１１５には、挙動パターンＩＤごとに基準挙動特徴量が登録されている。基準特徴量のデータ形式は、各挙動パターンＩＤに対応する挙動特徴量と同じである。また、挙動特徴量が時系列特徴量である場合、基準挙動特徴量も時系列特徴量となる。
図１３は、基準挙動ＤＢのデータ構成例を示す図である。図１３に示すように、基準挙動ＤＢ１１５には、挙動パターンＩＤごとに基準挙動特徴量が登録されている。基準特徴量のデータ形式は、各挙動パターンＩＤに対応する挙動特徴量と同じである。また、挙動特徴量が時系列特徴量である場合、基準挙動特徴量も時系列特徴量となる。
【0091】
図１４は、挙動差異算出部による挙動差異算出処理の手順を示すフローチャートの例である。
［ステップＳ４１］挙動差異算出部１３４は、処理対象とする人物を選択する。
［ステップＳ４１］挙動差異算出部１３４は、処理対象とする人物を選択する。
【0092】
［ステップＳ４２］挙動差異算出部１３４は、挙動ＤＢ１１４を参照し、選択された人物の人物ＩＤに対応付けられた挙動パターンの中から１つを選択する。
［ステップＳ４３］挙動差異算出部１３４は、挙動ＤＢ１１４から、選択された挙動パターンに対応する挙動特徴量を取得する。
［ステップＳ４３］挙動差異算出部１３４は、挙動ＤＢ１１４から、選択された挙動パターンに対応する挙動特徴量を取得する。
【0093】
［ステップＳ４４］挙動差異算出部１３４は、ステップＳ４２で選択された挙動パターンに対応する基準挙動特徴量を基準挙動ＤＢ１１５から取得し、ステップＳ４３で取得した挙動特徴量との差分を、特徴量差分値として算出する。ステップＳ４３で複数の挙動特徴量が取得された場合、例えば、各挙動特徴量と基準挙動特徴量との差分の中央値または平均値が、特徴量差分値として算出される。
【0094】
なお、挙動特徴量が時系列特徴量である場合、特徴量差分値は、例えば、特徴量内のパラメータごとに、ベクトルの差分（例えば角度差）やユークリッド距離として算出される。
【0095】
［ステップＳ４５］挙動差異算出部１３４は、算出された特徴量差分値を、ステップＳ４１で選択された人物を示す人物ＩＤと、ステップＳ４２で選択された挙動パターンを示す挙動パターンＩＤとに対応付けて挙動差異ＤＢ１１６に登録する。
【0096】
［ステップＳ４６］挙動差異算出部１３４は、すべての挙動パターンについて処理済みかを判定する。未処理の挙動パターンがある場合、処理がステップＳ４２に進められ、未処理の挙動パターンの１つが選択される。一方、すべての挙動パターンについて処理済みの場合、処理がステップＳ４７に進められる。
【0097】
［ステップＳ４７］挙動差異算出部１３４は、すべての人物について処理済みかを判定する。未処理の人物がある場合、処理がステップＳ４１に進められ、未処理の人物の１人が選択される。一方、すべての人物について処理済みの場合、挙動差異算出処理が終了する。
【0098】
以上の処理により、各人物について、基準パターンごとの過去の本人の挙動と他人の挙動との差異を示す特徴量差分値が算出される。
図１５は、挙動差異ＤＢのデータ構成例を示す図である。図１５に示すように、挙動差異ＤＢ１１６には、人物ごとのテーブル１１６ａが登録される。テーブル１１６ａには、人物ＩＤと、検出された挙動パターンの数とが対応付けられる。また、テーブル１１６ａには、挙動パターンＩＤごとに特徴量差分値が登録される。特徴量差分値としては、対応する挙動特徴量に含まれるパラメータごとの差分値が登録される。
図１５は、挙動差異ＤＢのデータ構成例を示す図である。図１５に示すように、挙動差異ＤＢ１１６には、人物ごとのテーブル１１６ａが登録される。テーブル１１６ａには、人物ＩＤと、検出された挙動パターンの数とが対応付けられる。また、テーブル１１６ａには、挙動パターンＩＤごとに特徴量差分値が登録される。特徴量差分値としては、対応する挙動特徴量に含まれるパラメータごとの差分値が登録される。
【0099】
例えば、挙動パターンＩＤ「０１」は「頭を横に傾ける」という挙動を示すとし、この挙動に対応する挙動特徴量には顔の向き、位置および座標が登録されるとする。この場合、特徴量差分値としては、顔の向きについての差分値（向き差分値）と顔の位置についての差分値（位置差分値）とが登録される。また、挙動パターンＩＤ「０４」は前述のように「頭を手で掻く」という挙動を示し、この挙動に対応する挙動特徴量には頭および手のそれぞれについての向き、位置および座標が登録されるとする。この場合、特徴量差分値としては、頭および手についての向き差分値および位置差分値が登録される。
【0100】
図１６は、判定用特徴量算出部による判定用特徴量算出処理の手順を示すフローチャートの例である。
［ステップＳ５１］判定用特徴量算出部１３５は、処理対象とする人物を選択する。
［ステップＳ５１］判定用特徴量算出部１３５は、処理対象とする人物を選択する。
【0101】
［ステップＳ５２］判定用特徴量算出部１３５は、挙動差異ＤＢ１１６を参照し、選択された人物の人物ＩＤに対応付けられた挙動パターンの中から１つを選択する。
［ステップＳ５３］判定用特徴量算出部１３５は、挙動差異ＤＢ１１６から、選択された挙動パターンに対応する特徴量差分値を取得する。
［ステップＳ５３］判定用特徴量算出部１３５は、挙動差異ＤＢ１１６から、選択された挙動パターンに対応する特徴量差分値を取得する。
【0102】
［ステップＳ５４］判定用特徴量算出部１３５は、取得した特徴量差分値が所定の閾値以上かを判定する。特徴量差分値が閾値以上の場合、処理がステップＳ５５に進められ、特徴量差分値が閾値未満の場合、処理がステップＳ５６に進められる。
【0103】
［ステップＳ５５］判定用特徴量算出部１３５は、ステップＳ５１で選択された人物とステップＳ５２で選択された挙動パターンとに対応付けられた挙動特徴量を挙動ＤＢ１１４から取得する。判定用特徴量算出部１３５は、取得した挙動特徴量は、上記人物の人物ＩＤおよび上記挙動パターンの挙動パターンＩＤに対応付けて、判定用特徴量として判定用特徴量ＤＢ１１２に登録する。
【0104】
なお、実際には、特徴量内のパラメータごとに閾値が設定され、例えば、すべてのパラメータについての差分の絶対値が対応する閾値以上の場合に、処理がステップＳ５５に進められる。また、挙動ＤＢ１１４に該当する挙動特徴量が複数登録されている場合、例えば、それらの挙動特徴量の中央値または平均値が判定用特徴量として登録される。また、挙動特徴量が時系列特徴量である場合、例えば、各時系列特徴量をベクトルとして表し、それらのベクトルの平均を算出することで、時系列の判定用特徴量を算出することができる。
【0105】
［ステップＳ５６］判定用特徴量算出部１３５は、すべての挙動パターンについて処理済みかを判定する。未処理の挙動パターンがある場合、処理がステップＳ５２に進められ、未処理の挙動パターンの１つが選択される。一方、すべての挙動パターンについて処理済みの場合、処理がステップＳ５７に進められる。
【0106】
［ステップＳ５７］判定用特徴量算出部１３５は、すべての人物について処理済みかを判定する。未処理の人物がある場合、処理がステップＳ５１に進められ、未処理の人物の１人が選択される。一方、すべての人物について処理済みの場合、判定用特徴量算出処理が終了する。
【0107】
以上の処理により、各人物について、本人らしい挙動として他人との差異が大きい挙動の挙動パターンが判定され、その挙動パターンについての判定用特徴量が判定用特徴量ＤＢ１１２に登録される。
【0108】
なお、図１６の処理では、特徴量差分値が閾値以上となったすべての挙動パターンの挙動特徴量を、判定用特徴量として登録していた。しかし、他の例として、特徴量差分値が閾値以上となった挙動パターンのうち、特徴量差分値が大きい順に所定数の挙動パターンの挙動特徴量だけを、判定用特徴量として登録してもよい。
【0109】
図１７は、判定用特徴量ＤＢのデータ構成例を示す図である。図１７に示すように、判定用特徴量ＤＢ１１２には、人物ごとのテーブル１１２ａが登録される。テーブル１１２ａには、人物ＩＤと、本人らしい挙動を示す挙動パターンの数とが対応付けられる。また、テーブル１１２ａには、本人らしい挙動を示す挙動パターンの挙動パターンＩＤごとに、図１６のステップＳ５５で算出された判定用特徴量が登録される。判定用特徴量のデータ形式は、各挙動パターンＩＤに対応する挙動特徴量と同じである。また、挙動特徴量が時系列特徴量である場合、判定用特徴量も時系列特徴量となる。
【0110】
【0111】
［ステップＳ６１］なりすまし判定部１４０の挙動抽出部１４１は、ビデオ通話制御部１２０からの動画像データの取得を開始する。この動画像データは、通話中の通話端末において撮影され、制御サーバ１００に送信された動画像データである。また、動画像データには、通話中の本来の人物を示す人物ＩＤが付加されており、この人物ＩＤが判定対象の人物を識別する番号となる。
【0112】
［ステップＳ６２］挙動抽出部１４１は、図８のステップＳ１２～Ｓ１７と同様の手順で、動画像データの各フレームから画像認識によって特徴量を抽出し、特徴量を基に時系列特徴量を算出して、記憶装置（ＲＡＭ１０２など）に記録する。
【0113】
［ステップＳ６３］なりすまし判定部１４０の挙動判定部１４２は、図１０と同様の手順で、記録された時系列特徴量を定義挙動ＤＢ１１３内の定義挙動特徴量と比較することで、いずれかの挙動パターンに合致する挙動を検出する。挙動判定部１４２は、時系列特徴量がいずれかの挙動パターンの定義挙動特徴量と一致した場合に、時系列特徴量を基にその挙動パターンに対応する挙動特徴量を算出し、挙動パターンＩＤに対応付けて記憶装置に記録する。
【0114】
［ステップＳ６４］なりすまし判定部１４０は、挙動比較処理の実行条件を満たすかを判定する。実行条件としては、例えば、図１８の処理開始から一定時間が経過した、あるいはステップＳ６３の処理により一定数の挙動特徴量が記録された等の条件が適用される。実行条件を満たさない場合、処理がステップＳ６２に進められ、取得される動画像データを用いたステップＳ６２，Ｓ６３の処理が継続して実行される。一方、実行条件を満たす場合、処理がステップＳ６５に進められ、挙動比較処理が開始される。
【0115】
［ステップＳ６５］なりすまし判定部１４０の挙動比較部１４３は、判定用特徴量ＤＢ１１２から、判定対象の人物の人物ＩＤに対応付けられた挙動パターンＩＤ（すなわち、本人らしい挙動を示す挙動パターンの挙動パターンＩＤ）をすべて取得する。挙動比較部１４３は、取得した挙動パターンＩＤと、ステップＳ６３で記録された挙動パターンＩＤ（すなわち、判定対象の人物について検出された挙動の挙動パターンＩＤ）とを比較する。
【0116】
［ステップＳ６６］挙動比較部１４３は、ステップＳ６５で判定用特徴量ＤＢ１１２から取得した挙動パターンＩＤの少なくとも１つが、ステップＳ６３で記録された挙動パターンＩＤの中に含まれているかを判定する。前者の挙動パターンＩＤの少なくとも１つが後者の挙動パターンに含まれている場合、処理がステップＳ６７に進められる。一方、前者の挙動パターンＩＤのいずれも、後者の挙動パターンＩＤに含まれていない場合、処理がステップＳ７４に進められる。このケースとしては、判定対象の人物に対応する挙動が検出されたものの、本人らしい挙動が１つも検出されなかったケースや、その人物が何の挙動もしなかったケース（例えば静止しているケース）などが考えられる。
【0117】
［ステップＳ６７］挙動比較部１４３は、ステップＳ６３で記録された挙動パターンＩＤに含まれ、かつ、ステップＳ６５で判定用特徴量ＤＢ１１２から取得した挙動パターンＩＤに含まれる挙動パターンの中から１つを選択する。
【0118】
［ステップＳ６８］挙動比較部１４３は、ステップＳ６３で記録された挙動特徴量のうち、ステップＳ６７で選択された挙動パターンＩＤに対応する挙動特徴量を取得する。また、挙動比較部１４３は、ステップＳ６７で選択された挙動パターンＩＤに対応する判定用特徴量を判定用特徴量ＤＢ１１２から取得する。そして、挙動比較部１４３は、これらの特徴量の間の差分を算出する。なお、ステップＳ６３において該当挙動パターンＩＤに対応する挙動特徴量が複数記録された場合には、例えば、それらの挙動特徴量の中央値または平均値が算出され、その算出結果と判定用特徴量との差分が算出される。
【0119】
なお、挙動特徴量が時系列特徴量である場合、特徴量差分値は、例えば、特徴量内のパラメータごとに、ベクトルの差分（例えば角度差）やユークリッド距離として算出される。
【0120】
［ステップＳ６９］挙動比較部１４３は、算出された差分の絶対値が所定の閾値以下かを判定する。差分の絶対値が閾値以下の場合、処理がステップＳ７０に進められ、差分の絶対値が閾値を超える場合、処理がステップＳ７１に進められる。なお、実際には、特徴量内のパラメータごとに閾値が設定され、例えば、すべてのパラメータについての差分の絶対値が対応する閾値以下の場合に、処理がステップＳ７０に進められる。
【0121】
［ステップＳ７０］挙動比較部１４３は、ステップＳ６７で選択された挙動パターンＩＤを、本人らしい挙動と一致した挙動の挙動パターンＩＤとして記憶装置に記録する。
［ステップＳ７１］挙動比較部１４３は、ステップＳ６７において条件に合致する挙動パターンＩＤをすべて選択済みかを判定する。未選択の挙動パターンＩＤがある場合、処理がステップＳ６７に進められ、未選択の挙動パターンＩＤが１つ選択される。一方、該当する挙動パターンをすべて選択済みの場合、処理がステップＳ７２に進められる。
［ステップＳ７１］挙動比較部１４３は、ステップＳ６７において条件に合致する挙動パターンＩＤをすべて選択済みかを判定する。未選択の挙動パターンＩＤがある場合、処理がステップＳ６７に進められ、未選択の挙動パターンＩＤが１つ選択される。一方、該当する挙動パターンをすべて選択済みの場合、処理がステップＳ７２に進められる。
【0122】
［ステップＳ７２］挙動比較部１４３は、ステップＳ７０で記録された挙動パターンＩＤの数、すなわち本人らしい挙動と一致した挙動数が、所定の閾値以上かを判定する。挙動数が閾値以上の場合、処理がステップＳ７３に進められ、挙動数が閾値未満の場合、処理がステップＳ７４に進められる。なお、閾値としては、挙動パターンごとに異なる値が用いられてもよい。
【0123】
［ステップＳ７３］挙動比較部１４３は、判定対象の人物が本人であると判定する。判定結果出力部１４４は、その判定結果を示す情報を出力する。
［ステップＳ７４］挙動比較部１４３は、判定対象の人物が本人でないと判定する。判定結果出力部１４４は、その判定結果を示す情報を出力する。
［ステップＳ７４］挙動比較部１４３は、判定対象の人物が本人でないと判定する。判定結果出力部１４４は、その判定結果を示す情報を出力する。
【0124】
ステップＳ７３，Ｓ７４では、例えば、判定結果出力部１４４は、判定結果を判定対象の人物の通話先である通話端末の表示装置に表示させる。また、ステップＳ７４では、判定結果として、例えば、なりすましであることを示す情報が表示される。
【0125】
以上の処理では、通話中の動画像から複数の挙動パターンの挙動が検出された場合に、それらの挙動のうち、他人との差異が大きい挙動についてのみ判定用特徴量の比較が実行される。そして、検出された所定数以上の挙動が他人との差異が大きい挙動（すなわち、本人らしい挙動）と一致した場合に、判定対象の人物が本人であると判定される。これにより、図５に示した比較例の場合より本人であるか否か（なりすましか否か）の判定精度を向上させることができる。
【0126】
図２０は、判定結果の表示画面の例を示す図である。図２０に示す表示画面２１０は、ステップＳ７３，Ｓ７４で通話先の通話端末の表示装置に表示される画面の例である。
この表示画面２１０には、なりすましの判定結果を示す判定結果表示部２１１が表示される。図２０は、ステップＳ７４が実行された場合を例示しており、判定結果表示部２１１にはなりすましと判定されたことが表示される。
この表示画面２１０には、なりすましの判定結果を示す判定結果表示部２１１が表示される。図２０は、ステップＳ７４が実行された場合を例示しており、判定結果表示部２１１にはなりすましと判定されたことが表示される。
【0127】
また、表示画面２１０にはさらに、挙動の検出結果を示す挙動検出結果表示部２１２が表示されている。挙動検出結果表示部２１２には、該当する人物についての本人らしい挙動ごとにレコードが表示される。各レコードには、挙動パターンを識別するＩＤ（挙動パターンＩＤ）と、挙動の説明文と、差異とが表示される。差異としては、図１９のステップＳ６８で算出された特徴量間の差分の絶対値が表示される。
【0128】
なお、判定結果を示す情報としては、本人であるか否か（なりすましか否か）を示す情報の他に、例えば、ステップＳ６８で算出された差分絶対値の加算値などに応じて、本人である可能性やなりすましである可能性を示す数値が表示されてもよい。
【0129】
＜実施形態２－２＞
実施形態２－２は、上記の実施形態２－１における制御サーバ１００の処理の一部を変形したものである。実施形態２－１では、他人との差異が大きい挙動特徴量が判定用特徴量ＤＢ１１２に登録された。これに対して、実施形態２－２では、まず、人物本人の過去の挙動に基づいて、本人が決まってとる挙動が特定される。その後、本人が決まってとる挙動のうち、他人との差異が大きい挙動の特徴量が判定用特徴量ＤＢ１１２に登録される。
実施形態２－２は、上記の実施形態２－１における制御サーバ１００の処理の一部を変形したものである。実施形態２－１では、他人との差異が大きい挙動特徴量が判定用特徴量ＤＢ１１２に登録された。これに対して、実施形態２－２では、まず、人物本人の過去の挙動に基づいて、本人が決まってとる挙動が特定される。その後、本人が決まってとる挙動のうち、他人との差異が大きい挙動の特徴量が判定用特徴量ＤＢ１１２に登録される。
【0130】
図６（Ａ）に示したように、本人が決まってとる挙動は、なりすまし判定時に取得された本人の挙動と一致しやすい。しかし、他人の挙動と一致しにくいとはいえない。一方、図６（Ｂ）に示したように、他人との差異が大きい挙動は、なりすまし判定時に他人の挙動と一致しにくい。このため、本人が決まってとる挙動の中から、他人との差異が大きい挙動を選別してそれらの挙動の特徴量を判定用特徴量ＤＢ１１２に登録することで、なりすまし判定時に本人の挙動と一致しやすく、他人の挙動とは一致しにくい挙動の特徴量を判定時に用いることができる。その結果、本人か否かの判定精度を高めることができる。
【0131】
図２１は、実施形態２－２に係る制御サーバが備える処理機能の構成例を示す図である。図２１に示すように、実施形態２－２に係る制御サーバ１００において、記憶部１１０にはさらに個人挙動ＤＢ１１７が記憶される。また、ＤＢ作成部１３０はさらに個人挙動判定部１３６を備える。
【0132】
個人挙動判定部１３６は、各人物について、挙動パターンごとに挙動ＤＢ１１４に登録された挙動特徴量の変動幅（最大値から最小値までの差分）を算出し、算出された変動幅が、挙動パターンごとに設定された許容値以下かを判定する。個人挙動判定部１３６は、変動幅が許容値以下の場合、挙動パターンに対応する挙動を本人が決まってとる挙動であると判定し、その挙動パターンに対応する挙動特徴量（個人挙動特徴量）を挙動パターンＩＤに対応付けて個人挙動ＤＢ１１７に登録する。したがって、個人挙動ＤＢ１１７には、人物ごとに少なくとも、その人物の本人が決まってとる挙動の挙動パターンＩＤと、その挙動を示す個人挙動特徴量とが対応付けて登録される。
【0133】
なお、基準挙動定義部１３３は、挙動ＤＢ１１４の代わりに個人挙動ＤＢ１１７から挙動特徴量を取得することで、挙動パターンごとの基準挙動特徴量を算出して基準挙動ＤＢ１１５に登録する。また、挙動差異算出部１３４は、挙動ＤＢ１１４の代わりに個人挙動ＤＢ１１７から取得した挙動特徴量を基準挙動特徴量と比較することで、挙動パターンごとの特徴量差分値を挙動差異ＤＢ１１６に登録する。
【0134】
図２２は、実施形態２－２におけるなりすまし判定方法について説明するための図である。図２２では、挙動が２０個の挙動パターンに分類されているとする。
上記のように、個人挙動判定部１３６は、ある人物について、挙動ＤＢ１１４から挙動パターンごとに挙動特徴量の変動幅を算出し、変動幅が許容値以下かを判定する。図２２では、変動幅が許容値以下の場合を変動幅「小」と示し、許容を超える場合を変動幅「大」と示している。図２２では例として、挙動パターンＩＤ「０３」、「０４」についての変動幅が「小」となっており、これらに対応する挙動が、本人が決まってとる挙動と判定されている。
上記のように、個人挙動判定部１３６は、ある人物について、挙動ＤＢ１１４から挙動パターンごとに挙動特徴量の変動幅を算出し、変動幅が許容値以下かを判定する。図２２では、変動幅が許容値以下の場合を変動幅「小」と示し、許容を超える場合を変動幅「大」と示している。図２２では例として、挙動パターンＩＤ「０３」、「０４」についての変動幅が「小」となっており、これらに対応する挙動が、本人が決まってとる挙動と判定されている。
【0135】
また、例えば、挙動パターン「０３」、「０４」、「０６」の挙動が、他人の挙動との差異が大きいとする。判定用特徴量算出部１３５は、これらの挙動パターンのうち、変動幅「小」と判定された挙動パターン「０３」、「０４」の挙動を示す判定用特徴量を、判定用特徴量ＤＢ１１２に登録する。
【0136】
この場合、なりすまし判定部１４０は、通話端末で撮影された動画像から検出された挙動のうち、挙動パターン「０３」、「０４」の挙動の特徴量だけを、判定用特徴量と比較する。例えば、人物本人が写る動画像が入力されたとき、挙動パターンＩＤ「０３」、「０４」の挙動に関していずれも特徴量の差分「０．０」が算出されたとする。この場合、差分の加算値「０．０」は閾値「０．２」以下であるので、人物が本人であると正しく判定される。一方、本人になりすました他人が写る動画像が入力されたとき、挙動パターンＩＤ「０３」、「０４」の挙動に関していずれも特徴量の差分「０．２」が算出されたとする。この場合、差分の加算値「０．４」は閾値「０．２」を超えるので、人物が本人でない（なりすましである）と正しく判定される。
【0137】
図２３は、本人が決まってとる挙動の判定処理を概念的に説明するための図である。図２３では、挙動特徴量のパラメータ（特徴パラメータ）が２種類あるとし、一方の値がｘ軸にプロットされ、他方の値がｙ軸にプロットされている。また、挙動パターンはＭ個あるものとし、ある人物について、画像ＤＢ１１１の動画像データから挙動パターンごとにＮ回の挙動が検出されたとする。さらに、ｘ軸のパラメータに対して許容値Ｗ１が設定され、ｙ軸のパラメータに対して許容値Ｗ２が設定されているとする。
【0138】
図２３の例では、挙動パターン１については変動幅が許容値を超えているが、挙動パターンＭについては変動幅が許容値以内に収まっている。この場合、挙動パターン１の挙動特徴量は個人挙動特徴量として個人挙動ＤＢ１１７に登録されないが、挙動パターンＭの挙動特徴量は個人挙動特徴量として個人挙動ＤＢ１１７に登録される。すなわち、挙動パターンＭの挙動が、該当人物についての本人が決まってとる挙動であると判定される。
【0139】
図２４は、挙動の変動幅の算出例を示す図である。図２４では、ある挙動パターンについてのある人物の挙動特徴量がベクトルで表された場合について例示している。１回目に検出された挙動の挙動特徴量がベクトルＶＡ１で表され、２回目に検出された挙動の挙動特徴量がベクトルＶＡ２で表され、Ｎ回目に検出された挙動の挙動特徴量がベクトルＶＡｎで表されている。
【0140】
この場合、挙動特徴量の変動幅Ｗ３は、例えば、ベクトルＶＡ１，ＶＡ２，・・・，ＶＡｎのうちの最小角度と最大角度との差分によって表される。そして、変動幅Ｗ３が許容値以下の場合に、該当する挙動パターンの挙動が、本人が決まってとる挙動であると判定される。
【0141】
図２５は、判定用特徴量の選別処理を概念的に説明するための図である。図２５では、同一人物についての挙動特徴量の変動幅（個人の変動幅）がｘ軸にプロットされ、各人物の特徴量差分値（挙動特徴量と基準挙動特徴量との差分値）がｙ軸にプロットされている。許容値Ｗ４は、同一人物についての挙動特徴量の変動幅の許容値である。閾値ＴＨ１は、特徴量差分値と比較するための判定閾値である。
【0142】
図２５の例では、挙動パターン１については、人物Ａ～Ｃのいずれも挙動特徴量の変動幅が許容値Ｗ４以内に収まっているが、これらのうち人物Ｂのみが、特徴量差分値が閾値ＴＨ１を超えている。このため、人物Ｂについては挙動パターン１の挙動特徴量が判定用特徴量として判定用特徴量ＤＢ１１２に登録される。また、挙動パターン５については、人物Ａ～Ｃのいずれも挙動特徴量の変動幅が許容値Ｗ４以内に収まっているが、これらのうち人物Ａのみが、特徴量差分値が閾値ＴＨ１を超えている。このため、人物Ａについては挙動パターン５の挙動特徴量が判定用特徴量として判定用特徴量ＤＢ１１２に登録される。
【0143】
図２６は、特徴量差分値の算出例を示す図である。図２６では、各人物についての挙動特徴量や基準挙動特徴量がベクトルで表された場合について例示している。ベクトルＶＢ１，ＶＢ２，・・・，ＶＢｍは、それぞれ挙動パターン１，２，・・・，Ｍの基準挙動特徴量を示すベクトルである。ベクトルＶＣ１，ＶＣ２，・・・，ＶＣｍは、それぞれある人物についての挙動パターン１，２，・・・，Ｍの挙動特徴量を示すベクトルである。
【0144】
挙動特徴量と基準挙動特徴量との差分、すなわち特徴量差分値は、例えば、ベクトルの角度差として表される。図２６の例では、挙動パターン１，２，・・・，Ｍについての特徴量差分値は、それぞれ角度Ｄ１，Ｄ２，・・・，Ｄｍで表される。
【0145】
次に、実施形態２－２の処理のうち、実施形態２－１とは異なる処理について、フローチャートを用いて説明する。
図２７は、個人挙動判定部による個人挙動判定処理の手順を示すフローチャートの例である。
図２７は、個人挙動判定部による個人挙動判定処理の手順を示すフローチャートの例である。
【0146】
［ステップＳ８１］個人挙動判定部１３６は、処理対象とする人物を選択する。
［ステップＳ８２］個人挙動判定部１３６は、挙動ＤＢ１１４を参照し、選択された人物の人物ＩＤに対応付けられた挙動パターンの中から１つを選択する。
［ステップＳ８２］個人挙動判定部１３６は、挙動ＤＢ１１４を参照し、選択された人物の人物ＩＤに対応付けられた挙動パターンの中から１つを選択する。
【0147】
［ステップＳ８３］個人挙動判定部１３６は、挙動ＤＢ１１４から、選択された挙動パターンに対応する挙動特徴量をすべて取得する。
［ステップＳ８４］個人挙動判定部１３６は、ステップＳ８３で取得した挙動特徴量の変動幅を算出する。
［ステップＳ８４］個人挙動判定部１３６は、ステップＳ８３で取得した挙動特徴量の変動幅を算出する。
【0148】
［ステップＳ８５］個人挙動判定部１３６は、算出された変動幅が所定の許容値以下かを判定する。変動幅が許容値以下の場合、処理がステップＳ８６に進められ、変動幅が許容値を超える場合、処理がステップＳ８７に進められる。
【0149】
［ステップＳ８６］個人挙動判定部１３６は、ステップＳ８３で取得した挙動特徴量の中央値または平均値を算出し、算出された値を、ステップＳ８１で選択された人物の人物ＩＤとステップＳ８２で選択された挙動パターンの挙動パターンＩＤとに対応付けて、個人挙動特徴量として個人挙動ＤＢ１１７に登録する。
【0150】
［ステップＳ８７］個人挙動判定部１３６は、すべての挙動パターンについて処理済みかを判定する。未処理の挙動パターンがある場合、処理がステップＳ８２に進められ、未処理の挙動パターンの１つが選択される。一方、すべての挙動パターンについて処理済みの場合、処理がステップＳ８８に進められる。
【0151】
［ステップＳ８８］個人挙動判定部１３６は、すべての人物について処理済みかを判定する。未処理の人物がある場合、処理がステップＳ８１に進められ、未処理の人物の１人が選択される。一方、すべての人物について処理済みの場合、個人挙動判定処理が終了する。
【0152】
以上の処理により、各人物について、本人が決まってとる挙動の挙動パターンについての挙動特徴量が個人挙動特徴量として個人挙動ＤＢ１１７に登録される。
図２８は、個人挙動ＤＢのデータ構成例を示す図である。図２８に示すように、個人挙動ＤＢ１１７には、人物ごとのテーブル１１７ａが登録される。テーブル１１７ａには、人物ＩＤと、本人が決まってとる挙動に対応する挙動パターンの数とが対応付けられる。また、テーブル１１７ａには、日時、挙動パターンＩＤおよび個人挙動特徴量を含むレコードが登録される。このレコードには、挙動ＤＢ１１４の対応するレコードの内容がそのまま登録される。
図２８は、個人挙動ＤＢのデータ構成例を示す図である。図２８に示すように、個人挙動ＤＢ１１７には、人物ごとのテーブル１１７ａが登録される。テーブル１１７ａには、人物ＩＤと、本人が決まってとる挙動に対応する挙動パターンの数とが対応付けられる。また、テーブル１１７ａには、日時、挙動パターンＩＤおよび個人挙動特徴量を含むレコードが登録される。このレコードには、挙動ＤＢ１１４の対応するレコードの内容がそのまま登録される。
【0153】
図２９は、実施形態２－２における基準挙動定義処理の手順を示すフローチャートの例である。この図２９では、図１２と同様の処理には同じステップ番号を記載している。図２９に示す基準挙動定義処理では、図１２のステップＳ３２，Ｓ３３の代わりにそれぞれステップＳ３２ａ，Ｓ３３ａが実行される。
【0154】
［ステップＳ３２ａ］基準挙動定義部１３３は、個人挙動ＤＢ１１７から、選択された挙動パターンについての個人挙動特徴量を取得する。この処理では、人物ＩＤに関係なく、該当する挙動パターンについての個人挙動特徴量が取得される。
【0155】
［ステップＳ３３ａ］基準挙動定義部１３３は、個人挙動ＤＢ１１７から該当する挙動パターンについてのすべての個人挙動特徴量を取得済みかを判定する。未取得の個人挙動特徴量がある場合、処理がステップＳ３２ａに進められ、該当する挙動パターンについての個人挙動特徴量のうち、未取得の個人挙動特徴量の１つが取得される。一方、すべての個人挙動特徴量を取得済みの場合、処理がステップＳ３４に進められる。
【0156】
なお、ステップＳ３４では、ステップＳ３２ａで個人挙動ＤＢ１１７から取得された個人挙動特徴量に基づいて基準挙動特徴量が算出される。
図３０は、実施形態２－２における挙動差異算出処理の手順を示すフローチャートの例である。この図３０では、図１４と同様の処理には同じステップ番号を記載している。図３０に示す挙動差異算出処理では、図１４のステップＳ４２，Ｓ４３の代わりにそれぞれステップＳ４２ａ，Ｓ４３ａが実行される。
図３０は、実施形態２－２における挙動差異算出処理の手順を示すフローチャートの例である。この図３０では、図１４と同様の処理には同じステップ番号を記載している。図３０に示す挙動差異算出処理では、図１４のステップＳ４２，Ｓ４３の代わりにそれぞれステップＳ４２ａ，Ｓ４３ａが実行される。
【0157】
［ステップＳ４２ａ］挙動差異算出部１３４は、個人挙動ＤＢ１１７を参照し、ステップＳ４１で選択された人物の人物ＩＤに対応付けられた挙動パターンの中から１つを選択する。
【0158】
［ステップＳ４３ａ］挙動差異算出部１３４は、個人挙動ＤＢ１１７から、ステップＳ４２ａで選択された挙動パターンに対応する個人挙動特徴量を取得する。
なお、ステップＳ４４では、ステップＳ４３ａで個人挙動ＤＢ１１７から取得された個人挙動特徴量と、基準挙動特徴量との差分が、特徴量差分値として算出される。
なお、ステップＳ４４では、ステップＳ４３ａで個人挙動ＤＢ１１７から取得された個人挙動特徴量と、基準挙動特徴量との差分が、特徴量差分値として算出される。
【0159】
また、判定用特徴量算出部１３５の処理手順は図１６と同様であるが、ステップＳ５２で選択される挙動パターンの数は実施形態２－１より少なくなる可能性があり、その結果として、判定用特徴量ＤＢ１１２に登録される判定用特徴量が実施形態２－１の場合とは異なるものになり得る。すなわち、実施形態２－２では、実施の形態２－１で登録された判定用特徴量のうち、本人が決まってとる挙動にも該当する判定用特徴量のみが判定用特徴量ＤＢ１１２に登録される。
【0160】
また、判定用特徴量算出部１３５の処理では、図１６のステップＳ５５において、挙動ＤＢ１１４の代わりに個人挙動ＤＢ１１７から挙動特徴量が取得されてもよい。これにより、ＤＢからの該当特徴量の検索対象のレコード数が少なくなり、処理時間が短縮される。
【0161】
以上の図３０の処理により、挙動差異ＤＢ１１６には、本人が決まってとる挙動に対応する挙動パターンについてのみ、特徴量差分値が算出される。したがって、判定用特徴量ＤＢ１１２は、本人が決まってとる挙動のうち、他人との差異が大きい挙動に対応する挙動パターンを閾値判定によって特定し、特定された挙動パターンの挙動特徴量を判定用特徴量として判定用特徴量ＤＢ１１２に登録することになる。
【0162】
＜実施の形態２－３＞
実施形態２－３は、上記の実施形態２－１または実施形態２－２における制御サーバ１００の処理の一部を変形したものである。
実施形態２－３は、上記の実施形態２－１または実施形態２－２における制御サーバ１００の処理の一部を変形したものである。
【0163】
図３１は、実施形態２－３に係る制御サーバが備える処理機能の構成例を示す図である。図３１に示すように、実施形態２－３に係る制御サーバ１００において、なりすまし判定部１４０は、挙動提示部１４５をさらに備える。挙動提示部１４５は、判定対象の人物が通話中の通話端末に対して、挙動比較部１４３で比較される各挙動パターンの挙動を行うように人物に指示する指示情報を出力する。
【0164】
なお、図３１では、図２１に示した実施形態２－２におけるなりすまし判定部１４０に挙動提示部１４５を追加した構成を示したが、図７に示した実施形態２－１におけるなりすまし判定部１４０に挙動提示部１４５を追加することもできる。
【0165】
図３２は、実施形態２－３におけるなりすまし判定処理の手順を示すフローチャートの例である。実施形態２－３におけるなりすまし判定処理では、図１８のステップＳ６１～Ｓ６４の代わりに図３２のステップＳ９１～Ｓ９５の処理が実行される。
【0166】
［ステップＳ９１］挙動提示部１４５は、判定用特徴量ＤＢ１１２から、判定対象の人物の人物ＩＤに対応付けられた挙動パターンＩＤ（すなわち、本人らしい挙動を示す挙動パターンの挙動パターンＩＤ）をすべて取得する。また、挙動抽出部１４１は、ビデオ通話制御部１２０からの動画像データの取得を開始する。
【0167】
［ステップＳ９２］挙動提示部１４５は、ステップＳ９１で取得した挙動パターンの１つを選択する。挙動提示部１４５は、選択された挙動パターンの挙動を行うように判定対象の人物に指示する指示情報を、動画像データの送信元の通話端末に送信する。この指示情報により、通話端末は、例えば、画像表示や音声出力によって、選択された挙動パターンの挙動を行うように通話中の人物に促す。一例として、「頭を横に傾ける」という挙動を促す場合、「頭を横に傾けてください」という音声を出力する。また、通話端末は、その人物が該当する挙動をとるように、画像表示や音声出力によって誘導してもよい。例えば、通話端末は、該当する挙動が行われるような質問を出力することで、その挙動をとるように誘導する。
【0168】
［ステップＳ９３］挙動抽出部１４１は、図８のステップＳ１２～Ｓ１７と同様の手順で、入力された動画像データの各フレームから画像認識によって特徴量を抽出し、特徴量を基に時系列特徴量を算出する。
【0169】
［ステップＳ９４］挙動判定部１４２は、算出された時系列特徴量を基に、定義挙動ＤＢ１１３内の定義挙動特徴量と比較することで、いずれかの挙動パターンに合致する挙動を検出する。挙動判定部１４２は、時系列特徴量がステップＳ９２で選択された挙動パターンの定義挙動特徴量と一致した場合に、時系列特徴量を基にその挙動パターンに対応する挙動特徴量を算出し、挙動パターンＩＤに対応付けて記憶装置（ＲＡＭ１０２など）に記録する。
【0170】
［ステップＳ９５］挙動提示部１４５は、ステップＳ９１で取得したすべての挙動パターンについての挙動特徴量を記憶装置に記録したかを判定する。挙動特徴量が未記録の挙動パターンがある場合、処理がステップＳ９２に進められ、該当する挙動パターンの中から１つが選択される。一方、該当するすべての挙動パターンについての挙動特徴量を記録済みの場合、処理が図１９のステップＳ６５に進められ、記憶された挙動特徴量を用いて処理が実行される。
【0171】
以上の実施形態２－３では、挙動比較部１４３で比較される各挙動パターンの挙動を行うように人物に指示する指示情報が出力されることで、判定のために必要な挙動パターンの挙動特徴量をより確実に取得できるようになる。その結果、なりすまし判定精度を高めることが可能となる。
【0172】
なお、上記の第２の実施の形態（実施形態２－１～２－３）では、本人らしい挙動との差異に基づいて「判定対象の人物が本人か否か」を判定していた。しかし、本人らしい挙動との差異が大きい場合としては、本人が通常時とは異なる異常な挙動を行っている場合もあり得る。このような異常な挙動は、例えば、本人が病気である場合や、本人が脅迫されている場合、本人が隠し事をしている場合などに見られる可能性がある。このため、上記の判定処理手順を、本人の挙動が正常か異常かの判定に用いることも可能である。また、例えば、挙動パターンごとに異なる判定基準（図１９のステップＳ６９での閾値）を用いることで、異常な挙動の種類を判定することもできる。
【0173】
また、上記の第２の実施の形態では、通話端末で撮影された動画像データから画像認識によって身体部位の動きが検出され、その検出結果を用いて人物が本人か否かを判定していた。しかし、例えば、通話端末で収音された音声データから、音声認識によって話し方の癖や会話のレスポンスなどを検出し、その検出結果を上記の動画像データに基づく検出結果と組み合わせて、人物が本人か否かの判定処理が行われてもよい。
【0174】
また、第２の実施の形態で示した処理による判定結果と、動画像データからフェイクの顔画像を検出する既存の処理による判定結果とを組み合わせて、人物が本人か否かを示す最終的な判定結果が出力されてもよい。
【0175】
また、上記の第２の実施の形態では、通話中の通話端末からの動画像データを用いてリアルタイムで判定処理を行ったが、他の例として、判定対象の動画像データを記憶装置にあらかじめ記憶しておき、その記憶装置から取得した動画像データに対して上記の判定処理が実行されてもよい。
【0176】
なお、上記の各実施の形態に示した装置（例えば、判定装置１、制御サーバ１００）の処理機能は、コンピュータによって実現することができる。その場合、各装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、磁気テープなどがある。光ディスクには、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク（Blu-ray Disc：ＢＤ、登録商標）などがある。
【0177】
プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【0178】
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムにしたがった処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムにしたがった処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムにしたがった処理を実行することもできる。
【符号の説明】
【0179】
１ 判定装置
２ 入力画像
３，４ データ群
Ｓ１～Ｓ６ ステップ
ＴＰ１～ＴＰ８ 種類
２ 入力画像
３，４ データ群
Ｓ１～Ｓ６ ステップ
ＴＰ１～ＴＰ８ 種類
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】