知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-08
(45)【発行日】2024-05-16
(54)【発明の名称】通信端末、通信システム、通信方法、及びプログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20240509BHJP
H04Q 9/00 20060101ALI20240509BHJP
H04M 1/00 20060101ALI20240509BHJP
H04N 23/611 20230101ALI20240509BHJP
H04N 7/18 20060101ALI20240509BHJP
【ＦＩ】
H04N23/60 300
H04Q9/00 311J
H04M1/00 U
H04N23/611
H04N7/18 U
【請求項の数】
8
(21)【出願番号】P 2019137065
(22)【出願日】2019-07-25
(65)【公開番号】P2020025258
(43)【公開日】2020-02-13
【審査請求日】2022-05-18
(31)【優先権主張番号】P 2018143865
(32)【優先日】2018-07-31
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】加藤 喜永
【審査官】堀井 康司
(56)【参考文献】
【文献】特開２００３－１１６１３９（ＪＰ，Ａ）
【文献】特開２０１６－２０１７５６（ＪＰ，Ａ）
【文献】特開２００７－０１１７２３（ＪＰ，Ａ）
【文献】特開２０１７－２０４８２５（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１７／０３７２４８５（ＵＳ，Ａ１）
【文献】特開２０００－０２０８５７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／６０
Ｈ０４Ｎ ２３／６１１
Ｈ０４Ｑ ９／００
Ｈ０４Ｍ １／００
Ｈ０４Ｎ ７／１８
(57)【特許請求の範囲】
【請求項1】
他の装置が画像の照合を行うために、物体の所定部分の画像データを送信する通信端末であって、
前記他の装置が受信するように、第１の時点における第１の物体の所定部分の画像データを送信する送信手段と、
光源に対して発光の制御を行う発光制御手段と、
前記発光制御手段による制御により前記光源から光が出射されてから、当該光の反射光が受光されるまでの時間により、前記通信端末から前記物体までの距離を計測する距離計測手段と、
を有し、
前記第１の時点における第１の物体の位置を示す第１の位置と、前記第１の時点より所定時間後の第２の時点における第２の物体の位置を示す第２の位置との間の距離が、所定以下又は所定未満である場合には、前記送信手段は、前記第２の物体の所定部分の画像データを送信しないこと、および、
前記第２の時点における第２の物体において所定距離以上の差が生じた場合には、前記第２の物体は複数の物体であるとして、当該複数の物体のそれぞれの第２の時点における位置と当該複数の物体のそれぞれの第１の時点における物体の位置との距離の少なくとも一方が、所定以下又は所定未満である場合には、前記送信手段は、前記少なくとも一方に係る前記第２の物体の所定部分の画像データを送信しないこと、
を特徴とする通信端末。
【請求項2】
前記第２の時点における前記第２の物体の位置が、照合可能範囲の外になった場合には、前記送信手段は、前記第２の物体の所定部分の画像データを送信しないことを特徴とする請求項１に記載の通信端末。
【請求項3】
前記第１の時点における前記第１の物体の位置が、照合可能範囲の内に入った場合に、前記送信手段は、前記第１の物体の所定部分の画像データを送信することを特徴とする請求項１又は２に記載の通信端末。
【請求項4】
請求項２又は３に記載の通信端末であって、前記照合可能範囲の内に物体が入った回数をカウントする算出手段を有し、
前記送信手段は、物体の照合結果を表示する表示端末が受信するように、前記算出手段によるカウント数を送信することを特徴とする通信端末。
【請求項5】
前記送信手段は、前記物体の所定部分のデータを符号化した前記画像データを送信することを特徴とする請求項１乃至４のいずれか一項に記載の通信端末。
【請求項6】
請求項１乃至５のいずれか一項に記載の通信端末と、前記他の装置と、
を有する通信システム。
【請求項7】
他の装置が画像の照合を行うために、物体の所定部分の画像データを送信する通信端末が実行する通信方法であって、前記通信端末は、
前記他の装置が受信するように、第１の時点における第１の物体の所定部分の画像データを送信する送信ステップと、
光源に対して発光の制御を行う発光制御ステップと、
前記発光制御ステップによる制御により前記光源から光が出射されてから、当該光の反射光が受光されるまでの時間により、前記通信端末から前記物体までの距離を計測する距離計測ステップと、
を実行し、
前記第１の時点における第１の物体の位置を示す第１の位置と、前記第１の時点より所定時間後の第２の時点における第２の物体の位置を示す第２の位置との間の距離が、所定以下又は所定未満である場合には、前記送信ステップは、前記第２の物体の所定部分の画像データを送信しない処理、および、
前記第２の時点における第２の物体において所定距離以上の差が生じた場合には、前記第２の物体は複数の物体であるとして、当該複数の物体のそれぞれの第２の時点における位置と当該複数の物体のそれぞれの第１の時点における物体の位置との距離の少なくとも一方が、所定以下又は所定未満である場合には、前記送信ステップは、前記少なくとも一方に係る前記第２の物体の所定部分の画像データを送信しない処理、
を含むことを特徴とする通信方法。
【請求項8】
コンピュータに、請求項７に記載の通信方法を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示内容は、通信端末、通信システム、通信方法、及びプログラムに関する。
【背景技術】
【0002】
近年、Web API(Application Programming Interface)の収益モデルの１つにWeb APIを使うときに料金を徴収する「課金モデル」がある。単価を低く設定する必要はあるが、使用回数が増加すれば一定の収益を期待できるため、主流モデルの一つとして既に知られている。
【0003】
また、従来、Web APIを利用して、カメラを備えた通信端末が人等の物体を撮影し、物体の移動等による変化が生じた場合に、撮影画像データをサーバに送信すると共に物体認証を要求し、通信端末はサーバから認識結果を受信する技術が開示されている（特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、従来の技術では、撮影対象に変化が生じる度に、通信端末がサーバに撮影画像データ及び認識要求を送信していたため、通信端末で同じ物体が撮影された場合には、撮影画像データ及び認識要求の送信が無駄になり、場合によっては無駄な通信料が発生してしまうという課題が生じていた。
【課題を解決するための手段】
【0005】
請求項１に係る発明は、物体の所定部分の画像データを送信することで、他の装置に画像の照合を行わせる通信端末であって、第１の時点における第１の物体の所定部分の画像データを送信する送信手段と、光源に対して発光の制御を行う発光制御手段と、前記発光制御手段による制御により前記光源から光が出射されてから、当該光の反射光が受光されるまでの時間により、前記通信端末から前記物体までの距離を計測する距離計測手段と、を有し、前記第１の時点における第１の物体の位置を示す第１の位置と、前記第１の時点より所定時間後の第２の時点における第２の物体の位置を示す第２の位置との間の距離が、所定以下又は所定未満である場合には、前記送信手段は、前記第２の物体の所定部分の画像データを送信しないこと、および、前記第２の時点における第２の物体において所定距離以上の差が生じた場合には、前記第２の物体は複数の物体であるとして、当該複数の物体のそれぞれの第２の時点における位置と当該複数の物体のそれぞれの第１の時点における物体の位置との距離の少なくとも一方が、所定以下又は所定未満である場合には、前記送信手段は、前記少なくとも一方に係る前記第２の物体の所定部分の画像データを送信しないこと、を特徴とする通信端末である。
【発明の効果】
【0006】
以上説明したように本発明によれば、撮影対象の状況に応じて、認識要求などを実施することで、処理に伴う時間や金銭を抑制することができるという効果を奏する。
【図面の簡単な説明】
【0007】
【図1】本実施形態に係る通信システムの概略図である。
【図2】実時間データ処理端末のハードウェア構成図である。
【図3】撮像ユニットのハードウェア構成図である。
【図5】近端末データ処理装置又は分散データ処理端末のハードウェア構成図である。
【図6】集中データ処理サーバのハードウェア構成図である。
【図7】画像取得端末における実時間データ処理端末及び近端末データ処理装置のソフトウェア構成図である。
【図8】通信システムの機能ブロック図である。
【図9】通信システムの機能ブロック図である。
【図10】（ａ）は撮像素子情報管理テーブルの概念図、（ｂ）はサイクル値管理テーブルの概念図である。
【図11】（ａ）は画像取得プログラム管理テーブルの概念図、（ｂ）は合成処理プログラム管理テーブルの概念図、（ｃ）は歪み補正プログラム管理テーブルの概念図、（ｄ）はサービスプログラム管理テーブルの概念図である。
【図12】照合データ管理テーブルの概念図である。
【図13】セッション管理テーブルの概念図である。
【図14】物体情報管理テーブルの概念図である。
【図15】物体変位管理テーブルの概念図である。
【図16】端末ＩＤの概念図である。
【図17】認証サーバ管理テーブルの概念図である。
【図18】認証管理テーブルの概念図である。
【図19】認証処理を示したシーケンス図である。
【図20】認証処理を示したシーケンス図である。
【図21】分散データ処理端末の画面例を示す図である。
【図22】分散データ処理端末の画面例を示す図である。
【図23】画像認識の開始要求の処理を示したシーケンス図である。
【図24】実時間データ処理端末の実時間処理の準備処理を示したシーケンス図である。
【図25】プログラムの取得処理を示したシーケンス図である。
【図26】画像認識の処理を示したシーケンス図である。
【図27】実時間処理のうちの物体検出の処理を示したフローチャートである。
【図28】実時間処理のうちのイベント生成の処理を示したフローチャートである。
【図29】実時間処理のうちのイベント生成の処理を示したフローチャートである。
【図30】照合する処理を示したシーケンス図である。
【図31】照合処理を示したフローチャートである。
【図32】分散データ処理端末における撮像画像の表示例を示した図である。
【図34】表示更新要求の処理を示したシーケンス図である。
【図36】第３の実施形態に係り、（ａ）は図３（ａ）にLiDARの機構を搭載した撮像ユニットのハードウェア構成図、図３６（ｂ）は図３（ｂ）にLiDARの機構を搭載した撮像ユニットのハードウェア構成図である。
【図37】第３の実施形態に係り、通信システムの機能ブロック図のうちの実時間データ処理端末の変形例である。
【発明を実施するための形態】
【0008】
●第１の実施形態
まずは、本発明の第１の実施形態について説明する。
まずは、本発明の第１の実施形態について説明する。
【0009】
〔全体概略〕
以下、図面を用いて、本発明の一実施形態の全体の概略について説明する。本実施形態は、エッジコンピューティングを実現する通信システムを開示している。即ち、本実施形態は、サービス提供サーバ８での処理及び画像取得端末２での処理の協同により、画像取得端末２でサービス提供サーバ８から提供されるサービスを実現する発明を開示している。
以下、図面を用いて、本発明の一実施形態の全体の概略について説明する。本実施形態は、エッジコンピューティングを実現する通信システムを開示している。即ち、本実施形態は、サービス提供サーバ８での処理及び画像取得端末２での処理の協同により、画像取得端末２でサービス提供サーバ８から提供されるサービスを実現する発明を開示している。
【0010】
＜＜実施形態の全体構成＞＞
図1は、本実施形態に係る通信システムの概略図である。図1に示されているように、本実施形態の通信システムは、実時間データ処理端末３ａ、近端末データ処理装置５、分散データ処理端末６、集中データ処理サーバ７、サービス提供サーバ８、及び認証サーバ９ａ，９ｂ，９ｃによって構築されている。なお、実時間データ処理端末３ａ、近端末データ処理装置５、及び分散データ処理端末６によって、分散処理システム１００が構築されている。
図1は、本実施形態に係る通信システムの概略図である。図1に示されているように、本実施形態の通信システムは、実時間データ処理端末３ａ、近端末データ処理装置５、分散データ処理端末６、集中データ処理サーバ７、サービス提供サーバ８、及び認証サーバ９ａ，９ｂ，９ｃによって構築されている。なお、実時間データ処理端末３ａ、近端末データ処理装置５、及び分散データ処理端末６によって、分散処理システム１００が構築されている。
【0011】
近端末データ処理装置５は、イントラネット２００を介して分散データ処理端末６と通信可能に接続されている。分散データ処理端末６は、インターネット６００を介して、集中データ処理サーバ７、サービス提供サーバ８、及び認証サーバ９ａ，９ｂ，９ｃと通信可能に接続されている。なお、認証サーバ９は、認証サーバ９ａ，９ｂ，９ｃの総称である。
【0012】
これらのうち、実時間データ処理端末３ａは、撮像画像のデータを得るための実時間処理（リアルタイムの処理）を行なう端末である。実時間データ処理端末３ａには、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの被写体を撮像する画像センサを備えた撮像ユニット４０が着脱自在に接続される。これにより、実時間データ処理端末３ａは、撮像ユニット４０から入力された撮像画像のデータ（以下、「撮像画像データ」という）をデジタル化し、実時間（たとえば１／６０秒ごと）で物体（ここでは、顔）の画像を検出する。実時間データ処理端末３ａは、撮像画像のうちの物体部分の領域である部分画像のデータ（以下、「部分画像データ」という）を近端末データ処理装置５に送信する。
【0013】
近端末データ処理装置５は、実時間データ処理端末３ａに最も近いところに配置され、例えばハードウェア的にも密接にデータバスやＵＳＢ(Universal Serial Bus)等で1対1に接続されている。近端末データ処理装置５は、実時間データ処理端末３ａから受信した部分画像データをＪＰＥＧ(Joint Photographic Experts Group)などの汎用的なフォーマットに符号化した後、顔画像の照合が行なわれる場合の被照合データとして、イントラネット２００を介して分散データ処理端末６に送信する。なお、通常、実時間データ処理端末３ａと近端末データ処理装置５は接続されて一体になっており、ここでは、実時間データ処理端末３ａと近端末データ処理装置５とで画像取得端末２を構成している。
【0014】
分散データ処理端末６は、近端末データ処理装置５に比較的近い位置で利用者によって利用され、利用者の各種操作を受け付けることが可能なコンピュータである。分散データ処理端末６は、予め、顔画像の照合が行なわれる場合の照合データを登録して保存している。分散データ処理端末６は、インターネット６００を介して、集中データ処理サーバ７に、照合データと被照合データとの照合を要求することができる。この場合、分散データ処理端末６は、近端末データ処理装置５から受信した被照合データ、及び予め登録している照合データも送信する。更に、分散データ処理端末６は、集中データ処理サーバ７から、照合結果を示す照合結果情報を応答として受信することができる。また、分散データ処理端末６は、グラフィックインターフェースを介して照合結果を表示させることができる。
【0015】
集中データ処理サーバ７は、近端末データ処理装置５から比較的遠い位置に設置されており、分散データ処理端末６とはインターネット６００等の通信ネットワークを介して通信することができる。集中データ処理サーバ７は、照合要求を示す照合要求情報並びに照合データ及び被照合データを受信した場合、照合データ及び被照合データの照合を行い、類似度を判断する。そして、集中データ処理サーバ７は、分散データ処理端末６に対して、類似度を含んだ照合結果を示す照合結果情報を送信する。
【0016】
サービス提供サーバ８は、画像取得端末２に対して、各種サービスを提供するサーバである。
【0017】
認証サーバ９ａは、画像取得端末２がサービス提供サーバ８からサービスを受けられる正当な権限があるか否かを判断するためにＩＤの認証を行なう。認証サーバ９ｂ，９ｃも同様である。
【0018】
【0019】
＜実時間データ処理端末のハードウェア構成＞
図２は、実時間データ処理端末のハードウェア構成図である。実時間データ処理端末３ａは、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＥＥＰＲＯＭ３０４、ＣＭＯＳセンサ３０５、加速度・方位センサ３０６、メディアＩ／Ｆ３０８、ＧＰＳ受信部３０９を備えている。
図２は、実時間データ処理端末のハードウェア構成図である。実時間データ処理端末３ａは、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＥＥＰＲＯＭ３０４、ＣＭＯＳセンサ３０５、加速度・方位センサ３０６、メディアＩ／Ｆ３０８、ＧＰＳ受信部３０９を備えている。
【0020】
これらのうち、ＣＰＵ３０１は、実時間データ処理端末３ａ全体の動作を制御する。ＲＯＭ３０２は、ＣＰＵ３０１の駆動に用いられるプログラムを記憶する。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される。ＥＥＰＲＯＭ３０４は、ＣＰＵ３０１の制御にしたがって、実時間データ処理端末用プログラム等の各種データの読み出し又は書き込みを行う。ＣＭＯＳセンサ３０５は、ＣＰＵ３０１の制御に従って被写体（主に撮像ユニット４０の死角）を撮像して、撮影画像データを得る。加速度・方位センサ３０６は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ３０８は、フラッシュメモリ等の記録メディア３０７に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部３０９は、ＧＰＳ衛星からＧＰＳ信号を受信する。
【0021】
また、実時間データ処理端末３ａは、撮像ユニットＩ／Ｆ３１３、マイク３１４、スピーカ３１５、音入出力Ｉ／Ｆ３１６、ディスプレイ３１７、外部機器接続Ｉ／Ｆ３１８、及びタッチパネル３２１を備えている。
【0022】
これらのうち、撮像ユニットＩ／Ｆ３１３は、外付けの撮像ユニット４０が接続された場合に、撮像ユニット４０の駆動を制御する回路である。マイク３１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ３１６は、ＣＰＵ３０１の制御に従ってマイク３１４及びスピーカ３１５との間で音信号の入出力を処理する回路である。ディスプレイ３１７は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬなどの表示手段の一種である。外部機器接続Ｉ／Ｆ３１８は、各種の外部機器を接続するためのインターフェースである。タッチパネル３２１は、利用者がディスプレイ３１７を押下することで、実時間データ処理端末３ａを操作する入力手段の一種である。
【0023】
また、実時間データ処理端末３ａは、バスライン３１０を備えている。バスライン３１０は、図２に示されているＣＰＵ３０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0024】
＜撮像ユニットのハードウェア構成＞
図３は、撮像ユニットのハードウェア構成図である。特に、図３（ａ）は、撮像ユニット４０のうち、単眼の撮像ユニット４０ａのハードウェア構成図である。図３（ｂ）は、撮像ユニット４０のうち、複眼の撮像ユニット４０ｂのハードウェア構成図である。なお、撮像ユニット４０は、撮像素子の数が異なる複数種類の撮像ユニット（撮像ユニット４０ａ、４０ｂ等）の総称である。
図３は、撮像ユニットのハードウェア構成図である。特に、図３（ａ）は、撮像ユニット４０のうち、単眼の撮像ユニット４０ａのハードウェア構成図である。図３（ｂ）は、撮像ユニット４０のうち、複眼の撮像ユニット４０ｂのハードウェア構成図である。なお、撮像ユニット４０は、撮像素子の数が異なる複数種類の撮像ユニット（撮像ユニット４０ａ、４０ｂ等）の総称である。
【0025】
図３（ａ）に示されているように、撮像ユニット４０ａは、ＣＭＯＳやＣＣＤ等の撮像素子４０１ａ、レンズ４０２ａ、及び実時間データ処理端末３ａの撮像ユニットＩ／Ｆ３１３に電気的に接続するための接続Ｉ／Ｆ４０８ａを有している。撮像ユニット４０ａが実時間データ処理端末３ａの撮像ユニットＩ／Ｆ３１３に接続された場合には、撮像素子４０１ａは、撮像ユニットＩ／Ｆ３１３から接続Ｉ／Ｆ４０８ａを介して送られて来た撮像制御信号により撮像を行い、接続Ｉ／Ｆ４０８ａを介して撮像ユニットＩ／Ｆ３１３に撮像画像データを送信する。
【0026】
また、図３（ｂ）に示されているように、撮像ユニット４０ｂは、ＣＭＯＳやＣＣＤ等の撮像素子４０１ｂ１，４０１ｂ２、レンズ４０２ｂ１，４０２ｂ２、及び実時間データ処理端末３ａの撮像ユニットＩ／Ｆ３１３に電気的に接続するための接続Ｉ／Ｆ４０８ｂを有している。レンズ４０２ｂ１，４０２ｂ２は、例えば、魚眼レンズである。撮像ユニット４０ａが実時間データ処理端末３ａの撮像ユニットＩ／Ｆ３１３に接続された場合には、撮像素子４０１ａは、撮像ユニットＩ／Ｆ３１３から接続Ｉ／Ｆ４０８ａを介して送られて来た撮像制御信号により撮像を行い、接続Ｉ／Ｆ４０８ｂを介して撮像ユニットＩ／Ｆ３１３に、複数の撮像画像データを送信する。
【0027】
図３（ａ）に示されている撮像ユニット４０ａは、一般の平面画像を得るが、図３（ｂ）に示されている撮像ユニット４０ｂは、全天球画像を得ることができる。ここで、図４を用いて、撮像ユニット４０ｂで撮像された画像から正距円筒射影画像ＥＣが作成されるまでの処理の概略を説明する。なお、図４（ａ）は撮像ユニット４０ｂで撮影された半球画像（前側）、図４（ｂ）は撮像ユニット４０ｂで撮影された半球画像（後側）、図４（ｃ）は正距円筒図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。
【0028】
図４（ａ）に示されているように、撮像素子４０１ｂ１によって得られた画像は、レンズ４０２ｂ１によって湾曲した半球画像（前側）となる。また、図４（ｂ）に示されているように、撮像素子４０３ｂによって得られた画像は、レンズ４０２ｂ２によって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは合成され、図４（ｃ）に示されているように、正距円筒射影画像ＥＣが作成される。
【0029】
＜近端末データ処理装置、分散データ処理端末のハードウェア構成＞
図５は、近端末データ処理装置又は分散データ処理端末のハードウェア構成図である。ここでは、近端末データ処理装置５と分散データ処理端末６とは、同じハードウェア構成を備えている場合を示しているため、近端末データ処理装置５について説明し、分散データ処理端末６の説明は省略する。
図５は、近端末データ処理装置又は分散データ処理端末のハードウェア構成図である。ここでは、近端末データ処理装置５と分散データ処理端末６とは、同じハードウェア構成を備えている場合を示しているため、近端末データ処理装置５について説明し、分散データ処理端末６の説明は省略する。
【0030】
図５に示されているように、近端末データ処理装置５は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＥＥＰＲＯＭ５０４、ＣＭＯＳセンサ５０５、加速度・方位センサ５０６、メディアＩ／Ｆ５０８、ＧＰＳ受信部５０９を備えている。
【0031】
これらのうち、ＣＰＵ５０１は、近端末データ処理装置５全体の動作を制御する。ＲＯＭ５０２は、ＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＥＥＰＲＯＭ５０４は、ＣＰＵ５０１の制御にしたがって、近端末データ処理装置用プログラム等の各種データの読み出し又は書き込みを行う。ＣＭＯＳセンサ５０５は、ＣＰＵ５０１の制御に従って被写体（主に近端末データ処理装置５を操作するユーザの自画像）を撮像し、撮影画像データを得る。加速度・方位センサ５０６は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ５０８は、フラッシュメモリ等の記録メディア５０７に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部５０９は、ＧＰＳ衛星からＧＰＳ信号を受信する。
【0032】
また、近端末データ処理装置５は、遠距離通信回路５１１、遠距離通信回路５１１のアンテナ５１１ａ、カメラ５１２、撮像素子Ｉ／Ｆ５１３、マイク５１４、スピーカ５１５、音入出力Ｉ／Ｆ５１６、ディスプレイ５１７、外部機器接続Ｉ／Ｆ５１８、近距離通信回路５１９、近距離通信回路５１９のアンテナ５１９ａ、及びタッチパネル５２１を備えている。
【0033】
これらのうち、遠距離通信回路５１１は、イントラネット２００を介して、他の機器と通信する回路である。カメラ５１２は、ＣＰＵ５０１の制御に従って被写体を撮像して、撮影画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ５１３は、カメラ５１２の駆動を制御する回路である。マイク５１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ５１６は、ＣＰＵ５０１の制御に従ってマイク５１４及びスピーカ５１５との間で音信号の入出力を処理する回路である。ディスプレイ５１７は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬなどの表示手段の一種である。外部機器接続Ｉ／Ｆ５１８は、各種の外部機器を接続するためのインターフェースである。近距離通信回路５１９は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。タッチパネル５２１は、利用者がディスプレイ５１７を押下することで、近端末データ処理装置５を操作する入力手段の一種である。
【0034】
また、近端末データ処理装置５は、バスライン５１０を備えている。バスライン５１０は、図５に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0035】
＜集中データ処理サーバ、サービス提供サーバ、認証サーバのハードウェア構成＞
図６は、集中データ処理サーバ、サービス提供サーバ、又は認証サーバのハードウェア構成図である。ここでは、集中データ処理サーバ７、サービス提供サーバ８、及び認証サーバ９は、同じハードウェア構成を備えている場合を示しているため、集中データ処理サーバ７について説明し、サービス提供サーバ８及び認証サーバ９の説明は省略する。
図６は、集中データ処理サーバ、サービス提供サーバ、又は認証サーバのハードウェア構成図である。ここでは、集中データ処理サーバ７、サービス提供サーバ８、及び認証サーバ９は、同じハードウェア構成を備えている場合を示しているため、集中データ処理サーバ７について説明し、サービス提供サーバ８及び認証サーバ９の説明は省略する。
【0036】
図６は、集中データ処理サーバのハードウェア構成図である。集中データ処理サーバ７は、コンピュータによって構築されており、図６に示されているように、ＣＰＵ７０１、ＲＯＭ７０２、ＲＡＭ７０３、ＨＤ７０４、ＨＤＤ(Hard Disk Drive)７０５、記録メディア７０６、メディアＩ／Ｆ７０７、ディスプレイ７０８、ネットワークＩ／Ｆ７０９、キーボード７１１、マウス７１２、ＣＤ－ＲＷドライブ７１４、及び、バスライン７１０を備えている。なお、集中データ処理サーバ７は、サーバとして機能するため、キーボード７１１やマウス７１２等の入力装置や、ディスプレイ７０８等の出力装置はなくてもよい。
【0037】
これらのうち、ＣＰＵ７０１は、集中データ処理サーバ７全体の動作を制御する。ＲＯＭ７０２は、ＣＰＵ７０１の駆動に用いられるプログラムを記憶する。ＲＡＭ７０３は、ＣＰＵ７０１のワークエリアとして使用される。ＨＤ７０４は、プログラム等の各種データを記憶する。ＨＤＤ７０５は、ＣＰＵ７０１の制御にしたがってＨＤ７０４に対する各種データの読み出し又は書き込みを制御する。メディアＩ／Ｆ７０７は、フラッシュメモリ等の記録メディア７０６に対するデータの読み出し又は書き込み（記憶）を制御する。ディスプレイ７０８は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。ネットワークＩ／Ｆ７０９は、インターネット６００を利用してデータ通信をするためのインターフェースである。キーボード７１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。マウス７１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＣＤ－ＲＷドライブ７１４は、着脱可能な記録媒体の一例としてのＣＤ－ＲＷ(Compact Disc-ReWritable)７１３に対する各種データの読み出し等を制御する。
【0038】
また、集中データ処理サーバ７は、バスライン７１０を備えている。バスライン７１０は、図６に示されているＣＰＵ７０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0039】
＜＜ソフトウェア構成＞＞
図７は、画像取得端末における実時間データ処理端末及び近端末データ処理装置のソフトウェア構成図である。
図７は、画像取得端末における実時間データ処理端末及び近端末データ処理装置のソフトウェア構成図である。
【0040】
図７に示されているように、実時間データ処理端末３ａは、ＯＳ３００、及び画像認識アプリケーション（以下、「アプリケーション」は「アプリ」と示す）ＡＰ１を有している。画像認識アプリＡＰ１は、実時間データ処理端末３ａのＲＡＭ３０３の作業上で動作する。このうち、ＯＳ３００は、基本的な機能を提供し、実時間データ処理端末３ａ全体を管理する基本ソフトウェアである。画像認識アプリＡＰ１は、撮像画像から人物や動物等の顔を認識するためのアプリである。
【0041】
また、近端末データ処理装置５は、ＯＳ５００、及び通信アプリＡＰ２を有している。通信アプリＡＰ２は、近端末データ処理装置５のＲＡＭ５０３の作業上で動作する。このうち、ＯＳ５００は、基本的な機能を提供し、近端末データ処理装置５全体を管理する基本ソフトウェアである。通信アプリＡＰ２は、分散データ処理端末６等の他の端末（装置）と通信を行うためのアプリである。
【0042】
このように、画像取得端末２では、実時間データ処理端末３ａが画像認識を行うのに対して、近端末データ処理装置５がイントラネット２００を介して分散データ処理端末６と通信を行なうことで、分散処理を行なうことができる。
【0043】
なお、実時間データ処理端末３ａ及び近端末データ処理装置５は、ＯＳだけでなく、ドライバ、ソフトウェア開発キット(SDK)、またはアプリケーションプログラミングインタフェース(API)を搭載しており、それぞれが異なっていてもよい。
【0044】
続いて、図面を用いて、本発明の一実施形態の機能構成及び処理について説明する。
【0045】
＜＜実施形態の機能構成＞＞
まず、図８乃至図１８を用いて、本実施形態に係る通信システムを構成する端末、装置、及びサーバの各機能構成について説明する。図８は、実施形態に係る通信システムの機能ブロック図である。図８は、特に画像取得端末２の機能ブロックを示している。
まず、図８乃至図１８を用いて、本実施形態に係る通信システムを構成する端末、装置、及びサーバの各機能構成について説明する。図８は、実施形態に係る通信システムの機能ブロック図である。図８は、特に画像取得端末２の機能ブロックを示している。
【0046】
＜実時間データ処理端末の機能構成＞
図８に示されているように、実時間データ処理端末３ａは、算出部３１、判断部３３、画像処理部３４、物体検出部３５、イベント生成部３６、表示制御部３７、接続部３８、記憶・読出部３９、及び通信部４８を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ３０４からＲＡＭ３０３上に展開されたプログラムに従ったＣＰＵ３０１からの命令によって、動作することで実現される機能又は手段である。
図８に示されているように、実時間データ処理端末３ａは、算出部３１、判断部３３、画像処理部３４、物体検出部３５、イベント生成部３６、表示制御部３７、接続部３８、記憶・読出部３９、及び通信部４８を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ３０４からＲＡＭ３０３上に展開されたプログラムに従ったＣＰＵ３０１からの命令によって、動作することで実現される機能又は手段である。
【0047】
また、実時間データ処理端末３ａは、図２に示されているＲＯＭ３０２、ＲＡＭ３０３、及びＥＥＰＲＯＭ３０４によって構築される記憶部３０００を有している。記憶部３０００には、後述の形状モデルデータが記憶されている。更に、記憶部３０００には、撮像素子情報管理ＤＢ３００１、サイクル値管理ＤＢ３００２、画像取得プログラム管理ＤＢ３００３、合成処理プログラム管理ＤＢ３００４、歪み補正プログラム管理ＤＢ３００５、及びサービスプログラム管理ＤＢ３００６が構築されている。
【0048】
撮像素子情報管理ＤＢ３００１は、後述の撮像素子情報管理テーブルによって構成されている。サイクル値管理ＤＢ３００２は、後述のサイクル値管理テーブルによって構成されている。画像取得プログラム管理ＤＢ３００３は、後述の画像取得プログラム管理テーブルによって構成されている。合成処理プログラム管理ＤＢ３００４は、後述の合成処理プログラム管理テーブルによって構成されている。歪み補正プログラム管理ＤＢ３００５は、後述の歪み補正プログラム管理テーブルによって構成されている。サービスプログラム管理ＤＢ３００６は、後述のサービスプログラム管理テーブルによって構成されている。
【0049】
（撮像素子情報管理テーブル）
図１０（ａ）は、撮像素子情報管理テーブルを示す概念図である。この撮像素子情報管理テーブルでは、撮像ユニット４０の型番、及び撮像ユニット４０が有する撮像素子の数、及びこの撮像素子に使われるレンズの種類が関連付けて管理されている。なお、型番は、撮像素子の数及びこの撮像素子に使われるレンズの種類の違いに応じた撮像ユニットの種類を示す種類情報の一例である。
図１０（ａ）は、撮像素子情報管理テーブルを示す概念図である。この撮像素子情報管理テーブルでは、撮像ユニット４０の型番、及び撮像ユニット４０が有する撮像素子の数、及びこの撮像素子に使われるレンズの種類が関連付けて管理されている。なお、型番は、撮像素子の数及びこの撮像素子に使われるレンズの種類の違いに応じた撮像ユニットの種類を示す種類情報の一例である。
【0050】
（サイクル値管理テーブル）
図１０（ｂ）は、サイクル値管理テーブルを示す概念図である。このサイクル値管理テーブルでは、撮像ユニット４０が有する撮像素子の数、及び後述の物体認識の処理のサイクル値(Frames Per Second)が関連付けて管理されている。
図１０（ｂ）は、サイクル値管理テーブルを示す概念図である。このサイクル値管理テーブルでは、撮像ユニット４０が有する撮像素子の数、及び後述の物体認識の処理のサイクル値(Frames Per Second)が関連付けて管理されている。
【0051】
図１１に示されている各テーブルは、各プログラムが、実時間データ処理端末３ａにインストールされているか否かを管理するためのテーブルである。
【0052】
（画像取得プログラム管理テーブル）
図１１（ａ）は、画像取得プログラム管理テーブルを示す概念図である。この画像取得プログラム管理テーブルでは、撮像ユニット４０が有する撮像素子の数、及び画像取得プログラム（又はこの名称）が関連付けて管理されている。例えば、撮像素子の数「１」の場合の画像取得プログラムが実時間データ処理端末３ａにインストールされている場合には、プログラム「ProgC01 (1系統の画像取得)」が関連付けて管理されている。撮像素子の数「２」の場合の画像取得プログラムが実時間データ処理端末３ａにインストールされている場合には、プログラム「ProgC02 (２系統の画像取得)」が関連付けて管理されている。
図１１（ａ）は、画像取得プログラム管理テーブルを示す概念図である。この画像取得プログラム管理テーブルでは、撮像ユニット４０が有する撮像素子の数、及び画像取得プログラム（又はこの名称）が関連付けて管理されている。例えば、撮像素子の数「１」の場合の画像取得プログラムが実時間データ処理端末３ａにインストールされている場合には、プログラム「ProgC01 (1系統の画像取得)」が関連付けて管理されている。撮像素子の数「２」の場合の画像取得プログラムが実時間データ処理端末３ａにインストールされている場合には、プログラム「ProgC02 (２系統の画像取得)」が関連付けて管理されている。
【0053】
（合成処理プログラム管理テーブル）
図１１（ｂ）は、合成処理プログラム管理テーブルを示す概念図である。この合成処理プログラム管理テーブルでは、撮像ユニット４０が有する撮像素子の数、及び合成処理プログラムの名称が関連付けて管理されている。
図１１（ｂ）は、合成処理プログラム管理テーブルを示す概念図である。この合成処理プログラム管理テーブルでは、撮像ユニット４０が有する撮像素子の数、及び合成処理プログラムの名称が関連付けて管理されている。
【0054】
（歪み補正プログラム管理テーブル）
図１１（ｃ）は、歪み補正プログラム管理テーブルを示す概念図である。この歪み補正プログラム管理テーブルでは、撮像ユニット４０が有するレンズの種類、及び歪み補正プログラム（又はこの名称）が関連付けて管理されている。例えば、レンズの種類「広角」の場合の歪み補正プログラムが実時間データ処理端末３ａにインストールされている場合には、プログラム「ProgW01（広角歪み補正）」が関連付けて管理されている。レンズの種類「魚眼」の場合の歪み補正プログラムが実時間データ処理端末３ａにインストールされている場合には、プログラム「ProgW02（魚眼歪み補正）」が関連付けて管理されている。
図１１（ｃ）は、歪み補正プログラム管理テーブルを示す概念図である。この歪み補正プログラム管理テーブルでは、撮像ユニット４０が有するレンズの種類、及び歪み補正プログラム（又はこの名称）が関連付けて管理されている。例えば、レンズの種類「広角」の場合の歪み補正プログラムが実時間データ処理端末３ａにインストールされている場合には、プログラム「ProgW01（広角歪み補正）」が関連付けて管理されている。レンズの種類「魚眼」の場合の歪み補正プログラムが実時間データ処理端末３ａにインストールされている場合には、プログラム「ProgW02（魚眼歪み補正）」が関連付けて管理されている。
【0055】
（サービスプログラム管理テーブル）
図１１（ｄ）は、サービスプログラム管理テーブルを示す概念図である。このサービスプログラム管理テーブルでは、認証サーバを識別するための認証サーバＩＤ、及び画像取得端末２が提供されるサービスを実行するためのサービスプログラムの名称が関連付けて管理されている。例えば、認証サーバＩＤ「ａ０１」の場合のサービスプログラムが実時間データ処理端末３ａにインストールされている場合には、プログラム「ProgD01 (物体検出)」が関連付けて管理されている。また、認証サーバＩＤ「ａ０２」の場合のサービスプログラムが実時間データ処理端末３ａにインストールされている場合には、プログラム「ProgD02 (物体計数）」が関連付けて管理されている。
図１１（ｄ）は、サービスプログラム管理テーブルを示す概念図である。このサービスプログラム管理テーブルでは、認証サーバを識別するための認証サーバＩＤ、及び画像取得端末２が提供されるサービスを実行するためのサービスプログラムの名称が関連付けて管理されている。例えば、認証サーバＩＤ「ａ０１」の場合のサービスプログラムが実時間データ処理端末３ａにインストールされている場合には、プログラム「ProgD01 (物体検出)」が関連付けて管理されている。また、認証サーバＩＤ「ａ０２」の場合のサービスプログラムが実時間データ処理端末３ａにインストールされている場合には、プログラム「ProgD02 (物体計数）」が関連付けて管理されている。
【0056】
（物体情報管理テーブル）
図１４は、物体情報管理テーブルを示す概念図である。この物体情報管理テーブルでは、（整理）番号、後述の検出可能範囲Ｐにおける矩形の部分画像の位置、部分画像の幅、部分画像の高さ、及び終了フラグ（ここでは、「＊」）が関連付けて管理されている。部分画像の位置は、矩形の画像の左上端の座標の位置を示している。
図１４は、物体情報管理テーブルを示す概念図である。この物体情報管理テーブルでは、（整理）番号、後述の検出可能範囲Ｐにおける矩形の部分画像の位置、部分画像の幅、部分画像の高さ、及び終了フラグ（ここでは、「＊」）が関連付けて管理されている。部分画像の位置は、矩形の画像の左上端の座標の位置を示している。
【0057】
（物体変位管理テーブル）
図１５は、物体変位管理テーブルを示す概念図である。この物体変位管理テーブルでは、部分画像を識別するための部分画像ＩＤ、この部分画像の検出可能範囲Ｐにおける位置、部分画像の幅、部分画像の高さ、この部分画像が集中データ処理サーバ７で照合される進捗状況を示した照合進捗状況、部分画像で示された人物の名前、及び終了フラグ（ここでは、「＊」）が関連付けて管理されている。これらのうち、部分画像の検出可能範囲Ｐにおける位置、部分画像の幅、及び部分画像の高さは、物体情報管理テーブル（図１４参照）から移行された物体特定情報である。即ち、物体情報管理テーブルにおける情報（位置、幅、高さ）は現在の部分画像を特定するための部分画像特定情報であり、物体変位管理テーブルにおける情報（位置、幅、高さ）は過去の部分画像を特定するための部分画像特定情報である。なお、過去の部分画像は、第１の時点における物体の部分画像である。現在の部分画像は、第１の時点より所定時間後の第２の時点における物体の部分画像である。
図１５は、物体変位管理テーブルを示す概念図である。この物体変位管理テーブルでは、部分画像を識別するための部分画像ＩＤ、この部分画像の検出可能範囲Ｐにおける位置、部分画像の幅、部分画像の高さ、この部分画像が集中データ処理サーバ７で照合される進捗状況を示した照合進捗状況、部分画像で示された人物の名前、及び終了フラグ（ここでは、「＊」）が関連付けて管理されている。これらのうち、部分画像の検出可能範囲Ｐにおける位置、部分画像の幅、及び部分画像の高さは、物体情報管理テーブル（図１４参照）から移行された物体特定情報である。即ち、物体情報管理テーブルにおける情報（位置、幅、高さ）は現在の部分画像を特定するための部分画像特定情報であり、物体変位管理テーブルにおける情報（位置、幅、高さ）は過去の部分画像を特定するための部分画像特定情報である。なお、過去の部分画像は、第１の時点における物体の部分画像である。現在の部分画像は、第１の時点より所定時間後の第２の時点における物体の部分画像である。
【0058】
また、物体情報管理テーブル（図１４参照）における「終了フラグ」は、物体情報管理テーブルにおける任意のレコード内の物体の現在の位置が、物体変位管理テーブル（図１５参照）の各レコード内における物体の過去の位置と所定距離（閾値）内であるかが判断された場合に、判断が終了したことを示すために付される。一方、物体変位管理テーブルにおける「終了フラグ」は、物体情報管理テーブルから移行された部分画像特定情報がある場合に、この部分画像特定情報を含むレコードに付される。
【0059】
（実時間データ処理端末の各機能構成）
次に、図８を用いて、実時間データ処理端末３ａの各機能構成について更に詳細に説明する。
次に、図８を用いて、実時間データ処理端末３ａの各機能構成について更に詳細に説明する。
【0060】
実時間データ処理端末３ａの算出部３１は、ＣＰＵ３０１の処理によって実現され、物体の最新の位置と、物体の過去の位置との距離を算出する。
【0061】
判断部３３は、ＣＰＵ３０１の処理によって実現され、各種判断を行なう。例えば、判断部３３は、撮像ユニット４０から送られて来る型番に基づき、撮像素子情報管理ＤＢ３００１を参考にして、撮像素子の数を判断する。
【0062】
画像処理部３４は、ＣＰＵ３０１の処理によって実現され、図１１に示されている各プログラム（画像取得プログラム、画像合成プログラム、歪み補正プログラム、及びサービスプログラム）の実行により、各種画像処理を行なう。具体的には、画像処理部３４は、取得するために認証が不要な第１のプログラム（例えば、画像取得プログラム、画像合成プログラム、及び歪み補正プログラム）を実行することで、画像データに対して第１の画像処理（例えば、画像取得、画像合成、歪み補正）を行なう。また、画像処理部３４は、取得するために認証が必要な第２のプログラム（例えば、サービスプログラム）を実行することで、画像データに対して第２の画像処理（例えば、物体検出処理、物体計数処理）を行なう。
【0063】
物体検出部３５は、ＣＰＵ３０１の処理によって実現され、画像処理部３４で取得された撮像画像のデータにおいて、顔などの予め決められた特定の物体の候補となる特徴点を検出し、顔などの予め定められた特定の物体の形状モデルを示す形状モデルデータを参照して、撮像画像の中の物体の位置を検出する。
【0064】
イベント生成部３６は、ＣＰＵ３０１の処理によって実現され、物体検出部３５で物体の位置が検出された旨の検出情報（イベント情報）を生成する。
【0065】
表示制御部３７は、ＣＰＵ３０１の処理によって実現され、表示手段の一例であるディスプレイ３１７に各種画面を表示させる。
【0066】
接続部３８は、撮像ユニットＩ／Ｆ３１３、及びＣＰＵ３０１の処理によって実現され、撮像ユニット４０を実時間データ処理端末３ａに機械的及び電気的に接続するためのインターフェースである。
【0067】
記憶・読出部３９は、ＣＰＵ３０１の処理によって実現され、記憶部３０００に各種データ（または情報）を記憶したり、記憶部３０００から各種データ（または情報）を読み出したりする。
【0068】
通信部４８は、外部機器接続Ｉ／Ｆ３１８、及びＣＰＵ３０１の処理によって実現され、1対1の通信を介して近端末データ処理装置５の後述の通信部５８と各種データ（または情報）の送受信を行う。なお、この通信は有線だけでなく無線であってもよい。
【0069】
＜近端末データ処理装置の機能構成＞
図８に示されているように、近端末データ処理装置５は、送受信部５１、データ検出部５６、表示制御部５７、通信部５８、及び記憶・読出部５９を有している。これら各部は、図５に示されている各構成要素のいずれかが、近端末データ処理装置５において、ＥＥＰＲＯＭ５０４からＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって、動作することで実現される機能又は手段である。
図８に示されているように、近端末データ処理装置５は、送受信部５１、データ検出部５６、表示制御部５７、通信部５８、及び記憶・読出部５９を有している。これら各部は、図５に示されている各構成要素のいずれかが、近端末データ処理装置５において、ＥＥＰＲＯＭ５０４からＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって、動作することで実現される機能又は手段である。
【0070】
また、近端末データ処理装置５は、図５に示されているＲＯＭ５０２、ＲＡＭ５０３、及びＥＥＰＲＯＭ５０４によって構築される記憶部５０００を有している。
【0071】
（近端末データ処理装置の各機能構成）
次に、図８を用いて、近端末データ処理装置５の各機能構成について更に詳細に説明する。
次に、図８を用いて、近端末データ処理装置５の各機能構成について更に詳細に説明する。
【0072】
近端末データ処理装置５の送受信部５１は、遠距離通信回路５１１、アンテナ５１１ａ、及びＣＰＵ５０１の処理によって実現され、通信ネットワーク（ここでは、イントラネット２００）を介して、分散データ処理端末６との間で各種データ（または情報）の送受信を行う。
【0073】
データ検出部５６は、ＣＰＵ５０１の処理によって実現され、実時間データ処理端末３ａからのデータを受信するべきイベントが発生しているか否か、データの受信が完了したか否かを検出する。
【0074】
表示制御部５７は、ＣＰＵ５０１の処理によって実現され、表示手段の一例であるディスプレイ５１７に各種画面を表示させる。
【0075】
通信部５８は、外部機器接続Ｉ／Ｆ５１８、及びＣＰＵ５０１の処理によって実現され、1対1の通信を介して実時間データ処理端末３ａの通信部４８と各種データ（または情報）の送受信を行う。なお、この通信は有線だけでなく、無線であってもよい。
【0076】
記憶・読出部５９は、ＣＰＵ５０１の処理によって実現され、記憶部５０００に各種データ（または情報）を記憶したり、記憶部５０００から各種データ（または情報）を読み出したりする。
【0077】
＜分散データ処理端末の機能構成＞
図９に示されているように、分散データ処理端末６は、送受信部６１、受付部６２、判断部６３、表示制御部６７、及び記憶・読出部６９を有している。これら各部は、図５に示されている各構成要素のいずれかが、分散データ処理端末６において、ＥＥＰＲＯＭ５０４からＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって、動作することで実現される機能又は手段である。
図９に示されているように、分散データ処理端末６は、送受信部６１、受付部６２、判断部６３、表示制御部６７、及び記憶・読出部６９を有している。これら各部は、図５に示されている各構成要素のいずれかが、分散データ処理端末６において、ＥＥＰＲＯＭ５０４からＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって、動作することで実現される機能又は手段である。
【0078】
また、分散データ処理端末６は、図５に示されているＲＯＭ５０２、ＲＡＭ５０３、及びＥＥＰＲＯＭ５０４によって構築される記憶部６０００を有している。
【0079】
（分散データ処理端末の各機能構成）
分散データ処理端末６の送受信部６１は、分散データ処理端末６における、遠距離通信回路５１１、アンテナ５１１ａ、及びＣＰＵ５０１の処理によって実現され、通信ネットワーク（ここでは、インターネット６００）を介して、集中データ処理サーバ７と各種データ（または情報）の送受信を行う。例えば、送受信部６１は、照合データと被照合データとの照合要求を集中データ処理サーバ７に対して送信したり、集中データ処理サーバ７から送られて来た照合結果に対する処理を行ったりする。
分散データ処理端末６の送受信部６１は、分散データ処理端末６における、遠距離通信回路５１１、アンテナ５１１ａ、及びＣＰＵ５０１の処理によって実現され、通信ネットワーク（ここでは、インターネット６００）を介して、集中データ処理サーバ７と各種データ（または情報）の送受信を行う。例えば、送受信部６１は、照合データと被照合データとの照合要求を集中データ処理サーバ７に対して送信したり、集中データ処理サーバ７から送られて来た照合結果に対する処理を行ったりする。
【0080】
受付部６２は、分散データ処理端末６における、タッチパネル５２１、及びＣＰＵ５０１の処理によって実現され、利用者の各種操作を受け付ける。
【0081】
判断部６３は、分散データ処理端末６におけるＣＰＵ５０１の処理によって実現され、各種判断を行なう。
【0082】
表示制御部６７は、分散データ処理端末６におけるＣＰＵ５０１の処理によって実現され、表示手段の一例であるディスプレイ５１７に各種画面を表示させる。
【0083】
記憶・読出部６９は、分散データ処理端末６におけるＣＰＵ５０１の処理によって実現され、記憶部６０００に各種データ（または情報）を記憶したり、記憶部６０００から各種データ（または情報）を読み出したりする。例えば、記憶・読出部６９は、受付部６２で受け付けられた登録要求により、照合データ（ここでは、顔画像データ）を記憶部６０００に記憶して登録させる。
【0084】
＜集中データ処理サーバの機能構成＞
図９に示されているように、集中データ処理サーバ７は、送受信部７１、受付部７２、判断部７３、特徴量生成部７４、照合部７５、及び記憶・読出部７９を有している。これら各部は、図６に示されている各構成要素のいずれかが、分散データ処理端末６において、ＨＤ７０４からＲＡＭ７０３上に展開されたプログラムに従ったＣＰＵ７０１からの命令によって、動作することで実現される機能又は手段である。
図９に示されているように、集中データ処理サーバ７は、送受信部７１、受付部７２、判断部７３、特徴量生成部７４、照合部７５、及び記憶・読出部７９を有している。これら各部は、図６に示されている各構成要素のいずれかが、分散データ処理端末６において、ＨＤ７０４からＲＡＭ７０３上に展開されたプログラムに従ったＣＰＵ７０１からの命令によって、動作することで実現される機能又は手段である。
【0085】
また、集中データ処理サーバ７は、図６に示されているＲＯＭ７０２、ＲＡＭ７０３、及びＨＤ７０４によって構築される記憶部７０００を有している。記憶部７０００には、後述の照合側の特徴量データが記憶されている。この記憶部７０００には、照合データが記憶されている。更に、記憶部７０００には、照合データ管理ＤＢ７００１が構築されている。照合データ管理ＤＢ７００１は、後述の照合データ管理テーブルによって構成されている。なお、照合データは、集中データ処理サーバ７以外の他のデータ管理サーバ等で記憶してもよい。
【0086】
（照合データ管理テーブル）
図１２は、照合データ管理テーブルを示す概念図である。この照合データ管理テーブルでは、照合データのファイル名を示す画像ファイル、及びこの画像ファイルに係る照合画像で示される人物の名前が関連付けて管理されている。なお、人物の名前は、人物特定情報の一例である。人物特定情報は、漢字だけでなく、英数字や、記号などによって示されても良い。例えば、人物特定情報には、従業員番号、学籍番号、運転免許書番号、日本の制度で使われているマイナンバー等が含まれる。
図１２は、照合データ管理テーブルを示す概念図である。この照合データ管理テーブルでは、照合データのファイル名を示す画像ファイル、及びこの画像ファイルに係る照合画像で示される人物の名前が関連付けて管理されている。なお、人物の名前は、人物特定情報の一例である。人物特定情報は、漢字だけでなく、英数字や、記号などによって示されても良い。例えば、人物特定情報には、従業員番号、学籍番号、運転免許書番号、日本の制度で使われているマイナンバー等が含まれる。
【0087】
（集中データ処理サーバの各機能構成）
集中データ処理サーバ７の送受信部７１は、ネットワークＩ／Ｆ７０９、及びＣＰＵ７０１の処理によって実現され、通信ネットワーク（ここでは、インターネット６００）を介して、分散データ処理端末６と各種データ（または情報）の送受信を行う。送受信部７１は、照合データと被照合データとの照合要求を分散データ処理端末６から受信したり、分散データ処理端末６に対して照合結果を示す照合結果情報を送信したりする。
集中データ処理サーバ７の送受信部７１は、ネットワークＩ／Ｆ７０９、及びＣＰＵ７０１の処理によって実現され、通信ネットワーク（ここでは、インターネット６００）を介して、分散データ処理端末６と各種データ（または情報）の送受信を行う。送受信部７１は、照合データと被照合データとの照合要求を分散データ処理端末６から受信したり、分散データ処理端末６に対して照合結果を示す照合結果情報を送信したりする。
【0088】
受付部７２は、キーボード７１１、マウス７１２、及びＣＰＵ７０１の処理によって実現され、利用者の各種操作を受け付ける。
【0089】
判断部７３は、集中データ処理サーバ７におけるＣＰＵ５０１の処理によって実現され、各種判断を行なう。
【0090】
特徴量生成部７４は、ＣＰＵ７０１の処理によって実現され、送受信部７１によって受信された被照合データ（部分画像データ）及び照合データから特徴量のパラメータを生成する。
【0091】
照合部７５は、ＣＰＵ７０１の処理によって実現され、特徴量生成部７４で生成された特徴量を用いて照合データ側の特徴量と被照合データ側の特徴量とを照合し、類似度を示す得点（ポイント）を算出する。
【0092】
記憶・読出部７９は、ＣＰＵ７０１の処理によって実現され、記憶部７０００に各種データ（または情報）を記憶したり、記憶部７０００から各種データ（または情報）を読み出したりする。
【0093】
＜サービス提供サーバの機能構成＞
次に、図９、図１３乃至図１７を用いて、サービス提供サーバ８の各機能構成について詳細に説明する。図９に示されているように、サービス提供サーバ８は、送受信部８１、判断部８２、取出部８７、及び記憶・読出部８９を有している。これら各部は、図６に示されている各構成要素のいずれかが、ＨＤ７０４からＲＡＭ７０３上に展開されたサービス提供サーバ８用プログラムに従ったＣＰＵ７０１からの命令によって動作することで実現される機能又は手段である。
次に、図９、図１３乃至図１７を用いて、サービス提供サーバ８の各機能構成について詳細に説明する。図９に示されているように、サービス提供サーバ８は、送受信部８１、判断部８２、取出部８７、及び記憶・読出部８９を有している。これら各部は、図６に示されている各構成要素のいずれかが、ＨＤ７０４からＲＡＭ７０３上に展開されたサービス提供サーバ８用プログラムに従ったＣＰＵ７０１からの命令によって動作することで実現される機能又は手段である。
【0094】
また、サービス提供サーバ８は、図６に示されているＲＡＭ７０３、及びＨＤ７０４によって構築される記憶部８０００を有している。この記憶部８０００には、分散データ処理端末６又は認証サーバ９から送られて来る各種データが記憶される。また、記憶部８０００には、図１１で示されている各プログラムが全て記憶されており、サービス提供サーバ８は、実時間データ処理端末３ａの要求に応じて、要求対象のプログラムを送信することができる。
【0095】
更に、記憶部８０００には、セッション管理ＤＢ８００１、及び認証サーバ管理ＤＢ８００２が構築されている。このうち、セッション管理ＤＢ８００１は、後述のセッション管理テーブルによって構成されている。認証サーバ管理ＤＢ８００２は、後述の認証サーバ管理テーブルによって構成されている。以下、各テーブルについて詳細に説明する。
【0096】
（セッション管理テーブル）
図１３は、セッション管理テーブルを示す概念図である。このセッション管理テーブルでは、分散データ処理端末６にサービスを提供するために、分散データ処理端末６と確立する通信セッションを識別するためのセッションＩＤ、分散データ処理端末６の利用者を識別するための端末ＩＤ、及び端末ＩＤで示される利用者の分散データ処理端末６のＩＰアドレスが関連付けて記憶されて管理されている。
図１３は、セッション管理テーブルを示す概念図である。このセッション管理テーブルでは、分散データ処理端末６にサービスを提供するために、分散データ処理端末６と確立する通信セッションを識別するためのセッションＩＤ、分散データ処理端末６の利用者を識別するための端末ＩＤ、及び端末ＩＤで示される利用者の分散データ処理端末６のＩＰアドレスが関連付けて記憶されて管理されている。
【0097】
図１６（ａ）、（ｂ）、（ｃ）は、端末ＩＤ(identification)の一例として、電子メールアドレスを示しており、それぞれ認証対象部分と認証対象外部分によって構成されている。認証対象部分は、認証サーバ９によって認証される際に利用される利用者ＩＤである。認証対象外部分は、認証サーバ９によって認証される際に利用されない部分である。
【0098】
このうち、図１６（ａ）に示されている第１のパターンでは、認証対象部分は、アカウント名”asai”、ホスト名”myhost”、及びドメイン名の前段部分“ricoo.com”によって構成されている。一方、認証対象外部分は、ドメイン名の後段部分”theta1”によって構成されている。この場合、取出部８７は、”/”によって、認証対象部分と認証対象外部分を区別する。
【0099】
また、図１６（ｂ）も第１のパターンを示しているが、認証対象外部分が図１６（ａ）と異なる。即ち、認証サーバ９は、図１６（ａ）に示されている端末ＩＤと、図１６（ｂ）に示されている端末ＩＤでは、認証対象部分が同じであるため、同じＩＤとして認証する。
【0100】
なお、端末ＩＤは、図１６（ｃ）に示されている第２のパターンであってもよい。この第２のパターンでは、認証対象部分は、アカウント名の前段部分”asai”によって構成されている。一方、認証対象外部分は、アカウント名の後段部分”theta2”、ホスト名”myhost”、及びドメイン名“ricoo.com”によって構成されている。この場合、取出部８７は、”+”によって、認証対象部分と認証対象外部分を区別する。
【0101】
（認証サーバ管理テーブル）
図１７は、認証サーバ管理テーブルを示す概念図である。この認証サーバ管理テーブルでは、各認証サーバ９を識別するための認証サーバＩＤ毎に、各認証サーバ９にアクセスするためのＵＲＬ(Uniform Resource Locator)が関連付けて記憶されて管理されている。
図１７は、認証サーバ管理テーブルを示す概念図である。この認証サーバ管理テーブルでは、各認証サーバ９を識別するための認証サーバＩＤ毎に、各認証サーバ９にアクセスするためのＵＲＬ(Uniform Resource Locator)が関連付けて記憶されて管理されている。
【0102】
（サービス提供サーバの各機能構成）
次に、図９を用いて、サービス提供サーバ８の各機能構成について詳細に説明する。
次に、図９を用いて、サービス提供サーバ８の各機能構成について詳細に説明する。
【0103】
サービス提供サーバ８の送受信部８１は、主に、図６に示されているＣＰＵ７０１からの命令、及びネットワークＩ／Ｆ７０９によって実現され、インターネット６００を介して、分散データ処理端末６、又は認証サーバ９と各種データ（または情報）の送受信を行う。
【0104】
判断部８２は、主に、図６に示されているＣＰＵ７０１からの命令によって実現され、例えば、分散データ処理端末６にサービスを提供するための通信セッションが既に確立されているか否かを判断する。
【0105】
【0106】
記憶・読出部８９は、主に、図６に示されているＣＰＵ７０１からの命令、及びＨＤＤ７０５によって実現され、記憶部８０００に各種データを記憶したり、記憶部８０００から各種データを読み出したりする。
【0107】
＜認証サーバの機能構成＞
次に、図９及び図１８を用いて、認証サーバ９の機能構成について詳細に説明する。認証サーバ９は、送受信部９１、認証部９２、及び、記憶・読出部９９を有している。これら各部は、図６に示されている各構成要素のいずれかが、ＨＤ７０４からＲＡＭ７０３上に展開された認証サーバ９用プログラムに従ったＣＰＵ７０１からの命令によって動作することで実現される機能又は手段である。
次に、図９及び図１８を用いて、認証サーバ９の機能構成について詳細に説明する。認証サーバ９は、送受信部９１、認証部９２、及び、記憶・読出部９９を有している。これら各部は、図６に示されている各構成要素のいずれかが、ＨＤ７０４からＲＡＭ７０３上に展開された認証サーバ９用プログラムに従ったＣＰＵ７０１からの命令によって動作することで実現される機能又は手段である。
【0108】
また、認証サーバ９は、図６に示されているＲＡＭ７０３、及びＨＤ７０４によって構築される記憶部９０００を有している。この記憶部９０００には、分散データ処理端末６又はサービス提供サーバ８から送られて来る各種データが記憶される。
【0109】
更に、記憶部９０００には、認証管理ＤＢ９００１が構築されている。認証管理ＤＢ９００１は、後述の認証管理テーブルによって構成されている。以下、このテーブルについて詳細に説明する。
【0110】
（認証管理テーブル）
図１８（ａ）は認証サーバ９ａが有する認証管理テーブルを示す概念図、図１８（ｂ）は認証サーバ９ｂが有する認証管理テーブルを示す概念図、図１８（ｃ）は認証サーバ９ｃが有する認証管理テーブルを示す概念図である。
図１８（ａ）は認証サーバ９ａが有する認証管理テーブルを示す概念図、図１８（ｂ）は認証サーバ９ｂが有する認証管理テーブルを示す概念図、図１８（ｃ）は認証サーバ９ｃが有する認証管理テーブルを示す概念図である。
【0111】
各認証管理テーブルでは、端末ＩＤのうちの利用者ＩＤ（認証対象部分）とパスワードとが関連付けて記憶されて管理されている。
【0112】
（認証サーバの各機能構成）
次に、図９を用いて、認証サーバ９の各機能構成について詳細に説明する。
次に、図９を用いて、認証サーバ９の各機能構成について詳細に説明する。
【0113】
認証サーバ９の送受信部９１は、主に、図６に示されているＣＰＵ７０１からの命令、及びネットワークＩ／Ｆ７０９によって実現され、インターネット６００を介して分散データ処理端末６及びサービス提供サーバ８と各種データ（または情報）の送受信を行う。
【0114】
認証部９２は、主に、図６に示されているＣＰＵ７０１からの命令によって実現され、認証要求を送信した画像取得端末２に、サービスを受けられる正当な権限があるか否かを判断することで、ＩＤの認証を行なう。
【0115】
記憶・読出部９９は、主に、図６に示されているＣＰＵ７０１からの命令、及びＨＤＤ７０５によって実現され、記憶部９０００に各種データ（または情報）を記憶したり、記憶部９０００から各種データ（または情報）を読み出したりする。
【0116】
【0117】
【0118】
図１９に示されているように、分散データ処理端末６の送受信部６１からサービス提供サーバ８に対して、認証先選択画面の要求を送信する（ステップＳ２１）。この要求には、分散データ処理端末６の端末ＩＤが含まれている。また、この際、送受信部６１は、自端末のＩＰアドレスを送信する。これにより、サービス提供サーバ８の送受信部８１は、認証先選択画面の要求、及び分散データ処理端末６のＩＰアドレスを受信する。
【0119】
次に、サービス提供サーバ８の判断部８２は、セッション管理テーブル（図１３参照）に、ステップＳ２１で受信された端末ＩＤが所定のセッションＩＤと関連づけて管理されているか否かを判断する（ステップＳ２２）。以降、端末ＩＤが管理されていなかった場合について説明する。
【0120】
サービス提供サーバ８の送受信部８１は分散データ処理端末６に対して、認証先選択画面のデータを送信する（ステップＳ２３）。これにより、分散データ処理端末６の送受信部６１は、認証先選択画面のデータを受信する。
【0121】
次に、分散データ処理端末６の表示制御部６７はディスプレイ５１７に対して、図２１に示されているような認証先選択画面ｓ１を表示させる（ステップＳ２４）。図２１では、分散データ処理端末６としての画面例が示されている。この認証先選択画面ｓ１には、端末ＩＤの入力欄ｂ１、パスワードの入力欄ｂ２、及びログイン要求（認証要求）するためのログインボタンｂ３が表示されている。更に、認証先選択画面ｓ１には、認証サーバ９ａ，９ｂ，９ｃをそれぞれ選択するための認証サーバ選択ボタンａ１，ａ２，ａ３が表示されている。例えば、認証サーバ選択ボタンａ１は、利用者が物体検出処理のサービスを受ける場合のボタンである。認証サーバ選択ボタンａ２は、利用者が物体計数処理のサービスを受ける場合のボタンである。
【0122】
ここで、利用者が、入力欄ｂ１に自己の端末ＩＤ、入力欄ｂ２に自己のパスワードを入力し、認証サーバ選択ボタンａ１，ａ２，ａ３のうち所望のボタンを押下し、ログインボタンｂ３を押下すると、受付部６２が各入力及び選択を受け付ける（ステップＳ２５）。ここでは、認証サーバ選択ボタンａ１が選択されることで、画像認識処理のうち、物体検出処理プログラムProgD01により物体検出処理が実行される場合について説明する。
【0123】
送受信部６１はサービス提供サーバ８に対して、ＩＤ（ここでは、端末ＩＤ又は利用者ＩＤ）の認証要求を送信する（ステップＳ２６）。この認証要求には、ステップＳ２５で受け付けられた端末ＩＤ及びパスワード、並びに認証サーバ９の選択結果及び分散データ処理端末６のＵＲＬが含まれている。この認証結果は、認証サーバ９を識別するための認証サーバＩＤを示している。これにより、サービス提供サーバ８の送受信部８１は、ＩＤの認証要求を受信する。
【0124】
次に、サービス提供サーバ８の記憶・読出部８９は、ステップＳ２６で受信された選択結果としての認証サーバＩＤを検索キーとして、認証サーバ管理テーブル（図１７参照）を検索することにより、対応する認証サーバのＵＲＬを読み出す（ステップＳ２７）。
【0125】
次に、取出部８７は、ステップＳ２６で受信された端末ＩＤのうち、利用者ＩＤ（認証対象部分）のみを取り出す（ステップＳ２８）。そして、送受信部８１は、ステップＳ２７で読み出されたＵＲＬで示される認証サーバ９に対して、ＩＤの認証要求を送信する（ステップＳ２９）。このＩＤの認証要求には、ステップＳ２８で取り出された利用者ＩＤ（認証対象部分）、ステップＳ２６で受信されたパスワード、及びステップ２６で受信された分散データ処理端末６のＵＲＬが含まれている。これにより、認証サーバ９の送受信部７１は、利用者の認証要求を受信する。
【0126】
次に、認証サーバ９の記憶・読出部９９は、ステップＳ２９によって受信された利用者ＩＤ（認証対象部分）及びパスワードの組を検索キーとし、認証管理テーブル（図１８参照）において同じ組の認証対象部分及びパスワードを検索した結果を用いて、認証部９２が認証を行なう（ステップＳ３０）。認証部９２は、同じ組が管理されている場合には、分散データ処理端末６はサービス提供サーバ８からサービスを受けるための正当な端末であると判断し、同じ組が管理されていない場合には、分散データ処理端末６はサービス提供サーバ８からサービスを受けるための正当な端末でないと判断する。
【0127】
なお、ステップＳ２８では、取出部８７が端末ＩＤから認証対象部分を取り出したが、これに限るものではない。例えば、サービス提供サーバ８は取出部８７を有しておらず、ステップＳ２９において、送受信部８１が、パスワード及びＵＲＬの他に、端末ＩＤのうち利用者ＩＤ（認証対象部分）のみを送信するようにしてもよい。
【0128】
続いて、図２０に示されているように、認証サーバ９の認証部９２は、トークン（送信権）の暗号化を行なう（ステップＳ４１）。そして、送受信部９１は、ステップＳ２９によって受信された分散データ処理端末６のＵＲＬに基づいて、この分散データ処理端末６に認証結果を送信する（ステップＳ４２）。この認証結果は、分散データ処理端末６が正当であるか否かを示すとともに、ステップＳ４１によって暗号化されたトークンが含まれている。これにより、分散データ処理端末６の送受信部６１は、利用者の認証結果を受信する。以降、利用者が正当な権限を有する場合について説明する。
【0129】
分散データ処理端末６の送受信部６１は、サービス提供サーバ８に対して、セッション確立要求を送信する（ステップＳ４３）。このセッション確立要求には、端末ＩＤ、及びステップＳ４２で受信された暗号化されているトークンが含まれている。これにより、サービス提供サーバ８の送受信部８１は、セッション確立要求を受信する。
【0130】
次に、サービス提供サーバ８は、セッション確立要求を送信した分散データ処理端末６が、ステップＳ３０で正当であると判断されたことを確認するため、送受信部８１は認証サーバ９に対してトークンの認証要求を送信する（ステップＳ４４）。このトークンの認証要求には、ステップＳ４３で受信された暗号化されているトークンが含まれている。これにより、認証サーバ９の送受信部９１は、トークンの認証要求を受信する。
【0131】
次に、認証部９２は、ステップＳ４４によって受信された、暗号化されているトークンを復号化する（ステップＳ４５）。そして、認証部９２は、ステップＳ４１で暗号化する前のトークンと、ステップＳ４５で復号化した後のトークンを比較することで、トークンの認証を行なう（ステップＳ４６）。そして、認証サーバ９の送受信部９１は、サービス提供サーバ８に対して、ステップＳ４６の認証結果を送信する（ステップＳ４７）。これにより、サービス提供サーバ８の送受信部８１は、認証結果を受信する。以降、ステップＳ４６において、トークンが正当であると判断された場合について説明する。
【0132】
次に、サービス提供サーバ８の記憶・読出部８９は、セッション管理テーブル（図１３参照）において、新たにセッションＩＤを割り当てるとともに、このセッションＩＤに対して、ステップＳ２６で受信された端末ＩＤ及びＩＰアドレスを関連付けて管理する（ステップＳ４８）。そして、送受信部８１は、分散データ処理端末６に対してサービス提供画面のデータを送信する（ステップＳ４９）。これにより、分散データ処理端末６の送受信部６１は、サービス提供画面のデータを受信する。
【0133】
次に、分散データ処理端末６の表示制御部６７は、ディスプレイ５１７上に、図２２に示されているようなサービス提供画面ｓ２を表示させる（ステップＳ５０）。図２２では、分散データ処理端末６の画面例が示されている。ここでは、サービス提供例として、分散データ処理端末６から画像取得端末２に対する遠隔操作を実現させるための遠隔操作サービスについて説明する。図２２に示されているサービス提供画面ｓ２には、遠隔操作対象を特定するためのＩＰアドレスの入力欄ｃ１、及び「遠隔操作開始」ボタンｃ２が表示されている。
【0134】
【0135】
図２３に示されているように、分散データ処理端末６では、受付部６２が利用者から画像認識の開始要求を受け付ける（ステップＳ６１）。この場合、分散データ処理端末６のＧＵＩ(Graphical User Interface)が利用される。これにより、分散データ処理端末６の送受信部６１は、近端末データ処理装置５に対して、画像認識の開始要求を示す画像認識の開始要求情報を送信する（ステップＳ６２）。この開始要求情報には、上述の認証処理（図１９及び図２０参照）で認証を行なった認証サーバ９を識別するための認証サーバＩＤが含まれている。これにより、近端末データ処理装置５の送受信部５１は、画像認識の開始要求情報を受信する。そして、通信部５８は、実時間データ処理端末３ａに対して、画像認識の開始要求情報を送信する（ステップＳ６３）。これにより、実時間データ処理端末３ａの通信部４８は、画像認識の開始要求情報を受信する。このように、ユーザーインタフェースを実時間データ処理端末３ａから分離することで、分散データ処理端末６から遠隔（リモート）操作が可能となる。
【0136】
図２４は、実時間データ処理端末の実時間処理の準備処理を示したシーケンス図である。
図２４に示されているように、実時間データ処理端末３ａの接続部３８は、撮像ユニット４０から、この撮像ユニット４０の型番を取得する（ステップＳ７１）。この場合、接続部３８から撮像ユニット４０に型番を要求し、撮像ユニット４０がこの要求に応じて自ユニットの型番を送信する。
図２４に示されているように、実時間データ処理端末３ａの接続部３８は、撮像ユニット４０から、この撮像ユニット４０の型番を取得する（ステップＳ７１）。この場合、接続部３８から撮像ユニット４０に型番を要求し、撮像ユニット４０がこの要求に応じて自ユニットの型番を送信する。
【0137】
次に、記憶・読出部３９は、ステップＳ７１によって取得された型番を検索キーとして、撮像素子情報管理ＤＢ３００１（図１０（ａ）参照）を検索することにより、対応する撮像素子の数、及びレンズの種類を読み出す（ステップＳ７２）。更に、記憶・読出部３９は、ステップＳ７２によって読み出された撮像素子の数を検索キーとして、サイクル値管理ＤＢ３００２（図１０（ｂ）参照）を検索することにより、対応するサイクル値を読み出す（ステップＳ７３）。
【0138】
次に、記憶・読出部３９は、ステップＳ７２によって読み出された撮像素子の数を検索キーとして、画像取得プログラム管理ＤＢ３００３（図１１（ａ）参照）で管理されている画像取得プログラムを検索する（ステップＳ７４）。次に、記憶・読出部３９は、ステップＳ７２によって読み出された撮像素子の数を検索キーとして、合成処理プログラム管理ＤＢ３００４（図１１（ｂ）参照）で管理されている合成処理プログラムを検索する（ステップＳ７５）。次に、記憶・読出部３９は、ステップＳ７２によって読み出されたレンズの種類を検索キーとして、歪み補正プログラム管理ＤＢ３００５（図１１（ｃ）参照）で管理されている歪み補正プログラムを検索する（ステップＳ７６）。次に、記憶・読出部３９は、ステップＳ７２によって読み出されたレンズの種類を検索キーとして、サービスプログラム管理ＤＢ３００６（図１１（ｄ）参照）で管理されているサービスプログラムを検索する（ステップＳ７７）。
【0139】
次に、判断部３３は、上記ステップＳ７４～Ｓ７７の検索結果に基づき、実行するプログラムが管理されているか否かにより、実行するプログラムが全てインストール済みか否かを判断する（ステップＳ７８）。例えば、ステップＳ７４で、記憶・読出部３９が画像処理プログラムを検索した結果、画像処理プログラムが管理されている場合には、判断部３３は、インストール済みと判断し、管理されていない場合には、判断部３３は、インストール済みではないと判断する。
【0140】
そして、判断部３３によって、４つ全てのプログラムが管理されていると判断された場合には（ステップＳ７８；ＹＥＳ）、図２４に示されている処理は終了する。一方、判断部３３によって、４つのプログラムのうち、少なくとも１つのプログラムがインストールされていないと判断された場合には（ステップＳ７８；ＮＯ）、後述のステップＳ９１へ進む。
【0141】
図２５は、プログラムの取得処理を示したシーケンス図である。ここでは、実時間データ処理端末３ａが、図２４に示されている処理によってインストールされていないと判明したプログラムを、サービス提供サーバ８から取得する処理を示している。
【0142】
まず、図２５に示されているように、実時間データ処理端末３ａの通信部４８が、近端末データ処理装置５の通信部５８に対して、インストールされていないプログラムの要求を示す要求情報を送信する（ステップＳ９１）。この要求情報には、要求するプログラム名が含まれている。
【0143】
次に、近端末データ処理装置５の送受信部５１は、通信部５８によって受信された要求情報を、分散データ処理端末６の送受信部６１に送信する（ステップＳ９２）。そして、分散データ処理端末６の送受信部６１は、サービス提供サーバ８の送受信部８１に要求情報を送信する（ステップＳ９３）。
【0144】
次に、サービス提供サーバ８では、記憶・読出部８９が、要求情報に含まれているプログラム名で示されるプログラムを読み出す（ステップＳ９４）。そして、送受信部８１が、読み出されたプログラムを分散データ処理端末６の送受信部６１に送信する（ステップＳ９５）。この際、プログラム名も送信される。
【0145】
次に、分散データ処理端末６の送受信部６１は、近端末データ処理装置５の送受信部５１に、プログラム名を含めたプログラムを送信する（ステップＳ９６）。そして、近端末データ処理装置５の通信部５８は、実時間データ処理端末３ａの通信部４８に対して、プログラム名を含めたプログラムを送信する（ステップＳ９７）。
【0146】
次に、実時間データ処理端末３ａの記憶・読出部３９は、通信部４８によって取得されたプログラムをインストールするとともに、図１１に示されている各テーブルのうち、インストールするプログラム名を管理する（ステップＳ９８）。
【0147】
次に、記憶・読出部３９は、画像認識処理に必要な全てのプログラムを起動させる（ステップＳ９９）。これにより、実時間データ処理端末３ａが、起動されたプログラムを実行することで、以下に示されている実時間処理を開始する。
【0148】
＜画像認識処理＞
ここでは、図２１に示される「物体検出処理サービスへのログイン」ボタンｂ１が押下されて、サービス提供サーバ８が、画像認識処理のサービスのうち、物体検出処理のサービスを実行する場合について説明する。図２６は、画像認識処理を示したシーケンス図である。まず、実時間データ処理端末３ａは、実時間処理を行なう（ステップＳ１１１）。
ここでは、図２１に示される「物体検出処理サービスへのログイン」ボタンｂ１が押下されて、サービス提供サーバ８が、画像認識処理のサービスのうち、物体検出処理のサービスを実行する場合について説明する。図２６は、画像認識処理を示したシーケンス図である。まず、実時間データ処理端末３ａは、実時間処理を行なう（ステップＳ１１１）。
【0149】
【0150】
まず、判断部３３は、接続されている撮像ユニット４０における撮像素子の数が１つであるか否かを判断する（ステップＳ２０１）。この場合、判断部３３は、上述のステップＳ７２の処理によって読み出された撮像素子の数に基づいて判断する。そして、撮像素子の数が１つの場合には（ステップＳ２０１；ＹＥＳ）、画像処理部３４が、処理を繰り返すサイクル値を１／６０秒に設定する（ステップＳ２０２）。この場合、画像処理部３４は、上述のステップＳ７３の処理によって読み出されたサイクル値に設定する。
【0151】
次に、接続部３８は、撮像ユニット４０から１系統である撮像画像データを取得する（ステップＳ２０３）。この撮像画像データは、デジタル画像データであり、たとえば４Ｋ画像（幅3840画像×高さ2160画素）のデータである。この場合、接続部３８は、図１１（ａ）に示されている画像取得プログラム（ProgC01 (1系統)）により処理を実行する。
【0152】
次に、物体検出部３５が、撮像画像データにおいて、物体の候補となる特徴点を検出することで、物体を検出する（ステップＳ２０４）。この場合、画像処理部３４は、図１１（ｄ）に示されているサービスプログラム（ProgD01 (物体検出処理)）により処理を実行する。画像処理部３４は、予め記憶部３０００に記憶されている物体の形状モデルデータと比較しながら撮像画像の端から矩形を探索し、もっともらしい物体の特徴点の位置を選択する。なお、ステップＳ２０４の処理については、例えば、「顔認識技術とその応用：パブリックセーフティを支える要素技術・ソリューション特集 ; バイオメトリクス認証, NEC技報, Vol.63, no.3, pp.26－30, 2010-09」で開示されているような、既知技術を用いることができる。
【0153】
次に、画像処理部３４が、検出された物体の画像の歪みを補正する（ステップＳ２０５）。
この場合、画像処理部３４は、図１１（ｃ）に示されている画像処理プログラム（ProgW01（広角歪み補正））により処理を実行する。
この場合、画像処理部３４は、図１１（ｃ）に示されている画像処理プログラム（ProgW01（広角歪み補正））により処理を実行する。
【0154】
一方、上記ステップＳ２０１において、撮像素子の数が１つではない場合には（ステップＳ２０１；ＮＯ）、画像処理部３４は、実時間処理を繰り返すサイクル値を１／３０秒に設定する（ステップＳ２０６）。この場合、画像処理部３４は、上述のステップＳ７３の処理によって読み出されたサイクル値に設定する。サイクル値を１／３０秒とすることで、１入力と比較して、サイクル値を大きく取ることにより、後述の画像合成処理が間に合わなくなることを防ぐことが出来る。
【0155】
次に、接続部３８は、撮像ユニット４０から２系統である２つの撮像画像データを取得する（ステップＳ２０７）。２つの撮像画像データは、それぞれ図４（ａ）、（ｂ）に示されているような半球画像のデータである。この場合、接続部３８は、図１１（ａ）に示されている画像取得プログラム（ProgC02 (2系統)）により処理を実行する。
【0156】
そして、画像処理部３４は、２つの撮像画像データを合成して、図４（ｃ）に示されているような正距円筒射影画像ＥＣを作成する（ステップＳ２０８）。この場合、画像処理部３４は、図１１（ｂ）に示されている合成処理プログラム（ProgS02 (合成処理)）により処理を実行する。そして、ステップＳ２０４に進み、物体検出部３５は、正距円筒射影画像ＥＣのデータにおいて、物体の候補となる特徴点を検出することで、物体を検出する。
【0157】
次に、ステップＳ２０５によって、画像処理部３４が、検出された物体の画像の歪みを補正する。この場合、画像処理部３４は、図１１（ｃ）に示されている画像処理プログラム（ProgW02(魚眼歪み補正））により処理を実行する。
【0158】
以上により、図２６に示されているように、実時間データ処理端末３ａの通信部４８は、近端末データ処理装置５の通信部５８へ撮像画像データを送信する（ステップＳ１１２）。そして、近端末データ処理装置５の送受信部５１は、ステップＳ１１２で受信された撮像画像データを、分散データ処理端末６の送受信部６１へ送信する（ステップＳ１１３）。これにより、分散データ処理端末６の表示制御部６７は、ディスプレイ５１７に、図３２に示されているような撮像画像をリアルタイムで表示させる（ステップＳ１１４）。図３２は、分散データ処理端末における撮像画像の表示例を示した図である。この撮像画像には、物体検出（ここでは、顔検出）された矩形を示す枠が表示されている。ステップＳ１１２～Ｓ１１４は、ストリーミングの処理である。
【0159】
【0160】
ステップＳ２０４の処理によって、物体検出部３５が、物体（ここでは、顔）を検出しなかった場合には（Ｓ２１１；ＮＯ）、所定時間（設定されているサイクル値）待機後に（Ｓ２１２）、再びステップＳ２１１の処理に戻る。例えば、検出は1秒間に３０回行われる。
【0161】
これに対し、上述のステップＳ２０４の処理によって、物体検出部３５が、物体（ここでは、顔）を検出した場合には（Ｓ２１１；ＹＥＳ）、ステップＳ２１３の処理へ進む。そして、検出された物体の位置が照合可能範囲Ｑにない（照合可能範囲Ｑ外にある）場合にも（Ｓ２１１；ＮＯ）、ステップＳ２１２の処理に進む。
【0162】
ステップＳ２１３では、記憶・読出部３９が、ステップＳ２０４で検出された物体に関する物体情報を、物体情報管理テーブル（図１４参照）に新たなレコードとして記憶する。この場合、記憶・読出部３９が、既に物体情報管理テーブルに記憶されているレコードに対しては、リセットのために終了フラグを消去する。
【0163】
次に、記憶・読出部３９は、物体変位管理テーブルに記憶されている終了フラグを初期化するため、物体変位管理テーブルにおける全てのレコードに対して終了フラグを消去する（Ｓ２１４）。なお、終了フラグは、後述のステップＳ２１６で付加されるフラグである。
【0164】
次に、物体変位管理テーブルにおいて、読み出すレコードが残っている場合は（Ｓ２１５；ＹＥＳ）、記憶・読出部３９は、物体変位管理テーブルから１レコードのデータを読み出す（Ｓ２１６）。一方、全てのレコードを読み出し済みである場合は（Ｓ２１５；ＮＯ）、後述のステップＳ２２０へ進む。
【0165】
次に、算出部３１は、ステップＳ２１３で記憶された最新（現在）の物体の検出位置と、ステップＳ２１６で記憶された過去の物体の検出位置（ここでは座標（x, y）とする）との距離を算出する（Ｓ２１７）。そして、判断部３３は、ステップＳ２１７で算出された距離が所定の閾値よりも短い（未満）か否かを判断する（Ｓ２１８）。本実施形態では、（式１）に示されている平方ユークリッド距離を用いて算出される。なお、判断部３３は、所定の閾値以下か否かを判断してもよい。
【0166】
【表1】
【0167】
平方ユークリッド距離は、より離れた対象ほど大きな重みをもつため、距離が近い過去の物体の位置を見つけ易いという利点がある。なお、他のよく知られた距離の算出方法であってもよく、たとえば、市街地距離や特定の方向(x方向、またはy方向)のみにずれた画素数をカウントする、といった処理を用いることができる。
【0168】
次に、ステップＳ２１７で算出された距離が所定の閾値よりも短い場合には（Ｓ２１８；ＹＥＳ）、現在の物体の位置と物体変位管理テーブルで管理されている残りのレコードの過去の位置との間の距離が算出されずに、ステップＳ２１９に進む。ステップＳ２１７で算出された距離が所定の閾値よりも短くない（同じ又は長い）場合には（Ｓ２１８；ＮＯ）、上記ステップＳ２１５の処理に戻る。
【0169】
次に、記憶・読出部３９は、物体変位管理テーブルにおいて、距離が閾値より短いと判断された過去の物体の位置を示す位置情報を、距離が閾値より短いと判断された最新の物体の位置を示す位置情報に置き換えることで、物体変位管理テーブルを更新する（Ｓ２１９）。この場合、記憶・読出部３９は、物体情報管理テーブルと物体変位管理テーブルにおいて、それぞれ置き換えに使われた位置情報を含むレコードの終了フラグ欄に「終了フラグ」を付す。
【0170】
次に、物体変位管理テーブルにおいて、終了フラグが付されていないレコードが残っている場合には（Ｓ２２０；ＹＥＳ）、記憶・読出部３９は、当該終了フラグが付されていないレコードを削除して（Ｓ２２１）、図２９に示されているステップＳ２３１の処理に進む。この処理は、物体変位管理テーブルにおいて終了フラグが付されずに残っている場合には、既に物体（ここでは、人）が後述の照合可能範囲Ｑから出てしまったと推測できるため、物体変位管理テーブルからレコードを削除して、今後の比較対象から除くようにするための処理である。
【0171】
一方、物体変位管理テーブルにおいて、終了フラグが付されていないレコードが残っていない場合には（Ｓ２２０；ＮＯ）、上記ステップＳ２２１の処理は省略されて、ステップＳ２３１の処理に進む。
【0172】
次に、物体情報管理テーブルにおいて、終了フラグが付加されていないレコードが残っている場合には（Ｓ２３１；ＹＥＳ）、記憶・読出部３９は、この残ったレコードの位置情報を物体変位管理テーブルに新たなレコードとして追加する（Ｓ２３２）。この場合、記憶・読出部３９は、追加したレコードにおいて、照合進捗状況を「０（認識前）」で管理する。この処理は、後述の検知可能範囲Ｐに新しく物体（ここでは、人）が入って来たと推測できるので、その後の変位を管理するための処理である。
【0173】
また、この場合、記憶・読出部３９は、追加したレコードにおけるＩＤ欄には、前回追加したＩＤの値に「＋１」して記憶する。なお、記憶・読出部３９は、ステップＳ２２１でレコードを削除した時にＩＤのリナンバリングはしない。このようにすることで、照合進捗状況が「１（照合中）」のレコードに対して正しい結果を保存することができる。
【0174】
一方、物体情報管理テーブルにおいて、終了フラグが付加されていないレコードが残っていない場合には（Ｓ２３１；ＮＯ）、後述のステップＳ２３６の処理に進む。
【0175】
次に、ステップＳ２３２の処理後、判断部３３は、物体変位管理テーブルにおいて、照合進捗状況「０（照合前）」の物体が、照合可能範囲Ｑ内にあるか否かを判断する（Ｓ２３３）。この判断は、物体の位置情報に基づいて行われる。そして、ステップＳ２３３により、照合可能範囲Ｑにあると判断された場合には（Ｓ２３３；ＹＥＳ）、画像処理部３４は、物体変位管理テーブルのうち、照合可能範囲Ｑ内にある物体の位置、幅、及び高さを参照し、これらの値で定まる部分画像データを切り出して、JPEGなどの汎用形式で符号化する（Ｓ２３４）。この場合、記憶・読出部３９は、物体変位管理テーブルの対応するレコードの照合進捗状況を「１（照合中）」に変更する。
【0176】
一方、ステップＳ２３３において、照合可能範囲Ｑ内にないと判断された場合には（Ｓ２３３；ＮＯ）、ステップＳ２３６の処理に進む。
【0177】
次に、イベント生成部３６は、近端末データ処理装置５に対して部分画像データと部分画像データに関連付けられた部分画像ＩＤを送信することを通知するイベントメッセージを生成する（Ｓ２３５）。具体的には、イベント生成部３６は、”Send”といったイベントメッセージを生成する。
【0178】
続いて、画像処理部３４は、表示されている文字画像をクリアしてから、物体変位管理テーブルの照合進捗状況が「１（照合中）」または「２（照合完了）」に関連付けられている位置を参照し、撮像画像の対応する位置に文字画像を合成する（Ｓ２３６）。
【0179】
ここで、図３２に、文字が画像を合成した例を示す。図３２は、ある部屋に画像取得端末を設置した場合の撮像ユニットによる撮影範囲を示した図である。画像処理部３４は、位置（ｘ２，ｙ２）の部分画像に対しては照合中であることを示すために”！”で表される待機状態マークｍ１を合成する。また、画像処理部３４は、位置（ｘ３，ｙ３）の部分画像に対して照合結果を示すために名前を参照して部分画像の対応位置に、”Kato”で表される名前情報ｍ２を合成する。この名前情報ｍ２は、物体変位管理ＤＢ３００８から読み出された情報である。なお、合成後の画像データは、図２６に示されているステップＳ１１２，Ｓ１１３によって分散データ処理端末６まで送信され、ステップＳ１１４で表示される。
【0180】
次に、通信部４８が、後述のステップＳ３１８による照合結果を受信していない場合は（Ｓ２３７；ＮＯ）、ステップＳ２１２の処理へ進む。
【0181】
一方、通信部４８が照合結果（名前と部分画像ＩＤ）を受信した場合は（Ｓ２３７；ＹＥＳ）、記憶・読出部３９が物体変位管理テーブルにおいて、受信された部分画像ＩＤと関連付けられている名前欄に、受信された名前を記憶する（Ｓ２３８）。この場合、記憶・読出部３９は、照合進捗状況を「１（照合中）」から「２（照合完了）」に変更する。そして、画像処理部３４は、表示されている文字画像をクリアしてから、受信された部分画像ＩＤに関連付けられた物体変位管理テーブルの位置を参照し、撮像画像の対応する位置に受信した名前で文字画像を合成する（Ｓ２３９）。そして、ステップＳ２１２の処理へ戻る。ステップＳ２３９により、表示制御部３７は、照合中であった”！”の表示を”Kato”のように名前の表示に更新する。これにより、分散データ処理端末６の利用者は照合の進捗状況を迅速に知ることができる。
【0182】
以上により、実時間処理のうちのイベント生成の処理が終了する。
【0183】
続いて、図２６に戻り、実時間データ処理端末３ａの通信部４８は、近端末データ処理装置５の通信部５８に対して、物体（ここでは、顔）の部分画像データ及び部分画像ＩＤを送信する（Ｓ１１５）。
【0184】
次に、近端末データ処理装置５では、データ検出部５６が、通信部５８によって”Send”のイベントメッセージの受信の有無を検出する（Ｓ１１６）。そして、イベントメッセージの受信が検出された場合には（Ｓ１１６；ＹＥＳ）、通信部５８は、イベントメッセージと共に送信された部分画像データ及び部分画像ＩＤを受信する（Ｓ１１７）。そして、記憶・読出部５９が、記憶部５０００に部分画像データを一時的に記憶する（Ｓ１１８）。
【0185】
次に、データ検出部５６は、部分画像データの受信が完了したか否かを監視する（Ｓ１１９）。このステップＳ１１９の処理は、１つのイベントメッセージにつき、全ての部分画像データ及び部分画像ＩＤが受信されるまで繰り返される（Ｓ１１９；ＮＯ）。そして、部分画像データの受信が完了した場合には（Ｓ１１９；ＹＥＳ）、記憶・読出部５９は、記憶部５０００から１つのイベントメッセージと共に送られ、記憶部５０００に一時的に記憶されている全ての部分画像データ及び部分画像ＩＤを読み出す（ステップＳ１２０）。その後、送受信部５１は、イントラネット２００を介して、分散データ処理端末６の送受信部６１に対して、ステップＳ１２０で読み出された全ての部分画像データ及び部分画像ＩＤを送信する（Ｓ１２１）。これにより、分散データ処理端末６の送受信部６１は、全ての部分画像データ及び部分画像ＩＤを受信する。部分画像データは、後ほど被照合データとして利用される。
【0186】
（照合処理）
続いて、図３０乃至図３２を用いて、照合処理について説明する。生成の処理を示したフローチャートである。図３０は、照合する処理を示したシーケンス図である。図３１は、照合処理を示したフローチャートである。図３２は、ある部屋に画像取得端末を設置した場合の撮像ユニットによる撮影範囲を示した図である。
続いて、図３０乃至図３２を用いて、照合処理について説明する。生成の処理を示したフローチャートである。図３０は、照合する処理を示したシーケンス図である。図３１は、照合処理を示したフローチャートである。図３２は、ある部屋に画像取得端末を設置した場合の撮像ユニットによる撮影範囲を示した図である。
【0187】
まず、利用者は、照合データを登録するために、分散データ処理端末６から集中データ処理サーバ７にアクセスすることで、集中データ処理サーバ７に照合データの登録を行う（Ｓ３１１）。具体的には、記憶・読出部７９は、記憶部７０００照合データを記憶するとともに、照合データ管理ＤＢ７００１に対して、ファイル名及び名前を関連付けて記憶する。
【0188】
次に、集中データ処理サーバ７では、特徴量生成部７４が、ステップＳ３１１によって登録された照合データをビットマップデータに復号化する変換を行ない、照合データに係る顔画像の目鼻の凹凸や傾き等の個人を識別するための特徴量のパラメータを生成する（Ｓ３１２）。
【0189】
次に、上述のステップＳ１２１の処理により、分散データ処理端末６の送受信部６１が、被照合データとしての部分画像データ及び部分画像ＩＤを受信すると、送受信部６１は、集中データ処理サーバ７に対して、照合要求を示す照合要求情報を送信する（Ｓ３１３）。この照合要求情報には、被照合データ及び部分画像ＩＤが含まれている。これにより、集中データ処理サーバ７の送受信部７１は、照合要求情報を受信する。
【0190】
【0191】
図３１に示されているように、集中データ処理サーバ７の特徴量生成部７４が、ステップＳ３１３によって受信された被照合データをビットマップデータに復号化する変換を行ない、被照合データに係る顔画像の目鼻の凹凸や傾き等の個人を識別するための特徴量のパラメータを生成する（Ｓ４０１）。
【0192】
次に、記憶・読出部７９は、照合データ管理ＤＢ７００１を検索することで、登録されている照合データが残っているか否かを判断する（Ｓ４０２）。そして、残っていると判断された場合には、照合部７５は、両データ（照合データ及び被照合データ）に係る特徴量のパラメータを比較して類似度を算出する（Ｓ４０３）。そして、記憶・読出部７９が、ステップＳ３１２で登録された照合データに付けられている「名前」と、ステップＳ４０３で算出された「類似度」とを組にして一時的に記憶部７０００に記憶する（Ｓ４０４）。その後、図１２に示されている照合データ管理テーブルにおいて、照合データを次のレコードへ変更して、ステップＳ４０２の処理が再度行なわれる。
【0193】
一方、ステップＳ４０２において、照合データが残っていない（全くない場合も含む）と判断された場合には、ステップＳ４０５の処理に進む。そして、判断部７３は、記憶部７０００に一時的に記憶していた各類似度のうち最大の類似度が閾値より大きいか否かを判断する（Ｓ４０５）。
【0194】
そして、ステップＳ４０５において、判断部７３が、最大の類似度が閾値よりも大きいと判断した場合には（ＹＥＳ）、記憶・読出部７９は、照合データ管理ＤＢ７００１から最大の類似度の照合データに付けられた「名前」を読み出す（Ｓ４０９）。閾値は、例えば「８０％」である。これにより、類似度が低い場合には、「名前」が読み出されない。
【0195】
一方、ステップＳ４０５において、判断部７３が、記憶部７０００に一時的に記憶していた各類似度のうち最大の類似度が閾値以下であると判断した場合には（ＮＯ）、記憶・読出部７９は、記憶部７０００から、“Unknown”を示す情報を読み出す（Ｓ４０７）。これにより、ステップＳ３１４の照合処理は終了する
続いて、図３０に戻り、集中データ処理サーバ７の送受信部７１は、分散データ処理端末６に対して、照合結果を示す照合結果情報を送信する（Ｓ３１５）。この照合結果情報には、ステップＳ４０６で読み出された「名前」又はステップＳ４０７で読み出された情報、及び、ステップＳ３１３で受信された部分画像ＩＤが含まれている。これにより、分散データ処理端末６の送受信部６１は、照合結果情報を受信する。
続いて、図３０に戻り、集中データ処理サーバ７の送受信部７１は、分散データ処理端末６に対して、照合結果を示す照合結果情報を送信する（Ｓ３１５）。この照合結果情報には、ステップＳ４０６で読み出された「名前」又はステップＳ４０７で読み出された情報、及び、ステップＳ３１３で受信された部分画像ＩＤが含まれている。これにより、分散データ処理端末６の送受信部６１は、照合結果情報を受信する。
【0196】
【0197】
検出可能範囲Ｐは、撮像ユニット４０の撮影範囲が物体（ここでは、顔）を検出することができる範囲である。この検出可能範囲Ｐ内に、物体（ここでは、顔）の画像を照合可能な照合可能範囲Ｑと、この照合可能範囲Ｑ外であって照合不可能な照合不可能範囲Ｒが含まれる。図３２において、マージンａ、マージンｂは、検出可能範囲Ｐにおいて、それぞれｘ方向の左右端、ｙ方向の上下端に設けられた所定の値である。これらの値は、実時間データ処理端末３ａが、図２５に示されているステップＳ９７で取得したサービスプログラム内に記憶されている。
【0198】
このように、検出可能範囲Ｐとは別に照合可能範囲Ｑを設けたのは、検出可能範囲Ｐは撮像素子４０１ａ等の撮像範囲として固定されているため、任意の部屋又は領域の大きさに合った範囲で物体の検出を行うことができるようにするためである。また、これにより、物体が検出可能範囲Ｐに入った後、照合可能範囲Ｑ内に入る前に検出可能範囲Ｐから外に出てしまった場合に、実時間データ処理端末３ａは、近端末データ処理装置５及び分散データ処理端末６を介して、集中データ処理サーバ７に被照合データを送信しなくて済むため、無駄な通信料を削減することができる。
【0199】
上述のステップＳ２０４の処理による顔検出は、撮影範囲である検出可能範囲Ｐの全体に渡って行われる。物体が、マージンａ，ｂで決まる矩形の範囲外にある場合は、物体は照合可能範囲Ｑ内にない。この場合、物体は検出可能範囲Ｐ内で検出されるが、照合可能範囲Ｑ内では検出されないため、結果的に、物体は、検出可能範囲Ｐ内の照合可能範囲Ｑ以外の範囲である照合不可能範囲Ｒに存在していることになる。
【0200】
ここで、（ｘ１，ｙ１）は、照合不可能範囲Ｒ内に存在する物体が検出された場合の部分画像データの左上隅の座標を示す。
【0201】
（ｘ２，ｙ２）は、照合可能範囲Ｑ内に存在する物体が検出された場合の部分画像データの左上隅の座標を示す。また、ここでは、“！”で表された待機状態マークｍ１が表示されている。この待機状態マークｍ１は、分散データ処理端末６が照合要求情報を送信後（Ｓ３１３）、集中データ処理サーバ７から照合結果情報を受信する（Ｓ３１５）までの間に表示されている。
【0202】
（ｘ３，ｙ３）は、照合可能範囲Ｑ内に存在する物体が検出された場合の部分画像データの左上隅の座標を示す。また、ここでは、“Ｋａｔｏ”で表された名前情報ｍ２が表示されている。この名前情報は、ステップＳ３１５によって集中データ処理サーバ７から受信された「名前」である。このように、照合可能範囲Ｑに入った物体は、最初は待機状態マークｍ１が表示されるが、１～２秒後には、名前情報ｍ２が表示される。これにより、閲覧者は、表示されている物体（ここでは、顔）が誰であるかを認識（特定）することができる。なお、名前が不明な場合は、“Unknown”と表示される。この表示は、上記ステップ４０７の処理が実行され、ステップＳ３１５によって受信された「名前」が“Unknown”の場合に行われる。
【0203】
＜＜実施形態の主な効果＞＞
以上説明したように本実施形態によれば、実時間データ処理端末３ａで同じ物体が撮影された場合には、実時間データ処理端末３ａから近端末データ処理装置５及び分散データ処理端末６を介して、集中データ処理サーバ７に、撮影画像データ及び照合要求の送信を行わない。これにより、実時間データ処理端末３ａの利用者に対して、必要以上に通信料金の請求が行われることを抑制することができるという効果を奏する。
以上説明したように本実施形態によれば、実時間データ処理端末３ａで同じ物体が撮影された場合には、実時間データ処理端末３ａから近端末データ処理装置５及び分散データ処理端末６を介して、集中データ処理サーバ７に、撮影画像データ及び照合要求の送信を行わない。これにより、実時間データ処理端末３ａの利用者に対して、必要以上に通信料金の請求が行われることを抑制することができるという効果を奏する。
【0204】
●第２の実施形態
続いて、図３３乃至図３５を用いて、本発明の第２の実施形態について説明する。なお、本実施形態では、算出部３１の機能が増えた以外は、第１の実施形態と同じであるため、ハードウェア構成及び算出部３１以外の機能構成については、説明を省略する。
続いて、図３３乃至図３５を用いて、本発明の第２の実施形態について説明する。なお、本実施形態では、算出部３１の機能が増えた以外は、第１の実施形態と同じであるため、ハードウェア構成及び算出部３１以外の機能構成については、説明を省略する。
【0205】
＜＜実施形態の機能構成＞＞
算出部３１は、更に、物体が照合可能範囲Ｑに一旦入った後であって照合可能範囲Ｑから出た場合に、照合可能範囲Ｑに入った人数をカウントするために、カウントのアップを行う。
算出部３１は、更に、物体が照合可能範囲Ｑに一旦入った後であって照合可能範囲Ｑから出た場合に、照合可能範囲Ｑに入った人数をカウントするために、カウントのアップを行う。
【0206】
＜＜本実施形態の処理又は動作＞＞
続いて、図３３乃至図３５を用いて、本実施形態の処理又は動作について説明する。本実施形態の処理又は動作は、図２８に示されている第１の実施形態のイベント生成の処理の変形例として説明する。なお、図３３は、図２８に示された処理の変形例を示したフローチャートである。図３４は、表示更新要求の処理を示したシーケンス図である。図３５は、図３２に示された表示例の変形例である。
続いて、図３３乃至図３５を用いて、本実施形態の処理又は動作について説明する。本実施形態の処理又は動作は、図２８に示されている第１の実施形態のイベント生成の処理の変形例として説明する。なお、図３３は、図２８に示された処理の変形例を示したフローチャートである。図３４は、表示更新要求の処理を示したシーケンス図である。図３５は、図３２に示された表示例の変形例である。
【0207】
図２８のステップＳ２２０において、物体変位管理テーブルに、終了フラグが付されていないレコードが残っている場合には（Ｓ２２０；ＹＥＳ）、算出部３１は、照合可能範囲Ｑに入った物体の数をカウントするため、カウントのアップを行う（Ｓ２２０１ａ）。そして、実時間データ処理端末３ａの通信部４８は、近端末データ処理端末５に対して表示更新要求情報を送信する（Ｓ２２０２ａ）。この表示更新要求情報は、分散データ処理端末６のディスプレイ５１７に表示されている画像を更新するための要求を示し、算出部３１でアップされたカウント数が含まれている。これにより、近端末データ処理端末５の通信部５８は、表示更新要求情報を受信する。
【0208】
次に、近端末データ処理端末５の送受信部５１は、通信部５８で受信された表示更新要求情報（カウント数を含む）を、分散データ処理端末６に送信する（Ｓ２２０３ａ）。これにより、分散データ処理端末６の送受信部６１は、表示更新要求情報を受信する。そして、分散データ処理端末６の表示制御部６７は、図３２に示されているような照合結果を表示している場合に、更に、図３５に示されているように、カウント数ｍ３を表示させるように、表示を変更させる（Ｓ２２０４ａ）。図３５では、カウントを介してしてから現在までに、３名が照合可能範囲Ｑに入ったことが示されている。
【0209】
＜＜実施形態の主な効果＞＞
以上説明したように本実施形態によれば、図３５に示されているように、照合結果だけでなく、照合可能範囲Ｑに入った延べ人数を表示することで、第１の実施形態の効果に加え、表示内容の有用性を向上させることができるという効果を奏する。
以上説明したように本実施形態によれば、図３５に示されているように、照合結果だけでなく、照合可能範囲Ｑに入った延べ人数を表示することで、第１の実施形態の効果に加え、表示内容の有用性を向上させることができるという効果を奏する。
【0210】
【0211】
第３の実施形態では、第１の実施形態で示された撮像ユニット４０ａ，４０ｂ、及び実時間データ処理端末３ａに代えて、本実施形態では、撮像ユニット４０ｃ，４０ｄ、及び実時間データ処理端末３ｂが用いられる。そのため、以下では、撮像ユニット４０ｃ，４０ｄのハードウェア構成、及び実時間データ処理端末３ｂの機能構成について説明する。なお、実時間データ処理端末３ａと実時間データ処理端末３ｂのハードウェア構成は同様であるため、説明を省略する。
【0212】
本実施形態では、図３に示されている第１の実施形態の撮像ユニット４０ａ，４０ｂに対して、LiDAR(Light Detection and Ranging)の技術を追加することで、画像処理と光検出による測距を併用することで、物体検出の精度を高める。LiDARは、光を用いたリモートセンシング技術の一つで、パルス状に発光するレーザー照射に対する散乱光を測定し、遠距離にある物体までの距離やその物体の性質を分析する技術である。
【0213】
＜＜ハードウェア構成＞＞
次に、図３６を用いて、本実施形態の撮像ユニットのハードウェア構成を説明する。図３６（ａ）は、図３（ａ）にLiDARの機構を搭載した撮像ユニットのハードウェア構成図である。図３６（ｂ）は、図３（ｂ）にLiDARの機構を搭載した撮像ユニットのハードウェア構成図である。なお、撮像ユニット４０は、撮像素子の数が異なる複数種類の撮像ユニット（撮像ユニット４０ｃ、４０ｄ）の総称である。
次に、図３６を用いて、本実施形態の撮像ユニットのハードウェア構成を説明する。図３６（ａ）は、図３（ａ）にLiDARの機構を搭載した撮像ユニットのハードウェア構成図である。図３６（ｂ）は、図３（ｂ）にLiDARの機構を搭載した撮像ユニットのハードウェア構成図である。なお、撮像ユニット４０は、撮像素子の数が異なる複数種類の撮像ユニット（撮像ユニット４０ｃ、４０ｄ）の総称である。
【0214】
まずは、図３６（ａ）に示されている撮像ユニット４０ｃについて説明する。図３６（ａ）に示されているように、撮像ユニット４０ｃは、ＣＭＯＳやＣＣＤ等の撮像素子４０１ｃ、レンズ４０２ｃ、及び実時間データ処理端末３ｂの撮像ユニットＩ／Ｆ３１３に電気的に接続するための接続Ｉ／Ｆ４０８ｃを有している。撮像ユニット４０ｃが実時間データ処理端末３ｂの撮像ユニットＩ／Ｆ３１３に接続された場合には、撮像素子４０１ｃは、撮像ユニットＩ／Ｆ３１３から接続Ｉ／Ｆ４０８ｃを介して送られて来た撮像制御信号により撮像を行い、接続Ｉ／Ｆ４０８ｃを介して撮像ユニットＩ／Ｆ３１３に撮像画像データを送信する。
【0215】
更に、撮像ユニット４０ｃは、LiDARの機構４０３ｃを有している。LiDARの機構４０３ｃには、光源４０４ｃ、レンズ４０５ｃ、受光素子４０６ｃ、レンズ４０７ｃが含まれている。光源４０４ｃは、例えば、レーザダイオードにより構成されている。LiDARの機構４０３ｃは、少なくとも撮像素子４０１ｃの検出可能範囲Ｐ内に光を照射することができる。
【0216】
光源４０４ｃは、物体である測定対象に向けて光を出射する。出射される光は、電磁波である波長領域が８００ｎｍ～９５０ｎｍの近赤外光である。また、光源４０４ｃには、接続Ｉ／Ｆ４０８ｃを介して実時間データ処理端末３ｂから供給された電圧を規定の電圧まで昇圧する駆動回路が設けられている。この駆動回路は、光源４０４ｃから光を出射させるための発振信号を生成する。光源４０４ｃは、発振信号により、変調光としてパルス幅が数ナノ秒から数１００ナノ秒程度の短パルス光を周期的に出射する。
【0217】
レンズ４０５ｃは、光源４０４ｃから出射された光を透過させ、出射光の出射方向や出射角などの状態を制御する。また、レンズ４０５ｃは、光源４０４ｃから出射された光を平行光（ほぼ平行光も含む）にコリメートする。このため、LiDARの機構４０３ｃは、検出対象の微小領域に対しても距離測定を行うことができる。
【0218】
受光素子４０６ｃは、シリコンＰＩＮ（P-Intrinsic-N）フォトダイオードや、アバランシェフォトダイオード（ＡＰＤ：Avalanche Photo Diode）などの各種フォトダイオードを用いて構成されている。また、受光素子４０６ｃには、受光した信号を増幅させる受光信号増幅回路が設けられている。受光信号増幅回路は、受光素子４０６ｃから出力される電気信号を増幅し、接続Ｉ／Ｆ４０８ｃを介して実時間データ処理端末３ｂに反射信号として送出する。
【0219】
光源４０４ｃから出射された光のうち、レンズ４０７ｃを通過して測定対象で反射された光（以下「反射光」という。）を受光して電気的信号に変換し、接続Ｉ／Ｆ４０８ｃを介して実時間データ処理端末３ｂに電気的信号を送信する。ここで、反射光は、光源４０４ｃから出射された電磁波である近赤外光が測定対象で反射されたもの（反射波）である。
【0220】
レンズ４０７ｃは、反射光を通過させ、反射光の入射方向や入射角などの状態を制御する。
【0221】
次に、図３６（ｂ）に示されている撮像ユニット４０ｄについて説明する。図３６（ｂ）に示されているように、撮像ユニット４０ｄは、ＣＭＯＳやＣＣＤ等の撮像素子４０１ｄ１，４０１ｄ２、レンズ４０２ｄ１，４０２ｄ２、及び実時間データ処理端末３ｂの撮像ユニットＩ／Ｆ３１３に電気的に接続するための接続Ｉ／Ｆ４０８ｂを有している。
【0222】
更に、撮像ユニット４０ｄは、LiDARの機構４０３ｄ１，４０３ｄ２を有している。LiDARの機構４０３ｄ１には、光源４０４ｄ１、レンズ４０５ｄ１、受光素子４０６ｄ１、及びレンズ４０７ｄ１が含まれている。LiDARの機構４０３ｄ１は、撮像素子４０１ｄ１側に設けられており、少なくとも撮像素子４０１ｄ１の検出可能範囲Ｐにおいて撮像素子４０１ｄ１による検出可能範囲内に光を照射することができる。
【0223】
なお、光源４０４ｄ１、レンズ４０５ｄ１、受光素子４０６ｄ１、及びレンズ４０７ｄ１は、それぞれ、光源４０４ｃ、レンズ４０５ｃ、受光素子４０６ｃ、及びレンズ４０７ｃと同様の構成であるため説明を省略する。
【0224】
また、LiDARの機構４０３ｄ２には、光源４０４ｄ２、レンズ４０５ｄ２、受光素子４０６ｄ２、及びレンズ４０７ｄ２が含まれている。LiDARの機構４０３ｄ２は、撮像素子４０１ｄ２側に設けられており、少なくとも撮像素子４０１ｄ２の検出可能範囲Ｐにおいて撮像素子４０１ｄ２による検出可能範囲内に光を照射することができる。
【0225】
なお、光源４０４ｄ２、レンズ４０５ｄ２、受光素子４０６ｄ２、及びレンズ４０７ｄ２は、それぞれ、光源４０４ｃ、レンズ４０５ｃ、受光素子４０６ｃ、及びレンズ４０７ｃと同様の構成であるため説明を省略する。
【0226】
続いて、図面を用いて、本実施形態の機能構成及び処理について説明する。
【0227】
＜＜実施形態の機能構成＞＞
続いて、図３７を用いて、本実施形態の実時間データ処理端末３ｂの機能構成について説明する。なお、図３７は、通信システムの機能ブロック図のうちの実時間データ処理端末の変形例である。
続いて、図３７を用いて、本実施形態の実時間データ処理端末３ｂの機能構成について説明する。なお、図３７は、通信システムの機能ブロック図のうちの実時間データ処理端末の変形例である。
【0228】
本実施形態の実時間データ処理端末３ｂは、第１の実時間データ処理端末３ａに対して、更に、発行制御部４１及び距離計測部４２を有しているため、発行制御部４１及び距離計測部４２の機能についてのみ説明し、これら以外の機能構成の説明を省略する。なお、発行制御部４１、及び距離計測部４２は、図２に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ３０４からＲＡＭ３０３上に展開されたプログラムに従ったＣＰＵ３０１からの命令によって、動作することで実現される機能又は手段である。
【0229】
発光制御部４１は、光源４０４ｃ（又は光源４０４ｄ１，４０４ｄ２）の発光制御を行う。
【0230】
距離計測部４２は、上述の駆動回路で信号を生成した時から開始された時間の計測処理を、反射光を変換した信号を生成した時に停止させて、出射された信号が受光されるまでの時間を計測することで、撮像ユニット４０ｃから測定対象である物体までの距離を計測する。即ち、光源４０４ｃから光が出射されてから、この光の反射光が受光されるまでの時間により、撮像ユニット４０ｃを含めた画像取得端末２から測定対象である物体までの距離が計測される。
【0231】
以上の構成により、撮像ユニット４０ｃが実時間データ処理端末３ｂに接続された場合、発光制御部４１により変調されて光源４０４ｃから出射された光は、レンズ４０５ｃを介して微小な広がり角を有する光ビームとなる。光源４０４ｃから出射された光ビームは、測定対象としての物体（例えば、顔）に照射される。測定対象に照射された光ビームは、測定対象の反射点において一様な方向に散乱して反射される反射光となる。反射光のうち、測定対象に照射された光ビームと同様の光路を経て反射する光成分のみが、光源４０４ｃとほぼ同軸に配置されたレンズ４０７ｃを介して受光素子４０６ｃに入光する。受光素子４０６ｃに入光された反射光は、受光素子４０６ｃによって反射信号として検出される。これにより、距離計測部４２は、光源４０４ｃの出射時刻と反射光の受光時刻との時間差を計測することで、測定対象までの距離を計算することができる。
【0232】
また、撮像ユニット４０ｄが実時間データ処理端末３ｂに接続された場合、発光制御部４１により変調されて光源４０４ｄ１，４０４ｄ２から出射された光は、それぞれレンズ４０５ｄ１，４０５ｄ２を介して微小な広がり角を有する光ビームとなる。光源４０４ｃから出射された光ビームは、測定対象としての物体（例えば、顔）に照射される。測定対象に照射された光ビームは、測定対象の反射点において一様な方向に散乱して反射される反射光となる。反射光のうち、測定対象に照射された光ビームと同様の光路を経て反射する光成分のみが、それそれ光源４０４ｄ１，４０４ｄ２とほぼ同軸に配置されたレンズ４０７ｄ１，４０７ｄ２を介して、受光素子４０６ｄ１，４０６ｄ２に入光する。受光素子４０６ｄ１，４０６ｄ２に入光された反射光は、それぞれ受光素子４０６ｄ１，４０６ｄ２によって反射信号として検出される。これにより、距離計測部４２は、それぞれ光源４０４ｄ１，４０４ｄ２の出射時刻と反射光の受光時刻との時間差を計測することで、測定対象までの距離を計算することができる。
【0233】
＜＜本実施形態の処理又は動作＞＞
続いて、図３８乃至図４１を用いて、本実施形態の処理又は動作について説明する。なお、本実施形態の処理又は動作は、図２８に示されている第１の実施形態のイベント生成の処理の変形例として説明する。図３８は、図２８に示された処理の変形例を示したフローチャートである。図３９は、図３２に示された表示例の変形例である。図４０は、図３２に示された表示例の変形例であり、LiDARの機能を併用しない場合の表示例である。図４１は、図３２に示された表示例の変形例であり、LiDARの機能を併用する場合の表示例である。ここでは、撮像ユニット４０ｃが実時間データ処理端末３ｂに接続されている場合について説明するが、撮像ユニット４０ｄが実時間データ処理端末３ｂに接続されている場合も同様の処理であるため、説明を省略する。
続いて、図３８乃至図４１を用いて、本実施形態の処理又は動作について説明する。なお、本実施形態の処理又は動作は、図２８に示されている第１の実施形態のイベント生成の処理の変形例として説明する。図３８は、図２８に示された処理の変形例を示したフローチャートである。図３９は、図３２に示された表示例の変形例である。図４０は、図３２に示された表示例の変形例であり、LiDARの機能を併用しない場合の表示例である。図４１は、図３２に示された表示例の変形例であり、LiDARの機能を併用する場合の表示例である。ここでは、撮像ユニット４０ｃが実時間データ処理端末３ｂに接続されている場合について説明するが、撮像ユニット４０ｄが実時間データ処理端末３ｂに接続されている場合も同様の処理であるため、説明を省略する。
【0234】
図２８のステップＳ２２０において、物体変位管理テーブルに、終了フラグが付されていないレコードが残っている場合には（Ｓ２２０；ＹＥＳ）、発光制御部４１が、撮像ユニット４０の光源４０４ｃに対して発光制御を行う（Ｓ２２０１ｂ）。そして、距離計測部４２が、出射された信号が受光されるまでの時間を計測することで、撮像ユニット４０ｃから測定対象である物体までの距離を計測する（Ｓ２２０２ｂ）。
【0235】
次に、判断部３３が、距離計測部４２による計測結果に基づき、物体検出部３５で一つであると認識していた物体において所定の距離差が生じているか否かにより、物体が１つであるか否かを判断する（Ｓ２２０３ｂ）。所定の距離差は例えば２０ｃｍである。鼻の先と頬との間の距離は数ｃｍであるため、この程度の差であれば、判断部３３は、物体（ここでは、顔）は１つであると判断する（Ｓ２２０３ｂ；ＹＥＳ）。例えば、図３９に示されているように、物体それぞれが認識される。ここでは、照合可能範囲Ｑ内に、左上隅の座標が（ｘ２，ｙ２）、（ｘ４，ｙ４）である部分画像データで示される男女の顔が示されている。ここでは、男女は検出可能範囲Ｐ内において離れた位置に存在している。この場合、ステップＳ２２１の処理に進む。
【0236】
ところが、図４０に示されているように、男女二人が重なることで（例えば、男性の後ろに女性が位置する）、物体検出部３５が男女を一つの物体として検出してしまうと、正確な人数カウントができない。ここでは、照合可能範囲Ｑ内に、左上隅の座標が（ｘ５，ｙ５）である部分画像データで示される男女が重なって一体となった顔が示されている。
【0237】
そこで、本実施形態では、たとえ物体検出部３５が一つの物体として検出した場合でも、一つとして検出された物体において、所定の距離差がある場合には、物体が重なっているとみなし、物体（ここでは、顔）は一つではない（複数である）と判断する（Ｓ２２０３ｂ；ＮＯ）。ここでは、照合可能範囲Ｑ内に、左上隅の座標が（ｘ２，ｙ２）、（ｘ６，ｙ６）である部分画像データで示される男女の顔がそれぞれ示されている。ここでは、男女は検出可能範囲Ｐ内において重なった位置に存在している。この場合、ステップＳ２２１の処理が実行されずに、図２９に示されるステップＳ２３１の処理に進む。
【0238】
このようにして、判断部３３が、物体が照合可能範囲Ｑから抜けたと判断したタイミングで、直ぐにステップＳ２２１の処理を行わず、LiDARの技術を利用することで、本当に物体が照合可能範囲Ｑから抜けたか否かを判断する。
【0239】
これにより、現在（第２の時点）における重なった男女（第２の物体）において所定距離以上の差が生じた場合には、第２の物体は複数の物体であるとして、複数の物体（男女）のそれぞれの現在における位置とこれら複数の物体のそれぞれの過去（第１の時点）における物体の位置との距離の少なくとも一方が、所定以下又は所定未満である場合には、送受信部５１は、男女の少なくとも一方に係る所定部分の画像データを送信しない。
【0240】
また、省エネルギーのため、ステップＳ２２０後に、実時間データ処理端末２ｂは、発光制御（Ｓ２２０１ｂ参照）及び距離計算（Ｓ２２０２ｂ参照）を行っている。但し、ステップＳ２２０処理の前からLiDARの技術を利用してもよい。
【0241】
【0242】
＜＜実施形態の主な効果＞＞
以上説明したように本実施形態によれば、判断部３３が、物体が画像処理により照合可能範囲Ｑから抜けたと一旦判断しても、LiDARの技術を利用して、物体の重なりを判断することで、第１の実施形態よりも更に正確に物体認証を行うことができるという効果を奏する。
以上説明したように本実施形態によれば、判断部３３が、物体が画像処理により照合可能範囲Ｑから抜けたと一旦判断しても、LiDARの技術を利用して、物体の重なりを判断することで、第１の実施形態よりも更に正確に物体認証を行うことができるという効果を奏する。
【0243】
〔補足〕
上記実施形態では、ステップＳ２１７，Ｓ２１８において、最新の物体の検出位置と過去の物体の検出位置との距離だけを判断材料としたが、これに限るものではない。例えば、最新の物体の部分画像と過去の物体の部分画像との面積差も判断材料にしてもよい。具体的には、以下の２つの条件である（条件１）及び（条件２）を満たしたときに、ステップＳ２１９に進むようにしてもよい。この判断によれば、現在の物体の検出位置が過去の検出位置に近かったとしても、不自然に検出領域の大きさに差があれば、同じ物体（ここでは、人）であると認定しないこととすることができる。これによって、本来、照合要求が不要であるべき送信（Ｓ１１５，Ｓ１２１）を更に減らすことができる。
（条件１）過去の物体と最新の物体との距離が所定の閾値未満（又は以下）（ステップＳ２１８と同じ）
（条件２）過去の物体と最新の物体との面積差の絶対値が所定の閾値未満（又は以下）
なお、条件２の面積差は、算出部３１によって、部分画像の高さと幅から算出された各面積(width*height)の差である。
上記実施形態では、ステップＳ２１７，Ｓ２１８において、最新の物体の検出位置と過去の物体の検出位置との距離だけを判断材料としたが、これに限るものではない。例えば、最新の物体の部分画像と過去の物体の部分画像との面積差も判断材料にしてもよい。具体的には、以下の２つの条件である（条件１）及び（条件２）を満たしたときに、ステップＳ２１９に進むようにしてもよい。この判断によれば、現在の物体の検出位置が過去の検出位置に近かったとしても、不自然に検出領域の大きさに差があれば、同じ物体（ここでは、人）であると認定しないこととすることができる。これによって、本来、照合要求が不要であるべき送信（Ｓ１１５，Ｓ１２１）を更に減らすことができる。
（条件１）過去の物体と最新の物体との距離が所定の閾値未満（又は以下）（ステップＳ２１８と同じ）
（条件２）過去の物体と最新の物体との面積差の絶対値が所定の閾値未満（又は以下）
なお、条件２の面積差は、算出部３１によって、部分画像の高さと幅から算出された各面積(width*height)の差である。
【0244】
また、上記実施形態では、待機状態マークｍ１が”！”で表されているが、これに限るものではない。例えば、砂時計のアイコンや、「照合中」又は「認証中」等のコメントであってもよい。
【0245】
また、撮像画像データについて説明したが、これに限らず、撮影されずに利用者によって作成された作成画像データであってもよい。この場合、撮影画像データ及び作成画像データは、「画像データ」の一例である。また。画像取得端末２は、通信端末の一例であり、画像データを外部から取得せず、自端末で作成してもよい。更に、通信端末は、集音により音データを取得してもよいし、温度センサにより温度データを取得してもよいし、湿度センサにより湿度データを取得してもよい。
【0246】
また、各ＣＰＵ３０１，５０１，７０１等の各構成要素は、単一であってもよく複数であってもよい。また、画像取得端末２、分散データ処理端末６、及び集中データ処理サーバ７は、それぞれ複数あってもよい。更に、分散データ処理端末６はサーバであってもよい。
【0247】
また、上述の実施形態における各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本実施形態における「処理回路」は、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上述した各機能を実行するよう設計されたASIC(Application Specific Integrated
Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）、SOC(System on a chip)、GPU、及び従来の回路モジュール等のデバイスを含む。
Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）、SOC(System on a chip)、GPU、及び従来の回路モジュール等のデバイスを含む。
【0248】
〔その他〕
本実施形態は以下に示すような発明を開示している。
本実施形態は以下に示すような発明を開示している。
【0249】
〔付記項１〕（Ｓ２１８参照）
物体の所定部分の画像データを送信することで、他の装置に画像の照合を行わせる通信端末であって、第１の時点における第１の物体の所定部分の画像データを前記他の装置へ送信する送信手段を有し、前記第１の時点における第１の物体の位置を示す第１の位置と、前記第１の時点より所定時間後の第２の時点における第２の物体の位置を示す第２の位置との間の距離が、所定以下又は所定未満である場合には、前記送信手段は、前記第２の物体の所定部分の画像データを送信しないことを特徴とする通信端末。
物体の所定部分の画像データを送信することで、他の装置に画像の照合を行わせる通信端末であって、第１の時点における第１の物体の所定部分の画像データを前記他の装置へ送信する送信手段を有し、前記第１の時点における第１の物体の位置を示す第１の位置と、前記第１の時点より所定時間後の第２の時点における第２の物体の位置を示す第２の位置との間の距離が、所定以下又は所定未満である場合には、前記送信手段は、前記第２の物体の所定部分の画像データを送信しないことを特徴とする通信端末。
【0250】
〔付記項２〕（Ｓ２２０，Ｓ２２１参照）
前記第２の時点における前記第２の物体の位置が、照合可能範囲外になった場合には、前記送信手段は、前記第２の物体の所定部分の画像データを送信しないことを特徴とする付記項１に記載の通信端末。
前記第２の時点における前記第２の物体の位置が、照合可能範囲外になった場合には、前記送信手段は、前記第２の物体の所定部分の画像データを送信しないことを特徴とする付記項１に記載の通信端末。
【0251】
〔付記項３〕（Ｓ２３１，Ｓ２３２参照）
前記第１の時点における前記第１の物体の位置が、照合可能範囲内に入った場合に、前記送信手段は、前記第１の物体の所定部分の画像データを送信することを特徴とする付記項１又は２に記載の通信端末。
前記第１の時点における前記第１の物体の位置が、照合可能範囲内に入った場合に、前記送信手段は、前記第１の物体の所定部分の画像データを送信することを特徴とする付記項１又は２に記載の通信端末。
【0252】
〔付記項４〕（Ｓ２３４参照）
前記送信手段は、前記物体の所定部分のデータを符号化した前記画像データを送信することを特徴とする付記項１乃至３のいずれか一項に記載の通信端末。
前記送信手段は、前記物体の所定部分のデータを符号化した前記画像データを送信することを特徴とする付記項１乃至３のいずれか一項に記載の通信端末。
【符号の説明】
【0253】
２ 画像取得端末（通信端末の一例）
３ａ、３ｂ 実時間データ処理端末
５ 近端末データ処理装置
６ 分散データ処理端末（表示端末の一例）
７ 集中データ処理サーバ（他の装置の一例）
３１ 算出部（算出手段の一例）
３４ 画像処理部（画像処理手段の一例）
３５ 物体検出部（物体検出手段の一例）
３８ 接続部（取得手段の一例）
５１ 送受信部（送信手段の一例）
６１ 送受信部
６２ 受付部
６７ 表示制御部
６９ 記憶・読出部
７１ 送受信部
７４ 特徴量生成部
７５ 照合部
２００ イントラネット
６００ インターネット
３００１ 撮像素子情報管理ＤＢ（撮像素子情報管理手段の一例）
３００２ サイクル値管理ＤＢ
３００３ 画像取得プログラムＤＢ
３００４ 合成処理プログラム管理ＤＢ
３００５ 歪み補正プログラム管理ＤＢ
３００６ サービスプログラム管理ＤＢ（プログラム管理手段の一例）
３００７ 物体情報管理ＤＢ（物体情報管理手段の一例）
３００８ 物体変位管理ＤＢ（物体変位管理手段の一例）
６０００ 記憶部
７００１ 照合データ管理ＤＢ
８０００ 記憶部
８００１ セッション管理ＤＢ
８００２ 認証サーバ管理ＤＢ
９０００ 記憶部
９００１ 認証管理ＤＢ
３ａ、３ｂ 実時間データ処理端末
５ 近端末データ処理装置
６ 分散データ処理端末（表示端末の一例）
７ 集中データ処理サーバ（他の装置の一例）
３１ 算出部（算出手段の一例）
３４ 画像処理部（画像処理手段の一例）
３５ 物体検出部（物体検出手段の一例）
３８ 接続部（取得手段の一例）
５１ 送受信部（送信手段の一例）
６１ 送受信部
６２ 受付部
６７ 表示制御部
６９ 記憶・読出部
７１ 送受信部
７４ 特徴量生成部
７５ 照合部
２００ イントラネット
６００ インターネット
３００１ 撮像素子情報管理ＤＢ（撮像素子情報管理手段の一例）
３００２ サイクル値管理ＤＢ
３００３ 画像取得プログラムＤＢ
３００４ 合成処理プログラム管理ＤＢ
３００５ 歪み補正プログラム管理ＤＢ
３００６ サービスプログラム管理ＤＢ（プログラム管理手段の一例）
３００７ 物体情報管理ＤＢ（物体情報管理手段の一例）
３００８ 物体変位管理ＤＢ（物体変位管理手段の一例）
６０００ 記憶部
７００１ 照合データ管理ＤＢ
８０００ 記憶部
８００１ セッション管理ＤＢ
８００２ 認証サーバ管理ＤＢ
９０００ 記憶部
９００１ 認証管理ＤＢ
【先行技術文献】
【特許文献】
【0254】
【文献】特開２０１７－２０４８２５号公報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
