(58)【調査した分野】(Int.Cl.,DB名)
それぞれの前記データ領域内における前記観測目的の対象に関する位置の変化に関する情報を用いて、複数の観測目的の対象を複数のグループにグループ化するグループ生成部と、
複数のグループのそれぞれに優先度を設定するグループ優先度設定部とをさらに備える、請求項1乃至8のいずれか1項に記載の遠隔サーバ。
【発明を実施するための形態】
【0013】
(実施の形態1)
以下、図面を参照して本発明の実施の形態について説明する。はじめに、
図1を用いて本発明の実施の形態1にかかる通信システムの構成例について説明する。
図1の通信システムは、遠隔サーバ10及びデバイス20を有している。遠隔サーバ10及びデバイス20は、プロセッサがメモリに格納されたプログラムを実行することによって動作するコンピュータ装置であってもよい。
【0014】
デバイス20は、例えば、携帯電話端末、スマートフォン、もしくはセンサ端末等であってもよい。また、デバイス20は、ロボットであってもよい。ロボットは、例えば、地上を移動する、もしくは、飛び上がって移動する、等によって対象物を観測してもよい。デバイス20は、観測目的の対象を追跡する。観測目的の対象は、例えば、移動している人、もしくは人以外の移動している物であってもよい。移動している物とは、例えば、自動車、自転車、電車等の移動手段であってもよい。もしくは、観測目的の対象は、人以外の動物であってもよい。もしくは、観測目的の対象は、移動体ではなく、橋梁、オフィスビル、家屋、工場などの建物の内外、太陽光発電装置や風力発電装置、森林、河川、山岳(火山など含む)、平野、海、あるいは田畑や災害現場などにおける目的地点や目的物体であってもよい。この場合、目的地点や目的物体は、随時変更されてもよい。さらに、この場合、観測目的の対象の移動速度、移動距離、及び移動方向等は、デバイス20自身が移動することによって、目的地点や目的物体が相対的に移動することを表現してもよい。さらに、デバイス20はヘッドマウントディスプレイ(Head Mount Display:HMD)であってもよい。HMDやスマートフォン等を用いたARサービスでは、例えば、HMDやスマートフォン等に付属のカメラが撮られた画像を解析し、同付属の表示画面にAR情報を表示する。具体的には、観測目的の対象物を画像解析で特定し、その対象物に適したAR情報を表示してもよい。なお、HMDは、一般に、ウェアラブルグラスやスマートグラスなどとも呼ばれる。
【0015】
遠隔サーバ10は、例えば、3GPP(3rd Generation Partnership Project)において規定された無線通信方式を実行するモバイル網(3G網、LTE:Long Term Evolution網)における無線基地局に設置されるコンピュータ装置であってもよい。モバイル網の無線基地局に設置されるコンピュータ装置は、MEC(Mobile Edge Computing)サーバであってもよい。さらに、遠隔サーバ10は、WiFi(登録商標)(無線LAN通信)やZigBee(登録商標)(または、IEEE 802.15.4)通信、Bluetooth(登録商標)通信、RFID(Radio Frequency Identifier)周波数帯による通信、特定省電力無線の周波数帯による通信、あるいはその他の専用用途の周波数帯による通信における無線基地局(無線アクセスポイント、親機、ネットワークコーディネータ、リーダなど)に設置されるコンピュータ装置であってもよい。例えば、遠隔サーバ10は、無線LANの場合、ブロードバンドルータや無線LANアクセスポイントなどに設置されるコンピュータ装置であってもよく、ZigBee通信の場合、ZigBeeのPAN(Private Area Network)を統括するZigBeeコーディネータなどに設置されるコンピュータ装置であってもよく、ラジコン制御用の特定省電力無線の周波数帯による通信の場合、操作装置であるグランドステーションに設置されるコンピュータ装置であってもよい。また、これらのコンピュータが、ホームゲートウェイ、M2M(Machine to Machine)ゲートウェイ、IoT(Internet of Things)ゲートウェイ、HEMS(Home Energy Management Server)サーバ、グランドステーションと呼ばれる装置であってもよい。さらに、遠隔サーバ10は、遠隔サーバ10に対して専用線やインターネット網越しに位置するデータセンターやオフィス、工場、家庭などに設置されるコンピュータ装置であってもよい。これらインターネット網越しに設置されるコンピュータ装置はクラウドサーバであってもよい。
【0016】
続いて、遠隔サーバ10の構成例について説明する。遠隔サーバ10は、通信部11及びNW(ネットワーク)情報取得部12を有している。NW情報取得部12は、通信ネットワークの状態を示す通信ネットワーク情報を取得する。遠隔サーバ10及びデバイス20は、通信ネットワークを介して通信を行う。遠隔サーバ10は、例えば、光通信等の有線通信を介して通信ネットワークに接続してもよく、無線通信を介して通信ネットワークに接続してもよい。デバイス20は、無線通信を行うことによって通信ネットワークに接続してもよい。無線通信は、例えば、3GPP(3rd Generation Partnership Project)において規定された無線通信方式を実行するモバイル通信であってもよく、その他の標準化団体において規定された無線通信方式を実行するモバイル通信であってもよい。3GPPにおいて規定された無線通信方式は、例えばLTE(Long Term Evolution)であってもよい。もしくは、無線通信は、無線LAN通信やZigBee(または、IEEE 802.15.4)通信、Bluetooth通信、RFID周波数帯による通信、特定省電力無線の周波数帯による通信、あるいはその他の専用用途の周波数帯による通信であってもよい。
【0017】
通信ネットワーク情報は、例えば、遠隔サーバ10とデバイス20との間の通信における利用可能帯域、通信遅延、もしくはバッファ使用率等であってもよい。また、通信ネットワーク情報は、遠隔サーバ10とデバイス20とが無線通信を行う際に使用する電波に関する電波信号強度であってもよい。
【0018】
利用可能帯域は、デバイス20が単位時間当たりに送信可能なデータ量を示す情報である。通信遅延は、デバイス20から送信されたビットもしくは最小パケットが遠隔サーバ10に到達するまでの時間を示す情報である。バッファ使用率は、単位時間に、デバイス20において送信を待機しているデータがバッファを使用している割合を示す情報である。電波信号強度は、dBmもしくはLQI(Link Quality Indicator)等を単位として示される。
【0019】
また、通信ネットワーク情報は、過去のデータ通信等における遅延、スループット、帯域、もしくは信号強度等の情報を用いた各種推定方式や分析方式(最尤推定、ベイズ推定、カルマンフィルタ、パーティクルフィルタ、線形予測法、最小二乗法、統計分析、自己回帰予測、ウィナー過程に基づく変動幅予測、単純な直近の前回値の採用等)によって推定されてもよい。もしくは、通信ネットワーク情報は、位置情報もしくは時刻情報等の移動エリア情報と、統計情報等に基づいて推定されてもよい。
【0020】
通信部11は、予め定められたデータ伝送時間内に、通信ネットワーク情報に基づいて定まる送信可能なデータサイズに収まるように、観測目的の対象を含む複数のデータ領域の中から、優先度の高い順に選択された少なくとも1つのデータ領域を送信することを指示する指示情報をデバイス20へ送信する。
【0021】
予め定められたデータ伝送時間は、例えば、デバイス20から送信されたデータが遠隔サーバ10において受信されるまでの伝送時間である。予め定められた伝送時間は、遠隔サーバ10が提供するサービス等に応じて定められてもよい。
【0022】
デバイス20が遠隔サーバ10へ送信可能なデータサイズは、次のように決定される。例えば、通信ネットワーク情報において示される通信品質が低い場合、通信品質が高い場合と比較して、送信可能なデータサイズは小さくなる。また、通信ネットワーク情報において示される通信品質が高い場合、通信品質が低い場合と比較して、送信可能なデータサイズは大きくなる。
【0023】
優先度は、例えば、観測目的の対象の変化量の大きさ等に基づいて定められてもよい。言い換えると、優先度の高いデータ領域は、遠隔サーバ10において正確に画像解析を行う際に重要となるデータであってもよい。もしくは、優先度の高いデータ領域は、遠隔サーバ10においてデータ分析もしくは解析を行う際に重要となるデータであってもよい。
【0024】
画像解析処理は、例えば、前処理、特徴量抽出処理、物体認識処理、及び特定物体認識処理等を含んでもよい。前処理は、画像データの圧縮(単純な解像度の変更や、JPEG、PNG、GIFなどの圧縮画像への変換等)、グレースケール化、2値化、エッジ検出(Sobelフィルタ、ラプラシアンフィルタ、キャニー法等)、トリミング(画像の部分切り出し)、輝度補正、明度補正、彩度補正、及びノイズ除去(移動平均フィルタ、メディアンフィルタ等)などのうち少なくとも1つを行う処理であってもよい。
【0025】
特徴量抽出処理は、特定領域の色情報の抽出、HOG(Histograms of Oriented Gradients)、SIFT(Scale Invariant Feature Transform)、SURF(Speeded Up Robust Features)、AKAZE(Accelerated-KAZE)、Shapelet、EOH(Edge of Oriented Histograms)、FAST(Features from Accelerated Segment Test)、BRIEF(Binary Robust Independent Elementary Features)、BRISK(Binary Roust Invariant Scalable Keypoints)、ORB(Oriented FAST and Rotated BRIEF)、CARD(Compact And Real-time Descriptors)、もしくはHaar−like等による特徴量の抽出が行われてもよい。
【0026】
物体認識処理は、画像データ内の物体を検出する処理であってもよい。例えば、物体認識処理は、HOGによる特徴量及びSVM(Support Vector Machine)などのパターン認識モデルによる学習から作成されたパターン分類データベース(辞書、識別器)の検索結果から画像データ内の人を検出してもよい。なお、パターン分類データベースは、ニューラルネットワークや線形判別分析法(LDA)、AdaBoost(Adaptive Boosting)を用いた学習から作成されてもよい。またテンプレートを用意することで作成してもよい。
【0027】
特定物体認識処理は、画像データ内の観測目的の対象を検出する処理であってもよい。例えば、画像データ内に複数の人が検出された場合、観測目的の対象の色情報や服などの模様情報、もしくは顔情報等を用いて観測目的の対象を検出する処理であってもよい。特定の観測目的の対象を検出するために用いる色情報や服などの模様情報、顔情報等は、前述した特徴量抽出処理などから得てもよい。
【0028】
以上説明したように、
図1の遠隔サーバ10は、観測目的の対象を含む複数のデータ領域の中から、優先度の高い順に選択された少なくとも1つのデータ領域を送信することをデバイス20へ指示することができる。これによって、通信ネットワークの状態の悪化等によって、遠隔サーバ10が、デバイス20から全てのデータ領域に関するデータを受信できない場合であっても、遠隔サーバ10は、正確に画像解析、データ分析もしくはデータ解析等を行う際に重要となるデータを優先的に取得することができる。これによって、送信されるデータが全てのデータ領域に対する一部の少ないデータ領域に関するデータであっても、全体として、正確に画像解析、データ分析もしくはデータ解析等を行うことができる。
【0029】
(実施の形態2)
続いて、
図2を用いて本発明の実施の形態2にかかる遠隔サーバ10の構成例について説明する。
図2の遠隔サーバ10において、
図1と同様の構成については、
図1と同じ符号を付し、詳細な説明を省略する。
【0030】
遠隔サーバ10は、通信部11、NW情報取得部12、画像解析部13、及び分散処理部14を有している。画像解析部13は、デバイス20から送信された画像データもしくはトリミング画像データあるいはその他の処理された画像データを用いて画像解析処理を行う。画像データは、例えば、デバイス20のカメラによって撮影され、取得されたままのRAW画像データや、情報圧縮を行っていないBMP(bitmap)画像データであってもよい。
【0031】
なお、デバイス20から遠隔サーバ10に送信される、トリミング画像データ以外のその他の処理された画像データとしては、画像データを圧縮(単純な解像度の変更や、JPEG、PNG、GIFなどの圧縮画像への変換等)した圧縮データ、グレースケール化したグレースケール化データ、2値化した2値化データ、エッジ検出(Sobelフィルタ、ラプラシアンフィルタ、キャニー法等)したエッジ検出データ、輝度補正した輝度補正データ、明度補正した明度補正データ、彩度補正した彩度補正データ、ノイズ除去(移動平均フィルタ、メディアンフィルタ等)したノイズ除去データ、もしくは特徴量化された特徴量データであっても良い。以降では、簡単のためにトリミング画像データを取り上げて説明を行う。
【0032】
トリミング画像データは、画像データ内の特定の領域もしくは一部の領域の画像データである。言い換えると、トリミング画像データは、画像データから一部の領域を指定して切り取られたデータである。トリミング画像データは、観測目的の対象を含むように画像データから切り取られている。
【0033】
具体的には、
図3に示すように、トリミング画像データ31、トリミング画像データ33、及びトリミング画像データ35は、画像データ30から一部の領域を指定して切り取られている。また、トリミング画像データ31には、観測目的の対象として人物32が含まれており、トリミング画像データ33には、観測目的の対象として人物34が含まれており、トリミング画像データ35には、観測目的の対象として人物36が含まれている。
【0034】
なお、トリミング画像データ以外のその他の処理された画像データとしては、具体的には、
図3に示すトリミング画像データ31、33、35の領域だけBMP画像とし、それ以外の領域を圧縮データ、グレースケール化データ、2値化データ、エッジ検出データ、輝度補正データ、明度補正データ、彩度補正データ、ノイズ除去データ、もしくは特徴量データなどであっても良い。またさらに、トリミング画像データ(を作成する処理、すなわち、トリミング)も含めて、これらの画像データ(を作成する処理)を複数組み合わせたものでもよい。具体的には、例えば、
図3に示すトリミング画像データ31、33、35の領域をトリミングした上でさらに圧縮(JPEG化などの圧縮処理)やグレースケール化、2値化、特徴量化、エッジ検出、輝度補正、明度補正、彩度補正、ノイズ除去などの処理をしたデータとしても良い。あるいは、例えば、
図3に示すトリミング画像データ31、33、35の領域を圧縮データとし、それ以外の領域を2値化データとしてもよい。複数の組み合わせは、上記例に限らず、自由に組み合わせてよい。
【0035】
図2に戻り、画像解析部13は、画像データもしくはトリミング画像データを用いて画像解析処理を行った結果、観測目的の対象の位置や位置の変化量等を特定する。さらに、画像解析部13は、ARサービスを提供する場合、AR画像を生成してもよい。AR画像は、例えば、観測目的の対象に関する補足情報が追加された画像であってもよい。また、画像解析部13は、ロボットの制御サービスを提供する場合、ロボットの移動制御データを生成してもよい。移動制御データは、例えば、観測目的の対象の画像位置に対して算出されたロボットの移動を制御するデータであってもよい。以降では、画像解析部13はARサービスを提供するものとして説明する。
【0036】
具体的には、
図4にAR画像データ40が示されている。AR画像データ40には、観測目的の対象である人物32、人物34、及び人物36に関する選手情報が補足情報として追加されている。
【0037】
図2に戻り、分散処理部14は、NW情報取得部12から出力された通信ネットワーク情報において、通信ネットワークの品質が低下していると判定した場合、デバイス20から送信されるデータ量を減少させる制御を実行する。
【0038】
具体的には、分散処理部14は、デバイス20から送信されるトリミング画像データの数もしくはトリミング画像データのデータ量を減少させる処理を実行する。ここで、分散処理部14の構成例について説明する。
【0039】
分散処理部14は、優先度設定部15、送信対象決定部16、及び位置推定部17を有している。優先度設定部15は、デバイス20が生成する複数のトリミング画像データに含まれる観測目的の対象に関して優先度を設定する。ここで、優先度設定部15における優先度の設定処理について説明する。
【0040】
遠隔サーバ10は、通信ネットワークの品質が低下しておらず、通信帯域に余裕がある時に、デバイス20が生成した複数のトリミング画像データをすべて受信している。あるいは通信帯域に余裕がある場合は、デバイス20からトリミングしていない元の画像データを受信している。優先度設定部15は、遠隔サーバ10が受信した複数のトリミング画像データ、あるいは元の画像データを用いて、それぞれのトリミング画像データ内の観測目的の対象の位置変化量、あるいは元の画像データ内の各観測目的の対象の位置変化量を学習する。優先度設定部15は、位置変化量の大きい観測目的の対象を高優先度とし、位置変化量の少ない観測目的の対象を低優先度としてもよい。なお、位置変化量が大きい観測目的の対象をを高優先度にするということは、後述する位置推定部17による次の制御周期における観測目的の対象物の位置推定が外れやすいものを高優先度とすると考えても良い。
【0041】
位置変化量は、例えば、観測目的の対象が単位時間あたりに移動した距離であってもよい。もしくは、位置変化量は、位置変化率と称してもよく、単位時間あたりの移動方向の変更回数、移動した距離の変化率(速度)、方向の変化率(角速度)、移動速度の変化率(加速度)、もしくは角速度の変化率(角加速度)等であってもよい。もしくは、位置変化量は、単位時間あたりの移動速度もしくは移動方向の自己共分散によって示されてもよい。さらには、位置変化量あるいは位置変化率は、上記の少なくとも1つ以上の組み合わせで表しても良い。
【0042】
送信対象決定部16は、通信ネットワーク情報を用いて、次の制御周期においてデバイス20が送信可能なトリミング画像データの数もしくはトリミング画像データのデータサイズを算出する。また、トリミングしていない元の画像データが送信可能かどうかも算出する。例えば、通信ネットワーク情報において示される通信品質が良好であれば、デバイス20は、生成した全てのトリミング画像データ(あるいはトリミングしていない元の画像データ)を遠隔サーバ10へ送信することができる。通信品質が良好ではない場合、デバイス20が遠隔サーバ10へ送信することができるトリミング画像データの数もしくはトリミング画像データのデータサイズは制限される。送信対象決定部16は、算出したトリミング画像データの数もしくはトリミング画像データのデータサイズに収まるように、優先度の高い観測目的の対象に関するトリミング画像データをデバイス20に送信させることを決定する。
【0043】
もしくは、送信対象決定部16は、デバイス20に送信させるトリミング画像データを決定する際に、観測目的の対象の優先度を用いずに、デバイス20が生成したトリミング画像データをランダムもしくはラウンドロビンに選択してもよい。
【0044】
もしくは、送信対象決定部16は、通信ネットワーク情報に基づいて、利用可能帯域の急激な減少、もしくは通信品質の急激な低下等が予測される場合、低優先度の観測目的の対象に関するトリミング画像データを、利用可能帯域の急激な減少、もしくは通信品質の急激な低下等が発生する前までに、遠隔サーバ10へ送信するようにしてもよい。利用可能帯域の急激な減少、もしくは通信品質の急激な低下等が発生した場合には、低優先度の観測目的の対象に関するトリミング画像データを遠隔サーバ10へ送信することはできなくなる。そのため、そのような事態になる前に、低優先度の観測目的の対象に関するトリミング画像データを遠隔サーバ10へ送信しておくことによって、長期間、低優先度の観測目的の対象に関するトリミング画像データが遠隔サーバ10へ送信されなくなることを防止することができる。なお、利用可能帯域の急激な減少、もしくは通信品質の急激な低下等が予測される場合の送信対象決定部16の動作の一部は、優先度設定部15において実行されても良い。この場合、送信対象決定部16は、利用可能帯域の急激な減少、もしくは通信品質の急激な低下等が予測を優先度設定部15に通知し、その後優先度設定部15がそれらを考慮した優先度を算出する。そして、送信対象決定部16は、算出したトリミング画像データの数もしくはトリミング画像データのデータサイズに収まるように、優先度の高い観測目的の対象に関するトリミング画像データをデバイス20に送信させることを決定する。
【0045】
位置推定部17は、位置変化量に関する情報及び推定手法(最尤推定、ベイズ推定、カルマンフィルタ、パーティクルフィルタ、線形予測法、最小二乗法、統計分析、自己回帰予測、ウィナー過程に基づく変動幅予測、単純な直近の前回値の採用等)を利用して、送信対象決定部16において決定された観測目的の対象を含むトリミング領域を推定する。位置推定部17は、推定したトリミング領域に関する情報を通信部11を介してデバイス20へ送信する。
【0046】
位置推定部17は、優先度が高い観測目的の対象が推定したトリミング領域に含まれる可能性、つまり、観測目的の対象の検知率を高めるために、例えば、他の観測目的の対象に関するトリミング領域よりも広いトリミング領域を設定してもよい。もしくは、位置推定部17は、他の観測目的の対象に関するトリミング領域を狭くし、優先度が高い観測目的の対象に関するトリミング領域を可能な限り広く設定してもよい。すなわち、位置変化量が大きいために後述する観測目的の対象物の位置推定が外れやすい高優先度のものの検知率を高めるように、可能な限りトリミング領域を広くするように設定してもよい。
【0047】
トリミング領域を広くする場合、正規分布誤差を考え、トリミング領域が円形もしくは楕円形となるようにしてもよい。もしくは、トリミング領域を広くする場合、過去の移動方向をトレンドとして、楕円形や台風の予報円のような形に広げてもよい。ただし、実際にトリミング画像データを生成する場合、設定した円形もしくは楕円形に最も近くなるような四角形に切り出してもよい。
【0048】
また、位置推定部17において推定したトリミング領域に関するトリミング画像データをデバイス20から受信した場合に、観測目的の対象の検知率が低下している場合に、観測目的の対象の検知率を高めるように、トリミング領域を広く設定してもよい。あるいは、実際に後述する観測目的の対象物の位置推定が外れている(検知率が一定値より低い、あるいは検知ができない)場合、検知率を高めるようにトリミング領域を広く設定してもよい。
【0049】
位置推定部17は、デバイス20から送信されてくるトリミング画像データを確認し、検知率を向上させるために、段階的にトリミング領域を広くするように設定してもよい。また、位置推定部17は、検知率が向上しない場合に、画像データ30を送信することを遠隔サーバ10へ指示してもよい。
【0050】
画像解析部13は、位置推定部17が推定したトリミング領域に関するトリミング画像データをデバイス20から受信すると、画像解析処理を実行する。ここで、画像解析部13は、デバイス20から送信されてこなかったトリミング領域に存在する観測目的の対象の位置を、過去に学習した位置変化量に関する情報及びカルマンフィルタ等を利用して、推定する。さらに、画像解析部13は、送信されたトリミング画像データの画像解析による観測目的の対象の位置を特定あるいは推定及び送信されなかったトリミング領域を用いて観測目的の対象の位置を推定後、AR画像データを生成してもよい。画像解析部13は、生成したAR画像データを通信部11を介してデバイス20へ送信する。もしくは、画像解析部13は、観測目的の対象の位置を特定あるいは推定後、デバイス20を観測目的の対象を撮影できる位置へ移動させるようにデバイス20を制御してもよい。なお、上記のデバイス20から送信されてこなかったトリミング領域に存在する観測目的の対象の位置の推定は、画像解析部13ではなく位置推定部17で行っても良い。この場合でも、画像解析部13は、受信したトリミング画像データの画像解析結果および位置推定部17で行われた推定結果から、AR画像データを生成してデバイス20への送信や、観測目的の対象を撮影できる位置へデバイス20を移動させる制御をしても良い。
【0051】
位置推定部17が、デバイス20から送信されるトリミング領域を指定することによって、それぞれの観測目的の対象間において、遠隔サーバ10へトリミング画像データが送信される回数に差異が生じる。位置変化量の大きい観測目的の対象の優先度を高く設定した場合、位置変化量の小さい観測目的の対象に関するトリミング画像データが遠隔サーバ10へ送信される回数が少なくなり、実際の位置と、画像解析部13あるいは位置推定部17による推定された位置とに差異が生じる可能性が高くなる。そのため、優先度設定部15は、トリミング画像データが遠隔サーバ10へ送信された回数が少ない観測目的の対象の優先度を高くするようにしてもよい。これより、位置変化量の少ない観測目的の対象に関するトリミング画像データも、定期的に遠隔サーバ10へ送信されることとなる。
【0052】
また、送信対象決定部16が、観測目的の対象の優先度を用いずに、デバイス20が生成したトリミング画像データをランダムもしくはラウンドロビンに選択して送信する手法においては、送信回数が少ない対象の送信機会を増やすように、確率の調整、順番の調整を行ってもよい。
【0053】
続いて、
図5を用いて本発明の実施の形態2にかかるデバイス20の構成例について説明する。デバイス20は、通信部21、トリミング制御部22、画像データ生成部23、及び動作制御部24を有している。
【0054】
デバイス20を構成する通信部21、トリミング制御部22、画像データ生成部23、及び動作制御部24等の各構成要素は、プロセッサがメモリに格納されたプログラムを実行することによって動作するソフトウェアもしくはモジュールであってもよい。又は、デバイス20を構成する各構成要素は、回路もしくはチップ等のハードウェアであってもよい。
【0055】
画像データ生成部23は、デバイス20に搭載されたカメラ等を用いてデバイス20の周囲を撮影し、画像データを生成する。画像データ生成部23は、生成した画像データをトリミング制御部22へ出力する。
【0056】
トリミング制御部22は、画像データ生成部23から出力された画像データに表示されている観測目的の対象を含むようにトリミング画像データを生成する。例えば、観測目的の対象が人物である場合、その人物を含むようにトリミング画像データを生成する。さらに、観測目的の対象となる人物が複数人存在する場合、トリミング制御部22は、複数のトリミング画像データを生成する。また、トリミング制御部22は、遠隔サーバ10からトリミング領域を指定した情報を受信した場合、指定されたトリミング領域に関するトリミング画像データを生成する。なお、トリミング制御部22は、遠隔サーバ10からトリミング領域を指示した情報を受信していない場合、画像データをトリミングしなくてもよい。
【0057】
通信部21は、通信ネットワークを介して遠隔サーバ10と通信を行う。通信部21は、トリミング制御部22において生成されたトリミング画像データを遠隔サーバ10へ送信する。なお、通信部21は、トリミング制御部22が画像データをトリミングしなかった場合、トリミングされていない画像データを遠隔サーバ10へ送信してもよい。
【0058】
また、通信部21は、遠隔サーバ10から送信されたAR画像データを受信した場合、受信したAR画像データを動作制御部24へ出力する。動作制御部24は、画像の表示動作の制御として、通信部21から出力されたAR画像データ(あるいはカメラで取得した画像データに通信部21から出力されたAR画像データを追加した画像データ)を表示する。もしくは、通信部21は、遠隔サーバ10からデバイス20の動作を制御するために用いる制御情報(ロボットの移動の制御情報など)が送信された場合、制御情報を動作制御部24へ出力する。
【0059】
続いて、
図6を用いて本発明の実施の形態2にかかるデバイス20と遠隔サーバ10との間のデータ伝送処理の流れについて説明する。はじめに、デバイス20は、トリミング制御部22において生成された複数のトリミング画像データを遠隔サーバ10へ送信する(S11)。次に、遠隔サーバ10は、受信した複数のトリミング画像データを用いて、画像解析処理を行う(S12)。例えば、画像解析処理は、観測目的の対象である人物の位置を特定する、あるいは推定する処理であってもよい。
【0060】
次に、遠隔サーバ10は、デバイス20に対して、トリミング領域に関する情報をデバイス20へ送信する(S13)。さらに、遠隔サーバ10は、画像解析処理を行った後に生成したAR画像をデバイス20へ送信する(S14)。なお、ステップS14において、遠隔サーバ10は、画像解析処理を行った後にデバイス20の動作を制御するために用いる制御情報(ロボットの移動の制御情報など)を送信しても良い。
【0061】
次に、デバイス20は、ステップS13において指定されたトリミング領域に関するトリミング画像データを遠隔サーバ10へ送信する(S15)。
【0062】
続いて、
図7を用い本発明の実施の形態2にかかる遠隔サーバ10における画像解析処理の流れについて説明する。はじめに、画像解析部13は、通信部11を介してデバイス20からトリミング画像データを取得する(S21)。
【0063】
次に、画像解析部13は、デバイス20において生成された全てのトリミング画像データを取得したか否かを判定する(S22)。例えば、送信対象決定部16において、デバイス20において生成される全てのトリミング画像データではなく、優先度の高い観測目的の対象に関するトリミング画像データをデバイス20に送信させることを決定している場合、画像解析部13は、デバイス20において生成された全てのトリミング画像データを取得していないと判定してもよい。
【0064】
画像解析部13は、デバイス20において生成された全てのトリミング画像データを取得したと判定した場合、取得したトリミング画像データに基づいて、トリミング画像データ内に表示されている人物の位置を特定する(S23)。ここでは、例として観測目的の対象を人物とする。画像解析部13は、位置推定部17からデバイス20において生成するトリミング画像データのトリミング領域に関する情報を受け取る。これによって、画像解析部13は、トリミングしていない元の画像データ内におけるトリミング画像データの位置を特定することが可能である。これより、画像解析部13は、トリミング画像データ内の人物の位置が、元の画像データのどの位置であるかも特定することができる。あるいは、画像解析部13はトリミング画像を解析してトリミング画像内の人物位置を特定し、そのトリミング画像内の人物の位置情報を位置推定部17に通知することで、元の画像データ内におけるトリミング画像の領域(位置)を把握している位置推定部17が、元の画像データ内における人物の位置を特定してもよい。
【0065】
画像解析部13あるいは位置推定部17は、デバイス20において生成された全てのトリミング画像データを取得していないと判定した場合、取得していないトリミング領域における人物の位置を推定する(S24)。画像解析部13あるいは位置推定部17は、取得していないトリミング領域における人物に関する過去の位置変化量の学習結果を用いて、現在の位置を推定する。さらに、画像解析部13あるいは位置推定部17は、ステップS23と同様に、ステップS24においても、取得したトリミング画像データに基づいて、トリミング画像データ内に表示されている人物の位置を特定する。
【0066】
ステップS23もしくはステップS24の後に、画像解析部13あるいは位置推定部17は、観測目的の対象である人物の位置変化量を測定する(S25)。例えば、画像解析部13あるいは位置推定部17は、前回に取得したトリミング画像データに基づいて特定された人物の位置と、今回取得したトリミング画像データに基づいて特定された人物の位置の差異から、位置変化量を測定してもよい。もしくは、画像解析部13あるいは位置推定部17は、ステップS24において人物の位置を推定する際に使用した位置変化量を測定結果として用いてもよい。もしくは、画像解析部13あるいは位置推定部17は、前回推定した観測目的の対象の位置と今回取得したトリミング画像データに基づいて特定された人物の位置の差異から、位置変化量を測定してもよい。
【0067】
次に、画像解析部13あるいは優先度設定部15は、観測目的の対象であるそれぞれの人物に関して、過去にトリミング画像データが送信された回数を確認する(S26)。それぞれの人物を含むトリミング画像データの送信回数は、遠隔サーバ10のメモリ等に保持されていてもよい。
【0068】
次に、優先度設定部15は、観測目的の対象である人物の位置変化量及びそれぞれの人物に関して過去にトリミング画像データが送信された回数に基づいて、それぞれの人物に関する優先度を決定する(S27)。
【0069】
ここで、位置変化量及びトリミング画像データの送信回数を考慮した優先度の決定方法について説明する。例えば、位置変化量及びトリミング画像データの送信回数を考慮する場合、位置変化量に基づいて決定される優先度を基礎優先度とし、トリミング画像データの送信回数に応じた調整率を基礎優先度に乗算することによって、最終的な優先度を決定してもよい。
【0070】
具体的には、
図3における人物32の位置変化量が最も大きく、その次に、人物36の位置変化量が大きく、人物34の位置変化量が最も小さいとする。この場合、人物32の基礎優先度を10とし、人物34の基礎優先度を2とし、人物36の基礎優先度を6としてもよい。基礎優先度の値が大きいほど優先度が高いとする。
【0071】
ここで、過去に、人物36を含むトリミング画像データの送信回数が最も多く、次に、人物32を含むトリミング画像データの送信回数が多く、人物34を含むトリミング画像データの送信回数が最も少ないとする。この場合、人物32の調整率を0.6とし、人物34の調整率を1とし、人物36の調整率を0.2としてもよい。調整率は、送信回数が少ない人物に最も大きな値が割り当てられるとする。
【0072】
最終的な優先度として、人物32は、10×0.6=6となり、人物34は、2×1=2となり、人物36は、6×0.2=1.2となる。そのため、最終的な優先度は、人物32が最も高く、人物36の優先度が最も低くなる。
【0073】
上述したように位置変化量の順位及び送信回数の順位に応じて基礎優先度及び調整率を決定する以外にも、例えば、次の式のように優先度は決定されてもよい。
【0074】
優先度=(a×位置変化量)×(1/(b×送信回数))
aは、位置変化量の値を調整するために用いられる値であり、bは、送信回数の値を調整するために用いられる値である。
【0075】
なお、上記の式は一例であり、位置変化量による基礎優先度の値を送信回数の逆数などによる調整率で調整できればどんな式であっても良い。例えば、
優先度=(a×(位置変化量)^r)×(1/(b×(送信回数)^s))
のように、位置変化量や送信回数をr、sで累乗(^は累乗を示す。また累乗はべき乗と表現してもよい。)した式でもよく(r、sは累乗の調整数)、また例えば
優先度=(a×Log(t×位置変化量))×(1/(b×Log(u×送信回数)))
のように、位置変化量や送信回数を変数とした対数(Logは対数を示す。底は任意でよい。)で表した式でもよく(t、uは調整数)、また例えば
優先度=(a×(e^(v×位置変化量)))×(1/(b×(e^(w×送信回数))))
のように、位置変化量や送信回数を変数とした指数関数(eは、ネイピア数あるいは自然対数の底と呼ばれる値:2.71828・・・)で表した式でも良い(なおネイピア数eではなく、他の実数を用いた指数関数でも良い。また、v、wは調整数)。
上記の例の式に限らず、位置変化量、送信回数を変数としたなんらかの関数で表現できていれば、どんな式でも良い。なお、四則演算(加算、減算、乗算、除算、あるいは加法、減法、乗法、除法)、累乗、対数、指数関数、およびその他の関数を複数組み合わせた式であってもよい。
【0076】
図7に戻り、ステップS27においてそれぞれの人物に関する優先度を決定した後に、NW情報取得部12は、通信ネットワークの状態を示す通信ネットワーク情報を取得する(S28)。NW情報取得部12は、例えば、デバイス20において測定された通信ネットワーク情報を、デバイス20から受信してもよく、通信ネットワークを管理している管理サーバ等から通信ネットワーク情報を受信してもよい。
【0077】
次に、送信対象決定部16は、NW情報取得部12が取得した通信ネットワーク情報をもとに、次の制御周期においてデバイス20が送信可能なトリミング画像データの数もしくはトリミング画像データのデータサイズを算出する(S29)。また、トリミングしていない元の画像データが送信可能かどうかを算出してもよい。
【0078】
次に、位置推定部17は、デバイス20において生成すべきトリミング画像データのトリミング領域を決定する(S30)。位置推定部17は、送信対象決定部16において算出されたトリミング画像データの数あるいはデータサイズに従い、優先度の高い順に観測目的の対象である人物を選択する。さらに、位置推定部17は、選択した人物に関するトリミング画像データ及び選択した人物に関して学習した位置変化量に応じて、選択した人物の将来的な位置を推定する。位置推定部17は、推定した将来的な人物の位置が含まれるようにトリミング領域を決定する。
【0079】
位置推定部17は、全てのトリミング領域の面積を同じとしてもよい。もしくは、位置推定部17は、位置変化量の大きい人物に関するトリミング領域の面積を大きくし、位置変化量の小さい人物に関するトリミング領域の面積を小さくする等して、観測目的の対象である人物に応じて、トリミング領域の面積を変更してもよい。
【0080】
次に、位置推定部17は、通信部11を介して、決定したトリミング領域に関する情報をデバイス20へ送信する(S31)。
【0081】
以上説明したように、本発明の実施の形態2にかかるデバイス20は、通信ネットワークの品質が低下している場合に、送信するトリミング画像データの総データサイズを小さくする必要がある。この時、遠隔サーバ10は、優先度に従って送信すべきトリミング画像データをデバイス20へ指示することができる。
【0082】
これによって、例えば、遠隔サーバ10は、位置変化量の大きい人物を含むトリミング画像データ、さらに、送信回数の少ない人物に関するトリミング画像データの優先度を高くすることによって、人物の位置を正確に推定することを可能としている。
【0083】
なぜなら、位置変化量の小さい人物に関しては、過去に学習した位置変化量に関する情報を用いることによって、十分に推定することができるが、位置変化量の大きい人物に関しては、過去に学習した位置変化量に関する情報のみでは、推定誤差を生じやすい。そのため、遠隔サーバ10は、位置変化量の大きい人物に関しては優先度を高くし、実際のトリミング画像データの送信を促している。さらに、人物の位置変化量が小さいことによって、その人物を含むトリミング画像データの送信回数が少ない場合、過去に学習した位置変化量を用いて位置を推定する回数が増加するため、推定誤差を生じやすくなる(推定の累積誤差が大きくなる)。そのため、このように位置変化量が小さい人物に関しても、調整率を考慮して優先度を高くすることによって、その人物を含むと推定したトリミング画像データを送信する機会を設けることができるため、推定誤差を小さくすることができる。
【0084】
また、優先度設定部15は、優先度の設定を行う際に、トリミング領域の大きさを考慮して優先度を決定してもよい。例えば、位置推定部17は、位置変化量の大きい人物に関しては、確実に観測目的の対象である人物をトリミング領域内に含めるために、トリミング領域の面積を大きくし、位置変化量の小さい人物に関しては、トリミング領域の面積を小さくすることを決定することがある。この場合、トリミング領域の面積の大きいトリミング画像データは、トリミング領域の面積の小さいトリミング画像データと比較して、データサイズが大きくなる。そのため、位置変化量の大きい人物に関する優先度を高くしすぎると、デバイス20から送信されるトリミング画像データの総データサイズが大きくなる。
【0085】
そのため、優先度設定部15は、トリミング領域の大きさに応じて、調整率を決定してもよい。例えば、優先度設定部15は、トリミング領域が小さいほど調整率の値を大きくし、トリミング領域が小さい観測目的の対象の優先度を高くなるようにしてもよい。
【0086】
また、トリミング領域の面積を用いて、例えば、次の式のように優先度を決定してもよい。
【0087】
優先度=(a×位置変化量)×(1/(b×送信回数))×(1/(c×面積))
aは、位置変化量の値を調整するために用いられる値であり、bは、送信回数の値を調整するために用いられる値であり、cは、トリミング領域の面積の値を調整するために用いられる値である。
【0088】
式としてはあるいは、
優先度=(a×(位置変化量^f))×(1/(b×(送信回数^g)))×(1/(c×(面積^h)))
や、
優先度=(a×Log(i×位置変化量))×(1/(b×Log(j×送信回数)))×(1/(c×Log(k×面積)))
や、
優先度=(a×(e^(l×位置変化量)))×(1/(b×(e^(m×送信回数))))×(1/(c×(e^(n×面積))))
などの、累乗(べき乗)、対数、指数関数で表現した式でも良い(f、g、h、i、j、k、l、m、nは調整数)。また、上記の例の式に限らず、位置変化量、送信回数、面積を変数としたなんらかの関数で表現できていれば、どんな式でも良い。さらに、四則演算(加算、減算、乗算、除算、あるいは加法、減法、乗法、除法)、累乗、対数、指数関数、およびその他の関数を複数組み合わせた式であってもよい。
【0089】
もしくは、優先度=(a×位置変化量)×(1/(b×送信回数))×(c×面積)
とする式が用いられてもよい。この式は、トリミング領域の面積が大きくなるにつれて、優先度を高く設定することを示している。
【0090】
トリミング領域の面積が大きくなることは、位置変化量が大きくなることを示している。人物の位置を正確に推定するために、位置変化量が大きい人物に関するトリミング画像データを取得することが必要である場合、このように、トリミング領域の面積が大きくなるにつれて、優先度が高くなる式を用いてもよい。
【0091】
式としてはあるいは、
優先度=(a×(位置変化量^f))×(b×(送信回数^g))×(c×(面積^h))
や、
優先度=(a×Log(i×位置変化量))×(b×Log(j×送信回数))×(c×Log(k×面積))
や、
優先度=(a×(e^(l×位置変化量)))×(b×(e^(m×送信回数)))×(c×(e^(n×面積)))
などの、累乗(べき乗)、対数、指数関数で表現した式でも良い(f、g、h、i、j、k、l、m、nは調整数)。また、上記の例の式に限らず、位置変化量、送信回数、面積を変数としたなんらかの関数で表現できていれば、どんな式でも良い。さらに、四則演算(加算、減算、乗算、除算、あるいは加法、減法、乗法、除法)、累乗、対数、指数関数、およびその他の関数を複数組み合わせた式であってもよい。
【0092】
また、
図8は、学習期間における遠隔サーバ10とデバイス20との間の通信ネットワークにおける使用帯域と、遠隔サーバ10が送信すべきトリミング画像データを削減している期間における使用帯域を示している。このように、遠隔サーバ10が送信すべきトリミング画像データを削減している期間においては、使用帯域が減少し、デバイス20から遠隔サーバ10へ送信するデータサイズは小さくなるが、遠隔サーバ10において重要なトリミング画像データについては優先度を高くしているため、観測目的の対象である人物の位置を高精度に推定することができる。
【0093】
すなわち、
図8の縦軸を通信で使える帯域(すなわち可用帯域)に見方を変えると、遠隔サーバ10は、可用帯域に合わせて学習期間とトリミング削減期間を設定することで、観測目的の対象である人物の位置を高精度に推定することができる。具体的には、例えば、可用帯域が小さな期間にトリミング削減期間を設けることで、遠隔サーバ10において重要なトリミング画像データについては優先度を高くして送信するために、全体として高精度な人物位置推定を可能とする。
なお、学習期間とトリミング削減期間の設定切り替えは、送信対象決定部16の算出結果で決定されてもよい。具体的には、送信対象決定部16が、通信ネットワーク情報を用いて、次の制御周期においてデバイス20が送信可能なトリミング画像データの数もしくはトリミング画像データのデータサイズを算出した際に、全トリミング画像(あるいはトリミングしていない元の画像データ)の送信が可能な場合、次の制御周期は学習期間の範囲であると設定しても良く、一部のトリミング画像の送信が可能な場合、次の制御周期はトリミング削減期間と設定しても良い。
【0094】
(実施の形態3)
続いて、
図9を用いて本発明の実施の形態3にかかるデバイス50の構成例について説明する。デバイス50は、
図5のデバイス20に、送信対象決定部51を追加した構成である。デバイス50において、
図5のデバイス20と同様の構成については同じ符号を付し、詳細な説明を省略する。
【0095】
ここで、通信部21が遠隔サーバ10から受信するデータについて説明する。実施の形態3においては、通信部21は、遠隔サーバ10から、観測目的の対象となる人物がいる位置を含むトリミング領域に関する情報、それぞれの観測目的の対象となる人物の優先度、及び遠隔サーバ10へ送信すべきトリミング画像データの数もしくはデータサイズ、に関する情報を受信する。実施の形態2においては、遠隔サーバ10は、観測目的の対象の優先度に基づいて、遠隔サーバ10へ送信すべきトリミング画像データのトリミング領域を指定した情報をデバイス20へ送信していた。これに対して、実施の形態3においては、遠隔サーバ10は、遠隔サーバ10へ送信すべきトリミング画像データのトリミング領域を指定した情報をデバイス50へ送信しない。
【0096】
つまり、実施の形態3においては、デバイス50が、遠隔サーバ10へ送信するトリミング画像データに関するトリミング領域を決定する。
【0097】
デバイス50の送信対象決定部51は、遠隔サーバ10へ送信すべきトリミング画像データの数もしくはデータサイズに応じて、優先度の高い順に観測目的の対象となる人物を選択する。さらに、送信対象決定部51は、選択した人物が含まれる位置を含むトリミング領域を決定する。送信対象決定部51は、決定したトリミング領域に関する情報をトリミング制御部22へ出力する。
【0098】
また、送信対象決定部51は、デバイス50が取得可能な情報に基づいて、遠隔サーバ10から送信された優先度もしくはトリミング領域に関する情報等を変更してもよい。例えば、デバイス50が、センサ(加速度センサ、ジャイロセンサ、磁気センサ、超音波センサ、ミリ波レーダセンサ、照度センサ、気圧センサ、温湿度センサなど)を有しており、デバイス50の速度、加速度、角速度、角加速度、傾き度、磁力、何らかの物体との距離、明るさ、気圧、もしくは温湿度等に関する情報を取得できるとする。デバイス50は、センサ等によって取得した情報を用いて、遠隔サーバ10から指示されたトリミング領域を補正し、補正後のトリミング領域に関するトリミング画像データを生成してもよい。
【0099】
デバイス50が取得可能な情報は、センサ情報に制限されず、デバイス50の周囲の環境もしくは無線通信環境等に関する情報であってもよく、その他の情報であってもよい。もしくは、デバイス50を操作するユーザが、優先的に観測を希望する人物がいる場合、送信対象決定部51は、ユーザが希望する人物の優先度が高くなるように、デバイス20から送信された優先度を変更してもよい。
【0100】
続いて、
図10を用いて本発明の実施の形態3にかかるデバイス50におけるトリミング画像データ生成処理の流れについて説明する。
【0101】
はじめに、通信部21は、遠隔サーバ10からトリミング制御に関する情報を受信する(S41)。トリミング制御に関する情報は、例えば、観測目的の対象となる人物がいる位置を含むトリミング領域に関する情報、それぞれの観測目的の対象となる人物の優先度、及び遠隔サーバ10へ送信すべきトリミング画像データの数もしくはデータサイズ、に関する情報である。
【0102】
次に、送信対象決定部51は、センサ情報を取得する(S42)。次に、送信対象決定部51は、センサ情報を用いて、トリミング制御に関する情報を変更する必要があるか否かを判定する(S43)。送信対象決定部51は、トリミング制御に関する情報を変更する必要があると判定した場合、ステップS41において取得したトリミング制御に関する情報のなかから少なくとも一つの情報を変更する(S44)。例えば、送信対象決定部51は、センサ情報を用いて推定することができるトリミング領域と、遠隔サーバ10から送信されたトリミング領域とが異なる場合に、トリミング制御に関する情報を変更する必要があると判定してもよい。また、送信対象決定部51は、デバイス50を操作するユーザによって、優先的に観測を希望する人物に関する情報が入力された場合、観測目的の対象となる人物の優先度を変更するために、トリミング制御に関する情報を変更する必要があると判定してもよい。
【0103】
送信対象決定部51は、トリミング制御に関する情報を変更する必要がないと判定した場合、ステップS41において取得したトリミング制御に関する情報を用いて、トリミング領域を決定する(S45)。また、ステップS44において、送信対象決定部51は、トリミング制御に関する情報を変更した場合、変更後のトリミング制御に関する情報を用いてトリミング領域を決定する(S45)。また、送信対象決定部51は、トリミング制御に関する変更内容を遠隔サーバ10へ送信してもよい。
【0104】
次に、トリミング制御部22は、決定されたトリミング領域におけるトリミング画像データを生成する(S46)。
【0105】
以上説明したように、本発明の実施の形態3にかかる遠隔サーバ10及びデバイス50を用いることによって、デバイス50において、遠隔サーバ10へ送信するトリミング画像データのトリミング領域を決定することができる。一般的に、遠隔サーバ10は、複数のデバイス50と接続することになる。そのため、接続するデバイス50の数が多くなるほど、遠隔サーバ10の処理負担が増大する。また、実施の形態2では、遠隔サーバ10がトリミング制御に関する情報を決定してからデバイス20が実際にトリミング画像データを作成して送信するまでの期間に発生したデバイス20側の変化は、遠隔サーバ10側では把握できないため、その変化が推定の誤差につながる可能性がある。
【0106】
本発明の実施の形態3においては、トリミング領域の決定に関する処理を遠隔サーバ10ではなくデバイス50が実行する。そのため、複数のデバイス50に関するトリミング領域の決定を遠隔サーバ10が行う場合と比較して、遠隔サーバ10の処理負担を軽減することができる。また、デバイス50側が、自身の持つセンサから得られたリアルタイム情報によって、遠隔サーバ10のトリミング制御に関する情報を補正することができるため、推定の誤差を小さくできる。
【0107】
(実施の形態4)
続いて、
図11を用いて本発明の実施の形態4にかかる遠隔サーバ60の構成例について説明する。なお、遠隔サーバ60と通信するデバイスの構成は、
図5のデバイス20と同様とする。
【0108】
遠隔サーバ60は、
図2の遠隔サーバ10に、グループ生成部61を追加した構成となっている。遠隔サーバ60において、
図2の遠隔サーバ10と同じ構成要素については同じ符号を付し、詳細な説明を省略する。
【0109】
グループ生成部61は、デバイス20が生成する複数のトリミング画像データをいくつかのグループに分類する。グループ生成部61は、観測目的の対象である人物間の関係性を算出し、関係性が強いデバイスを同じグループに分類する。例えば、人物間の関係性として相互共分散を用いた場合について
図12を用いて説明する。
【0110】
図12は、観測目的の対象となる人物32、人物34、及び人物36の位置変化量を矢印の大きさを用いて示している。さらに、人物32、人物34、及び人物36の移動方向について、矢印の方向を用いて示している。
図12において、人物32及び人物36は、位置変化量が同程度である。このように位置変化量が類似している人物32及び人物36について関係性が強いとする。関係性については、数値を用いて表してもよい。例えば、関係性が強くなるにつれて、絶対値が大きくなるとしてもよい。また、人物32及び人物36の移動方向が同じである場合、関係性を示す絶対値に正の符号を付し、人物32及び人物36の移動方向が異なる場合、関係性を示す絶対値に負の符号を付してもよい。すなわち、相互共分散を用いる場合、負の関係性の値があっても、絶対値が大きい場合、関係性が強いと判断しても良い。
【0111】
グループ生成部61は、人物32及び人物36をグループAに分類し、人物34をグループBに分類する
【0112】
また、人物間の関係性として、相互共分散を用いる以外にも、例えば、相関係数、が用いられてもよい。また、グループ生成部61は、単位時間当たりの速度、加速度、角速度、角加速度、もしくは人物の大きさの変化の速度やその変化の加速度等の変化率が類似しているか否か判定して、関係性が強いか否かを判定してもよい。
【0113】
優先度設定部15は、それぞれのグループに優先度を設定し、さらに、グループに属する人物についても、グループ内における優先度を設定する。優先度設定部15とは異なるグループ優先度設定部(不図示)等が、それぞれのグループに優先度を設定してもよい。例えば、優先度設定部15は、位置変化量の大きい人物が属するグループの優先度を高く設定してもよい。
図12の例においては、優先度設定部15は、人物32及び人物36が属するグループAの優先度をグループBよりも高く設定する。
【0114】
また、優先度設定部15は、グループの優先度を設定する際に、各グループに属する人物の位置変化量の平均値、中央値、最大値、最小値、もしくは総和値を用いてもよい。
【0115】
さらに、優先度設定部15は、グループA内において、位置変化量の大きい人物の優先度を高く設定する。グループA内において一番優先度の高い人物を代表人物としてもよい。もしくは、優先度設定部15は、グループA内において、位置変化量の最も小さい人物を代表人物に設定してもよく、グループA内において、位置変化量が平均的な人物を代表人物に設定してもよい。また、代表人物は、一人に制限されず、複数人が設定されてもよい。
【0116】
送信対象決定部16は、通信ネットワーク情報を用いて、次の制御周期においてデバイス20が送信可能なトリミング画像データの数もしくはトリミング画像データのデータサイズを算出する。送信対象決定部16は、算出したトリミング画像データの数もしくはトリミング画像データのデータサイズに収まるように、優先度の高い観測目的の対象に関するトリミング画像データをデバイス20に送信させることを決定する。この時、送信対象決定部16は、それぞれのグループの代表人物に関するトリミング画像データをデバイス20に送信させることを決定してもよい。
図12の例においては、グループAの代表人物が人物32である場合、人物32に関するトリミング画像データと、グループBの人物34に関するトリミング画像データとをデバイス20に送信させることを決定してもよい。
【0117】
位置推定部17は、トリミング画像データが送信されない人物36に関しては、人物32と位置変化量が同程度であることさらに、移動方向を示す正負の符号を用いて、現在の位置を推定する。なおさらに、人物36の過去に学習した位置変化量に関する情報及びカルマンフィルタ等を利用して、推定を補強してもよい。言い換えると、人物36の位置の推定は、人物32との関係性からの推定に加えて、人物36の個別の位置の推定も併せて行ってもよい。
【0118】
なお、実施の形態4における説明においては、デバイスとして
図5のデバイス20を想定していたが、
図9のデバイス50を用いてもよい。この場合、実施の形態3と同様に、デバイス50は送信対象決定部51において、遠隔サーバ10へ送信するトリミング画像データに関するトリミング領域を決定する。ただし、実施の形態4では、実施の形態3と異なり、デバイス50は遠隔サーバ10から、観測目的の対象となる人物がいる位置を含むトリミング領域に関する情報、それぞれの観測目的の対象となる人物の優先度、及び遠隔サーバ10へ送信すべきトリミング画像データの数もしくはデータサイズに加え、各トリミング領域をグループ化したグループ情報、それぞれのグループの優先度、を受信する。また、グループ内の代表者に関する情報を受信してもよい。実施の形態4では、実施の形態3と異なり、送信対象決定部51は、これらの情報から、遠隔サーバ10へ送信するトリミング画像データに関するトリミング領域を決定する。
【0119】
以上説明したように、本発明の実施の形態4にかかる遠隔サーバ60は、観測目的の対象間の関係性に基づいて観測目的の対象をグループに分類することができる。また、グループ内において、トリミング画像データが送信されてこないトリミング領域に位置する観測目的の対象については、同一グループ内の他の観測目的の対象との関係性を用いて、位置を推定することができる。これより、位置の変化量が小さい観測目的の対象についても、定期的にトリミング画像データを用いて位置を推定することができる。また、観測目的の対象物が増加した場合に、送信すべきトリミング画像データをより効率的に抑制できる。
【0120】
上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、遠隔サーバ及びデバイスにおける処理を、CPU(Central Processing Unit)にコンピュータプログラムを実行させることにより実現することも可能である。
【0121】
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0122】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【0123】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)通信ネットワークの状態を示す通信ネットワーク情報を取得するネットワーク情報取得部と、前記通信ネットワーク情報に基づいて、観測目的の対象を含む複数のデータ領域の中から、優先度の高い順に選択された少なくとも1つのデータ領域を送信することを指示する指示情報をデバイスへ送信する通信部と、を備える遠隔サーバ。
(付記2)前記選択された少なくとも1つのデータ領域が、予め定められたデータ伝送時間内に、前記通信ネットワーク情報に基づいて定まる送信可能なデータサイズ以下である、付記1記載の遠隔サーバ。
(付記3)前記複数のデータ領域のそれぞれに優先度を設定する優先度設定部をさらに備え、前記通信部は、それぞれのデータ領域に設定された優先度に基づいて決定した送信すべきデータ領域に関する情報を含む前記指示情報を前記デバイスへ送信する、付記1又は2に記載の遠隔サーバ。
(付記4)前記複数のデータ領域のそれぞれに優先度を設定する優先度設定部をさらに備え、前記通信部は、それぞれのデータ領域に設定された優先度を含む指示情報を前記デバイスへ送信する、付記1又は2に記載の遠隔サーバ。
(付記5)前記優先度を設定する際に、前記データ領域内における前記観測目的の対象の変化の大きさ、前記データ領域の送信回数、及び前記データ領域のデータサイズの少なくとも1つを用いて前記複数のデータ領域のそれぞれに優先度を設定する、付記3又は4に記載の遠隔サーバ。
(付記6)前記優先度設定部は、前記データ領域内における前記観測目的の対象の変化の大きさから算出した基礎優先度に、前記送信回数及び前記データ領域のデータサイズの少なくとも一方から算出した調整率を乗じることによって前記優先度を設定する、付記5に記載の遠隔サーバ。
(付記7)前記データ領域内における前記観測目的の対象に関する位置の変化に関する情報を用いて、将来的な前記観測目的の対象の位置を推定する位置推定部と、推定された前記観測目的の対象の位置に基づいて、前記デバイスにおいて生成する前記データ領域の位置を決定するデータ領域決定部と、を備える付記1乃至6のいずれか1項に記載の遠隔サーバ。
(付記8)前記通信部は、前記複数のデータ領域の中から送信された少なくとも1つのデータ領域に関する情報を受信し、前記位置推定部は、前記複数のデータ領域に含まれ、前記通信部において受信しなかったデータ領域内における前記観測目的の対象の現在の位置を、過去の位置の変化に関する情報を用いて推定する、付記7に記載の遠隔サーバ。
(付記9)それぞれの前記データ領域内における前記観測目的の対象に関する位置の変化に関する情報を用いて、複数の観測目的の対象を複数のグループにグループ化するグループ生成部と、複数のグループのそれぞれに優先度を設定するグループ優先度設定部とをさらに備える、付記1乃至8のいずれか1項に記載の遠隔サーバ。
(付記10)前記通信部は、前記グループ内において代表となる観測目的の対象を含むデータ領域を送信することを指示する指示情報を前記デバイスへ送信する、付記9に記載の遠隔サーバ。
(付記11)前記複数のデータ領域は、画像データ内における特定の領域を抽出したトリミング画像領域である、付記1乃至10のいずれか1項に記載の遠隔サーバ。
(付記12)観測目的の対象を含む複数のデータ領域を生成するデバイスと、通信ネットワークの状態を示す通信ネットワーク情報を取得するネットワーク情報取得部、及び、予め定められたデータ伝送時間内に、前記通信ネットワーク情報に基づいて定まる送信可能なデータサイズに収まるように、観測目的の対象を含む複数のデータ領域の中から、優先度の高い順に選択された少なくとも1つのデータ領域を送信することを指示する指示情報をデバイスへ送信する通信部を有する遠隔サーバと、を備える通信システム。
(付記13)通信ネットワークの状態を示す通信ネットワーク情報を取得し、予め定められたデータ伝送時間内に、前記通信ネットワーク情報に基づいて定まる送信可能なデータサイズに収まるように、観測目的の対象を含む複数のデータ領域の中から、優先度の高い順に選択された少なくとも1つのデータ領域を送信することを指示する指示情報をデバイスへ送信する、通信制御方法。
(付記14)前記指示情報をデバイスへ送信する際に、前記複数のデータ領域のそれぞれに優先度を設定し、それぞれのデータ領域に設定された優先度に基づいて決定した送信すべきデータ領域に関する情報を含む前記指示情報を前記デバイスへ送信する、付記13に記載の通信制御方法。
(付記15)前記指示情報をデバイスへ送信する際に、前記複数のデータ領域のそれぞれに優先度を設定し、それぞれのデータ領域に設定された優先度を含む指示情報を前記デバイスへ送信する、付記13に記載の通信制御方法。
(付記16)前記優先度を設定する際に、前記データ領域内における前記観測目的の対象の変化の大きさ、前記データ領域の送信回数、及び前記データ領域のデータサイズの少なくとも1つを用いて前記複数のデータ領域のそれぞれに優先度を設定する、付記14又は15に記載の通信制御方法。
(付記17)前記指示情報を送信する際に、前記データ領域内における前記観測目的の対象に関する位置の変化に関する情報を用いて、将来的な前記観測目的の対象の位置を推定し、推定された前記観測目的の対象の位置に基づいて、前記デバイスにおいて生成する前記データ領域の位置を決定する付記13乃至16のいずれか1項に記載の通信制御方法。
(付記18)前記指示情報を前記デバイスへ送信した後に、前記複数のデータ領域の中から送信された少なくとも1つのデータ領域に関する情報を受信し、前記複数のデータ領域に含まれ、受信しなかったデータ領域内における前記観測目的の対象の現在の位置を、過去の位置の変化に関する情報を用いて推定する、付記17に記載の通信制御方法。
(付記19)前記指示情報を送信する際にそれぞれの前記データ領域内における前記観測目的の対象に関する位置の変化に関する情報を用いて、複数の観測目的の対象を複数のグループにグループ化し、複数のグループのそれぞれに優先度を設定する、付記14乃至18のいずれか1項に記載の通信制御方法。
(付記20)前記指示情報を送信する際に、前記グループ内において代表となる観測目的の対象を含むデータ領域を送信することを指示する指示情報を前記デバイスへ送信する、付記19に記載の通信制御方法。
(付記21)通信ネットワークの状態を示す通信ネットワーク情報が遠隔サーバによって取得され、前記通信ネットワーク情報に基づいて、観測目的の対象を含む複数のデータ領域の中から、優先度の高い順に選択された少なくとも1つのデータ領域を送信することを指示する指示情報を前記遠隔サーバから受信する通信部と、を備えるデバイス。
(付記22)通信ネットワークの状態を示す通信ネットワーク情報を取得し、予め定められたデータ伝送時間内に、前記通信ネットワーク情報に基づいて定まる送信可能なデータサイズ以下になるように、観測目的の対象を含む複数のデータ領域の中から、優先度の高い順に選択された少なくとも1つのデータ領域を送信することを指示する指示情報をデバイスへ送信することをコンピュータに実行させるプログラム。