【文献】
小野 孝太郎,石橋 亮太,桑原 健,外部センサ情報に基づく移動型カ メラの画像パケット処理方式の検討,電子情報通信学会2018年総合大会講演論文集 通信2,日本,電子情報通信学会,2018年03月06日,p.42
【文献】
鈴木 孝明,岩井 孝法,通信帯域に応じて送信する画像領域を選択する推定送信方式,電子情報通信学会技術研究報告,日本,電子情報通信学会 ,2016年02月25日,第115 巻 第483 号,pp.393-398
【文献】
中村 優吾 外5名,ローカル環境での効果的な動画像解析を実現する分散処理システムの提案,情報処理学会 研究報告 モバイルコンピューティングとパーベイシブシステム(MBL) 2016−MBL−079 [online] ,日本,情報処理学会,2016年05月19日,pp.1〜7
(58)【調査した分野】(Int.Cl.,DB名)
互いに異なる種類の情報をリアルタイムに送信する第1端末及び第2端末と、第1端末から送信された情報を処理する計算装置との間の通信経路上に配置された情報処理装置であって、
第1端末及び第2端末からの情報を受信する情報受信部と、
第2端末から受信した情報に基づき情報処理ルールに則って第1端末から受信した情報を処理する情報処理部と、
情報処理部で処理された第1端末からの情報を計算装置に送信する情報送信部と、
計算装置における情報処理状況又は計算装置の装置状況の少なくとも一方に基づき前記情報処理部における第2端末から受信する情報の処理方法を判定するとともに情報処理ルールを作成して前記情報処理部に設定する情報処理方法判定部とを備えた
ことを特徴とする情報処理装置。
前記情報処理方法判定部は、計算装置が要求する情報処理状況又は装置状況に関する条件を満たすように、前記情報処理部における第2端末から受信する情報の処理方法を判定するとともに情報処理ルールを作成して前記情報処理部に設定する
ことを特徴とする請求項1記載の情報処理装置。
前記情報処理方法判定部は、前記処理方法の判定結果の変化と計算装置における情報処理状況又は計算装置の装置状況の少なくとも一方の変化の関係性を学習し、学習結果に基づき、前記情報処理部における第2端末から受信する情報の処理方法を判定するとともに情報処理ルールを作成して前記情報処理部に設定する
ことを特徴とする請求項1又は2記載の情報処理装置。
前記情報処理方法判定部は、計算装置における情報処理状況又は計算装置の装置状況の少なくとも一方に加えて、前記情報処理部における第1端末から受信した情報の処理状況に基づき、前記情報処理部における第2端末から受信する情報の処理方法を判定するとともに情報処理ルールを作成して前記情報処理部に設定する
ことを特徴とする請求項1乃至3何れか1項記載の情報処理装置。
互いに異なる種類の情報をリアルタイムに送信する第1端末及び第2端末と、第1端末から送信された情報を処理する計算装置との間の通信経路上に配置された情報処理装置における設定方法であって、
前記情報処理装置は、第1端末及び第2端末から情報を受信する情報受信部と、第2端末から受信した情報に基づき情報処理ルールに則って第1端末から受信した情報を処理する情報処理部と、情報処理部で処理された第1端末からの情報を計算装置に送信する情報送信部とを備え、
前記設定方法は、
情報処理方法判定部が、計算装置における情報処理状況又は計算装置の装置状況の少なくとも一方に基づき前記情報処理部における第2端末から受信する情報の処理方法を判定するとともに情報処理ルールを作成して前記情報処理部に設定するステップを備えた
ことを特徴とする情報処理装置における設定方法。
【発明を実施するための形態】
【0013】
本願に係る情報処理ルール設定システムおよび設定方法の実施形態を図面に基づいて詳細に説明する。
図1は本発明の前提となるシステムの構成概略図、
図2は本発明に係る情報処理ルール設定システムの構成概略図である。なお本願では、複数の同種の装置・構成については共通の主参照符号を付すとともに、各装置・構成を個別に参照するために前記主参照符号の後に枝番を付した。また、複数の同種の装置・構成を総称する際には主参照符号のみを用いる。
【0014】
図1に示すように、各端末10は、情報を取得する情報取得部11と、情報を生成する情報生成部12と、情報取得部11が取得した情報や情報生成部12が生成した情報をNW90に接続された外部にリアルタイムに送信する情報送信部13とを備える。各端末10は、互いに異なる種類の情報をリアルタイムに送信する。端末10は、前記情報取得部11および情報生成部12について何れか一方のみを備えるように構成してもよい。
【0015】
計算装置20は、NW90に接続された各端末10から送信された情報を受信する情報受信部21と、情報の再送信を含む情報の処理を行う情報処理部22とを備える。
【0016】
図2に示すように、本発明に係る情報処理ルール設定システムでは、各端末10から計算装置20への情報通信経路上に情報処理装置100が配置されている。
図2の例では、各端末10はNW90−1に接続しており、計算装置20はNW90−2に接続しており、情報処理装置100は各NW90−1,90−2に接続している。
【0017】
情報処理装置100は、各端末10がリアルタイムに送信する情報を受信する情報受信部110と、受信した情報を単独で、あるいは複数の情報の組み合わせを利用し、設定された情報処理ルールに基づいて別の端末10からリアルタイムに送信されてくる情報を処理する情報処理部120と、NW90−2に接続された外部、ここでは計算装置20に処理済みの情報を送信する情報送信部130を有する。
【0018】
情報処理制御装置200は、情報処理装置100の情報処理部120で用いられる情報処理ルールを設定する機能部である情報処理制御部210と、計算装置20から送信される計算装置20における情報処理状況/装置状況を受信する状況受信部220とを備える。情報処理制御部210は、(a)設定した情報処理ルール、(b)情報処理部120から取得される情報の処理状況、(c)状況受信部220から受信する計算装置20における情報処理状況/装置状況、(d)計算装置20が要求する情報処理状況/装置状況、に基づいて情報処理ルールを設定する。
【0019】
なお、
図2では、情報処理制御部210及び状況受信部220は、情報処理制御装置200として情報処理装置100とは独立して存在しているが、情報処理装置100に包含されている形態でも構わない。
【0020】
情報処理装置100及び情報処理制御装置200は、主に半導体装置で構成され、CPU(Central Processing Unit)、RAM(Random Access Memory)等の揮発性記憶装置、ハードディスクやフラッシュメモリ等の不揮発性記憶装置、及び外部との通信のための接続を行う通信インタフェースを有する、いわゆる情報処理機器として構成することができる。また、情報処理装置100及び情報処理制御装置200は、物理的なスイッチ、ルータ等のネットワーク機器に限らず、本発明のプログラムが動作する物理コンピュータや仮想化されたコンピュータを含む。
【0021】
計算装置20は、
図1に示した情報処理装置100が送信する情報を受信する情報受信部21と端末10が送信した情報を処理する情報処理部22に加えて、計算装置20の装置状況を監視する装置監視部23と、情報処理部22および装置監視部23から取得する計算装置20における情報処理状況/装置状況を外部、ここでは状況受信部220に送信する状況送信部24とを備える。
【0022】
次に情報処理ルール設定システムの詳細について
図3を参照して説明する。
図3は情報処理ルール設定システムの機能ブロック図である。
図2の情報処理装置100における情報処理部120では、端末10(ここでは第1端末10−1)からリアルタイムに送信される情報に対して、別の端末10(ここでは第2端末10−2)からリアルタイムに送信される情報に基づいた情報処理ルールに従った処理を実施した後に、情報送信部130を介して処理済みの情報を計算装置20へ送信することで、
図2の第2NW90−2に送信される情報の流れを「変化」させる。第1端末10−1と第2端末10−2は、互いに異なる種類の情報をリアルタイムに送信する。
【0023】
ここで、前記の「変化」とは、例えば情報の品質等の問題により、計算装置20に送信不要な情報を情報処理装置100が廃棄することで、不要なNW帯域利用や計算装置20の処理負荷を削減する、あるいは計算装置20の情報処理精度を向上させることなど、各端末10や計算装置20、それらが接続されたNW90を利用する側にとっての利点がある変化を意味する。この「変化」を発生させるための情報処理ルールについては、情報処理制御部210、ここでは情報処理方法判定部211によって作成され、情報処理装置100における情報処理部120に当該ルールが設定される。
【0024】
図3は、第1端末10−1から第1計算装置20−1に対してリアルタイムに送信される情報を情報処理装置100で処理するために、第2端末10−2からリアルタイムに送信される情報に基づいた第1端末10−1の情報処理ルールを作成、設定、更新するために必要な機能ブロックを記載している。
【0025】
情報処理装置100における情報処理部120に設定されている第1端末10−1の情報を処理するルールに基づいて処理される第1端末10−1の情報の実際の処理状況、情報処理ルールに基づいて処理された第1端末10−1の情報を利用又は処理する第1計算装置20−1における実際の情報処理状況/装置状況を、情報処理制御部210の情報処理方法判定部211、ここでは第2端末情報処理方法判定部211aが収集し、それらと設定されている情報処理ルールとの関係性から、記憶部212に予め格納されている第1計算装置20−1が要求する情報処理状況/装置状況を満たす情報処理ルール作成、ここでは第2端末10−2の情報の処理方法を判定し、情報処理部120に設定、ここでは第2端末情報処理部120bに設定する。作成、設定した情報処理ルールと第1端末10−1の情報の処理状況、第1計算装置20−1における情報処理状況/装置状況に関しては記憶部212に随時格納される。
【0026】
情報処理装置100における情報処理部120と状況受信部220を介して情報処理方法判定部211が取得する、情報処理ルールに基づいて処理される端末10の情報の実際の処理状況、情報処理ルールに基づいて処理された端末10の情報を利用又は処理する側の実際の処理状況については、情報処理方法判定部211に通知される、もしくは情報処理方法判定部211がリクエストレスポンス方式で取得するといった方法のどちらを用いても構わない。また、情報取得の方法についても、装置内部からの取得もしくはネットワークを介した外部からの取得のどちらでも構わない。
【0027】
次に、情報処理装置100における情報処理部120で用いられる情報処理ルールが設定される流れについて、
図4のシーケンスチャートを参照して説明する。
【0028】
計算装置20における情報処理部22と装置監視部23は、状況送信部24に対して情報処理状況/装置状況をそれぞれ送信する(ステップS1,2)。状況送信部24は、状況受信部220に対して計算装置20における情報処理状況/装置状況を送信する(ステップS3)。状況受信部220と情報処理装置100における情報処理部120、ここでは第1端末情報処理部120aが該当するが、それらは情報処理制御部210の情報処理方法判定部211、ここでは第2端末情報処理方法判定部211aが該当するが、それに対して、計算装置20における情報処理状況/装置状況、情報処理装置100における第1端末情報の処理状況を送信する(ステップS4,5)。
【0029】
第2端末情報処理方法判定部211aは、受信した情報を記憶部212に格納し、記憶部212に格納されている情報(計算装置20が要求する情報処理状況/装置状況、情報処理装置100における第2端末情報の処理方法、第1端末情報の処理状況、計算装置20における情報処理状況/装置状況の関係)に基づいて第2端末情報の処理方法を判定した上で、判定結果を記憶部212に格納すると共に第2端末情報処理部120bに送信する(ステップS6〜S9)。以上により、第1端末10−1の情報処理方法、すなわち情報処理ルールが作成、設定され、設定されたルールに基づいて情報処理が実施されるようになる。
【0030】
情報処理方法判定部211における流れを
図5のフローチャートを参照して説明する。情報処理方法判定部211は、情報処理部120から情報処理装置100における端末情報の処理状況を受信し(ステップS11)、状況受信部220から計算装置20における情報処理状況/装置状況を受信する(ステップS12)。受信した情報を記憶部212に格納し(ステップS13)、記憶部212に格納されている計算装置20が要求する情報処理状況/装置状況を参照して受信した情報と比較する(ステップS14,S15)。受信した計算装置20における情報処理状況/装置状況が計算装置20の要求する情報処理状況/装置状況を満たしていれば処理を終了し、満たしていない場合は、記憶部212に格納されている情報に基づいて計算装置20が要求する情報処理状況/装置状況を満たす情報処理方法を判定する(ステップS16)。判定結果は記憶部212に格納されると共に、情報処理部120に送信される(ステップS17,S18)。
【0031】
以上のように、本実施形態に係る情報処理ルール設定システムによれば、端末10の情報を利用又は処理する側が要求する処理状況を満たすように、端末10の情報を処理するルールを自動で作成、設定でき、必要に応じて変更、更新できるようになる。
【0032】
以下に本発明に係る情報処理ルール設定システムの実施例について説明する。
【0033】
[実施例1]
実施例1は、本発明の情報処理ルール設定システムを、カメラから映像処理装置に映像を送信するシステムに適用した例である。実施例1に係るシステムについて
図6を参照して説明する。
図6は実施例1に係るシステムの構成図である。
【0034】
本システムでは、カメラ31から送信される情報が処理の対象である。本実施例1に係る情報処理装置100は、映像情報の廃棄あるいは透過の処理を実施する。映像情報を処理するルールは、カメラ31とは別端末であり、カメラ31に付属する速度センサのようなセンサ32から送信されるセンサ情報に基づいて作成、設定される。このセンサ情報は、映像情報の撮像状態に影響を与える状態を示す情報である。また、映像処理装置40は上記の計算装置20に相当するものであり、情報受信部41と、情報処理部42と、装置監視部43と、状況送信部44とを備えている。
【0035】
情報処理制御部210のセンサ情報処理方法判定部211bがセンサ情報の処理方法を判定、すなわち情報処理ルールを作成し、判定結果を情報処理部120のセンサ情報処理部120dに送信、情報処理ルールを設定する。情報処理部120のカメラ情報処理部120cでは、センサ情報処理部120dが提示するカメラ情報の処理方法、すなわち情報処理ルールに基づいてカメラ情報を処理する。
【0036】
本実施例で判定されるセンサ情報の処理方法は、
図7のフローチャートに示すように速度の閾値V
shの設定であり、センサ情報処理部120dが受信した時刻tにおける速度V
tとV
shの大きさの大小関係によってカメラ情報を透過処理あるいは廃棄処理する情報ルールが作成、設定されることになる(ステップS21〜S24)。
【0037】
本実施例に係る情報処理ルールの設定の流れについて、
図8及び
図9に示すセンサ情報処理方法判定部211bのフローチャートを参照して説明する。
【0038】
センサ情報処理方法判定部211bは映像処理装置40の映像処理状況(例:画像認識率A
1%)を受信し(ステップS101)、記憶部212に格納されている映像処理装置40が要求する映像処理状況(例:画像認識率A
sh%以上)を参照して比較する(ステップS102〜S103)。受信した映像処理状況が映像処理装置40の要求する映像処理状況を満たしていれば処理を終了し、満たしていない場合はセンサ情報の処理方法を判定する、すなわちV
shを設定するフローに遷移する(ステップS104〜S120)。
【0039】
本実施例では、画像認識率(A%)の低下をカメラ31が高速に移動している際の映像の過剰によると推定し、カメラ31が高速に移動している際の映像を減少させる方向に情報処理ルールを修正、すなわち|V
sh’|<|V
sh|となるように、例えば|V
sh|/2=|V
sh’|として|V
sh’|を決定し(ステップS104)、センサ情報処理部120dで用いる|V
sh|として|V
sh’|を用いるようにセンサ情報処理部120dに通知する(ステップS105)。
【0040】
情報処理装置100の情報処理部120では新たに決定した|V
sh|に基づいた情報処理が実施されることになるが、情報処理に変化が生じるため、次に受信する映像処理状況(例:画像認識率A
2%)は前に受信した映像処理状況(例:画像認識率A
1%)と異なっていることが予想される。
【0041】
したがってA
2とA
shを比較し(ステップS106〜S107)、A
2もまたA
shを満たしていない場合は再度|V
sh’|/2として|V
sh’|を決定し(ステップS108)、センサ情報処理部120dで用いる|V
sh|として|V
sh’|を用いるようにセンサ情報処理部に通知する(ステップS105)。
【0042】
一方、A
2がA
shを満たしている場合は、|V
sh’|が映像処理装置40の要求するA
shを満たすための|V
sh|としては小さすぎる場合が想定されるため、再度AがA
shを満たさなくなるまで|V
sh|を増加させる。再度AがA
shを満たさなくなった時点で用いられている|V
sh|は映像処理装置40の要求するA
shを満たすための|V
sh|として最適な値、ここでの最適な値とは、|V
sh|を極端に小さく設定することで生じる映像の極端な減少を回避しつつ、AがA
shを満たす状態となる|V
sh|とするが、その最適な値に近付いていると考えられるため、再度|V
sh|を減少させ、AがA
shを満たしつつAの変化が既定の幅(ここではΔA
shとしている)以下となった時点で用いられている|V
sh|をもって、最終的なセンサ情報処理部120dで用いる|V
sh|として採用し、処理を終了する(ステップS109〜S120)。
【0043】
以上のように、本実施例1では、カメラ31が高速に移動する場合に取得された映像は品質が悪く、映像処理装置40に送信しても映像処理装置40で適切に処理できないことから、適切に処理できない映像情報、すなわち映像処理装置40の映像処理状況を悪化させる映像情報のみを選択的に廃棄できる情報処理ルールを自動で作成、設定、更新することができる。またその結果、カメラ31の設置環境が変わるなどの変化が生じた際にも、映像処理装置40が要求する映像処理状況を満たす状態を維持することができる。
【0044】
[実施例2]
実施例2は、実施例1と同様のシステムに本発明の情報処理ルール設定システムを適用した例において、映像処理装置40が要求する映像処理状況を画像認識率A
sh%ではなく、画像処理頻度B
shfps(frame per second)とした場合の例である。本実施例に係る情報処理ルールの設定の流れについて、
図10及び
図11に示すセンサ情報処理方法判定部211bのフローチャートを参照して説明する。
【0045】
センサ情報処理方法判定部211bは映像処理装置40の映像処理状況(例:画像処理頻度B
1fps)を受信し(ステップS201)、記憶部212に格納されている映像処理装置40が要求する映像処理状況(例:画像処理頻度B
shfps以上)を参照して比較する(ステップS202〜S203)。受信した映像処理状況が映像処理装置40の要求する映像処理状況を満たしていれば処理を終了し、満たしていない場合はセンサ情報の処理方法を判定する、すなわちV
shを設定するフローに遷移する(ステップS204〜S220)。
【0046】
本実施例では、画像処理頻度(Bfps)の低下を映像情報の廃棄の過剰によると推定し、カメラ31が移動している際の映像情報の廃棄を減少させる方向に情報処理ルールを修正、すなわち|V
sh’|>|V
sh|となるように、例えば2×|V
sh|=|V
sh’|として|V
sh’|を決定し(ステップS204)、センサ情報処理部120dで用いる|V
sh|として|V
sh’|を用いるようにセンサ情報処理部120dに通知する(ステップS205)。
【0047】
情報処理装置100における情報処理部120では新たに決定した|V
sh|に基づいた情報処理が実施されることになるが、情報処理に変化が生じるため、次に受信する映像処理状況(例:画像処理頻度B
2fps)は前に受信した映像処理状況(例:画像処理頻度B
1fps)と異なっていることが予想される。
【0048】
したがってB
2とB
shを比較し(ステップS206〜S207)、B
2もまたB
shを満たしていない場合は再度2×|V
sh’|として|V
sh’|を決定し(ステップS208)、センサ情報処理部120dで用いる|V
sh|として|V
sh’|を用いるようにセンサ情報処理部120dに通知する(ステップS205)。
【0049】
一方、B
2がB
shを満たしている場合は、|V
sh’|が映像処理装置40の要求するB
shを満たすための|V
sh|としては大き過ぎる場合が想定されるため、再度BがB
shを満たさなくなるまで|V
sh|を減少させる。再度BがB
shを満たさなくなった時点で用いられている|V
sh|は映像処理装置40の要求するB
shを満たすための|V
sh|として最適な値、ここでの最適な値とは、|V
sh|に大きすぎる値を設定することで生じる、カメラが高速で移動している際の映像処理装置40で適切に処理できない映像の過剰を回避しつつ、BがB
shを満たす状態となる|V
sh|とするが、その最適な値に近付いていると考えられるため、再度|V
sh|を減少させ、BがB
shを満たしつつBの変化が既定の幅(ここではΔB
shとしている)以下となった時点で用いられている|V
sh|をもって、最終的なセンサ情報処理部120dで用いる|V
sh|として採用し、処理を終了する(ステップS209〜S220)。
【0050】
以上のように、本実施例2では、カメラ31が移動する場合に取得された映像の廃棄が過剰に発生することで映像処理装置40の映像処理状況を悪化させる場合に、映像処理装置40が要求する映像処理状況を満たす情報処理ルールを自動で作成、設定、更新することができる。またその結果、カメラ31の設置環境が変わるなどの変化が生じた際にも、映像処理装置40が要求する映像処理状況を満たす状態を維持することができる。
【0051】
[実施例3]
実施例3は、実施例1と同様のシステムに本発明の情報処理ルール設定システムを適用した例において、映像処理装置40が要求する装置状況をCPU使用率C
sh%とした場合の例である。本実施例に係る情報処理ルールの設定の流れについて、
図12及び
図13に示すセンサ情報処理方法判定部211bのフローチャートを参照して説明する。
【0052】
センサ情報処理方法判定部211bは映像処理装置40の装置状況(例:CPU使用率C
1%)を受信し(ステップS301)、記憶部212に格納されている映像処理装置40が要求する装置状況(例:CPU使用率C
sh%以下)を参照して比較する(ステップS302〜S303)。受信した装置状況が映像処理装置40の要求する装置状況を満たしていれば処理を終了し、満たしていない場合はセンサ情報の処理方法を判定する、すなわちV
shを設定するフローに遷移する(ステップS304〜S320)。
【0053】
本実施例では、CPU使用率(C%)の増加をカメラ31が高速に移動している際の映像の過剰によると推定し、カメラ31が高速に移動している際の映像を減少させる方向に情報処理ルールを修正、すなわち|V
sh’|<|V
sh|となるように、例えば|V
sh|/2 =|V
sh’|として|V
sh’|を決定し(ステップS304)、センサ情報処理部120dで用いる|V
sh|として|V
sh’|を用いるようにセンサ情報処理部120dに通知する(ステップS305)。
【0054】
情報処理装置100における情報処理部120では新たに決定した|V
sh|に基づいた情報処理が実施されることになるが、情報処理に変化が生じるため、次に受信する装置状況(例:CPU使用率C
2%)は前に受信した映像処理状況(例:CPU使用率C
1%)と異なっていることが予想される。
【0055】
したがってC
2とC
shを比較し(ステップS306〜S307)、C
2もまたC
shを満たしていない場合は再度|V
sh’|/2として|V
sh’|を決定し(ステップS308)、センサ情報処理部120dで用いる|V
sh|として|V
sh’|を用いるようにセンサ情報処理部120dに通知する(ステップS305)。
【0056】
一方、C
2がC
shを満たしている場合は、|V
sh’|が映像処理装置40の要求するC
shを満たすための|V
sh|としては小さすぎる場合が想定されるため、再度CがC
shを満たさなくなるまで|V
sh|を増加させる。再度CがC
shを満たさなくなった時点で用いられている|V
sh|は映像処理装置40の要求するC
shを満たすための|V
sh|として最適な値、ここでの最適な値とは、|V
sh|を極端に小さく設定することで生じる映像の極端な減少を回避しつつ、CがC
shを満たす状態となる|V
sh|とするが、その最適な値に近付いていると考えられるため、再度|V
sh|を減少させ、CがC
shを満たしつつCの変化が既定の幅(ここではΔC
shとしている)以下となった時点で用いられている|V
sh|をもって、最終的なセンサ情報処理部120dで用いる|V
sh|として採用し、処理を終了する(ステップS309〜S320)。
【0057】
以上のように、本実施例3では、カメラ31が高速に移動する場合に取得された映像は品質が悪く、映像処理装置40に送信する必要がないことから、映像処理装置40に送信する必要にない映像情報、すなわち映像処理装置40の装置状況を悪化させる映像情報のみを選択的に廃棄できるパケット処理ルールを自動で作成、設定、更新することができる。またその結果、カメラ31の設置環境が変わるなどの変化が生じた際にも、映像処理装置40が要求する装置状況を満たす状態を維持することができる。
【0058】
[実施例4]
実施例4は、実施例1と同様のシステムに本発明の情報処理ルール設定システムを適用した例において、設定されている情報処理ルールと映像処理装置40の映像処理状況、映像処理装置40が要求する映像処理状況のみから情報処理ルールを作成するのではなく、情報処理装置100におけるカメラ情報の処理状況も利用して情報処理ルールを作成する場合の例である。
【0059】
さらに本実施例では、実施例1のように最初に任意に設定した|V
sh|から最適な|V
sh|を求める過程、すなわち|V
sh|を収束させる過程を踏むのではなく、設定されている|V
sh|、情報処理装置100におけるカメラ情報の処理状況、映像処理装置40における映像処理状況の時系列データ、|V
sh|を変化させた際の情報処理装置100におけるカメラ情報の処理状況と映像処理装置40における映像処理状況の変化の関係を示す情報を機械学習の学習データとして蓄積し、映像処理装置40が要求する映像処理状況を満たす|V
sh|を推定できる機構、例えばニューラルネットワークを作成して利用する。
【0060】
実施例1のシステムはセンサ32のようなカメラ31とは異なる端末の情報を利用してカメラ31が送信する映像情報を処理する特徴を有しているが、カメラ31とは異なる端末情報の処理方法が映像処理装置40での映像処理状況にどのような影響を与えたかの知見のみならず、カメラ情報の処理状況自体にどのような影響を与えたかの知見も合わせて学習データとして利用し、例えばニューラルネットワークを成長させることで、本システムに特徴的な端末情報の処理方法、すなわち映像処理装置40が要求する映像処理状況を満たすために本システムにおける情報処理装置100で用いるべき情報処理ルール、|V
sh|を実施例1と比較して迅速かつ正確に作成できる。
【0061】
このニューラルネットワークに利用される学習データは情報処理ルール設定システムを利用する限り蓄積され続けるので、情報処理装置100で用いる情報処理ルール、|V
sh|の作成における正確性、迅速性はニューラルネットワークの成長に応じて向上する。本実施例に係る情報処理ルールの設定の流れについて、
図14及び
図15に示すセンサ情報処理方法判定部のフローチャートを参照して説明する。
【0062】
センサ情報処理方法判定部211bは、カメラ情報の処理状況(例:単位時間当たりの映像フレーム送信数N
nfps)を受信し(ステップS401)、さらに映像処理装置40の映像処理状況(例:画像認識率A
1%)を受信する(ステップS402)。次に、センサ情報処理方法(例:現在センサ情報処理部で用いられている|V
sh(n)|、最初はなし)、カメラ情報の処理状況(例:N
nfps)、映像処理状況(例:A
n%)の関係(例:|V
sh(n)|とN
nとA
nの関係)を記憶部212に格納する(ステップS403)。 ここでの|V
sh(n)|とN
nとA
nについては、ある時刻における任意の|V
sh(n)|とN
nとA
nをピックアップしても、ある単位時間当たりの|V
sh(n)|とN
nとA
nをそれぞれ平均したものを|V
sh(n)|とN
nとA
nとして用いても構わない。
【0063】
|V
sh(n)|とN
nとA
nの関係を記憶部212に格納する時点で、既に|V
sh|とNとAの関係(例:|V
sh(n−1)|とN
n−1とA
n−1の関係)が格納されている場合、下記を算出し、
ΔV
n= |V
sh(n)|−|V
sh(n−1)|
ΔN
n= N
n−N
n−1
ΔA
n=A
n−A
n−1
上記と|V
sh(n) |とN
nとA
nとの関係を記憶部に格納する(ステップS404〜S405)。記憶部212に格納された情報は、情報処理ルール、|V
sh|を推定するためのニューラルネットワークの学習に使用される。
【0064】
次に、受信した映像処理装置40の映像処理状況A
n%と記憶部212に格納されている映像処理装置40が要求する映像処理状況(例:画像認識率A
sh%以上)を参照して比較する(ステップS406〜S407)。受信した映像処理状況が映像処理装置40の要求する映像処理状況を満たしていれば処理を終了し、満たしていない場合はセンサ情報の処理方法を判定する、すなわちV
shを設定するフローに遷移する(S408〜S417)。
【0065】
本実施例では、記憶部212に格納されている情報を学習データとして成長させたニューラルネットワークを用いてV
shを推定する。記憶部212に格納されている|V
sh(n)|とN
n、A
n、ΔV
n、ΔN
n、ΔA
nの関係から、A
n+1≧A
shとなる|V
sh(n+1)|を推定し(ステップS408)、センサ情報処理部120dに|V
sh(n+1)|を用いるように通知する(ステップS409)。|V
sh(n+1)|を新たな情報処理ルールとして設定した後に受信するN
n+1とA
n+1、さらには|V
sh(n+1)|と記憶部212に格納されている最新の|V
sh|とNとA(|V
sh(n)|とN
nとA
n)を参照した上で算出される下記も合わせて記憶部212に格納する(ステップS410〜S413)。
ΔV
n+1= |V
sh(n+1)|−|V
sh(n)|
ΔN
n+1= N
n+1−N
n
ΔA
n+1=A
n+1−A
n
【0066】
A
n+1とA
shを比較し(ステップS414〜S415)、A
n+1がA
shを満たしていれば処理を終了し、満たしていなければ再度A
n+1≧A
shとなる|V
sh(n+1)|を推定し(ステップS416〜S417)、センサ情報処理部に|V
sh(n+1)|を用いるように通知する(ステップS409)。
【0067】
以上のように、設定した情報処理ルールと実際のカメラ情報の処理状況、映像処理装置40における映像処理状況の関係性と映像処理装置40の要求する映像処理状況に基づいて、映像処理装置40の要求する映像処理状況を満たす情報処理ルールを自動で作成、設定、更新できる。
【0068】
さらに、情報処理ルールの更新が起きない際にも情報処理ルールを作成するニューラルネットワークの学習は継続的に実施されるため、適切な情報処理ルールの作成速度、精度は向上し続ける。成長したニューラルネットワークは他の類似のシステムに本発明を適用する際にも転用でき、その際は初期段階から情報処理ルールを迅速かつ正確に作成できる。もちろん、完全に同じシステムへの適用でない限り情報処理ルールの作成速度、精度に初期段階では課題が生じるが、学習が継続的に実施されるため、適用先のシステムに合ったニューラルネットワークが作成される。
【0069】
[実施例5]
実施例5は実施例1と同様に、本発明の情報処理ルール設定システムをカメラ31から映像処理装置40に映像を送信するシステムに適用した例である。本実施例が前述の実施例1と異なる点は、
図16の本実施例の機能ブロック図に示すように、映像情報を処理するルールの作成に用いられるセンサを2種類備えている点である。すなわち本実施例では、映像情報を処理するルールが、カメラ31とは別端末であり、カメラ31に付属する速度センサ32から送信される速度情報と、輝度センサ33から送信される輝度情報との組み合わせに基づいて作成、設定される。この速度情報及び輝度情報は、映像情報の撮像状態に影響を与える状態を示す情報である。
【0070】
本実施例で判定される速度/輝度情報の処理方法は、
図17のフローチャートに示すように速度の閾値V
shと輝度の閾値L
sh1、L
sh2の設定であり、速度/輝度情報処理部120eが受信した時刻tにおける速度V
tとV
shの大きさの大小関係、輝度L
tとL
sh1、L
sh2の大小関係によってカメラ情報を透過処理あるいは廃棄処理する情報処理ルールが作成、設定されることになる(ステップS31〜S35)。
【0071】
本実施例に係る情報処理ルールの設定の流れについて、
図18及び
図19に示す速度/輝度情報処理方法判定部211cのフローチャートを参照して説明する。
【0072】
速度/輝度情報処理方法判定部211cは映像処理装置40の映像処理状況(例:画像認識率A
1%)を受信し(ステップS501)、記憶部212に格納されている映像処理装置40が要求する映像処理状況(例:画像認識率A
sh%以上)を参照して比較する(ステップS502〜S503)。またこの際、輝度と速度のどちらを優先して処理を実施するかの優先度(ここでは輝度>速度とする)も合わせて参照する。受信した映像処理状況が映像処理装置40の要求する映像処理状況を満たしていれば処理を終了し、満たしていない場合は速度/輝度情報の処理方法を判定する、すなわちV
sh、L
sh1、L
sh2を設定するフローに遷移する(ステップS504〜S529)。
【0073】
本実施例では、画像認識率(A%)の低下をカメラ31が高速に移動している際の映像の過剰、あるいはカメラ31が暗い場所か眩しい場所に設置されている際の映像の過剰によると推定する。ここでは処理の優先度として輝度>速度であるため、まずはカメラが暗い場所か眩しい場所に設置されている際の映像を減少させる方向に情報処理ルールを修正、すなわちL
sh2>L
sh2’>L
sh1’>L
sh1となるようにL
sh1’とL
sh2’を決定し(ステップS505)、速度/輝度情報処理部120eで用いるL
sh1とL
sh2として、L
sh1’とL
sh2‘を用いるように速度/輝度情報処理部120eに通知する(ステップS506)。
【0074】
新たな情報処理ルール設定以降に受信したA
2とA
shを比較し、A
2もまたA
shを満たしていない場合は実施例1と同様にV
shを変更する(ステップS507〜S509)。新たな情報処理ルール設定以降に受信したA
3−BとA
shを比較し、A
3−BがA
shを満たした場合は実施例1と同様の方法でV
shを収束させる(ステップS510〜S511、
図8のステップS109以降)。A
3−BもA
shを満たさない場合は、再度輝度情報の処理方法を変更する(ステップ512〜S518)。A
2がA
shを満たした場合は、実施例1と同様の方法でL
sh1とL
sh2を収束させる(ステップS518〜S529)。
【0075】
以上のように、本実施例では、カメラ31が高速に移動する場合に取得された映像およびカメラ31が暗い場所か眩しい場所に設置されている場合に取得された映像は品質が悪く、映像処理装置40に送信しても映像処理装置40で適切に処理できないことから、適切に処理できない映像情報、すなわち映像処理装置40の映像処理状況を悪化させる映像情報のみを選択的に廃棄できる情報処理ルールを自動で作成、設定、更新することができる。またその結果、カメラ31の設置環境が変わるなどの変化が生じた際にも、映像処理装置40が要求する映像処理状況を満たす状態を維持することができる。
【0076】
[実施例6]
実施例6は実施例5と同様に、本発明の情報処理ルール設定システムをカメラ31から映像処理装置40に映像を送信するシステムに適用した例において、映像処理装置40が要求する映像処理状況を画像認識率A
sh%ではなく、画像処理頻度B
shfpsとした場合の例である。本実施例に係る情報処理ルールの設定の流れについて、
図20及び
図21に示す速度/輝度情報処理方法判定部211cのフローチャートを参照して説明する。
【0077】
速度/輝度情報処理方法判定部211cは映像処理装置40の映像処理状況(例:画像処理頻度B
1fps)を受信し(ステップS601)、記憶部212に格納されている映像処理装置40が要求する映像処理状況(例:画像処理頻度B
shfps以上)を参照して比較する(ステップS602〜S603)。またこの際、輝度と速度のどちらを優先して処理を実施するかの優先度(ここでは輝度>速度とする)も合わせて参照する。受信した映像処理状況が映像処理装置40の要求する映像処理状況を満たしていれば処理を終了し、満たしていない場合は速度/輝度情報の処理方法を判定する、すなわちV
sh、L
sh1、L
sh2を設定するフローに遷移する(ステップS604〜S624)。
【0078】
本実施例では、画像処理頻度(Bfps)の低下をカメラ情報の廃棄の過剰によると推定する。ここでは処理の優先度として輝度>速度であるため、まずはカメラ31が移動している際の映像廃棄が起こらないように情報処理ルールを修正、すなわち速度/輝度情報処理部120eで用いられる|V
sh|として∞を用いるように速度/輝度情報処理部120eに通知する(ステップS604)。新たな情報処理ルール設定以降に受信したB
2とB
shを比較し、B
2がB
shを満たした場合は、実施例2と同様の方法でV
shを収束させる(ステップS605,S606,
図10のステップS204以降)。B
2がB
shを満たさなかった場合は、L
sh2’>L
sh2>L
sh1>L
sh1’となるようにL
sh1’とL
sh2’を決定し、カメラ31が暗い場所か眩しい場所に設置されている際の映像の廃棄を減少させる方向に情報処理ルールを修正する(ステップS607,S608)。以降、実施例2と同様の方法でL
sh1とL
sh2を収束させる(ステップS609〜S624)。
【0079】
以上のように、本実施例では、カメラ31が移動する場合に取得された映像およびカメラ31が暗い場所か眩しい場所に設置されている際の映像の廃棄が過剰に発生することで映像処理装置40の映像処理状況を悪化させる場合に、映像処理装置40が要求する映像処理状況を満たす情報処理ルールを自動で作成、設定、更新することができる。またその結果、カメラ31の設置環境が変わるなどの変化が生じた際にも、映像処理装置40が要求する映像処理状況を満たす状態を維持することができる。
【0080】
[実施例7]
実施例7は、実施例5と同様のシステムに本発明の情報処理ルール設定システムを適用した例において、映像処理装置40が要求する装置状況をCPU使用率C
sh%とした場合の例である。本実施例に係る情報処理ルールの設定の流れについて、
図22及び
図23に示す速度/輝度情報処理方法判定部211cのフローチャートを参照して説明する。
【0081】
速度/輝度情報処理方法判定部211cは映像処理装置40の装置状況(例:CPU使用率C
1%)を受信し(ステップS701)、記憶部212に格納されている映像処理装置40が要求する装置状況(例:CPU使用率C
sh%以下)を参照して比較する(ステップS702,S703)。またこの際、輝度と速度のどちらを優先して処理を実施するかの優先度(ここでは輝度>速度とする)も合わせて参照する。受信した映像処理状況が映像処理装置40の要求する映像処理状況を満たしていれば処理を終了し、満たしていない場合は速度/輝度情報の処理方法を判定する、すなわちV
sh、L
sh1、L
sh2を設定するフローに遷移する(ステップS704〜S729)。
【0082】
本実施例では、CPU使用率(C%)の増加をカメラ31が高速に移動している際の映像の過剰、あるいはカメラが暗い場所か眩しい場所に設置されている際の映像の過剰によると推定する。ここでは処理の優先度として輝度>速度であるため、まずはカメラ31が暗い場所か眩しい場所に設置されている際の映像を減少させる方向に情報処理ルールを修正、すなわちL
sh2>L
sh2’>L
sh1’>L
sh1となるようにL
sh1’とL
sh2’を決定し、速度/輝度情報処理部120eで用いるL
sh1とL
sh2として、L
sh1’とL
sh2‘を用いるように速度/輝度情報処理部120eに通知する(ステップS704,S705)。
【0083】
新たなパケット処理ルール設定以降に受信したC
2とC
shを比較し(ステップS706,S707)、C
2もまたC
shを満たしていない場合は実施例1と同様にV
shを変更する(ステップS708,S709)。新たな情報処理ルール設定以降に受信したC
3−BとC
shを比較し(ステップS710,S711)、C
3−BがC
shを満たした場合は実施例1と同様の方法でV
shを収束させる(
図12のステップ309以降)。C
3−BもC
shを満たさない場合は、再度輝度情報の処理方法を変更する(ステップS712,S713)。C
2がC
shを満たした場合は、実施例1と同様の方法でL
sh1とL
sh2を収束させる(ステップS718〜S729)。
【0084】
以上のように、本実施例では、カメラ31が高速に移動する場合に取得された映像およびカメラ31が暗い場所か眩しい場所に設置されている場合に取得された映像は品質が悪く、映像処理装置40に送信する必要がないことから、映像処理装置40に送信する必要にない映像情報、すなわち映像処理装置40の装置状況を悪化させる映像情報のみを選択的に廃棄できる情報処理ルールを自動で作成、設定、更新することができる。またその結果、カメラ31の設置環境が変わるなどの変化が生じた際にも、映像処理装置40が要求する装置状況を満たす状態を維持することができる。
【0085】
[実施例8]
実施例8は、実施例5と同様のシステムに本発明の情報処理ルール設定システムを適用した例において、設定されている情報処理ルールと映像処理装置40の映像処理状況、映像処理装置40が要求する映像処理状況のみから情報処理ルールを作成するのではなく、情報処理装置100におけるカメラ情報の処理状況も利用して情報処理ルールを作成する実施例4と同様の場合の例である。
【0086】
本実施例では、実施例5のように最初に任意に設定した|V
sh|、L
sh1、L
sh2から最適な|V
sh|、L
sh1、L
sh2を求める過程、すなわち|V
sh|、L
sh1、L
sh2を収束させる過程を踏むのではなく、|V
sh|、L
sh1、L
sh2、情報処理装置100におけるカメラ情報の処理状況、映像処理装置40における映像処理状況の時系列データ、|V
sh|、L
sh1、L
sh2を変化させた際の情報処理装置100におけるカメラ情報の処理状況と映像処理装置40における映像処理状況の変化の関係を示す情報を機械学習の学習データとして蓄積し、映像処理装置40が要求する映像処理状況を満たす|V
sh|、L
sh1、L
sh2を推定できる機構、例えばニューラルネットワークを作成して利用する。
【0087】
実施例5のシステムは速度センサ32や輝度センサ33のようなカメラ31とは異なる端末の情報を利用してカメラ31が送信する映像情報を処理する特徴を有しているが、カメラ31とは異なる端末情報の処理方法が映像処理装置40での映像処理状況にどのような影響を与えたかの知見のみならず、カメラ情報の処理状況自体にどのような影響を与えたかの知見も合わせて学習データとして利用し、例えばニューラルネットワークを成長させることで、本システムに特徴的な端末情報の処理方法、すなわち映像処理装置40が要求する映像処理状況を満たすために本システムにおける情報処理装置100で用いるべき情報処理ルール、|V
sh|、L
sh1、L
sh2を実施例5と比較して迅速かつ正確に作成できる。
【0088】
このニューラルネットワークに利用される学習データは情報処理ルール設定システムを利用する限り蓄積され続けるので、情報処理装置100で用いる情報処理ルール、|V
sh|、L
sh1、L
sh2の作成における正確性、迅速性はニューラルネットワークの成長に応じて向上する。
【0089】
本実施例に係る情報処理ルールの設定の流れについて、
図24及び
図25に示す速度/輝度情報処理方法判定部211cのフローチャートを参照して説明する。
【0090】
速度/輝度情報処理方法判定部211cは、カメラ情報の処理状況(例:単位時間当たりの映像フレーム送信数N
nfps)を受信し(ステップS801)、さらに映像処理装置40の映像処理状況(例:画像認識率A
1%)を受信する(ステップS802)。次に、速度/輝度情報処理方法(例:現在速度/輝度情報処理部120eで用いられている|V
sh(n)|、L
sh1(n)、L
sh2(n)、最初はなし)、カメラ情報の処理状況(例:N
n fps)、映像処理状況(例:A
n %) )の関係(例:|V
sh(n)|とL
sh1(n)とL
sh2(n)とN
nとA
nの関係)を記憶部212に格納する(ステップS803)。
【0091】
ここでの|V
sh(n)|、L
sh1(n)、L
sh2(n)とN
nとA
nについては、ある時刻における任意の|V
sh(n)|、L
sh1(n)、L
sh2(n)とN
nとA
nをピックアップしても、ある単位時間当たりの|V
sh(n)|、L
sh1(n)、L
sh2(n)とN
nとA
nをそれぞれ平均したものを|V
sh(n)|、L
sh1(n)、L
sh2(n)とN
nとA
nとして用いても構わない。|V
sh(n)|とL
sh1(n)とL
sh2(n)とN
nとA
nの関係を記憶部212に格納する時点で、既に|V
sh|とL
sh1とL
sh2とNとAの関係(例:|V
sh(n−1)|とL
sh1(n−1)とL
sh2(n−1)とN
n−1とA
n−1の関係)が格納されている場合、下記を算出し、
ΔV
n= |V
sh(n)|−|V
sh(n−1)|
ΔL
1(n)= L
sh1(n)−L
sh1(n−1)
ΔL
2(n)= L
sh2(n)−L
sh2(n−1)
ΔN
n= N
n−N
n−1
ΔA
n=A
n−A
n−1
上記と|V
sh(n)|とL
sh1(n)とL
sh2(n)とN
nとA
nの関係を記憶部212に格納する(ステップS804,S805)。記憶部212に格納された情報は、情報処理ルール、|V
sh|とL
sh1とL
sh2を推定するためのニューラルネットワークの学習に使用される。
【0092】
次に、受信した映像処理装置40の映像処理状況A
n%と記憶部212に格納されている映像処理装置40が要求する映像処理状況(例:画像認識率A
sh%以上)を参照して比較する(ステップS806,S807)。受信した映像処理状況が映像処理装置40の要求する映像処理状況を満たしていれば処理を終了し、満たしていない場合は速度/輝度情報の処理方法を判定する、すなわちV
sh とL
sh1(n)とL
sh2(n)を設定するフローに遷移する(ステップS808〜S817)。
【0093】
本実施例では、記憶部212に格納されている情報を学習データとして成長させたニューラルネットワークを用いてV
shとL
sh1(n)とL
sh2(n)を推定する。記憶部212に格納されている最新の|V
sh|、L
sh1、L
sh2とN、A、ΔV、ΔL
1、ΔL
2、ΔN、ΔAの関係から、A≧A
shとなる|V
sh|、L
sh1、L
sh2を推定し、速度/輝度情報処理部120eにそれらを用いるように通知する(ステップS808,S809)。
【0094】
新たなパケット処理ルール(|V
sh(n+1)|、L
sh1(n+1)、L
sh2(n+1))を設定した後に受信するN
n+1とA
n+1、さらには|V
sh(n+1)|、L
sh1(n+1)、L
sh2(n+1)と記憶部に格納されている最新の|V
sh|、L
sh1、L
sh2とNとA(|V
sh(n)|とL
sh1(n)とL
sh2(n)とN
nとA
n)を参照した上で算出される下記も合わせて記憶部212に格納する(ステップS810〜S813)。
ΔV
n+1= |V
sh(n+1)|−|V
sh(n)|
ΔL
1(n+1)= L
sh1(n+1)−L
sh1(n)
ΔL
2(n+1)= L
sh2(n+1)−L
sh2(n)
ΔN
n+1= N
n+1−N
n
ΔA
n+1=A
n+1−A
n
【0095】
A
n+1とA
shを比較し(ステップS814,S815)、A
n+1がA
shを満たしていれば処理を終了し、満たしていなければ再度A
n+1≧A
shとなる|V
sh(n+1)|、L
sh1(n+1)、L
sh2(n+1)を推定し、速度/輝度情報処理部120eに|V
sh(n+1)|、L
sh1(n+1)、L
sh2(n+1)を用いるように通知する(ステップS816,S817,S809)。
【0096】
以上のように、設定した情報処理ルールと実際のカメラ情報の処理状況、映像処理装置40における映像処理状況の関係性と映像処理装置40の要求する映像処理状況に基づいて、映像処理装置40の要求する映像処理状況を満たす情報処理ルールを自動で作成、設定、更新できる。
【0097】
さらに、情報処理ルールの更新が起きない際にも情報処理ルールを作成するニューラルネットワークの学習は継続的に実施されるため、適切な情報処理ルールの作成速度、精度は向上し続ける。成長したニューラルネットワークは他の類似のシステムに本発明を適用する際にも転用でき、その際は初期段階から情報処理ルールを迅速かつ正確に作成できる。もちろん、完全に同じシステムへの適用でない限り情報処理ルールの作成速度、精度に初期段階では課題が生じるが、学習が継続的に実施されるため、適用先のシステムに合ったニューラルネットワークが作成される。
【0098】
以上、本発明の実施の形態及び実施例について詳述したが、本発明はこれに限定されるものではない。例えば、上記各実施例では、第1端末10−1は映像情報を送信するカメラ31であり、第2端末10−2は映像情報の撮像状態に影響を与える情報を示す情報である速度情報や軌道情報を送信するセンサ32,33であったが、本発明はこれに限定さえることなく種々の用途で用いることができる。