特許第6974737号(P6974737)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電信電話株式会社の特許一覧

特許6974737情報処理装置、その設定方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6974737
(24)【登録日】2021年11月9日
(45)【発行日】2021年12月1日
(54)【発明の名称】情報処理装置、その設定方法及びプログラム
(51)【国際特許分類】
   H04L 12/853 20130101AFI20211118BHJP
【FI】
   H04L12/853
【請求項の数】7
【全頁数】26
(21)【出願番号】特願2018-141103(P2018-141103)
(22)【出願日】2018年7月27日
(65)【公開番号】特開2020-17905(P2020-17905A)
(43)【公開日】2020年1月30日
【審査請求日】2020年10月30日
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100129230
【弁理士】
【氏名又は名称】工藤 理恵
(72)【発明者】
【氏名】小野 孝太郎
(72)【発明者】
【氏名】石橋 亮太
(72)【発明者】
【氏名】桑原 健
【審査官】 野元 久道
(56)【参考文献】
【文献】 小野 孝太郎,石橋 亮太,桑原 健,外部センサ情報に基づく移動型カ メラの画像パケット処理方式の検討,電子情報通信学会2018年総合大会講演論文集 通信2,日本,電子情報通信学会,2018年03月06日,p.42
【文献】 鈴木 孝明,岩井 孝法,通信帯域に応じて送信する画像領域を選択する推定送信方式,電子情報通信学会技術研究報告,日本,電子情報通信学会 ,2016年02月25日,第115 巻 第483 号,pp.393-398
【文献】 中村 優吾 外5名,ローカル環境での効果的な動画像解析を実現する分散処理システムの提案,情報処理学会 研究報告 モバイルコンピューティングとパーベイシブシステム(MBL) 2016−MBL−079 [online] ,日本,情報処理学会,2016年05月19日,pp.1〜7
(58)【調査した分野】(Int.Cl.,DB名)
H04L 12/853
(57)【特許請求の範囲】
【請求項1】
互いに異なる種類の情報をリアルタイムに送信する第1端末及び第2端末と、第1端末から送信された情報を処理する計算装置との間の通信経路上に配置された情報処理装置であって、
第1端末及び第2端末からの情報を受信する情報受信部と、
第2端末から受信した情報に基づき情報処理ルールに則って第1端末から受信した情報を処理する情報処理部と、
情報処理部で処理された第1端末からの情報を計算装置に送信する情報送信部と、
計算装置における情報処理状況又は計算装置の装置状況の少なくとも一方に基づき前記情報処理部における第2端末から受信する情報の処理方法を判定するとともに情報処理ルールを作成して前記情報処理部に設定する情報処理方法判定部とを備えた
ことを特徴とする情報処理装置。
【請求項2】
前記情報処理方法判定部は、計算装置が要求する情報処理状況又は装置状況に関する条件を満たすように、前記情報処理部における第2端末から受信する情報の処理方法を判定するとともに情報処理ルールを作成して前記情報処理部に設定する
ことを特徴とする請求項1記載の情報処理装置。
【請求項3】
前記情報処理方法判定部は、前記処理方法の判定結果の変化と計算装置における情報処理状況又は計算装置の装置状況の少なくとも一方の変化の関係性を学習し、学習結果に基づき、前記情報処理部における第2端末から受信する情報の処理方法を判定するとともに情報処理ルールを作成して前記情報処理部に設定する
ことを特徴とする請求項1又は2記載の情報処理装置。
【請求項4】
前記情報処理方法判定部は、計算装置における情報処理状況又は計算装置の装置状況の少なくとも一方に加えて、前記情報処理部における第1端末から受信した情報の処理状況に基づき、前記情報処理部における第2端末から受信する情報の処理方法を判定するとともに情報処理ルールを作成して前記情報処理部に設定する
ことを特徴とする請求項1乃至3何れか1項記載の情報処理装置。
【請求項5】
前記第1端末から受信する情報は映像情報であり、
前記第2端末から受信する情報は前記映像情報第1端末が送信する映像情報の撮像状態に影響を与える状態を示す情報である
ことを特徴とする請求項1乃至4何れか1項記載の情報処理装置。
【請求項6】
互いに異なる種類の情報をリアルタイムに送信する第1端末及び第2端末と、第1端末から送信された情報を処理する計算装置との間の通信経路上に配置された情報処理装置における設定方法であって、
前記情報処理装置は、第1端末及び第2端末から情報を受信する情報受信部と、第2端末から受信した情報に基づき情報処理ルールに則って第1端末から受信した情報を処理する情報処理部と、情報処理部で処理された第1端末からの情報を計算装置に送信する情報送信部とを備え、
前記設定方法は、
情報処理方法判定部が、計算装置における情報処理状況又は計算装置の装置状況の少なくとも一方に基づき前記情報処理部における第2端末から受信する情報の処理方法を判定するとともに情報処理ルールを作成して前記情報処理部に設定するステップを備えた
ことを特徴とする情報処理装置における設定方法。
【請求項7】
コンピュータを、請求項1乃至5何れか1項記載の情報処理装置の各部として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、計算装置がネットワークを介して複数の端末と接続している構成のシステムにおいて、計算装置と端末間において端末が送信する情報を処理する際に端末が送信する別の情報に基づいた処理を実施するシステムの情報処理を実施するルールを設定するシステムおよびその方法に関する。
【背景技術】
【0002】
IoT(Internet of Things)の発展に伴い、ネットワーク(NW:Network)に接続された様々な種類の端末およびそれらが取得する大量の情報を活用する技術やサービスが検討されている。IoTではNWに接続された大量のセンサ(例えば、音声情報を取得するマイク、画像情報を取得するカメラ、温度や湿度、輝度などの環境情報を取得する計測装置、機械の速さや向き、位置などの動作情報を取得する計測装置)の有効活用が課題として取り上げられ、NWに接続された個々の端末で取得できる情報、上記の例ではセンサ情報をそれ単独で利用するだけではなく、複数端末の情報を組み合わせて利用する、あるいは統計処理して分析するなどの利用方法が検討されている。
【0003】
さらに、端末がNWを介して外部と情報を送受信することが可能になれば、従来は端末自身、あるいは端末が設置されている現場に閉じたNW内に配備されていた端末の制御機能をクラウド、あるいは端末に近接したNWのエッジへ配備するなど、外部リソースを活用した端末機能の分散化も実現できる。一部の端末機能をクラウド上や端末に近接したNWのエッジに集約して配備すれば、インテリジェントな端末制御や付加価値の高いサービスを提供するための高度な機能を個々の端末に実装する必要がなくなるため、端末自身のコストやメンテナンスにかかる保守運用コストを軽減しつつ、高度な機能を活用したサービスを展開できる。
【0004】
端末で取得した複数の別々の情報の組み合わせをクラウド上、あるいはNWのエッジで利用することを考えた場合、複数の情報をどのように組み合わせて利用又は処理するかのルールを決めておく必要がある。例えば、ある端末(端末1)がリアルタイムに送信する情報を、別の端末(端末2)がリアルタイムに送信する情報に基づいて処理しようとする場合、端末1の情報を処理する端末2の情報に基づいたルール、およびそのルールを設定する方法を決めておかなければならない。
【0005】
決められたルールに基づいて情報、例えばパケットを処理する既存の仕組みとしてはファイアウォールが挙げられるが、ファイアウォールではあらかじめ利用者が定めたネットワークやアプリケーションの運用方法に基づいてパケット処理のルールが設定され、ファイアウォールによりパケットが監視/処理される。ファイアウォールの設定を簡易かつ誤りなく実施するため、遍く利用されているアプリケーションや汎用的なサービスを利用する際に、「アプリケーションAの動作を感知するとポートAを開放する」、「サービスBの利用時には対応する制御トラフィックを許可する」といったあらかじめ規定されたプロファイルを利用するような動的ファイアウォール、パケット処理ルールの自動設定の方法は広く普及している。また、手動で作成したプロファイルやパケット処理ルールを複数のファイアウォールに自動で反映する方式も既存技術として存在する(非特許文献1参照)。
【先行技術文献】
【非特許文献】
【0006】
【非特許文献1】下條敏男, 他2名, 「ポリシによる複数ファイアウォールの一括設定方式の提案と実装」, 電子情報通信学会論文誌B, Vol.J87-B, No.10, pp.1616-1625, 2004年10月01日
【発明の概要】
【発明が解決しようとする課題】
【0007】
ある端末(端末1)がリアルタイムに送信する情報を、別の端末(端末2)がリアルタイムに送信する情報に基づいて処理しようとする場合、端末1の情報を処理する端末2の情報に基づいたルールを決めておかなければならない。端末1や端末2の特性、端末1の情報の利用方法に基づき、事前の予備実験等により端末1の情報を処理するルールを手動で作成する場合、使用する端末毎、情報の利用方法毎に適切な情報処理ルールを設定するために試行錯誤する必要があり、情報処理ルールの作成に多大な手間がかかる。また端末や端末が送信する情報の利用方法が更新、変更された場合、その都度改めて情報処理ルールを作成する必要がある。またその情報処理ルールに基づいて処理された情報を受け取る側、端末の情報を利用する側が要求する条件を常時満足させる状態とするために、端末の設置環境や利用状況といった数多くの場合を想定して、情報処理ルールを作成するための事前の予備実験等を実施しなければならない。
【0008】
本発明は上記事情に鑑みてなされたものであり、その目的とするところは、端末や計算装置の環境に応じた適切な情報処理ルールを自動で設定可能な情報処理装置を提供することにある。
【課題を解決するための手段】
【0009】
上記の課題を解決する手段として本発明では、情報処理ルールに基づいて処理される端末情報の実際の処理状況、情報処理ルールに基づいて処理された端末の情報を利用、情報を処理する側の実際の処理状況を収集し、それらと設定されている情報処理ルールとの関係性から、端末の情報を利用、情報を処理する側が要求する処理状況を満たす情報処理ルールを自動的に作成、設定、更新する。
【0010】
すなわち、本発明は、互いに異なる種類の情報をリアルタイムに送信する第1端末及び第2端末と、第1端末から送信された情報を処理する計算装置との間の通信経路上に配置された情報処理装置であって、第1端末及び第2端末から情報を受信する情報受信部と、第2端末から受信した情報に基づき情報処理ルールに則って第1端末から受信した情報を処理する情報処理部と、情報処理部で処理された第1端末からの情報を計算装置に送信する情報送信部と、計算装置における情報処理状況又は計算装置の装置状況の少なくとも一方に基づき前記情報処理部における第2端末から受信する情報の処理方法を判定するとともに情報処理ルールを作成して前記情報処理部に設定する情報処理方法判定部とを備えたことを特徴とする。
【発明の効果】
【0011】
ある端末(端末1)がリアルタイムに送信する情報を、別の端末(端末2)がリアルタイムに送信する情報に基づいて処理しようとする場合、本発明によれば、端末1の情報を処理する端末2の情報に基づいたルールを決めておかなければならないが、その情報処理ルールを手動で調整しながら作成する必要がなくなる。この解決手段を端末情報の処理を実施している状況でも常時機能させておくことで、端末が想定外の環境に置かれる、もしくは端末周辺の環境が急激に変化するといったような、端末情報の処理開始時から当初予期していなかった変化が生じた場合でも、情報処理ルールに基づいて処理される端末情報の実際の処理状況、端末の情報を利用又は処理する側の実際の処理状況に応じて、端末情報を処理するルールをリアルタイムに変更できるようになる。つまり、端末の情報を利用又は処理する側が要求する処理状況を満たすように、端末の情報を処理するルールを必要に応じて変更できる。また、端末の情報を利用又は処理する方法の増加、変更、要求条件の変化にも動的に対応可能になる。
【図面の簡単な説明】
【0012】
図1】本発明の前提となるシステムの構成概略図
図2】本発明に係る情報処理ルール設定システムの概略構成図
図3】情報処理ルール設定システムの機能ブロック図
図4】情報処理ルール設定システムのシーケンスチャート
図5】情報処理方法判定部のフローチャート
図6】実施例1に係る情報処理ルール設定システムの機能ブロック図
図7】実施例1に係るセンサ情報処理部のフローチャート
図8】実施例1に係るセンサ情報処理方法判定部のフローチャート(1/2)
図9】実施例1に係るセンサ情報処理方法判定部のフローチャート(2/2)
図10】実施例2に係るセンサ情報処理方法判定部のフローチャート(1/2)
図11】実施例2に係るセンサ情報処理方法判定部のフローチャート(2/2)
図12】実施例3に係るセンサ情報処理方法判定部のフローチャート(1/2)
図13】実施例3に係るセンサ情報処理方法判定部のフローチャート(2/2)
図14】実施例4に係るセンサ情報処理方法判定部のフローチャート(1/2)
図15】実施例4に係るセンサ情報処理方法判定部のフローチャート(2/2)
図16】実施例5に係る情報処理ルール設定システムの機能ブロック図
図17】実施例5に係る速度/輝度情報処理部のフローチャート
図18】実施例5に係る速度/輝度情報処理方法判定部のフローチャート(1/2)
図19】実施例5に係る速度/輝度情報処理方法判定部のフローチャート(2/2)
図20】実施例6に係る速度/輝度情報処理方法判定部のフローチャート(1/2)
図21】実施例6に係る速度/輝度情報処理方法判定部のフローチャート(2/2)
図22】実施例7に係る速度/輝度情報処理方法判定部のフローチャート(1/2)
図23】実施例7に係る速度/輝度情報処理方法判定部のフローチャート(2/2)
図24】実施例8に係る速度/輝度情報処理方法判定部のフローチャート(1/2)
図25】実施例8に係る速度/輝度情報処理方法判定部のフローチャート(2/2)
【発明を実施するための形態】
【0013】
本願に係る情報処理ルール設定システムおよび設定方法の実施形態を図面に基づいて詳細に説明する。図1は本発明の前提となるシステムの構成概略図、図2は本発明に係る情報処理ルール設定システムの構成概略図である。なお本願では、複数の同種の装置・構成については共通の主参照符号を付すとともに、各装置・構成を個別に参照するために前記主参照符号の後に枝番を付した。また、複数の同種の装置・構成を総称する際には主参照符号のみを用いる。
【0014】
図1に示すように、各端末10は、情報を取得する情報取得部11と、情報を生成する情報生成部12と、情報取得部11が取得した情報や情報生成部12が生成した情報をNW90に接続された外部にリアルタイムに送信する情報送信部13とを備える。各端末10は、互いに異なる種類の情報をリアルタイムに送信する。端末10は、前記情報取得部11および情報生成部12について何れか一方のみを備えるように構成してもよい。
【0015】
計算装置20は、NW90に接続された各端末10から送信された情報を受信する情報受信部21と、情報の再送信を含む情報の処理を行う情報処理部22とを備える。
【0016】
図2に示すように、本発明に係る情報処理ルール設定システムでは、各端末10から計算装置20への情報通信経路上に情報処理装置100が配置されている。図2の例では、各端末10はNW90−1に接続しており、計算装置20はNW90−2に接続しており、情報処理装置100は各NW90−1,90−2に接続している。
【0017】
情報処理装置100は、各端末10がリアルタイムに送信する情報を受信する情報受信部110と、受信した情報を単独で、あるいは複数の情報の組み合わせを利用し、設定された情報処理ルールに基づいて別の端末10からリアルタイムに送信されてくる情報を処理する情報処理部120と、NW90−2に接続された外部、ここでは計算装置20に処理済みの情報を送信する情報送信部130を有する。
【0018】
情報処理制御装置200は、情報処理装置100の情報処理部120で用いられる情報処理ルールを設定する機能部である情報処理制御部210と、計算装置20から送信される計算装置20における情報処理状況/装置状況を受信する状況受信部220とを備える。情報処理制御部210は、(a)設定した情報処理ルール、(b)情報処理部120から取得される情報の処理状況、(c)状況受信部220から受信する計算装置20における情報処理状況/装置状況、(d)計算装置20が要求する情報処理状況/装置状況、に基づいて情報処理ルールを設定する。
【0019】
なお、図2では、情報処理制御部210及び状況受信部220は、情報処理制御装置200として情報処理装置100とは独立して存在しているが、情報処理装置100に包含されている形態でも構わない。
【0020】
情報処理装置100及び情報処理制御装置200は、主に半導体装置で構成され、CPU(Central Processing Unit)、RAM(Random Access Memory)等の揮発性記憶装置、ハードディスクやフラッシュメモリ等の不揮発性記憶装置、及び外部との通信のための接続を行う通信インタフェースを有する、いわゆる情報処理機器として構成することができる。また、情報処理装置100及び情報処理制御装置200は、物理的なスイッチ、ルータ等のネットワーク機器に限らず、本発明のプログラムが動作する物理コンピュータや仮想化されたコンピュータを含む。
【0021】
計算装置20は、図1に示した情報処理装置100が送信する情報を受信する情報受信部21と端末10が送信した情報を処理する情報処理部22に加えて、計算装置20の装置状況を監視する装置監視部23と、情報処理部22および装置監視部23から取得する計算装置20における情報処理状況/装置状況を外部、ここでは状況受信部220に送信する状況送信部24とを備える。
【0022】
次に情報処理ルール設定システムの詳細について図3を参照して説明する。図3は情報処理ルール設定システムの機能ブロック図である。図2の情報処理装置100における情報処理部120では、端末10(ここでは第1端末10−1)からリアルタイムに送信される情報に対して、別の端末10(ここでは第2端末10−2)からリアルタイムに送信される情報に基づいた情報処理ルールに従った処理を実施した後に、情報送信部130を介して処理済みの情報を計算装置20へ送信することで、図2の第2NW90−2に送信される情報の流れを「変化」させる。第1端末10−1と第2端末10−2は、互いに異なる種類の情報をリアルタイムに送信する。
【0023】
ここで、前記の「変化」とは、例えば情報の品質等の問題により、計算装置20に送信不要な情報を情報処理装置100が廃棄することで、不要なNW帯域利用や計算装置20の処理負荷を削減する、あるいは計算装置20の情報処理精度を向上させることなど、各端末10や計算装置20、それらが接続されたNW90を利用する側にとっての利点がある変化を意味する。この「変化」を発生させるための情報処理ルールについては、情報処理制御部210、ここでは情報処理方法判定部211によって作成され、情報処理装置100における情報処理部120に当該ルールが設定される。
【0024】
図3は、第1端末10−1から第1計算装置20−1に対してリアルタイムに送信される情報を情報処理装置100で処理するために、第2端末10−2からリアルタイムに送信される情報に基づいた第1端末10−1の情報処理ルールを作成、設定、更新するために必要な機能ブロックを記載している。
【0025】
情報処理装置100における情報処理部120に設定されている第1端末10−1の情報を処理するルールに基づいて処理される第1端末10−1の情報の実際の処理状況、情報処理ルールに基づいて処理された第1端末10−1の情報を利用又は処理する第1計算装置20−1における実際の情報処理状況/装置状況を、情報処理制御部210の情報処理方法判定部211、ここでは第2端末情報処理方法判定部211aが収集し、それらと設定されている情報処理ルールとの関係性から、記憶部212に予め格納されている第1計算装置20−1が要求する情報処理状況/装置状況を満たす情報処理ルール作成、ここでは第2端末10−2の情報の処理方法を判定し、情報処理部120に設定、ここでは第2端末情報処理部120bに設定する。作成、設定した情報処理ルールと第1端末10−1の情報の処理状況、第1計算装置20−1における情報処理状況/装置状況に関しては記憶部212に随時格納される。
【0026】
情報処理装置100における情報処理部120と状況受信部220を介して情報処理方法判定部211が取得する、情報処理ルールに基づいて処理される端末10の情報の実際の処理状況、情報処理ルールに基づいて処理された端末10の情報を利用又は処理する側の実際の処理状況については、情報処理方法判定部211に通知される、もしくは情報処理方法判定部211がリクエストレスポンス方式で取得するといった方法のどちらを用いても構わない。また、情報取得の方法についても、装置内部からの取得もしくはネットワークを介した外部からの取得のどちらでも構わない。
【0027】
次に、情報処理装置100における情報処理部120で用いられる情報処理ルールが設定される流れについて、図4のシーケンスチャートを参照して説明する。
【0028】
計算装置20における情報処理部22と装置監視部23は、状況送信部24に対して情報処理状況/装置状況をそれぞれ送信する(ステップS1,2)。状況送信部24は、状況受信部220に対して計算装置20における情報処理状況/装置状況を送信する(ステップS3)。状況受信部220と情報処理装置100における情報処理部120、ここでは第1端末情報処理部120aが該当するが、それらは情報処理制御部210の情報処理方法判定部211、ここでは第2端末情報処理方法判定部211aが該当するが、それに対して、計算装置20における情報処理状況/装置状況、情報処理装置100における第1端末情報の処理状況を送信する(ステップS4,5)。
【0029】
第2端末情報処理方法判定部211aは、受信した情報を記憶部212に格納し、記憶部212に格納されている情報(計算装置20が要求する情報処理状況/装置状況、情報処理装置100における第2端末情報の処理方法、第1端末情報の処理状況、計算装置20における情報処理状況/装置状況の関係)に基づいて第2端末情報の処理方法を判定した上で、判定結果を記憶部212に格納すると共に第2端末情報処理部120bに送信する(ステップS6〜S9)。以上により、第1端末10−1の情報処理方法、すなわち情報処理ルールが作成、設定され、設定されたルールに基づいて情報処理が実施されるようになる。
【0030】
情報処理方法判定部211における流れを図5のフローチャートを参照して説明する。情報処理方法判定部211は、情報処理部120から情報処理装置100における端末情報の処理状況を受信し(ステップS11)、状況受信部220から計算装置20における情報処理状況/装置状況を受信する(ステップS12)。受信した情報を記憶部212に格納し(ステップS13)、記憶部212に格納されている計算装置20が要求する情報処理状況/装置状況を参照して受信した情報と比較する(ステップS14,S15)。受信した計算装置20における情報処理状況/装置状況が計算装置20の要求する情報処理状況/装置状況を満たしていれば処理を終了し、満たしていない場合は、記憶部212に格納されている情報に基づいて計算装置20が要求する情報処理状況/装置状況を満たす情報処理方法を判定する(ステップS16)。判定結果は記憶部212に格納されると共に、情報処理部120に送信される(ステップS17,S18)。
【0031】
以上のように、本実施形態に係る情報処理ルール設定システムによれば、端末10の情報を利用又は処理する側が要求する処理状況を満たすように、端末10の情報を処理するルールを自動で作成、設定でき、必要に応じて変更、更新できるようになる。
【0032】
以下に本発明に係る情報処理ルール設定システムの実施例について説明する。
【0033】
[実施例1]
実施例1は、本発明の情報処理ルール設定システムを、カメラから映像処理装置に映像を送信するシステムに適用した例である。実施例1に係るシステムについて図6を参照して説明する。図6は実施例1に係るシステムの構成図である。
【0034】
本システムでは、カメラ31から送信される情報が処理の対象である。本実施例1に係る情報処理装置100は、映像情報の廃棄あるいは透過の処理を実施する。映像情報を処理するルールは、カメラ31とは別端末であり、カメラ31に付属する速度センサのようなセンサ32から送信されるセンサ情報に基づいて作成、設定される。このセンサ情報は、映像情報の撮像状態に影響を与える状態を示す情報である。また、映像処理装置40は上記の計算装置20に相当するものであり、情報受信部41と、情報処理部42と、装置監視部43と、状況送信部44とを備えている。
【0035】
情報処理制御部210のセンサ情報処理方法判定部211bがセンサ情報の処理方法を判定、すなわち情報処理ルールを作成し、判定結果を情報処理部120のセンサ情報処理部120dに送信、情報処理ルールを設定する。情報処理部120のカメラ情報処理部120cでは、センサ情報処理部120dが提示するカメラ情報の処理方法、すなわち情報処理ルールに基づいてカメラ情報を処理する。
【0036】
本実施例で判定されるセンサ情報の処理方法は、図7のフローチャートに示すように速度の閾値Vshの設定であり、センサ情報処理部120dが受信した時刻tにおける速度VとVshの大きさの大小関係によってカメラ情報を透過処理あるいは廃棄処理する情報ルールが作成、設定されることになる(ステップS21〜S24)。
【0037】
本実施例に係る情報処理ルールの設定の流れについて、図8及び図9に示すセンサ情報処理方法判定部211bのフローチャートを参照して説明する。
【0038】
センサ情報処理方法判定部211bは映像処理装置40の映像処理状況(例:画像認識率A%)を受信し(ステップS101)、記憶部212に格納されている映像処理装置40が要求する映像処理状況(例:画像認識率Ash%以上)を参照して比較する(ステップS102〜S103)。受信した映像処理状況が映像処理装置40の要求する映像処理状況を満たしていれば処理を終了し、満たしていない場合はセンサ情報の処理方法を判定する、すなわちVshを設定するフローに遷移する(ステップS104〜S120)。
【0039】
本実施例では、画像認識率(A%)の低下をカメラ31が高速に移動している際の映像の過剰によると推定し、カメラ31が高速に移動している際の映像を減少させる方向に情報処理ルールを修正、すなわち|Vsh’|<|Vsh|となるように、例えば|Vsh|/2=|Vsh’|として|Vsh’|を決定し(ステップS104)、センサ情報処理部120dで用いる|Vsh|として|Vsh’|を用いるようにセンサ情報処理部120dに通知する(ステップS105)。
【0040】
情報処理装置100の情報処理部120では新たに決定した|Vsh|に基づいた情報処理が実施されることになるが、情報処理に変化が生じるため、次に受信する映像処理状況(例:画像認識率A%)は前に受信した映像処理状況(例:画像認識率A%)と異なっていることが予想される。
【0041】
したがってAとAshを比較し(ステップS106〜S107)、AもまたAshを満たしていない場合は再度|Vsh’|/2として|Vsh’|を決定し(ステップS108)、センサ情報処理部120dで用いる|Vsh|として|Vsh’|を用いるようにセンサ情報処理部に通知する(ステップS105)。
【0042】
一方、AがAshを満たしている場合は、|Vsh’|が映像処理装置40の要求するAshを満たすための|Vsh|としては小さすぎる場合が想定されるため、再度AがAshを満たさなくなるまで|Vsh|を増加させる。再度AがAshを満たさなくなった時点で用いられている|Vsh|は映像処理装置40の要求するAshを満たすための|Vsh|として最適な値、ここでの最適な値とは、|Vsh|を極端に小さく設定することで生じる映像の極端な減少を回避しつつ、AがAshを満たす状態となる|Vsh|とするが、その最適な値に近付いていると考えられるため、再度|Vsh|を減少させ、AがAshを満たしつつAの変化が既定の幅(ここではΔAshとしている)以下となった時点で用いられている|Vsh|をもって、最終的なセンサ情報処理部120dで用いる|Vsh|として採用し、処理を終了する(ステップS109〜S120)。
【0043】
以上のように、本実施例1では、カメラ31が高速に移動する場合に取得された映像は品質が悪く、映像処理装置40に送信しても映像処理装置40で適切に処理できないことから、適切に処理できない映像情報、すなわち映像処理装置40の映像処理状況を悪化させる映像情報のみを選択的に廃棄できる情報処理ルールを自動で作成、設定、更新することができる。またその結果、カメラ31の設置環境が変わるなどの変化が生じた際にも、映像処理装置40が要求する映像処理状況を満たす状態を維持することができる。
【0044】
[実施例2]
実施例2は、実施例1と同様のシステムに本発明の情報処理ルール設定システムを適用した例において、映像処理装置40が要求する映像処理状況を画像認識率Ash%ではなく、画像処理頻度Bshfps(frame per second)とした場合の例である。本実施例に係る情報処理ルールの設定の流れについて、図10及び図11に示すセンサ情報処理方法判定部211bのフローチャートを参照して説明する。
【0045】
センサ情報処理方法判定部211bは映像処理装置40の映像処理状況(例:画像処理頻度Bfps)を受信し(ステップS201)、記憶部212に格納されている映像処理装置40が要求する映像処理状況(例:画像処理頻度Bshfps以上)を参照して比較する(ステップS202〜S203)。受信した映像処理状況が映像処理装置40の要求する映像処理状況を満たしていれば処理を終了し、満たしていない場合はセンサ情報の処理方法を判定する、すなわちVshを設定するフローに遷移する(ステップS204〜S220)。
【0046】
本実施例では、画像処理頻度(Bfps)の低下を映像情報の廃棄の過剰によると推定し、カメラ31が移動している際の映像情報の廃棄を減少させる方向に情報処理ルールを修正、すなわち|Vsh’|>|Vsh|となるように、例えば2×|Vsh|=|Vsh’|として|Vsh’|を決定し(ステップS204)、センサ情報処理部120dで用いる|Vsh|として|Vsh’|を用いるようにセンサ情報処理部120dに通知する(ステップS205)。
【0047】
情報処理装置100における情報処理部120では新たに決定した|Vsh|に基づいた情報処理が実施されることになるが、情報処理に変化が生じるため、次に受信する映像処理状況(例:画像処理頻度Bfps)は前に受信した映像処理状況(例:画像処理頻度Bfps)と異なっていることが予想される。
【0048】
したがってBとBshを比較し(ステップS206〜S207)、BもまたBshを満たしていない場合は再度2×|Vsh’|として|Vsh’|を決定し(ステップS208)、センサ情報処理部120dで用いる|Vsh|として|Vsh’|を用いるようにセンサ情報処理部120dに通知する(ステップS205)。
【0049】
一方、BがBshを満たしている場合は、|Vsh’|が映像処理装置40の要求するBshを満たすための|Vsh|としては大き過ぎる場合が想定されるため、再度BがBshを満たさなくなるまで|Vsh|を減少させる。再度BがBshを満たさなくなった時点で用いられている|Vsh|は映像処理装置40の要求するBshを満たすための|Vsh|として最適な値、ここでの最適な値とは、|Vsh|に大きすぎる値を設定することで生じる、カメラが高速で移動している際の映像処理装置40で適切に処理できない映像の過剰を回避しつつ、BがBshを満たす状態となる|Vsh|とするが、その最適な値に近付いていると考えられるため、再度|Vsh|を減少させ、BがBshを満たしつつBの変化が既定の幅(ここではΔBshとしている)以下となった時点で用いられている|Vsh|をもって、最終的なセンサ情報処理部120dで用いる|Vsh|として採用し、処理を終了する(ステップS209〜S220)。
【0050】
以上のように、本実施例2では、カメラ31が移動する場合に取得された映像の廃棄が過剰に発生することで映像処理装置40の映像処理状況を悪化させる場合に、映像処理装置40が要求する映像処理状況を満たす情報処理ルールを自動で作成、設定、更新することができる。またその結果、カメラ31の設置環境が変わるなどの変化が生じた際にも、映像処理装置40が要求する映像処理状況を満たす状態を維持することができる。
【0051】
[実施例3]
実施例3は、実施例1と同様のシステムに本発明の情報処理ルール設定システムを適用した例において、映像処理装置40が要求する装置状況をCPU使用率Csh%とした場合の例である。本実施例に係る情報処理ルールの設定の流れについて、図12及び図13に示すセンサ情報処理方法判定部211bのフローチャートを参照して説明する。
【0052】
センサ情報処理方法判定部211bは映像処理装置40の装置状況(例:CPU使用率C%)を受信し(ステップS301)、記憶部212に格納されている映像処理装置40が要求する装置状況(例:CPU使用率Csh%以下)を参照して比較する(ステップS302〜S303)。受信した装置状況が映像処理装置40の要求する装置状況を満たしていれば処理を終了し、満たしていない場合はセンサ情報の処理方法を判定する、すなわちVshを設定するフローに遷移する(ステップS304〜S320)。
【0053】
本実施例では、CPU使用率(C%)の増加をカメラ31が高速に移動している際の映像の過剰によると推定し、カメラ31が高速に移動している際の映像を減少させる方向に情報処理ルールを修正、すなわち|Vsh’|<|Vsh|となるように、例えば|Vsh|/2 =|Vsh’|として|Vsh’|を決定し(ステップS304)、センサ情報処理部120dで用いる|Vsh|として|Vsh’|を用いるようにセンサ情報処理部120dに通知する(ステップS305)。
【0054】
情報処理装置100における情報処理部120では新たに決定した|Vsh|に基づいた情報処理が実施されることになるが、情報処理に変化が生じるため、次に受信する装置状況(例:CPU使用率C%)は前に受信した映像処理状況(例:CPU使用率C%)と異なっていることが予想される。
【0055】
したがってCとCshを比較し(ステップS306〜S307)、CもまたCshを満たしていない場合は再度|Vsh’|/2として|Vsh’|を決定し(ステップS308)、センサ情報処理部120dで用いる|Vsh|として|Vsh’|を用いるようにセンサ情報処理部120dに通知する(ステップS305)。
【0056】
一方、CがCshを満たしている場合は、|Vsh’|が映像処理装置40の要求するCshを満たすための|Vsh|としては小さすぎる場合が想定されるため、再度CがCshを満たさなくなるまで|Vsh|を増加させる。再度CがCshを満たさなくなった時点で用いられている|Vsh|は映像処理装置40の要求するCshを満たすための|Vsh|として最適な値、ここでの最適な値とは、|Vsh|を極端に小さく設定することで生じる映像の極端な減少を回避しつつ、CがCshを満たす状態となる|Vsh|とするが、その最適な値に近付いていると考えられるため、再度|Vsh|を減少させ、CがCshを満たしつつCの変化が既定の幅(ここではΔCshとしている)以下となった時点で用いられている|Vsh|をもって、最終的なセンサ情報処理部120dで用いる|Vsh|として採用し、処理を終了する(ステップS309〜S320)。
【0057】
以上のように、本実施例3では、カメラ31が高速に移動する場合に取得された映像は品質が悪く、映像処理装置40に送信する必要がないことから、映像処理装置40に送信する必要にない映像情報、すなわち映像処理装置40の装置状況を悪化させる映像情報のみを選択的に廃棄できるパケット処理ルールを自動で作成、設定、更新することができる。またその結果、カメラ31の設置環境が変わるなどの変化が生じた際にも、映像処理装置40が要求する装置状況を満たす状態を維持することができる。
【0058】
[実施例4]
実施例4は、実施例1と同様のシステムに本発明の情報処理ルール設定システムを適用した例において、設定されている情報処理ルールと映像処理装置40の映像処理状況、映像処理装置40が要求する映像処理状況のみから情報処理ルールを作成するのではなく、情報処理装置100におけるカメラ情報の処理状況も利用して情報処理ルールを作成する場合の例である。
【0059】
さらに本実施例では、実施例1のように最初に任意に設定した|Vsh|から最適な|Vsh|を求める過程、すなわち|Vsh|を収束させる過程を踏むのではなく、設定されている|Vsh|、情報処理装置100におけるカメラ情報の処理状況、映像処理装置40における映像処理状況の時系列データ、|Vsh|を変化させた際の情報処理装置100におけるカメラ情報の処理状況と映像処理装置40における映像処理状況の変化の関係を示す情報を機械学習の学習データとして蓄積し、映像処理装置40が要求する映像処理状況を満たす|Vsh|を推定できる機構、例えばニューラルネットワークを作成して利用する。
【0060】
実施例1のシステムはセンサ32のようなカメラ31とは異なる端末の情報を利用してカメラ31が送信する映像情報を処理する特徴を有しているが、カメラ31とは異なる端末情報の処理方法が映像処理装置40での映像処理状況にどのような影響を与えたかの知見のみならず、カメラ情報の処理状況自体にどのような影響を与えたかの知見も合わせて学習データとして利用し、例えばニューラルネットワークを成長させることで、本システムに特徴的な端末情報の処理方法、すなわち映像処理装置40が要求する映像処理状況を満たすために本システムにおける情報処理装置100で用いるべき情報処理ルール、|Vsh|を実施例1と比較して迅速かつ正確に作成できる。
【0061】
このニューラルネットワークに利用される学習データは情報処理ルール設定システムを利用する限り蓄積され続けるので、情報処理装置100で用いる情報処理ルール、|Vsh|の作成における正確性、迅速性はニューラルネットワークの成長に応じて向上する。本実施例に係る情報処理ルールの設定の流れについて、図14及び図15に示すセンサ情報処理方法判定部のフローチャートを参照して説明する。
【0062】
センサ情報処理方法判定部211bは、カメラ情報の処理状況(例:単位時間当たりの映像フレーム送信数Nfps)を受信し(ステップS401)、さらに映像処理装置40の映像処理状況(例:画像認識率A%)を受信する(ステップS402)。次に、センサ情報処理方法(例:現在センサ情報処理部で用いられている|Vsh(n)|、最初はなし)、カメラ情報の処理状況(例:Nfps)、映像処理状況(例:A%)の関係(例:|Vsh(n)|とNとAの関係)を記憶部212に格納する(ステップS403)。 ここでの|Vsh(n)|とNとAについては、ある時刻における任意の|Vsh(n)|とNとAをピックアップしても、ある単位時間当たりの|Vsh(n)|とNとAをそれぞれ平均したものを|Vsh(n)|とNとAとして用いても構わない。
【0063】
|Vsh(n)|とNとAの関係を記憶部212に格納する時点で、既に|Vsh|とNとAの関係(例:|Vsh(n−1)|とNn−1とAn−1の関係)が格納されている場合、下記を算出し、
ΔV= |Vsh(n)|−|Vsh(n−1)
ΔN= N−Nn−1
ΔA=A−An−1
上記と|Vsh(n) |とNとAとの関係を記憶部に格納する(ステップS404〜S405)。記憶部212に格納された情報は、情報処理ルール、|Vsh|を推定するためのニューラルネットワークの学習に使用される。
【0064】
次に、受信した映像処理装置40の映像処理状況A%と記憶部212に格納されている映像処理装置40が要求する映像処理状況(例:画像認識率Ash%以上)を参照して比較する(ステップS406〜S407)。受信した映像処理状況が映像処理装置40の要求する映像処理状況を満たしていれば処理を終了し、満たしていない場合はセンサ情報の処理方法を判定する、すなわちVshを設定するフローに遷移する(S408〜S417)。
【0065】
本実施例では、記憶部212に格納されている情報を学習データとして成長させたニューラルネットワークを用いてVshを推定する。記憶部212に格納されている|Vsh(n)|とN、A、ΔV、ΔN、ΔAの関係から、An+1≧Ashとなる|Vsh(n+1)|を推定し(ステップS408)、センサ情報処理部120dに|Vsh(n+1)|を用いるように通知する(ステップS409)。|Vsh(n+1)|を新たな情報処理ルールとして設定した後に受信するNn+1とAn+1、さらには|Vsh(n+1)|と記憶部212に格納されている最新の|Vsh|とNとA(|Vsh(n)|とNとA)を参照した上で算出される下記も合わせて記憶部212に格納する(ステップS410〜S413)。
ΔVn+1= |Vsh(n+1)|−|Vsh(n)
ΔNn+1= Nn+1−N
ΔAn+1=An+1−A
【0066】
n+1とAshを比較し(ステップS414〜S415)、An+1がAshを満たしていれば処理を終了し、満たしていなければ再度An+1≧Ashとなる|Vsh(n+1)|を推定し(ステップS416〜S417)、センサ情報処理部に|Vsh(n+1)|を用いるように通知する(ステップS409)。
【0067】
以上のように、設定した情報処理ルールと実際のカメラ情報の処理状況、映像処理装置40における映像処理状況の関係性と映像処理装置40の要求する映像処理状況に基づいて、映像処理装置40の要求する映像処理状況を満たす情報処理ルールを自動で作成、設定、更新できる。
【0068】
さらに、情報処理ルールの更新が起きない際にも情報処理ルールを作成するニューラルネットワークの学習は継続的に実施されるため、適切な情報処理ルールの作成速度、精度は向上し続ける。成長したニューラルネットワークは他の類似のシステムに本発明を適用する際にも転用でき、その際は初期段階から情報処理ルールを迅速かつ正確に作成できる。もちろん、完全に同じシステムへの適用でない限り情報処理ルールの作成速度、精度に初期段階では課題が生じるが、学習が継続的に実施されるため、適用先のシステムに合ったニューラルネットワークが作成される。
【0069】
[実施例5]
実施例5は実施例1と同様に、本発明の情報処理ルール設定システムをカメラ31から映像処理装置40に映像を送信するシステムに適用した例である。本実施例が前述の実施例1と異なる点は、図16の本実施例の機能ブロック図に示すように、映像情報を処理するルールの作成に用いられるセンサを2種類備えている点である。すなわち本実施例では、映像情報を処理するルールが、カメラ31とは別端末であり、カメラ31に付属する速度センサ32から送信される速度情報と、輝度センサ33から送信される輝度情報との組み合わせに基づいて作成、設定される。この速度情報及び輝度情報は、映像情報の撮像状態に影響を与える状態を示す情報である。
【0070】
本実施例で判定される速度/輝度情報の処理方法は、図17のフローチャートに示すように速度の閾値Vshと輝度の閾値Lsh1、Lsh2の設定であり、速度/輝度情報処理部120eが受信した時刻tにおける速度VとVshの大きさの大小関係、輝度LとLsh1、Lsh2の大小関係によってカメラ情報を透過処理あるいは廃棄処理する情報処理ルールが作成、設定されることになる(ステップS31〜S35)。
【0071】
本実施例に係る情報処理ルールの設定の流れについて、図18及び図19に示す速度/輝度情報処理方法判定部211cのフローチャートを参照して説明する。
【0072】
速度/輝度情報処理方法判定部211cは映像処理装置40の映像処理状況(例:画像認識率A%)を受信し(ステップS501)、記憶部212に格納されている映像処理装置40が要求する映像処理状況(例:画像認識率Ash%以上)を参照して比較する(ステップS502〜S503)。またこの際、輝度と速度のどちらを優先して処理を実施するかの優先度(ここでは輝度>速度とする)も合わせて参照する。受信した映像処理状況が映像処理装置40の要求する映像処理状況を満たしていれば処理を終了し、満たしていない場合は速度/輝度情報の処理方法を判定する、すなわちVsh、Lsh1、Lsh2を設定するフローに遷移する(ステップS504〜S529)。
【0073】
本実施例では、画像認識率(A%)の低下をカメラ31が高速に移動している際の映像の過剰、あるいはカメラ31が暗い場所か眩しい場所に設置されている際の映像の過剰によると推定する。ここでは処理の優先度として輝度>速度であるため、まずはカメラが暗い場所か眩しい場所に設置されている際の映像を減少させる方向に情報処理ルールを修正、すなわちLsh2>Lsh2’>Lsh1’>Lsh1となるようにLsh1’とLsh2’を決定し(ステップS505)、速度/輝度情報処理部120eで用いるLsh1とLsh2として、Lsh1’とLsh2‘を用いるように速度/輝度情報処理部120eに通知する(ステップS506)。
【0074】
新たな情報処理ルール設定以降に受信したAとAshを比較し、AもまたAshを満たしていない場合は実施例1と同様にVshを変更する(ステップS507〜S509)。新たな情報処理ルール設定以降に受信したA3−BとAshを比較し、A3−BがAshを満たした場合は実施例1と同様の方法でVshを収束させる(ステップS510〜S511、図8のステップS109以降)。A3−BもAshを満たさない場合は、再度輝度情報の処理方法を変更する(ステップ512〜S518)。AがAshを満たした場合は、実施例1と同様の方法でLsh1とLsh2を収束させる(ステップS518〜S529)。
【0075】
以上のように、本実施例では、カメラ31が高速に移動する場合に取得された映像およびカメラ31が暗い場所か眩しい場所に設置されている場合に取得された映像は品質が悪く、映像処理装置40に送信しても映像処理装置40で適切に処理できないことから、適切に処理できない映像情報、すなわち映像処理装置40の映像処理状況を悪化させる映像情報のみを選択的に廃棄できる情報処理ルールを自動で作成、設定、更新することができる。またその結果、カメラ31の設置環境が変わるなどの変化が生じた際にも、映像処理装置40が要求する映像処理状況を満たす状態を維持することができる。
【0076】
[実施例6]
実施例6は実施例5と同様に、本発明の情報処理ルール設定システムをカメラ31から映像処理装置40に映像を送信するシステムに適用した例において、映像処理装置40が要求する映像処理状況を画像認識率Ash%ではなく、画像処理頻度Bshfpsとした場合の例である。本実施例に係る情報処理ルールの設定の流れについて、図20及び図21に示す速度/輝度情報処理方法判定部211cのフローチャートを参照して説明する。
【0077】
速度/輝度情報処理方法判定部211cは映像処理装置40の映像処理状況(例:画像処理頻度Bfps)を受信し(ステップS601)、記憶部212に格納されている映像処理装置40が要求する映像処理状況(例:画像処理頻度Bshfps以上)を参照して比較する(ステップS602〜S603)。またこの際、輝度と速度のどちらを優先して処理を実施するかの優先度(ここでは輝度>速度とする)も合わせて参照する。受信した映像処理状況が映像処理装置40の要求する映像処理状況を満たしていれば処理を終了し、満たしていない場合は速度/輝度情報の処理方法を判定する、すなわちVsh、Lsh1、Lsh2を設定するフローに遷移する(ステップS604〜S624)。
【0078】
本実施例では、画像処理頻度(Bfps)の低下をカメラ情報の廃棄の過剰によると推定する。ここでは処理の優先度として輝度>速度であるため、まずはカメラ31が移動している際の映像廃棄が起こらないように情報処理ルールを修正、すなわち速度/輝度情報処理部120eで用いられる|Vsh|として∞を用いるように速度/輝度情報処理部120eに通知する(ステップS604)。新たな情報処理ルール設定以降に受信したBとBshを比較し、BがBshを満たした場合は、実施例2と同様の方法でVshを収束させる(ステップS605,S606,図10のステップS204以降)。BがBshを満たさなかった場合は、Lsh2’>Lsh2>Lsh1>Lsh1’となるようにLsh1’とLsh2’を決定し、カメラ31が暗い場所か眩しい場所に設置されている際の映像の廃棄を減少させる方向に情報処理ルールを修正する(ステップS607,S608)。以降、実施例2と同様の方法でLsh1とLsh2を収束させる(ステップS609〜S624)。
【0079】
以上のように、本実施例では、カメラ31が移動する場合に取得された映像およびカメラ31が暗い場所か眩しい場所に設置されている際の映像の廃棄が過剰に発生することで映像処理装置40の映像処理状況を悪化させる場合に、映像処理装置40が要求する映像処理状況を満たす情報処理ルールを自動で作成、設定、更新することができる。またその結果、カメラ31の設置環境が変わるなどの変化が生じた際にも、映像処理装置40が要求する映像処理状況を満たす状態を維持することができる。
【0080】
[実施例7]
実施例7は、実施例5と同様のシステムに本発明の情報処理ルール設定システムを適用した例において、映像処理装置40が要求する装置状況をCPU使用率Csh%とした場合の例である。本実施例に係る情報処理ルールの設定の流れについて、図22及び図23に示す速度/輝度情報処理方法判定部211cのフローチャートを参照して説明する。
【0081】
速度/輝度情報処理方法判定部211cは映像処理装置40の装置状況(例:CPU使用率C%)を受信し(ステップS701)、記憶部212に格納されている映像処理装置40が要求する装置状況(例:CPU使用率Csh%以下)を参照して比較する(ステップS702,S703)。またこの際、輝度と速度のどちらを優先して処理を実施するかの優先度(ここでは輝度>速度とする)も合わせて参照する。受信した映像処理状況が映像処理装置40の要求する映像処理状況を満たしていれば処理を終了し、満たしていない場合は速度/輝度情報の処理方法を判定する、すなわちVsh、Lsh1、Lsh2を設定するフローに遷移する(ステップS704〜S729)。
【0082】
本実施例では、CPU使用率(C%)の増加をカメラ31が高速に移動している際の映像の過剰、あるいはカメラが暗い場所か眩しい場所に設置されている際の映像の過剰によると推定する。ここでは処理の優先度として輝度>速度であるため、まずはカメラ31が暗い場所か眩しい場所に設置されている際の映像を減少させる方向に情報処理ルールを修正、すなわちLsh2>Lsh2’>Lsh1’>Lsh1となるようにLsh1’とLsh2’を決定し、速度/輝度情報処理部120eで用いるLsh1とLsh2として、Lsh1’とLsh2‘を用いるように速度/輝度情報処理部120eに通知する(ステップS704,S705)。
【0083】
新たなパケット処理ルール設定以降に受信したCとCshを比較し(ステップS706,S707)、CもまたCshを満たしていない場合は実施例1と同様にVshを変更する(ステップS708,S709)。新たな情報処理ルール設定以降に受信したC3−BとCshを比較し(ステップS710,S711)、C3−BがCshを満たした場合は実施例1と同様の方法でVshを収束させる(図12のステップ309以降)。C3−BもCshを満たさない場合は、再度輝度情報の処理方法を変更する(ステップS712,S713)。CがCshを満たした場合は、実施例1と同様の方法でLsh1とLsh2を収束させる(ステップS718〜S729)。
【0084】
以上のように、本実施例では、カメラ31が高速に移動する場合に取得された映像およびカメラ31が暗い場所か眩しい場所に設置されている場合に取得された映像は品質が悪く、映像処理装置40に送信する必要がないことから、映像処理装置40に送信する必要にない映像情報、すなわち映像処理装置40の装置状況を悪化させる映像情報のみを選択的に廃棄できる情報処理ルールを自動で作成、設定、更新することができる。またその結果、カメラ31の設置環境が変わるなどの変化が生じた際にも、映像処理装置40が要求する装置状況を満たす状態を維持することができる。
【0085】
[実施例8]
実施例8は、実施例5と同様のシステムに本発明の情報処理ルール設定システムを適用した例において、設定されている情報処理ルールと映像処理装置40の映像処理状況、映像処理装置40が要求する映像処理状況のみから情報処理ルールを作成するのではなく、情報処理装置100におけるカメラ情報の処理状況も利用して情報処理ルールを作成する実施例4と同様の場合の例である。
【0086】
本実施例では、実施例5のように最初に任意に設定した|Vsh|、Lsh1、Lsh2から最適な|Vsh|、Lsh1、Lsh2を求める過程、すなわち|Vsh|、Lsh1、Lsh2を収束させる過程を踏むのではなく、|Vsh|、Lsh1、Lsh2、情報処理装置100におけるカメラ情報の処理状況、映像処理装置40における映像処理状況の時系列データ、|Vsh|、Lsh1、Lsh2を変化させた際の情報処理装置100におけるカメラ情報の処理状況と映像処理装置40における映像処理状況の変化の関係を示す情報を機械学習の学習データとして蓄積し、映像処理装置40が要求する映像処理状況を満たす|Vsh|、Lsh1、Lsh2を推定できる機構、例えばニューラルネットワークを作成して利用する。
【0087】
実施例5のシステムは速度センサ32や輝度センサ33のようなカメラ31とは異なる端末の情報を利用してカメラ31が送信する映像情報を処理する特徴を有しているが、カメラ31とは異なる端末情報の処理方法が映像処理装置40での映像処理状況にどのような影響を与えたかの知見のみならず、カメラ情報の処理状況自体にどのような影響を与えたかの知見も合わせて学習データとして利用し、例えばニューラルネットワークを成長させることで、本システムに特徴的な端末情報の処理方法、すなわち映像処理装置40が要求する映像処理状況を満たすために本システムにおける情報処理装置100で用いるべき情報処理ルール、|Vsh|、Lsh1、Lsh2を実施例5と比較して迅速かつ正確に作成できる。
【0088】
このニューラルネットワークに利用される学習データは情報処理ルール設定システムを利用する限り蓄積され続けるので、情報処理装置100で用いる情報処理ルール、|Vsh|、Lsh1、Lsh2の作成における正確性、迅速性はニューラルネットワークの成長に応じて向上する。
【0089】
本実施例に係る情報処理ルールの設定の流れについて、図24及び図25に示す速度/輝度情報処理方法判定部211cのフローチャートを参照して説明する。
【0090】
速度/輝度情報処理方法判定部211cは、カメラ情報の処理状況(例:単位時間当たりの映像フレーム送信数Nfps)を受信し(ステップS801)、さらに映像処理装置40の映像処理状況(例:画像認識率A%)を受信する(ステップS802)。次に、速度/輝度情報処理方法(例:現在速度/輝度情報処理部120eで用いられている|Vsh(n)|、Lsh1(n)、Lsh2(n)、最初はなし)、カメラ情報の処理状況(例:Nfps)、映像処理状況(例:A %) )の関係(例:|Vsh(n)|とLsh1(n)とLsh2(n)とNとAの関係)を記憶部212に格納する(ステップS803)。
【0091】
ここでの|Vsh(n)|、Lsh1(n)、Lsh2(n)とNとAについては、ある時刻における任意の|Vsh(n)|、Lsh1(n)、Lsh2(n)とNとAをピックアップしても、ある単位時間当たりの|Vsh(n)|、Lsh1(n)、Lsh2(n)とNとAをそれぞれ平均したものを|Vsh(n)|、Lsh1(n)、Lsh2(n)とNとAとして用いても構わない。|Vsh(n)|とLsh1(n)とLsh2(n)とNとAの関係を記憶部212に格納する時点で、既に|Vsh|とLsh1とLsh2とNとAの関係(例:|Vsh(n−1)|とLsh1(n−1)とLsh2(n−1)とNn−1とAn−1の関係)が格納されている場合、下記を算出し、
ΔV= |Vsh(n)|−|Vsh(n−1)
ΔL1(n)= Lsh1(n)−Lsh1(n−1)
ΔL2(n)= Lsh2(n)−Lsh2(n−1)
ΔN= N−Nn−1
ΔA=A−An−1
上記と|Vsh(n)|とLsh1(n)とLsh2(n)とNとAの関係を記憶部212に格納する(ステップS804,S805)。記憶部212に格納された情報は、情報処理ルール、|Vsh|とLsh1とLsh2を推定するためのニューラルネットワークの学習に使用される。
【0092】
次に、受信した映像処理装置40の映像処理状況A%と記憶部212に格納されている映像処理装置40が要求する映像処理状況(例:画像認識率Ash%以上)を参照して比較する(ステップS806,S807)。受信した映像処理状況が映像処理装置40の要求する映像処理状況を満たしていれば処理を終了し、満たしていない場合は速度/輝度情報の処理方法を判定する、すなわちVsh とLsh1(n)とLsh2(n)を設定するフローに遷移する(ステップS808〜S817)。
【0093】
本実施例では、記憶部212に格納されている情報を学習データとして成長させたニューラルネットワークを用いてVshとLsh1(n)とLsh2(n)を推定する。記憶部212に格納されている最新の|Vsh|、Lsh1、Lsh2とN、A、ΔV、ΔL、ΔL、ΔN、ΔAの関係から、A≧Ashとなる|Vsh|、Lsh1、Lsh2を推定し、速度/輝度情報処理部120eにそれらを用いるように通知する(ステップS808,S809)。
【0094】
新たなパケット処理ルール(|Vsh(n+1)|、Lsh1(n+1)、Lsh2(n+1))を設定した後に受信するNn+1とAn+1、さらには|Vsh(n+1)|、Lsh1(n+1)、Lsh2(n+1)と記憶部に格納されている最新の|Vsh|、Lsh1、Lsh2とNとA(|Vsh(n)|とLsh1(n)とLsh2(n)とNとA)を参照した上で算出される下記も合わせて記憶部212に格納する(ステップS810〜S813)。
ΔVn+1= |Vsh(n+1)|−|Vsh(n)
ΔL1(n+1)= Lsh1(n+1)−Lsh1(n)
ΔL2(n+1)= Lsh2(n+1)−Lsh2(n)
ΔNn+1= Nn+1−N
ΔAn+1=An+1−A
【0095】
n+1とAshを比較し(ステップS814,S815)、An+1がAshを満たしていれば処理を終了し、満たしていなければ再度An+1≧Ashとなる|Vsh(n+1)|、Lsh1(n+1)、Lsh2(n+1)を推定し、速度/輝度情報処理部120eに|Vsh(n+1)|、Lsh1(n+1)、Lsh2(n+1)を用いるように通知する(ステップS816,S817,S809)。
【0096】
以上のように、設定した情報処理ルールと実際のカメラ情報の処理状況、映像処理装置40における映像処理状況の関係性と映像処理装置40の要求する映像処理状況に基づいて、映像処理装置40の要求する映像処理状況を満たす情報処理ルールを自動で作成、設定、更新できる。
【0097】
さらに、情報処理ルールの更新が起きない際にも情報処理ルールを作成するニューラルネットワークの学習は継続的に実施されるため、適切な情報処理ルールの作成速度、精度は向上し続ける。成長したニューラルネットワークは他の類似のシステムに本発明を適用する際にも転用でき、その際は初期段階から情報処理ルールを迅速かつ正確に作成できる。もちろん、完全に同じシステムへの適用でない限り情報処理ルールの作成速度、精度に初期段階では課題が生じるが、学習が継続的に実施されるため、適用先のシステムに合ったニューラルネットワークが作成される。
【0098】
以上、本発明の実施の形態及び実施例について詳述したが、本発明はこれに限定されるものではない。例えば、上記各実施例では、第1端末10−1は映像情報を送信するカメラ31であり、第2端末10−2は映像情報の撮像状態に影響を与える情報を示す情報である速度情報や軌道情報を送信するセンサ32,33であったが、本発明はこれに限定さえることなく種々の用途で用いることができる。
【符号の説明】
【0099】
10…端末
11…情報取得部
12…情報生成部
13…情報送信部
20…計算装置
21…情報受信部
22…情報処理部
23…装置監視部
24…状況送信部
31…カメラ
32…速度センサ
33…輝度センサ
40…映像処理装置
90…ネットワーク
100…情報処理装置
110…情報受信部
120…情報処理部
120a…第1端末情報処理部
120b…第2端末情報処理部
120c…カメラ情報処理部
120d…センサ情報処理部
120e…速度/輝度情報処理部
130…情報送信部
200…情報制御装置
210…情報処理制御部
211…情報処理方法判定部
211a…第2端末情報処理方法判定部
211b…センサ情報処理方法判定部
211c…速度/輝度情報処理方法判定部
212…記憶部
220…状況受信部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25