(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022160178
(43)【公開日】2022-10-19
(54)【発明の名称】映像制御プログラム、情報処理装置及び映像制御方法
(51)【国際特許分類】
H04N 21/2385 20110101AFI20221012BHJP
H04N 5/77 20060101ALI20221012BHJP
H04N 5/93 20060101ALI20221012BHJP
H04N 21/24 20110101ALI20221012BHJP
【FI】
H04N21/2385
H04N5/77
H04N5/93
H04N21/24
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2021064772
(22)【出願日】2021-04-06
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100094525
【弁理士】
【氏名又は名称】土井 健二
(74)【代理人】
【識別番号】100094514
【弁理士】
【氏名又は名称】林 恒徳
(72)【発明者】
【氏名】菊月 達也
【テーマコード(参考)】
5C053
5C164
【Fターム(参考)】
5C053GB06
5C053JA21
5C053LA01
5C053LA06
5C053LA11
5C053LA14
5C164FA07
5C164PA32
5C164SA25S
5C164SB02S
5C164SB22P
5C164SB41P
5C164TA06S
5C164TB44S
5C164YA21
5C164YA24
(57)【要約】
【課題】無線品質の品質劣化を抑制することを可能とする映像制御プログラム、情報処理装置及び映像制御方法を提供する。
【解決手段】撮像装置によって撮像された映像データから、映像データの無線伝送経路を遮蔽する遮蔽物の特徴を検出し、検出した特徴から遮蔽物による無線伝送経路の遮蔽時間を算出し、算出した遮蔽時間に基づいて、映像データの送信先における映像品質を示す第1情報と映像データの送信元における無線品質を示す第2情報とから、映像データの制御に用いる制御情報を決定し、決定した制御情報を用いて、送信先に対する映像データの送信を制御する。
【選択図】
図5
【特許請求の範囲】
【請求項1】
撮像装置によって撮像された映像データから、前記映像データの無線伝送経路を遮蔽する遮蔽物の特徴を検出し、
検出した前記特徴から前記遮蔽物による前記無線伝送経路の遮蔽時間を算出し、
算出した前記遮蔽時間に基づいて、前記映像データの送信先における映像品質を示す第1情報と前記映像データの送信元における無線品質を示す第2情報とから、前記映像データの制御に用いる制御情報を決定し、
決定した前記制御情報を用いて、前記送信先に対する前記映像データの送信を制御する、
処理をコンピュータに実行させることを特徴とする映像制御プログラム。
【請求項2】
請求項1において、
前記第1情報は、前記映像データの送信先から取得される情報である、
ことを特徴とする映像制御プログラム。
【請求項3】
請求項1において、
前記第2情報は、前記映像データの送信元における送信機から取得される情報である、
ことを特徴とする映像制御プログラム。
【請求項4】
請求項1において、
前記決定する処理では、前記遮蔽時間が所定閾値よりも長い場合、前記第1情報を前記制御情報として決定し、前記遮蔽時間が前記所定閾値よりも短い場合、前記第2情報を前記制御情報として決定する、
ことを特徴とする映像制御プログラム。
【請求項5】
請求項4において、
前記所定閾値は、前記映像データの送信元と送信先との間において行われる無線通信のフィードバック制御に要する時間である、
ことを特徴とする映像制御プログラム。
【請求項6】
請求項1において、
前記算出する処理では、前記遮蔽物が所定以上の大きさであり、かつ、前記遮蔽物が第一フレネルゾーンに位置している場合、前記遮蔽物による前記第一フレネルゾーンの通過時間を前記遮蔽時間として算出する、
ことを特徴とする映像制御プログラム。
【請求項7】
請求項1において、
前記算出する処理では、前記遮蔽物が所定未満の大きさである場合、または、前記遮蔽物が第一フレネルゾーンに位置していない場合、前記無線伝送経路におけるフェージング周波数の逆数を前記遮蔽時間として算出する、
ことを特徴とする映像制御プログラム。
【請求項8】
撮像装置によって撮像された映像データから、前記映像データの無線伝送経路を遮蔽する遮蔽物の特徴を検出する特徴検出部と、
検出した前記特徴から前記遮蔽物による前記無線伝送経路の遮蔽時間を算出する時間算出部と、
算出した前記遮蔽時間に基づいて、前記映像データの送信先における映像品質を示す第1情報と前記映像データの送信元における無線品質を示す第2情報とから、前記映像データの制御に用いる制御情報を決定する制御決定部と、
決定した前記制御情報を用いて、前記送信先に対する前記映像データの送信を制御する映像制御部と、を有する、
ことを特徴とする情報処理装置。
【請求項9】
撮像装置によって撮像された映像データから、前記映像データの無線伝送経路を遮蔽する遮蔽物の特徴を検出し、
検出した前記特徴から前記遮蔽物による前記無線伝送経路の遮蔽時間を算出し、
算出した前記遮蔽時間に基づいて、前記映像データの送信先における映像品質を示す第1情報と前記映像データの送信元における無線品質を示す第2情報とから、前記映像データの制御に用いる制御情報を決定し、
決定した前記制御情報を用いて、前記送信先に対する前記映像データの送信を制御する、
処理をコンピュータに実行させることを特徴とする映像制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像制御プログラム、情報処理装置及び映像制御方法に関する。
【背景技術】
【0002】
近年、5G(第5世代移動通信)等に代表される無線通信規格の大容量化に伴い、4K映像や8K映像等の高精細映像を無線によって送信する需要が高まっている。
【0003】
具体的に、例えば、道路の防災(例えば、落下物や逆走車の検知)を目的とした道路監視の分野や、工場における予兆検出及び業務効率化を目的とした工場監視の分野において、カメラ等の撮像装置によって撮像された高精細映像を無線によって遠隔地のサーバ(以下、遠隔サーバとも呼ぶ)に送信し、遠隔サーバにおいてAI(Artificial Intelligence)による映像の解析を行う遠隔監視等の実現化が期待されている(例えば、特許文献1乃至3参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2008-301309号公報
【特許文献2】特開2010-258850号公報
【特許文献3】特開2016-105536号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記のような無線通信では、例えば、周囲の人や物体(以下、遮蔽物とも呼ぶ)が送信機と受信機との間に割り込んだ場合、無線通信の品質劣化が発生し、受信機側において表示された映像が乱れる場合がある。
【0006】
この場合、送信機と受信機との間では、例えば、受信機側における映像の品質についての情報(以下、映像品質情報と呼ぶ)の送受信を伴う映像制御(以下、フィードバック制御とも呼ぶ)が行われ、送信機から受信機に送信される映像のフレームレート(fps:frames per second)の調整等が行われる。
【0007】
しかしながら、上記のようなフィードバック制御では、受信機側における無線通信の品質劣化の検知に時間を要する。そのため、フィードバック制御では、映像のフレームレートの調整の遅れが発生し、送信機と受信機との間における無線通信の品質がさらに劣化する場合がある。
【0008】
そこで、例えば、映像の送信機側において、送信機から直接取得した無線品質についての情報(以下、無線品質情報とも呼ぶ)を用いることによる映像制御(以下、フィードフォワード制御とも呼ぶ)が行われる場合がある。この場合、受信機側における無線通信の品質劣化の検知が行われないため、フィードバック制御が行われる場合よりも映像制御に要する時間を短縮させることが可能になり、無線品質の品質劣化の抑制を図ることが可能になる。
【0009】
ここで、上記のような無線通信では、例えば、送信機や遮蔽物が移動する場合、フェージング(瞬時変動)が発生する。そして、このようなフェージングの変動間隔は、フィードフォワード制御に要する時間よりも短い場合がある。そのため、フェージングの発生時においては、フィードフォワード制御よりもフィードバック制御の方が無線品質の品質劣化を抑制することが可能になる場合がある。
【0010】
そこで、一つの側面では、本発明は、無線品質の品質劣化を抑制することを可能とする映像制御プログラム、情報処理装置及び映像制御方法を提供することを目的とする。
【課題を解決するための手段】
【0011】
実施の形態の一態様では、撮像装置によって撮像された映像データから、前記映像データの無線伝送経路を遮蔽する遮蔽物の特徴を検出し、検出した前記特徴から前記遮蔽物による前記無線伝送経路の遮蔽時間を算出し、算出した前記遮蔽時間に基づいて、前記映像データの送信先における映像品質を示す第1情報と前記映像データの送信元における無線品質を示す第2情報とから、前記映像データの制御に用いる制御情報を決定し、決定した前記制御情報を用いて、前記送信先に対する前記映像データの送信を制御する、
処理をコンピュータに実行させる。
【発明の効果】
【0012】
一つの側面によれば、無線品質の品質劣化を抑制することが可能になる。
【図面の簡単な説明】
【0013】
【
図1】
図1は、情報処理システム10の構成について説明する図である。
【
図2】
図2は、情報処理システム10の構成について説明する図である。
【
図3】
図3は、フィードバック制御について説明する図である。
【
図4】
図4は、フィードバック制御について説明するシーケンスチャート図である。
【
図5】
図5は、フィードフォワード制御について説明する図である。
【
図6】
図6は、フィードフォワード制御について説明するシーケンスチャート図である。
【
図7】
図7は、情報処理装置1のハードウエア構成を説明する図である。
【
図8】
図8は、エッジ装置2のハードウエア構成を説明する図である。
【
図9】
図9は、エッジ装置2の機能のブロック図である。
【
図10】
図10は、情報処理装置1の機能のブロック図である。
【
図11】
図11は、第1の実施の形態における映像制御処理の概略を説明するフローチャート図である。
【
図12】
図12は、第1の実施の形態における映像制御処理の詳細を説明するフローチャート図である。
【
図13】
図13は、第1の実施の形態における映像制御処理の詳細を説明するフローチャート図である。
【
図14】
図14は、第1の実施の形態における映像制御処理の詳細を説明するフローチャート図である。
【
図15】
図15は、第1の実施の形態における映像制御処理の詳細を説明するフローチャート図である。
【
図17】
図17は、情報処理装置1の機能のブロック図である。
【
図18】
図18は、第2の実施の形態における映像制御処理を説明するフローチャート図である。
【
図19】
図19は、第2の実施の形態における映像制御処理を説明するフローチャート図である。
【発明を実施するための形態】
【0014】
[第1の実施の形態における情報処理システムの構成]
初めに、情報処理システム10の構成について説明を行う。
図1及び
図2は、情報処理システム10の構成について説明する図である。
【0015】
情報処理システム10は、
図1に示すように、例えば、情報処理装置1(遠隔サーバ1)と、エッジ装置2と、エッジ装置3と、エッジ装置4とを有する。以下、情報処理システム10がエッジ装置2、エッジ装置3及びエッジ装置4を有するものとして説明を行うが、情報処理システム10は、3台以外の台数のエッジ装置を有するものであってもよい。
【0016】
エッジ装置2、3及び4は、例えば、工場内を移動可能なロボットに搭載されたPC(Personal Computer)である。また、エッジ装置2は、例えば、送信機2aとカメラ2bとを有し、エッジ装置3は、例えば、送信機3aとカメラ3bとを有し、エッジ装置4は、例えば、送信機4aとカメラ4bとを有する。送信機3a、送信機3a及び送信機3cのそれぞれは、例えば、WiFiチップが搭載された通信機である。
【0017】
そして、エッジ装置2は、例えば、工場内における作業員や工機が映る映像データをカメラ2bによって撮像し、撮像した映像データをWiFi等による無線通信によって送信機2aから情報処理装置1に送信する。同様に、エッジ装置3は、カメラ3bによって撮像した映像データを送信機3aから情報処理装置1に送信し、エッジ装置4は、カメラ4bによって撮像した映像データを送信機4aから情報処理装置1に送信する。
【0018】
情報処理装置1は、例えば、受信機1aを有する物理マシンであり、送信機2a、3a及び4aのそれぞれから送信された映像データを受信する。受信機1aは、例えば、WiFiチップが搭載された通信機である。
【0019】
そして、情報処理装置1は、例えば、受信した映像データを学習済の機械学習モデルに対して入力することによって、映像データに所定の異常(例えば、体調不調の作業員や動作に異常が生じている工機等)が映っているか否かを示す情報を取得する。その後、情報処理装置1は、例えば、管理者が閲覧する操作端末(図示せず)に対して、映像データにおいて異常が含まれているか否かを示す情報を出力する。
【0020】
ここで、
図2に示すように、例えば、送信機2aと受信機1aとの間において遮蔽物5(人やコンテナ等)が割り込んだ場合、無線通信の品質劣化が発生し、受信機1a側において表示された映像が乱れる場合がある。さらに、この場合、例えば、送信機2aと受信機1aとの間において行われるフィードバック制御によって無線通信の品質がさらに劣化する場合がある。以下、フィードバック制御について説明を行う。
【0021】
[フィードバック制御]
図3は、フィードバック制御について説明する図である。また、
図4は、フィードバック制御について説明するシーケンスチャート図である。
図3における横軸は、時間を示し、
図3の上段における縦軸は、受信機1aが送信機2aから受信する無線信号の受信強度を示すRSSI(Received Signal Strength Indicator)を示し、
図3の中段における縦軸は、受信機1aにおける受信fpsを示し、
図3の下段における縦軸は、送信機2aにおける送信fpsを示している。以下、送信機2aと受信機1aとの間において行われるフィードバック制御について説明を行う。
【0022】
具体的に、
図3の上段のグラフにおける点P11と点P12との間に示すように、RSSIが低下した場合、
図3の中段のグラフにおける点P21と点P22との間に示すように、受信機1aにおける受信fpsが低下する。そして、情報処理装置1は、受信機1aにおける受信fpsの低下を検知した場合(
図4のS1-1及びS1-2)、エッジ装置2に対してフィードバック通知を送信する(
図4のS1-3)。具体的に、情報処理装置1は、例えば、検知した受信fpsを含む情報(映像品質情報)をフィードバック通知として送信する。
【0023】
その後、エッジ装置2は、情報処理装置1からフィードバック通知を受信した場合(
図4のS1-4)、
図3の下段のグラフにおけるP31と点P32との間に示すように、送信fpsを低下させる映像制御を行う(
図4のS1-5)。そして、送信機2aにおいて送信fpsを低下させる映像制御が行われた場合、
図3の中段のグラフにおける点P23と点P24との間に示すように、受信機1aにおける受信fpsが一部回復する。
【0024】
すなわち、
図3に示す例は、RSSIの低下に伴うフィードバック制御の実行によって、例えば、
図3の中段のグラフにおける点P22と点P23との間において受信fpsがより低下していることを示している。
【0025】
一方、エッジ装置2では、フィードバック制御に代えて、例えば、送信機2aから取得した無線品質情報を用いたフィードフォワード制御が行われる場合がある。この場合、受信機1a側における無線通信の品質劣化の検知が行われないため、フィードバック制御が行われる場合よりも映像制御に要する時間を短縮させることが可能になり、無線品質の品質劣化の抑制を図ることが可能になる。以下、フィードフォワード制御について説明を行う。
【0026】
[フィードフォワード制御]
図5は、フィードフォワード制御について説明する図である。また、
図6は、フィードフォワード制御について説明するシーケンスチャート図である。以下、送信機2aと受信機1aとの間において行われるフィードフォワード制御について説明を行う。
【0027】
具体的に、
図5の上段のグラフにおける点P41と点P42との間に示すように、RSSIが低下した場合、
図5の中段のグラフにおける点P51と点P52との間に示すように、受信機1aにおける受信fpsが低下する。一方、送信機2aは、RSSIの低下を検知した場合(
図6のS2-1)、エッジ装置2に対してフィードフォワード通知を自発的に送信する(
図6のS2-2)。具体的に、送信機2aは、例えば、RSSI(無線品質情報)を含む情報をフィードフォワード通知として送信する。
【0028】
その後、エッジ装置2は、送信機2aからフィードフォワード通知を受信した場合(
図6のS2-3)、
図5の下段のグラフにおけるP61と点P62との間に示すように、送信fpsを低下させる映像制御を行う(
図6のS2-4)。そして、送信機2aにおいて送信fpsを低下させる映像制御が行われた場合、
図3の中段のグラフにおける点P53と点P54との間に示すように、受信機1aにおける受信fpsが一部回復する。
【0029】
すなわち、
図5及び
図6に示す例は、受信fpsが大きく低下する時間(例えば、
図5の中段のグラフにおける点P52と点53との間の時間)を、
図3及び
図4で説明した場合よりも短縮させることが可能であることを示している。
【0030】
ここで、上記のような無線通信では、例えば、送信機2aや遮蔽物5が移動する場合、フェージング(瞬時変動)が発生する。そして、このようなフェージングの変動間隔は、例えば、数百ミリ秒から数秒程度であり、フィードフォワード制御に要する時間よりも短い場合がある。そのため、フェージングの発生時においては、フィードフォワード制御よりもフィードバック制御の方が無線品質の品質劣化を抑制することが可能になる場合がある。
【0031】
そこで、本実施の形態におけるエッジ装置2は、例えば、カメラ2bによって撮像された映像データから、映像データの無線伝送経路(送信機2aと受信機1aとの間の無線伝送経路)を遮蔽する遮蔽物5の特徴を検出する。そして、エッジ装置2は、検出した特徴から遮蔽物5による無線伝送経路の遮蔽時間を算出する。
【0032】
その後、エッジ装置2は、算出した遮蔽時間に基づいて、映像データの送信先(受信機1a)における映像品質情報(以下、第1情報とも呼ぶ)と、映像データの送信元(送信機2a)における無線品質情報(以下、第2情報とも呼ぶ)とから、映像データの制御に用いる制御情報を決定する。そして、エッジ装置2は、決定した制御情報を用いて、送信先に対する映像データの送信を制御する。
【0033】
すなわち、本実施の形態におけるエッジ装置2は、遮蔽物5の特徴から算出した遮蔽物5による無線伝送経路の遮蔽時間に応じて、映像データの映像制御に用いる制御情報の使い分けを行う。
【0034】
これにより、本実施の形態におけるエッジ装置2は、映像データの映像制御を無線伝送経路に位置する遮蔽物5の大きさ等に応じて行うことが可能になる。そのため、エッジ装置2は、無線品質の品質劣化を抑制することが可能になる。
【0035】
[情報処理システムのハードウエア構成]
次に、情報処理システム10のハードウエア構成について説明する。
図7は、情報処理装置1のハードウエア構成を説明する図である。また、
図8は、エッジ装置2のハードウエア構成を説明する図である。なお、エッジ装置3及びエッジ装置4のハードウエア構成については、エッジ装置2のハードウエア構成を同一であるため説明を省略する。
【0036】
初めに、情報処理装置1のハードウエア構成について説明を行う。
【0037】
情報処理装置1は、
図7に示すように、プロセッサであるCPU101と、メモリ102と、I/Oインタフェース103と、記憶媒体104とを有する。各部は、バス105を介して互いに接続される。
【0038】
記憶媒体104は、例えば、映像データの制御を行う処理(以下、映像制御処理とも呼ぶ)を行うためのプログラム110を記憶するプログラム格納領域(図示せず)を有する。また、記憶媒体104は、例えば、映像制御処理を行う際に用いられる情報を記憶する情報格納領域130を有する。なお、記憶媒体104は、例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive)であってよい。
【0039】
CPU101は、記憶媒体104からメモリ102にロードされたプログラム110を実行して映像制御処理を行う。
【0040】
I/Oインタフェース103は、例えば、ネットワークインターフェースカード等のインタフェース機器であり、受信機1aを介してエッジ装置2等とアクセスが可能である。
【0041】
次に、エッジ装置2のハードウエア構成について説明を行う。
【0042】
エッジ装置2は、
図8に示すように、プロセッサであるCPU201と、メモリ202と、I/Oインタフェース203と、記憶媒体204とを有する。各部は、バス205を介して互いに接続される。
【0043】
記憶媒体204は、例えば、映像制御処理を行うためのプログラム210を記憶するプログラム格納領域(図示せず)を有する。また、記憶媒体204は、例えば、映像制御処理を行う際に用いられる情報を記憶する情報格納領域230を有する。なお、記憶媒体204は、例えば、HDDやSSDであってよい。
【0044】
CPU201は、記憶媒体204からメモリ202にロードされたプログラム210を実行して映像制御処理を行う。
【0045】
I/Oインタフェース203は、例えば、ネットワークインターフェースカード等のインタフェース機器であり、送信機2aを介して情報処理装置1等とアクセスが可能である。
【0046】
[情報処理システムの機能]
次に、情報処理システム10の機能について説明を行う。
図9は、エッジ装置2の機能のブロック図である。また、
図10は、情報処理装置1の機能のブロック図である。なお、エッジ装置3及びエッジ装置4の機能のブロック図については、エッジ装置2の機能のブロック図と同じであるため説明を省略する。
【0047】
エッジ装置2は、
図9に示すように、例えば、CPU201やメモリ202等のハードウエアとプログラム210とが有機的に協働することにより、映像受信部211と、特徴検出部212と、時間算出部213と、制御決定部214と、映像制御部215と、映像送信部216とを含む各種機能を実現する。
【0048】
映像受信部211は、例えば、カメラ2bによって撮像された映像データを受信する。
【0049】
特徴検出部212は、例えば、映像受信部211が受信した映像データから、送信機2aと情報処理装置1の受信機1aとの間における無線伝送経路を遮蔽する遮蔽物5が存在するか否かを判定する。そして、映像検出部212は、例えば、無線伝送経路を遮蔽する遮蔽物5が存在すると判定した場合、その遮蔽物5の特徴を検出する。
【0050】
時間算出部213は、例えば、特徴検出部212が検出した遮蔽物5の特徴から、その遮蔽物5による無線伝送経路の遮蔽時間を算出する。
【0051】
制御決定部214は、例えば、時間算出部213が算出した遮蔽時間に基づいて、映像データの受信機1aにおける映像品質を示す第1情報と、送信機2aにおける無線品質を示す第2情報とから、映像データの制御に用いる制御情報を決定する。
【0052】
映像制御部215は、例えば、制御決定部214が決定した制御情報を用いることによって、送信機2aと受信機1aとの間における映像制御を行う。この映像制御には、フレームレートの調整に加えて、例えば、送信機2aから送信する映像データの圧縮率の調整等が含まれる。
【0053】
映像送信部216は、例えば、映像受信部211が受信した映像データを送信機2aが送信するように制御を行う。
【0054】
また、情報処理装置1は、
図10に示すように、例えば、CPU101やメモリ102等のハードウエアとプログラム110とが有機的に協働することにより、映像受信部111と、映像解析部115と、映像出力部116とを含む各種機能を実現する。
【0055】
映像受信部111は、例えば、送信機2aから送信された映像データを受信機1aが受信するように制御を行う。
【0056】
映像解析部115は、例えば、受信機1aが受信した映像データを学習済の機械学習モデルに対して入力することによって、映像データに所定の異常が映っているか否かを判定する。
【0057】
映像出力部116は、例えば、受信機1aが受信した映像データを管理者の操作端末に表示する。また、映像出力部116は、例えば、映像解析部115による判定結果を管理者の操作端末に表示する。
【0058】
[第1の実施の形態の概略]
次に、第1の実施の形態の概略について説明する。
図11は、第1の実施の形態における映像制御処理の概略を説明するフローチャート図である。以下、エッジ装置2において行われる映像制御処理の概略について説明を行う。
【0059】
エッジ装置2は、
図11に示すように、例えば、カメラ2bが撮像した映像データを受信するまで待機する(S11のNO)。
【0060】
そして、カメラ2bが撮像した映像データを受信した場合(S11のYES)、エッジ装置2は、例えば、S11の処理で受信した映像データから、送信機2aと情報処理装置1の受信機1aとの間における無線伝送経路を遮蔽する遮蔽物5の特徴を検出する(S12)。
【0061】
続いて、エッジ装置2は、S13の処理で検出した遮蔽物5の特徴から、その遮蔽物5による無線伝送経路の遮蔽時間を算出する(S13)。
【0062】
さらに、エッジ装置2は、例えば、S13の処理で算出した遮蔽時間に基づいて、映像データの受信機1aにおける映像品質を示す第1情報と、送信機2aにおける無線品質を示す第2情報とから、映像データの制御に用いる制御情報を決定する(S14)。
【0063】
その後、エッジ装置2は、例えば、S14の処理で決定した制御情報を用いることによって、送信機2aから受信機1aに対する映像データの送信制御を行う(S15)。
【0064】
これにより、本実施の形態におけるエッジ装置2は、映像データの映像制御を無線伝送経路に位置する遮蔽物5の大きさ等に応じて行うことが可能になる。そのため、エッジ装置2は、無線品質の品質劣化を効率的に抑制することが可能になる。
【0065】
[第1の実施の形態の詳細]
次に、第1の実施の形態の詳細について説明を行う。
図12から
図15は、第1の実施の形態における映像制御処理の詳細を説明するフローチャート図である。以下、情報処理装置1及びエッジ装置2において行われる映像制御処理の詳細について説明を行う。
【0066】
[映像制御処理のメイン処理]
初めに、映像制御処理のメイン処理について説明を行う。
図12及び
図13は、第1の実施の形態における映像制御処理のメイン処理について説明するフローチャート図である。
【0067】
エッジ装置2の映像受信部211は、
図12に示すように、例えば、カメラ2bが撮像した映像データ(映像データを構成するフレーム)を受信するまで待機する(S21のNO)。
【0068】
そして、カメラ2bが撮像した映像データを受信した場合(S21のYES)、エッジ装置2の特徴検出部212は、例えば、S11の処理で受信した映像データから、送信機2aと情報処理装置1の受信機1aとの間における無線伝送経路を遮蔽する遮蔽物5の特徴を検出する(S22)。
【0069】
具体的に、特徴検出部212は、例えば、各物体が映る画像データと各物体の特徴(位置や大きさ)とを含む訓練データを学習した学習モデルを用いることによって遮蔽物5の特徴の検出を行う。また、特徴検出部212は、例えば、映像データの圧縮時における差分ピクセルの抽出結果を用いることによって特徴の検出を行う。
【0070】
続いて、特徴検出部212は、例えば、S22の処理において特徴を検出した遮蔽物5が無線伝送経路を長時間遮断する物体であるか否かを判定する(S23)。
【0071】
具体的に、特徴検出部212は、例えば、S22の処理において遮蔽物5を検出した物体の大きさが所定サイズ以上であるか否かについて判定を行う。
【0072】
その結果、S22の処理において特徴を検出した遮蔽物5が無線伝送経路を長時間遮断する遮蔽物5であると判定した場合(S24のYES)、特徴検出部212は、例えば、S22の処理において特徴を検出した遮蔽物5が第一フレネルゾーン内に位置しているか否かを判定する(S25)。第一フレネルゾーンは、送信機2aと受信機1aとの最短距離から求まる楕円体の領域である。
【0073】
そして、S22の処理において特徴を検出した遮蔽物5が第一フレネルゾーン内に位置していると判定した場合(S26のYES)、時間算出部213は、S22の処理において特徴を検出した遮蔽物5による送信機2aと受信機1aとの間に位置する第一フレネルゾーンの通過距離(以下、単に物体の通過距離とも呼ぶ)と、S22の処理において特徴を検出した遮蔽物5の長さと、S22の処理において特徴を検出した遮蔽物5の移動速度とから遮蔽時間を算出する(S27)。
【0074】
具体的に、時間算出部213は、物体の通過距離と物体の長さとの和を物体の移動速度で除算することによって遮蔽時間を算出する。さらに具体的に、例えば、物体の通過距離が1.2(m)であり、物体の長さが2.0(m)であり、物体の移動速度が2.0(km/h)である場合、時間算出部213は、遮蔽時間として5.8(s)を算出する。
【0075】
一方、S22の処理において特徴を検出した遮蔽物5が無線伝送経路を長時間遮断する遮蔽物5でないと判定した場合(S24のNO)、または、S22の処理において特徴を検出した物体が第一フレネルゾーン内に位置していないと判定した場合(S26のNO)、時間算出部213は、
図13に示すように、送信機2aと受信機1aとの間の領域におけるフェージング周波数を用いることによって遮蔽時間を算出する(S31)。
【0076】
フェージング周波数は、例えば、送信機2aが移動する場合、受信機1a及び遮蔽物5に対する送信機2aの相対的な移動によって、電波強度(受信機1aが送信機2aから受信する無線信号の受信強度)が受信機1a側における映像品質に影響を及ぼすほど変化する頻度である。また、フェージング周波数は、例えば、遮蔽物5が移動する場合、送信機2a及び受信機1aに対する遮蔽物5の相対的な移動によって、電波強度が受信機1a側における映像品質に影響を及ぼすほど変化する頻度である。
【0077】
具体的に、フェージング周波数は、以下の式(1)によって算出される。以下の式(1)において、fdは、フェージング周波数を示し、vは、移動物(例えば、送信機2aや遮蔽物5)の移動速度を示し、cは、光速を示し、fcは、無線信号の周波数を示している。
【0078】
fd=(v/c)fc ・・・式(1)
さらに具体的に、例えば、受信機1a及び遮蔽物5が移動していない状況下において、送信機2aが4(km/h)で移動しており、かつ、送信機2aと受信機1aとの間においてWiFi(5.2(GHz)、W52)を用いた無線通信が行われている場合、時間算出部213は、上記の式(1)に従って、フェージング周波数として19(Hz)を算出する。
【0079】
そして、時間算出部213は、この場合、フェージング周波数の逆数である0.05(s)を算出する。
【0080】
また、例えば、受信機1a及び送信機2aが移動していない状況下において、遮蔽物5が2(km/h)で移動しており、かつ、送信機2aと受信機1aとの間においてWiFi(5.2(GHz)、W52)を用いた無線通信が行われている場合、時間算出部213は、フェージング周波数として10(Hz)を算出する。
【0081】
そして、時間算出部213は、この場合、フェージング周波数の逆数である0.1(s)を算出する。
【0082】
その後、制御決定部214は、S27またはS31の処理で算出した遮蔽時間が所定の閾値よりも長い時間であるか否かを判定する(S32)。所定の閾値は、例えば、送信機2aと受信機1aとの間において行われる無線通信のフィードバック制御に要する時間であってよい。
【0083】
その結果、S27またはS31の処理で算出した遮蔽時間が所定の閾値よりも長い時間であると判定した場合(S33のYES)、制御決定部214は、映像品質を対応する第1情報を制御情報として決定する(S34)。
【0084】
一方、S27またはS31の処理で算出した遮蔽時間が所定の閾値よりも長い時間でないと判定した場合(S33のNO)、制御決定部114は、無線品質を対応する第2情報を制御情報として決定する(S35)。
【0085】
[映像送信処理]
次に、映像制御処理のうち、映像データの送信を行う処理(以下、映像送信処理とも呼ぶ)について説明を行う。
図14及び
図15は、第1の実施の形態における映像送信処理について説明するフローチャート図である。
【0086】
初めに、エッジ装置2における映像送信処理について説明を行う。
【0087】
映像受信部211は、
図14に示すように、例えば、カメラ2bが撮像した映像データを受信するまで待機する(S41のNO)。
【0088】
そして、カメラ2bが撮像した映像データを受信した場合(S41のYES)、エッジ装置2の映像制御部215は、決定済の制御情報(直前に行われたS34またはS35の処理で決定された制御情報)が第1情報を示しているか否かを判定する(S42)。
【0089】
その結果、制御情報が第1情報を示していると判定した場合(S43のYES)、映像制御部215は、第1情報を用いた映像制御を行う(S44)。すなわち、映像制御部215は、この場合、情報処理装置1から送信された最新の第1情報を用いることによってフィードバック制御を行う。そして、映像送信部216は、S41の処理で受信した映像データを情報処理装置1に送信する(S46)。
【0090】
一方、制御情報が第2情報を示していると判定した場合(S43のNO)、映像制御部215は、第2情報を用いた映像制御を行う(S45)。すなわち、映像制御部215は、この場合、送信機2aから送信された最新の第2情報を用いることによってフィードフォワード制御を行う。そして、映像送信部216は、S41の処理で受信した映像データを情報処理装置1に送信する(S47)。
【0091】
次に、情報処理装置1における映像送信処理について説明を行う。
【0092】
情報処理装置1の映像受信部111は、
図15に示すように、エッジ装置2から送信された映像データを受信機1aが受信するまで待機する(S51のNO)。
【0093】
そして、受信機1aが映像データを受信した場合(S51のYES)、情報処理装置1の映像解析部115は、例えば、S51の処理で映像受信部111が受信した映像データの解析を行う。
【0094】
具体的に、映像解析部115は、例えば、受信機1aが受信した映像データを学習済の機械学習モデルに対して入力することによって、映像データに所定の異常が映っているか否かの判定を行う。
【0095】
その後、情報処理装置1の映像出力部116は、例えば、S52の処理における解析結果を管理者の操作端末に表示する(S53)。
【0096】
このように、本実施の形態におけるエッジ装置2は、例えば、カメラ2bによって撮像された映像データから、映像データの無線伝送経路(送信機2aと受信機1aとの間の無線伝送経路)を遮蔽する遮蔽物5の特徴を検出する。そして、エッジ装置2は、検出した特徴から遮蔽物5による無線伝送経路の遮蔽時間を算出する。
【0097】
その後、エッジ装置2は、算出した遮蔽時間に基づいて、映像データの受信機1aにおける映像品質情報(第1情報)と、映像データの送信機2aにおける無線品質情報(第2情報)とから、映像データの制御に用いる制御情報を決定する。そして、エッジ装置2は、決定した制御情報を用いて、送信先に対する映像データの送信を制御する。
【0098】
すなわち、本実施の形態におけるエッジ装置2は、遮蔽物5の特徴から算出した遮蔽物5による無線伝送経路の遮蔽時間に応じて、映像データの映像制御に用いる制御情報の使い分けを行う。
【0099】
これにより、本実施の形態におけるエッジ装置2は、映像データの映像制御を無線伝送経路に位置する遮蔽物5の大きさ等に応じて行うことが可能になる。そのため、エッジ装置2は、無線品質の品質劣化を抑制することが可能になる。
【0100】
なお、上記の例では、情報処理装置1(受信機1a)から送信される映像品質情報が受信fpsを含む情報であり、エッジ装置2(送信機2a)において送信fpsの調整が行われる場合について説明を行ったが、これに限られるものではない。具体的に、無線品質情報は、例えば、映像解析部115が用いる学習モデルの認識率を含む情報であり、エッジ装置2において映像データの圧縮率の調整が行われるものであってもよい。
【0101】
また、時間算出部213は、S31の処理において、無線のレイトレースシミュレータ等を用いることによって遮蔽時間の算出を行うものであってもよい。具体的に、時間算出部213は、この場合、送信機2a及び受信機1aのアンテナの位置と遮蔽物5の特徴(位置、大きさ及び移動速度等)とを入力とすることによって、遮蔽時間の算出を行うものであってよい。
【0102】
また、時間算出部213は、S31の処理において、送信機2a及び受信機1aのアンテナの位置と遮蔽物5の特徴と無線通信の品質劣化のタイミングとを含む訓練データを学習した学習モデルを用いることによって、遮蔽時間の算出を行うものであってよい。
【0103】
[第2の実施の形態]
次に、第2の実施の形態について説明を行う。
【0104】
第2の実施の形態における映像制御処理では、第1の実施の形態における映像制御処理と異なり、映像データの映像制御に用いる制御情報の決定を情報処理装置1において行う。
【0105】
[情報処理システムの機能]
初めに、情報処理システム10の機能について説明を行う。
図16は、エッジ装置2の機能のブロック図である。また、
図17は、情報処理装置1の機能のブロック図である。なお、以下、第1の実施の形態と異なる点について説明を行う。
【0106】
エッジ装置2は、
図16に示すように、例えば、CPU201やメモリ202等のハードウエアとプログラム210とが有機的に協働することにより、映像受信部211と、映像制御部215と、映像送信部216とを含む各種機能を実現する。
【0107】
また、情報処理装置1は、
図17に示すように、例えば、CPU101やメモリ102等のハードウエアとプログラム110とが有機的に協働することにより、映像受信部111と、特徴検出部112と、時間算出部113と、制御決定部114と、映像解析部115と、映像出力部116とを含む各種機能を実現する。特徴検出部112、時間算出部113及び制御決定部114は、第1の実施の形態における特徴検出部212、時間算出部213及び制御決定部214と同じ機能である。
【0108】
すなわち、第2の実施の形態では、第1の実施の形態と異なり、特徴検出部112、時間算出部113及び制御決定部114が情報処理装置1において実現される。
【0109】
[映像制御処理のメイン処理]
次に、第2の実施の形態における映像制御処理を説明するフローチャートについて説明を行う。
図18及び
図19は、第2の実施の形態における映像制御処理を説明するフローチャート図である。
【0110】
[映像制御処理のメイン処理]
情報処理装置1の映像受信部111は、
図18に示すように、例えば、受信機1aがエッジ装置2から送信された映像データを受信するまで待機する(S111のNO)。すなわち、映像受信部111は、エッジ装置2のカメラ2bによって撮像された映像データを受信するまで待機する。
【0111】
そして、受信機1aが映像データを受信した場合(S21のYES)、情報処理装置1の特徴検出部112は、例えば、S111の処理で受信した映像データから、エッジ装置2の送信機2aと受信機1aとの間における無線伝送経路を遮蔽する遮蔽物5の特徴を検出する(S112)。
【0112】
続いて、特徴検出部112は、例えば、S112の処理において特徴を検出した遮蔽物5が無線伝送経路を長時間遮断する遮蔽物5であるか否かを判定する(S113)。
【0113】
具体的に、特徴検出部212は、例えば、S112の処理において特徴を検出した遮蔽物5の大きさが所定サイズ以上であるか否かについて判定を行う。
【0114】
その結果、S112の処理において特徴を検出した遮蔽物5が無線伝送経路を長時間遮断する遮蔽物5であると判定した場合(S114のYES)、特徴検出部112は、例えば、S112の処理において特徴を検出した遮蔽物5が第一フレネルゾーン内に位置しているか否かを判定する(S115)。
【0115】
そして、S112の処理において特徴を検出した遮蔽物5が第一フレネルゾーン内に位置していると判定した場合(S116のYES)、時間算出部113は、S122の処理において特徴を検出した遮蔽物5による送信機2aと受信機1aとの間に位置する第一フレネルゾーンの通過距離と、S112の処理において特徴を検出した遮蔽物5の長さと、S112の処理において特徴を検出した遮蔽物5の移動速度とから遮蔽時間を算出する(S117)。
【0116】
一方、S112の処理において特徴を検出した遮蔽物5が第一フレネルゾーン内に位置していないと判定した場合(S116のNO)、時間算出部213は、
図19に示すように、送信機2aと受信機1aとの間におけるフェージング周波数を用いることによって遮蔽時間を算出する(S121)。
【0117】
その後、制御決定部214は、S117またはS121の処理で算出した遮蔽時間が所定の閾値よりも長い時間であるか否かを判定する(S122)。
【0118】
その結果、S117またはS121の処理で算出した遮蔽時間が所定の閾値よりも長い時間であると判定した場合(S123のYES)、制御決定部214は、映像品質を対応する第1情報を制御情報として決定する(S124)。
【0119】
一方、S17またはS121の処理で算出した遮蔽時間が所定の閾値よりも長い時間でないと判定した場合(S123のNO)、制御決定部114は、無線品質を対応する第2情報を制御情報として設定する(S125)。
【0120】
そして、制御決定部114は、例えば、S124またはS125の処理の後、S124またはS125の処理で決定した制御情報をエッジ装置2に送信する。
【0121】
その後、エッジ装置2は、情報処理装置1から送信された制御情報を用いることによって映像送信処理を行う。
【0122】
以上の実施の形態をまとめると、以下の付記のとおりである。
【0123】
(付記1)
撮像装置によって撮像された映像データから、前記映像データの無線伝送経路を遮蔽する遮蔽物の特徴を検出し、
検出した前記特徴から前記遮蔽物による前記無線伝送経路の遮蔽時間を算出し、
算出した前記遮蔽時間に基づいて、前記映像データの送信先における映像品質を示す第1情報と前記映像データの送信元における無線品質を示す第2情報とから、前記映像データの制御に用いる制御情報を決定し、
決定した前記制御情報を用いて、前記送信先に対する前記映像データの送信を制御する、
処理をコンピュータに実行させることを特徴とする映像制御プログラム。
【0124】
(付記2)
付記1において、
前記第1情報は、前記映像データの送信先から取得される情報である、
ことを特徴とする映像制御プログラム。
【0125】
(付記3)
付記1において、
前記第2情報は、前記映像データの送信元における送信機から取得される情報である、
ことを特徴とする映像制御プログラム。
【0126】
(付記4)
付記1において、
前記決定する処理では、前記遮蔽時間が所定閾値よりも長い場合、前記第1情報を前記制御情報として決定し、前記遮蔽時間が前記所定閾値よりも短い場合、前記第2情報を前記制御情報として決定する、
ことを特徴とする映像制御プログラム。
【0127】
(付記5)
付記4において、
前記所定閾値は、前記映像データの送信元と送信先との間において行われる無線通信のフィードバック制御に要する時間である、
ことを特徴とする映像制御プログラム。
【0128】
(付記6)
付記1において、
前記算出する処理では、前記遮蔽物が所定以上の大きさであり、かつ、前記遮蔽物が第一フレネルゾーンに位置している場合、前記遮蔽物による前記第一フレネルゾーンの通過時間を前記遮蔽時間として算出する、
ことを特徴とする映像制御プログラム。
【0129】
(付記7)
付記1において、
前記算出する処理では、前記遮蔽物が所定未満の大きさである場合、または、前記遮蔽物が第一フレネルゾーンに位置していない場合、前記無線伝送経路におけるフェージング周波数の逆数を前記遮蔽時間として算出する、
ことを特徴とする映像制御プログラム。
【0130】
(付記8)
撮像装置によって撮像された映像データから、前記映像データの無線伝送経路を遮蔽する遮蔽物の特徴を検出する特徴検出部と、
検出した前記特徴から前記遮蔽物による前記無線伝送経路の遮蔽時間を算出する時間算出部と、
算出した前記遮蔽時間に基づいて、前記映像データの送信先における映像品質を示す第1情報と前記映像データの送信元における無線品質を示す第2情報とから、前記映像データの制御に用いる制御情報を決定する制御決定部と、
決定した前記制御情報を用いて、前記送信先に対する前記映像データの送信を制御する映像制御部と、を有する、
ことを特徴とする情報処理装置。
【0131】
(付記9)
付記8において、
前記制御決定部は、前記遮蔽時間が所定閾値よりも長い場合、前記第1情報を前記制御情報として決定し、前記遮蔽時間が前記所定閾値よりも短い場合、前記第2情報を前記制御情報として決定する、
ことを特徴とする情報処理装置。
【0132】
(付記10)
撮像装置によって撮像された映像データから、前記映像データの無線伝送経路を遮蔽する遮蔽物の特徴を検出し、
検出した前記特徴から前記遮蔽物による前記無線伝送経路の遮蔽時間を算出し、
算出した前記遮蔽時間に基づいて、前記映像データの送信先における映像品質を示す第1情報と前記映像データの送信元における無線品質を示す第2情報とから、前記映像データの制御に用いる制御情報を決定し、
決定した前記制御情報を用いて、前記送信先に対する前記映像データの送信を制御する、
処理をコンピュータに実行させることを特徴とする映像制御方法。
【0133】
(付記11)
付記10において、
前記決定する処理では、前記遮蔽時間が所定閾値よりも長い場合、前記第1情報を前記制御情報として決定し、前記遮蔽時間が前記所定閾値よりも短い場合、前記第2情報を前記制御情報として決定する、
ことを特徴とする映像制御方法。
【符号の説明】
【0134】
1:情報処理装置 2:エッジ装置
2a:送信機 2b:カメラ
3:エッジ装置 3a:送信機
3b:カメラ 4:エッジ装置
4a:送信機 4b:カメラ
5:遮蔽物 10:情報処理システム