特開 2023-37421 情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023037421

(43)【公開日】2023-03-15

(54)【発明の名称】情報処理方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230308BHJP

   H04N 21/2343 20110101ALI20230308BHJP

   H04N 21/4402 20110101ALI20230308BHJP

【ＦＩ】

H04N7/18 V

H04N21/2343

H04N21/4402

H04N7/18 A

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2021144172

(22)【出願日】2021-09-03

(71)【出願人】

【識別番号】512147211

【氏名又は名称】株式会社リアルグローブ

(74)【代理人】

【識別番号】100104765

【弁理士】

【氏名又は名称】江上 達夫

(72)【発明者】

【氏名】大畑 貴弘

【テーマコード（参考）】

5C054

5C164

【Ｆターム（参考）】

5C054DA09

5C054EA03

5C054EA05

5C054EA07

5C054FD00

5C054FE18

5C164FA07

5C164GA03

5C164PA31

5C164SB02P

5C164UB02P

(57)【要約】      （修正有）

【課題】複数の画像を効率的に送信する情報処理方法を提供する。
【解決手段】情報処理方法は、映像共有システム２において、管理装置１０、１０´が、センサ群３０、３０’の複数のセンサ３１、３２、３３に夫々対応するとともに、複数のセンサ各々の検出結果を反映する複数の画像を繋ぎ合わせて合成画像を生成する生成工程と、管理装置が、合成画像を、他の装置（端末装置２０、クラウドサーバ５０）に対して送信する送信工程と、他の装置が、合成画像を、複数の画像に夫々対応する複数の分割画像に分割する分割工程と、他の装置が、複数の分割画像各々の合成画像における位置に基づいて、複数の分割画像と複数のセンサとを夫々対応付ける対応付け工程と、を含む。ここで、複数のセンサのうち一のセンサの検出結果を反映する、複数の画像のうち一の画像の合成画像における位置は予め定められている。
【選択図】図８

【特許請求の範囲】

【請求項1】

一の装置が、複数のセンサに夫々対応するとともに、前記複数のセンサ各々の検出結果を反映する複数の画像を繋ぎ合わせて合成画像を生成する生成工程と、
前記一の装置が、前記合成画像を、他の装置に対して送信する送信工程と、
前記他の装置が、前記合成画像を、前記複数の画像に夫々対応する複数の分割画像に分割する分割工程と、
前記他の装置が、前記複数の分割画像各々の前記合成画像における位置に基づいて、前記複数の分割画像と前記複数のセンサとを夫々対応付ける対応付け工程と、
を含み、
前記複数のセンサのうち一のセンサの検出結果を反映する、前記複数の画像のうち一の画像の前記合成画像における位置は予め定められている
ことを特徴とする情報処理方法。

【請求項2】

前記複数のセンサ各々は、その位置が固定されたセンサであることを特徴とする請求項１に記載の情報処理方法。

【請求項3】

前記対応付け工程において、前記他の装置は、前記複数の分割画像各々を、前記複数のセンサのうち対応するセンサの地図上の位置と対応付けることを特徴とする請求項１又は２に記載の情報処理方法。

【請求項4】

前記複数のセンサは、カメラを含んでいることを特徴とする請求項１乃至３のいずれか一項に記載の情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理方法の技術分野に関する。

【背景技術】

【0002】

この種の方法として、例えば、中継装置が、複数のネットワークカメラにより夫々撮像された複数の画像データを順次格納し、中継装置が、該格納された複数の画像データをクライアントに送信する方法が提案されている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８－０５４０６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述した画像データの送信方法には改善の余地がある。

【0005】

本発明は、上記事情に鑑みてなされたものであり、複数の画像を効率的に送信することができる情報処理方法を提供することを課題とする。

【課題を解決するための手段】

【0006】

本発明の一態様に係る情報処理方法は、一の装置が、複数のセンサに夫々対応するとともに、前記複数のセンサ各々の検出結果を反映する複数の画像を繋ぎ合わせて合成画像を生成する生成工程と、前記一の装置が、前記合成画像を、他の装置に対して送信する送信工程と、前記他の装置が、前記合成画像を、前記複数の画像に夫々対応する複数の分割画像に分割する分割工程と、前記他の装置が、前記複数の分割画像各々の前記合成画像における位置に基づいて、前記複数の分割画像と前記複数のセンサとを夫々対応付ける対応付け工程と、を含み、前記複数のセンサのうち一のセンサの検出結果を反映する、前記複数の画像のうち一の画像の前記合成画像における位置は予め定められているというものである。

【0007】

本発明の作用及び他の利得は次に説明する実施するための形態から明らかにされる。

【図面の簡単な説明】

【0008】

【図1】実施例に係る映像共有システムの概念を示す図である。

【図2】実施例に係る管理装置の構成を示すブロック図である。

【図3】実施例に係る端末装置の構成を示すブロック図である。

【図4】画像合成の概念を示す図である。

【図5】画像位置とセンサ情報との関係を規定するテーブルの一例である。

【図6】画面表示の一例を示す図である。

【図7】実施例に係る映像共有システムの動作を示すフローチャートである。

【図8】実施例の変形例に係る映像共有システムの概念を示す図である。

【発明を実施するための形態】

【0009】

情報処理方法に係る実施形態を説明する。実施形態に係る情報処理方法は、生成工程、送信工程、分割工程及び対応付け工程を含む。

【0010】

生成工程では、一の装置が、複数のセンサに夫々対応するとともに、該複数のセンサ各々の検出結果を反映する複数の画像を繋ぎ合わせて合成画像を生成する。ここで、センサは、例えばカメラ、レーダセンサ、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）等、その検出結果を画像化可能なセンサである。尚、一の装置は、合成画像を生成する際に、複数の画像各々を拡大又は縮小して画像サイズを統一してよい。

【0011】

送信工程では、一の装置が、合成画像を他の装置に対して送信する。一の装置と他の装置とは、例えばインターネット等のネットワークを介して通信可能に構成されていてもよいし、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等により互いに無線接続されていてもよいし、例えばケーブル等により互いに有線接続されていてもよい。

【0012】

分割工程では、他の装置が、合成画像を、複数の画像（即ち、合成画像のもとになった複数の画像）に夫々対応する複数の分割画像に分割する。ここで「分割」は、例えば、合成画像から一の画像を分割画像として抽出することや、合成画像から一の画像を分割画像として切り出す（トリミングする）こと等も含む概念である。

【0013】

他の装置は、例えば、複数の画像の画像サイズが統一されている場合、合成画像を生成する際に、一の装置が何枚の画像を、どのように繋ぎ合わせるかを示す情報に基づいて、合成画像の分割位置を決定してよい。他の装置は、例えば、複数の画像各々の基準点（例えば画像左上の点）の合成画像における位置と、複数の画像各々の画像サイズとを示す情報に基づいて、合成画像の分割位置を決定してよい。このような情報は、合成画像とともに一の装置から他の装置に送信されてもよいし、一の装置と他の装置との間の決まり事として他の装置に予め格納されていてもよい。

【0014】

対応付け工程では、他の装置が、複数の分割画像各々の合成画像における位置に基づいて、複数の分割画像と複数のセンサとを夫々対応付ける。ここで、複数のセンサのうち一のセンサの検出結果を反映する、複数の画像のうち一の画像の合成画像における位置は予め定められている。つまり、複数の分割画像各々の合成画像における位置と複数のセンサとの対応関係は予め定められている。このため、他の装置は、複数の分割画像各々の合成画像における位置さえ特定できれば、複数の分割画像と複数のセンサとを夫々対応付けることができる。

【0015】

実施形態に係る情報処理装置では、複数の画像を合成した上で、一の装置から他の装置に送信するので、複数の画像が別々に送信される場合に比べて、効率的に送信することができる。

【0016】

当該情報処理方法において、複数のセンサ各々は、その位置が固定されたセンサであってよい。この態様では、複数のセンサ各々の位置は既知であるので、例えば複数のセンサ各々と一の装置との間や、一の装置と他の装置との間、等で、複数のセンサ各々の位置を示す位置情報のやり取りが不要となる。

【0017】

ここで、装置間で位置情報をやり取りするためには、位置情報をやり取りする装置同士の方式（例えばＡＰＩやＳＤＫ等）を一致させる必要がある。当該態様では、位置情報のやり取りが不要であるので、例えば上記方式が異なる装置同士であっても、合成画像の送受信が可能となる。

【0018】

当該情報処理方法では、対応付け工程において、他の装置は、複数の分割画像各々を、複数のセンサのうち対応するセンサの地図上の位置と対応付けてよい。この態様では、例えば、地図上のセンサの位置と該センサに対応する分割画像とを、ユーザに提示することができる。

【0019】

＜実施例＞
情報処理方法に係る実施例について図１乃至図７を参照して説明する。ここでは、実施例に係る情報処理方法の一例として、映像共有システム１における情報処理方法について説明する。

【0020】

映像共有システム１は、管理装置１０と、端末装置２０と、センサ３１、３２及び３３を含むセンサ群３０とを備えて構成されている。管理装置１０と端末装置２０とは、ネットワーク４０を介して互いに通信可能に構成されている。

【0021】

図２において、管理装置１０は、通信部１１、記憶部１２及び生成部１３を有する。図３において、端末装置２０は、通信部２１、記憶部２２、処理部２３及び表示制御部２４を有する。尚、管理装置１０は、上述した「一の装置」の一例に相当し、端末装置２０は、上述した「他の装置」の一例に相当する。

【0022】

管理装置１０は、１台のコンピュータにより構成されていてもよいし、複数台のコンピュータにより構成されていてもよいし、クラウドサーバにより実現されていてもよい。端末装置２０は、例えばパーソナルコンピュータ、スマートフォン、タブレット端末等であってよい。

【0023】

図１に戻り、センサ群３０に含まれる各センサ（例えばセンサ３１、３２、３３等）は、その検出結果を画像データとして出力可能に構成されている。センサ群３０に含まれる各センサは、その設置位置が固定されているものとする。ただし、センサ群３０に含まれる各センサは、その向き（例えば光軸方向）が変更可能に構成されていてよい。

【0024】

ここでは、センサ群３０に含まれる各センサは、比較的狭い範囲（例えば建屋内、１つの敷地又は領域内等）に設置されているものとする。センサ群３０に含まれる各センサは、例えば無線通信や通信ケーブル等を介して、管理装置１０に画像データを送信する。尚、センサ群３０に含まれる各センサは、比較的広い範囲に分散して設置されていてもよい。この場合、センサ群３０に含まれる各センサは、例えばインターネット等の広域ネットワークを介して、管理装置１０に画像データを送信してよい。

【0025】

管理装置１０は、センサ群３０に含まれる各センサから送信された画像データを、通信部１１を介して取得する。管理装置１０は、取得された画像データを、記憶部１２に格納してよい。管理装置１０の生成部１３は、センサ群３０の複数のセンサに夫々対応する複数の画像データを繋ぎ合わせて合成画像１００を生成する（図４参照）。

【0026】

生成部１３は、例えば、センサ群３０の複数のセンサの同時刻の検出結果を反映する複数の画像データを繋ぎ合わせて合成画像１００を生成する。図４に示す例では、生成部１３は、９枚分の画像データを繋ぎ合わせて１枚の合成画像１００を生成する。尚、「同時刻」は、完全に同一な時刻に限らず、ある時刻の前後の微小期間を含む（即ち、実践上同一な時刻とみなせる範囲を含む）概念である。また、画像データの繋ぎ合わせ方は、任意であり、図４に示す態様に限定されない。

【0027】

センサ群３０の複数のセンサに夫々対応する複数の画像データ各々の合成画像１００における位置は、予め定められている。例えば、センサ３１（図１参照）に対応する画像データの合成画像１００における位置は、図４の位置（ｉ）であり、センサ３２（図１参照）に対応する画像データの合成画像１００における位置は、図４の位置（ｉｉ）であり、センサ３３（図１参照）に対応する画像データの合成画像１００における位置は、図４の位置（ｉｉｉ）である。

【0028】

管理装置１０は、合成画像１００を、通信部１１及びネットワーク４０を介して、端末装置２０に送信する。端末装置２０は、管理装置１０から送信された合成画像１００を、通信部２１を介して取得する。端末装置２０は、取得された合成画像１００を、記憶部２２に（一時的に）格納してよい。端末装置２０の処理部２３は、合成画像１００を、該合成画像１００のもとになった複数の画像データに夫々対応する複数の分割画像に分割する。

【0029】

端末装置２０の記憶部２２には、例えば図５に示すような、合成画像１００における位置（図５の“画像位置”参照）と、センサ情報（図５の“センサＩＤ”、“センサ位置”参照）との関係を規定するテーブルが予め格納されている。

【0030】

処理部２３は、複数の分割画像各々の合成画像１００における位置に基づいて、上記テーブルを参照して、複数の分割画像とセンサ群３０の複数のセンサとを夫々対応付ける。端末装置２０は、センサに対応付けられた分割画像を、記憶部２２に格納してよい。

【0031】

端末装置２０の表示制御部２４は、例えば図５に示すようなテーブルに含まれるセンサ位置を示す情報に基づいて、センサ群３０に含まれる少なくとも一部のセンサの位置を示すマーク（図６の黒丸参照）を地図上に表示する。このとき、端末装置２０のディスプレイ（図示せず）には、例えば地図を示す地図ウインドウＷ１が表示される（図６参照）。尚、地図ウインドウＷ１内の“Ｓ１”、“Ｓ２”、“Ｓ３”及び“Ｓ４”は、センサの識別情報の表示例である。

【0032】

端末装置２０のユーザが、例えば、マウス等の入力手段を操作して、地図ウインドウＷ１内の“Ｓ２”という識別情報が付された黒丸をカーソルＣで選択した場合、表示制御部２４は、“Ｓ２”という識別情報に係るセンサに対応付けられた分割画像を表示する。このとき、ディスプレイには、例えば分割画像を示す画像ウインドウＷ２が表示される（図６参照）。

【0033】

尚、地図や分割画像の表示態様は、図６に示す態様に限定されない。例えば地図上に、分割画像がオーバーレイ表示されてもよいし、地図の一部が分割画像に置き換えられてもよい（言い換えれば、地図ウインドウＷ１内に、地図と分割画像とが一緒に表示されてもよい）。

【0034】

次に、映像共有システム１の動作について図７のフローチャートを参照して説明を加える。図７において、管理装置１０の生成部１３は、センサ群３０の複数のセンサに夫々対応する複数の画像データを繋ぎ合わせて合成画像１００を生成する（ステップＳ１０１）。次に、管理装置１０は、生成された合成画像１００を、端末装置２０（即ち、他の装置）に送信する（ステップＳ１０２）。

【0035】

合成画像１００を受信した端末装置２０の処理部２３は、合成画像１００を、該合成画像１００のもとになった複数の画像データに夫々対応する複数の分割画像に分割する（ステップＳ１０３）。次に、端末装置２０の処理部２３は、複数の分割画像各々の合成画像１００における位置に基づいて、例えば図５に示すようなテーブルを参照して、複数の分割画像とセンサ群３０の複数のセンサとを夫々対応付ける（ステップＳ１０４）。

【0036】

＜変形例＞
上述した映像共有システムの変形例について図８を参照して説明する。図８において、映像共有システム２は、センサ群３０の管理装置１０とセンサ群３０´の管理装置１０´とを含む複数の管理装置と、端末装置２０と、クラウドサーバ５０とを備えて構成されている。

【0037】

管理装置１０は、センサ群３０の複数のセンサに夫々対応する複数の画像データを繋ぎ合わせて合成画像を生成する。管理装置１０は、該生成された合成画像をクラウドサーバ５０に送信する。同様に、管理装置１０´は、センサ群３０´の複数のセンサに夫々対応する複数の画像データを繋ぎ合わせて合成画像を生成する。管理装置１０´は、該生成された合成画像をクラウドサーバ５０に送信する。

【0038】

クラウドサーバ５０は、合成画像を、該合成画像のもとになった複数の画像データに夫々対応する複数の分割画像に分割する。クラウドサーバ５０は、複数の分割画像各々の合成画像における位置に基づいて、複数の分割画像とセンサ群の複数のセンサとを夫々対応付ける。クラウドサーバ５０は、例えば端末装置２０からの要求に応じて、複数の分割画像の少なくとも一部を端末装置２０に送信する。

【0039】

当該変形例においては、クラウドサーバ５０が、上述した「他の装置」の一例に相当する。

【0040】

本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う情報処理方法もまた本発明の技術的範囲に含まれるものである。

【符号の説明】

【0041】

１、２…映像共有システム、１０、１０´…管理装置、１１、２１…通信部、１２、２２…記憶部、１３…生成部、２０…端末装置、２３…処理部、２４…表示制御部、３０、３０´…センサ群、３１、３２、３３…センサ、４０…ネットワーク、５０…クラウドサーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】