特許 7559784 画像データの処理システム及び処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-24

(45)【発行日】2024-10-02

(54)【発明の名称】画像データの処理システム及び処理方法

(51)【国際特許分類】

   G09G 5/00 20060101AFI20240925BHJP

   B60R 11/02 20060101ALI20240925BHJP

   H04N 7/18 20060101ALI20240925BHJP

【ＦＩ】

G09G5/00 510A

G09G5/00 530H

G09G5/00 530M

G09G5/00 550C

G09G5/00 550X

B60R11/02 Z

H04N7/18 U

【請求項の数】 10

(21)【出願番号】P 2022021582

(22)【出願日】2022-02-15

(65)【公開番号】P2023118570

(43)【公開日】2023-08-25

【審査請求日】2023-08-03

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110003199

【氏名又は名称】弁理士法人高田・高橋国際特許事務所

(72)【発明者】

【氏名】渡辺 敏暢

(72)【発明者】

【氏名】須田 理央

【審査官】西島 篤宏

(56)【参考文献】

【文献】特開２０１１－００９８２３（ＪＰ，Ａ）

【文献】特開２０２０－０４７９７２（ＪＰ，Ａ）

【文献】特開２００９－１８８８００（ＪＰ，Ａ）

【文献】特開２００９－０９４８７９（ＪＰ，Ａ）

【文献】特開２０１８－１２１２６７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｇ ５／００ － ５／４２

Ｂ６０Ｒ １１／０２

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

ネットワークを介して第一端末から第二端末に送信された画像データが前記第二端末のディスプレイに表示される画像データ処理システムであって、
前記第一端末は、データ処理装置と、前記第二端末と通信を行う通信装置と、を備え、
前記第一端末のデータ処理装置は、メインカメラにより取得されて前記ディスプレイの親画面に表示するためのメイン画像データ、及び、サブカメラにより取得されて前記ディスプレイの子画面に表示するためのサブ画像データが格納されたメモリと、プロセッサと、を備え、
前記第二端末は、データ処理装置と、前記第一端末と通信を行う通信装置と、を備え、
前記第二端末のデータ処理装置は、前記第二端末の画面のレイアウトに関するデータが格納されたメモリと、プロセッサと、を備え、
前記第一端末のプロセッサが、
前記メイン及びサブ画像データと、前記第二端末から受信した前記レイアウトに関するデータと、に基づいて、前記メイン及びサブ画像データが合成された合成画像データを生成するデータ合成処理と、
前記合成画像データを前記第二端末に送信するデータ送信処理と、
を行い、
前記第二端末のプロセッサが、前記第一端末から受信した前記合成画像データを前記ディスプレイに表示する表示制御処理を行い、
前記第一端末のプロセッサが、更に、前記メイン画像データに基づいて、前記第一端末の周囲の物標を認識する物標認識処理を行い、
前記第一端末のプロセッサが、前記データ合成処理において、更に、
前記物標認識処理において認識された動的物標が、前記サブ画像データが結合される予定のメイン画像内の所定領域に位置しているか否かを判定し、
前記動的物標が前記所定領域に位置していると判定された場合、前記動的物標を可視化するためのデータ調整処理を行い、
前記第一端末のプロセッサが、前記データ調整処理において、前記所定領域の位置から前記動的物標が外れるまで前記所定領域のサイズの縮小を行う
ことを特徴とする画像データ処理システム。

【請求項2】

ネットワークを介して第一端末から第二端末に送信された画像データが前記第二端末のディスプレイに表示される画像データ処理システムであって、
前記第一端末は、データ処理装置と、前記第二端末と通信を行う通信装置と、を備え、
前記第一端末のデータ処理装置は、メインカメラにより取得されて前記ディスプレイの親画面に表示するためのメイン画像データ、及び、サブカメラにより取得されて前記ディスプレイの子画面に表示するためのサブ画像データが格納されたメモリと、プロセッサと、を備え、
前記第二端末は、データ処理装置と、前記第一端末と通信を行う通信装置と、を備え、
前記第二端末のデータ処理装置は、前記第二端末の画面のレイアウトに関するデータが格納されたメモリと、プロセッサと、を備え、
前記第一端末のプロセッサが、
前記メイン及びサブ画像データと、前記第二端末から受信した前記レイアウトに関するデータと、に基づいて、前記メイン及びサブ画像データが合成された合成画像データを生成するデータ合成処理と、
前記合成画像データを前記第二端末に送信するデータ送信処理と、
を行い、
前記第二端末のプロセッサが、前記第一端末から受信した前記合成画像データを前記ディスプレイに表示する表示制御処理を行い、
前記第一端末のプロセッサが、更に、前記メイン画像データに基づいて、前記第一端末の周囲の物標を認識する物標認識処理を行い、
前記第一端末のプロセッサが、前記データ合成処理において、更に、
前記物標認識処理において認識された動的物標が、前記サブ画像データが結合される予定のメイン画像内の所定領域に位置しているか否かを判定し、
前記動的物標が前記所定領域に位置していると判定された場合、前記動的物標を可視化するためのデータ調整処理を行い、
前記第一端末のプロセッサが、前記データ調整処理において、前記所定領域の位置から前記動的物標が外れるまで前記所定領域のサイズの縮小と前記所定領域の位置の変更を組み合わせて行う
ことを特徴とする画像データ処理システム。

【請求項3】

請求項１又は２に記載の画像データ処理システムであって、
前記第一端末のプロセッサは、前記データ調整処理において、前記所定領域の縮小後のサイズが閾値未満の場合、前記サブ画像データの前記所定領域への結合を中止する
ことを特徴とする画像データ処理システム。

【請求項4】

請求項１又は２に記載の画像データ処理システムであって、
前記第一端末は、前記第一端末の移動状況に関連付けて設定された付加画像データが格納されたデータメモリを更に備え、
前記第一端末のメモリには、更に、前記移動状況に関するデータが格納され、
前記第一端末のプロセッサは、更に、前記データ合成処理において、
前記移動状況に関するデータに基づいた前記データメモリの参照により、前記移動状況に対応する前記付加画像データを抽出し、
前記移動状況に対応する前記付加画像データを前記メイン画像データに重畳する
ことを特徴とする画像データ処理システム。

【請求項5】

請求項４に記載の画像データ処理システムであって、
前記第一端末のプロセッサは、前記データ合成処理において、前記サブ画像データが結合される予定のメイン画像内の所定領域以外の領域に、前記付加画像データを重畳する
ことを特徴とする画像データ処理システム。

【請求項6】

請求項１又は２に記載の画像データ処理システムであって、
前記第一端末は、前記メイン及びサブカメラが搭載された移動体の端末であり、
前記第二端末は、前記移動体の遠隔支援を行うための端末である
ことを特徴とする画像データ処理システム。

【請求項7】

ネットワークを介して第一端末から第二端末に送信された画像データを前記第二端末のディスプレイに表示する画像データ処理方法であって、
メインカメラにより取得されて前記ディスプレイの親画面に表示するためのメイン画像データ、及び、サブカメラにより取得されて前記ディスプレイの子画面に表示するためのサブ画像データと、前記第二端末の画面のレイアウトに関するデータと、に基づいて、前記メイン及びサブ画像データが合成された合成画像データを前記第一端末が生成するステップと、
前記第一端末から前記第二端末に、前記合成画像データを送信するステップと、
前記第一端末から受信した前記合成画像データを前記第二端末が前記ディスプレイに表示するステップと、
前記メイン画像データに基づいて、前記第一端末の周囲の物標を前記第一端末が認識するステップと、
前記第一端末の周囲の物標を認識するステップにおいて認識された動的物標が、前記サブ画像データが結合される予定のメイン画像内の所定領域に位置しているか否かを前記第一端末が判定するステップと、
前記動的物標が前記所定領域に位置していると判定された場合、前記サブ画像データを前記所定領域に合成しないためのデータ調整を前記第一端末が行うステップと、
を含み、
前記データ調整が、前記所定領域の位置から前記動的物標が外れるまで前記所定領域のサイズの縮小を行うことを含むことを特徴とする画像データ処理方法。

【請求項8】

ネットワークを介して第一端末から第二端末に送信された画像データを前記第二端末のディスプレイに表示する画像データ処理方法であって、
メインカメラにより取得されて前記ディスプレイの親画面に表示するためのメイン画像データ、及び、サブカメラにより取得されて前記ディスプレイの子画面に表示するためのサブ画像データと、前記第二端末の画面のレイアウトに関するデータと、に基づいて、前記メイン及びサブ画像データが合成された合成画像データを前記第一端末が生成するステップと、
前記第一端末から前記第二端末に、前記合成画像データを送信するステップと、
前記第一端末から受信した前記合成画像データを前記第二端末が前記ディスプレイに表示するステップと、
前記メイン画像データに基づいて、前記第一端末の周囲の物標を前記第一端末が認識するステップと、
前記第一端末の周囲の物標を認識するステップにおいて認識された動的物標が、前記サブ画像データが結合される予定のメイン画像内の所定領域に位置しているか否かを前記第一端末が判定するステップと、
前記動的物標が前記所定領域に位置していると判定された場合、前記サブ画像データを前記所定領域に合成しないためのデータ調整を前記第一端末が行うステップと、
を含み、
前記データ調整が、前記所定領域の位置から前記動的物標が外れるまで前記所定領域のサイズの縮小と前記所定領域の位置の変更を組み合わせて行うことを含む
ことを特徴とする画像データ処理方法。

【請求項9】

請求項７又は８に記載の画像データ処理方法であって、
前記データ調整が、前記所定領域の縮小後のサイズが閾値未満の場合、前記サブ画像データの前記所定領域への結合を中止することを含む
ことを特徴とする画像データ処理方法。

【請求項10】

請求項７又は８に記載の画像データ処理方法であって、
前記第一端末は、前記メイン及びサブカメラが搭載された移動体の端末であり、
前記第二端末は、前記移動体の遠隔支援を行うための端末である
ことを特徴とする画像データ処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、第一端末から第二端末に送信される画像データを処理するシステム及び方法に関する。

【背景技術】

【0002】

特開２０１４－１５０２９９号公報は、ネットワークを介して第一端末から第二端末に送信された２種類の画像データが、第二端末のディスプレイの親画面及び子画面にそれぞれ表示されるシステムを開示する。この従来のシステムにおいて、第二端末から第一端末には、親画面における子画面の位置情報が送信される。第一端末は、この位置情報に基づいて、親画面用の画像内の特定の領域を単一色に塗り潰す画像処理を行う。そして、第一端末は、子画面用の画像データと、画像処理された親画面用の画像データのデータセットを、第二端末に送信する。第二端末は、このデータセットを用いてピクチャーインピクチャー処理（ＰｉＰ処理）を行い、特定の領域に子画面用の画像を重畳する。第二端末のディスプレイには、ＰｉＰ処理された画像データが表示される。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－１５０２９９号公報

【文献】特開２０１０－０２５７９７号公報

【文献】特開２００７－０３１１０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記従来のシステムによれば、第一端末での画像処理において親画面用の画像内の特定の領域が塗り潰される。そのため、親画面用と子画面用の２種類の画像データがそのまま送信される場合に比べて、送信されるデータ量を削減することができる。しかしながら、２種類の画像データが送信されているので、一方の画像データのデータ量が大きくなれば、規定のフレームレートで送信することが困難になる。従って、親画面用と子画面用の画像データを第二端末のディスプレイに表示する場合において、第一端末から第二端末に送信されるデータ量を更に削減するための改良が望まれる。

【0005】

本開示の１つの目的は、親画面用と子画面用の画像データを第二端末のディスプレイに表示する場合において、第一端末から第二端末に送信されるデータ量を削減することのできる技術を提供することにある。

【課題を解決するための手段】

【0006】

本開示の第一の観点は、ネットワークを介して第一端末から第二端末に送信された画像データが前記第二端末のディスプレイに表示される画像データ処理システムであり、次の特徴を有する。
前記第一端末は、データ処理装置と、前記第二端末と通信を行う通信装置と、を備える。前記第一端末のデータ処理装置は、メインカメラにより取得されて前記ディスプレイの親画面に表示するためのメイン画像データ、及び、サブカメラにより取得されて前記ディスプレイの子画面に表示するためのサブ画像データが格納されたメモリと、プロセッサと、を備える。
前記第二端末は、データ処理装置と、前記第一端末と通信を行う通信装置と、を備える。前記第二端末のデータ処理装置は、前記第二端末の画面のレイアウトに関するデータが格納されたメモリと、プロセッサと、を備える。
前記第一端末のプロセッサは、
前記メイン及びサブ画像データと、前記第二端末から受信した前記レイアウトに関するデータと、に基づいて、前記メイン及びサブ画像データが合成された合成画像データを生成するデータ合成処理と、
前記合成画像データを前記第二端末に送信するデータ送信処理と、
を行う。
前記第二端末のプロセッサは、前記第一端末から受信した前記合成画像データを前記ディスプレイに表示する表示制御処理を行う。

【0007】

本開示の第二の観点は、第一の観点において更に次の特徴を有する。
前記第一端末のプロセッサは、更に、前記メイン画像データに基づいて、前記第一端末の周囲の物標を認識する物標認識処理を行う。
前記第一端末のプロセッサは、前記データ合成処理において、更に、
前記物標認識処理において認識された動的物標が、前記サブ画像データが結合される予定のメイン画像内の所定領域に位置しているか否かを判定し、
前記動的物標が前記所定領域に位置していると判定された場合、前記動的物標を可視化するためのデータ調整処理を行う。

【0008】

本開示の第三の観点は、第二の観点において更に次の特徴を有する。
前記データ調整処理は、前記サブ画像データの結合の中止、前記所定領域の位置の変更、及び、前記所定領域のサイズの縮小を含む。

【0009】

本開示の第四の観点は、第一～四の観点の何れか１つにおいて更に次の特徴を有する。
前記第一端末は、前記第一端末の移動状況に関連付けて設定された付加画像データが格納されたデータメモリを更に備える。
前記第一端末のメモリには、更に、前記移動状況に関するデータが格納される。
前記第一端末のプロセッサは、更に、前記データ合成処理において、
前記移動状況に関するデータに基づいた前記データメモリの参照により、前記移動状況に対応する前記付加画像データを抽出し、
前記移動状況に対応する前記付加画像データを前記メイン画像データに重畳する。

【0010】

本開示の第五の観点は、第四の観点において更に次の特徴を有する。
前記第一端末のプロセッサは、前記データ合成処理において、前記サブ画像データが結合される予定のメイン画像内の所定領域以外の領域に、前記付加画像データを重畳する。

【0011】

本開示の第六の観点は、第一～五の観点の何れか１つにおいて更に次の特徴を有する。
前記第一端末は、前記メイン及びサブカメラが搭載された移動体の端末である。
前記第二端末は、前記移動体の遠隔支援を行うための端末である。

【0012】

本開示の第七の観点は、ネットワークを介して第一端末から第二端末に送信された画像データを前記第二端末のディスプレイに表示する画像データ処理方法である。
前記画像データ処理方法は、
メインカメラにより取得されて前記ディスプレイの親画面に表示するためのメイン画像データ、及び、サブカメラにより取得されて前記ディスプレイの子画面に表示するためのサブ画像データと、前記第二端末の画面のレイアウトに関するデータと、に基づいて、前記メイン及びサブ画像データが合成された合成画像データを前記第一端末が生成するステップと、
前記第一端末から前記第二端末に、前記合成画像データを送信するステップと、
前記第一端末から受信した前記合成画像データを前記第二端末が前記ディスプレイに表示するステップと、
を備える。

【0013】

本開示の第八の観点は、第七の観点において更に次の特徴を有する。
前記画像データ処理方法は、更に、
前記メイン画像データに基づいて、前記第一端末の周囲の物標を前記第一端末が認識するステップと、
前記第一端末の周囲の物標を認識するステップにおいて認識された動的物標が、前記サブ画像データが結合される予定のメイン画像内の所定領域に位置しているか否かを前記第一端末が判定するステップと、
前記動的物標が前記所定領域に位置していると判定された場合、前記サブ画像データを前記所定領域に合成しないためのデータ調整を前記第一端末が行うステップと、
を備える。

【0014】

本開示の第九の観点は、第八の観点において更に次の特徴を有する。
前記データ調整処理は、前記サブ画像データの結合の中止、前記所定領域の位置の変更、及び、前記所定領域のサイズの縮小を含む。

【0015】

本開示の第十の観点は、第七～九の観点の何れか１つにおいて更に次の特徴を有する。
前記第一端末は、前記メイン及びサブカメラが搭載された移動体の端末である。
前記第二端末は、前記移動体の遠隔支援を行うための端末である。

【発明の効果】

【0016】

第一又は七の観点によれば、第一端末においてメイン画像データとサブ画像データを合成する処理（データ合成処理）と、合成画像データの第二端末への送信処理（データ送信処理）とが行われる。従って、メイン画像データとサブ画像データをそのまま第二端末に送信する場合に比べて、第一端末から第二端末に送信される画像データのデータ量を削減することが可能となる。

【0017】

第二又は八の観点によれば、メイン画像データに基づいて行われた物標認識処理において動的物標が認識された場合は、サブ画像データが結合される予定のメイン画像内の所定領域にこの動的物標が位置しているか否かが判定される。そして、動的物標が所定領域に位置していると判定された場合、動的物標を可視化するためのデータ調整処理が行われる。従って、メイン画像内の所定領域に動的物標が位置している場合に、この動的物標が合成画像上に現れなくなるという不具合を回避することが可能となる。

【0018】

第三又は九の観点によれば、サブ画像データのメイン画像データへの結合の中止、所定領域の位置の変更、及び、所定領域のサイズの縮小によって、動的物標が合成画像上に現れなくなるという不具合を回避することが可能となる。

【0019】

第四の観点によれば、データ合成処理において、第一端末の移動状況に関連付けて設定される付加画像データをメイン画像データに重畳することができる。従って、ディスプレイに拡張情報が表示される場合において、第一端末から第二端末に送信されるデータ量を削減することが可能となる。

【0020】

第五の観点によれば、データ合成処理において、サブ画像データが結合される予定のメイン画像内の所定領域以外の領域に、付加画像データを重畳することができる。従って、付加画像がメイン画像に重畳される場合において、付加画像によってサブ画像が現れなくなるという不具合を回避することが可能となる。

【0021】

第六又は十の観点によれば、第一及び二端末を用いて移動体の遠隔支援が行われる場合において、第一端末から第二端末に送信される画像データのデータ量を削減することが可能となる。

【図面の簡単な説明】

【0022】

【図1】本開示の第一実施形態において行われる画像データの処理例の概要を説明する図である。

【図2】第一実施形態の処理例と比較される従来の処理例を説明する図である。

【図3】第一実施形態における第一端末の構成例を示すブロック図である。

【図4】メインカメラとサブカメラの例を説明する図である。

【図5】第一実施形態における第二端末の構成例を示すブロック図である。

【図6】第一実施形態において、第一端末のデータ処理装置が行うデータ処理例の流れを示すフローチャートである。

【図7】第一実施形態において行われるデータ合成処理の一例を説明する図である。

【図8】第一実施形態において、第二端末のデータ処理装置が行うデータ処理例の流れを示すフローチャートである。

【図9】本開示の第二実施形態において行われる画像データの処理例の概要を説明する図である。

【図10】第二実施形態において、第一端末のデータ処理装置が行うデータ処理例の流れを示すフローチャートである。

【図11】本開示の第三実施形態において行われる画像データの処理例の概要を説明する図である。

【図12】第三実施形態における第一端末の構成例を示すブロック図である。

【図13】第三実施形態において行われるデータ合成処理の一例を説明する図である。

【図14】第二端末において表示制御処理が行われた場合にディスプレイに表示される合成画像データの表示例を示す図である。

【図15】第二端末において表示制御処理が行われた場合にディスプレイに表示される合成画像データの別の表示例を示す図である。

【発明を実施するための形態】

【0023】

以下、図面を参照しながら、本開示の実施形態に係る画像データの処理システム及び処理方法について説明する。尚、実施形態に係る処理方法は、実施形態に係る処理システムにおいて行われるコンピュータ処理により実現される。また、各図において、同一又は相当する部分には同一符号を付してその説明を簡略化し又は省略する。

【0024】

１．第一実施形態
図１～８を参照しながら、本開示の第一実施形態について説明する。

【0025】

１－１．第一実施形態の概要
図１は、第一実施形態において行われる画像データの処理例の概要を説明する図である。図２は、第一実施形態の処理例と比較される従来の処理例を説明する図である。

【0026】

図１には、第一端末１及び第二端末２が描かれている。第一端末１と第二端末２は、ネットワーク（不図示）を介して通信を行う。図１に示される例では、第一端末１から第二端末２に送信されるデータとして、合成画像データＩＭＧ＿Ｃが描かれている。合成画像データＩＭＧ＿Ｃは、同時刻に取得されたメイン画像データＩＭＧ＿Ｍとサブ画像データＩＭＧ＿Ｓを合成することにより得られる画像データである。メイン画像データＩＭＧ＿Ｍは、メインカメラにより取得された画像データである。サブ画像データＩＭＧ＿Ｓは、サブカメラにより取得された画像データである。メインカメラ及びサブカメラは、第一端末に搭載されていてもよいし、第一端末と通信可能な外部装置に搭載されていてもよい。

【0027】

第一端末１から第二端末２に送信された合成画像データＩＭＧ＿Ｃは、第二端末２のディスプレイ２１に表示される。ディスプレイ２１は、親画面（メインスクリーン）２１Ｍと子画面（サブスクリーン）２１Ｓに分割されている。図１に示される例において、子画面２１Ｓは、ディスプレイ２１の上方中央に位置する四角形領域である。子画面２１Ｓの表示領域には、合成画像データＩＭＧ＿Ｃのうちのサブ画像データＩＭＧ＿Ｓに相当する画像データが表示される。一方、親画面２１Ｍの表示領域には、合成画像データＩＭＧ＿Ｃのうちのメイン画像データＩＭＧ＿Ｍから、子画面２１Ｓの表示領域に相当する画像データが除かれた画像データが表示される。

【0028】

図１同様、図２には、ネットワークを介して通信を行う第一端末３及び第二端末４が描かれている。図２に示される従来の処理例では、第一端末３から第二端末４に送信されるデータとして、メイン画像データＩＭＧ＿Ｍ及びサブ画像データＩＭＧ＿Ｓが描かれている。つまり、この従来の処理例では、メイン画像データＩＭＧ＿Ｍ及びサブ画像データＩＭＧ＿Ｓがそのまま第二端末４に送信されている。

【0029】

従来の処理例では、メイン画像データＩＭＧ＿Ｍ及びサブ画像データＩＭＧ＿Ｓを受信した第二端末４が、合成画像データＩＭＧ＿Ｃの生成を行う。合成画像データＩＭＧ＿Ｃの生成は、例えば、ＰＩＰ処理により行われる。ＰＩＰ処理により生成された合成画像データＩＭＧ＿Ｃは、第二端末４のディスプレイ４１に表示される。ディスプレイ４１の子画面４１Ｓの表示領域には、サブ画像データＩＭＧ＿Ｓに相当する画像データが表示される。一方、親画面４１Ｍの表示領域には、メイン画像データＩＭＧ＿Ｍから、子画面４１Ｓの表示領域に相当する画像データが除かれた画像データが表示される。

【0030】

第一実施形態の処理例と従来のそれとの大きな違いは、合成画像データＩＭＧ＿Ｃの生成が行われる端末である。即ち、前者では送信側の端末（つまり、第一端末１）が合成画像データＩＭＧ＿Ｃを生成し、後者では受信側の端末（つまり、第二端末４）が合成画像データＩＭＧ＿Ｃを生成する。このような違いにより、前者では、第一端末１から第二端末２に送信されるデータ量を削減することが可能となる。

【0031】

以下、第一実施形態に係る処理システムについて説明する。

【0032】

１－２．処理システム
１－２－１．構成例
図３～５を参照しながら、第一実施形態に係る処理システムの構成例を説明する。図３は、第一実施形態における第一端末１の構成例を示すブロック図である。図３に示されるように、第一端末１は、メインカメラ１１と、サブカメラ１２と、通信装置１３と、データ処理装置１４と、を備えている。メインカメラ１１等の構成要素と、データ処理装置１４とは、所定のネットワークによって接続されている。

【0033】

メインカメラ１１は、メイン画像データＩＭＧ＿Ｍを取得するためのカメラである。サブカメラ１２は、サブ画像データＩＭＧ＿Ｓを取得するためのカメラである。メインカメラ１１は、取得したメイン画像データＩＭＧ＿Ｍをデータ処理装置１４に送信する。サブカメラ１２は、取得したサブ画像データＩＭＧ＿Ｓをデータ処理装置１４に送信する。

【0034】

メインカメラ１１とサブカメラ１２の数は特に限定されず、１台でもよいし、２台以上でもよい。図４は、メインカメラ１１とサブカメラ１２の例を説明する図である。図４に示される例では、メインカメラ１１Ａ～１１Ｃと、サブカメラ１２Ａ～１２Ｃとが移動体ＭＶに搭載されている。移動体ＭＶは、第一端末１と通信可能な外部装置の一例である。

【0035】

図４に破線で示される各領域は、これらのカメラが撮像するそれぞれの範囲に対応している。図４に示される例において、メインカメラ１１Ａは、移動体ＭＶの前方中央の画像を撮像する。メインカメラ１１Ｂは、移動体ＭＶの前方右の画像を撮像する。メインカメラ１１Ｃは、移動体ＭＶの前方左の画像を撮像する。サブカメラ１２Ａは、移動体ＭＶの後方の画像を撮像する。サブカメラ１２Ｂは、移動体ＭＶの右側方及び右後方の画像を撮像する。サブカメラ１２Ｃは、移動体ＭＶの左側方及び左後方の画像を撮像する。

【0036】

メインカメラ１１及びサブカメラ１２は、例えば、１台ずつ組み合わされる。図４に示される例では、メインカメラ１１Ａはサブカメラ１２Ａと組み合わされる。また、メインカメラ１１Ｂはサブカメラ１２Ｂと組み合わされ、メインカメラ１１Ｃはサブカメラ１２Ｃと組み合わされる。

【0037】

図３に戻り、処理システムの構成例の説明を続ける。通信装置１３は、ネットワーク上の基地局（不図示）との間で無線通信を行う。この無線通信の通信規格としては、４Ｇ、ＬＴＥ、または５Ｇ等の移動体通信の規格が例示される。通信装置１３の接続先には、第二端末２が少なくとも含まれる。第二端末２との通信において、通信装置１３は、少なくとも合成画像データＩＭＧ＿Ｃを第二端末２に送信する。通信装置１３は、第一端末１（又は移動体ＭＶ）のＩＤデータや現在位置データを第二端末２に送信してもよい。

【0038】

データ処理装置１４は、第一端末１が有する各種データや、第一端末１が取得した各種データに基づいたデータ処理を行うコンピュータである。データ処理装置１４は、少なくとも１つのプロセッサ１４ａと、少なくとも１つのメモリ１４ｂとを備えている。プロセッサ１４ａは、ＣＰＵ（Central Processing Unit）を含んでいる。メモリ１４ｂは、ＤＤＲメモリなどの揮発性のメモリであり、プロセッサ１４ａが使用する各種プログラムの展開及び各種データの一時保存を行う。この各種データには、メイン画像データＩＭＧ＿Ｍ、サブ画像データＩＭＧ＿Ｓ及び合成画像データＩＭＧ＿Ｃが含まれる。

【0039】

プロセッサ１４ａは、メモリ１４ｂに格納された所定のデータ処理用のプログラムを実行することにより、各種のデータ処理を行う。この各種のデータ処理には、合成画像データＩＭＧ＿Ｃを生成する「データ合成処理」と、通信装置１３を介して合成画像データＩＭＧ＿Ｃを第二端末２に送信する「データ送信処理」と、が含まれる。データ合成処理及びデータ送信処理の詳細については後述される。

【0040】

図５は、第一実施形態における第二端末２の構成例を示すブロック図である。図５に示されるように、第二端末２は、ディスプレイ２１と、入力装置２２と、通信装置２３と、データ処理装置２４と、を備えている。ディスプレイ２１等の構成要素と、データ処理装置２４とは、所定のネットワークによって接続されている。

【0041】

ディスプレイ２１は、第一端末１から受信した合成画像データＩＭＧ＿Ｃを表示する。第一端末１が図４に示した移動体ＭＶに搭載される端末の場合、第二端末２は、例えば移動体ＭＶの遠隔支援を行うための端末であり、ディスプレイ２１に表示される合成画像データＩＭＧ＿Ｃは、遠隔支援を行うオペレータにより監視される。

【0042】

ここで、オペレータによる遠隔支援としては、認識支援及び判断支援が例示される。例えば、移動体ＭＶが自動運転を行う場合、移動体ＭＶの前方に存在する信号機に日光が当たっていると、信号機の発光部の灯火状態の認識の精度が低下する。灯火状態を認識することができない場合、どのような行動をどのタイミングで実行すべきか判断することも困難となる。このような場合、灯火状態の認識支援、及び／又は、オペレータが認識した灯火状態に基づいた移動体ＭＶの行動の判断支援が行われる。

【0043】

オペレータによる遠隔支援には、遠隔運転も含まれる。遠隔運転において、オペレータは、ディスプレイ２１に表示される合成画像データＩＭＧ＿Ｃを認識し、操舵、加速、及び減速の少なくとも一つを含む移動体ＭＶの運転操作を行う。

【0044】

入力装置２２は、第二端末２のユーザにより操作される。入力装置２２は、例えば、ユーザにより操作される入力部と、入力データに基づいて指示データＩＮＳを生成及び出力する制御回路と、を備えている。入力部としては、マウス、キーボード、ボタン及びスイッチが例示される。指示データＩＮＳとしては、ディスプレイ２１上における合成画像データＩＭＧ＿Ｃの表示態様を変更（拡大、縮小など）するためのデータ、親画面２１Ｍ及び子画面２１Ｓの表示領域の設定を変更するためのデータ等が例示される。

【0045】

第二端末２が移動体ＭＶの遠隔支援を行う場合、入力装置２２はオペレータにより操作される。この場合、指示データＩＮＳは第一端末１に送信されてもよい。オペレータが移動体ＭＶの遠隔運転を行う場合、入力装置２２は走行用の入力装置を含んでいてもよい。この走行用の入力装置としては、ステアリングホイール、シフトレバー、アクセルペダル及びブレーキペダルが例示される。走行用の入力装置がオペレータにより操作された場合、指示データＩＮＳは第一端末１に送信される。

【0046】

通信装置２３は、ネットワーク上の基地局との間で無線通信を行う。この無線通信の通信規格としては、４Ｇ、ＬＴＥ、または５Ｇ等の移動体通信の規格が例示される。通信装置２３の接続先には、第一端末１が少なくとも含まれる。第一端末１との通信において、通信装置２３は、ディスプレイ２１のレイアウトに関するデータ（以下、「レイアウトデータ」とも称す。）ＬＡＹを第一端末１に送信する。レイアウトデータＬＡＹとしては、ディスプレイ２１の水平及び垂直方向のサイズのデータ、子画面２１Ｓの表示領域の水平及び垂直方向のサイズのデータ、及び、この表示領域の位置のデータが例示される。第二端末２が移動体ＭＶの遠隔支援を行う場合、通信装置２３は、指示データＩＮＳを第一端末１に送信してもよい。

【0047】

データ処理装置２４は、第二端末２が有する各種データや、第二端末２が取得した各種データに基づいたデータ処理を行うコンピュータである。データ処理装置２４は、少なくとも１つのプロセッサ２４ａと、少なくとも１つのメモリ２４ｂとを備えている。プロセッサ２４ａは、ＣＰＵを含んでいる。メモリ２４ｂは、ＤＤＲメモリなどの揮発性のメモリであり、プロセッサ２４ａが使用する各種プログラムの展開及び各種データの一時保存を行う。この各種データには、レイアウトデータＬＡＹ及び指示データＩＮＳが含まれる。

【0048】

プロセッサ２４ａは、メモリ２４ｂに格納された所定のデータ処理用のプログラムを実行することにより、各種のデータ処理を行う。この各種のデータ処理には、第一端末１から受信した合成画像データＩＭＧ＿Ｃをディスプレイ２１に表示するための「表示制御処理」が含まれる。表示制御処理の詳細については後述される。

【0049】

１－２－２．データ処理例
図６は、データ処理装置１４（プロセッサ１４ａ）において行われるデータ処理例の流れを示すフローチャートである。図６に示されるルーチンは、所定の周期（例えば、メイン画像データＩＭＧ＿Ｍの受信間隔）で繰り返し実行される。

【0050】

図６に示されるルーチンでは、まず、各種データが取得される（ステップＳ１１）。この各種データには、同時刻に取得されたメイン画像データＩＭＧ＿Ｍ及びサブ画像データＩＭＧ＿Ｓが含まれる。各種データには、第二端末２から受信したレイアウトデータＬＡＹも含まれる。

【0051】

ステップＳ１１の処理に続いて、データ合成処理が行われる（ステップＳ１２）。データ合成処理は、ステップＳ１１で取得されたメイン画像データＩＭＧ＿Ｍ、サブ画像データＩＭＧ＿Ｓ及びレイアウトデータＬＡＹに基づいて行われる。

【0052】

図７は、データ合成処理の一例を説明する図である。図７に示される例では、まず、レイアウトデータＬＡＹに基づいて、サブ画像データＩＭＧ＿Ｓが結合される予定の表示領域ＡＲ＿Ｓのサイズ及び位置が特定される。図７に示される例では、メイン画像データＩＭＧ＿Ｍの上方中央に表示領域ＡＲ＿Ｓが位置している。

【0053】

図７に示される例では、続いて、表示領域ＡＲ＿Ｓの位置に対応するメイン画像内の画像データが削除される。この削除処理は、メイン画像データＩＭＧ＿Ｍのデータ量の削減に寄与する。また、この削除処理と並行して、メイン画像データＩＭＧ＿Ｍと同時刻に取得されたサブ画像データＩＭＧ＿Ｓの調整が行われる。図７に示される例では、表示領域ＡＲ＿Ｓのサイズに合うようにサブ画像データＩＭＧ＿Ｓのサイズが縮小される。この縮小処理は、サブ画像データＩＭＧ＿Ｓのデータ量の削減に寄与する。縮小処理の後、表示領域ＡＲ＿Ｓのサイズに合うようにサブ画像データＩＭＧ＿Ｓの外周部分の画像データが削除されてもよい。

【0054】

図７に示される例では、続いて、メイン画像データＩＭＧ＿Ｍの上方中央の位置（つまり、表示領域ＡＲ＿Ｓの位置）に、調整後のサブ画像データＩＭＧ＿Ｓが結合（挿入）される。これにより、合成画像データＩＭＧ＿Ｃが生成される。

【0055】

図６に戻り、ステップＳ１２の処理に続いて、データ送信処理が行われる（ステップＳ１３）。データ送信処理では、合成画像データＩＭＧ＿Ｃのエンコード処理が行われ、通信装置１３に出力される。エンコード処理に際し、合成画像データＩＭＧ＿Ｃは圧縮されてもよい。通信装置１３に出力された合成画像データＩＭＧ＿Ｃは、第一端末１から第二端末２に送信される。

【0056】

図８は、データ処理装置２４（プロセッサ２４ａ）において行われるデータ処理例の流れを示すフローチャートである。図８に示されるルーチンは、所定の周期（例えば、合成画像データＩＭＧ＿Ｃの受信間隔）で繰り返し実行される。

【0057】

図８に示されるルーチンでは、まず、各種データが取得される（ステップＳ２１）。この各種データには、第一端末１から受信した合成画像データＩＭＧ＿Ｃが含まれる。

【0058】

ステップＳ２１の処理に続いて、表示制御処理が行われる（ステップＳ２２）。表示制御処理では、ステップＳ２１で取得された合成画像データＩＭＧ＿Ｃのデコード処理が行われ、ディスプレイ２１に出力される。合成画像データＩＭＧ＿Ｃが圧縮されている場合、デコード処理において当該データが伸長される。

【0059】

１－３．効果
以上説明した第一実施形態によれば、第一端末１においてメイン画像データＩＭＧ＿Ｍとサブ画像データＩＭＧ＿Ｓを合成する処理（データ合成処理）が行われた後に、合成画像データＩＭＧ＿Ｃの第二端末２への送信処理（データ送信処理）が行われる。従って、メイン画像データＩＭＧ＿Ｍとサブ画像データＩＭＧ＿Ｓをそのまま第二端末２に送信する場合に比べて、第一端末１から第二端末２に送信される画像データのデータ量を削減することが可能となる。

【0060】

特に、移動体ＭＶの遠隔支援が行われる場合は、複数のカメラで移動体ＭＶの周囲を撮像する必要があり、第一端末１から第二端末２に送信される画像データのデータ量が大きくなる傾向がある。送信される画像データのデータ量が大きくなれば、規定のフレームレートでの送信が困難となり、通信遅延の増大、通信途絶の発生といった不具合の発生が懸念される。この点、第一実施形態によれば、このような不具合の発生を抑えることが可能となるので、遠隔支援の円滑な実施に寄与することが期待される。

【0061】

２．第二実施形態
図９及び１０を参照しながら、本開示の第二実施形態について説明する。尚、以下において、第一実施形態の説明と重複する内容については適宜省略される。

【0062】

２－１．第二実施形態の概要
図９は、第二実施形態において行われる画像データの処理例の概要を説明する図である。尚、図９の上段には、第二実施形態の処理例と比較される第一実施形態の処理例が描かれている。

【0063】

第二実施形態の処理例では、同時刻に取得されたメイン画像データＩＭＧ＿Ｍとサブ画像データＩＭＧ＿Ｓを合成することにより合成画像データＩＭＧ＿Ｃが生成される。第二実施形態の処理例では、また、メイン画像内の表示領域ＡＲ＿Ｓの位置に、サイズ等が調整されたサブ画像データＩＭＧ＿Ｓが結合（挿入）される。ここまでは、第一実施形態の処理例と同じである。

【0064】

第一実施形態の処理例では、表示領域ＡＲ＿Ｓの位置が固定されていることを前提としている。そのため、表示領域ＡＲ＿Ｓの位置に物標が存在している場合に、合成画像データＩＭＧ＿Ｃ上から当該物標の一部又は全部の画像データが消えてしまうという問題がある。図９の上段に示されるように、表示領域ＡＲ＿Ｓの位置に動的物標ＭＯ（例えば、歩行者、自転車、オートバイ、車両といった移動体）が存在する場合は、動的物標ＭＯの画像の大部分が合成画像上に現れなくなる。

【0065】

このような状況は、合成画像データＩＭＧ＿Ｃを用いて第一端末１の周囲の動的物標ＭＯの存在を確認、観察等する第二端末２のユーザにとって望ましくない。合成画像データＩＭＧ＿Ｃを用いて移動体ＭＶの遠隔支援を行う場合は、移動体ＭＶの走行安全性を確保する観点から、このような状況に陥ることを避ける必要がある。

【0066】

そこで、第二実施形態の処理例では、合成画像データＩＭＧ＿Ｃを生成する前に、メイン画像データＩＭＧ＿Ｍを用いて、メイン画像内に映る物標を認識する。そして、表示領域ＡＲ＿Ｓの位置に動的物標ＭＯが認識された場合は、動的物標ＭＯを可視化するためのデータ処理（データ調整処理）が行われる。

【0067】

図９の下段には、データ調整処理の例が描かれている。第一の例では、表示領域ＡＲ＿Ｓの位置へのサブ画像データＩＭＧ＿Ｓの結合が中止される。この場合は、合成画像データＩＭＧ＿Ｃがメイン画像データＩＭＧ＿Ｍのみから構成される。

【0068】

第二の例では、表示領域ＡＲ＿Ｓの位置が変更される。第二の例では、変更後の表示領域ＡＲ＿Ｓが、変更前のそれの左側に位置している。ただし、変更後の表示領域ＡＲ＿Ｓの位置は、動的物標ＭＯが存在しない位置であれば特に限定されず、上下左右の任意の方向に表示領域ＡＲ＿Ｓを移動することができる。第二の例は、第一の例で説明したデータ調整（結合の中止）と組み合わされてもよい。

【0069】

第三の例では、表示領域ＡＲ＿Ｓのサイズが縮小される。例えば、表示領域ＡＲ＿Ｓ内の基準点（例えば、四角形領域の重心、左下又は右下の頂点）を固定し、縮小後の表示領域ＡＲ＿Ｓの位置から動的物標ＭＯが外れるまで表示領域ＡＲ＿Ｓのサイズが繰り返し縮小される。第三の例は、第一の例で説明したデータ調整（結合の中止）と組み合わされてもよい。第三の例は、また、第二の例で説明したデータ調整（位置の変更）と組み合わされてもよい。

【0070】

データ調整処理が行われれば、動的物標ＭＯ画像の一部又は全部が合成画像上に現れなくなるという不具合を回避することが可能となる。このことは、合成画像データＩＭＧ＿Ｃを用いた動的物標ＭＯの視認性を高め、また、合成画像データＩＭＧ＿Ｃを用いた移動体ＭＶの走行安全性を高めることに繋がる。

【0071】

以下、第二実施形態に係る処理システムについて説明する。尚、処理システムの構成例については、第一実施形態で説明した構成例と共通する。そのため、以下においては、処理システムによるデータ処理に例について説明する。

【0072】

２－２．データ処理例
図１０は、データ処理装置１４（プロセッサ１４ａ）において行われるデータ処理例の流れを示すフローチャートである。図１０に示されるルーチンは、例えば、図６に示したステップＳ１２のサブルーチンとして実行される。

【0073】

図１０に示されるルーチンでは、まず、物標認識処理が行われる（ステップＳ１２１）。物標認識処理では、メイン画像データＩＭＧ＿Ｍに基づいて、メインカメラ１１によって撮像されたメインカメラ１１の周囲の物標が認識される。認識される物標としては、動的物標ＭＯに加えて静的物標が例示される。静的物標としては、メインカメラ１１の周囲に存在する工作物、建築物等が例示される。メインカメラ１１が移動体ＭＶに搭載されている場合、静的物標としては、移動体ＭＶが現在走行している車線を区画する線、ガードレール、交通信号機等が例示される。

【0074】

ステップＳ１２１の処理に続いて、表示領域ＡＲ＿Ｓの位置に動的物標ＭＯが存在するか否かが判定される（ステップＳ１２２）。表示領域ＡＲ＿Ｓの位置は、第二端末２から受信したレイアウトデータＬＡＹに基づいて特定される。そのため、ステップＳ１２１の処理において動的物標ＭＯが認識された場合は、メイン画像内での動的物標ＭＯの画像の位置と、表示領域ＡＲ＿Ｓの位置との位置関係が計算される。例えば、動的物標ＭＯの画像の代表位置を何点か特定する。そして、これらの代表位置の全てが表示領域ＡＲ＿Ｓの内側にあるか否かを判定する。代表位置の全てが表示領域ＡＲ＿Ｓの内側にあると判定された場合、表示領域ＡＲ＿Ｓの位置に動的物標ＭＯが存在すると判定される。

【0075】

ステップＳ１２２の判定結果が肯定的な場合、データ調整処理が行われる（ステップＳ１２３）。既に説明したように、データ調整処理は、表示領域ＡＲ＿Ｓの位置に存在する動的物標ＭＯを可視化するためのデータ処理である。データ調整処理の第一の例では、表示領域ＡＲ＿Ｓの位置へのサブ画像データＩＭＧ＿Ｓの結合が中止される。

【0076】

データ調整処理の第二の例では、表示領域ＡＲ＿Ｓの位置が変更される。この場合は、位置変更後の表示領域ＡＲ＿Ｓの位置に動的物標ＭＯ（又は別の動的物標ＭＯ）が存在するか否かを判定し、動的物標ＭＯ（又は別の動的物標ＭＯ）が存在しない位置まで表示領域ＡＲ＿Ｓを移動する。表示領域ＡＲ＿Ｓの移動を繰り返したとしても、移動先の表示領域ＡＲ＿Ｓの位置に動的物標ＭＯ（又は別の動的物標ＭＯ）が存在する場合は、サブ画像データＩＭＧ＿Ｓの結合を中止してもよい。

【0077】

データ調整処理の第三の例では、表示領域ＡＲ＿Ｓのサイズが縮小される。この場合は、サイズ変更後の表示領域ＡＲ＿Ｓの位置に動的物標ＭＯ（又は別の動的物標ＭＯ）が存在するか否かを判定し、サイズ変更後の表示領域ＡＲ＿Ｓの位置から動的物標ＭＯ（又は別の動的物標ＭＯ）が外れるまで表示領域ＡＲ＿Ｓのサイズを縮小する。表示領域ＡＲ＿Ｓの縮小を繰り返した結果、表示領域ＡＲ＿Ｓのサイズが閾値未満となった場合は、サブ画像データＩＭＧ＿Ｓの結合を中止してもよい。

【0078】

データ調整処理の第四の例では、表示領域ＡＲ＿Ｓの位置の変更とサイズの縮小が組み合わされて行われる。位置及びサイズの変更を繰り返したとしても、変更後の表示領域ＡＲ＿Ｓの位置に動的物標ＭＯ（又は別の動的物標ＭＯ）が存在するときは、サブ画像データＩＭＧ＿Ｓの結合自体を中止してもよい。位置及びサイズ変更後の表示領域ＡＲ＿Ｓのサイズが閾値未満となった場合も、サブ画像データＩＭＧ＿Ｓの結合を中止してもよい。

【0079】

ステップＳ１２２の判定結果が否定的な場合、又は、ステップＳ１２３の処理に続いて、合成画像データＩＭＧ＿Ｃが生成される（ステップＳ１２４）。ステップＳ１２２の判定結果が否定的な場合は、図７説明した処理例に従って合成画像データＩＭＧ＿Ｃが生成される。表示領域ＡＲ＿Ｓの位置が変更された場合は、位置変更後の表示領域ＡＲ＿Ｓの位置にサイズ調整後のサブ画像データＩＭＧ＿Ｓが結合（挿入）される。表示領域ＡＲ＿Ｓのサイズが縮小された場合は、サイズ変更後の表示領域ＡＲ＿Ｓのサイズに合うようにサブ画像データＩＭＧ＿Ｓのサイズが縮小される。その後、サイズ変更後の表示領域ＡＲ＿Ｓの位置にサイズ調整後のサブ画像データＩＭＧ＿Ｓが結合（挿入）される。サブ画像データＩＭＧ＿Ｓの結合が中止される場合は、メイン画像データＩＭＧ＿Ｍのみから合成画像データＩＭＧ＿Ｃが生成される。

【0080】

２－３．効果
以上説明した第二実施形態によれば、データ調整処理が行われる。データ調整処理によれば、動的物標ＭＯ画像の一部又は全部が合成画像上に現れなくなるという不具合を回避することが可能となる。このことは、合成画像データＩＭＧ＿Ｃを用いた動的物標ＭＯの視認性を高め、また、合成画像データＩＭＧ＿Ｃを用いた移動体ＭＶの走行安全性を高めることに繋がる。

【0081】

３．第三実施形態
図１１～１５を参照しながら、本開示の第三実施形態について説明する。尚、以下において、第一又は第二実施形態の説明と重複する内容については適宜省略される。

【0082】

３－１．第三実施形態の概要
図１１は、第三実施形態において行われる画像データの処理例の概要を説明する図である。図１１には、合成画像データＩＭＧ＿Ｃが描かれている。合成画像データＩＭＧ＿Ｃは、第一端末１から第二端末２に送信されるデータである。合成画像データＩＭＧ＿Ｃは、同時刻に取得されたメイン画像データＩＭＧ＿Ｍとサブ画像データＩＭＧ＿Ｓを合成することにより得られる画像データを含んでいる。

【0083】

第一端末１から第二端末２に送信された合成画像データＩＭＧ＿Ｃは、第二端末２のディスプレイ２１に表示される。子画面２１Ｓの表示領域には、合成画像データＩＭＧ＿Ｃのうちのサブ画像データＩＭＧ＿Ｓに相当する画像データが表示される。こまでは、第一実施形態の処理例と同じである。

【0084】

第一実施形態の処理例とは異なり、第三実施形態の処理例では、同時刻に取得されたメイン画像データＩＭＧ＿Ｍ、サブ画像データＩＭＧ＿Ｓ及び付加画像データＩＭＧ＿Ａから合成画像データＩＭＧ＿Ｃが合成される。付加画像データＩＭＧ＿Ａは、第一端末１の移動状況に関連付けて設定される画像データである。付加画像データＩＭＧ＿Ａは、第一端末１の移動状況に関するデータに基づいて生成される。

【0085】

第三実施形態の処理例では、また、ディスプレイ２１が、親画面２１Ｍ及び子画面２１Ｓの表示領域に加えて、拡張情報画面２１Ａの表示領域を含んでいる。つまり、第三実施形態の親画面２１Ｍの表示領域は、第一実施形態のそれに比べて、拡張情報画面２１Ａの表示領域の分だけ減少している。拡張情報画面２１Ａの表示領域には、合成画像データＩＭＧ＿Ｃのうちの付加画像データＩＭＧ＿Ａに相当する画像データが表示される。親画面２１Ｍの表示領域には、合成画像データＩＭＧ＿Ｃのうちのメイン画像データＩＭＧ＿Ｍから、子画面２１Ｓ及び拡張情報画面ＡＲの表示領域に相当する画像データが除かれた画像データが表示される。

【0086】

このように、第三実施形態の処理例では、付加画像データＩＭＧ＿Ａを含む合成画像データＩＭＧ＿Ｃが第一端末１において生成され、第二端末２に送信される。従って、ディスプレイ２１に拡張情報が表示される場合において、第一端末１から第二端末２に送信されるデータ量を削減することが可能となる。

【0087】

以下、第三実施形態に係る処理システムについて説明する。

【0088】

３－２．処理システム
３－２－１．構成例
図１２は、第三実施形態における第一端末１の構成例を示すブロック図である。図１２に示されるように、第一端末１は、メインカメラ１１と、サブカメラ１２と、通信装置１３と、データ処理装置１４と、センサ群１５と、データメモリ１６と、を備えている。つまり、図１２に示される構成例は、図３で説明した第一実施形態における構成例に、センサ群１５及びデータメモリ１６が追加されたものである。メインカメラ１１等の構成要素と、データ処理装置１４とは、所定のネットワークによって接続されている。

【0089】

センサ群１５は、第一端末１の移動状況を検出するセンサを含んでいる。移動状況を検出するセンサとしては、速度センサ及び加速度センサが例示される。速度センサは、第一端末１の速度を検出する。加速度センサは、第一端末１の加速度を検出する。移動状況を検出するセンサには、位置センサも含まれる。位置センサは、第一端末１の位置及び方位を検出する。位置センサとしては、ＧＮＳＳ（Global Navigation Satellite System）センサが例示される。これらのセンサが検出した各種の移動状況データＳＴＳは、データ処理装置１４に送られる。

【0090】

第一端末１が図４に示した移動体ＭＶに搭載される端末の場合、移動状況を検出するセンサには、速度センサ及び加速度センサに加えて、ヨーレートセンサ及び舵角センサが含まれてもよい。この場合、ヨーレートセンサは、移動体ＭＶの重心の鉛直軸周りのヨーレートを検出する。舵角センサは、移動体ＭＶのステアリングホイールの角度を検出する。第一端末１が図４に示した移動体ＭＶに搭載される端末の場合、センサ群１５は、メインカメラ１１及びサブカメラ１２以外の認識センサを含んでいてもよい。認識センサは、電波又は光を利用して移動体ＭＶの周辺環境を認識する。認識センサとしては、ミリ波レーダ及びＬＩＤＡＲ（Laser Imaging Detection and Ranging）が例示される。

【0091】

データメモリ１６は、付加画像データＩＭＧ＿Ａの生成に必要な各種データを格納している。この各種データとしては、速度画像データ、加速度画像データ及び地図画像データが例示される。速度画像データを用いた付加画像データＩＭＧ＿Ａの生成は、移動状況データＳＴＳ（例えば、第一端末１の速度）を参照して行われる。加速度画像データを用いた付加画像データＩＭＧ＿Ａの生成は、移動状況データＳＴＳ（例えば、第一端末１の加速度）を参照して行われる。地図画像データを用いた付加画像データＩＭＧ＿Ａの生成は、移動状況データＳＴＳ（例えば、第一端末１の位置）を参照して行われる。

【0092】

第一端末１が図４に示した移動体ＭＶに搭載される端末の場合、データメモリ１６に格納される各種データには、移動体ＭＶの将来の走行軌道を示す画像データが含まれる。軌道画像データを用いた付加画像データＩＭＧ＿Ａの生成は、移動状況データＳＴＳ（例えば、移動体ＭＶの速度及び舵角）に基づいて移動体ＭＶの将来の走行軌道を予測し、この走行軌道の形状に最も近い軌道画像データをデータメモリ１６内から抽出することにより行われる。

【0093】

第三実施形態における第二端末２の構成例については、図５で説明した第一実施形態におけるそれと同じである。

【0094】

３－２－２．データ処理例
第三実施形態における画像データの処理例は、基本的には図６～８で説明した第一実施形態における処理例と同じである。図１３は、第三実施形態において行われるデータ合成処理の一例を説明する図である。図１３に示されるデータ合成処理は、例えば、図６のステップＳ１２において行われる。

【0095】

図１３に示される例では、まず、レイアウトデータＬＡＹに基づいて、サブ画像データＩＭＧ＿Ｓが結合される予定の表示領域ＡＲ＿Ｓのサイズ及び位置が特定される。また、表示領域ＡＲ＿Ｓの位置に対応するメイン画像内の画像データが削除される。また、この削除処理と並行して、メイン画像データＩＭＧ＿Ｍと同時刻に取得されたサブ画像データＩＭＧ＿Ｓの調整が行われる。そして、特定された表示領域ＡＲ＿Ｓの位置に、調整後のサブ画像データＩＭＧ＿Ｓが結合（挿入）される。ここまで、図７で説明した処理例と同じである。

【0096】

図１３に示される例では、続いて、付加画像データＩＭＧ＿Ａが結合される予定の表示領域ＡＲ＿Ａが特定される。表示領域ＡＲ＿Ａは、サブ画像データＩＭＧ＿Ｓが結合された表示領域ＡＲ＿Ｓを除いた領域の内から特定される。そして、特定された表示領域ＡＲ＿Ａの位置に、付加画像データＩＭＧ＿Ａが重畳される。

【0097】

３－３．合成画像データの表示例
図１４及び１５は、第二端末２において表示制御処理が行われた場合にディスプレイ２１に表示される合成画像データＩＭＧ＿Ｃの表示例を示す図である。尚、図１４及び１５には、第二端末２が移動体ＭＶの遠隔支援を行うための端末の場合の合成画像データＩＭＧ＿Ｃの例が示されている。また、図１４及び１５においては、子画面２１Ｓの表示が省略されている。

【0098】

図１４に示される例では、表示領域ＡＲ＿Ａの位置に、速度、エンジン回転速度等の移動体ＭＶの移動状況データＳＴＳに対応する付加画像データＩＭＧ＿Ａが結合された合成画像データＩＭＧ＿Ｃが表示されている。一方、図１５に示される例では、メイン画像データＩＭＧ＿Ｍに移動体ＭＶの駐車誘導用の付加画像データＩＭＧ＿Ａが重畳された合成画像データＩＭＧ＿Ｃが表示されている。

【0099】

３－４．効果
以上説明した第三実施形態によれば、付加画像データＩＭＧ＿Ａを含む合成画像データＩＭＧ＿Ｃが第一端末１において生成され、第二端末２に送信される。従って、ディスプレイ２１に拡張情報が表示される場合において、第一端末１から第二端末２に送信されるデータ量を削減することが可能となる。

【符号の説明】

【0100】

１ 第一端末
２ 第二端末
１１，１１Ａ～１１Ｃ メインカメラ
１２，１２Ａ～１２Ｃ サブカメラ
１３，２３ 通信装置
１４，２４ データ処理装置
１４ａ，２４ａ プロセッサ
１４ｂ，２４ｂ メモリ
１５ センサ群
１６ データメモリ
２１ ディスプレイ
２１Ｍ 親画面
２１Ｓ 子画面
ＭＯ 動的物標
ＭＶ 移動体
ＡＲ＿Ｓ 表示領域
ＬＡＹ レイアウトに関するデータ
ＩＭＧ＿Ａ 付加画像データ
ＩＭＧ＿Ｃ 合成画像データ
ＩＭＧ＿Ｍ メイン画像データ
ＩＭＧ＿Ｓ サブ画像データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】