(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022131619
(43)【公開日】2022-09-07
(54)【発明の名称】表示システム、画像処理装置、画像処理方法および画像処理プログラム
(51)【国際特許分類】
G08G 1/16 20060101AFI20220831BHJP
G16Y 10/40 20200101ALI20220831BHJP
G16Y 20/20 20200101ALI20220831BHJP
G16Y 40/10 20200101ALI20220831BHJP
【FI】
G08G1/16 A
G16Y10/40
G16Y20/20
G16Y40/10
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2021030650
(22)【出願日】2021-02-26
(71)【出願人】
【識別番号】000000295
【氏名又は名称】沖電気工業株式会社
(74)【代理人】
【識別番号】100129067
【弁理士】
【氏名又は名称】町田 能章
(74)【代理人】
【識別番号】100183162
【弁理士】
【氏名又は名称】大塚 義文
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】駒井 英敬
【テーマコード(参考)】
5H181
【Fターム(参考)】
5H181AA01
5H181AA25
5H181AA26
5H181AA27
5H181BB04
5H181CC02
5H181CC03
5H181CC04
5H181CC14
5H181FF13
5H181FF27
5H181FF32
5H181FF35
5H181FF39
5H181MC15
5H181MC19
5H181MC27
(57)【要約】
【課題】移動体の周辺画像を見ながら行う操縦を容易にすることができる。
【解決手段】移動体2の周辺画像を取得するセンサ部としてのカメラ21と、前記センサ部で取得した前記周辺画像を解析し、強調する部分を特定する認識部としてのタイル目地認識部24と、前記認識部での認識結果に基づいて前記周辺画像の一部を強調する強調部としてのAR強調部25およびタイル目地AR重畳部26と、前記周辺画像の一部を強調した強調周辺画像を表示する表示部としての端末3と、を備え、前記強調部は、前記周辺画像に規則性を有するパターン模様が写っている場合に、前記パターン模様に関連付けた強調を行う。
【選択図】
図2
【特許請求の範囲】
【請求項1】
移動体の周辺画像を取得するセンサ部と、
前記センサ部で取得した前記周辺画像を解析し、強調する部分を特定する認識部と、
前記認識部での認識結果に基づいて前記周辺画像の一部を強調する強調部と、
前記周辺画像の一部を強調した強調周辺画像を表示する表示部と、を備え、
前記強調部は、前記周辺画像に規則性を有するパターン模様が写っている場合に、前記パターン模様に関連付けた強調を行う、
ことを特徴とする表示システム。
【請求項2】
前記センサ部は、移動体に取り付けられた複数のカメラであり、
前記複数のカメラで撮像した画像を合成して三次元の合成画像を作成する合成部を備え、
前記合成部は、半球の三次元モデルに前記カメラで撮像した画像を構成する画素をマッピングする、
ことを特徴とする請求項1に記載の表示システム。
【請求項3】
前記強調部は、拡張現実技術を用いて前記パターン模様に対応した強調画像を前記周辺画像に重畳することで前記強調周辺画像を作成する、
ことを特徴とする請求項1または請求項2に記載の表示システム。
【請求項4】
前記強調部は、前記パターン模様を構成する線の太さ、色および種類の何れかを撮像した画像の状態から変更した前記強調周辺画像、または、前記パターン模様を構成する線の近傍に当該線を識別する情報もしくは移動体までの距離を示す情報を付した前記強調周辺画像を作成する、
ことを特徴とする請求項1ないし請求項3の何れか一項に記載の表示システム。
【請求項5】
前記パターン模様は、平行に配置された複数の直線で構成された直線群を有し、
前記強調部は、前記直線群に対して一定の間隔で前記直線を強調した前記強調周辺画像、または、前記直線群を構成する全ての前記直線を強調すると共に一定の間隔で前記直線をさらに強調した前記強調周辺画像を作成する、
ことを特徴とする請求項1ないし請求項4の何れか一項に記載の表示システム。
【請求項6】
前記強調部は、前記移動体から決められた範囲を強調表示した前記強調周辺画像、または、前記移動体からの距離に応じて強調の強度を変更した前記強調周辺画像を作成する、
ことを特徴とする請求項1ないし請求項4の何れか一項に記載の表示システム。
【請求項7】
移動体の周辺画像を解析し、強調する部分を特定する認識部と、
前記認識部での認識結果に基づいて前記周辺画像の一部を強調する強調部と、を備え、
前記強調部は、前記周辺画像に規則性を有するパターン模様が写っている場合に、前記パターン模様に関連付けた強調を行う、
ことを特徴とする画像処理装置。
【請求項8】
移動体の周辺画像を解析し、強調する部分を特定する認識ステップと、
前記認識ステップでの認識結果に基づいて前記周辺画像の一部を強調する強調ステップと、を備え、
前記強調ステップでは、前記周辺画像に規則性を有するパターン模様が写っている場合に、前記パターン模様に関連付けた強調を行う、
ことを特徴とする画像処理方法。
【請求項9】
コンピュータを、
移動体の周辺画像を解析し、強調する部分を特定する認識部と、
前記認識部での認識結果に基づいて前記周辺画像の一部を強調する強調部と、して機能させ、
前記強調部は、前記周辺画像に規則性を有するパターン模様が写っている場合に、前記パターン模様に関連付けた強調を行う、
ことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示システム、画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【0002】
現在、自動車などの車両の運転を支援する技術の開発が進められている(例えば、特許文献1参照)。特許文献1に記載される技術は、駐車に関する操縦を支援するものであって、車両の周辺画像を表示部に写す場合に、目標とする駐車区画を強調表示して表示するものである。周辺画像は、例えば、車両の周辺の状況を上方から俯瞰で見た俯瞰画像である。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、俯瞰画像を見ながら車両の操縦を行うには慣れが必要であり、特に距離感を把握するのが難しいという問題があった。
なお、この問題は、人間が搭乗する乗り物の運転支援に限らず、例えば移動体(ロボットや模型自動車など)を遠隔で操縦する場合などでも同様の問題が生じる。
【0005】
本発明は、前記問題に鑑みてなされたものであり、移動体の周辺画像を見ながら行う操縦を容易にすることができる、表示システム、画像処理装置、画像処理方法および画像処理プログラムを提供するものである。
【課題を解決するための手段】
【0006】
前記課題を解決するため、本発明に係る表示システムは、移動体の周辺画像を取得するセンサ部と、前記センサ部で取得した前記周辺画像を解析し、強調する部分を特定する認識部と、前記認識部での認識結果に基づいて前記周辺画像の一部を強調する強調部と、前記周辺画像の一部を強調した強調周辺画像を表示する表示部と、を備え、前記強調部は、前記周辺画像に規則性を有するパターン模様が写っている場合に、前記パターン模様に関連付けた強調を行うことを特徴とする。
【0007】
また、本発明に係る画像処理装置は、移動体の周辺画像を解析し、強調する部分を特定する認識部と、前記認識部での認識結果に基づいて前記周辺画像の一部を強調する強調部と、を備え、前記強調部は、前記周辺画像に規則性を有するパターン模様が写っている場合に、前記パターン模様に関連付けた強調を行うことを特徴とする。
【0008】
また、本発明に係る画像処理方法は、移動体の周辺画像を解析し、強調する部分を特定する認識ステップと、前記認識ステップでの認識結果に基づいて前記周辺画像の一部を強調する強調ステップと、を備え、前記強調ステップでは、前記周辺画像に規則性を有するパターン模様が写っている場合に、前記パターン模様に関連付けた強調を行うことを特徴とする。
【0009】
また、本発明に係る画像処理プログラムは、コンピュータを、移動体の周辺画像を解析し、強調する部分を特定する認識部と、前記認識部での認識結果に基づいて前記周辺画像の一部を強調する強調部として機能させ、前記強調部は、前記周辺画像に規則性を有するパターン模様が写っている場合に、前記パターン模様に関連付けた強調を行うことを特徴とする。
【発明の効果】
【0010】
本発明によれば、移動体の周辺画像を見ながら行う操縦を容易にすることができる。
【図面の簡単な説明】
【0011】
【
図1】本発明の実施形態に係る表示システムの全体図である。
【
図2】本発明の実施形態に係る表示システムの全体構成図である。
【
図4】合成画像の生成処理を説明するための図である。
【
図5】合成画像の特徴である上空からの自由視点を説明するための図である。
【
図6】合成画像を表示した場合のイメージ図である。
【
図7】パターン模様を強調する前の合成画像のイメージ図である。
【
図8】パターン模様を強調した強調合成画像(強調周辺画像)のイメージ図(1)である。
【
図9】パターン模様を強調した強調合成画像(強調周辺画像)のイメージ図(2)である。
【
図10】パターン模様を強調した強調合成画像(強調周辺画像)のイメージ図(3)である。
【
図11】パターン模様を強調した強調合成画像(強調周辺画像)のイメージ図(4)である。
【
図12】パターン模様を強調した強調合成画像(強調周辺画像)のイメージ図(5)である。
【
図13】パターン模様を強調した強調合成画像(強調周辺画像)のイメージ図(6)である。
【
図14】パターン模様を強調した強調合成画像(強調周辺画像)のイメージ図(7)である。
【
図15】パターン模様を強調した強調合成画像(強調周辺画像)のイメージ図(8)である。
【発明を実施するための形態】
【0012】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、参照する図面において、本発明を構成する要素の寸法は、説明を明確にするために誇張または矮小化して表現されている場合がある。なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。
【0013】
<実施形態に係る表示システムの構成について>
図1および
図2を参照して、実施形態に係る表示システム1の構成について説明する。
図1は、表示システム1の全体図である。
図2は、表示システム1の全体構成図である。
【0014】
図1に示すように、本実施形態では、表示システム1として、移動体2を無線により遠隔操縦する遠隔操縦システムを想定する(つまり、表示システム1は、遠隔操縦システムの一部を構成するものである)。なお、表示システム1は、操縦を目的としないもの(例えば、監視システム)にも適用可能である。
表示システム1は、主に、移動体2と、受信モニタ用の端末3とで構成される。表示システム1では、移動体2に取り付けられた複数のカメラ21により撮像された画像(映像を含む)を合成し、仮想視点から見たときの俯瞰的な合成画像を端末3に表示する。以下、各構成要素を説明する。
【0015】
移動体2は、移動手段を有するものであれば種類は特に限定されない。移動体2は、例えば、施設内を移動するロボット、模型自動車、ドローン等の無人飛行体、車両、船舶、航空機などであってよい。ロボットは、例えば監視用や掃除用のものである。車両は、例えば、自動車、建設機械、農業機械などを含む。本実施形態では、移動体2として床面を走行する模型自動車を想定する。
【0016】
移動体2が移動する移動面(本実施形態では床面)には、規則的な模様(規則性を有する模様)が付されていることを想定する。規則的な模様は、例えば格子模様、縞模様、ドット模様などであってよく、移動面に描かれたもの、移動面を加工したもの、移動面に投影されたものなどを含む。つまり、移動面の模様は、視認可能なものであればよい。移動面の規則的な模様を「パターン模様5」と表記する。パターン模様5は、端末3に表示される場合に強調される対象である(詳細は後記する)。本実施形態では、パターン模様5としてタイル目地5Aを想定して説明する。タイル目地5Aは、並べられたタイルとタイルとの隙間(または目地材が充填されている継ぎ目)であり、本実施形態では、矩形状かつ同じ大きさのタイルが縦および横に直線状に並べてある。
【0017】
図2を参照して移動体2の構成を説明する。移動体2は、遠隔操縦される対象物である。移動体2は、操縦のための画像(映像も含む)を撮像し、撮像した画像を操縦者が所持する端末3に送信する。移動体2と端末3とは、例えば無線ネットワークを介して通信可能である。なお、以下では、移動体2によって撮像した画像を端末3に表示することに着目して説明を行い、端末3を用いた遠隔操縦については説明を省略する。遠隔操縦に係る技術は、既存の技術を適用することができる。
図2に示すように、移動体2は、複数(
図2では4台)のカメラ21と、俯瞰映像合成機22とを備える。
【0018】
カメラ21は、移動体2の周囲を撮像可能なように、移動体2に取り付けられている。カメラ21は、移動体2の周辺画像を撮像し、その周辺画像を俯瞰映像合成機22に送る。カメラ21の種類や数は特に限定されず、俯瞰映像を合成できるものであればよい。
なお、カメラ21は、特許請求の範囲における「センサ部」の一例である。センサ部は、例えば赤外線を用いた赤外線カメラや周囲の形状を計測可能な3Dスキャナなどであってもよい。
【0019】
本実施形態では、4台のカメラ21の場合を例示しているが、2台又は3台のカメラ21で周囲を撮像してもよいし、5台以上のカメラ21で周囲を撮像してもよい。本実施形態では、移動体2の前後左右にカメラ21を取り付け、移動体2の前方方向、後方方向、右側方向および左側方向を撮像する。
【0020】
カメラ21は、例えば、魚眼レンズを用いたカメラや、広角レンズを用いたカメラなどを適用することができる。より具体的には、カメラ21が、100°程度の画角若しくはそれ以上の画角を持つものとすることで、移動体2の周辺の状況を撮像する範囲(つまり、周囲360°)を十分にカバーできる。
【0021】
なお、4つのカメラ21の撮像画像を合成して合成画像を実際に生成するためには、移動体2に取り付けるカメラ21の設置位置やカメラ21の撮像角度等を調整することが必要となる。また、4つのカメラ21の撮像画像を合成する際、画像のつなぎ目の画像を正確に合成するために、カメラ21の内部パラメータや外部パラメータ等の較正(キャリブレーション)等をする必要がある。
【0022】
図2に示す俯瞰映像合成機22は、4台のカメラ21から二次元の撮像画像が入力され、入力された撮像画像を合成して三次元の合成画像を生成する。また、俯瞰映像合成機22は、生成した合成画像に対してパターン模様5を強調した強調合成画像を生成する。
俯瞰映像合成機22は、例えば、カメラ映像俯瞰合成部23と、タイル目地認識部24と、AR(拡張現実:Augmented Reality)強調部25と、俯瞰映像へのタイル目地AR重畳部26と、俯瞰映像符号化部27とを備える。
なお、俯瞰映像合成機22は、特許請求の範囲における「画像処理装置」の一例である。また、カメラ映像俯瞰合成部23は、特許請求の範囲における「合成部」の一例である。また、タイル目地認識部24は、特許請求の範囲における「認識部」の一例である。また、AR強調部25およびタイル目地AR重畳部26は、特許請求の範囲における「強調部」の一例である。
【0023】
俯瞰映像合成機22の処理を行なうハードウェアは、例えば、CPU(Central Processing Unit)、各種メモリ等を有する集積回路装置を用いることができ、CPUがROM(Read Only Memory)に格納される処理プログラム(画像処理プログラム)を実行することにより、俯瞰映像合成機22の各種機能が実現される。
【0024】
カメラ映像俯瞰合成部23は、複数のカメラ21により撮像された移動体2の周辺を写し出した撮像画像(周辺画像)を取得し、それらの撮像画像を合成して、移動体2の周囲を写し出す全方位の合成画像を生成するものである。移動体2の前後左右の撮影画像(周辺画像)のイメージを
図3に示す。カメラ映像俯瞰合成部23による合成画像の生成方法は、様々な画像処理方法を適用することができる。以下にその一例を示す。
【0025】
例えば、予め設けられた三次元モデルを用意しておき、複数のカメラ21により撮像された撮像画像(二次元画像)を、三次元モデルに座標変換して、三次元画像の合成画像を生成する方法を用いることができる。より具体的には、例えば、下に凸の半球の球面上に形成された三次元モデルE(
図4参照)を用いる。半球球面の三次元モデルEの曲面角度は、合成する合成画像に応じて適宜設定するようにしてもよい。三次元モデルEはメッシュが形成されており、当該三次元モデルの座標系における各画素の座標値(例えば、X軸の値、Y軸の値、Z軸の値)が設定されている。また、各カメラ21の撮像画像については、カメラ画像の座標系における画素の座標値(x軸の値、y軸の値)が設定されており、各カメラ21の撮像画像の各画素の座標値を、三次元モデルEの各画素の座標値に投影変換することで、各カメラ21の撮像画像の各画素を、三次元モデルEにおける対応する画素にマッピングする。このようにすることで、複数のカメラ21の撮像画像の各画素が三次元モデルの各画素にマッピングされて、移動体2の周囲360°を写し出す合成画像が生成される。
【0026】
合成画像は、移動中の移動体2を上空からの自由視点で見たような広域エリア映像を表示することを可能とする(
図5参照)。つまり、移動体2を俯瞰的に見た俯瞰映像を表示することができる。カメラ映像俯瞰合成部23は、合成画像に移動体2のCG(Computer Graphics)画像を重畳させ、端末3へ表示する俯瞰映像において移動体2のCG画像を自由視点に同期させて動かせるようにする(
図6参照)。本実施形態では、合成画像を俯瞰映像と呼ぶ場合がある。
【0027】
タイル目地認識部24は、合成画像を解析し、合成画像に写し出されるタイル目地5A(
図1参照)を認識する。タイル目地5Aは、端末3に表示する際に強調する部分の一例である。タイル目地認識部24によるタイル目地5Aの認識方法は特に限定されず、様々な画像処理方法を適用することができる。タイル目地認識部24は、例えば、パターンマッチングによって合成画像に映し出されるタイル目地5Aを認識する。具体的には、合成画像から特徴点の検出および特徴量の算出を行い、算出した特徴量と予め記憶しておいたタイル目地5Aの特徴量との間で特徴量マッチングを行う。なお、人工知能技術(例えば、ディープラーニング)を用いて合成画像に写し出されるタイル目地5Aを認識してもよい。
【0028】
AR強調部25およびタイル目地AR重畳部26は、タイル目地認識部24の認識結果に基づいて合成画像の一部を強調した強調合成画像(強調周辺画像)を作成する。合成画像で強調する部分は、パターン模様5(ここではタイル目地5Aを想定)である。パターン模様5を強調する方法は特に限定されず、パターン模様5に関連付けたものであればよい。強調合成画像(強調周辺画像)は、例えば拡張現実技術によって実現されたものであってよい。処理の一例を示す。
AR強調部25は、合成画像に重畳する強調画像を作成する。強調画像は、合成画像に写し出されるパターン模様5(ここではタイル目地5Aを想定)に対応したものである。本実施形態での強調画像は、格子状の画像である。
タイル目地AR重畳部26は、作成した強調画像をパターン模様5に重畳した強調合成画像を作成する。タイル目地AR重畳部26は、拡張現実技術を用いてパターン模様5に対応した強調画像を合成画像に重畳する。なお、ここで説明する拡張現実技術を用いずに合成画像を処理してもよい。
【0029】
図7ないし
図15を参照して、パターン模様5を強調して表示する方法の一例を説明する。
図7は、パターン模様5を強調する前の合成画像のイメージ図である。
図8ないし
図15は、パターン模様5を強調した強調合成画像(強調周辺画像)のイメージ図である。
図7に示す合成画像Pには、パターン模様5の一例であるタイル目地5Aと、移動体2(CG画像であってもよい)が写っている。タイル目地5Aは、紙面縦方向に平行に配置される複数の直線群と、紙面横方向に平行に配置される複数の直線群とによって構成される。直線の間隔は全て均等である。
【0030】
図8に示す強調合成画像Q1は、合成画像Pに強調画像F1を重畳することで、タイル目地5Aの線を太く変更したものである。強調画像F1は、タイル目地5Aを構成する線よりも太い線によって構成される。これにより、
図7に示すパターン模様5を強調する前の合成画像Pに比べて、移動体2の移動量や物体までの距離が分かり易い。
【0031】
図9に示す強調合成画像Q2は、合成画像Pに強調画像F2を重畳することで、タイル目地5Aの線を太く変更したものである。強調画像F2は、タイル目地5Aを構成する線よりも太い線F21と、線F21よりもさらに太い線F22とによって構成される。線F21と線F22とは交互に配置されている(つまり、隣接する線が異なる太さになっている)。これにより、強調合成画像Q2は、
図8の強調合成画像Q1よりもさらに移動体2の移動量や物体までの距離が分かり易い。
【0032】
図10に示す強調合成画像Q3は、合成画像Pに強調画像F3を重畳することで、タイル目地5Aの一部の線を太く変更したものである。強調画像F3は、移動体2から決められた範囲(例えば、移動体2の付近)を強調表示するものある。強調画像F3は、
図9に示す強調合成画像Q2と同様に、タイル目地5Aを構成する線よりも太い線F21と、線F21よりもさらに太い線F22とによって構成される。このような強調合成画像Q3であっても、
図9に示す強調合成画像Q2と同様の効果を奏する。
【0033】
図11に示す強調合成画像Q4は、合成画像Pに強調画像F4を重畳することで、タイル目地5Aの線の種類(実線)を異なる線の種類に変更したものである。強調画像F4は、タイル目地5Aを構成する線の種類(実線)とは異なる種類である間隔が大きい点線F41と、間隔が小さい点線F42とによって構成される。点線F41と点線F42とは交互に配置されている(つまり、隣接する線の種類が異なっている)。このような強調合成画像Q4であっても、
図9に示す強調合成画像Q2と同様の効果を奏する。
【0034】
図12に示す強調合成画像Q5は、合成画像Pに強調画像F5を重畳することで、タイル目地5Aの線の色を異なる色に変更したものである。強調画像F5は、タイル目地5Aを構成する線の色とは異なる第1の色の線F51と、第2の色の線F52とによって構成される。線F51と線F52とは交互に配置されている(つまり、隣接する線の色が異なっている)。このような強調合成画像Q5であっても、
図9に示す強調合成画像Q2と同様の効果を奏する。
【0035】
図13に示す強調合成画像Q6は、合成画像Pに強調画像F6を重畳することで、タイル目地5Bを構成する一部の線の太さを変更したものである。強調画像F6は、タイル目地5Bを構成する線よりも太い線によって構成される。強調画像F6は、合成画像Pに重畳した状態で、タイル目地5Bが構成する直線を一定の間隔で強調するようになっている。このような強調合成画像Q6であっても、
図9に示す強調合成画像Q2と同様の効果を奏する。なお、強調画像F6を用いるのは、例えば移動体2の移動量に比べてタイル目地5Bのサイズが小さい場合などに有効である。
【0036】
図14に示す強調合成画像Q7は、パターン模様5の一例である縞模様5Cに強調画像F7を重畳することで、縞模様5Cを構成する一部の線の太さを変更したものである。強調画像F7は、縞模様5Cを構成する線よりも太い線によって構成される。強調画像F7は、合成画像Pに重畳した状態で、縞模様5Cが構成する直線を一定の間隔で強調するようになっている。このような強調合成画像Q7であっても、
図9に示す強調合成画像Q2と同様の効果を奏する。なお、強調画像F7を用いるのは、例えば移動体2の移動量に比べて縞模様5Cの線の間隔が狭い場合などに有効である。
【0037】
図15に示す強調合成画像Q8は、パターン模様5の一例であるドット模様5Dに強調画像F8を重畳することで、ドット模様5Dを構成する一部の線の太さを変更したものである。強調画像F8は、ドット模様5Dを構成する線よりも太い線によって構成される。強調画像F8は、合成画像Pに重畳した状態で、ドット模様5Dを構成する図形を一定の間隔で強調するようになっている。このような強調合成画像Q8であっても、
図9に示す強調合成画像Q2と同様の効果を奏する。なお、強調画像F8を用いるのは、例えば移動体2の移動量に比べてドット模様5Dを構成する図形が配置される間隔が狭い場合などに有効である。
【0038】
ここで示した以外にも、例えば、パターン模様5を構成する線や図形の近傍に、当該線や図形を識別する情報もしくは移動体2までの距離を示す情報を付すことによって、パターン模様5を強調してもよい。
また、例えば、移動体2からの距離に応じて、パターン模様5を強調する強度を変更するようにしてもよい。
【0039】
図2を参照して移動体2の構成の続きを説明する。
図2に示す俯瞰映像符号化部27は、強調合成画像を伝送に適したデータ形式に符号化し、操縦者が所持する端末3に符号化した強調合成画像を送信する。
【0040】
図2を参照して、端末3の構成を説明する。端末3は、操縦者によって所持され、移動体2を操縦するために使用するものである。端末3は、ディスプレイを有し、当該ディスプレイには、強調合成画像(強調周辺画像)が表示される。なお、端末3は、特許請求の範囲おける「表示部」の一例である。
【0041】
端末3の処理を行なうハードウェアは、例えば、CPU(Central Processing Unit)、各種メモリ等を有する集積回路装置を用いることができ、CPUがROM(Read Only Memory)に格納される処理プログラムを実行することにより、端末3の各種機能が実現される。端末3は、俯瞰映像復号化部31と、俯瞰映像表示部32とを備える。
【0042】
俯瞰映像復号化部31は、移動体2から受信した強調合成画像を復号化し、伝送前の状態に戻す。俯瞰映像復号化部31は、復号化した強調合成画像を俯瞰映像表示部32に渡す。
俯瞰映像表示部32は、強調合成画像をディスプレイに表示させる。ディスプレイに表示される強調合成画像(強調周辺画像)は、移動体2を俯瞰的に見た俯瞰映像となる。ディスプレイに表示される強調合成画像(強調周辺画像)は、パターン模様5が強調されたものとなっている。
なお、操縦者は、予めタイル目地5Aの有無を施設情報として登録しておき、タイル目地5Aがある場合に「強調表示モード」を選択して、パターン模様5を表示するようにしてもよい。
【0043】
以上のように、表示システム1によれば、パターン模様5を強調して表示する。その為、移動体2の移動量や物体までの距離が分かり易く、従来に比べて操縦が容易である。
【0044】
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を変えない範囲で実施することができる。
【符号の説明】
【0045】
1 表示システム
2 移動体
3 端末(表示部)
5 パターン模様
5A,5B タイル目地
5C 縞模様
5D ドット模様
21 カメラ(センサ部)
22 俯瞰映像合成機(画像処理装置)
23 カメラ映像俯瞰合成部(合成部)
24 タイル目地認識部(認識部)
25 AR強調部(強調部)
26 タイル目地AR重畳部(強調部)
27 俯瞰映像符号化部
31 俯瞰映像復号化部
32 俯瞰映像表示部
Q1,Q2,Q3,Q4,Q5,Q6,Q7,Q8 強調合成画像(強調周辺画像)