特開 2015-226146 ３次元モニタ装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2015-226146(P2015-226146A)

(43)【公開日】2015年12月14日

(54)【発明の名称】３次元モニタ装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20151117BHJP

   B60R 21/00 20060101ALI20151117BHJP

【ＦＩ】

   H04N7/18 J

   B60R21/00 628D

   B60R21/00 621C

   B60R21/00 626G

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

【全頁数】9

(21)【出願番号】特願2014-109163(P2014-109163)

(22)【出願日】2014年5月27日

【新規性喪失の例外の表示】申請有り

(71)【出願人】

【識別番号】599141227

【氏名又は名称】学校法人関東学院

(74)【代理人】

【識別番号】100124327

【弁理士】

【氏名又は名称】吉村 勝博

(72)【発明者】

【氏名】海老根 秀之

【テーマコード（参考）】

5C054

【Ｆターム（参考）】

5C054FC11

5C054FD01

5C054FE13

5C054HA30

(57)【要約】

【課題】移動体の移動を補助するために、障害物の立体感や当該障害物との距離感を正確に認識することが出来る画像を画面に表示可能な３次元モニタ装置を提供することを目的とする。
【解決手段】移動体の移動を補助するための画像を表示するモニタ装置であって、当該移動体の進行方向領域を撮像可能なカメラと、当該カメラで撮像した当該移動体の進行方向領域画像に基づき３次元立体画像を生成する３次元立体画像生成部と、当該３次元立体画像生成部で生成された３次元立体画像に当該移動体の予測される移動の軌跡領域の高さラインを少なくとも含む外形３次元ラインを同時表示するための画像処理部と、当該画像処理部で処理された画像を表示する表示装置とを備えたことを特徴とする３次元モニタ装置を採用する。
【選択図】図３

【特許請求の範囲】

【請求項1】

移動体の移動を補助するための画像を表示するモニタ装置であって、
当該移動体の進行方向領域を撮像可能なカメラと、
当該カメラで撮像した当該移動体の進行方向領域画像に基づき３次元立体画像を生成する３次元立体画像生成部と、
当該３次元立体画像生成部で生成された３次元立体画像に当該移動体の予測される移動の軌跡領域の高さラインを少なくとも含む外形３次元ラインを同時表示するための画像処理部と、
当該画像処理部で処理された画像を表示する表示装置とを備えたことを特徴とする３次元モニタ装置。

【請求項2】

前記画像処理部は、前記移動体からの距離を示す距離ラインを前記外形３次元ライン上に表示する請求項１に記載の３次元モニタ装置。

【請求項3】

前記移動体が車両であり、前記画像処理部は、当該車両に設けられ且つ当該車両の外形から張り出す可動部の可動軌跡３次元ラインを、前記３次元立体画像生成部で生成された３次元立体画像に同時表示する請求項１又は請求項２に記載の３次元モニタ装置。

【請求項4】

前記移動体がロボットであり、前記画像処理部は、当該ロボットに設けられ且つ当該ロボットの外形から張り出す可動部の可動軌跡３次元ラインを、前記３次元立体画像生成部で生成された３次元立体画像に同時表示する請求項１又は請求項２に記載の３次元モニタ装置。

【発明の詳細な説明】

【技術分野】

【0001】

本件発明は、３次元モニタ装置に関し、特に移動体の移動を補助するために、移動体の進行方向領域を撮像して表示した３次元立体画像中に移動体のガイドラインを同時に表示する３次元モニタ装置に関する。

【背景技術】

【0002】

近年、普及が進んでいるカーナビゲーションシステムの付加機能の１つとして、移動体である車両の後方を確認するために、車両後部に取り付けられたカメラで当該車両後方を撮像し、この撮像した画像を画面に表示する車載モニタ装置がある。運転者は、運転席近くに設置されたこの画面の車両後方画像を確認することで、バックミラーやドアミラー等では見ることの出来ない領域の状況を確認することができ、車両後方の人や障害物等の存在を把握することが出来る。従って、車載モニタ装置を使用することによって、運転手は、車両を安全に後退させることが出来るようになる。なお、車載モニタ装置には、運転者に当該車両と人や障害物等との距離感をより掴みやすくさせるために、画面に車両のガイドラインを表示させたものも存在する。

【0003】

例えば、特許文献１には、車両の駐車支援装置として、ステアリングホイールの操舵角に基づき車両の進行予測曲線を生成し、当該進行予測曲線に合わせて情報ディスプレイに当該車両の車幅を延長させたラインを、後方画像中に同時表示させたものが開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０００−１７７５１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に開示の車両の駐車支援装置は、情報ディスプレイに表示される画像が２次元平面画像であるため、運転者が当該情報ディスプレイに表示された画像を見ても障害物の立体感や当該障害物との距離感を感覚的に把握することは困難であった。従って、車両が障害物の下を通過する際に、運転者が当該障害物の高さ位置と当該車両の高さとの位置関係を正確に把握出来ないときには、車から降りて直接目視により確認する必要があった。

【0006】

本件発明は、上述した課題を鑑みてなされたものであり、その目的は、移動体の移動を補助するために、障害物の立体感や当該障害物との距離感を正確に認識することが出来る画像を画面に表示可能な３次元モニタ装置を提供することである。

【課題を解決するための手段】

【0007】

本発明者等は、以下に述べる３次元モニタ装置を採用することで上記課題を達成するに到った。

【0008】

本件発明に係る３次元モニタ装置は、移動体の移動を補助するための画像を表示するモニタ装置であって、当該移動体の進行方向領域を撮像可能なカメラと、当該カメラで撮像した当該移動体の進行方向領域画像に基づき３次元立体画像を生成する３次元立体画像生成部と、当該３次元立体画像生成部で生成された３次元立体画像に当該移動体の予測される移動の軌跡領域の高さラインを少なくとも含む外形３次元ラインを同時表示するための画像処理部と、当該画像処理部で処理された画像を表示する表示装置とを備えたことを特徴とする。

【0009】

本件発明に係る３次元モニタ装置において、前記画像処理部は、前記移動体からの距離を示す距離ラインを前記外形３次元ライン上に表示することが好ましい。

【0010】

本件発明に係る３次元モニタ装置において、前記移動体が車両であり、前記画像処理部は、当該車両に設けられ且つ当該車両の外形から張り出す可動部の可動軌跡３次元ラインを、前記３次元立体画像生成部で生成された３次元立体画像に同時表示することが好ましい。

【0011】

本件発明に係る３次元モニタ装置において、前記移動体がロボットであり、前記画像処理部は、当該ロボットに設けられ且つ当該ロボットの外形から張り出す可動部の可動軌跡３次元ラインを、前記３次元立体画像生成部で生成された３次元立体画像に同時表示することが好ましい。

【発明の効果】

【0012】

本件発明に係る３次元モニタ装置は、障害物の立体感や当該障害物との距離感を正確に画面に画像表示する。従って、本件発明に係る３次元モニタ装置によれば、移動体の移動を効果的に補助することが出来る。

【図面の簡単な説明】

【0013】

【図1】本件発明に係る３次元モニタ装置の基本構成を示す制御ブロック図である。

【図2】本件発明に係る３次元モニタ装置の画面に表示される画像の一例を示した図である。

【図3】図２に示した画像中に同時表示された移動体のガイドラインについて説明する図である。

【発明を実施するための形態】

【0014】

以下、本件発明に係る３次元モニタ装置について、一実施の形態を図を用いて説明する。ここで、図１は、本件発明に係る３次元モニタ装置１の基本構成を示す制御ブロック図である。

【0015】

本件発明に係る３次元モニタ装置１は、移動体の移動を補助するための画像を表示するモニタ装置であって、当該移動体の進行方向領域を撮像可能なカメラ１０と、当該カメラ１０で撮像した当該移動体の進行方向領域画像に基づき３次元立体画像を生成する３次元立体画像生成部２０ａと、当該３次元立体画像生成部２０ａで生成された３次元立体画像に当該移動体の予測される移動の軌跡領域の高さラインを少なくとも含む外形３次元ラインを同時表示するための画像処理部２０ｂと、当該画像処理部２０ｂで処理された画像を表示する表示装置３０とを備えたことを特徴とする。

【0016】

本件発明に係る３次元モニタ装置１は、図１の基本構成図に示すように、基本的に、カメラ１０と、制御装置２０と、表示装置３０とから構成される。ここで、当該制御装置２０は、汎用のマイクロコンピュータにより構成される。当該制御装置２０の入力側には、移動体に取り付けられて移動体の進行方向領域を撮像するカメラ１０が接続される。また、制御装置２０の出力側には、当該制御装置２０から出力した画像を表示する画面２を備えた表示装置３０が接続される。そして、この制御装置２０は、当該カメラ１０で撮像された画像を３次元立体画像化する３次元立体画像生成部２０ａと、当該３次元立体画像生成部２０ａで生成した３次元立体画像に車両ガイドラインを同時表示させるための画像処理部２０ｂとを内蔵している。本件発明に係る３次元モニタ装置１は、このような構成を備えることで、移動体の進行方向領域の画像から障害物の立体感や当該障害物との距離感を、従来の２次元平面画像を表示する画面を用いた場合よりも正確に表示することが可能となる。以下に、ここで述べたカメラ１０、制御装置２０、表示装置３０に関して具体的に説明する。

【0017】

＜カメラについて＞
本件発明におけるカメラ１０は、３Ｄ撮像を行うためのカメラである。ここで、当該カメラ１０に求められる要件としては、（ａ）超広角が撮像出来ること、（ｂ）鏡像が撮像出来ること、（ｃ）防水であること、（ｄ）夜間でも明るく撮像出来ることが挙げられる。これら当該カメラ１０に求められる要件を挙げた理由を、以下に述べる。

【0018】

本件発明におけるカメラ１０に関し、上述した（ａ）の要件を挙げた理由は、移動体幅より広い範囲の撮像が出来なければ、移動体の移動時に視界が十分に確保出来ないからである。ちなみに、カメラ１０は、水平方向に１２０〜１４０度程度の視野角が確保されていることが好ましい。次に、上述した（ｂ）の要件を挙げた理由は、移動体を後退させる際に画面に鏡像を表示することで、例えば当該移動体を運転する者がいた場合に、バックミラーによって移動体後方を確認する際と同様の感覚で移動体後方の情報を把握出来るようになるからである。ちなみに、液晶画面や映像コンバータ等を用いて左右反転させる場合には、正像のみ撮像出来るカメラ１０を用いても問題はない。次に、上述した（ｃ）の要件を挙げた理由は、カメラ１０を設置する場所が、主に光源となるバックライトが備えられているナンバープレート周辺等の車外であり、雨にさらされることもあるからである。ちなみに、非防水カメラを防水ケース内に収容して用いたとしても、設置スペースの増大化を招くため好ましくない。次に、上述した（ｄ）の要件を挙げた理由は、特に３次元立体画像の場合、画像が暗いと左右の画像の視差が分かり難く、立体感が掴み難くなるからである。

【0019】

なお、本件発明におけるカメラ１０は、３Ｄ撮像を行うために、２台のカメラを用いたり、二眼式一体型の３Ｄカメラを用いることが出来る。ここで、２台のカメラを用いて撮像する場合には、光軸やレンズ、撮像素子等を同じ特性のものとする観点から、同じ型番のカメラを用いることが前提となる。なお、２台のカメラの光軸がズレた状態で生成された３次元立体画像は、立体視し難く、眼精疲労も起こり易い。また、２台のカメラを用いて撮像する場合には、２台のカメラの同期をとる必要があり、仮に放送用カメラを使用して３Ｄ撮像する場合には、Ｇｅｎｌｏｃｋ信号を使って同期をとる。そうすることで、被写体の動きが早い場合でも、見やすい３次元立体画像を撮像することが出来る。一方、二眼式一体型の３Ｄカメラは、既に製品として市販されているものの中から選ぶことになるため、２つのレンズの中心間距離や焦点位置の変更が行えない等の様々な制約がある。ちなみに、本件発明におけるカメラ１０は、２Ｄカメラを用いることも出来る。この場合には、撮像された２次元平面画像を２Ｄ／３Ｄ変換装置を用いて３次元立体画像に変換する。

【0020】

＜表示装置について＞
本件発明の表示装置３０は、３次元立体画像を表示するための画面２を備えたものである。ここで、当該表示装置３０に求められる要件としては、（１）画面サイズが７〜１０型程度の３Ｄ対応画面であること、（２）裸眼３Ｄ画面であること、（３）移動体の電源操作で起動して表示出来ることが挙げられる。これら当該表示装置３０に求められる要件を挙げた理由を、以下に述べる。

【0021】

本件発明における表示装置３０に関し、まず、上述した（１）の要件を挙げた理由は、画面２のサイズが７〜１０型程度であれば、画面２に表示される移動体の進行方向領域の画像が立体視しやすくなり、また、設置スペースの増大化を防ぐことが出来るからである。次に、上述した（２）の要件を挙げた理由は、裸眼３Ｄ画面であることで、例えば当該移動体を運転する者がいた場合に、３Ｄ眼鏡をかける煩わしさがなくなり実用性を損ねることがないからである。なお、従来のカーナビに使用される画面のように３Ｄ対応画面でないものは、そもそも３次元立体表示することが出来ない。次に、上述した（３）の要件を挙げた理由は、画面２が移動体の電源操作に連動して起動することで、面倒な操作をしなくとも画面に移動体の進行方向領域画像を表示することが出来るからである。

【0022】

＜制御装置について＞
本件発明の制御装置２０が内蔵する３次元立体画像生成部２０ａは、カメラ１０で撮像された画像を３次元立体画像化するにあたり、従来公知の方法を採用することが出来る。例えば、当該３次元立体画像生成部２０ａは、２台のカメラ１０により撮像して得られる２つの移動体の進行方向領域画像を３Ｄコンバータにより３次元立体画像に変換することが出来る。そして、本件発明の制御装置２０が内蔵する画像処理部２０ｂに関しても、当該３次元立体画像生成部２０ａよって生成された３次元立体画像３中に、移動体のガイドラインを同時表示させた画像を生成するにあたり、従来公知の方法を採用することが出来る。更に、当該移動体のガイドラインの作成に関しても、従来公知の方法を用いることができ、例えば当該移動体が車両である場合にステアリングホイールの操舵角に基づき車両の進行予測曲線を作成したり、Ｐｈｏｔｏｓｈｏｐ（米アドビシステムズ社の商品名）等のアプリケーションを用いて単に移動体より延在する直線を作成することが出来る。但し、本件発明に係る３次元モニタ装置１は、当該画像処理部２０ｂが作成する移動体のガイドラインを、当該３次元立体画像生成部２０ａによって生成された３次元立体画像３と同時表示させることで、障害物の立体感や当該障害物との距離感を正確に表示装置３０の画面２に表示することが出来る。

【0023】

以上をふまえ、本件発明における画面２に表示する移動体のガイドラインに関して図２及び図３を用いて説明する。ここで、図２は、本件発明における画面に表示される画像の一例を示した図である。また、図３は、図２に示した画像中に同時表示された移動体のガイドラインについて説明する図である。

【0024】

例えば、本件発明に係る３次元モニタ装置１は、移動体を移動させる場合に、図２及び図３に示す如く、当該移動体の進行方向領域の３次元立体画像３に当該移動体の予測される移動の軌跡領域の高さライン５と共に幅ライン４を外形３次元ラインとして画面２に表示させることが出来る。ここで、当該画面２には、図２及び図３に示す如く、当該高さライン５として、移動体の進行方向で見て当該移動体の左上端部から進行方向に向かって延在する高さライン５ａと、移動体の進行方向で見て当該移動体の右上端部から進行方向に向かって延在する高さライン５ｂとを表示することが出来る。更に、当該画面２には、図２及び図３に示す如く、当該幅ライン４として、移動体の進行方向で見て当該移動体の左下端部から進行方向に向かって延在する幅ライン４ａと、移動体の進行方向で見て当該移動体の右下端部から進行方向に向かって延在する幅ライン４ｂとを表示することが出来る。このように、本件発明に係る３次元モニタ装置１は、図２及び図３に示す如く、高さライン５を少なくとも含む外形３次元ラインを画面２表示することで、移動体の移動を効果的に補助することが出来る。

【0025】

なお、本件発明における移動体は、運転者（又は操縦者）が当該移動体に直接乗り込んで運転（又は操縦）する形態のものでも、操作者が外部から有線又は無線で操作する形態のものでも良く、また、運転者や操作者がいなくとも自身で走行経路を決定して走行する形態のものであっても良い。本件発明に係る３次元モニタ装置１は、障害物の立体感や移動体との距離感を正確に画面に画像表示するため、移動体の形態を問わずに、当該移動体の移動を効果的に補助することが出来る。

【0026】

また、本件発明に係る３次元モニタ装置１において、画像処理部２０ｂは、移動体からの距離を示す距離ラインを上述した外形３次元ライン上に表示することが好ましい。

【0027】

本件発明に係る３次元モニタ装置１は、図３に示す如く、画像処理部２０ｂにより、画面２に表示した外形３次元ライン（例えば、図３に示す４ａ，４ｂ，５ａ，５ｂ）上に、移動体からの距離を表す距離ライン６ａ〜６ｅを同時表示することで、障害物の立体感や当該障害物との距離感をより正確に画面２に画像表示することが可能となる。なお、このときに、当該距離ライン６ａ〜６ｅを移動体の進行方向端部から所定距離毎に画面２に表示することで、障害物との距離感をより正確に把握することが出来る。また、当該距離ライン６ａ〜６ｅは、幅ライン４ａ，４ｂ上及び高さライン５ａ，５ｂ上において、移動体からの距離が同じポイント同士を結んで略ロ字状のラインとすることで、移動体の進行予測ラインが画面２に立体的に表示されるため、障害物と接触する危険性をいち早く察知することが可能となる。

【0028】

また、本件発明に係る３次元モニタ装置１において、上述の移動体が車両であり、画像処理部２０ｂは、当該車両に設けられ且つ当該車両の外形から張り出す可動部の可動軌跡３次元ラインを、３次元立体画像生成部２０ａで生成された３次元立体画像３に同時表示することが好ましい。

【0029】

本件発明に係る３次元モニタ装置１は、移動体が車両である場合に、例えばサイドドアやテールゲート等のように開放時に当該車両の外形から張り出す可動部の可動軌跡３次元ラインを、画面２に３次元立体画像３と共に表示することで、運転者の乗り降りや荷物の積み降ろし等が可能かどうかを正確に判断することが可能となる。また、本件発明に係る３次元モニタ装置１は、高さライン５を少なくとも含む外形３次元ラインを表示することで、当該可動部に関して様々な形態に対応することが可能であり、例えばサイドドアに関してもスライド式ドアやガルウィング式ドア等様々な形態のドアに対応することが可能である。ちなみに、本件発明に係る３次元モニタ装置１は、当該可動部の可動軌跡３次元ラインに関して、車両の車種や使用者の好み等に合わせて任意に設定したり、予め登録してある複数の車種の可動軌跡ラインの中から自車両の車種に対応する可動軌跡３次元ラインを選択すること等によって設定し、この設定に対応した可動軌跡３次元ラインを画面２に表示することが出来る。また、本件発明に係る３次元モニタ装置１によれば、この可動部の可動軌跡３次元ラインの設定は、画面２上のタッチパネルの操作やリモコン端末による操作等の簡易な方法で行うことが可能である。

【0030】

以下に、本件発明の画面２に表示される可動部の可動軌跡３次元ラインについて、例を示しながら具体的に説明する。例えば、本件発明の画面２に表示する可動部の可動軌跡３次元ラインが、車両に設けられるテールゲートの可動軌跡３次元ラインである場合には、当該画面２に車両のテールゲートの両端が開閉時に描くテールゲート開閉ライン７を表示することで、テールゲートの開閉を支障なく行うことが出来る。このときに、図２及び図３に示す如く、テールゲート開閉ライン７として、運転席から見て車両の右側のテールゲート開閉ライン７ａと、運転席から見て車両の左側のテールゲート開閉ライン７ｂを表示することが出来る。更に、本件発明の画像処理部２０ｂでは、テールゲート開放時における最大張り出し量を示すテールゲート開放時最大張り出しライン９を画面２に表示することも出来る。画面２に当該テールゲート開閉時最大張り出しライン９を表示することで、例え車両後方に壁等の障害物が位置した状態で車両を停車させる場合であっても、当該テールゲート開閉時最大張り出しライン９に基づいて停車する限りテールゲートの開放を支障なく行うことが出来る。

【0031】

ちなみに、本件発明の画面２には、画像処理部２０ｂにより作成された、車両のバンパー８を模擬表示させることもでき、この場合には、車両を駐車スペースに移動させる際に他の駐車車両と接触しないよう、運転者を効果的に支援することが出来る。

【0032】

また、本件発明に係る３次元モニタ装置１において、上述の移動体がロボットであり、画像処理部２０ｂは、当該ロボットに設けられ且つ当該ロボットの外形から張り出す可動部の可動軌跡３次元ラインを、３次元立体画像生成部２０ａで生成された３次元立体画像３に同時表示することが好ましい。

【0033】

本件発明に係る３次元モニタ装置１は、移動体がロボットである場合に、例えばアーム等のように駆動時に当該ロボットの外形から張り出す可動部の可動軌跡３次元ラインを、画面２に３次元立体画像３と共に表示することで、操作者が当該アームを正確に行うことが可能となる。また、本件発明に係る３次元モニタ装置１は、高さライン５を少なくとも含む外形３次元ラインを画面２に表示することで、当該可動部に関して様々な動きに対応することが可能であり、操作者は、複雑な作業であっても正確に行うことが可能となる。なお、本件発明に係る３次元モニタ装置１は、当該可動部の可動軌跡３次元ラインに関して、予め登録してある当該アームの可能動作の中から任意の動作を選択し、この選択した動作に対応した可動軌跡３次元ラインを画面２に表示することが出来る。また、本件発明に係る３次元モニタ装置１によれば、この可動部の可動軌跡３次元ラインの設定は、画面２上のタッチパネルの操作やリモコン端末による操作等の簡易な方法で行うことが可能である。ちなみに、当該ロボットは、操作者がおらず自身で走行経路を決定して走行する形態のものであっても、本件発明に係る３次元モニタ装置１が画面２に表示した画像に基づいて、当該アームの干渉の有無を判断することが出来る。

【産業上の利用可能性】

【0034】

本件発明に係る３次元モニタ装置は、画面に表示する移動体の進行方向領域画像を３次元立体画像とし、当該３次元立体画像に当該移動体の予測される移動の軌跡領域の高さラインを少なくとも含む外形３次元ラインを同時表示することで、障害物の立体感や移動体との距離感を正確に画面に画像表示することが出来る。従って、本件発明に係る３次元モニタ装置は、一般的な乗用車やトラック等の様々な種類の車両に好適に用いることができ、また、産業用ロボット、油圧ショベル等の重機、クレーン車等の建設機械、内視鏡等の医療装置、航空機、船舶等にも適用することが出来る。

【符号の説明】

【0035】

１ ３次元モニタ装置
２ 画面
３ ３次元立体画像
４ 幅ライン
４ａ 幅ライン（移動体の進行方向で見て当該移動体の左下端部側）
４ｂ 幅ライン（移動体の進行方向で見て当該移動体の右下端部側）
５ 高さライン
５ａ 高さライン（移動体の進行方向で見て当該移動体の左上端部側）
５ｂ 高さライン（移動体の進行方向で見て当該移動体の右上端部側）
６ａ〜６ｅ 距離ライン
７ テールゲート開閉ライン
７ａ テールゲート開閉ライン（運転席から見て車両の右側）
７ｂ テールゲート開閉ライン（運転席から見て車両の左側）
８ バンパー（模擬）
９ テールゲート開放時最大張り出しライン
１０ カメラ
２０ 制御装置
２０ａ ３次元立体画像生成部
２０ｂ 画像処理部
３０ 表示装置

【図1】

【図3】

【図2】