(58)【調査した分野】(Int.Cl.,DB名)
移動体の周辺に存在する所定の対象物を検出するセンサと、前記センサの検出結果に基づいて所定の対象物を認識する認識部と、所定画像を生成する画像生成部と、前記所定画像を表示媒体に出力することで、前記移動体と前記所定の対象物との位置関係を示す所定形状の図形を前記表示媒体に表示する表示部と、を含む表示システムにおける表示制御装置であって、
前記認識部から認識結果を取得する取得部と、
前記認識部が前記所定の対象物を認識した場合において、前記認識結果に基づいて、前記表示媒体に表示されたときに前記所定形状の図形を表す前記所定画像を生成するように前記画像生成部を制御する制御部と、
を備え、
前記制御部は、
前記検出された所定の対象物が歩行者である場合において、
前記歩行者が第1の種別である場合、前記表示媒体に表示されたときに、第1の幅の部分領域を含む第1の所定形状の図形を表す第1の所定画像を生成するように前記画像生成部を制御し、
前記歩行者が前記第1の種別より低年齢である第2の種別である場合、前記表示媒体に表示されたときに、前記第1の幅よりも広い第2の幅の部分領域を含む第2の所定形状の図形を表す第2の所定画像を生成するように前記画像生成部を制御する、
表示制御装置。
移動体の周辺を検出する第1のセンサと、雨、霧、雪による悪天候、または、逆光、他の移動体からの照明光、夜間の走行、トンネル内の走行による照度変化を検出する第2のセンサと、前記第1のセンサの検出結果に基づいて所定の対象物を認識する認識部と、前記移動体と前記所定の対象物との位置関係を示す所定画像を生成して表示媒体に表示する表示部と、を含む表示システムにおけるコンピュータに実行させる表示制御プログラムであって、
前記コンピュータに対して、
前記第2のセンサにおいて、前記悪天候および前記照度変化のいずれも検出されない場合、前記第1のセンサの認識精度を第1の認識精度であると判定し、前記第2のセンサにおいて、前記悪天候または前記照度変化が検出された場合、前記認識精度を前記第1の認識精度よりも低い第2の認識精度であると判定する処理と、
前記認識部により前記所定の対象物が認識された場合において、
前記認識精度が前記第1の認識精度であると判定された場合、前記表示媒体に表示されたときに第1の所定形状の図形を表す前記所定画像を生成するように前記表示部を制御し、前記認識精度が前記第2の認識精度であると判定された場合、前記表示媒体に表示されたときに第2の所定形状の図形を表す前記所定画像を生成するように前記表示部を制御する処理と、
を実行させ、
前記第1の所定形状の図形は、前記所定の対象物が存在する方向を示す部分領域の幅が第1の幅であり、
前記第2の所定形状の図形は、前記部分領域の幅が前記第1の幅よりも広い第2の幅である、
表示制御プログラム。
【発明を実施するための形態】
【0012】
従来の運転支援システムでは、例えば、センサとしてカメラを用いた場合、夜間、逆光、雨天などの走行環境において、センシング精度が低下するおそれがある。また、従来の運転支援システムでは、例えば、センサとしてミリ波レーダを用いた場合、レーダを反射する障害物が存在する走行環境において、センシング精度が低下するおそれがある。このようにセンシング精度が低下した状況であるにもかかわらず、乗員に対して通常と同様の情報提示を行った場合、誤報または欠報を引き起こすおそれがある。そのため、乗員は、センシング精度の低下を把握することが重要である。そこで、本発明の実施の形態は、提示された情報およびセンシング精度を乗員が把握できるようにすることを目的とする。
【0013】
(実施の形態1)
本発明の実施の形態1について、図面を参照して説明する。
【0014】
まず、本実施の形態に係る表示システム10の構成例について
図1を用いて説明する。
図1は、本実施の形態に係る表示システム10の構成例を示すブロック図である。
【0015】
表示システム10は、例えば、車両等の移動体において用いられる。すなわち、表示システム10は、車載機器であってもよいし、車両に持ち込まれる機器であってもよい。なお、本実施の形態では、表示システム10が車両に適用されたものとして説明するが、移動体は、車両に限定されず、船舶、航空機等であってもよい。また、本実施の形態では、ユーザが車両の乗員、特に車両の運転者である例について説明するが、その限りではない。さらには、表示システム10は、ユーザが身体に装着に可能なウェラブルコンピュータ(例えば、後述するHMD)において用いられてもよい。
【0016】
図1において、表示システム10は、センサ100、認識部200、算出部300、表示制御装置400、表示部500を有する。また、表示制御装置400は、判定部401および表示制御部402を有する。
【0017】
センサ100は、所定時間ごとに、車両の運転者の前景(前方の視界)をセンシングする。センサ100は、例えばセンシングカメラである。センシングカメラは、車両の内部または外部に搭載され、車両の前景を撮影する。または、センサ100は、例えばレーダであってもよい。レーダは、車両の内部または外部に搭載され、車両の前景をセンシングする。
【0018】
そして、センサ100は、前景のセンシング結果を示す前景情報を認識部200へ出力する。この出力は、例えば、所定の時間間隔で行われる。
【0019】
認識部200は、センサ100からの前景情報に基づいて、車両周辺に存在する所定の対象物を認識する。対象物は、例えば、移動体(例えば、車両、人物、自転車、二輪車等)、道路上の白線、標識、路面標示、縁石、ガードレール、信号機、電柱、建物である。例えば、センサ100がセンシングカメラである場合、認識部200は、前景情報(例えば、前景画像)に対してパタンマッチングなどを行い、対象物を認識する。また、例えば、センサ100がレーダである場合、認識部200は、前景情報からクラスタリングまたは機械学習等により対象物を抽出し、認識する。なお、認識部200における対象物認識技術は公知技術であるため、その詳細な説明は省略する。
【0020】
そして、認識部200は、対象物の認識結果を示す認識結果情報を算出部300および表示制御装置400の表示制御部402へ出力する。認識結果情報は、例えば、対象物の存在位置(X,Y)、車両の進行方向に対する対象物の相対角度(以下、単に相対角度という)、対象物と車両との相対速度、対象物の種別、パタンマッチングで得られた情報、対象物の追跡処理で得られた情報などを含む。なお、上記対象物の存在位置(X,Y)は、車両のセンシングカメラが設置された点を基準として横方向をX、前方方向をYとするカメラ座標系における座標である。また、上記対象物の存在位置(X,Y)におけるYは、車両の進行方向における車両と対象物との距離(以下、単に距離という)を示す。
【0021】
算出部300は、センサの認識精度(センシング精度ともいう。以下、単に認識精度という)を算出する。算出部300は、認識部200からの認識結果に基づいてセンシング精度を算出してもよいし、認識部200による認識結果を用いずにセンシング精度を算出してもよい。以下、詳細に説明する。
【0022】
算出部300は、例えば、認識部200からの認識結果に基づいてセンシング精度を算出する。具体的には、算出部300は、パタンマッチングの際に得られる前景画像とテンプレートとの差分に基づいて、認識精度を算出する。この場合、例えば、算出部300は、カメラにより撮影された対象物の画像と予め記憶されたテンプレートとの差分が小さいときに、認識精度が高い値となるように算出する。または、例えば、算出部300は、異なる画像フレーム間における対象物(例えば移動体)の追跡処理の際に得られるフレーム数に基づいて、認識精度を算出する。この場合、例えば、算出部300は、フレーム数が多い程、認識精度が高い値となるように算出する。また、追跡処理が成功していた場合でも、フレーム間で対象物の検出結果が大きく変化する場合には、認識精度が低い可能性がある。そのため、例えば、フレーム間の検出結果(距離、相対速度など)の変化量が大きい程、認識精度が低くなるように算出してもよい。また、センサとしてカメラ以外を用いる場合は、上記で説明した前景画像とテンプレートの差分に該当するセンサの種別に応じた特徴量を、認識精度算出に用いればよい。
【0023】
また、算出部300は、例えば、車両の走行環境の認識結果に基づいて認識精度が算出されてもよい。例えば、センサ100がセンシングカメラである場合、認識部200は、センシングカメラにより撮影された車両の前景画像に対して所定の画像処理を行い、認識精度が低下しやすい走行環境であるか(例えば、雨、霧、みぞれ、雹、雪などの悪天候の中を車両が走行しているか、逆光または対向車のヘッドライトなどにより車両周辺の照度が増加したか、夜間またはトンネル内の走行により車両周辺の照度が減少したか)を認識する。算出部300は、認識部200により認識精度が低下しやすい走行環境であると認識された場合、認識精度を低い値に算出する。
【0024】
また、算出部300は、例えば、認識部200による認識結果を用いずに行うようにしてもよい。この場合の例について
図2を用いて説明する。
図2において、
図1と同じ構成要素には同一符号を付し、ここでの説明は省略する。
図2において、例えば、センサ100がセンシングカメラである場合、算出部300は、センサ100から車両の前景画像を受け取る。そして、算出部300は、車両の前景画像に、認識精度が低下しやすい走行環境であるか(例えば、雨、霧、みぞれ、雹、雪などの悪天候の中を車両が走行しているか、逆光または対向車のヘッドライトなどにより車両周辺の照度が増加したか、夜間またはトンネル内の走行により車両周辺の照度が減少したか)を示す情報が含まれる場合、認識精度を低い値に算出する。
【0025】
また、
図2において、センサ100の代わりに別のセンサ(例えば、実施の形態2で後述するセンサ101と同じセンサ)を備えるように構成してもよい。このセンサは、認識精度が低下しやすい走行環境(例えば、雨、霧、みぞれ、雹、雪などの悪天候の中を車両が走行しているか、逆光または対向車のヘッドライトなどにより車両周辺の照度が増加したか、夜間またはトンネル内の走行により車両周辺の照度が減少したか)を検出可能なセンサであり、例えば、雨滴センサまたは照度センサである。算出部300は、上記センサから検出結果を示す情報を受け取る。そして、算出部300は、検出結果が認識精度の低下しやすい走行環境である場合、認識精度を低い値に算出する。
【0026】
そして、算出部300は、認識精度値を示す認識精度情報を表示制御装置400の判定部401へ出力する。
【0027】
判定部401は、算出部300からの認識結果情報と、予め定められた閾値とに基づいて、認識精度の高低を判定する。例えば、判定部401は、認識結果情報が示す認識精度値が閾値以上である(または、閾値より大きい)場合、高精度であると判定する。一方、例えば、判定部401は、認識結果情報が示す認識精度値が閾値より小さい(または、閾値以下である)場合、低精度であると判定する。
【0028】
そして、判定部401は、判定結果を示す判定結果情報を表示制御部402へ出力する。
【0029】
表示制御部402は、判定部401からの判定結果情報に基づいて、予め定められた検出範囲図形において強調表示領域が表示される幅(以下、表示幅という)を決定する。検出範囲図形とは、センサ100の検出範囲を模式的に示す所定形状の画像情報であり、表示制御部402(または図示しない記憶部)が予め記憶している。検出範囲図形の詳細は
図4を用いて後述する。また、強調表示領域とは、上記検出範囲図形において強調して表示される領域であり、例えば、対象物が存在する方向を示す領域である。強調表示領域は、常時表示されてもよいし、随時表示されてもよい。また、表示幅は、例えば、角度で示される。例えば、表示制御部402は、判定結果情報が高精度(第1の認識精度の一例)を示す場合、第1の表示幅に決定する。一方、例えば、表示制御部402は、判定結果情報が低精度(第2の認識精度の一例)を示す場合、表示幅を第2の表示幅に決定する。第2の表示幅は、第1の表示幅よりも大きい値である。
【0030】
また、表示制御部402は、認識部200からの認識結果情報に基づいて、上記検出範囲図形において強調表示領域が表示される方向(以下、表示方向という)を決定する。表示方向は、例えば、角度で示される。この決定処理の具体例については、
図5を用いて後述する。なお、表示方向は、上記検出範囲図形において強調表示領域が表示される位置と言い換えることもできる。
【0031】
そして、表示制御部402は、決定した表示幅および表示方向に基づいて、上記検出範囲図形における強調表示領域の範囲を決定する。なお、この決定処理の具体例については、
図5を用いて後述する。
【0032】
また、表示制御部402は、強調表示領域とそれ以外の領域(以下、非強調表示領域という)それぞれの表示形態を決定する。表示形態とは、例えば、強調表示領域と非強調表示領域のそれぞれについての、色付け方法(領域全体を塗り潰すか、または、領域の周辺のみを塗るか)、その色付け方法で用いる色などである。
【0033】
そして、表示制御部402は、制御情報を表示部500へ出力する。制御情報は、表示部500を制御するための情報であり、例えば、検出範囲図形の形状、その検出範囲図形における強調表示領域の範囲、および表示形態の情報などを含む。
【0034】
表示部500は、表示制御部402からの制御情報に基づいて、図形(例えば、検出範囲図形、後述する基準位置図形)を生成し、それをディスプレイ(表示媒体の一例)へ投影する。この表示例については、
図6、
図7を用いて後述する。表示部500は、プロジェクタ機能を有し、ディスプレイへ直接投影する。なお、表示部500は、プロジェクタ機能を用いる代わりに、例えば、ディスプレイに表示させてもよいし、または、ホログラムを用いてもよい。ホログラムを用いる場合、導光板の内部全反射条件を満たす平行光束群を内部全反射して導光する導光板を用いて、導光板を内部全反射して導光される平行光束群の一部を射出することで乗員に虚像を視認させる方式でもよい。なお、導光板を用いた方式においては、プロジェクタのように画像データを直接的に投影するものではないが、説明の便宜上、プロジェクタ方式と同様に投影という定義で説明する。
【0035】
ディスプレイとしては、例えば、LCD(Liquid Crystal Display)、HUD(Head‐Up Display)、HMD(Head‐Mounted DisplayまたはHelmet‐Mounted Display)、眼鏡型ディスプレイ(Smart Glasses)、ナビゲーション用ディスプレイ、メータディスプレイ、その他の専用のディスプレイなどが適用される。HUDは、例えば、車両のウインドシールドであってもよいし、別途設けられるガラス面、プラスチック面などであってもよい。また、ウインドシールドは、例えば、フロントガラスであってもよいし、車両のサイドガラスまたはバックガラスであってもよい。
【0036】
なお、表示システム10は、上述したディスプレイを含む構成であってもよい。
【0037】
また、上述した図形(例えば、検出範囲図形、後述する基準位置図形)は、表示部500ではなく、表示制御装置400または図示しない他の構成要素によって生成されてもよい。
【0038】
表示システム10において生成される図形(例えば、検出範囲図形、後述する基準位置図形)は、例えば、虚像として運転者に視認される。このとき、図形は、運転者の視界に重畳されるようにディスプレイに投影されてもよい。なお、ディスプレイに投影された図形が虚像として運転者に視認される原理は、公知技術であるため、説明を省略する。
【0039】
次に、本実施の形態に係る表示システム10の動作例について
図3を用いて説明する。
図3は、本実施の形態に係る表示システム10の動作例を示すフローチャートである。
図3のフローは、例えば、30ミリ秒、100ミリ秒といった所定の作動間隔で行われる。例えば、センサ100がセンシングカメラであり、15fps、30fps等のフレームレートで認識部200への前景情報の出力が行われる場合、その出力間隔に合わせて
図3のフローが行われてもよい。
【0040】
ステップS001において、認識部200は、センサ100からの前景情報に基づいて、車両周辺に存在する対象物を認識する。
【0041】
ステップS002において、算出部300は、認識部200からの認識結果情報に基づいて、認識精度を算出する。
【0042】
ステップS003において、判定部401は、算出部300からの認識結果情報と、予め定められた閾値とに基づいて、認識精度の高低を判定する。すなわち、認識結果情報が示す認識精度値が閾値以上である場合、判定部401は、高精度であると判定する(ステップS003:YES)。この場合、フローはステップS004へ進む。一方、認識結果情報が示す認識精度値が閾値より小さい場合、判定部401は、低精度であると判定する(ステップS003:NO)。この場合、フローはステップS005へ進む。
【0043】
ステップS004において、表示制御部402は、判定部401からの判定結果情報が高精度を示す場合、表示幅を第1の表示幅に決定する。第1の表示幅は、第2の表示幅より小さい値であり、例えば5度である。
【0044】
ステップS005において、表示制御部402は、判定部401からの判定結果情報が低精度を示す場合、表示幅を第2の表示幅に決定する。第2の表示幅は、第1の表示幅より大きい値であり、例えば10度である。
【0045】
なお、表示幅と認識精度とは予め対応付けられており、それを表示制御部402が記憶している。よって、上記ステップS004およびS005において、表示制御部402は、上記対応付けと、判定結果情報が示す認識精度とに基づいて、第1の表示幅または第2の表示幅を決定する。
【0046】
ステップS006において、表示制御部402は、認識部200からの認識結果情報(例えば、相対角度)に基づいて表示方向を決定する。この決定処理の具体例については、
図5を用いて後述する。
【0047】
ステップS007において、表示制御部402は、決定した第1の表示幅または第2の表示幅と、決定した表示方向とに基づいて、予め定められた検出範囲図形(例えば、後述の
図4の図形302)における強調表示領域の範囲を決定する。この決定処理の具体例については、
図5を用いて後述する。
【0048】
ここで、ステップS006〜S007における処理の具体例を、
図4、
図5を用いて説明する。
【0049】
まず、
図4を用いて、表示システム10で生成される図形(例えば、基準位置図形および検出範囲図形)の一例について説明する。
図4において、図形301は、基準位置図形の一例であり、車両を示す。また、図形302は、検出範囲図形の一例であり、センサ100の検出範囲である車両の周辺(車両と対象物との位置関係)を示す。図形301は、表示方向の決定の際に基準位置として用いられるものである。基準位置は、例えば、センサ100が設置された位置である。図形302は、決定された表示幅および表示方向に基づいて強調表示領域の範囲が決定されるものである。なお、
図4に示す図形302は、強調表示領域の決定前の状態を示している。そして、
図4に示す図形302は、常時ディスプレイに表示されてもよいし、随時ディスプレイに表示されてもよい。なお、
図4に示す図形301および図形302は、デフォルトの態様であり、この態様にて表示制御部402(または図示しない記憶部)に予め記憶されている。
【0050】
次に、
図5を用いて、ステップS006における表示方向の決定処理、およびステップS007における強調表示領域の範囲の決定処理の具体例について説明する。
【0051】
まず、表示方向の決定処理の具体例を説明する。例えば、表示制御部402は、基準位置としての図形301から伸びた基準直線501(例えば、上述したカメラ座標系における前方方向Yを示す直線)から角度502ずれた方向、すなわち直線503の方向を表示方向として決定する。角度502は、基準直線501を基準として測定した水平面内における角度である。また、この角度502は、対象物の存在する方向を示す角度であり、例えば、認識部200で認識された相対角度である。角度502は、例えば、
図5に示す基準直線501の位置から、時計回りの方向を正、反時計回りの方向を負として測定される。よって、例えば、認識部200において−40度に歩行者が認識された場合、
図5に示すように、表示制御部402は、基準直線501を反時計回り方向へ40度(角度502の一例)回転させることで、直線503を得ることができる。
【0052】
次に、強調表示領域の範囲の決定処理の具体例を説明する。例えば、表示制御部402は、図形302において、直線503を基準として表示幅404が示す範囲を強調表示領域405として決定する。例えば、表示幅404が10度である場、表示制御部402は、図形301を中心として直線503を時計回り方向へ5度回転させ、その結果得られた直線(図示せず)の位置を第1のエッジに決定する。また、表示制御部402は、図形301を中心として直線503を反時計回り方向へ5度回転させ、その結果得られた直線(図示せず)の位置を第2の方向のエッジに決定する。そして、表示制御部402は、図形302において第1のエッジと第2のエッジとの間の領域を、強調表示領域405に決定する。また、表示制御部402は、図形302において強調表示領域405以外の領域を、非強調表示領域406として決定する。
【0053】
以上、表示方向の決定処理および強調表示領域の範囲の決定処理の具体例について説明した。以下、
図3のフローに戻る。
【0054】
ステップS008において、表示制御部402は、強調表示領域および非強調表示領域それぞれの表示形態を決定する。なお、領域の種別(強調表示領域、非強調表示領域)と表示形態(色付け方法とそれに用いる色)とは予め対応付けられており、それを表示制御部402が記憶している。よって、このステップS008において、表示制御部402は、上記対応付けに基づいて、強調表示領域および非強調表示領域それぞれの表示形態を決定する。
【0055】
上述のように強調表示領域の範囲の決定処理および表示形態の決定処理が終了すると、表示制御部402は、決定した強調表示領域の範囲および表示形態に基づいて図形(例えば、図形301、302)を生成してディスプレイに表示するように制御する制御情報を表示部500へ出力する。
【0056】
ステップS009において、表示部500は、表示制御部402からの制御情報に基づいて、図形(例えば、図形301、302)を生成し、ディスプレイに表示する。この表示の具体例を
図6に示す。
図6Aは、認識精度が高精度の場合における図形301および図形302(第1の図形の一例)の表示例であり、
図6Bは、認識精度が低精度の場合における図形301および図形302(第2の図形の一例)の表示例である。
図6Aおよび
図6Bにおいて、例えば、強調表示領域405は黄色または赤色などで領域全体が塗り潰された形態である一方で、非強調表示領域406は灰色などで領域全体が塗り潰された形態である。なお、
図6Aの図形301、302および
図6Bの図形301、302に対して、それぞれ、射影変換などを用いることにより、
図6Cおよび
図6Dに示す表示としてもよい。
【0057】
上述した
図6に示す図形301、302は、例えば、
図7に示すようにHUD602(ディスプレイの一例)に表示される。
図7Aおよび
図7Bは、前景画像601において白線603近傍に存在する歩行者604が認識された場合であり、
図7Aは認識精度が高精度である場合(例えば晴天の場合)、
図7Bは認識精度が低精度である場合(例えば雨天の場合)を示している。
図7Aおよび
図7Bでは、強調表示領域405により歩行者604が存在する位置が示されているが、
図7Aの強調表示領域405は、
図7Bの強調表示領域405に比べて表示幅が狭いため、より分解能の高い情報が運転者に提供されている。よって、
図7Aの場合、
図7Bの場合と比較して、運転者は、歩行者604のより詳細な存在方向を把握できる。
【0058】
以上説明したように、本実施の形態では、対象物の存在方向を示す強調表示領域を含む検出範囲図形を常時ディスプレイに表示し、認識精度に応じて強調表示領域の表示幅を変更することを特徴とする。これにより、車両の運転者は、対象物の存在方向および認識精度を常時かつ直感的に把握することが可能となる。その結果、運転者は、表示システムに対して過度に依存することなく、運転操作を行うことができる。
【0059】
また、本実施の形態では、認識部による対象物の認識結果(例えば、相対角度)が同じであったとしても、認識精度に応じて強調表示領域の表示幅を変更することを特徴とする。これにより、認識精度が低い場合は低い分解能で、または、認識精度が高い場合は高い分解能で、対象物の存在方向を表示することができる。
【0060】
以上、本発明の実施の形態1について説明したが、本発明は上記実施の形態1に限定されず、種々の変形が可能である。以下、変形例について説明する。
【0061】
(変形例1)
上記実施の形態では、図形301を中心として基準直線501から相対角度分ずれた方向(直線503が示す方向)を表示方向として決定したが、表示方向の決定は、これに限定されない。表示方向の決定処理の変形例について
図8を用いて説明する。
図8Aは、表示方向を決定する際に用いられるテーブルの例を示す。このテーブルは、表示制御部402(または図示しない記憶部)に予め記憶されている。そして、このテーブルでは、相対角度Aの条件と表示方向の角度(表示方向を示す直線)とが対応付けられている。例えば、認識結果情報に含まれる相対角度Aが−40度を示す場合、表示制御部402は、直線701が示す方向を表示方向に決定する。このように、本変形例では、相対角度Aに応じてテンプレートの直線(
図8の例では、直線701〜703)を予め用意しておくことにより、表示方向の決定処理にかかる負荷を低減することができる。また、このように決定された表示方向に基づいて決定される強調表示領域405のパタンは限定されるため、表示を単純化することができ、運転者は、強調表示領域405をより認識しやすくなる。さらに、認識結果のばらつきを吸収して、表示のちらつきを抑えることで、視覚的な煩わしさを抑えることができる。
【0062】
(変形例2)
また、上記実施の形態および変形例1とは別の方法で表示方向を決定してもよい。この例について
図8Bに示す図形302を用いて説明する。例えば、並行する3つのレーンの中央のレーンを車両が走行している場合において、認識すべき対象物として同じレーンを走行している先行車両が存在する場合、表示制御部402は、直線702が示す方向を表示方向に決定する。また、右側のレーンを走行している先行車両が存在する場合、表示制御部402は、直線703が示す方向を表示方向に決定する。また、左側のレーンを走行している先行車両が存在する場合、表示制御部402は、直線701が示す方向を表示方向に決定する。
【0063】
(変形例3)
上記実施の形態では、強調表示領域が表示される検出範囲図形を半円としたが(例えば、
図4の図形302参照)、検出範囲図形の形状はこれに限定されない。例えば、センサ100として、車両の前方に加えて、車両の側方および後方をセンシング可能なセンサを用いることで、車両周辺の全方位の対象物を検出することが可能となる。この場合、例えば、
図9Aに示すように、車両とその全方位の周辺を示す環状の図形802(検出範囲図形の一例)を用いてもよい。この図形802において強調表示領域405が表示された例を
図9Bおよび
図9Dに示す。
図9Bは、認識精度が高精度である場合の表示例であり、
図9Bは認識精度が低精度である場合の表示例である。なお、
図9Bの図形301、802および
図9Dの図形301、802に対して、それぞれ、射影変換などを用いることにより、
図9Cおよび
図9Eに示す表示としてもよい。
【0064】
(変形例4)
認識精度をより向上させるために、センサ100として、例えば、ミリ波センサ、カメラ、レーザレーダ等の複数の種別のセンサを有するように構成してもよい。この場合、動作するセンサの種別が多い程、算出部300は、認識精度を高く算出するようにしてもよい。また、算出部300は、複数のセンサのうち正常に動作しているセンサの数または故障しているセンサの数に基づいて、認識精度を算出するようにしてもよい。
【0065】
(変形例5)
認識精度に応じて強調表示領域の幅を変更するため、結果として強調表示領域の面積が変わることがある。この場合、強調表示領域の面積は危険度(車両が対象物と衝突する可能性。緊急度ともいう)を示すものではないが、例えば、強調表示領域の面積が大きくなった場合、危険度が増したという誤った印象を乗員に与えるおそれがある。そこで、強調表示領域の面積が小から大へ遷移する場合、表示制御部402は、遷移後の強調表示領域の輝度を遷移前の強調表示領域の輝度よりも下げるようにしてもよい。例えば、
図6Aに示す図形302の表示中に認識精度が下がり、
図6Bに示す図形302の表示に切り替わる場合、表示制御部402は、
図5Bの強調表示領域405の輝度を
図6Aの強調表示領域405の輝度よりも下げるように制御する。一方、強調表示領域の面積が大から小へ遷移する場合、表示制御部402は、遷移後の強調表示領域の輝度を遷移前の強調表示領域の輝度を上げるようにしてもよい。例えば、
図6Bに示す図形302の表示中に認識精度が上がり、
図6Aに示す図形302の表示に切り替わる場合、表示制御部402は、
図6Aの強調表示領域405の輝度を
図6Bの強調表示領域405の輝度よりも上げるように制御する。このような制御により、上述した誤った印象を乗員に与えることを回避できる。
【0066】
(変形例6)
上記実施の形態では、判定部401が認識精度と閾値との比較を行うことで、認識精度が高精度であるかまたは低精度であるかという2値の判定を行ったが、これに限定されない。例えば、閾値を複数設けることで、3値以上で認識精度を判定してもよい。これにより、表示幅のパタンを増やすことができ、より詳細な認識精度を運転者に伝えることができる。また、対象物の存在方向をより詳細に運転者に伝えることができる。
【0067】
(変形例7)
上記実施の形態では、判定部401が精度の高低を判定し、その判定に基づいて表示制御部402が表示幅を決定する例としたが、これに限定されない。例えば、判定部401が表示幅の決定を行ってもよい。例えば、判定部401は、認識精度値と表示幅とが対応付けられたテーブルと、算出部300からの認識精度値とに基づいて表示幅を決定し、それを判定結果情報として表示制御部402へ出力してもよい。または、例えば、判定部401は、算出部300で算出された認識精度値から表示幅を算出する所定の数式を用いて表示幅を算出し、それを判定結果情報として表示制御部402へ出力してもよい。なお、本変形例の処理は、表示制御部402が算出部300から認識精度値を直接受け取るように構成することで、表示制御部402が行ってもよい(この場合、判定部401を構成から省くことができる)。
【0068】
(変形例8)
センサ100により対象物が検出されているか否かに応じて、基準位置図形(例えば、図形301)の色を変更してもよい。例えば、対象物が検出されていない場合、表示制御部402は、運転者に対して危険度が低い印象を与える色(例えば、青色または緑色)を用いて基準位置図形の表示を行う。一方、対象物が検出された場合、表示制御部402は、運転者に対して危険度が高い印象を与える色(例えば、黄色または赤色)を用いて基準位置図形の表示を行う。
【0069】
(変形例9)
強調表示領域405の色は、車両の進行方向における対象物と車両との距離に応じて変更してもよい。例えば、表示制御部402は、距離が所定値以上の場合は黄色を用い、距離が所定値未満の場合は赤色を用いるように制御する。
【0070】
(変形例10)
センサ100は、同じ種類のものであっても、センシング可能な範囲が異なる。例えば、カメラの場合、使用するレンズの違いにより、検出範囲が狭い(例えば、正面を中心に水平方向にそれぞれ10度)もの、または、検出範囲が広い(例えば正面を中心に水平方向にそれぞれ30度)ものがある。そこで、検出範囲図形の全体形状を変更することで、センシング範囲を示すようにしてもよい。この例について、
図4に示す図形302を用いて説明する。例えば、センシング範囲が狭い場合、図形302の角度を狭めてより鋭角な扇形に変更する。これにより、運転者は、センシング範囲が狭いことを直感的に把握できる。
【0071】
(変形例11)
例えば、認識部200により複数の対象物が認識された場合、算出部300および判定部401は、それぞれ、複数の対象物のそれぞれについて認識精度の算出および判定を行うようにしてもよい。そして、例えば、表示制御部402は、認識精度が低い方の対象物に対する認識精度の算出および認識精度の判定に応じて、表示幅、表示方向、強調表示領域の範囲、および表示形態の決定を行うようにしてもよい。
【0072】
(変形例12)
基準位置図形(例えば、図形301)を表示せずに、検出範囲図形のみ(例えば、図形302または図形802)を表示してもよい。
【0073】
(変形例13)
上記実施の形態では、基準位置をセンサ100の位置とし、これに基づいて決定された表示方向を、センサ100の位置を基準とした方向としたが、これに限定されない。例えば、表示方向を、運転者の位置を基準とした方向に補正してもよい。例えば、上記実施の形態で説明したように直線503を決定した後で、その直線503を、センサ100の位置と運転者の位置との相対角度に基づいて補正してもよい。運転者の位置とは、例えば、運転者の座席位置、または運転者の頭部位置である。これにより、補正後の直線503が示す表示方向は、運転者の位置を基準とした方向となる。よって、その表示方向に基づいて決定された強調表示領域は、運転者からの見た方向により近付くことになる。
【0074】
(変形例14)
上記実施の形態では、表示幅の決定処理(ステップS004、S005)の後で表示方向の決定処理(ステップS006)を行う例としたが、各処理の順序はこれに限定されない。表示方向の決定処理の後で表示幅の決定処理が行われてもよいし、表示幅の決定処理と表示幅の決定処理とが並行して行われてもよい。
【0075】
(変形例15)
上記実施の形態では、認識部200により単一の対象物が認識された場合について説明したが、認識部200により複数の対象物が認識された場合、表示制御部402において、複数の領域を強調するようにしてもよい。この場合の例を
図18に示す。例えば、
図18Aに示すように、例えば、歩行者604が二人認識された場合、各歩行者604に対応する強調表示領域405を表示するようにしてもよい。ただし、
図18Aのように強調表示領域が複数存在することにより、運転者が表示を理解し、実世界の歩行者との対応付を行う事が困難となる可能性がある。そのため、強調表示領域間の非強調表示領域が所定の大きさよりも小さい場合、
図18Aに示す強調表示領域405間の非強調表示領域406を強調色で表示することで、
図18Bに示すように、一つの強調表示領域405に統合して表示を行っても良い。これにより、運転者は、大まかな周囲の対象物の状況を、迅速に理解することができる。
【0076】
(実施の形態2)
本発明の実施の形態2について、
図10を参照して説明する。
図10は、本実施の形態に係る表示システム10の構成例を示すブロック図である。
図10では、表示システム10において、センサ101が追加され、算出部300を備えない点が
図1と異なる。なお、
図10の各構成要素は
図1を用いて説明済みであるので、以下では、それらの詳細な説明は省略する。
【0077】
センサ100は、例えばセンシングカメラである。センサ100は、車両の周辺を検出し、その検出結果を判定部401へ出力する。
【0078】
また、センサ101は、認識精度が低下しやすい走行環境(例えば、雨、霧、みぞれ、雹、雪などの悪天候の中を車両が走行しているか、逆光または対向車のヘッドライトなどにより車両周辺の照度が増加したか、夜間またはトンネル内の走行により車両周辺の照度が減少したか)を検出可能なセンサであり、例えば、雨滴センサまたは照度センサである。センサ101は、雨、霧、雪による悪天候、または、逆光、他の車両からの照明光、夜間の走行、トンネル内の走行による照度変化を検出し、その検出結果を判定部401へ出力する。
【0079】
判定部401は、センサ101において悪天候または照度変化が検出されない場合、センサ100の認識精度を第1の認識精度であると判定する。また、判定部401は、センサ101において悪天候または照度変化が検出された場合、センサ100の認識精度を第1の認識精度よりも低い第2の認識精度であると判定する。
【0080】
表示制御部402は、認識部200により所定の対象物が認識され、かつ、判定部401によりセンサ100の認識精度が第1の認識精度であると判定された場合、表示媒体に表示されたときに、所定の対象物と車両との位置関係を示し、n(2以上の整数)個に分割された所定形状の図形を表す所定画像を生成するように表示部500を制御する。また、表示制御部402は、認識部200により所定の対象物が認識され、かつ、センサ100の認識精度が第2の認識精度であると判定された場合、表示媒体に表示されたときに、分割されていない、または、m(nより小さい2以上の整数)個に分割された所定形状の図形を表す所定画像を生成するように表示部500を制御する。
【0081】
以上説明したように、本実施の形態は、上記実施の形態1と同じ効果を得ることができる。なお、実施の形態1で説明した各変形例を、本実施の形態に適宜適用してもよい。
【0082】
(実施の形態3)
本発明の実施の形態3について、図面を参照して説明する。
【0083】
認識精度に応じて強調表示領域の位置または面積が変化する場合、ディスプレイの位置によっては、運転者に対して視覚的な煩わしさを与えてしまうことがある。特に、HUDでは、運転者が少ない視線移動でディスプレイ上の情報を視認できるようにディスプレイが運転者の正面付近に設置されることが多いため、より大きな視覚的な煩わしさを運転者に与えるおそれがある。そこで、本実施の形態では、認識精度に応じて強調表示領域の位置または面積が変化する場合における視覚的な煩わしさを低減させる制御を行うようにする。
【0084】
まず、本実施の形態に係る表示システム10の構成例について
図11を用いて説明する。
図11は、本実施の形態に係る表示システム11の構成例を示すブロック図である。
図11では、表示制御装置400に蓄積部403が追加されている点が
図1と異なる。なお、以下では、主に実施の形態1と異なる点を説明し、実施の形態1と共通する点の説明は省略する。
【0085】
蓄積部403は、リングバッファであり、認識部200からの認識結果情報を所定時間蓄積し、蓄積した認識結果情報を表示制御部402へ出力する。例えば、センサ100がセンシングカメラであって、15fpsで認識部200から認識結果情報が出力される場合、蓄積部403は、最新の1秒間における認識結果情報(15フレーム分の認識結果情報)を蓄積し、表示制御部402へ出力する。
【0086】
表示制御部402は、実施の形態1で説明した処理動作以外に、以下の処理動作を行う。
【0087】
表示制御部402は、蓄積部403からの認識結果情報(例えば、相対角度)の平滑化を行う。例えば、表示制御部402は、複数の認識結果情報の平均値または中央値をとって平滑化すればよい。そして、表示制御部402は、平滑化した認識結果情報に基づいて、実施の形態1で説明した表示方向の決定処理を行う。
【0088】
また、表示制御部402は、所定の平滑化フィルタを用いて強調表示領域に対して平滑化を行うように表示部500を制御する。すなわち、表示制御部402は、決定した強調表示領域の範囲、表示形態、平滑化の実行指示(平滑化フィルタの指定を含む)などの情報を含む制御情報を、表示部500へ出力する。なお、平滑化フィルタとしては、例えば、対象となる画素を中心とした所定範囲(例えば、3×3画素、5×5画素)の大きさの平滑化フィルタ、または、画素ごとに重み付けをしたガウシアンフィルタ等の重み付き平滑化フィルタなどが用いられる。
【0089】
次に、本実施の形態に係る表示システム10の動作例について
図12を用いて説明する。
図12は、本実施の形態に係る表示システム10の動作例を示すフローチャートである。なお、以下では、主に実施の形態1と異なる点を説明し、実施の形態1と共通する点の説明は省略する。
【0090】
ステップS010において、蓄積部403は、認識部200からの認識結果情報を所定時間蓄積し、表示制御部402へ出力する。
【0091】
ステップS006において、表示制御部402は、蓄積部403からの認識結果情報(例えば、相対角度)の平滑化を行い、平滑化した認識結果情報に基づいて表示方向を決定する。
【0092】
ステップS007における強調表示領域の範囲の決定およびステップS008における表示形態の決定が終了すると、表示制御部402は、制御情報を表示部500へ出力する。この制御情報は、決定した強調表示領域の範囲および表示形態に基づいて図形を生成し、かつ、所定の平滑化フィルタを用いて強調表示領域の平滑化を行い、その結果をディスプレイに表示するように表示部500を制御する情報である。
【0093】
ステップS009において、表示部500は、表示制御部402からの制御情報に基づいて、図形を生成し、かつ、強調表示領域の平滑化を行い、その結果をディスプレイに表示する。この表示の具体例を
図13に示す。
図13Aは、強調表示領域405における特定方向のエッジ(上述した正の方向のエッジおよび負の方向のエッジ)のみに対して平滑化処理を行った場合の表示例である。
図13Bは、強調表示領域405における全てのエッジ(または、強調表示領域405全体)に対して平滑化処理を行った場合の表示例である。この場合、強調表示領域405の全てのエッジが非強調表示領域406に囲まれている物として平滑化処理が行われる。
【0094】
以上説明したように、本実施の形態では、所定時間蓄積した認識結果情報を平滑化し、平滑化した認識結果情報に基づいて表示方向を決定することを特徴とする。これにより、対象物の認識結果のばらつきに起因する急激な変化によって強調表示領域の位置が大きく変化することを防ぐことができ、運転者に与える視覚的な煩わしさを低減することができる。
【0095】
また、本実施の形態では、強調表示領域における所定のエッジに対して平滑化を行うことを特徴とする。これにより、強調表示領域が変化する際のエッジのちらつきまたはぶれを吸収でき、運転者に与える視覚的な煩わしさを低減することができる。
【0096】
以上、本発明の実施の形態3について説明したが、本発明は上記実施の形態3に限定されず、種々の変形が可能である。例えば、実施の形態1において説明した各変形例および/または実施の形態2を、上記実施の形態3に適宜適用してもよい。
【0097】
(実施の形態4)
本発明の実施の形態4について、図面を参照して説明する。
【0098】
本実施の形態に係る表示システム10の構成例について
図15に示す。
図15は、本実施の形態に係る表示システム10の構成例を示すブロック図である。
【0099】
図15において、表示システム10は、センサ100、認識部200、表示制御装置400、画像生成部800、表示部900を有する。また、表示制御装置400は、取得部407および制御部408を有する。取得部407は、具体的には入力端子であり、コネクタ、信号入力部などである。
【0100】
センサ100は、所定時間ごとに、車両の運転者の前景(前方の視界)をセンシングする。センサ100は、例えばセンシングカメラである。センシングカメラは、車両の内部または外部に搭載され、車両の前景を撮影する。さらに、センシングカメラは、前景だけでなく、側面の光景を撮影してもよい。または、センサ100は、例えばレーダであってもよい。レーダは、車両の内部または外部に搭載され、車両の前景等をセンシングする。以下、車両の前景等を、車両の周辺と呼ぶこともある。そして、センサ100は、周辺のセンシング結果を示す周辺情報を認識部200へ出力する。
【0101】
認識部200は、センサ100からの周辺情報に基づいて、車両周辺に存在する所定の対象物を認識する。対象物は、例えば、移動体(例えば、車両、自転車、二輪車等)、または、歩行者である。認識部200の認識結果には、対象物の種別が含まれる。対象物の種別とは、たとえば、対象物が歩行者の場合は、第1種別が一定年齢以上の者であって、第2種別が第1種別よりも低年齢の者である。たとえば、第1種別は大人であり、第2種別は子供である。また、対象物の種別とは、たとえば、対象物が移動体である場合は、第1種別が車両であって、第2種別が二輪車である。
【0102】
なお、画像認識技術において、対象となる歩行者が大人であるか、または、子供であるか等、所定の年齢以上であるか否かを判定する技術は公知であるため説明を省略する。また、画像認識技術において、所定の対象物が、四輪車であるか、二輪車であるかを判定する技術も、また公知技術であるため説明を省略する。
【0103】
センサ100がセンシングカメラである場合、認識部200は、前景情報(前景画像)に対してパタンマッチングなどを行い、対象物を認識する。また、例えば、センサ100がレーダである場合、認識部200は、前景情報からクラスタリングまたは機械学習等により対象物を抽出し、認識する。なお、認識部200における対象物認識技術は公知技術であるため、その詳細な説明は省略する。
【0104】
そして、認識部200は、対象物の認識結果を示す認識情報を表示制御装置400へ出力する。認識結果情報は、少なくとも、対象物の種別情報、および、対象物の位置情報を含む。対象物の位置情報は、対象物の存在位置(X,Y)、車両の進行方向に対する対象物の相対角度(以下、単に相対角度という)、対象物と車両との相対速度、対象物の種別、パタンマッチングで得られた情報、対象物の追跡処理で得られた情報などのうち少なくとも一つである。なお、上記対象物の存在位置(X,Y)は、車両のセンシングカメラが設置された点を基準として横方向をX、前方方向をYとするカメラ座標系における座標である。また、上記対象物の存在位置(X,Y)におけるYは、車両の進行方向における車両と対象物との距離(以下、単に距離という)を示す。
【0105】
表示制御装置400は、認識部200から認識結果を取得する取得部407と、制御部408とを有する。取得部407は、表示制御装置400がハードウェアで構成されるときには、コネクタ、入力端子等であり、実体的な機能はない入力部である。
【0106】
制御部408は、認識結果に基づいて、表示媒体に表示されたときに所定形状の図形を表す所定画像を生成するように画像生成部800を制御する。所定形状の図形は、所定の対象物が存在する方向を示す部分領域の表示態様と、他の領域の表示態様とが異なる図形である。
【0107】
制御部408は、検出された所定の対象物が第1の種別(例えば、大人)であるとき、表示媒体に表示されたときに、部分領域の幅が第1の幅である第1の所定形状の図形を表す第1の所定画像を生成するように画像生成部800を制御する。一方、検出された所定の対象物が第1の種別とは異なる第2の種別(例えば、子供)であるとき、表示媒体に表示されたときに、部分領域の幅が第1の幅よりも広い第2の幅である第2の所定形状の図形を表す第2の所定画像を生成するように画像生成部800を制御する。
【0108】
具体的には、制御部408は、検出された歩行者が大人(第1の種別)であるとき、表示媒体に表示された所定形状の図形の部分領域の幅が狭く、歩行者が子供等(第2の種別)であるとき、所定形状の図形の部分領域の幅が広くなるように制御する。
【0109】
図16は、歩行者604が大人の場合(
図16A)、歩行者604が子供の場合(
図16B)のそれぞれについて、車両前方の風景、および、表示媒体に表示された所定図形の様子を示す。
【0110】
図6に示す図形301、302は、例えば
図16Aに示すようにHUD602(ディスプレイの一例)に表示される。
図16Aおよび
図16Bは、前景画像601において白線603近傍に存在する歩行者604が認識された場合であり、
図16Aは、飛び出しの可能性が比較的低い大人の歩行者が検出された場合、
図16Bは飛び出しの可能性が比較的高い子供の歩行者が検出された場合を示している。
図16Aの場合、
図16Bの場合と比較して、運転者は、歩行者604のより詳細な存在方向を把握できる。
【0111】
検出された所定の対象物が歩行者である場合、歩行者が急な方向転換、飛び出し等の予想外の行動をとる可能性があるが、その傾向は対象者が低年齢であるほど高い。すなわち、検出された対象が、子供、幼児など、所定の年齢よりも低年齢であるときには、飛び出し等の可能性が高くなる。そのため、歩行者が大人である場合(
図16A)に比べて、歩行者が子供の場合には、所定形状の図形の部分領域の幅をより広くする必要がある(
図16B)。そうすることで、運転者に対してより強度な注意喚起をすることができる。
【0112】
一方、歩行者が大人である場合であっても、歩行者が、車両が走行する道路を向いている場合には、運転者は相当の注意を要する。係る場合、認識結果は、所定の対象物である歩行者が向いている方向情報を含み、制御部408は、第1の種別の歩行者が、移動体が走行する道路を向いているとき、第2の所定画像を生成するように画像生成部800を制御してもよい。
【0113】
また、歩行者が大人である場合であっても、歩行者が、車両が走行する道路に向けた加速度が正の値である場合には、運転者は相当の注意を要する。係る場合、認識結果は、所定の対象物である歩行者の加速度情報を含み、制御部408は、第1の種別の歩行者が、移動体が走行する道路に向けた加速度が正であるとき、第2の所定画像を生成するように画像生成部800を制御してもよい。
【0114】
一方、検出された所定の対象物が車両(四輪車、二輪車)である場合、歩行者とは異なる対応が必要となる。そのため、検出された所定の対象物が車両であるとき、制御部408は、表示媒体に表示された所定形状の図形の部分領域の幅が第3の幅である第3の所定形状の図形を表す第3の所定画像を生成するように画像生成部800を制御する。第3の幅は、第1の幅より広い。なお、第3の幅は、第2の幅と実質的に同じであってもよい。脇道から突然出現する車両に対する注意喚起の程度と、歩道に存在する子供に対する注意喚起の程度とを等しくすることができる。
【0115】
すなわち、検出された対象物の位置、速度、加速度等の時間的な変動が大きい場合は、対象物の将来の挙動の予測が難しいと考えられるため、位置、速度、加速度等の対象物に関する情報の時間的な変動が大きい場合には、所定形状の図形の部分領域の幅を変更してもよい。
【0116】
画像生成部800は、制御部408からの制御情報に基づいて、所定画像を生成する。所定画像は後述する表示部900によって表示媒体に表示され、所定形状の図形を表す。なお、所定画像は、画像であってもよいし、または、画像データであってもよい。後述する表示部900がプロジェクタ機能を有する場合、画像生成部800は画像を生成し、画像が表示部900によって投射される。一方、後述する表示部900がプロジェクタ機能を有するものではない場合、画像生成部800は画像データを生成し、画像データが表示部900によって出力される。
【0117】
表示部900は、画像生成部800において生成された所定画像を、図示しないディスプレイ(表示媒体の一例)に出力することで所定形状の図形を表示媒体に表示させる。表示部900は、たとえば、プロジェクタ機能を有し、ディスプレイへ直接投影する。ディスプレイはたとえば移動体のフロント・ウインドシールド、または、ウインドシールドとは別に設けられた透明なコンバイナである。すなわち、表示部900は、ウインドシールドに所定画像を投射することで、所定形状の図形をウインドシールドに表示させる。表示された所定形状の図形は、移動体の乗員に虚像として視認される。なお、透明なコンバイナは、たとえば
図19に示すコンバイナ801である。
【0118】
なお、表示部900は、プロジェクタ機能を用いる代わりに、例えば、ディスプレイに表示させてもよい。この場合、ディスプレイは透過型ディスプレイであり、画像生成部800において生成される所定画像は画像データである。すなわち、表示部900は、透過型ディスプレイに画像データを出力することで、所定形状の図形を透過型ディスプレイに表示させる。透過型ディスプレイに入力された画像データが所定形状の図形として表示される原理については、公知技術のため、説明を省略する。
【0119】
また、表示媒体は、ホログラムであってもよい。ホログラムを用いる場合、導光板の内部全反射条件を満たす平行光束群を内部全反射して導光する導光板を用いて、導光板を内部全反射して導光される平行光束群の一部を射出することで乗員に虚像を視認させる方式でもよい。なお、導光板を用いた方式においては、プロジェクタのように画像データを直接的に投影するものではないが、説明の便宜上、プロジェクタ方式と同様に投射という定義で説明する。
【0120】
ディスプレイとしては、例えば、LCD(Liquid Crystal Display)、HUD(Head‐Up Display)、HMD(Head‐Mounted DisplayまたはHelmet‐Mounted Display)、眼鏡型ディスプレイ(Smart Glasses)、ナビゲーション用ディスプレイ、メータディスプレイ、その他の専用のディスプレイなどが適用される。HUDは、例えば、車両のウインドシールドであってもよいし、別途設けられるガラス面、プラスチック面などであってもよい。また、ウインドシールドは、例えば、フロントガラスであってもよいし、車両のサイドガラスまたはバックガラスであってもよい。さらに上述したとおり、表示媒体は透過型ディスプレイであってもよい。透過型ディスプレイとは例えば、透過型の有機ELディスプレイ、または、特定の波長の光を照射した際に発光するガラスを用いた透明なディスプレイであり、ドライバは、背景を視認すると同時に、透過型ディスプレイ上の表示を視認する事ができる。また、透過型ディスプレイは、光を透過する表示媒体である。
【0121】
表示媒体が移動体のウインドシールドである場合、表示部900は、ウインドシールドに所定画像を投射することで、所定形状の図形をウインドシールドに表示させる。一方、表示媒体が透過型ディスプレイである場合、所定画像は画像データであって、表示部900は、透過型ディスプレイに画像データを出力することで、所定形状の図形を透過型ディスプレイに表示させる。ここで、説明の便宜のため、本実施の形態の説明においては、出力は投射の上位概念であると定義する。
【0122】
なお、表示システム10は、上述したディスプレイを含む構成であってもよい。
【0123】
また、上述した図形は、画像生成部500ではなく、表示制御装置400または図示しない他の構成要素によって生成されてもよい。
【0124】
表示システム10において生成される図形は、例えば、所定画像が表示媒体に投射された場合には、移動体の乗員に虚像として視認される。このとき、図形は、乗員の視界に重畳されるようにディスプレイに投影されてもよい。なお、ディスプレイに投影された図形が虚像として運転者に視認される原理は、公知技術であるため、説明を省略する。
【0125】
図17は、
図15に示す表示システム10が有する表示制御装置400の動作例を示すフローチャートである。以下、
図15、および
図17を用いて、制御部408の動作例を説明する。
【0126】
ステップ101において、取得部407が認識結果を取得した場合(ステップS101:YES)、ステップS102へ進み、所定の対象が歩行者であるとき(ステップS102:YES)、ステップS103へ進む。
【0127】
ステップS103において、制御部408が、歩行者は所定の年齢より高齢であるか否かを判断し、所定の年齢より高齢である場合(ステップS103:YES)、ステップS104へ進む。一方、歩行者は所定の年齢より高齢でない場合(ステップS103:NO)、ステップS105へ進む。
【0128】
ステップS104において、制御部408は、歩行者が所定の年齢より高齢である場合、第1の種別であると決定し、ステップS106において、制御部408は、表示媒体に表示されたときに、部分領域の幅が第1の幅である第1の所定形状の図形を表す第1の所定画像を生成するように画像生成部800を制御する。
【0129】
ステップS108において、画像生成部800は、制御部408からの制御に基づいて、所定の画像(第1の所定画像)を生成する。
【0130】
一方、ステップS105において、制御部408は、歩行者が所定の年齢より高齢でない場合、第2の種別であると決定し、ステップS107において、制御部408は、表示媒体に表示されたときに、部分領域の幅が第1の幅より広い第2の幅である第2の所定形状の図形を表す第2の所定画像を生成するように画像生成部800を制御する。
【0131】
ステップS109において、画像生成部800は、制御部408からの制御に基づいて、所定の画像(第2の所定画像)を生成する。
【0132】
なお、ステップS102において、制御部408が、所定の対象物は歩行者でないと判断したとき(ステップS102:NO)、ステップS110に進む。
【0133】
そして、ステップS110において、制御部408は、所定の対象物が車両であると決定する。そして、ステップS111において、制御部408は、表示媒体に表示されたときに、部分領域の幅が第3の幅である第3の所定形状の図形を表す第3の所定画像を生成するように画像生成部800を制御する。第3の幅は、装置の仕様によって決定され、第1の幅と同じでもよいし、第2の幅と同じでもよい。また、第1の幅および第2の幅と異なってもよい。その後、ステップS112において、画像生成部800は、制御部408からの制御に基づいて、所定の画像(第3の所定画像)を生成する。
【0134】
ステップS113において、表示部900は、画像生成部800が生成した所定画像を表示媒体に出力する。
【0135】
以上のように、所定の対象が歩行者である場合において、歩行者が所定の年齢より高齢であるか否かによって、所定形状の図形の部分領域の幅を変更することで、飛び出し等の予想外の行動をする低年齢歩行者に対する注意喚起を高めることができる。
【0136】
なお、所定画像と、所定形状の図形とは理想的には同じものである。表示媒体の湾曲の程度等の条件によって多少異なるが、実質的には同じものである。所定画像は画像生成部800が生成し、所定形状の図形は表示媒体に表示される。また、
図5を用いて説明した強調表示領域の決定は、車両周辺に注意対象物が存在する場合にのみされるものであってもよい。すなわち、本実施の形態における表示システム10において、強調表示領域を決定し、表示媒体に表示することは必須要素ではない。検知精度に基づいて、表示媒体に所定形状の図形を表示するのみによって、目的は達成される。
【0137】
また、上記説明において、表示装置20は、表示制御装置400、画像生成部800、表示部900を有すると説明したが、表示媒体がコンバイナである場合には、表示装置20は表示媒体を備えてもよい。
図19は、表示媒体がコンバイナである場合の表示装置20の構成例を示す。表示装置20は、表示媒体としてコンバイナ801を備える。
【0138】
また、実施の形態1において記載した変形例1〜15の内容は、本実施の形態4にも適用可能である。
【0139】
また、上述した各実施の形態における表示システム10、表示制御装置400の各部の機能は、コンピュータプログラムにより実現され得る。
【0140】
図14は、各部の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。このコンピュータ1000は、入力ボタン、タッチパッドなどの入力装置1001、ディスプレイやスピーカなどの出力装置1002、CPU(Central Processing Unit)1003、ROM(Read Only Memory)1004、RAM(Random Access Memory)1005、ハードディスク装置やSSD(Solid State Drive)などの記憶装置1006、DVD−ROM(Digital Versatile Disk Read Only Memory)やUSB(Universal Serial Bus)メモリなどの記録媒体から情報を読み取る読取装置1007、ネットワークを介して通信を行う送受信装置1008を備え、各部はバス1009により接続される。
【0141】
そして、読取装置1007は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置1006に記憶させる。あるいは、送受信装置1008が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置1006に記憶させる。
【0142】
そして、CPU1003が、記憶装置1006に記憶されたプログラムをRAM1005にコピーし、そのプログラムに含まれる命令をRAM1005から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、RAM1005または記憶装置1006には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。
【0143】
なお、上記実施の形態の説明に用いた各機能ブロックは、集積回路であるLSI(Large Scale Integration)として実現されてもよい。これらは個別に1チップ化されてもよいし、一部または全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
【0144】
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【0145】
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。