知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024084885
(43)【公開日】2024-06-26
(54)【発明の名称】表示制御装置及び表示制御方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20240619BHJP
G09G 5/00 20060101ALI20240619BHJP
G09G 5/37 20060101ALI20240619BHJP
G08G 1/16 20060101ALI20240619BHJP
G06T 19/00 20110101ALI20240619BHJP
【ＦＩ】
H04N7/18 J
G09G5/00 550C
G09G5/00 550X
G09G5/00 530H
G09G5/37 300
G08G1/16 C
G06T19/00 300B
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022199052
(22)【出願日】2022-12-14
(71)【出願人】
【識別番号】000001487
【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社
(74)【代理人】
【識別番号】240000327
【弁護士】
【氏名又は名称】弁護士法人クレオ国際法律特許事務所
(72)【発明者】
【氏名】坂田 直人
(72)【発明者】
【氏名】村上 哲郎
(72)【発明者】
【氏名】古賀 昌史
【テーマコード（参考）】
5B050
5C054
5C182
5H181
【Ｆターム（参考）】
5B050AA10
5B050BA09
5B050BA11
5B050BA12
5B050CA08
5B050DA04
5B050DA07
5B050EA04
5B050EA26
5B050FA02
5C054CA04
5C054CC02
5C054EA01
5C054EA05
5C054FC12
5C054FC14
5C054FD03
5C054FE23
5C054FE24
5C054FF03
5C054HA30
5C182AB25
5C182BA14
5C182BA44
5C182BA55
5C182CB11
5C182CB34
5C182CC24
5C182DA44
5H181AA01
5H181CC04
5H181FF33
5H181LL01
5H181LL02
5H181LL04
(57)【要約】
【課題】乗員が表示部に表示された画像を操作する際に乗員の負担を軽減させることが可能な表示制御装置を提供する。
【解決手段】表示制御装置３０は、乗員の顔の角度情報を取得する乗員情報取得部５２と、車両の周辺を撮影した撮像画像を取得する画像取得部５１と、撮像画像を仮想視点から見た仮想視点画像である表示画像に変換する画像変換部５４と、乗員の顔の角度の変化量に基づいて仮想視点の位置を設定する仮想視点設定部５３と、表示画像を表示部４０に表示するよう制御する表示処理部５５と、を備える。
【選択図】図１
【解決手段】表示制御装置３０は、乗員の顔の角度情報を取得する乗員情報取得部５２と、車両の周辺を撮影した撮像画像を取得する画像取得部５１と、撮像画像を仮想視点から見た仮想視点画像である表示画像に変換する画像変換部５４と、乗員の顔の角度の変化量に基づいて仮想視点の位置を設定する仮想視点設定部５３と、表示画像を表示部４０に表示するよう制御する表示処理部５５と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
乗員の顔の角度に関する情報を取得する乗員情報取得部と、
車両の周辺を撮影した画像を取得する画像取得部と、
前記画像を仮想視点から見た仮想視点画像に変換する画像変換部と、
前記乗員の顔の角度の変化量に基づいて前記仮想視点の位置を設定する仮想視点設定部と、
前記仮想視点画像を表示部に表示するよう制御する表示処理部と、
を備える表示制御装置。
車両の周辺を撮影した画像を取得する画像取得部と、
前記画像を仮想視点から見た仮想視点画像に変換する画像変換部と、
前記乗員の顔の角度の変化量に基づいて前記仮想視点の位置を設定する仮想視点設定部と、
前記仮想視点画像を表示部に表示するよう制御する表示処理部と、
を備える表示制御装置。
【請求項2】
前記乗員の顔の角度が所定の角度である基準角度を記憶する記憶部を備え、
前記仮想視点設定部は、前記基準角度に対して前記乗員の顔の角度が変化した量である変化量に基づいて、前記仮想視点の位置を設定する
請求項１に記載の表示制御装置。
前記仮想視点設定部は、前記基準角度に対して前記乗員の顔の角度が変化した量である変化量に基づいて、前記仮想視点の位置を設定する
請求項１に記載の表示制御装置。
【請求項3】
前記乗員の目の位置に関する情報を取得する視点位置取得部を備え、
前記仮想視点設定部は、前記乗員の顔の角度が前記基準角度であるとき、前記乗員の目の位置に対応した位置に前記仮想視点を設定し、
前記乗員の顔の角度が前記基準角度でないとき、前記乗員の目の位置から前記変化量に基づいた位置へ前記仮想視点の位置を移動する
請求項２に記載の表示制御装置。
前記仮想視点設定部は、前記乗員の顔の角度が前記基準角度であるとき、前記乗員の目の位置に対応した位置に前記仮想視点を設定し、
前記乗員の顔の角度が前記基準角度でないとき、前記乗員の目の位置から前記変化量に基づいた位置へ前記仮想視点の位置を移動する
請求項２に記載の表示制御装置。
【請求項4】
前記乗員情報取得部は、前記乗員の顔の角度としてヨー角とピッチ角を取得し、
前記仮想視点設定部は、前記ヨー角の変化量に基づいて前記仮想視点の位置を水平方向へ移動し、前記ピッチ角の変化量に基づいて前記仮想視点の位置を鉛直方向に移動させる
請求項１～３のいずれか一項に記載の表示制御装置。
前記仮想視点設定部は、前記ヨー角の変化量に基づいて前記仮想視点の位置を水平方向へ移動し、前記ピッチ角の変化量に基づいて前記仮想視点の位置を鉛直方向に移動させる
請求項１～３のいずれか一項に記載の表示制御装置。
【請求項5】
車両に搭載された表示制御装置の制御部によって実行される表示制御方法であって、
乗員の顔の角度に関する情報を取得する乗員情報取得工程と、
前記車両の周辺を撮影した画像を取得する画像取得工程と、
前記画像を仮想視点から見た仮想視点画像に変換する画像変換工程と、
前記乗員の顔の角度の変化量に基づいて前記仮想視点の位置を設定する仮想視点設定工程と、
前記仮想視点画像を表示部に表示するよう制御する表示処理工程と、
を含む表示制御方法。
乗員の顔の角度に関する情報を取得する乗員情報取得工程と、
前記車両の周辺を撮影した画像を取得する画像取得工程と、
前記画像を仮想視点から見た仮想視点画像に変換する画像変換工程と、
前記乗員の顔の角度の変化量に基づいて前記仮想視点の位置を設定する仮想視点設定工程と、
前記仮想視点画像を表示部に表示するよう制御する表示処理工程と、
を含む表示制御方法。
【請求項6】
前記乗員の顔の角度が所定の角度である基準角度を記憶部に記憶する記憶工程を有し、
前記仮想視点設定工程は、前記基準角度に対して前記乗員の顔の角度が変化した量である変化量に基づいて、前記仮想視点の位置を設定する
請求項５に記載の表示制御方法。
前記仮想視点設定工程は、前記基準角度に対して前記乗員の顔の角度が変化した量である変化量に基づいて、前記仮想視点の位置を設定する
請求項５に記載の表示制御方法。
【請求項7】
前記乗員の目の位置に関する情報を取得する視点位置取得工程を有し、
前記仮想視点設定工程は、前記乗員の顔の角度が前記基準角度であるとき、前記乗員の目の位置に対応した位置に前記仮想視点を設定し、
前記乗員の顔の角度が前記基準角度でないとき、前記乗員の目の位置から前記変化量に基づいた位置へ前記仮想視点の位置を移動する
請求項６に記載の表示制御方法。
前記仮想視点設定工程は、前記乗員の顔の角度が前記基準角度であるとき、前記乗員の目の位置に対応した位置に前記仮想視点を設定し、
前記乗員の顔の角度が前記基準角度でないとき、前記乗員の目の位置から前記変化量に基づいた位置へ前記仮想視点の位置を移動する
請求項６に記載の表示制御方法。
【請求項8】
前記乗員情報取得工程は、前記乗員の顔の角度としてヨー角とピッチ角を取得し、
前記仮想視点設定工程は、前記ヨー角の変化量に基づいて前記仮想視点の位置を水平方向へ移動し、前記ピッチ角の変化量に基づいて前記仮想視点の位置を鉛直方向に移動させる
請求項５～７のいずれか一項に記載の表示制御方法。
前記仮想視点設定工程は、前記ヨー角の変化量に基づいて前記仮想視点の位置を水平方向へ移動し、前記ピッチ角の変化量に基づいて前記仮想視点の位置を鉛直方向に移動させる
請求項５～７のいずれか一項に記載の表示制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、表示制御装置及び表示制御方法に関するものである。
【背景技術】
【0002】
特許文献１に開示の車両用表示システムは、参照表示画面の間に非表示領域を挟んで設けられた複数のディスプレイにコンテンツを表示させる。乗員状態モニタは、車両の乗員の頭位置及び角度並びに前記乗員の視線を検出するために設けられる。表示処理部は、乗員状態モニタの検出結果に基づいてディスプレイに表示させるコンテンツの中に重要情報が含まれることを条件として重要情報を隠れ防止処理して複数のディスプレイの表示画面の何れかに表示させる。
【0003】
この従来技術では、乗員の視線と頭の位置と頭の角度を制御装置が検知して、乗員が頭の位置を左右に移動させることで、表示部に表示される画像が左右方向へ移動したり、画像が縮小して表示されたり、画像が傾いて表示されたりすることが開示されている。
【0004】
しかしながら、上記従来技術では、表示部に表示される画像を大きく変化させるには、乗員が大きく頭を移動させる必要があり、乗員の負担が大きくなっていた。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】国際公開第２０２２／２２４７５４号
【発明の概要】
【発明が解決しようとする課題】
【0006】
そこで、本開示は、乗員が表示部に表示された画像を操作する際に乗員の負担を軽減させることが可能な表示制御装置及び表示制御方法を提供することを目的としている。
【課題を解決するための手段】
【0007】
前記目的を達成するために、本開示の表示制御装置は、乗員の顔の角度に関する情報を取得する乗員情報取得部と、車両の周辺を撮影した画像を取得する画像取得部と、前記画像を仮想視点から見た仮想視点画像に変換する画像変換部と、前記乗員の顔の角度の変化量に基づいて前記仮想視点の位置を設定する仮想視点設定部と、前記仮想視点画像を表示部に表示するよう制御する表示処理部と、を備える。
【発明の効果】
【0008】
このように構成された本開示の表示制御装置では、乗員が顔の角度を変化させることで、この角度の変化量に応じて表示部に表示される画像が変化する。このことにより、乗員が表示部に表示された画像を操作する際に乗員の負担を軽減させることが可能となる。
【図面の簡単な説明】
【0009】
【図1】第１実施形態に係る表示制御装置を備える表示制御システムの概略構成を示す機能ブロック図である。
【図2】表示部に表示される表示画像と乗員の顔の角度との関係を説明するための図である。
【図3】乗員情報取得部で実行されるヨー角とピッチ角の変化量の算出手順を説明するための図である。
【図4】仮想視点設定部で実行される仮想視点位置の算出手順を説明するための図である。
【図5】地面モデル投影部で実行される第１の変換処理を説明するための図である。
【図6】視点反映部で実行される投影領域設定処理を説明するための図である。
【図7】地面モデル投影部で実行される第１の変換処理と、視点反映部で実行される第２の変換処理を説明するための図である。
【図8】第１実施形態に係る表示制御装置の動作の一例を説明するためのフローチャートである。
【発明を実施するための形態】
【0010】
（第１実施形態）
この開示の第１実施形態に係る表示制御装置は、図面に基づいて以下のように説明される。図１は、第１実施形態に係る表示制御装置３０を備える表示制御システム１００の概略構成を示す機能ブロック図である。図１に示す表示制御装置３０は、本開示に係る表示制御装置の一実施形態であり、本開示は本実施形態に限定されない。表示制御装置３０は、自動車等の移動体に搭載されている。以下、本実施形態の表示制御装置３０が搭載される移動体は、自車両と称されて説明される。
この開示の第１実施形態に係る表示制御装置は、図面に基づいて以下のように説明される。図１は、第１実施形態に係る表示制御装置３０を備える表示制御システム１００の概略構成を示す機能ブロック図である。図１に示す表示制御装置３０は、本開示に係る表示制御装置の一実施形態であり、本開示は本実施形態に限定されない。表示制御装置３０は、自動車等の移動体に搭載されている。以下、本実施形態の表示制御装置３０が搭載される移動体は、自車両と称されて説明される。
【0011】
表示制御システム１００は、撮像装置１０と、乗員監視部２０と、表示制御装置３０と、表示部４０とを備える。表示制御システム１００は、図２に示されるように、乗員１であるドライバの顔の角度の変化量に応じて、表示部４０の表示領域４１に表示する表示画像４２を生成し、表示部４０に表示させる。図２の紙面中央の図は、乗員１の顔の角度が後述する基準角度のときに表示部４０に表示される表示画像４２を示し、紙面右図及び左図は、乗員１の顔の角度が基準角度から変化したときに表示部４０に表示される表示画像４２を示す。例えば、図２は乗員１の顔の角度φが基準角度θからＹａｗ方向に変化したときに表示部４０に表示される表示画像４２の例である。顔の角度φと基準角度θは後述される。乗員１の顔の角度φが基準角度θから変化した量である変化量を仮想視点位置に変換するとき、図２の下段の「左右反転あり」に示したように変化量の正負は反転されてもよい。例えば、表示部４０の表示領域を投影面に設定し、投影中心から投影面に投影した画像を表示するときの投影中心が仮想視点に対応する。詳細は後述するが、本開示における仮想視点は必ずしもドライバの目の位置に対応するとは限らない。表示制御システム１００は、仮想視点から表示部４０を透過して車外を見たような画像を表示することができる。
【0012】
撮像装置１０は、自車両の外部に設置され、自車両の周囲を撮影する。撮像装置１０は、撮影した画像を所定のプロトコルにしたがって撮影画像データとして表示制御装置３０に出力する。撮像装置１０は、本実施形態では自車両の前方に設置された前方カメラを含んでいる。なお、撮像装置１０が前方カメラに限定されず、自車両の後方に設置された後方カメラ、自車両の左右前方、左右後方に設置された側方カメラ等を含むこともできる。
【0013】
乗員監視部２０は、自車両に搭載されている。乗員監視部２０は、車内カメラ２１で撮影した画像に基づき、乗員１であるドライバの状態を監視する。乗員監視部２０は、公知のものを用いることができる。車内カメラ２１は、ドライバを含む自車両の車内を撮影するカメラであり、例えば表示部４０の近傍に車内に向けて設けられる。また、乗員監視部２０は、車内カメラ２１で撮影した画像に基づき、公知の手法で乗員１の顔の角度を検出し、取得した顔の角度に関する情報（以下、「角度情報」という。）を表示制御装置３０に出力する。本実施形態では、乗員監視部２０は、顔角度情報として水平方向及び鉛直方向において乗員１の顔が向いている方向を示す、ヨー角とピッチ角を出力する。
【0014】
表示制御装置３０は、画像の作成及び表示に関する処理を実行する情報処理装置であり、図１に示すように、処理部（制御部）５０と、記憶部６０と、を備える。表示制御装置３０は、例えば、ＣＰＵ、ＧＰＵ、ＲＡＭ及びＲＯＭ等の記憶装置を有するＥＣＵにより構成される。処理部５０は、ＥＣＵが有するＣＰＵ等により主に構成され、ＲＯＭに格納された所定のプログラムをＲＡＭに展開して実行することにより、表示制御装置３０の全体の動作を制御する。記憶部６０は、ＥＣＵが有する記憶装置により主に構成されるが、外部に設けられたサーバやデータベースを備えることもできる。なお、表示制御装置３０は、一つのＥＣＵにより構成することもできるし、複数のＥＣＵにより構成し、後述の処理部５０の各機能を分散させたり、記憶するデータを分散させたりすることもできる。また、表示制御装置３０は、その機能の一部又は全部を、ＦＰＧＡ、ＡＳＩＣなどのハードウェアを用いて実現されることもできる。さらには、一つのＥＣＵが、表示制御装置３０の機能だけでなく、撮像装置１０を制御するカメラＥＣＵの機能、乗員監視部２０の機能を備える構成とすることもできる。
【0015】
処理部５０は、表示制御装置３０全体を制御し、撮像装置１０から入力される撮影画像データと乗員監視部２０から入力される角度情報に基づき、表示画像を生成して表示部４０に表示させる。このことを可能とするため、処理部５０は、図１に示すように、画像取得部５１、乗員情報取得部５２、仮想視点設定部５３、画像変換部５４及び表示処理部５５として機能するが、この構成に限定されない。
【0016】
画像取得部５１は、撮像装置１０から自車両の周辺を撮影した撮影画像データを取得し、画像変換部５４に出力する。
【0017】
乗員情報取得部５２は、乗員監視部２０から角度情報を取得し、取得した角度情報及び予め決められた基準となる顔の角度に関する情報（以下、「基準角度情報」という。）に基づいて、顔の角度の変化量、つまりヨー角及びピッチ角の変化量を算出する。乗員情報取得部５２は、算出したヨー角及びピッチ角の変化量を仮想視点設定部５３に出力する。
【0018】
基準角度情報は、記憶部６０の基準角度記憶部６１に予め記憶されている。基準角度情報は、例えば、乗員１が前方（正面）を向いたときの顔の向きを基準角度とし、この基準角度のときの顔の角度に関する情報とすることができる。例えば、乗員１が表示部４０に顔を向けたときの顔の角度が基準角度でもよい。乗員監視部２０から取得する角度情報は、乗員１が基準角度に対して、顔の向きを変化させた後の顔の角度に関する情報である。
【0019】
乗員情報取得部５２によるヨー角及びピッチ角の変化量の算出手順を図３を参照して以下のように説明する。ヨー角（Ｙａｗ）は乗員１の水平方向（左右方向）の顔の角度であり、ピッチ角（ｐｉｔｃｈ）は乗員１の鉛直方向（上下方向）の顔の角度である。基準角度をθ（θｙａｗ，θｐｉｔｃｈ）とし、ＤＭＳ２０から取得した顔角度（つまり、顔の向きが変化した後の顔の角度）をφ（φｙａｗ，φｐｉｔｃｈ）としたとき、乗員情報取得部５２は顔の角度の変化量Ａ（Ａｙａｗ，Ａｐｉｔｃｈ）を下記式（１）、（２）により算出する。下記式（１）、（２）中、θｙａｗ及びθｐｉｔｃｈは、基準角度としてのヨー角及びピッチ角であり、φｙａｗ及びφｐｉｔｃｈは、移動後の顔の角度としてのヨー角と及びピッチ角であり、Ａｙａｗ及びＡｐｉｔｃｈは、ヨー角の変化量及びピッチ角の変化量である。
【0020】
Ａｙａｗ ＝ φｙａｗ － θｙａｗ （１）
Ａｐｉｔｃｈ ＝ φｐｉｔｃｈ － θｐｉｔｃｈ （２）
Ａｐｉｔｃｈ ＝ φｐｉｔｃｈ － θｐｉｔｃｈ （２）
【0021】
仮想視点設定部５３は、乗員情報取得部５２から入力されるヨー角及びピッチ角の変化量（Ａｙａｗ，Ａｐｉｔｃｈ）に基づき、水平方向及び鉛直方向における乗員１の仮想的な視点の位置（以下、「仮想視点位置Ｔ」という。）を算出（設定）する。仮想視点設定部５３は、算出した仮想視点位置を画像変換部５４に出力する。
【0022】
仮想視点設定部５３による仮想視点位置Ｔの算出手順を図４を参照して以下のように説明する。図４に示されるＰは、乗員１の顔の角度が基準角度θのときの仮想視点位置であり、Ｔは乗員の顔の角度が基準角度θから角度φに変化したときの仮想視点位置である。仮想視点位置Ｐの座標をＰ（Ｐｘ，Ｐｙ，Ｐｚ）とし、仮想視点位置Ｔの座標をＴ（Ｔｘ，Ｔｙ，Ｔｚ）としたとき、仮想視点設定部５３は仮想視点位置Ｔの座標を下記式（３）、（４）、（５）により算出する。下記式（３）、（４）中、ｆｙａｗ及びｆｐｉｔｃｈは、所定の増加関数である。この増加関数は公知のものを用いることができる。増加関数は、顔の角度の変化量に応じて、所定の加算値を加算して仮想視点位置Ｔの値を一定に増加させるものでもよい。例えば、増加関数が顔の角度の変化量が大きくなるにしたがって加算値を大きくする等、変化量の度合いに応じて加算値を変化させ、仮想視点位置Ｔの値を増加させるものでもよい。なお、仮想視点設定部５３は乗員１の顔の角度の変化量を上下方向（ｐｉｔｃｈ方向）及び左右方向（ｙａｗ方向）に反転させて仮想視点位置Ｔを設定してもよい。
【0023】
Ｔｘ ＝ Ｐｘ ＋ ｆｙａｗ（Ａｙａｗ） （３）
Ｔｙ ＝ Ｐｙ ＋ ｆｐｉｔｃｈ（Ａｐｉｔｃｈ） （４）
Ｔｚ ＝ Ｐｚ （５）
Ｔｙ ＝ Ｐｙ ＋ ｆｐｉｔｃｈ（Ａｐｉｔｃｈ） （４）
Ｔｚ ＝ Ｐｚ （５）
【0024】
画像変換部５４は、撮像装置１０で撮影された撮像画像７０及び仮想視点設定部５３で算出された仮想視点位置Ｔに基づき、表示部４０の表示領域４１に表示する表示画像４２（撮像画像７０を仮想視点から見た画像）を生成する。このために、画像変換部５４は、撮像画像７０の座標を、この撮像画像７０の画像座標系から自車両の座標系である車両座標系の座標に変換する第１の変換処理と、この車両座標系の座標を、表示部４０の座標系である表示座標系に変換する第２の変換処理を実行する。
【0025】
画像変換部５４は、図１に示すように、地面モデル投影部５４１及び視点反映部５４２を有する。地面モデル投影部５４１は、補正処理、第１の変換処理である地面モデル画像生成処理を行う。また、地面モデル投影部５４１は、第１の変換処理に用いる射影変換行列Ｍの算出処理を行う。地面モデル投影部５４１は、算出した射影変換行列Ｍを記憶部６０の変換情報記憶部６２に記憶する。
【0026】
地面モデル投影部５４１は、補正処理として、画像取得部５１から入力される撮像画像７０に対して、公知の手法を用いて撮像装置１０が有するレンズの歪み（例えば、レンズの歪曲収差、色収差等）を補正する。なお、この補正処理は、地面モデル投影部５４１ではなく、画像取得部５１が行って、画像取得部５１が、レンズの歪みの補正処理後の撮像画像７０を地面モデル投影部５４１に出力する構成とすることもできる。
【0027】
地面モデル投影部５４１は、地面モデル画像生成処理として、補正処理後の撮像画像７０を、車両座標系に設定された面にマッピング投影して表示するように画像座標系を車両座標系に変換し、地面モデル画像７２を生成する。この地面モデル画像生成処理は、変換情報記憶部６２に記憶された射影変換行列Ｍを用いて、画像座標系を車両座標系に変換する第１の変換処理である。
【0028】
地面モデル画像生成処理は、図５を参照して、以下のように説明される。図５の紙面上図は、補正処理後の撮像画像７０を基準とする画像座標系であり、図５の紙面下図は自車両を基準とする車両座標系である。画像座標系は、補正処理後の撮像画像７０の左上隅を原点Ｏ（０，０）とする二次元の座標系である。Ｘａ及びＹａは互いに直交する軸であり、各軸の単位はピクセル（ｐｘ）である。車両座標系は、自車両の所定の位置を原点Ｏ（０，０，０）とする三次元の座標系であり、Ｘｂは車幅方向（水平方向）に延びる軸であり、ＹｂはＸｂと直交し車両の上下方向（垂直方向）に延びる軸であり、ＺｂはＸｂ及びＹｂと直交し車両の前方向に延びる軸である。Ｘｂ、Ｙｂ、Ｚｂの各軸の単位はｍｍである。
【0029】
車両座標系に設定される面は、自車両が走行する地面（走行面）に相当する面に設定される。本実施形態では、この面は、地面モデル７１と称される。また、図５中に符号７２で示される領域は、撮像画像７０が、地面モデル画像生成処理によって地面モデル７１上にマッピングされた画像（以下「地面モデル画像７２」という。）を示す。また、図５中に符号７３で示される領域は、撮像画像７０がマッピングされない領域、つまり撮像装置１０で撮影されない領域（以下、「非マッピング領域７３」という。）である。
【0030】
地面モデル投影部５４１は、補正処理後の撮像画像７０の各ピクセルの座標を、下記式（６）に代入して、地面モデル７１の座標に変換する。下記式（６）中、ｘａ及びｙａは画像座標系のｘ座標及びｙ座標であり、ｘｂ及びｚｂは車両座標系のｘ座標及びｚ座標である。ここで、画像座標系の座標（ｘａ，ｙａ）を表す同次座標をａとし、車両座標系の座標（ｘｂ、ｚｂ）を表す同次座標をｂとする。同次座標ａとｂとの関係は、下記式（６）で表される。なお、値λｂは、同次座標ｂにおける倍率を示す。この値λｂがいずれの値をとっても（ただし値０を除く）、同次座標ｂは車両座標系上で同一の座標を表す。
【0031】
【数1】
【0032】
射影変換行列Ｍは予め算出されるが、この算出手順は、図７の紙面左図及び中央図を参照して、以下のようにして算出することができる。図７に示されるａ１、ａ２、ａ３、ａ４は、画像座標系における撮像画像７０中で参照する参照点である。また、図７に示されるｂ１、ｂ２、ｂ３、ｂ４は、車両座標系における地面モデル７１において、上記画像座標系における参照点ａ１、ａ２、ａ３、ａ４に対応する参照点である、画像座標系の座標（ｘａ，ｙａ）を表す同次座標ａと、車両座標系の座標（ｘｂ、ｚｂ）を表す同次座標ｂとの関係は、上記式（６）で表すことができる。
【0033】
地面モデル投影部５４１は、補正処理後の撮像画像７０上で捉えられる点であって、車両座標系における４つの参照点ｂ１、ｂ２、ｂ３、ｂ４を設定する。また、各参照点ｂ１、ｂ２、ｂ３、ｂ４の座標は、実測により特定されて地面モデル投影部５４１に入力される。次に、地面モデル投影部５４１は、補正処理後の撮像画像７０の画像座標系における４つの参照点ａ１、ａ２、ａ３、ａ４の座標を特定する。
【0034】
地面モデル投影部５４１は、以上のようにして特定した各参照点の座標を、上記式（６）に代入し、射影変換行列Ｍの各要素を含む連立方程式を解くことによって、射影変換行列Ｍを算出する。地面モデル投影部５４１は、算出した射影変換行列Ｍを記憶部６０の変換情報記憶部６２に記憶する。
【0035】
視点反映部５４２は、投影領域設定処理、射影変換行列Ｎの算出処理、第２の変換処理である表示画像生成処理を行う。投影領域設定処理は、図６を参照して、以下のように説明される。図６に示されるように、仮想視点設定部５３から入力される仮想視点位置Ｔを基準として、投影面を表示部４０としたときに、視点反映部５４２は、仮想視点位置Ｔからこの表示部４０の表示領域４１に投影される地面モデル７１上の領域（投影領域７４）を算出する。図６に示される点ｃ１、ｃ２、ｃ３、ｃ４で囲まれた領域が、表示部４０の表示領域４１であり、地面モデル７１上の点ｂ５、ｂ６、ｂ７、ｂ８で囲まれた領域が、表示領域４１に投影される投影領域７４である。視点反映部５４２は、仮想視点位置Ｔの座標、及び点ｃ１～ｃ４の座標に基づいて、点ｂ５～ｂ８の座標を算出する。
【0036】
より具体的には、視点反映部５４２は、仮想視点位置Ｔの座標Ｔ（Ｔｘ，Ｔｙ，Ｔｚ）と、表示領域４１の四隅の点ｃ１～ｃ４の座標を用いて、仮想視点位置Ｔと、点ｃ１～ｃ４とを各々結ぶ直線を設定する。次いで、視点反映部５４２は、これらの直線と、地面モデル７１との交点ｂ５～ｂ８を検出し、この交点ｂ５～ｂ８で囲まれる領域を、表示領域４１に対応する投影領域７４と認定し、各交点ｂ５～ｂ８の座標を算出する。
【0037】
射影変換行列Ｎの算出処理は、図７の紙面中央図と右図を参照して、以下のように説明される。図７の紙面右図は、表示部４０の表示領域４１を基準とする表示座標系である。表示座標系は、表示領域４１の左上隅を原点Ｏ（０，０）とする二次元の座標系である。Ｘｃ及びＹｃは互いに直交する軸であり、各軸の単位はピクセル（ｐｘ）である。
【0038】
車両座標系における地面モデル７１上において、交点ｂ５、ｂ６、ｂ７、ｂ８で囲まれる領域を、視点反映部５４２が算出する投影領域７４とし、車両座標系の座標（ｘｂ，ｚｂ）を表す同次座標をｂとする。表示部４０の表示座標系において、各交点ｂ５、ｂ６、ｂ７、ｂ８に対応する参照点をｃ１、ｃ２、ｃ３、ｃ４とし、表示座標系の座標（ｘｃ，ｙｃ）を表す同次座標をｃとする。同次座標ｂ、ｃの関係は、下記式（７）で表される。なお、値λｃは、同次座標ｃにおける倍率を示す。この値λｃがいずれの値をとっても（ただし値０を除く）、同次座標ｃは表示座標系上で同一の座標を表す。
【0039】
【数2】
【0040】
視点反映部５４２は、投影領域設定処理で算出した表示部４０の表示座標系の参照点ｃ１～ｃ４の座標と、車両座標系の交点ｂ５～ｂ８の座標とを上記式（７）に代入し、射影変換行列Ｎの各要素を含む連立方程式を解くことで、射影変換行列Ｎを算出する。視点反映部５４２は、算出した射影変換行列Ｎを、記憶部６０の変換情報記憶部６２に記憶する。
【0041】
また、視点反映部５４２は、表示画像生成処理として、上記算出処理で算出した射影変換行列Ｎを用いて、表示部４０の表示領域４１の各ピクセルに対応する、地面モデル画像７２の投影領域７４の各点の座標を、上記式（７）に代入して、投影領域７４の座標を表示座標系に変換する。このようにして、視点反映部５４２は、地面モデル画像７２上の投影領域７４の画像に対応する表示画像４２の画像データを生成する。視点反映部５４２は、生成した画像データを表示処理部５５に出力する。
【0042】
表示処理部５５は、視点反映部５４２から入力される画像データに基づいて、この画像データに対応する表示画像４２を表示部４０の表示領域４１に表示させる。
【0043】
記憶部６０は、表示制御装置３０を動作させるための制御プログラム、処理部５０における各種動作の際に用いられる各種データやパラメータを、一時的又は非一時的に格納する。また、前述したように、記憶部６０の基準角度記憶部６１は、顔の角度が基準角度であるときの顔の基準角度情報を、一時的又は非一時的に格納する。記憶部６０の変換情報記憶部６２は、地面モデル画像生成処理（第１の変換処理）、表示画像生成処理（第２の変換処理）で各々用いられる射影変換行列Ｍ及び射影変換行列Ｎを、一時的又は非一時的に格納する。
【0044】
上述のような構成の第１実施形態に係る表示制御システム１００の動作の一例は、図８のフローチャートを参照しながら、以下のように説明される。図８は、表示制御装置３０の動作の一例を示しているが、表示制御装置３０の動作は、この図８の動作に限定されない。
【0045】
まず、ステップＳ１で、画像取得部５１は、撮像装置１０によって撮影された撮像画像７０を取得し、画像変換部５４に出力する。また、ステップＳ２で、乗員情報取得部５２は、乗員監視部２０から乗員１の顔の角度に関する角度情報を取得する。次のステップＳ３で、乗員情報取得部５２は、取得した角度情報と、基準角度記憶部６１から取得した基準角度情報に基づいて、前述の式（１）、（２）を用いて顔の角度の変化量を算出し、仮想視点設定部５３に出力する。
【0046】
次のステップＳ４で、仮想視点設定部５３は、乗員情報取得部５２から入力される変化量に基づき、前述の式（３）、（４）を用いて、乗員１の仮想視点位置Ｔを算出し、画像変換部５４に出力する。
【0047】
次のステップＳ５で、地面モデル投影部５４１は、撮像画像７０に対して、レンズの歪みを補正する補正処理を行う。次いで、ステップＳ６で、地面モデル投影部５４１は、変換情報記憶部６２から取得した射影変換行列Ｍと前述の式（６）を用いて、補正処理後の撮像画像７０の座標を、車両座標系の座標に変換することで、地面モデル画像７２を生成する。
【0048】
次のステップＳ７で、視点反映部５４２は、仮想視点設定部５３から入力される仮想視点位置Ｔを基準として、表示部４０の表示領域４１に投影される地面モデル画像７２上の領域（投影領域７４）を算出する。つまり、視点反映部５４２は、仮想視点位置Ｔの座標、及び表示領域の四隅の点ｃ１～ｃ４の座標に基づいて、投影領域７４を囲む交点ｂ５～ｂ８の座標を算出する。次いでステップＳ８で、視点反映部５４２は、表示座標系の点ｃ１～ｃ４の座標と、車両座標系の交点ｂ５～ｂ８の座標とを前述した式（７）に代入し、射影変換行列Ｎを算出する。
【0049】
次のステップＳ９で、視点反映部５４２は、投影領域７４の各座標を前述の式（７）に代入して、表示座標系の座標に変換することで、表示領域４１に表示する表示画像４２の画像データを生成し、表示処理部５５に出力する。
【0050】
そして、ステップＳ１０で、表示処理部５５は、視点反映部５４２から入力される画像データに基づいて、この画像データに対応する表示画像４２を表示部４０の表示領域４１に表示させる。図２に示されるように、表示領域４１には、乗員１の顔の角度に対応した方向の表示画像４２が表示される。
【0051】
以上説明したように、本実施形態の表示制御装置３０は、乗員１の顔の角度の変化量に基づいて設定された仮想視点位置Ｔに基づいて、車両の周辺を撮影した撮像画像７０を地面モデル画像７２に変換し、この地面モデル画像７２を表示部４０に表示する表示画像４２に変換する。そして、この表示画像４２が表示部４０に表示されることで、乗員１は顔の角度に応じた表示画像４２を視認できる。このような表示画像４２は、フロントウィンドウを介して視認される風景とのつながりが適切で、乗員１は表示画像４２を違和感なく視認可能となる。しかも、乗員１は、表示部４０に表示される画像を変化させたいときに、頭を大きく移動させることなく、顔の角度を上下左右に変化させるだけの動作を行えばよい。したがって、本実施形態の表示制御装置３０は、乗員１が表示部４０に表示される画像を変化させる際に乗員１の負担を軽減させることが可能となる。
【0052】
また、本実施形態の表示制御装置３０は、乗員１の顔の角度が所定の角度である基準角度を記憶する記憶部６０（基準角度記憶部６１）を備える。そして、仮想視点設定部５３は、基準角度に対して乗員１の顔の角度が変化した量である変化量に基づいて、仮想視点の位置Ｔを設定する。これにより、仮想視点設定部５３は、顔の角度の変化量を、より高精度に取得できる。この結果、表示制御装置３０は、顔の角度に応じた、より適切な表示画像４２を乗員１に提示できる。
【0053】
また、本実施形態の表示制御装置３０において、乗員情報取得部５２は、乗員１の顔の角度としてヨー角とピッチ角を取得している。そして、仮想視点設定部５３は、ヨー角の変化量に基づいて仮想視点の位置Ｔを水平方向へ移動し、ピッチ角の変化量に基づいて仮想視点の位置Ｔを鉛直方向に移動させる。この構成により、仮想視点設定部５３は、顔の角度の変化量を、より高精度かつより高速に算出でき、表示制御装置３０は、表示制御処理を、より効率的かつより高精度に行える。
【0054】
以上、図面を参照して、本開示の実施形態を詳述してきたが、具体的な構成は、この実施形態に限らず、本開示の要旨を逸脱しない程度の設計的変更は、本開示に含まれる。
【0055】
例えば、表示制御装置３０は、乗員１の目の位置に関する情報を取得する視点位置取得部を備える構成とすることもできる。この視点位置取得部により取得された目の位置に関する情報に基づき、仮想視点設定部５３は、乗員１の顔の角度が基準角度であるとき、乗員の目の位置に対応した位置に仮想視点を設定し、乗員１の顔の角度が基準角度でないとき、乗員１の目の位置から変化量に基づいた位置へ仮想視点の位置を移動する。この構成により、仮想視点設定部５３は、乗員１の目の位置に応じて、仮想視点の位置を設定でき、仮想視点の位置を、より適切かつより簡易に設定できる。例えば、乗員１が表示部４０に顔を向けたときの顔の角度が基準角度である場合、乗員１の顔が表示部４０に向いている間、乗員１の目の位置に対応した位置に仮想視点を設定できる。さらに、乗員１の顔が表示部４０に向いていないとき、乗員１の顔の角度の変化量に基づいた位置に仮想視点を設定できる。
【0056】
また、上記実施形態の表示制御装置３０は、乗員１の顔が基準角度のときの顔の角度を基準角度（基準角度情報）としているが、これに限定されない。例えば、基準角度は、前回、顔の角度を取得したときの当該顔角度情報とすることができる。この場合、乗員情報取得部５２は、顔の角度を取得するたびに、基準角度記憶部６１の基準角度情報を更新する。この構成により、表示制御装置３０は、乗員１が顔の角度を変化させる前の顔の角度を基準として、今回乗員１が顔の角度を変化させたときの変化量を算出できる。
【符号の説明】
【0057】
１ ：乗員 ３０ ：表示制御装置
４０ ：表示部 ４２ ：表示画像（仮想視点画像）
５０ ：処理部 ５１ ：画像取得部
５２ ：乗員情報取得部 ５３ ：仮想視点設定部
５４ ：画像変換部 ５５ ：表示処理部
６０ ：記憶部 ７０ ：撮像画像（画像）
Ａ ：変化量 θ ：基準角度
λ ：顔の角度
４０ ：表示部 ４２ ：表示画像（仮想視点画像）
５０ ：処理部 ５１ ：画像取得部
５２ ：乗員情報取得部 ５３ ：仮想視点設定部
５４ ：画像変換部 ５５ ：表示処理部
６０ ：記憶部 ７０ ：撮像画像（画像）
Ａ ：変化量 θ ：基準角度
λ ：顔の角度
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
