特許第5983668号(P5983668)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社豊田中央研究所の特許一覧

<>
  • 特許5983668-画像表示制御装置及びプログラム 図000007
  • 特許5983668-画像表示制御装置及びプログラム 図000008
  • 特許5983668-画像表示制御装置及びプログラム 図000009
  • 特許5983668-画像表示制御装置及びプログラム 図000010
  • 特許5983668-画像表示制御装置及びプログラム 図000011
  • 特許5983668-画像表示制御装置及びプログラム 図000012
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5983668
(24)【登録日】2016年8月12日
(45)【発行日】2016年9月6日
(54)【発明の名称】画像表示制御装置及びプログラム
(51)【国際特許分類】
   G09G 5/00 20060101AFI20160823BHJP
   G09G 5/38 20060101ALI20160823BHJP
   G09G 5/36 20060101ALI20160823BHJP
   B60R 11/02 20060101ALI20160823BHJP
【FI】
   G09G5/00 550C
   G09G5/38 A
   G09G5/36 520K
   G09G5/00 510A
   B60R11/02 C
【請求項の数】7
【全頁数】18
(21)【出願番号】特願2014-62598(P2014-62598)
(22)【出願日】2014年3月25日
(65)【公開番号】特開2015-184584(P2015-184584A)
(43)【公開日】2015年10月22日
【審査請求日】2015年6月10日
(73)【特許権者】
【識別番号】000003609
【氏名又は名称】株式会社豊田中央研究所
(74)【代理人】
【識別番号】100079049
【弁理士】
【氏名又は名称】中島 淳
(74)【代理人】
【識別番号】100084995
【弁理士】
【氏名又は名称】加藤 和詳
(72)【発明者】
【氏名】山口 喬弘
【審査官】 中村 直行
(56)【参考文献】
【文献】 特開2008−230575(JP,A)
【文献】 特開平08−247796(JP,A)
【文献】 特開2004−322728(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G09G 3/00 − 5/42
B60R 11/02
(57)【特許請求の範囲】
【請求項1】
可動体に搭載された画像表示装置に表示される画像を注視している前記可動体の乗員の頭部の姿勢に基づいて、前記頭部の回転軸を推定する頭部回転軸推定手段と、
前記頭部回転軸推定手段によって推定された前記頭部の回転軸の時系列に基づいて、前記頭部の回転軸の変化を推定する頭部回転軸変化推定手段と、
前記頭部回転軸変化推定手段によって推定された前記頭部の回転軸の変化が、予め定められた閾値以上である場合に、前記可動体の乗員の頭部の回転軸の変化を打ち消すように、前記画像の表示位置の変更、及び前記画像の表示の回転の少なくとも一方を行って表示させるように前記画像表示装置を制御する画像表示制御手段と、
を含む画像表示制御装置。
【請求項2】
可動体の回転角速度を検出する回転角速度検出手段と、
前記回転角速度検出手段によって検出された前記可動体の回転角速度に基づいて、前記可動体の回転軸の変化を推定する可動体回転軸変化推定手段と、
前記可動体回転軸変化推定手段によって推定された前記可動体の回転軸の変化に基づいて、前記可動体に搭載された画像表示装置に表示される画像を注視している前記可動体の乗員の頭部の回転軸の変化を推定する頭部回転軸変化推定手段と、
前記頭部回転軸変化推定手段によって推定された前記頭部の回転軸の変化が、予め定められた閾値以上である場合に、前記可動体の乗員の頭部の回転軸の変化を打ち消すように、前記画像の表示位置の変更、及び前記画像の表示の回転の少なくとも一方を行って表示させるように前記画像表示装置を制御する画像表示制御手段と、
を含む画像表示制御装置。
【請求項3】
前記画像表示装置に表示された画像の表示位置と、前記可動体の乗員の頭部の位置とに基づいて、前記可動体の乗員の頭部から見た前記画像の表示位置の方向を推定する画像表示位置推定手段と、
前記画像表示位置推定手段によって推定された前記画像の表示位置の方向に基づいて、前記可動体の乗員の頭部の回転軸の変化を打ち消すように、前記画像の表示位置を変更するための前記画像の表示位置の方向の目標値を推定する画像表示位置目標値推定手段と、を更に含み、
前記画像表示制御手段は、画像表示位置目標値推定手段によって推定された前記目標値に基づいて、前記画像の表示位置を変更して表示させるように、前記画像表示装置を制御する請求項1又は2記載の画像表示制御装置。
【請求項4】
前記画像表示制御手段は、前記可動体の乗員の頭部の変化前の回転軸に対する、前記可動体の乗員の頭部の変化後の回転軸の差分の回転軸の逆回転に対応する方向へ、前記画像の表示位置の変更、及び前記画像の表示の回転の少なくとも一方を行って表示させるように前記画像表示装置を制御する
請求項1〜請求項3の何れか1項に記載の画像表示制御装置。
【請求項5】
前記画像表示制御手段は、前記可動体の乗員の頭部の変化前の回転軸に対する、前記可動体の乗員の頭部の変化後の回転軸の差分の回転軸が、上下方向に対応する場合又は左右方向に対応する場合に、前記差分の回転軸での頭部の回転の逆回転に対応する方向へ、前記画像の表示位置の変更し、
前記差分の回転軸が前後方向に対応する場合に、前記差分の回転軸での頭部の回転の逆回転に対応する方向へ、前記画像の表示の回転を行って表示させるように、前記画像表示装置を制御する
請求項1〜請求項4の何れか1項に記載の画像表示制御装置。
【請求項6】
コンピュータを、
可動体に搭載された画像表示装置に表示される画像を注視している前記可動体の乗員の頭部の姿勢に基づいて、前記頭部の回転軸を推定する頭部回転軸推定手段、
前記頭部回転軸推定手段によって推定された前記頭部の回転軸の時系列に基づいて、前記頭部の回転軸の変化を推定する頭部回転軸変化推定手段、及び
前記頭部回転軸変化推定手段によって推定された前記頭部の回転軸の変化が、予め定められた閾値以上である場合に、前記可動体の乗員の頭部の回転軸の変化を打ち消すように、前記画像の表示位置の変更、及び前記画像の表示の回転の少なくとも一方を行って表示させるように前記画像表示装置を制御する画像表示制御手段
として機能させるためのプログラム。
【請求項7】
コンピュータを、
可動体の回転角速度を検出する回転角速度検出手段、
前記回転角速度検出手段によって検出された前記可動体の回転角速度に基づいて、前記可動体の回転軸の変化を推定する可動体回転軸変化推定手段、
前記可動体回転軸変化推定手段によって推定された前記可動体の回転軸の変化に基づいて、前記可動体に搭載された画像表示装置に表示される画像を注視している前記可動体の乗員の頭部の回転軸の変化を推定する頭部回転軸変化推定手段、及び
前記頭部回転軸変化推定手段によって推定された前記頭部の回転軸の変化が、予め定められた閾値以上である場合に、前記可動体の乗員の頭部の回転軸の変化を打ち消すように、前記画像の表示位置の変更、及び前記画像の表示の回転の少なくとも一方を行って表示させるように前記画像表示装置を制御する画像表示制御手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像表示制御装置及びプログラムに係り、特に、画像の表示位置を変更して表示させるように画像表示装置を制御する画像表示制御装置及びプログラムに関する。
【背景技術】
【0002】
従来より、車両の乗員が罹る動揺病の発生防止、及び症状軽減を目的とした車載画像表示装置が知られている。
【0003】
例えば、車両進行方向に設置した画像表示部について、車両の振動が所定値以上であれば略無限遠情報を、所定値未満であれば享楽情報を表示する車載情報提供装置が知られている(特許文献1)。また、この車載情報提供装置では、乗員の顔表面温度より、乗員の感じる違和感を判定し、違和感が高いと判定された場合は、略無限遠情報を表示する。
【0004】
また、車両の加速度を推定し、その加速度に応じた速さで移動するキャラクタ画像を画像に重畳表示する表示装置が知られている(特許文献2)。
【0005】
また、車両の挙動(少なくとも加速度)に応じた背景画像を生成し、背景画像と前景画像とを合成して表示する映像表示装置が知られている(特許文献3)。また、乗り物の加速度に応じた画像表示を行う映像表示装置が知られている(特許文献4)。
【0006】
また、乗り物の加速度に応じた画像表示を行い、加速度に応じて映像を動かした結果、画像が表示可能な領域の端点まで達した場合は、反対側の端点より映像を表示する映像表示装置が知られている(特許文献5)。
【0007】
また、車両の進行方向及び乗員頭部の位置情報より、乗員の視点から見える背景画像を生成し、他画像と合成して表示する映像表示装置が知られている(特許文献6)。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2005−153708号公報
【特許文献2】特開2005−294954号公報
【特許文献3】特開2005−242251号公報
【特許文献4】特開2009−251687号公報
【特許文献5】特開2010−16509号公報
【特許文献6】特開2012−88622号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
上記特許文献1〜6に記載の技術は、いずれも車両等の移動体の加速度に対応した映像を提示し、映像を見ている乗員に対し、移動体の運動を認識させる、又は乗員の運動に関する体性感覚と視覚情報とを一致させることを目的とした技術である。
【0010】
従って、上記特許文献1〜6に記載の技術により、視覚から得られる身体運動に関する情報と、体性感覚から得られる身体運動に関する情報との不一致から生じる動揺病は軽減することができるが、コリオリ錯覚による動揺病の抑制はすることができない、という問題がある。
【0011】
本発明は、上記の事情に鑑みてなされたもので、乗員の動揺病の発生を抑制することができる画像表示制御装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0012】
上記の目的を達成するために第1の発明に係る画像表示制御装置は、可動体に搭載された画像表示装置に表示される画像を注視している前記可動体の乗員の頭部の姿勢に基づいて、前記頭部の回転軸を推定する頭部回転軸推定手段と、前記頭部回転軸推定手段によって推定された前記頭部の回転軸の時系列に基づいて、前記頭部の回転軸の変化を推定する頭部回転軸変化推定手段と、前記頭部回転軸変化推定手段によって推定された前記頭部の回転軸の変化が、予め定められた閾値以上である場合に、前記可動体の乗員の頭部の回転軸の変化を打ち消すように、前記画像の表示位置の変更、及び前記画像の表示の回転の少なくとも一方を行って表示させるように前記画像表示装置を制御する画像表示制御手段と、を含んで構成されている。
【0013】
第2の発明に係るプログラムは、コンピュータを、可動体に搭載された画像表示装置に表示される画像を注視している前記可動体の乗員の頭部の姿勢に基づいて、前記頭部の回転軸を推定する頭部回転軸推定手段、前記頭部回転軸推定手段によって推定された前記頭部の回転軸の時系列に基づいて、前記頭部の回転軸の変化を推定する頭部回転軸変化推定手段、及び前記頭部回転軸変化推定手段によって推定された前記頭部の回転軸の変化が、予め定められた閾値以上である場合に、前記可動体の乗員の頭部の回転軸の変化を打ち消すように、前記画像の表示位置の変更、及び前記画像の表示の回転の少なくとも一方を行って表示させるように前記画像表示装置を制御する画像表示制御手段として機能させるためのプログラムである。
【0014】
第1の発明及び第2の発明によれば、頭部回転軸推定手段によって、可動体に搭載された画像表示装置に表示される画像を注視している可動体の乗員の頭部の姿勢に基づいて、頭部の回転軸を推定する。そして、頭部回転軸変化推定手段によって、頭部回転軸推定手段によって推定された頭部の回転軸の時系列に基づいて、頭部の回転軸の変化を推定する。そして、画像表示制御手段によって、頭部回転軸変化推定手段によって推定された頭部の回転軸の変化が、予め定められた閾値以上である場合に、可動体の乗員の頭部の回転軸の変化を打ち消すように、画像の表示位置の変更、及び画像の表示の回転の少なくとも一方を行って表示させるように画像表示装置を制御する。
【0015】
このように、可動体に搭載された画像表示装置に表示される画像を注視している乗員の頭部の回転軸の変化が、予め定められた閾値以上である場合に、可動体の乗員の頭部の姿勢の変化を抑制するように、画像の表示位置の変更、及び画像の表示の回転の少なくとも一方を行って表示させるように画像表示装置を制御することにより、乗員の動揺病の発生を抑制することができる。
【0016】
第3の発明に係る画像表示制御装置は、可動体の回転角速度を検出する回転角速度検出手段と、前記回転角速度検出手段によって検出された前記可動体の回転角速度に基づいて、前記可動体の回転軸の変化を推定する可動体回転軸変化推定手段と、前記可動体回転軸変化推定手段によって推定された前記可動体の回転軸の変化に基づいて、前記可動体に搭載された画像表示装置に表示される画像を注視している前記可動体の乗員の頭部の回転軸の変化を推定する頭部回転軸変化推定手段と、前記頭部回転軸変化推定手段によって推定された前記頭部の回転軸の変化が、予め定められた閾値以上である場合に、前記可動体の乗員の頭部の回転軸の変化を打ち消すように、前記画像の表示位置の変更、及び前記画像の表示の回転の少なくとも一方を行って表示させるように前記画像表示装置を制御する画像表示制御手段と、を含んで構成されている。
【0017】
第4の発明に係るプログラムは、コンピュータを、可動体の回転角速度を検出する回転角速度検出手段、前記回転角速度検出手段によって検出された前記可動体の回転角速度に基づいて、前記可動体の回転軸の変化を推定する可動体回転軸変化推定手段、前記可動体回転軸変化推定手段によって推定された前記可動体の回転軸の変化に基づいて、前記可動体に搭載された画像表示装置に表示される画像を注視している前記可動体の乗員の頭部の回転軸の変化を推定する頭部回転軸変化推定手段、及び前記頭部回転軸変化推定手段によって推定された前記頭部の回転軸の変化が、予め定められた閾値以上である場合に、前記可動体の乗員の頭部の回転軸の変化を打ち消すように、前記画像の表示位置の変更、及び前記画像の表示の回転の少なくとも一方を行って表示させるように前記画像表示装置を制御する画像表示制御手段として機能させるためのプログラムである。
【0018】
第3の発明及び第4の発明によれば、回転角速度検出手段によって、可動体の回転角速度を検出する。そして、可動体回転軸変化推定手段によって、回転角速度検出手段によって検出された可動体の回転角速度に基づいて、可動体の回転軸の変化を推定する。そして、頭部回転軸変化推定手段によって、可動体回転軸変化推定手段によって推定された可動体の回転軸の変化に基づいて、可動体に搭載された画像表示装置に表示される画像を注視している可動体の乗員の頭部の回転軸の変化を推定する。そして、画像表示制御手段によって、頭部回転軸変化推定手段によって推定された頭部の回転軸の変化が、予め定められた閾値以上である場合に、可動体の乗員の頭部の回転軸の変化を打ち消すように、画像の表示位置の変更、及び画像の表示の回転の少なくとも一方を行って表示させるように画像表示装置を制御する。
【0019】
このように、検出された可動体の回転角速度に基づいて、当該可動体の回転軸の変化を推定し、推定された前記可動体の回転軸の変化に基づいて、可動体の乗員の頭部の回転軸の変化を推定し、頭部の回転軸の変化が、予め定められた閾値以上である場合に、可動体の乗員の頭部の姿勢の変化を抑制するように、制御対象画像の表示位置の変更、及び画像の表示の回転の少なくとも一方を行って表示させるように画像表示装置を制御することにより、乗員の動揺病の発生を抑制することができる。
【0020】
上記の画像表示制御装置は、前記画像表示装置に表示された画像の表示位置と、前記可動体の乗員の頭部の位置とに基づいて、前記可動体の乗員の頭部から見た前記画像の表示位置の方向を推定する画像表示位置推定手段と、前記画像表示位置推定手段によって推定された前記画像の表示位置の方向に基づいて、前記可動体の乗員の頭部の回転軸の変化を打ち消すように、前記画像の表示位置を変更するための前記画像の表示位置の方向の目標値を推定する画像表示位置目標値推定手段と、を更に含み、前記画像表示制御手段は、画像表示位置目標値推定手段によって推定された前記目標値に基づいて、前記画像の表示位置を変更して表示させるように、前記画像表示装置を制御するようにすることができる。
【発明の効果】
【0021】
以上説明したように、本発明の画像表示制御装置及びプログラムによれば、乗員の動揺病の発生を抑制することができる、という効果が得られる。
【図面の簡単な説明】
【0022】
図1】本発明の第1の実施の形態に係る画像表示制御装置の構成を示すブロック図である。
図2】基準座標系、画像表示平面座標系、及び頭部座標系を説明するための説明図である。
図3】本発明の第1の実施の形態に係る画像表示制御装置の画像表示制御処理ルーチンの内容を示すフローチャートである。
図4】本発明の第2の実施の形態に係る画像表示制御装置の構成を示すブロック図である。
図5】可動体の乗員に対する画像表示制御の一例を説明するための説明図である。
図6】本発明の第2の実施の形態に係る画像表示制御装置の画像表示制御処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【0023】
<本発明の実施の形態の概要>
人の頭部が任意の一定の回転軸で回転している状況において、頭部の回転軸が変化する時、三半規管内のリンパ液に、見かけ上の力(コリオリ力)が作用し、本来の頭部運動と異なる運動が知覚される。この錯覚を「コリオリ錯覚」と呼び、動揺病の一因であると考えられている(例えば参考文献(井須尚紀他、「17.コリオリ刺激が誘起する回転感覚と錯覚」、2004、Equilibrium Res Vol.63(3)、p.183-193)を参照)。
【0024】
そこで、本発明の実施の形態では、頭部回転軸が変化した場合(または変化が予測される場合)において、頭部回転軸変化が動揺病の生じるレベルに達する前に、人が注視している画像の表示位置及び姿勢を変更する。それにより、人がそれを注視し続けるために頭部を動かすように誘導し、頭部の回転軸変化を抑制し、動揺病の発生を抑制する。
【0025】
以下、図面を参照して本発明の実施の形態を詳細に説明する。まず、第1の実施の形態では、車両の乗員に対して画像を表示する画像表示装置を制御する画像表示制御装置に、本発明を適用した場合を例に説明する。
【0026】
<画像表示制御装置の構成>
図1に示すように、第1の実施の形態に係る画像表示制御装置は、乗員の頭部の位置及び姿勢を計測する乗員三次元位置形状計測装置12と、乗員三次元位置形状計測装置12によって計測された乗員の頭部の位置及び姿勢に基づいて、画像表示装置40を制御するコンピュータ20と、画像表示装置40とを備えている。
【0027】
乗員三次元位置形状計測装置12は、乗員の頭部の位置及び3軸の回転角速度を逐次計測して出力する。乗員三次元位置形状計測装置12は、例えば、時刻tにおいて、任意の基準座標系R(原点は車両の基準点に固定され、姿勢は時刻0における車両の姿勢に固定される座標系)を設定した場合、基準座標系Rにおける、頭部の表面形状を表す点群の位置を計測する。また、乗員三次元位置形状計測装置12は、計測した点群の位置より、耳や鼻等の特徴点を抽出し、その位置関係より、頭部に固定される頭部座標系Rの、基準座標系Rにおける原点位置及び姿勢を出力する。さらに、乗員三次元位置形状計測装置12は、基準座標系Rにおける乗員の頭部の3軸の角度の変化を、乗員の頭部の姿勢の変化として計測し、計測された3軸の角度の変化に基づいて、基準座標系Rにおける乗員の頭部の3軸の回転角速度を推定して出力する。乗員三次元位置形状計測装置12としては、従来既知の三次元位置形状計測装置(例えば、Kinect(登録商標))を用いればよく、詳細な説明を省略する。なお、乗員は、車両に搭載された画像表示装置40に表示される制御対象画像を注視しているものとする。なお、制御対象画像は静止画像であるか動画像であるかを問わない。
【0028】
また、画像表示装置40は、車両内の固定位置に設置されており、設置位置が予め求められている。
【0029】
コンピュータ20は、CPUと、RAMと、後述する画像表示制御処理ルーチンを実行するためのプログラムを記憶したROMとを備え、機能的には次に示すように構成されている。図1に示すように、コンピュータ20は、頭部回転軸推定部22、頭部回転軸変化推定部24、画像表示位置推定部26、画像表示位置目標値推定部28、及び画像表示制御部30を備えている。
【0030】
頭部回転軸推定部22は、乗員三次元位置形状計測装置12によって出力された乗員の頭部の3軸の回転角速度に基づいて、乗員の頭部の回転軸を推定する。例えば、時刻tにおいて、任意の基準座標系R(車両を基準とする座標系)及び頭部に固定された頭部座標系Rを設定した場合、乗員の頭部の回転軸を表す情報として、基準座標系Rにおける頭部座標系Rの頭部回転角速度ベクトルω(t)を式(1)のように求める。
【0031】
【数1】
【0032】
ただし、ω(t)は基準座標系Rのx軸まわりの頭部座標系Rの回転角速度、ω(t)は基準座標系Rのy軸まわりの頭部座標系Rの回転角速度、ω(t)は基準座標系Rのz軸まわりの頭部座標系Rの回転角速度を表す。なお、頭部回転角速度ベクトルω(t)の向きは、頭部回転軸の向きと等価である。
【0033】
頭部回転軸変化推定部24は、頭部回転軸推定部22によって推定された乗員の頭部の回転軸の時系列データに基づいて、乗員の頭部の回転軸の変化を推定する。具体的には、頭部回転軸変化推定部24は、頭部回転軸推定部22によって推定された現在及び過去の頭部回転軸の時系列データに基づいて、サンプリング周期Δt後の頭部回転軸を予測し、その変化分を推定する。
【0034】
例えば、以下に説明するように、時刻tにおいて、時刻t+Δtにおける頭部回転角速度ベクトルω(t+Δt)を予測し、その変化分を推定する。
【0035】
時刻{t−(n−1)Δt},{t−(n−2)Δt},…,tにおける頭部回転角速度ベクトルをω(t−(n−1)Δt),ω(t−(n−2)Δt),…,ω(t)とする。ここで、nは、時刻tからΔt後の頭部回転軸を推定するために用いる過去の時系列データの個数を表す。
【0036】
次に、最小自乗法を用いて以下の式(3)〜(5)に示す2次曲線をω(t−(n−1)Δt),ω(t−(n−2)Δt),…,ω(t)に対してフィッティングすることにより、時刻t+Δtにおける頭部回転角速度ベクトルω(t)を求める。そして、時刻t=t+Δtを代入することにより、ω(t+Δt)を求める。
【0037】
そして、頭部回転軸変化推定部24は、ω(t+Δt)とω(t)との変化分Δω(t+Δt)を求める。また、頭部回転軸変化推定部24は、ω(t+Δt)とω(t)とのなす角ξ(t)を求める。
【0038】
【数2】
【0039】
画像表示位置推定部26は、画像表示装置40に表示された制御対象画像の現在の表示位置と、乗員三次元位置形状計測装置12によって計測された頭部の位置とに基づいて、乗員の頭部から見た制御対象画像の表示位置の方向を推定する。
【0040】
具体的には、まず、図2に示すように、時刻tにおいて、基準座標系Rから見た画像表示平面座標系Rの原点の位置及び姿勢を算出する。画像表示平面座標系Rの原点の位置及び姿勢は、画像表示装置40の設置位置により求められる。なお、画像表示平面座標系Rのxy平面は、画像表示装置40の画像表示平面と同一平面である。
【0041】
次に、基準座標系Rにおける画像表示平面座標系Rの原点位置及び姿勢に基づいて、基準座標系Rから画像表示平面座標系Rへの同時変換行列を算出する。なお、同時変換行列は、画像表示平面座標系Rにおける基準座標系Rの原点位置及び姿勢を表現した行列であり、基準座標系Rにおける画像表示平面座標系Rの原点位置及び姿勢により求められる。
【0042】
さらに、基準座標系Rにおける頭部座標系Rの原点位置と、画像表示平面座標系Rの原点位置及び姿勢とに基づいて、頭部座標系Rの原点と画像表示平面座標系Rにおけるxy平面の距離ddhを求める。基準座標系Rにおける頭部座標系Rの原点位置は、乗員三次元位置形状計測装置12によって計測された頭部の位置である。
【0043】
また、画像表示平面座標系Rにおける制御対象画像の中心点P(t)の座標を求める。中心点P(t)の座標は[x(t),y(t),0]のように求められる。なお、中心点P(t)の座標は画像表示装置40から取得される。
【0044】
画像表示位置目標値推定部28は、画像表示位置推定部26により推定された乗員の頭部から見た制御対象画像の表示位置の方向(画像表示装置40の設置位置及び姿勢と、頭部と画像表示平面間の距離)に基づいて、頭部回転軸変化推定部24によって推定された乗員の頭部の回転軸の変化が、予め定められた閾値以上である場合に、乗員の頭部の姿勢の変化を抑制するように制御対象画像の表示位置及び表示角度を変更するための、制御対象画像の表示位置及び表示角度の目標値を推定する。
【0045】
具体的には、画像表示位置目標値推定部28は、頭部回転軸変化推定部24によって算出されたなす角ξ(t)が閾値以上である場合には、頭部回転軸変化推定部24によって推定された頭部回転軸変化量に基づいて、頭部回転軸変化を打ち消すための、制御対象画像の表示位置を推定する。具体的には、まず、基準座標系RにおけるΔω(t+t)を画像表示平面座標系RにおけるΔω(t+t)に変換する。Δω(t+t)は式(6)のように求められる。なお、Δω(t+t)は、Δωdx(t+t)、Δωdy(t+t)、Δωdz(t+t)を要素とするベクトルである。
【0046】
【数3】
【0047】
次に、時刻t+Δtにおける制御対象画像の中心点P(t+Δt)の座標の目標値[x(t+Δt),y(t+Δt),0]を算出する。x(t+Δt)は式(7)を用いて求められる。また、y(t+Δt)は式(8)を用いて求められる。
【0048】
【数4】
【0049】
さらに、時刻tにおけるz軸周りの画像の回転角度をθ(t)とすると、時刻t+Δtにおける画像表示角度の目標値θ(t+Δt)は式(9)のように求められる。
【0050】
【数5】
【0051】
ただし、頭部回転軸の方向は変わらずに頭部回転角速度の絶対値のみが変化する場合、コリオリ錯覚は生じないため、制御対象画像の表示位置及び表示角度を補正する必要はない。また、頭部回転軸変化推定部24によって算出されたなす角ξ(t)が、人がコリオリ錯覚を感じる閾値より小さい場合、制御対象画像の表示位置及び表示角度を補正する必要はない。また、頭部回転角速度の大きさが十分小さい時も制御対象画像の表示位置及び表示角度を補正する必要はない。本実施の形態では、なす角ξ(t)が閾値より小さい場合、制御対象画像の表示位置及び表示角度を補正しない場合を例に説明する。
【0052】
このように制御対象画像の表示位置を補正する必要がない場合には、画像表示位置目標値推定部28は、制御対象画像の表示位置及び表示角度の目標値として、時刻tにおける制御対象画像の表示位置及び表示角度をそのまま出力する。
【0053】
また、算出された制御対象画像の表示位置及び表示角度の目標値が実現できない値である場合、それによって誘導される頭部回転が対象となる乗員の負担となる場合等は、目標値を一定の値以下に抑えるようにしてもよい。
【0054】
画像表示制御部30は、画像表示位置目標値推定部28によって推定された目標値を実現するように、制御対象画像の表示位置及び表示角度を変更して表示させるように画像表示装置40を制御する。
【0055】
具体的には、画像表示制御部30は、時刻t+Δtにおいて、制御対象画像の中心点の位置を目標値x(t+Δt)及びy(t+Δt)と一致させるよう、画像表示装置40を制御する。また、画像表示制御部30は、制御対象画像の表示角度を目標値θ(t+Δt)と一致させるよう、画像表示装置40を制御する。
【0056】
<画像表示制御装置の作用>
次に、第1の実施の形態に係る画像表示制御装置10の作用について説明する。車両が移動しているときであって、画像表示装置40に制御対象画像が表示されているときに、乗員三次元位置形状計測装置12によって乗員の頭部の位置及び3軸の回転角速度が逐次計測される。また、画像表示制御装置10のコンピュータ20によって、車両を基準とする基準座標系Rが設定されると、図3に示す画像表示制御処理ルーチンが実行される。この画像表示制御処理ルーチンは、乗員三次元位置形状計測装置12によって乗員の頭部の位置及び3軸の回転角速度が計測される毎に繰り返し実行される。
【0057】
まず、ステップS100において、乗員三次元位置形状計測装置12によって出力された乗員の頭部の位置及び3軸の回転角速度を受け付ける。
【0058】
ステップS102において、頭部回転軸推定部22によって、上記ステップS100で受け付けた乗員の頭部の3軸の回転角速度に基づいて、乗員の頭部の回転軸を推定する。
【0059】
ステップS104において、頭部回転軸変化推定部24によって、上記ステップS102で推定された乗員の頭部の回転軸と、所定期間前から推定された乗員の頭部の回転軸とに基づいて得られる乗員の頭部の回転軸の時系列データに基づいて、当該乗員の頭部の回転軸の変化を推定し、なす角ξ(t)を算出する。
【0060】
ステップS105において、頭部回転軸変化推定部24によって、上記ステップS104で算出されたなす角ξ(t)と閾値とに基づいて、なす角ξ(t)が閾値以上であるか否かを判定する。なす角ξ(t)が閾値以上である場合には、ステップS106へ進む。一方、なす角ξ(t)が閾値未満である場合には、画像表示制御処理ルーチンを終了する。
【0061】
ステップS106において、画像表示位置推定部26によって、画像表示装置40に表示されている制御対象画像の現在の表示位置と、上記ステップS100で受け付けた頭部の位置とに基づいて、頭部と画像表示平面との間の距離を推定する。
【0062】
ステップS108において、画像表示位置目標値推定部28によって、制御対象画像の表示位置と、上記ステップS106で推定された頭部と画像表示平面との間の距離と、上記ステップS104で推定された乗員の頭部の回転軸の変化とに基づいて、乗員の頭部の姿勢の変化を抑制するように制御対象画像の表示位置及び表示角度を変更するための、制御対象画像の表示位置及び表示角度の目標値を推定する。
【0063】
ステップS110において、画像表示制御部30によって、上記ステップS108で推定された目標値を実現するように、制御対象画像の表示位置及び表示角度を変更して表示させるように画像表示装置40を制御して、画像表示制御処理ルーチンを終了する。
【0064】
以上説明したように、第1の実施の形態における画像表示制御装置によれば、車両に搭載された画像表示装置に表示される画像を注視している乗員の頭部の回転軸の変化が、閾値以上である場合に、乗員の頭部の姿勢の変化を抑制するように、画像の表示位置の変更、及び画像の表示の回転を行って表示させるように画像表示装置を制御することにより、乗員の動揺病の発生を抑制することができる。
【0065】
また、乗員の動揺病の発生を防ぐ、又は動揺病の症状を軽減することができる。
【0066】
<第2の実施の形態>
次に、第2の実施の形態について説明する。
【0067】
第2の実施の形態は、車両の回転角速度に基づいて、車両に搭載された画像表示装置に表示される画像を注視している車両の乗員の頭部の回転軸の変化を推定する点が、第1の実施の形態と異なる。なお、第2の実施の形態について、第1の実施の形態と同一の構成については、同一符号を付して、詳細な説明を省略する。
【0068】
<画像表示制御装置の構成>
第2の実施の形態に係る画像表示制御装置210は、車両の3軸の回転角速度を検出する可動体回転角速度センサ212と、可動体回転角速度センサ212によって検出された3軸の回転角速度に基づいて、画像表示装置40を制御するコンピュータ220と、画像表示装置40とを備えている。可動体回転角速度センサ212は、回転角速度検出手段の一例である。
【0069】
可動体回転角速度センサ212は、車両の3軸の回転角速度を逐次検出する。具体的には、可動体回転角速度センサ212は、3軸ジャイロセンサで構成され、ロール角速度、ヨー角速度、及びピッチ角速度からなる3軸の回転角速度を検出し、検出値に応じたセンサ信号を出力する。
【0070】
コンピュータ20は、CPUと、RAMと、後述する画像表示制御処理ルーチンを実行するためのプログラムを記憶したROMとを備え、機能的には次に示すように構成されている。図4に示すように、コンピュータ220は、可動体回転軸推定部222、可動体回転軸変化推定部223、頭部回転軸変化推定部224、画像表示位置目標値推定部228、及び画像表示制御部30を備えている。可動体回転軸変化推定部223は、可動体回転軸変化推定手段の一例である。
【0071】
可動体回転軸推定部222は、可動体回転角速度センサ212によって出力された回転角速度に基づいて、車両の回転軸の方向を推定する。なお、車両の回転軸の方向は、可動体回転角速度センサ212によって検出された、ロール角速度、ヨー角速度、及びピッチ角速度を要素とする回転角速度ベクトルの向きと等価であるため、車両の回転軸の方向として、当該回転角速度ベクトルが求められる。
【0072】
可動体回転軸変化推定部223は、可動体回転軸推定部222によって推定された車両の回転軸の時系列データに基づいて、車両の回転軸の変化を推定する。具体的には、可動体回転軸変化推定部223は、第1の実施の形態の頭部回転軸変化推定部24における頭部の回転軸変化の推定と同様に、現在及び過去の車両の回転軸の時系列データに基づいて、サンプリング周期Δt後の車両回転軸を予測し、その変化分を推定する。
【0073】
頭部回転軸変化推定部224は、可動体回転軸変化推定部223によって推定された車両の回転軸の変化に基づいて、車両に搭載された画像表示装置40に表示される画像を注視している乗員の頭部の回転軸の変化を推定する。具体的には、頭部回転軸変化推定部224は、第1の実施の形態と同様に、サンプリング周期Δt後の頭部回転角速度ベクトルω(t+Δt)と時刻tにおける頭部回転角速度ベクトルω(t)との変化Δω(t+Δt)を求める。なお、Δω(t+Δt)は、Δω(t+Δt)、Δω(t+Δt)、Δω(t+Δt)を要素とするベクトルである。本実施の形態では、乗員の頭部が車両に固定されていると仮定し、車両の回転軸変化をそのまま乗員頭部の回転軸変化として用いる。ただし、x軸方向は車両前方と一致するものとする。また、画像表示装置40の画像表示平面はx軸方向と直交するように設置されているものとする。
【0074】
画像表示位置目標値推定部228は、頭部回転軸変化推定部224によって推定された乗員の頭部の回転軸の変化の大きさが、閾値以上である場合に、乗員の頭部の姿勢の変化を抑制するように制御対象画像の表示位置の変更、及び制御対象画像の表示の回転の少なくとも一方を行うための、制御対象画像の表示の目標値を推定する。
【0075】
具体的には、画像表示位置目標値推定部228は、頭部の回転軸の変化Δω(t+Δt)の大きさが、閾値以上である場合には、頭部回転軸変化推定部224によって推定された乗員の頭部の回転軸の変化Δω(t+Δt)に基づいて、頭部回転軸変化を打ち消すための、制御対象画像の表示の目標値を推定する。本実施の形態では、頭部の回転軸の変化Δω(t+Δt)に応じて、制御対象画像の移動量及び方向、並びに制御対象画像の回転角度が予め定められているものとする。
【0076】
例えば、Δω(t+Δt)が正の所定値以上であれば、制御対象画像を左回りの所定の回転角度だけ回転させるように定められ、Δω(t+Δt)が負の所定値以下であれば、制御対象画像を右回りの所定の回転角度だけ回転させるように定められている。
また、Δω(t+Δt)が正の所定値以上であれば、制御対象画像を上方向の所定の移動量だけ移動させるように定められ、Δω(t+Δt)が負の所定値以下であれば、制御対象画像を下方向の所定の移動量だけ移動させるように定められている。
また、Δω(t+Δt)が正の所定値以上であれば、制御対象画像を右方向の所定の移動量だけ移動させるように定められ、Δω(t+Δt)が負の所定値以下であれば、制御対象画像を左方向の所定の移動量だけ移動させるように定められている。
【0077】
従って、画像表示位置目標値推定部228は、時刻tにおける制御対象画像の中心点の座標P(t)と、変化Δω(t+Δt)に応じて予め定められた移動量及び方向とに基づいて、Δt後の制御対象画像の中心点の座標P(t+Δt)を目標値として推定する。
【0078】
図5に、可動体である車両がヨー回転している状態からピッチ回転し始めたときの、具体的な画像表示制御装置の作動例の概念図を示す。図5では、まず、車両がピッチ回転し始めたときに、乗員の頭部もピッチ回転することを予測する。そして、ピッチ回転と反対方向に、画像の表示位置を変更して表示させるように画像表示装置を制御する。
【0079】
<画像表示制御装置の作用>
次に、第2の実施の形態に係る画像表示制御装置210の作用について説明する。なお、第1の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
車両が移動しているときであって、画像表示装置40に制御対象画像が表示されているときに、可動体回転角速度センサ212によって車両の3軸の回転角速度が逐次検出される。そして、画像表示制御装置210のコンピュータ220によって、車両を基準とする基準座標系Rが設定されると、図6に示す画像表示制御処理ルーチンが実行される。この画像表示制御処理ルーチンは、可動体回転角速度センサ212によって車両の3軸の回転角速度が検出される毎に繰り返し実行される。
【0080】
まず、ステップS200において、可動体回転角速度センサ212によって出力された車両の3軸の回転角速度を受け付ける。
【0081】
ステップS202において、可動体回転軸推定部222によって、上記ステップS200で受け付けた3軸の回転角速度に基づいて、車両の回転軸の方向を推定する。
【0082】
ステップS204において、可動体回転軸変化推定部223によって、上記ステップS202推定された車両の回転軸の方向と、所定期間前から推定された乗員の頭部の回転軸の方向とに基づいて得られる乗員の頭部の回転軸の方向の時系列データとに基づいて、車両の回転軸の変化を推定する。
【0083】
ステップS206において、頭部回転軸変化推定部224によって、上記ステップS204で推定された車両の回転軸の変化に基づいて、車両に搭載された画像表示装置40に表示される画像を注視している乗員の頭部の回転軸の変化を推定する。
【0084】
ステップS207において、頭部回転軸変化推定部24によって、上記ステップS206で推定された頭部の回転軸の変化Δω(t+Δt)の大きさと閾値とに基づいて、Δω(t+Δt)の大きさが閾値以上であるか否かを判定する。Δω(t+Δt)の大きさが閾値以上である場合には、ステップS208へ進む。一方、Δω(t+Δt)の大きさが閾値未満である場合には、画像表示制御処理ルーチンを終了する。
【0085】
ステップS208において、画像表示位置目標値推定部228によって、上記ステップS206で推定された乗員の頭部の回転軸の変化と、予め定められた移動量及び方向、並びに予め定められた回転角度とに基づいて、制御対象画像の表示位置の変更、及び制御対象画像の表示の回転の少なくとも一方を行って表示させるように、画像表示装置40の制御対象画像の表示の目標値を推定する。
【0086】
なお、第2の実施の形態に係る画像表示制御装置の他の構成及び作用については、第1の実施の形態と同様であるため、説明を省略する。
【0087】
以上説明したように、第2の実施の形態における画像表示制御装置によれば、検出された車両の3軸の回転角速度に基づいて、当該車両の回転軸の変化を推定し、推定された当該車両の回転軸の変化に基づいて、車両の乗員の頭部の回転軸の変化を推定し、頭部の回転軸の変化が、閾値以上である場合に、乗員の頭部の姿勢の変化を抑制するように、制御対象画像の表示位置の変更、及び制御対象画像の表示の回転の少なくとも一方を行って表示させるように画像表示装置40を制御することにより、乗員の動揺病の発生を抑制することができる。
【0088】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【0089】
例えば、本実施の形態では、車両を対象とした場合を例に説明したが、これに限定されるものではなく、乗員がいる可動体であれば、車両以外の可動体であってもよい。また、本実施の形態は、自動車車両の他、鉄道等の車両、船舶、航空機または遊戯装置など、乗員が搭乗した状態で何らかの運動を行う全ての機器に適用することができる。
【0090】
また、本実施の形態では、画像表示装置40は車両内の固定位置に設置されており、設置位置が予め求められている場合を例に説明したがこれに限定されるものではない。例えば、画像表示装置40の設置位置(画像表示平面座標系R)は3次元位置形状計測装置やモーションキャプチャ装置のように非接触で画像表示装置の位置及び姿勢を計測できる装置から求めるようにしてもよい。
【0091】
また、本実施の形態では、画像表示装置40が車両内の固定位置に設置されており、画像表示装置40に表示される制御対象画像の表示位置を変更して表示させるように画像表示装置40を制御する場合を例に説明したが、これに限定されるものではない。例えば、画像表示装置40は車両内の固定位置に設置されておらず、画像表示装置40自体の位置を変更させるように制御して、制御対象の画像の表示位置を変更して表示させるようにしてもよい。この場合には、画像表示平面座標系Rは3次元位置形状計測装置やモーションキャプチャ装置のように非接触で画像表示装置の位置及び姿勢を計測できる装置から求めることができる。
【0092】
なお、画像表示装置40自体の位置を変更させるように制御する場合には、例えば、アクチュエータ等の駆動手段を用いて、画像表示装置40自体の位置を制御する。また、同様に、アクチュエータ等の駆動手段を用いて、画像表示装置40自体の姿勢を変更させるように制御して、制御対象の画像の姿勢を変更して表示させるようにしてもよい。
【0093】
また、画像表示装置40自体の位置及び姿勢の少なくとも一方を変更させるように制御する場合であって、かつ画像表示装置40が頭部に固定されている装置であるときは、画像表示平面座標系Rは画像表示装置40内の制御対象画像の表示平面位置により求めることができる。
【0094】
また、第1の実施の形態では、頭部の回転角速度の計測に、3次元位置形状計測(乗員三次元位置形状計測装置12)を用いる場合を例に説明したが、これに限定されるものではない。例えば、非接触で乗員の頭部の位置及び姿勢の変化を計測できる他の方法として、モーションキャプチャ装置を用いたり、ジャイロセンサのように乗員の頭部に固定されたセンサを用いる方法などを用いてもよい。
【0095】
また、第1の実施の形態では、画像表示位置目標値推定部28は、上記式(7)〜(9)に従って、目標値を算出する場合を例に説明したが、これに限定されるものではない。画像表示位置目標値推定部28は、上記の第2の実施の形態と同様に、頭部の回転軸の変化Δω(t+Δt)に応じて予め定められた移動量及び方向、並びに回転角度に基づいて、目標値を算出してもよい。
【0096】
また、第1の実施の形態では、画像表示制御部30は、制御対象画像の表示位置の変更、及び制御対象画像の表示の回転を行って表示させるように画像表示装置を制御する場合を例に説明したが、これに限定されるものでなく、乗員の頭部の姿勢の変化を抑制するように、制御対象画像の表示位置の変更、及び制御対象画像の表示の回転の少なくとも一方を行って表示させるように画像表示装置を制御してもよい。
【0097】
また、第1の実施の形態における乗員三次元位置形状計測装置12は、乗員の頭部の位置及び回転角速度を計測する場合を例に説明したが、これに限定されるものではない。例えば、乗員三次元位置形状計測装置12は、乗員の頭部の位置及び姿勢(3軸の回転角)を計測するようにしてもよい。この場合には、頭部回転軸推定部22は、乗員の頭部の姿勢の計測結果に基づいて、頭部の回転軸を推定するようにしてもよい。
【0098】
また、第2の実施の形態における可動体回転角速度センサ212は、車両に固定された3軸ジャイロセンサを用いる場合を例に説明したが、これに限定されるものではなく、GPS装置、地磁気センサ等によっても推定することができる。
【0099】
また、第2の実施の形態における可動体回転軸変化推定部223は、可動体回転軸推定部222によって推定された車両の回転軸の時系列データに基づいて、車両の回転軸の変化を推定する場合を例に説明したが、これに限定されるものではない。例えば、車両が鉄道のように軌道が定められている可動体や、一部の車両や鉄道、航空機、船舶のように、自動運転が可能な可動体である場合は、その軌道形状や自動運転プログラムから変化分を求めてもよい。
【0100】
また、第2の実施の形態における頭部回転軸変化推定部224は、乗員の頭部が車両に固定されていると仮定し、車両の回転軸変化をそのまま乗員頭部の回転軸変化として用いる場合を例に説明したが、これに限定されるものではなく、他の手法によって乗員頭部の回転軸変化を推定してもよい。
【0101】
また、第2の実施の形態では、画像表示位置目標値推定部228は、頭部の回転軸の変化Δω(t+Δt)に応じて予め定められた移動量及び方向、並びに回転角度に基づいて、目標値を算出する場合を例に説明したが、これに限定されるものではない。画像表示位置目標値推定部228は、上記の第1の実施の形態と同様に、上記式(7)〜(9)に従って、目標値を算出するようにしてもよい。なお、上記式(7)〜(9)に従って目標値を算出する場合には、上記の第1の実施の形態と同様に、乗員三次元位置形状計測装置12によって、乗員の頭部の位置及び回転角速度を計測し、計測結果に基づいて、上記式(7)〜(9)に従って目標値を算出する。
【0102】
本発明のプログラムは、記憶媒体に格納して提供するようにしてもよい。
【符号の説明】
【0103】
10,210 画像表示制御装置
12 乗員三次元位置形状計測装置
20,220 コンピュータ
22 頭部回転軸推定部
24,224 頭部回転軸変化推定部
26 画像表示位置推定部
28,228 画像表示位置目標値推定部
30 画像表示制御部
40 画像表示装置
212 可動体回転角速度センサ
222 可動体回転軸推定部
223 可動体回転軸変化推定部
図1
図3
図4
図6
図2
図5