特開2022-108714撮像画像データ補正システム、及びヘッドアップディスプレイ装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022108714
(43)【公開日】2022-07-26
(54)【発明の名称】撮像画像データ補正システム、及びヘッドアップディスプレイ装置
(51)【国際特許分類】
H04N 5/232 20060101AFI20220719BHJP
H04N 5/225 20060101ALI20220719BHJP
【ＦＩ】
H04N5/232 290
H04N5/225 400
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2021204361
(22)【出願日】2021-12-16
(31)【優先権主張番号】P 2021003719
(32)【優先日】2021-01-13
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000231512
【氏名又は名称】日本精機株式会社
(74)【代理人】
【識別番号】100067356
【弁理士】
【氏名又は名称】下田 容一郎
(74)【代理人】
【識別番号】100160004
【弁理士】
【氏名又は名称】下田 憲雅
(74)【代理人】
【識別番号】100120558
【弁理士】
【氏名又は名称】住吉 勝彦
(74)【代理人】
【識別番号】100148909
【弁理士】
【氏名又は名称】瀧澤 匡則
(74)【代理人】
【識別番号】100192533
【弁理士】
【氏名又は名称】奈良 如紘
(72)【発明者】
【氏名】濱田 一成
(72)【発明者】
【氏名】笠原 毅
(72)【発明者】
【氏名】猪坂 雄治
【テーマコード（参考）】
5C122
【Ｆターム（参考）】
5C122DA14
5C122DA16
5C122EA31
5C122FB11
5C122FB13
5C122FH06
5C122FH11
5C122GG04
5C122HA88
5C122HB01
5C122HB10
(57)【要約】
【課題】 撮像対象とカメラとの間に光学系が介在する場合における撮像精度を向上させる。
【解決手段】 撮像画像データ補正システム１９０は、カメラ１０８と、光学系５５と、第１、第２の補正行列Ｍ１、Ｍ２が記憶されている記憶装置１８５と、第１、第２の各補正行列を用いた補正処理を実施する補正処理部１８３と、を有し、第１の補正行列ＭＸ１は、ｚ座標値についての測定誤差である第１の誤差と、光学系による歪みによる第２の誤差と、が含まれる撮像画像データにおける、上記の第１の誤差に起因する画像の歪みを抑制する座標変換用の射影変換行列であり、第２の補正行列ＭＸ２は、光学系による歪みを抑制する歪み除去用の変換行列である。
【選択図】 図１
【解決手段】 撮像画像データ補正システム１９０は、カメラ１０８と、光学系５５と、第１、第２の補正行列Ｍ１、Ｍ２が記憶されている記憶装置１８５と、第１、第２の各補正行列を用いた補正処理を実施する補正処理部１８３と、を有し、第１の補正行列ＭＸ１は、ｚ座標値についての測定誤差である第１の誤差と、光学系による歪みによる第２の誤差と、が含まれる撮像画像データにおける、上記の第１の誤差に起因する画像の歪みを抑制する座標変換用の射影変換行列であり、第２の補正行列ＭＸ２は、光学系による歪みを抑制する歪み除去用の変換行列である。
【選択図】 図１
【特許請求の範囲】
【請求項1】
撮像画像データを補正する撮像画像データ補正システムであって、
撮像対象を撮像するカメラと、
曲面の光反射面又は光透過面を有する少なくとも１つの光学部材を有する光学系と、
前記カメラが、前記光学系を経由して到来する光を受光して得られる前記撮像対象画像データを補正する、第１の補正行列、及び第２の補正行列が記憶されている記憶装置と、
前記第１、第２の各補正行列を用いた補正処理を実施する補正処理部と、
を有し、
前記第１の補正行列は、
前記カメラの光軸に直交する平面における横方向に対応する軸をｘ軸とし、縦方向に対応する軸をｙ軸とし、前記ｘ軸及びｙ軸に直交する、前記カメラの光軸に沿う奥行き方向の軸をｚ軸とし、前記ｘ軸、ｙ軸、ｚ軸の各軸によって、前記カメラの撮像点を原点とする３次元直交座標系を実空間に設定すると共に、
前記ｚ軸に直交し、かつｚ座標値が既知である基準平面上に、ｘ座標及びｙ座標が既知の複数の補正用基準点を設定して、
その複数の補正用基準点を、前記カメラで撮像することで、
ｚ座標値についての測定誤差である第１の誤差と、
前記光学系による歪みによる第２の誤差と、
が含まれる撮像画像データが取得され、その結果として、各補正用基準点について第１の座標（ｘＳ’、ｙＳ’、ｚＳ’）が取得される場合に、
前記ｘＳ’及びｙＳ’を、
第２の座標（ｘＳ’’、ｙＳ’’、ｚＳ（但し、ｚＳは、前記基準平面の前記既知の座標値に等しい一定値））における、前記ｘＳ’’及びｙＳ’’に変換する、座標変換用の射影変換行列であり、
前記第２の補正行列は、
前記ｘＳ’’及びｙＳ’’に、前記光学系による歪み特性とは逆の歪みを与えて座標を変換し、前記光学系による歪みを抑制する歪み除去用の変換行列である、
撮像画像データ補正システム。
撮像対象を撮像するカメラと、
曲面の光反射面又は光透過面を有する少なくとも１つの光学部材を有する光学系と、
前記カメラが、前記光学系を経由して到来する光を受光して得られる前記撮像対象画像データを補正する、第１の補正行列、及び第２の補正行列が記憶されている記憶装置と、
前記第１、第２の各補正行列を用いた補正処理を実施する補正処理部と、
を有し、
前記第１の補正行列は、
前記カメラの光軸に直交する平面における横方向に対応する軸をｘ軸とし、縦方向に対応する軸をｙ軸とし、前記ｘ軸及びｙ軸に直交する、前記カメラの光軸に沿う奥行き方向の軸をｚ軸とし、前記ｘ軸、ｙ軸、ｚ軸の各軸によって、前記カメラの撮像点を原点とする３次元直交座標系を実空間に設定すると共に、
前記ｚ軸に直交し、かつｚ座標値が既知である基準平面上に、ｘ座標及びｙ座標が既知の複数の補正用基準点を設定して、
その複数の補正用基準点を、前記カメラで撮像することで、
ｚ座標値についての測定誤差である第１の誤差と、
前記光学系による歪みによる第２の誤差と、
が含まれる撮像画像データが取得され、その結果として、各補正用基準点について第１の座標（ｘＳ’、ｙＳ’、ｚＳ’）が取得される場合に、
前記ｘＳ’及びｙＳ’を、
第２の座標（ｘＳ’’、ｙＳ’’、ｚＳ（但し、ｚＳは、前記基準平面の前記既知の座標値に等しい一定値））における、前記ｘＳ’’及びｙＳ’’に変換する、座標変換用の射影変換行列であり、
前記第２の補正行列は、
前記ｘＳ’’及びｙＳ’’に、前記光学系による歪み特性とは逆の歪みを与えて座標を変換し、前記光学系による歪みを抑制する歪み除去用の変換行列である、
撮像画像データ補正システム。
【請求項2】
前記第１の補正行列は、
ｘＳ’’＝ｘＳ’・ｚＳ/ｚＳ’ ・・・ 式１－１
ｙＳ’’＝ｙＳ’・ｚＳ/ｚＳ’ ・・・ 式１－２
で表される、上記式１－１、１－２の演算を実施するものである、
請求項１に記載の撮像画像データ補正システム。
ｘＳ’’＝ｘＳ’・ｚＳ/ｚＳ’ ・・・ 式１－１
ｙＳ’’＝ｙＳ’・ｚＳ/ｚＳ’ ・・・ 式１－２
で表される、上記式１－１、１－２の演算を実施するものである、
請求項１に記載の撮像画像データ補正システム。
【請求項3】
前記撮像対象の、前記ｚ軸に沿う方向の可動範囲内に設定される複数のｚ座標値の各々に対応して、前記第１の補正行列が複数、設けられており、
前記補正処理部は、複数の前記第１の補正行列の中から、前記カメラによる撮像に基づいて取得された前記撮像対象のｚ座標値に、もっとも近いｚ座標に対応した第１の補正行列を選択する、
請求項１又は２に記載の撮像画像データ補正システム。
前記補正処理部は、複数の前記第１の補正行列の中から、前記カメラによる撮像に基づいて取得された前記撮像対象のｚ座標値に、もっとも近いｚ座標に対応した第１の補正行列を選択する、
請求項１又は２に記載の撮像画像データ補正システム。
【請求項4】
前記ｚ軸に沿う方向の可動範囲内に設定される複数のｚ座標同士の間隔は、前記複数の補正用基準点を前記カメラで撮像した場合の、ｚ座標値の最大ブレ幅よりも大きく設定されている、
請求項３に記載の撮像画像データ補正システム。
請求項３に記載の撮像画像データ補正システム。
【請求項5】
前記複数の第１の補正行列を、第１～第ｎ（ｎは２以上の自然数）の第１の補正行列とし、
第１～第ｎの各第１の補正行列が対応するｚ座標値をｚ１～ｚｎとし、
第１（ｎ＝１）の第１の補正行列の補正対象である、前記カメラによって前記補正用基準点を撮像して得られる各点のｘ座標値及びｙ座標値をｘ１’、ｙ１’とし、
第ｎの第１の補正行列によって変換された後の各点のｘ座標値及びｙ座標値をｘｎ’、ｙｎ’とするとき、
第ｎの前記第１の補正行列は、
前記ｘ１’、ｙ１’を用いて、
ｘｎ’＝ｘ１’・（１＋（ｚｎ－ｚ１）/ｚ１） ・・・ 式２－１
ｙｎ’＝ｙ１’・（１＋（ｚｎ－ｚ１）/ｚ１） ・・・ 式２－２
で表される、上記式２－１、２－２の演算を実施するものである、
請求項３又は４に記載の撮像画像データ補正システム。
第１～第ｎの各第１の補正行列が対応するｚ座標値をｚ１～ｚｎとし、
第１（ｎ＝１）の第１の補正行列の補正対象である、前記カメラによって前記補正用基準点を撮像して得られる各点のｘ座標値及びｙ座標値をｘ１’、ｙ１’とし、
第ｎの第１の補正行列によって変換された後の各点のｘ座標値及びｙ座標値をｘｎ’、ｙｎ’とするとき、
第ｎの前記第１の補正行列は、
前記ｘ１’、ｙ１’を用いて、
ｘｎ’＝ｘ１’・（１＋（ｚｎ－ｚ１）/ｚ１） ・・・ 式２－１
ｙｎ’＝ｙ１’・（１＋（ｚｎ－ｚ１）/ｚ１） ・・・ 式２－２
で表される、上記式２－１、２－２の演算を実施するものである、
請求項３又は４に記載の撮像画像データ補正システム。
【請求項6】
前記記憶装置には、前記第１、第２の補正行列に加えて、第３、第４、第５、第６の補正行列が記憶されており、
前記補正処理部は、取得された前記第１の座標（ｘＳ’、ｙＳ’、ｚＳ’）の、ｘ、ｙ、ｚの各座標値に測定誤差が含まれるものとして補正処理を実施する場合には、前記第３及び第４の補正行列を用いて、あるいは、前記第５及び第６の補正行列を用いて補正処理を実施し、
前記第３の補正行列は、
ｙ、ｚの各座標値についての測定誤差が含まれる前記ｙＳ’及びｚＳ’を、
座標（ｘＳ、ｙＳ’’’、ｚＳ’’’（但し、ｘＳは、前記基準平面の前記既知のｘ座標値に等しい一定値））における、前記ｙＳ’’’及びｚＳ’’’に変換する、座標変換用の射影変換行列であり、
前記第４の補正行列は、
前記ｙＳ’’’及びｚＳ’’’に、前記光学系による歪み特性とは逆の歪みを与えて座標を変換し、前記光学系による歪みを抑制する歪み除去用の変換行列であり、
前記第５の補正行列は、
ｘ、ｚの各座標値についての測定誤差が含まれる前記ｘＳ’及びｚＳ’を、
座標（ｘＳ’’’’、ｙＳ、ｚＳ’’’’（但し、ｙＳは、前記基準平面の前記既知のｙ座標値に等しい一定値））における、前記ｘＳ’’’’及びｚＳ’’’’に変換する、座標変換用の射影変換行列であり、
前記第６の補正行列は、
前記ｘＳ’’’’及びｚＳ’’’’に、前記光学系による歪み特性とは逆の歪みを与えて座標を変換し、前記光学系による歪みを抑制する歪み除去用の変換行列である、
請求項１に記載の撮像画像データ補正システム。
前記補正処理部は、取得された前記第１の座標（ｘＳ’、ｙＳ’、ｚＳ’）の、ｘ、ｙ、ｚの各座標値に測定誤差が含まれるものとして補正処理を実施する場合には、前記第３及び第４の補正行列を用いて、あるいは、前記第５及び第６の補正行列を用いて補正処理を実施し、
前記第３の補正行列は、
ｙ、ｚの各座標値についての測定誤差が含まれる前記ｙＳ’及びｚＳ’を、
座標（ｘＳ、ｙＳ’’’、ｚＳ’’’（但し、ｘＳは、前記基準平面の前記既知のｘ座標値に等しい一定値））における、前記ｙＳ’’’及びｚＳ’’’に変換する、座標変換用の射影変換行列であり、
前記第４の補正行列は、
前記ｙＳ’’’及びｚＳ’’’に、前記光学系による歪み特性とは逆の歪みを与えて座標を変換し、前記光学系による歪みを抑制する歪み除去用の変換行列であり、
前記第５の補正行列は、
ｘ、ｚの各座標値についての測定誤差が含まれる前記ｘＳ’及びｚＳ’を、
座標（ｘＳ’’’’、ｙＳ、ｚＳ’’’’（但し、ｙＳは、前記基準平面の前記既知のｙ座標値に等しい一定値））における、前記ｘＳ’’’’及びｚＳ’’’’に変換する、座標変換用の射影変換行列であり、
前記第６の補正行列は、
前記ｘＳ’’’’及びｚＳ’’’’に、前記光学系による歪み特性とは逆の歪みを与えて座標を変換し、前記光学系による歪みを抑制する歪み除去用の変換行列である、
請求項１に記載の撮像画像データ補正システム。
【請求項7】
前記第４の補正行列を用いた補正処理を実施する場合には、
前記ｘ軸に沿う方向に設定される複数のｘ座標値の各々に対応して、前記第４の補正行列が複数、設けられており、
前記補正処理部は、
複数の前記第４の補正行列の中から、測定によって取得されたｘ座標値に、もっとも近いｘ座標に対応した第４の補正行列を選択し、選択された第４の補正行列を用いた補正演算を実施し、
前記第６の補正行列を用いた補正処理を実施する場合には、
前記ｙ軸に沿う方向に設定される複数のｙ座標値の各々に対応して、前記第６の補正行列が複数、設けられており、
前記補正処理部は、
複数の前記第６の補正行列の中から、測定によって取得されたｙ座標値に、最も近いｙ座標に対応した第６の補正行列を選択し、選択された第６の補正行列を用いた補正演算を実施する、
請求項６に記載の撮像画像データ補正システム。
前記ｘ軸に沿う方向に設定される複数のｘ座標値の各々に対応して、前記第４の補正行列が複数、設けられており、
前記補正処理部は、
複数の前記第４の補正行列の中から、測定によって取得されたｘ座標値に、もっとも近いｘ座標に対応した第４の補正行列を選択し、選択された第４の補正行列を用いた補正演算を実施し、
前記第６の補正行列を用いた補正処理を実施する場合には、
前記ｙ軸に沿う方向に設定される複数のｙ座標値の各々に対応して、前記第６の補正行列が複数、設けられており、
前記補正処理部は、
複数の前記第６の補正行列の中から、測定によって取得されたｙ座標値に、最も近いｙ座標に対応した第６の補正行列を選択し、選択された第６の補正行列を用いた補正演算を実施する、
請求項６に記載の撮像画像データ補正システム。
【請求項8】
前記第４の補正行列を用いた補正処理を実施する場合には、
前記ｘ軸に沿う方向に設定される複数のｘ座標値の各々に対応して、前記第４の補正行列が複数、設けられており、
前記補正処理部は、
前記複数の前記第４の補正行列の中から、測定によって取得されたｘ座標値に、最も近いｘ座標に対応した、直近の第４の補正行列と、２番目に近いｘ座標に対応した、準直近の第４の補正行列とを選択すると共に、
前記測定によって取得されたｘ座標値と、前記最も近いｘ座標との距離を第１の距離Ｌ１とし、
前記測定によって取得されたｘ座標値と、前記２番目に近いｘ座標との距離を第２の距離Ｌ２とする場合に、
Ｌ１／（Ｌ１＋Ｌ２）で表される第１の重み付け係数ｋ１と、
Ｌ２／（Ｌ１＋Ｌ２）で表される第２の重み付け係数ｋ２と、を算出し、
前記直近の第４の補正行列、前記準直近の第４の補正行列、及び、前記第１、第２の重み付け係数ｋ１、ｋ２を用いた加重平均（重み付き平均）による補正演算を実施し、
前記第６の補正行列を用いた補正処理を実施する場合には、
前記ｙ軸に沿う方向に設定される複数のｙ座標値の各々に対応して、前記第６の補正行列が複数、設けられており、
前記補正処理部は、
前記複数の前記第６の補正行列の中から、測定によって取得されたｙ座標値に、最も近いｙ座標に対応した、直近の第６の補正行列と、２番目に近いｙ座標に対応した、準直近の第６の補正行列とを選択すると共に、
前記測定によって取得されたｙ座標値と、前記最も近いｙ座標との距離を第３の距離Ｌ３とし、
前記測定によって取得されたｙ座標値と、前記２番目に近いｙ座標との距離を第４の距離Ｌ４とする場合に、
Ｌ３／（Ｌ３＋Ｌ４）で表される第３の重み付け係数ｋ３と、
Ｌ４／（Ｌ３＋Ｌ４）で表される第４の重み付け係数ｋ４と、を算出し、
前記直近の第６の補正行列、前記準直近の第６の補正行列、及び、前記第３、第４の重み付け係数ｋ３、ｋ４を用いた加重平均（重み付き平均）による補正演算を実施する、
請求項６に記載の撮像画像データ補正システム。
前記ｘ軸に沿う方向に設定される複数のｘ座標値の各々に対応して、前記第４の補正行列が複数、設けられており、
前記補正処理部は、
前記複数の前記第４の補正行列の中から、測定によって取得されたｘ座標値に、最も近いｘ座標に対応した、直近の第４の補正行列と、２番目に近いｘ座標に対応した、準直近の第４の補正行列とを選択すると共に、
前記測定によって取得されたｘ座標値と、前記最も近いｘ座標との距離を第１の距離Ｌ１とし、
前記測定によって取得されたｘ座標値と、前記２番目に近いｘ座標との距離を第２の距離Ｌ２とする場合に、
Ｌ１／（Ｌ１＋Ｌ２）で表される第１の重み付け係数ｋ１と、
Ｌ２／（Ｌ１＋Ｌ２）で表される第２の重み付け係数ｋ２と、を算出し、
前記直近の第４の補正行列、前記準直近の第４の補正行列、及び、前記第１、第２の重み付け係数ｋ１、ｋ２を用いた加重平均（重み付き平均）による補正演算を実施し、
前記第６の補正行列を用いた補正処理を実施する場合には、
前記ｙ軸に沿う方向に設定される複数のｙ座標値の各々に対応して、前記第６の補正行列が複数、設けられており、
前記補正処理部は、
前記複数の前記第６の補正行列の中から、測定によって取得されたｙ座標値に、最も近いｙ座標に対応した、直近の第６の補正行列と、２番目に近いｙ座標に対応した、準直近の第６の補正行列とを選択すると共に、
前記測定によって取得されたｙ座標値と、前記最も近いｙ座標との距離を第３の距離Ｌ３とし、
前記測定によって取得されたｙ座標値と、前記２番目に近いｙ座標との距離を第４の距離Ｌ４とする場合に、
Ｌ３／（Ｌ３＋Ｌ４）で表される第３の重み付け係数ｋ３と、
Ｌ４／（Ｌ３＋Ｌ４）で表される第４の重み付け係数ｋ４と、を算出し、
前記直近の第６の補正行列、前記準直近の第６の補正行列、及び、前記第３、第４の重み付け係数ｋ３、ｋ４を用いた加重平均（重み付き平均）による補正演算を実施する、
請求項６に記載の撮像画像データ補正システム。
【請求項9】
前記補正処理部は、
ｘ、ｙ、ｚの各値に測定誤差を含む、取得された前記第１の座標（ｘＳ’、ｙＳ’、ｚＳ’）に対して、
前記第１の補正行列を用いた補正処理を実施して、前記ｘＳ’及びｙＳ’を、前記第２の座標（ｘＳ’’、ｙＳ’’、ｚＳ（但し、ｚＳは、前記基準平面の前記既知のｚ座標値に等しい一定値））における、前記ｘＳ’’及びｙＳ’’に変換し、
前記第３の補正行列を用いた補正処理を実施し、その結果として得られるｚ座標値である前記ｚＳ’’’と、前記第５の補正行列を用いた補正処理を実施し、その結果として得られるｚ座標値である前記ｚＳ’’’’と、を用いて、
ｘＳ’’’’’＝ｘＳ’’・ｚＳ’’’/ｚＳ ・・・ 式５－１
ｙＳ’’’’’＝ｙＳ’’・ｚＳ’’’’/ｚＳ ・・・ 式５－２
で表される、上記式５－１、５－２の演算を実施し、
算出された前記ｘＳ’’’’’及びｙＳ’’’’’に対して、前記第２の補正行列を用いた、前記光学系による歪み特性とは逆の歪みを与える処理を実施する、
請求項６に記載の撮像画像データ補正システム。
ｘ、ｙ、ｚの各値に測定誤差を含む、取得された前記第１の座標（ｘＳ’、ｙＳ’、ｚＳ’）に対して、
前記第１の補正行列を用いた補正処理を実施して、前記ｘＳ’及びｙＳ’を、前記第２の座標（ｘＳ’’、ｙＳ’’、ｚＳ（但し、ｚＳは、前記基準平面の前記既知のｚ座標値に等しい一定値））における、前記ｘＳ’’及びｙＳ’’に変換し、
前記第３の補正行列を用いた補正処理を実施し、その結果として得られるｚ座標値である前記ｚＳ’’’と、前記第５の補正行列を用いた補正処理を実施し、その結果として得られるｚ座標値である前記ｚＳ’’’’と、を用いて、
ｘＳ’’’’’＝ｘＳ’’・ｚＳ’’’/ｚＳ ・・・ 式５－１
ｙＳ’’’’’＝ｙＳ’’・ｚＳ’’’’/ｚＳ ・・・ 式５－２
で表される、上記式５－１、５－２の演算を実施し、
算出された前記ｘＳ’’’’’及びｙＳ’’’’’に対して、前記第２の補正行列を用いた、前記光学系による歪み特性とは逆の歪みを与える処理を実施する、
請求項６に記載の撮像画像データ補正システム。
【請求項10】
前記補正処理部は、
ｘ、ｙ、ｚの各値に測定誤差を含む、取得された前記第１の座標（ｘＳ’、ｙＳ’、ｚＳ’）に対して、
前記第１の補正行列を用いた補正処理を実施して、前記ｘＳ’及びｙＳ’を、前記第２の座標（ｘＳ’’、ｙＳ’’、ｚＳ（但し、ｚＳは、前記基準平面の前記既知のｚ座標値に等しい一定値））における、前記ｘＳ’’及びｙＳ’’に変換し、
前記第３の補正行列を用いた補正処理を実施し、その結果として得られるｚ座標値である前記ｚＳ’’’を用いて、
ｘＳ’’’’’＝ｘＳ’’・ｚＳ’’’/ｚＳ ・・・ 式６－１
ｙＳ’’’’’＝ｙＳ’’・ｚＳ’’’/ｚＳ ・・・ 式６－２
で表される、上記式６－１、６－２の演算を実施し、
算出された前記ｘＳ’’’’’及びｙＳ’’’’’に対して、前記第２の補正行列を用いた、前記光学系による歪み特性とは逆の歪みを与える処理を実施する、
請求項６に記載の撮像画像データ補正システム。
ｘ、ｙ、ｚの各値に測定誤差を含む、取得された前記第１の座標（ｘＳ’、ｙＳ’、ｚＳ’）に対して、
前記第１の補正行列を用いた補正処理を実施して、前記ｘＳ’及びｙＳ’を、前記第２の座標（ｘＳ’’、ｙＳ’’、ｚＳ（但し、ｚＳは、前記基準平面の前記既知のｚ座標値に等しい一定値））における、前記ｘＳ’’及びｙＳ’’に変換し、
前記第３の補正行列を用いた補正処理を実施し、その結果として得られるｚ座標値である前記ｚＳ’’’を用いて、
ｘＳ’’’’’＝ｘＳ’’・ｚＳ’’’/ｚＳ ・・・ 式６－１
ｙＳ’’’’’＝ｙＳ’’・ｚＳ’’’/ｚＳ ・・・ 式６－２
で表される、上記式６－１、６－２の演算を実施し、
算出された前記ｘＳ’’’’’及びｙＳ’’’’’に対して、前記第２の補正行列を用いた、前記光学系による歪み特性とは逆の歪みを与える処理を実施する、
請求項６に記載の撮像画像データ補正システム。
【請求項11】
前記補正処理部は、
ｘ、ｙ、ｚの各値に測定誤差を含む、取得された前記第１の座標（ｘＳ’、ｙＳ’、ｚＳ’）に対して、
前記第１の補正行列を用いた補正処理を実施して、前記ｘＳ’及びｙＳ’を、前記第２の座標（ｘＳ’’、ｙＳ’’、ｚＳ（但し、ｚＳは、前記基準平面の前記既知のｚ座標値に等しい一定値））における、前記ｘＳ’’及びｙＳ’’に変換し、
前記第５の補正行列を用いた補正処理を実施し、その結果として得られるｚ座標値である前記ｚＳ’’’’を用いて、
ｘＳ’’’’’＝ｘＳ’’・ｚＳ’’’’/ｚＳ ・・・ 式７－１
ｙＳ’’’’’＝ｙＳ’’・ｚＳ’’’’/ｚＳ ・・・ 式７－２
で表される、上記式７－１、７－２の演算を実施し、
算出された前記ｘＳ’’’’’及びｙＳ’’’’’に対して、前記第２の補正行列を用いた、前記光学系による歪み特性とは逆の歪みを与える処理を実施する、
請求項６に記載の撮像画像データ補正システム。
ｘ、ｙ、ｚの各値に測定誤差を含む、取得された前記第１の座標（ｘＳ’、ｙＳ’、ｚＳ’）に対して、
前記第１の補正行列を用いた補正処理を実施して、前記ｘＳ’及びｙＳ’を、前記第２の座標（ｘＳ’’、ｙＳ’’、ｚＳ（但し、ｚＳは、前記基準平面の前記既知のｚ座標値に等しい一定値））における、前記ｘＳ’’及びｙＳ’’に変換し、
前記第５の補正行列を用いた補正処理を実施し、その結果として得られるｚ座標値である前記ｚＳ’’’’を用いて、
ｘＳ’’’’’＝ｘＳ’’・ｚＳ’’’’/ｚＳ ・・・ 式７－１
ｙＳ’’’’’＝ｙＳ’’・ｚＳ’’’’/ｚＳ ・・・ 式７－２
で表される、上記式７－１、７－２の演算を実施し、
算出された前記ｘＳ’’’’’及びｙＳ’’’’’に対して、前記第２の補正行列を用いた、前記光学系による歪み特性とは逆の歪みを与える処理を実施する、
請求項６に記載の撮像画像データ補正システム。
【請求項12】
ハウジングと、
前記ハウジング内に設けられる、画像を表示する表示器を含む表示装置と、
前記ハウジング内に設けられる、請求項１乃至１１の何れか１項に記載の撮像画像データ補正システムと、
を有し、
前記撮像画像データ補正システムの前記光学系に含まれる前記光学部材の少なくとも一部は、前記表示装置から出射される画像の表示光を、前記ハウジングの外に出射する際にも使用される、
ヘッドアップディスプレイ装置。
前記ハウジング内に設けられる、画像を表示する表示器を含む表示装置と、
前記ハウジング内に設けられる、請求項１乃至１１の何れか１項に記載の撮像画像データ補正システムと、
を有し、
前記撮像画像データ補正システムの前記光学系に含まれる前記光学部材の少なくとも一部は、前記表示装置から出射される画像の表示光を、前記ハウジングの外に出射する際にも使用される、
ヘッドアップディスプレイ装置。
【請求項13】
前記撮像対象は、前記ヘッドアップディスプレイ装置が表示する画像を視認する視認者の目であり、
前記ハウジング内には、
前記撮像画像データ補正システムが出力する、補正後の画像データに基づいて、前記視認者の目の位置を検出する視点検出部と、
前記視点検出部による視点位置検出結果に基づいて、前記画像の表示光の配光を制御する配光制御部と、
が設けられている、
請求項１２に記載のヘッドアップディスプレイ装置。
前記ハウジング内には、
前記撮像画像データ補正システムが出力する、補正後の画像データに基づいて、前記視認者の目の位置を検出する視点検出部と、
前記視点検出部による視点位置検出結果に基づいて、前記画像の表示光の配光を制御する配光制御部と、
が設けられている、
請求項１２に記載のヘッドアップディスプレイ装置。
【請求項14】
前記撮像画像データ補正システムにおける前記カメラは、赤外波長帯域の光に感度を有するカメラである、
請求項１２又は１３に記載のヘッドアップディスプレイ装置。
請求項１２又は１３に記載のヘッドアップディスプレイ装置。
【請求項15】
前記撮像対象に赤外波長帯域の光を照射する照明部が、前記ハウジングの内部に設けられている、
又は、
前記ハウジングの外側において、前記ハウジングに取り付けられている、
請求項１４に記載のヘッドアップディスプレイ装置。
又は、
前記ハウジングの外側において、前記ハウジングに取り付けられている、
請求項１４に記載のヘッドアップディスプレイ装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば自動車等の車両に搭載される撮像画像データ補正システム、及びヘッドアップディスプレイ（ＨＵＤ）装置等に関する。
【背景技術】
【0002】
特許文献１には、運転者の視点を赤外線カメラを用いて検出すること、及び、その赤外線カメラを、ステアリングコラム（ステアリングホイールの軸部）に取り付けることが記載されている（特許文献１の[００１８]、図４）。
【0003】
また、特許文献１では、赤外線カメラを用いた運転者の視点検出部と、ＨＵＤ装置のＨＵＤ制御部とは完全に分離されており、視点検出部が検出した視点情報は、通信部を経由して、ＨＵＤ制御部に送信される（特許文献１の[００２０]、図３Ａ、図３Ｂ）。
【0004】
なお、カメラをステアリングコラムに装着すると、ステアリングホイールの回転に伴い、カメラが回動して撮像画像に歪みが生じることから、特許文献１では、その撮像画像の歪みを電気的に補正する手段を設けている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１９－２６１９８号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明者は、赤外線カメラ（近赤外線カメラを含む）を、例えばＨＵＤ装置のハウジング（筐体）内に設けることを検討した。この構成によれば、カメラ及び視点検出部をＨＵＤ装置内に取り込むことができ、ＨＵＤ装置内で、視点検出部とＨＵＤ制御部とを例えば短い配線で接続して使用でき、信号遅延や通信ノイズの混入を抑制することができる。
【0007】
但し、本発明者の検討によって、以下の新規な課題が明らかとされた。
（１）カメラをＨＵＤ装置内に取り込むと、運転者の視点（目）からの反射光（赤外線：近赤外線を含む）は、例えばＨＵＤ装置に備わる光学系（例えば虚像表示のための拡大投影用の光学系）を、ＨＵＤ装置の表示光とは逆の進路で通過してカメラに到達することになる。よって、光学系による画像の歪みによって、カメラの撮像データに誤差が生じる。
（２）上記の光学系に起因する誤差を是正する手段として、カメラの撮像により得られた撮像データに、上記の光学系による歪みとは逆特性の歪みを与える補正を実施することが考えられる。
（３）但し、撮像データ自体に「無視できない誤差」が含まれており、よって、単純に、上記（２）の補正を実施しても、高精度の補正を担保することができない。
（４）赤外線カメラを用いると、カメラの光軸方向の距離（奥行）も測定する３Ｄ撮像が可能である。例えば、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式の撮像によって、照明光を被撮像対象に照射してから、その反射光がカメラに戻ってくるまでの時間を測定することで、奥行き距離（ｚ軸方向の距離）を測定することができる。
上記の「光学系による歪みとは逆特性の補正」を行うためには、光学系による歪み特性を正確に把握することが必要である。
そのためには、例えば、左右の各目が位置すると思われる３次元空間の所定位置に、カメラの光軸（中心光軸）に直交する基準平面（奥行き距離（ｚ座標値）は既知）を設定し、その基準平面に複数の基準点（補正用基準点）を設定し、それをカメラで撮影し、その複数の補正用基準点の各々の位置がどのように変化するかを検出する必要がある。
カメラの撮像データに基づいて画像データを復元する際、各基準点が上記の基準平面上にあることを前提として復元されるが、しかし、実際は、各基準点に関する奥行き距離の測定値はばらついており、各基準点が同一の基準平面上にある、という前提は成立しない。奥行き距離（ｚ軸方向の距離）のばらつきは、すなわち、各基準点のｘ、ｙの各座標のばらつきとなる。
よって、各基準点のｘ、ｙの各座標値は、ｚ軸方向の奥行き距離の測定ばらつきに基づく誤差を含んでいる。
言い換えれば、撮像データには、「光学系による歪みによる誤差」の他に、「ｚ軸方向の距離の測定誤差に基づくｘ、ｙの各座標値の誤差」も含まれている。後者の誤差が、上記の「無視できない誤差」である。
（５）光学系による歪みを抑制して、精度の高い視点検出（広義には撮像対象の検出）を行うためには、上記（３）、（４）の新規な知見に基づく対策が必要となる。
（１）カメラをＨＵＤ装置内に取り込むと、運転者の視点（目）からの反射光（赤外線：近赤外線を含む）は、例えばＨＵＤ装置に備わる光学系（例えば虚像表示のための拡大投影用の光学系）を、ＨＵＤ装置の表示光とは逆の進路で通過してカメラに到達することになる。よって、光学系による画像の歪みによって、カメラの撮像データに誤差が生じる。
（２）上記の光学系に起因する誤差を是正する手段として、カメラの撮像により得られた撮像データに、上記の光学系による歪みとは逆特性の歪みを与える補正を実施することが考えられる。
（３）但し、撮像データ自体に「無視できない誤差」が含まれており、よって、単純に、上記（２）の補正を実施しても、高精度の補正を担保することができない。
（４）赤外線カメラを用いると、カメラの光軸方向の距離（奥行）も測定する３Ｄ撮像が可能である。例えば、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式の撮像によって、照明光を被撮像対象に照射してから、その反射光がカメラに戻ってくるまでの時間を測定することで、奥行き距離（ｚ軸方向の距離）を測定することができる。
上記の「光学系による歪みとは逆特性の補正」を行うためには、光学系による歪み特性を正確に把握することが必要である。
そのためには、例えば、左右の各目が位置すると思われる３次元空間の所定位置に、カメラの光軸（中心光軸）に直交する基準平面（奥行き距離（ｚ座標値）は既知）を設定し、その基準平面に複数の基準点（補正用基準点）を設定し、それをカメラで撮影し、その複数の補正用基準点の各々の位置がどのように変化するかを検出する必要がある。
カメラの撮像データに基づいて画像データを復元する際、各基準点が上記の基準平面上にあることを前提として復元されるが、しかし、実際は、各基準点に関する奥行き距離の測定値はばらついており、各基準点が同一の基準平面上にある、という前提は成立しない。奥行き距離（ｚ軸方向の距離）のばらつきは、すなわち、各基準点のｘ、ｙの各座標のばらつきとなる。
よって、各基準点のｘ、ｙの各座標値は、ｚ軸方向の奥行き距離の測定ばらつきに基づく誤差を含んでいる。
言い換えれば、撮像データには、「光学系による歪みによる誤差」の他に、「ｚ軸方向の距離の測定誤差に基づくｘ、ｙの各座標値の誤差」も含まれている。後者の誤差が、上記の「無視できない誤差」である。
（５）光学系による歪みを抑制して、精度の高い視点検出（広義には撮像対象の検出）を行うためには、上記（３）、（４）の新規な知見に基づく対策が必要となる。
【0008】
上記の特許文献１には、上記（３）～（５）に記載したような課題については何ら記載されておらず、その対策についても言及がない。
【0009】
本発明の目的の一つは、撮像対象とカメラとの間に光学系が介在する場合における撮像精度を向上させることである。
【0010】
本発明の他の目的は、以下に例示する態様及び最良の実施形態、並びに添付の図面を参照することによって、当業者に明らかになるであろう。
【課題を解決するための手段】
【0011】
以下に、本発明の概要を容易に理解するために、本発明に従う態様を例示する。
【0012】
本発明の第１の態様において、撮像画像データ補正システムは、
撮像画像データを補正する撮像画像データ補正システムであって、
撮像対象を撮像するカメラと、
曲面の光反射面又は光透過面を有する少なくとも１つの光学部材を有する光学系と、
前記カメラが、前記光学系を経由して到来する光を受光して得られる前記撮像対象画像データを補正する、第１の補正行列、及び第２の補正行列が記憶されている記憶装置と、
前記第１、第２の各補正行列を用いた補正処理を実施する補正処理部と、
を有し、
前記第１の補正行列は、
前記カメラの光軸に直交する平面における横方向に対応する軸をｘ軸とし、縦方向に対応する軸をｙ軸とし、前記ｘ軸及びｙ軸に直交する、前記カメラの光軸に沿う奥行き方向の軸をｚ軸とし、前記ｘ軸、ｙ軸、ｚ軸の各軸によって、前記カメラの撮像点を原点とする３次元直交座標系を実空間に設定すると共に、
前記ｚ軸に直交し、かつｚ座標値が既知である基準平面上に、ｘ座標及びｙ座標が既知の複数の補正用基準点を設定して、
その複数の補正用基準点を、前記カメラで撮像することで、
ｚ座標値についての測定誤差である第１の誤差と、
前記光学系による歪みによる第２の誤差と、
が含まれる撮像画像データが取得され、その結果として、各補正用基準点について第１の座標（ｘＳ’、ｙＳ’、ｚＳ’）が取得される場合に、
前記ｘＳ’及びｙＳ’を、
第２の座標（ｘＳ’’、ｙＳ’’、ｚＳ（但し、ｚＳは、前記基準平面の前記既知の座標値に等しい一定値））における、前記ｘＳ’’及びｙＳ’’に変換する、座標変換用の射影変換行列であり、
前記第２の補正行列は、
前記ｘＳ’’及びｙＳ’’に、前記光学系による歪み特性とは逆の歪みを与えて座標を変換し、前記光学系による歪みを抑制する歪み除去用の変換行列である。
撮像画像データを補正する撮像画像データ補正システムであって、
撮像対象を撮像するカメラと、
曲面の光反射面又は光透過面を有する少なくとも１つの光学部材を有する光学系と、
前記カメラが、前記光学系を経由して到来する光を受光して得られる前記撮像対象画像データを補正する、第１の補正行列、及び第２の補正行列が記憶されている記憶装置と、
前記第１、第２の各補正行列を用いた補正処理を実施する補正処理部と、
を有し、
前記第１の補正行列は、
前記カメラの光軸に直交する平面における横方向に対応する軸をｘ軸とし、縦方向に対応する軸をｙ軸とし、前記ｘ軸及びｙ軸に直交する、前記カメラの光軸に沿う奥行き方向の軸をｚ軸とし、前記ｘ軸、ｙ軸、ｚ軸の各軸によって、前記カメラの撮像点を原点とする３次元直交座標系を実空間に設定すると共に、
前記ｚ軸に直交し、かつｚ座標値が既知である基準平面上に、ｘ座標及びｙ座標が既知の複数の補正用基準点を設定して、
その複数の補正用基準点を、前記カメラで撮像することで、
ｚ座標値についての測定誤差である第１の誤差と、
前記光学系による歪みによる第２の誤差と、
が含まれる撮像画像データが取得され、その結果として、各補正用基準点について第１の座標（ｘＳ’、ｙＳ’、ｚＳ’）が取得される場合に、
前記ｘＳ’及びｙＳ’を、
第２の座標（ｘＳ’’、ｙＳ’’、ｚＳ（但し、ｚＳは、前記基準平面の前記既知の座標値に等しい一定値））における、前記ｘＳ’’及びｙＳ’’に変換する、座標変換用の射影変換行列であり、
前記第２の補正行列は、
前記ｘＳ’’及びｙＳ’’に、前記光学系による歪み特性とは逆の歪みを与えて座標を変換し、前記光学系による歪みを抑制する歪み除去用の変換行列である。
【0013】
第１の態様では、撮像画像データ補正システムは、撮像対象（例えば人の視点）を、光学系（曲面の反射面又は透過面有する少なくとも１つの光学部材を有する）を介してカメラで撮像する。
【0014】
撮像画像データには、ｚ座標値についての測定誤差である第１の誤差と、光学系による歪みによる第２の誤差と、が含まれる点を考慮し、まず、第１の補正行列を用いた補正演算によって、第１の誤差に基づくｘ、ｙ座標の歪みを抑制し、続いて、その補正後の撮像画像データについて、第２の補正行列を用いた演算を施して、光学系に起因する歪みを抑制する。
【0015】
カメラによって撮像された各補正用基準点の、撮像画像空間（単に画像空間と称する）におけるｘ、ｙ、ｚの各座標について、理想的にはｚ座標は一定であるはずである（各補正用基準点は、実空間においてｚ座標が既知の基準平面上の点であることから、撮像画像空間においも、ｚ座標値は上記の既知のｚ座標値と同じであるはずである）。
【0016】
しかし、測定誤差により、各補正用基準点でｚ座標がばらつき、その結果として、ｘｙ画像平面におけるｘ、ｙの各座標値も、不規則にばらつく。この不規則なばらつきをそのままにして、光学系の歪み除去補正を行っても、その精度には限界がある。
【0017】
そこで、本態様では、まず、撮像された各補正用基準点を、画像空間上での本来のｘｙ平面（ｚ座標値が既知である画像平面）上へと射影（投影）変換し、ｚ座標値の不規則なばらつきを是正する。その後、光学系の歪みを補正する。
【0018】
これによって、光学系の歪み除去用の補正演算の精度が向上し、光学系の歪みを効果的に除去できる。したがって、例えば、人の目（視点）の位置を、より正確に検出可能となる。
【0019】
第１の態様に従属する第２の態様において、
前記第１の補正行列は、
ｘＳ’’＝ｘＳ’・ｚＳ/ｚＳ’ ・・・ 式１－１
ｙＳ’’＝ｙＳ’・ｚＳ/ｚＳ’ ・・・ 式１－２
で表される、上記式１－１、１－２の演算を実施するものであってもよい。
前記第１の補正行列は、
ｘＳ’’＝ｘＳ’・ｚＳ/ｚＳ’ ・・・ 式１－１
ｙＳ’’＝ｙＳ’・ｚＳ/ｚＳ’ ・・・ 式１－２
で表される、上記式１－１、１－２の演算を実施するものであってもよい。
【0020】
第２の態様では、撮像された各補正用基準点を、画像空間上での本来のｘｙ平面（ｚ座標値が既知である画像平面）上へと射影（投影）変換する際、具体的には、各基準点の画像空間におけるｘ座標及びｙ座標である（ｘＳ’、ｙＳ’）は、式１－１、式１－２を用いて（ｘＳ’’、ｙｓ’’）へと変換される。式１－１、１－２は、具体的には、相似する３角形の相似比を用いた演算式を示す。
【0021】
上記の式において、ｚＳ/ｚＳ’が相似比を示す。ここで、ｚＳ’は、撮像された各補正用基準点の、画像空間におけるｚ座標値（ｚ座標の測定値）である。ｚＳは、補正用基準点が設定されている基準平面の既知のｚ座標値（一定）である。この演算によって、各補正用基準点のｚ座標値のばらつきを補正することができる。
【0022】
第１又は第２の態様に従属する第３の態様において、
前記撮像対象の、前記ｚ軸に沿う方向の可動範囲内に設定される複数のｚ座標値の各々に対応して、前記第１の補正行列が複数、設けられており、
前記補正処理部は、複数の前記第１の補正行列の中から、前記カメラによる撮像に基づいて取得された前記撮像対象のｚ座標値に、もっとも近いｚ座標に対応した第１の補正行列を選択してもよい。
前記撮像対象の、前記ｚ軸に沿う方向の可動範囲内に設定される複数のｚ座標値の各々に対応して、前記第１の補正行列が複数、設けられており、
前記補正処理部は、複数の前記第１の補正行列の中から、前記カメラによる撮像に基づいて取得された前記撮像対象のｚ座標値に、もっとも近いｚ座標に対応した第１の補正行列を選択してもよい。
【0023】
第３の態様では、撮像対象（例えば人の視点）がカメラの光軸方向（ｚ軸方向）に移動する可能性があることを考慮して、予め、カメラからの距離が異なる複数の基準平面を想定して、各基準平面毎に、ｚ座標値（ｚ軸に沿う奥行き距離）のばらつきを補正する行列（第１の補正行列）を用意し、記憶装置に記憶させておく。そして、実際の撮像対象の位置に最も近い基準平面に対応した補正行列（第１の補正行列）を選択して使用する。
【0024】
撮像対象（ここでは、人の視点とする）がカメラから遠ざかると、画像平面（画像空間におけるｘｙ平面）上での視点の移動量は実空間での移動量よりも小さく認識され、逆に人の視点がカメラに近づくと、画像平面上での視点の移動量は実空間での移動量よりも大きく認識される傾向が生じる。
【0025】
そこで、人の視点の位置がｚ軸方向に沿って変化したとき、人の視点のｚ座標に合わせて適切な補正行列（第１の補正行列）を選択し、その選択された補正行列を使用して補正演算を行うことで、カメラと人との間の距離に依らず、画像平面上での視点の移動量を実空間での移動量により近づけて、より正確な補正が可能となる。よって、人の視点の座標（ｘ，ｙ）をより正確に検出することができる。
【0026】
第３の態様に従属する第４の態様において、
前記ｚ軸に沿う方向の可動範囲内に設定される複数のｚ座標同士の間隔は、前記複数の補正用基準点を前記カメラで撮像した場合の、ｚ座標値の最大ブレ幅よりも大きく設定されてもよい。
前記ｚ軸に沿う方向の可動範囲内に設定される複数のｚ座標同士の間隔は、前記複数の補正用基準点を前記カメラで撮像した場合の、ｚ座標値の最大ブレ幅よりも大きく設定されてもよい。
【0027】
第４の態様では、例えば複数の補正行列を採用する場合に、各補正行列に対応する、画像空間における各基準平面のｚ座標同士の間隔（ｚ座標値の差の値）が、補正用基準点についてのｚ座標値の最大ブレ幅より大きく設定される。
【0028】
上記の第３の態様では、撮像対象の実際の位置に最も近い基準平面（画像平面）に対応する補正行列を選択することになるが、その選択に際しては、補正用基準点のｚ座標の測定ばらつきを考慮する必要がある。
【0029】
例えば２つの補正行列が用意される場合を想定すると、ｚ座標のばらつき量が小さいときは、「一方の補正行列」が選択され、ｚ座標のばらつき量が大きいときは、その大きなばらつきの座標点を基準として「他方の補正行列」が選択される、といった現象が生じる場合がある。
【0030】
言い換えれば、撮像対象のｚ座標に合わせて補正行列を選択するとき、撮像対象の実際の位置は変化していないにも関わらず、ｚ座標値の測定ばらつきの大小に応じて、短い時間内に使用する補正行列が切り替わることが生じ得る。この場合には、補正の精度が低下する。また、異なる補正行列の切り替えが何回も繰り返される事態も生じ得ることにもなり、この場合は補正結果が不安定となるのは否めない。
【0031】
そこで、異なる補正行列の各々に対応する基準平面（画像平面）のｚ座標の間隔を、予測されるｚ座標値の最大のブレ幅よりも大きくして、十分なノイズマージンを確保しておく。これにより、大きな測定誤差が生じたとしても、使用する補正行列が切り替わることが防止される。よって、補正精度の低下や補正結果の不安定化を、確実に防止することができる。
【0032】
第３又は第４の態様に従属する第５の態様において、
前記複数の第１の補正行列を、第１～第ｎ（ｎは２以上の自然数）の第１の補正行列とし、
第１～第ｎの各第１の補正行列が対応するｚ座標値をｚ１～ｚｎとし、
第１（ｎ＝１）の第１の補正行列の補正対象である、前記カメラによって前記補正用基準点を撮像して得られる各点のｘ座標値及びｙ座標値をｘ１’、ｙ１’とし、
第ｎの第１の補正行列によって変換された後の各点のｘ座標値及びｙ座標値をｘｎ’、ｙｎ’とするとき、
第ｎの前記第１の補正行列は、
前記ｘ１’、ｙ１’を用いて、
ｘｎ’＝ｘ１’・（１＋（ｚｎ－ｚ１）/ｚ１） ・・・ 式２－１
ｙｎ’＝ｙ１’・（１＋（ｚｎ－ｚ１）/ｚ１） ・・・ 式２－２
で表される、上記式２－１、２－２の演算を実施するものであってもよい。
前記複数の第１の補正行列を、第１～第ｎ（ｎは２以上の自然数）の第１の補正行列とし、
第１～第ｎの各第１の補正行列が対応するｚ座標値をｚ１～ｚｎとし、
第１（ｎ＝１）の第１の補正行列の補正対象である、前記カメラによって前記補正用基準点を撮像して得られる各点のｘ座標値及びｙ座標値をｘ１’、ｙ１’とし、
第ｎの第１の補正行列によって変換された後の各点のｘ座標値及びｙ座標値をｘｎ’、ｙｎ’とするとき、
第ｎの前記第１の補正行列は、
前記ｘ１’、ｙ１’を用いて、
ｘｎ’＝ｘ１’・（１＋（ｚｎ－ｚ１）/ｚ１） ・・・ 式２－１
ｙｎ’＝ｙ１’・（１＋（ｚｎ－ｚ１）/ｚ１） ・・・ 式２－２
で表される、上記式２－１、２－２の演算を実施するものであってもよい。
【0033】
第５の態様では、第１、第２・・・第ｎの補正行列を使用するとき、第１の補正行列を作成するときのみ、基準平面を設定して補正用基準点のカメラによる撮像を実施する。第２～第ｎの補正行列の作成に関しては、カメラによる撮像は行わず、すでに取得されている第１の補正行列作成時に得られたｘ、ｙの各座標値を利用して、式２－１、２－２に従って補正行列を定める。上記の式２－１、２－２は、射影（投影）変換の一種であり、３角形の相似を利用して上記の式を導出することができる。
【0034】
これによって、複数の補正行列を採用する場合でも、カメラからのｚ軸方向における距離を異ならせて、何回も基準平面を実測する必要がなく、作業者の負担が増えることもない。
本発明は、測定によって得られたｘ、ｙ、ｚの各座標値に誤差（Δｘ、Δｙ、Δｚ）が含まれる場合にも適用可能である。
（第６の態様）
第１の態様に従属する第６の態様において、
前記記憶装置には、前記第１、第２の補正行列に加えて、第３、第４、第５、第６の補正行列が記憶されており、
前記補正処理部は、取得された前記第１の座標（ｘＳ’、ｙＳ’、ｚＳ’）の、ｘ、ｙ、ｚの各座標値に測定誤差が含まれるものとして補正処理を実施する場合には、前記第３及び第４の補正行列を用いて、あるいは、前記第５及び第６の補正行列を用いて補正処理を実施し、
前記第３の補正行列は、
ｙ、ｚの各座標値についての測定誤差が含まれる前記ｙＳ’及びｚＳ’を、
座標（ｘＳ、ｙＳ’’’、ｚＳ’’’（但し、ｘＳは、前記基準平面の前記既知のｘ座標値に等しい一定値））における、前記ｙＳ’’’及びｚＳ’’’に変換する、座標変換用の射影変換行列であり、
前記第４の補正行列は、
前記ｙＳ’’’及びｚＳ’’’に、前記光学系による歪み特性とは逆の歪みを与えて座標を変換し、前記光学系による歪みを抑制する歪み除去用の変換行列であり、
前記第５の補正行列は、
ｘ、ｚの各座標値についての測定誤差が含まれる前記ｘＳ’及びｚＳ’を、
座標（ｘＳ’’’’、ｙＳ、ｚＳ’’’’（但し、ｙＳは、前記基準平面の前記既知のｙ座標値に等しい一定値））における、前記ｘＳ’’’’及びｚＳ’’’’に変換する、座標変換用の射影変換行列であり、
前記第６の補正行列は、
前記ｘＳ’’’’及びｚＳ’’’’に、前記光学系による歪み特性とは逆の歪みを与えて座標を変換し、前記光学系による歪みを抑制する歪み除去用の変換行列であってもよい。
先に説明した第１の態様では、第１の誤差が、ｚ座標値の誤差を含むことを前提としていたが、第６の態様では、第１の誤差の概念が拡張されて、ｘ、ｙ、ｚの各座標値に誤差（Δｘ、Δｙ、Δｚ）が含まれることを前提とする。
この対策として、第６の態様では、記憶装置には、先に説明した第１、第２の補正行列に加えて、第３及び第４の補正行列、第５及び第６の補正行列が記憶されている。
第３、第５の補正行列は、先に説明した第１の補正行列に対応し、第４、第６の補正行列は、先に説明した第２の補正行列に対応する。
第３の補正行列は、ｘ座標値の測定誤差（Δｘ）を、例えば、先に説明したΔｚの補正と同様の射影変換によって除去して、測定点のｘ座標ｘＳ’を、本来のｘ座標ｘＳに戻す補正用の行列である。
第４の補正行列は、第３の補正行列による演算の結果（ｘ座標値が補正されて得られるｙ座標ｙＳ’’’、ｚ座標ｚＳ’’’）について、光学系の歪とは逆特性の歪みを与えることで、歪みを抑制する補正用の行列である。
第５の補正行列は、ｙ座標値の測定誤差（Δｙ）を、例えば、先に説明したΔｚの補正と同様の射影変換によって除去して、測定点のｙ座標ｙＳ’を、本来のｙ座標ｙＳに戻す補正用の行列である。
第６の補正行列は、第５の補正行列による演算の結果（ｙ座標が補正されて得られるｘ座標ｘＳ’’’’、ｚ座標ｚＳ’’’’）について、光学系の歪とは逆特性の歪みを与えることで、歪みを抑制する補正用の行列である。
補正処理部が、第３、第４の補正行列を用いた補正処理を実施することで、又は、第５、第６の補正行列を用いた補正処理を実施することで、撮像対象（例えば、運転者の目）の検出精度を向上させることができる。
（第７の態様）
第６の態様に従属する第７の態様において、
前記第４の補正行列を用いた補正処理を実施する場合には、
前記ｘ軸に沿う方向に設定される複数のｘ座標値の各々に対応して、前記第４の補正行列が複数、設けられており、
前記補正処理部は、
複数の前記第４の補正行列の中から、測定によって取得されたｘ座標値に、もっとも近いｘ座標に対応した第４の補正行列を選択し、選択された第４の補正行列を用いた補正演算を実施し、
前記第６の補正行列を用いた補正処理を実施する場合には、
前記ｙ軸に沿う方向に設定される複数のｙ座標値の各々に対応して、前記第６の補正行列が複数、設けられており、
前記補正処理部は、
複数の前記第６の補正行列の中から、測定によって取得されたｙ座標値に、最も近いｙ座標に対応した第６の補正行列を選択し、選択された第６の補正行列を用いた補正演算を実施してもよい。
第７の態様では、光学系の歪とは逆特性の歪みを与える第４、第６の補正行列についても、測定点の測定誤差Δｘ、Δｙを考慮して、より適切な補正行列を、複数の中から１つを選択することで取得することで、撮像対象の検出精度を、さらに向上させる。
第４の補正行列については、例えば、ｘ軸方向に所定間隔で配置される複数のｘ座標値毎に補正行列を設定しておき、測定点のｘ座標ｘＳに最も近い座標値に対応した補正行列を選択して、演算を実施する。
第６の補正行列については、例えば、ｙ軸方向に所定間隔で配置される複数のｙ座標値毎に補正行列を設定しておき、測定点のｙ座標ｙＳに最も近い座標値に対応した補正行列を選択して、演算を実施する。
これによって、適切な補正行列を選択することが可能である。
（第８の態様）
第６の態様に従属する第８の態様において、
前記第４の補正行列を用いた補正処理を実施する場合には、
前記ｘ軸に沿う方向に設定される複数のｘ座標値の各々に対応して、前記第４の補正行列が複数、設けられており、
前記補正処理部は、
前記複数の前記第４の補正行列の中から、測定によって取得されたｘ座標値に、最も近いｘ座標に対応した、直近の第４の補正行列と、２番目に近いｘ座標に対応した、準直近の第４の補正行列とを選択すると共に、
前記測定によって取得されたｘ座標値と、前記最も近いｘ座標との距離を第１の距離Ｌ１とし、
前記測定によって取得されたｘ座標値と、前記２番目に近いｘ座標との距離を第２の距離Ｌ２とする場合に、
Ｌ１／（Ｌ１＋Ｌ２）で表される第１の重み付け係数ｋ１と、
Ｌ２／（Ｌ１＋Ｌ２）で表される第２の重み付け係数ｋ２と、を算出し、
前記直近の第４の補正行列、前記準直近の第４の補正行列、及び、前記第１、第２の重み付け係数ｋ１、ｋ２を用いた加重平均（重み付き平均）による補正演算を実施し、
前記第６の補正行列を用いた補正処理を実施する場合には、
前記ｙ軸に沿う方向に設定される複数のｙ座標値の各々に対応して、前記第６の補正行列が複数、設けられており、
前記補正処理部は、
前記複数の前記第６の補正行列の中から、測定によって取得されたｙ座標値に、最も近いｙ座標に対応した、直近の第６の補正行列と、２番目に近いｙ座標に対応した、準直近の第６の補正行列とを選択すると共に、
前記測定によって取得されたｙ座標値と、前記最も近いｙ座標との距離を第３の距離Ｌ３とし、
前記測定によって取得されたｙ座標値と、前記２番目に近いｙ座標との距離を第４の距離Ｌ４とする場合に、
Ｌ３／（Ｌ３＋Ｌ４）で表される第３の重み付け係数ｋ３と、
Ｌ４／（Ｌ３＋Ｌ４）で表される第４の重み付け係数ｋ４と、を算出し、
前記直近の第６の補正行列、前記準直近の第６の補正行列、及び、前記第３、第４の重み付け係数ｋ３、ｋ４を用いた加重平均（重み付き平均）による補正演算を実施してもよい。
第８の態様では、第７の態様と同様に、光学系の歪とは逆特性の歪みを与える第４、第６の補正行列について最適化を実施する。
但し、第８の態様では、測定によって取得された座標に、最も近い座標値に対応する補正行列（これを「直近の補正行列」と称する）と、２番目に近い座標値に対応する補正行列（これを「準直近の補正行列」と称する）と、を用いて、加重平均（重み付き）平均演算を実施することで、撮像対象の検出精度を、さらに向上させる。
（第９の態様）
第６の態様に従属する第９の態様において、
前記補正処理部は、
ｘ、ｙ、ｚの各値に測定誤差を含む、取得された前記第１の座標（ｘＳ’、ｙＳ’、ｚＳ’）に対して、
前記第１の補正行列を用いた補正処理を実施して、前記ｘＳ’及びｙＳ’を、前記第２の座標（ｘＳ’’、ｙＳ’’、ｚＳ（但し、ｚＳは、前記基準平面の前記既知のｚ座標値に等しい一定値））における、前記ｘＳ’’及びｙＳ’’に変換し、
前記第３の補正行列を用いた補正処理を実施し、その結果として得られるｚ座標値である前記ｚＳ’’’と、前記第５の補正行列を用いた補正処理を実施し、その結果として得られるｚ座標値である前記ｚＳ’’’’と、を用いて、
ｘＳ’’’’’＝ｘＳ’’・ｚＳ’’’/ｚＳ ・・・ 式５－１
ｙＳ’’’’’＝ｙＳ’’・ｚＳ’’’’/ｚＳ ・・・ 式５－２
で表される、上記式５－１、５－２の演算を実施し、
算出された前記ｘＳ’’’’’及びｙＳ’’’’’に対して、前記第２の補正行列を用いた、前記光学系による歪み特性とは逆の歪みを与える処理を実施してもよい。
第９の態様は、第１の態様で説明した第１の補正行列による補正演算の後、第６の態様で説明した第３及び第４の補正行列の少なくとも一方の演算によって得られた座標値を用いて、リサイズ処理を実施する新たな補正手法によって、撮像対象（例えば、運転者の目）の検出精度を、さらに向上させる。
ｘ、ｙ、ｚの各座標値についての測定誤差Δｘ、Δｙ、Δｚを問題とする場合には、第１の補正行列（Δｘのみを補正する補正行列）による補正処理では、歪み除去効果が低下する。
言い換えれば、第１の補正行列では、ｚ座標値がｚＳである基準平面（便宜上「第１の基準平面」と称する）に、測定された座標を射影変換していたが、測定誤差Δｘ、Δｙ、Δｚを問題とする場合は、Δｘ、Δｙ、Δｚを考慮した「新たな基準面（基準平面）」を設定する必要がある。
ここで検討すると、第６の態様における第３の補正行列を用いた補正処理によって得られる「ｚＳ’’’」をｚ座標値とする「第２の基準面」、あるいは、第６の態様における第５の補正行列を用いた補正処理によって得られる「ｚＳ’’’’」をｚ座標値とする「第３の基準面」が、より適切な基準面（基準平面）となり得ると考えられる。
そこで、第９の態様では、第１の補正行列による演算で得られた「ｘＳ’’」については、第２の基準面へと再度、射影変換して、その大きさを拡大あるいは縮小する第１のリサイズ処理を実施する。
第２の基準面を選択するのは、第３の補正行列が、ｘ座標値を既知の「ｘＳ」に補正する補正行列であり、その補正演算の結果を利用して設定される第２の基準面の方が、ｘ座標のリサイズには適している（より精度の高い補正ができる）と考えられるからである。
一方、第１の補正行列による演算で得られた「ｙＳ’’」については、第３の基準面へと再度、射影変換して、その大きさを拡大あるいは縮小する第２のリサイズ処理を実施する。
第３の基準面を選択するのは、第５の補正行列が、ｙ座標値を既知の「ｙＳ」に補正する補正行列であり、その補正演算の結果を利用して設定される第３の基準面の方が、ｙ座標のリサイズには適している（より精度の高い補正ができる）と考えられるからである。
この第１、第２のリサイズ処理によって得られたｘ座標値を「ｘＳ’’’’’」とし、ｙ座標値を「ｙＳ’’’’’」とし、ｚ座標値については、「ｚＳ’’」又は「ｚＳ’’’」を採用することで、より本来の座標値に近い、精度の高いｘ、ｙ、ｚの各座標値が得られる。
その得られた各座標値について、第２の補正行列を用いた演算を実施し、光学系による歪とは逆の歪みを与えることで、より精度の高い測定座標を取得することができる。
（第１０の態様）
第６の態様に従属する第１０の態様において、
前記補正処理部は、
ｘ、ｙ、ｚの各値に測定誤差を含む、取得された前記第１の座標（ｘＳ’、ｙＳ’、ｚＳ’）に対して、
前記第１の補正行列を用いた補正処理を実施して、前記ｘＳ’及びｙＳ’を、前記第２の座標（ｘＳ’’、ｙＳ’’、ｚＳ（但し、ｚＳは、前記基準平面の前記既知のｚ座標値に等しい一定値））における、前記ｘＳ’’及びｙＳ’’に変換し、
前記第３の補正行列を用いた補正処理を実施し、その結果として得られるｚ座標値である前記ｚＳ’’’を用いて、
ｘＳ’’’’’＝ｘＳ’’・ｚＳ’’’/ｚＳ ・・・ 式６－１
ｙＳ’’’’’＝ｙＳ’’・ｚＳ’’’/ｚＳ ・・・ 式６－２
で表される、上記式６－１、６－２の演算を実施し、
算出された前記ｘＳ’’’’’及びｙＳ’’’’’に対して、前記第２の補正行列を用いた、前記光学系による歪み特性とは逆の歪みを与える処理を実施してもよい。
第１０の態様も、第９の態様と基本的には同様である。但し、第１０の態様では、第１の補正行列による演算で得られた「ｘＳ’’」及び「ｙＳ’’」を、共に第２の基準面へと再度、射影変換して、その大きさを拡大あるいは縮小する第３のリサイズ処理を実施する。
第１０の態様においても、第９の態様と同様の効果が得られる。また、「ｘＳ’’」及び「ｙＳ’’」の各々について、共通の第２の基準面を使用したリサイズ処理を実施するため、リサイズ処理に伴う補正処理部の負担が少いという利点もある。
（第１１の態様）
第６の態様に従属する第１１の態様において、
前記補正処理部は、
ｘ、ｙ、ｚの各値に測定誤差を含む、取得された前記第１の座標（ｘＳ’、ｙＳ’、ｚＳ’）に対して、
前記第１の補正行列を用いた補正処理を実施して、前記ｘＳ’及びｙＳ’を、前記第２の座標（ｘＳ’’、ｙＳ’’、ｚＳ（但し、ｚＳは、前記基準平面の前記既知のｚ座標値に等しい一定値））における、前記ｘＳ’’及びｙＳ’’に変換し、
前記第５の補正行列を用いた補正処理を実施し、その結果として得られるｚ座標値である前記ｚＳ’’’’を用いて、
ｘＳ’’’’’＝ｘＳ’’・ｚＳ’’’’/ｚＳ ・・・ 式７－１
ｙＳ’’’’’＝ｙＳ’’・ｚＳ’’’’/ｚＳ ・・・ 式７－２
で表される、上記式７－１、７－２の演算を実施し、
算出された前記ｘＳ’’’’’及びｙＳ’’’’’に対して、前記第２の補正行列を用いた、前記光学系による歪み特性とは逆の歪みを与える処理を実施してもよい。
第１１の態様も、第９の態様と基本的には同様である。但し、第１１の態様では、第１の補正行列による演算で得られた「ｘＳ’’」及び「ｙＳ’’」を、共に第３の基準面へと再度、射影変換して、その大きさを拡大あるいは縮小する第４のリサイズ処理を実施する。
第１１の態様においても、第９の態様と同様の効果が得られる。また、「ｘＳ’’」及び「ｙＳ’’」の各々について、共通の第３の基準面を使用したリサイズ処理を実施するため、リサイズ処理に伴う補正処理部の負担が少いという利点もある。
本発明は、測定によって得られたｘ、ｙ、ｚの各座標値に誤差（Δｘ、Δｙ、Δｚ）が含まれる場合にも適用可能である。
（第６の態様）
第１の態様に従属する第６の態様において、
前記記憶装置には、前記第１、第２の補正行列に加えて、第３、第４、第５、第６の補正行列が記憶されており、
前記補正処理部は、取得された前記第１の座標（ｘＳ’、ｙＳ’、ｚＳ’）の、ｘ、ｙ、ｚの各座標値に測定誤差が含まれるものとして補正処理を実施する場合には、前記第３及び第４の補正行列を用いて、あるいは、前記第５及び第６の補正行列を用いて補正処理を実施し、
前記第３の補正行列は、
ｙ、ｚの各座標値についての測定誤差が含まれる前記ｙＳ’及びｚＳ’を、
座標（ｘＳ、ｙＳ’’’、ｚＳ’’’（但し、ｘＳは、前記基準平面の前記既知のｘ座標値に等しい一定値））における、前記ｙＳ’’’及びｚＳ’’’に変換する、座標変換用の射影変換行列であり、
前記第４の補正行列は、
前記ｙＳ’’’及びｚＳ’’’に、前記光学系による歪み特性とは逆の歪みを与えて座標を変換し、前記光学系による歪みを抑制する歪み除去用の変換行列であり、
前記第５の補正行列は、
ｘ、ｚの各座標値についての測定誤差が含まれる前記ｘＳ’及びｚＳ’を、
座標（ｘＳ’’’’、ｙＳ、ｚＳ’’’’（但し、ｙＳは、前記基準平面の前記既知のｙ座標値に等しい一定値））における、前記ｘＳ’’’’及びｚＳ’’’’に変換する、座標変換用の射影変換行列であり、
前記第６の補正行列は、
前記ｘＳ’’’’及びｚＳ’’’’に、前記光学系による歪み特性とは逆の歪みを与えて座標を変換し、前記光学系による歪みを抑制する歪み除去用の変換行列であってもよい。
先に説明した第１の態様では、第１の誤差が、ｚ座標値の誤差を含むことを前提としていたが、第６の態様では、第１の誤差の概念が拡張されて、ｘ、ｙ、ｚの各座標値に誤差（Δｘ、Δｙ、Δｚ）が含まれることを前提とする。
この対策として、第６の態様では、記憶装置には、先に説明した第１、第２の補正行列に加えて、第３及び第４の補正行列、第５及び第６の補正行列が記憶されている。
第３、第５の補正行列は、先に説明した第１の補正行列に対応し、第４、第６の補正行列は、先に説明した第２の補正行列に対応する。
第３の補正行列は、ｘ座標値の測定誤差（Δｘ）を、例えば、先に説明したΔｚの補正と同様の射影変換によって除去して、測定点のｘ座標ｘＳ’を、本来のｘ座標ｘＳに戻す補正用の行列である。
第４の補正行列は、第３の補正行列による演算の結果（ｘ座標値が補正されて得られるｙ座標ｙＳ’’’、ｚ座標ｚＳ’’’）について、光学系の歪とは逆特性の歪みを与えることで、歪みを抑制する補正用の行列である。
第５の補正行列は、ｙ座標値の測定誤差（Δｙ）を、例えば、先に説明したΔｚの補正と同様の射影変換によって除去して、測定点のｙ座標ｙＳ’を、本来のｙ座標ｙＳに戻す補正用の行列である。
第６の補正行列は、第５の補正行列による演算の結果（ｙ座標が補正されて得られるｘ座標ｘＳ’’’’、ｚ座標ｚＳ’’’’）について、光学系の歪とは逆特性の歪みを与えることで、歪みを抑制する補正用の行列である。
補正処理部が、第３、第４の補正行列を用いた補正処理を実施することで、又は、第５、第６の補正行列を用いた補正処理を実施することで、撮像対象（例えば、運転者の目）の検出精度を向上させることができる。
（第７の態様）
第６の態様に従属する第７の態様において、
前記第４の補正行列を用いた補正処理を実施する場合には、
前記ｘ軸に沿う方向に設定される複数のｘ座標値の各々に対応して、前記第４の補正行列が複数、設けられており、
前記補正処理部は、
複数の前記第４の補正行列の中から、測定によって取得されたｘ座標値に、もっとも近いｘ座標に対応した第４の補正行列を選択し、選択された第４の補正行列を用いた補正演算を実施し、
前記第６の補正行列を用いた補正処理を実施する場合には、
前記ｙ軸に沿う方向に設定される複数のｙ座標値の各々に対応して、前記第６の補正行列が複数、設けられており、
前記補正処理部は、
複数の前記第６の補正行列の中から、測定によって取得されたｙ座標値に、最も近いｙ座標に対応した第６の補正行列を選択し、選択された第６の補正行列を用いた補正演算を実施してもよい。
第７の態様では、光学系の歪とは逆特性の歪みを与える第４、第６の補正行列についても、測定点の測定誤差Δｘ、Δｙを考慮して、より適切な補正行列を、複数の中から１つを選択することで取得することで、撮像対象の検出精度を、さらに向上させる。
第４の補正行列については、例えば、ｘ軸方向に所定間隔で配置される複数のｘ座標値毎に補正行列を設定しておき、測定点のｘ座標ｘＳに最も近い座標値に対応した補正行列を選択して、演算を実施する。
第６の補正行列については、例えば、ｙ軸方向に所定間隔で配置される複数のｙ座標値毎に補正行列を設定しておき、測定点のｙ座標ｙＳに最も近い座標値に対応した補正行列を選択して、演算を実施する。
これによって、適切な補正行列を選択することが可能である。
（第８の態様）
第６の態様に従属する第８の態様において、
前記第４の補正行列を用いた補正処理を実施する場合には、
前記ｘ軸に沿う方向に設定される複数のｘ座標値の各々に対応して、前記第４の補正行列が複数、設けられており、
前記補正処理部は、
前記複数の前記第４の補正行列の中から、測定によって取得されたｘ座標値に、最も近いｘ座標に対応した、直近の第４の補正行列と、２番目に近いｘ座標に対応した、準直近の第４の補正行列とを選択すると共に、
前記測定によって取得されたｘ座標値と、前記最も近いｘ座標との距離を第１の距離Ｌ１とし、
前記測定によって取得されたｘ座標値と、前記２番目に近いｘ座標との距離を第２の距離Ｌ２とする場合に、
Ｌ１／（Ｌ１＋Ｌ２）で表される第１の重み付け係数ｋ１と、
Ｌ２／（Ｌ１＋Ｌ２）で表される第２の重み付け係数ｋ２と、を算出し、
前記直近の第４の補正行列、前記準直近の第４の補正行列、及び、前記第１、第２の重み付け係数ｋ１、ｋ２を用いた加重平均（重み付き平均）による補正演算を実施し、
前記第６の補正行列を用いた補正処理を実施する場合には、
前記ｙ軸に沿う方向に設定される複数のｙ座標値の各々に対応して、前記第６の補正行列が複数、設けられており、
前記補正処理部は、
前記複数の前記第６の補正行列の中から、測定によって取得されたｙ座標値に、最も近いｙ座標に対応した、直近の第６の補正行列と、２番目に近いｙ座標に対応した、準直近の第６の補正行列とを選択すると共に、
前記測定によって取得されたｙ座標値と、前記最も近いｙ座標との距離を第３の距離Ｌ３とし、
前記測定によって取得されたｙ座標値と、前記２番目に近いｙ座標との距離を第４の距離Ｌ４とする場合に、
Ｌ３／（Ｌ３＋Ｌ４）で表される第３の重み付け係数ｋ３と、
Ｌ４／（Ｌ３＋Ｌ４）で表される第４の重み付け係数ｋ４と、を算出し、
前記直近の第６の補正行列、前記準直近の第６の補正行列、及び、前記第３、第４の重み付け係数ｋ３、ｋ４を用いた加重平均（重み付き平均）による補正演算を実施してもよい。
第８の態様では、第７の態様と同様に、光学系の歪とは逆特性の歪みを与える第４、第６の補正行列について最適化を実施する。
但し、第８の態様では、測定によって取得された座標に、最も近い座標値に対応する補正行列（これを「直近の補正行列」と称する）と、２番目に近い座標値に対応する補正行列（これを「準直近の補正行列」と称する）と、を用いて、加重平均（重み付き）平均演算を実施することで、撮像対象の検出精度を、さらに向上させる。
（第９の態様）
第６の態様に従属する第９の態様において、
前記補正処理部は、
ｘ、ｙ、ｚの各値に測定誤差を含む、取得された前記第１の座標（ｘＳ’、ｙＳ’、ｚＳ’）に対して、
前記第１の補正行列を用いた補正処理を実施して、前記ｘＳ’及びｙＳ’を、前記第２の座標（ｘＳ’’、ｙＳ’’、ｚＳ（但し、ｚＳは、前記基準平面の前記既知のｚ座標値に等しい一定値））における、前記ｘＳ’’及びｙＳ’’に変換し、
前記第３の補正行列を用いた補正処理を実施し、その結果として得られるｚ座標値である前記ｚＳ’’’と、前記第５の補正行列を用いた補正処理を実施し、その結果として得られるｚ座標値である前記ｚＳ’’’’と、を用いて、
ｘＳ’’’’’＝ｘＳ’’・ｚＳ’’’/ｚＳ ・・・ 式５－１
ｙＳ’’’’’＝ｙＳ’’・ｚＳ’’’’/ｚＳ ・・・ 式５－２
で表される、上記式５－１、５－２の演算を実施し、
算出された前記ｘＳ’’’’’及びｙＳ’’’’’に対して、前記第２の補正行列を用いた、前記光学系による歪み特性とは逆の歪みを与える処理を実施してもよい。
第９の態様は、第１の態様で説明した第１の補正行列による補正演算の後、第６の態様で説明した第３及び第４の補正行列の少なくとも一方の演算によって得られた座標値を用いて、リサイズ処理を実施する新たな補正手法によって、撮像対象（例えば、運転者の目）の検出精度を、さらに向上させる。
ｘ、ｙ、ｚの各座標値についての測定誤差Δｘ、Δｙ、Δｚを問題とする場合には、第１の補正行列（Δｘのみを補正する補正行列）による補正処理では、歪み除去効果が低下する。
言い換えれば、第１の補正行列では、ｚ座標値がｚＳである基準平面（便宜上「第１の基準平面」と称する）に、測定された座標を射影変換していたが、測定誤差Δｘ、Δｙ、Δｚを問題とする場合は、Δｘ、Δｙ、Δｚを考慮した「新たな基準面（基準平面）」を設定する必要がある。
ここで検討すると、第６の態様における第３の補正行列を用いた補正処理によって得られる「ｚＳ’’’」をｚ座標値とする「第２の基準面」、あるいは、第６の態様における第５の補正行列を用いた補正処理によって得られる「ｚＳ’’’’」をｚ座標値とする「第３の基準面」が、より適切な基準面（基準平面）となり得ると考えられる。
そこで、第９の態様では、第１の補正行列による演算で得られた「ｘＳ’’」については、第２の基準面へと再度、射影変換して、その大きさを拡大あるいは縮小する第１のリサイズ処理を実施する。
第２の基準面を選択するのは、第３の補正行列が、ｘ座標値を既知の「ｘＳ」に補正する補正行列であり、その補正演算の結果を利用して設定される第２の基準面の方が、ｘ座標のリサイズには適している（より精度の高い補正ができる）と考えられるからである。
一方、第１の補正行列による演算で得られた「ｙＳ’’」については、第３の基準面へと再度、射影変換して、その大きさを拡大あるいは縮小する第２のリサイズ処理を実施する。
第３の基準面を選択するのは、第５の補正行列が、ｙ座標値を既知の「ｙＳ」に補正する補正行列であり、その補正演算の結果を利用して設定される第３の基準面の方が、ｙ座標のリサイズには適している（より精度の高い補正ができる）と考えられるからである。
この第１、第２のリサイズ処理によって得られたｘ座標値を「ｘＳ’’’’’」とし、ｙ座標値を「ｙＳ’’’’’」とし、ｚ座標値については、「ｚＳ’’」又は「ｚＳ’’’」を採用することで、より本来の座標値に近い、精度の高いｘ、ｙ、ｚの各座標値が得られる。
その得られた各座標値について、第２の補正行列を用いた演算を実施し、光学系による歪とは逆の歪みを与えることで、より精度の高い測定座標を取得することができる。
（第１０の態様）
第６の態様に従属する第１０の態様において、
前記補正処理部は、
ｘ、ｙ、ｚの各値に測定誤差を含む、取得された前記第１の座標（ｘＳ’、ｙＳ’、ｚＳ’）に対して、
前記第１の補正行列を用いた補正処理を実施して、前記ｘＳ’及びｙＳ’を、前記第２の座標（ｘＳ’’、ｙＳ’’、ｚＳ（但し、ｚＳは、前記基準平面の前記既知のｚ座標値に等しい一定値））における、前記ｘＳ’’及びｙＳ’’に変換し、
前記第３の補正行列を用いた補正処理を実施し、その結果として得られるｚ座標値である前記ｚＳ’’’を用いて、
ｘＳ’’’’’＝ｘＳ’’・ｚＳ’’’/ｚＳ ・・・ 式６－１
ｙＳ’’’’’＝ｙＳ’’・ｚＳ’’’/ｚＳ ・・・ 式６－２
で表される、上記式６－１、６－２の演算を実施し、
算出された前記ｘＳ’’’’’及びｙＳ’’’’’に対して、前記第２の補正行列を用いた、前記光学系による歪み特性とは逆の歪みを与える処理を実施してもよい。
第１０の態様も、第９の態様と基本的には同様である。但し、第１０の態様では、第１の補正行列による演算で得られた「ｘＳ’’」及び「ｙＳ’’」を、共に第２の基準面へと再度、射影変換して、その大きさを拡大あるいは縮小する第３のリサイズ処理を実施する。
第１０の態様においても、第９の態様と同様の効果が得られる。また、「ｘＳ’’」及び「ｙＳ’’」の各々について、共通の第２の基準面を使用したリサイズ処理を実施するため、リサイズ処理に伴う補正処理部の負担が少いという利点もある。
（第１１の態様）
第６の態様に従属する第１１の態様において、
前記補正処理部は、
ｘ、ｙ、ｚの各値に測定誤差を含む、取得された前記第１の座標（ｘＳ’、ｙＳ’、ｚＳ’）に対して、
前記第１の補正行列を用いた補正処理を実施して、前記ｘＳ’及びｙＳ’を、前記第２の座標（ｘＳ’’、ｙＳ’’、ｚＳ（但し、ｚＳは、前記基準平面の前記既知のｚ座標値に等しい一定値））における、前記ｘＳ’’及びｙＳ’’に変換し、
前記第５の補正行列を用いた補正処理を実施し、その結果として得られるｚ座標値である前記ｚＳ’’’’を用いて、
ｘＳ’’’’’＝ｘＳ’’・ｚＳ’’’’/ｚＳ ・・・ 式７－１
ｙＳ’’’’’＝ｙＳ’’・ｚＳ’’’’/ｚＳ ・・・ 式７－２
で表される、上記式７－１、７－２の演算を実施し、
算出された前記ｘＳ’’’’’及びｙＳ’’’’’に対して、前記第２の補正行列を用いた、前記光学系による歪み特性とは逆の歪みを与える処理を実施してもよい。
第１１の態様も、第９の態様と基本的には同様である。但し、第１１の態様では、第１の補正行列による演算で得られた「ｘＳ’’」及び「ｙＳ’’」を、共に第３の基準面へと再度、射影変換して、その大きさを拡大あるいは縮小する第４のリサイズ処理を実施する。
第１１の態様においても、第９の態様と同様の効果が得られる。また、「ｘＳ’’」及び「ｙＳ’’」の各々について、共通の第３の基準面を使用したリサイズ処理を実施するため、リサイズ処理に伴う補正処理部の負担が少いという利点もある。
【0035】
本発明の第１２の態様において、ヘッドアップディスプレイ装置は、
ハウジングと、
前記ハウジング内に設けられる、画像を表示する表示器を含む表示装置と、
前記ハウジング内に設けられる、請求項１乃至１１の何れか１つの態様の撮像画像データ補正システムと、
を有し、
前記撮像画像データ補正システムの前記光学系に含まれる前記光学部材の少なくとも一部は、前記表示装置から出射される画像の表示光を、前記ハウジングの外に出射する際にも使用される。
ハウジングと、
前記ハウジング内に設けられる、画像を表示する表示器を含む表示装置と、
前記ハウジング内に設けられる、請求項１乃至１１の何れか１つの態様の撮像画像データ補正システムと、
を有し、
前記撮像画像データ補正システムの前記光学系に含まれる前記光学部材の少なくとも一部は、前記表示装置から出射される画像の表示光を、前記ハウジングの外に出射する際にも使用される。
【0036】
第１２の態様によれば、カメラ（赤外線カメラ（近赤外線カメラを含む）等）と、撮像画像データ補正装置（補正処理部であってもよい）と、をＨＵＤ装置のハウジング（筐体）内に取り込むことができる。
また、ＨＵＤ装置の画像表示用の光学系の光学部材の少なくとも一部を、撮像対象からの光をカメラに導く光学部材としても利用（共用）できるため、光学部材の新規の追加を必要最小限に抑制し、光学部材の追加設置の負担を軽減することができる。
また、上述した撮像画像データ補正装置がＨＵＤ装置に内蔵されているため、迅速に、高精度の補正（上記のｚ座標のばらつきに起因するｘ、ｙ座標のばらつき補正と、光学系に起因する画像歪みの補正）を実施することができ、画像処理の性能も向上する。
また、ＨＵＤ装置の画像表示用の光学系の光学部材の少なくとも一部を、撮像対象からの光をカメラに導く光学部材としても利用（共用）できるため、光学部材の新規の追加を必要最小限に抑制し、光学部材の追加設置の負担を軽減することができる。
また、上述した撮像画像データ補正装置がＨＵＤ装置に内蔵されているため、迅速に、高精度の補正（上記のｚ座標のばらつきに起因するｘ、ｙ座標のばらつき補正と、光学系に起因する画像歪みの補正）を実施することができ、画像処理の性能も向上する。
【0037】
この構成によれば、カメラによる撮像系、及びＨＵＤ装置本来の画像表示系がＨＵＤ装置のハウジング内にあるため、各系を別個に設けて通信により接続したり、ケーブルで接続したりする場合に比べて、システム全体を小型化することができる。
【0038】
また、ＨＵＤ装置のユーザー（運転者等）から見て、カメラや、撮像画像データ補正システムを、目立たせることなく、それらを車載することができ、見栄えを気にする必要もなくなる。
【0039】
また、各系が１つのハウジングに内蔵されるため、カメラを、ＨＵＤ装置とは別に取り付ける作業が不要であり、作業者の負担が軽減される。
【0040】
また、カメラによる撮像系、及びＨＵＤ装置本来の画像表示系を、例えば、ハウジング内で、短い配線で接続して使用でき、信号遅延や通信ノイズの混入を抑制することができる。よって、撮像対象（例えば人の目の位置）の検出精度を向上させることができ、また、迅速な検出も可能である。このことは、運転者の視点に追従した高速な配光制御等の実現に資するものである。
【0041】
第１２の態様に従属する第１３の態様において、
前記撮像対象は、前記ヘッドアップディスプレイ装置が表示する画像を視認する視認者の目であり、
前記ハウジング内には、
前記撮像画像データ補正システムが出力する、補正後の画像データに基づいて、前記視認者の目の位置を検出する視点検出部と、
前記視点検出部による視点位置検出結果に基づいて、前記画像の表示光の配光を制御する配光制御部と、
が設けられていてもよい。
前記撮像対象は、前記ヘッドアップディスプレイ装置が表示する画像を視認する視認者の目であり、
前記ハウジング内には、
前記撮像画像データ補正システムが出力する、補正後の画像データに基づいて、前記視認者の目の位置を検出する視点検出部と、
前記視点検出部による視点位置検出結果に基づいて、前記画像の表示光の配光を制御する配光制御部と、
が設けられていてもよい。
【0042】
第１３の態様によれば、人（運転者等）の目（視点）をカメラで撮像して、その撮像画像を迅速に、かつ高精度に補正し、補正後の画像データに基づいて、視点検出部が視点位置を検出し、その視点検出結果に基づいて、視点位置に追従して、画像の表示光の配光を適応的に変更する配光制御を実施することができる。よって、高性能のＨＵＤ装置が得られる。
【0043】
第１２又は第１３の態様に従属する第１４の態様において、
前記撮像画像データ補正システムにおける前記カメラは、赤外波長帯域の光に感度を有するカメラであってもよい。
前記撮像画像データ補正システムにおける前記カメラは、赤外波長帯域の光に感度を有するカメラであってもよい。
【0044】
第１４の態様では、カメラとして、赤外波長帯域の光に感度を有するカメラを使用する。赤外波長帯域の光は広く解釈するものとし、遠赤外線、近赤外線、赤外線を含むことができる。人の部位（顔や目を含む）の検出を例にとると、好ましい一例としては、近赤外線に感度を有する近赤外線カメラを使用することができる。
【0045】
赤外線カメラを用いると、例えば、夜間の暗い環境であっても、あるいは、人がサングラスを掛けているときでも、人の目をはっきりと撮像できるという利点がある。
【0046】
第１４の態様に従属する第１５の態様において、
前記撮像対象に赤外波長帯域の光を照射する照明部が、前記ハウジングの内部に設けられている、
又は、
前記ハウジングの外側において、前記ハウジングに取り付けられていてもよい。
前記撮像対象に赤外波長帯域の光を照射する照明部が、前記ハウジングの内部に設けられている、
又は、
前記ハウジングの外側において、前記ハウジングに取り付けられていてもよい。
【0047】
第１５の態様では、撮像対象に赤外波長帯域の光を照射する照明部（言い換えれば照明用光源）が、ＨＵＤ装置のハウジングの内部に設けられ、または、ハウジングの外側において取り付けられている。これにより、照明部、カメラ（近赤外線カメラ等）、及び撮像画像データ補正装置（補正処理部であってもよい：これらは、赤外線撮像システムの主要な構成要素である）を、ＨＵＤ装置にすべて取り込むことができ、使い勝手がよく、高性能なＨＵＤ装置を実現することができる。
【0048】
当業者は、例示した本発明に従う態様が、本発明の精神を逸脱することなく、さらに変更され得ることを容易に理解できるであろう。
【図面の簡単な説明】
【0049】
【図4】図４（Ａ）は、複数の補正用基準点が設けられた基準面（歪み無し）を示す図、図４（Ｂ）は、光学系による歪みのみの影響を受けた基準面と、光学系による歪み、及びｚ座標の測定誤差に起因する歪みの双方の影響を受けた基準面との外観の相違を示す図である。
【図10】図１０（Ａ）は、第１の補正処理の内容を示す図、図１０（Ｂ）は、第１の補正処理において、第１～第ｎの複数の第１の補正行列を用意する必要があるとき、取得済みのデータを用いて、第ｎの、第１の補正行列を演算により算出する手法を説明するための図である。
【図11】図１１（Ａ）は、測定により取得された測定点のｚ座標値のみに誤差（Δｚ）が生じている例を示す図、図１１（Ｂ）は、測定点のｘ、ｙ、ｚの各座標値に誤差（Δｘ、Δｙ、Δｚ）が生じている例を示す図、図１１（Ｃ）は、図１１（Ｂ）の例に対応した、測定点に基づいて撮像空間に構築される基準平面の状態を示す図である。
【発明を実施するための形態】
【0050】
以下に説明する最良の実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。
【0051】
（第１の実施形態）
図１は、第１、第２の補正行列を記憶した記憶装置を備える撮像画像データ補正システムの構成の一例を示す図である。
図１は、第１、第２の補正行列を記憶した記憶装置を備える撮像画像データ補正システムの構成の一例を示す図である。
【0052】
撮像画像データを補正する撮像画像データ補正システム１９０は、撮像対象（ここでは人の目（視点）とする）を撮像するカメラ１０８と、曲面の光反射面又は光透過面を有する少なくとも１つの光学部材５４を有する光学系５５と、カメラ１０８が、光学系５５を経由して到来する光を受光して得られる撮像対象画像データを補正する、第１の補正行列Ｍ１、及び第２の補正行列Ｍ２が記憶されている記憶装置１８５と、第１、第２の各補正行列Ｍ１、Ｍ２を用いた補正処理を実施する補正処理部１８３を含む撮像画像データ補正装置１６０と、を有する。
【0053】
また、図１の例では、近赤外線（広義には赤外線）を発する照明部（近赤外線光源）５０が設けられている。赤外線による撮像を行うと、夜間の暗い環境であっても、あるいは、人がサングラス等を掛けているときでも、人（車両１の運転者等）の目（視点）を明瞭に撮像できるという利点がある。
【0054】
図１において、カメラ１０８の光軸（ｚ軸）に直交する平面（基準平面）５２における横方向に対応する軸をｘ軸とし、縦方向に対応する軸をｙ軸とし、前記ｘ軸及びｙ軸に直交する、カメラ１０８の光軸に沿う奥行き方向の軸をｚ軸とし、ｘ軸、ｙ軸、ｚ軸の各軸によって、カメラ１０８の撮像点（あるいはカメラ視点）Ｑを原点とする３次元直交座標系が実空間に設定される。
【0055】
基準平面５２は、カメラ１０８による撮像対象である人の左右の目（視点）Ｅ１、Ｅ２が存在すると想定される位置（ｚ座標が既知の位置）に設定される。図１の基準平面５２には、格子状に配列された縦５個、横６個（合計で３０個）の補正用基準点Ｐが設定される。なお、図１では、外周部の一部の基準点Ｐのみが示されている。複数の補正用基準点Ｐは、ｚ座標値が既知である基準平面５２上に設定された、ｘ座標及びｙ座標が既知の複数の、格子状に配列された点である。
【0056】
第１の補正行列Ｍ１は、複数の補正用基準点Ｐを、カメラ１０８で撮像することで、ｚ座標値についての測定誤差である第１の誤差と、光学系による歪みによる第２の誤差と、が含まれる撮像画像データが取得され、その結果として、各補正用基準点について第１の座標（ｘＳ’、ｙＳ’、ｚＳ’）が取得される場合に、ｘＳ’及びｙＳ’を、第２の座標（ｘＳ’’、ｙＳ’’、ｚＳ（但し、ｚＳは、基準平面５２の既知の座標値に等しい一定値））における、ｘＳ’’及びｙＳ’’に変換する、座標変換用の射影変換行列である。
【0057】
第２の補正行列は、ｘＳ’’及びｙＳ’’（言い換えれば、第１の補正行列による補正後の画像データ）に、光学系による歪み特性とは逆の歪みを与えて座標を変換し、光学系による歪みを抑制する歪み除去用の変換行列である。
【0058】
撮像画像データ補正装置１６０に含まれる補正処理部１８３は、第１、第２の補正行列Ｍ１、Ｍ２を用いた補正演算を実施する。
【0059】
撮像対象（例えば人の視点）を、光学系５５（曲面の反射面又は透過面有する少なくとも１つの光学部材５４を有する）を介してカメラ１０８で撮像した場合、撮像画像データには、ｚ座標値についての測定誤差である第１の誤差と、光学系による歪みによる第２の誤差と、が含まれる。この点を考慮し、画像データを補正する必要がある。
【0060】
補正処理部１８３は、まず、第１の補正行列Ｍ１を用いた補正演算によって、第１の誤差に基づくｘ、ｙ座標の歪みを抑制し、続いて、その補正後の撮像画像データについて、第２の補正行列Ｍ２を用いた演算を施して、光学系５５に起因する歪みを抑制する。
【0061】
カメラ１０８によって撮像された各補正用基準点Ｐの、撮像画像空間（単に画像空間と称する）におけるｘ、ｙ、ｚの各座標について、理想的にはｚ座標は一定であるはずである（各補正用基準点は、実空間においてｚ座標が既知の基準平面５２上の点であることから、撮像画像空間においも、ｚ座標値は上記の既知のｚ座標値と同じ（言い換えれば等価である値）であるはずである）。
【0062】
しかし、測定誤差により、各補正用基準点Ｐでｚ座標がばらつき、その結果として、ｘｙ画像平面におけるｘ、ｙの各座標値も、不規則にばらつく。この不規則なばらつきをそのままにして、光学系５５による歪みを除去する補正を行っても、その精度には限界がある。
【0063】
そこで、まず、撮像された各補正用基準点Ｐを、画像空間上での本来のｘｙ平面（ｚ座標値が既知である画像平面）上へと射影（投影）変換し（第１の補正処理）、ｚ座標値の不規則なばらつきを是正する。その後、光学系の歪みを補正する（第２の補正処理）。なお、第１の補正処理の具体的な内容については、後述する。
【0064】
これによって、光学系の歪み除去用の補正演算の精度が向上し、光学系の歪みを効果的に除去できる。したがって、例えば、人の目（視点）の位置を、より正確に検出可能となる。
【0065】
次に、図２を参照する。撮像画像データ補正システムを組み込んだＨＵＤ装置の構成例を示す図である。
【0066】
ヘッドアップディスプレイ装置１００は、ハウジング１０２と、ハウジング１０２内に設けられる、画像を表示する表示器１０６を含む表示装置１０４と、撮像画像データ補正システム（構成要素は後述する）と、視点検出部１９１と、配光制御部１９５と、を有する。
【0067】
ＨＵＤ装置１００に組み込まれた撮像画像データ補正システムは、赤外線（近赤外線を含む）に感度を有するカメラ（広義の赤外線カメラ）１０８と、光学系５５（図１参照）と、撮像画像データ補正装置１６０（図１参照）の構成要素である補正処理部１８３と、を有する。
【0068】
ここで、ＨＵＤ装置１００に組み込まれた光学系５５の構成要素としては、平面ミラー１１０、画像の表示光Ｋ１をウインドシールド２（又はコンバイナ４）に向けて投射する曲面ミラー（具体的には、画像を拡大して投影する凹面鏡等）１１２、ガラスや樹脂等からなる窓部１１６をあげることができる。なお、光学系５５を広く解釈すれば、ＨＵＤ装置１００の外に配置されているウインドシールド２やコンバイナ４も、光学系５５の構成要素とみることもできる。
【0069】
なお、コンバイナ４を用いる場合、そのコンバイナは、可視光線については半透過／半反射性を有し、赤外線については反射性を有することが好ましい。
【0070】
また、平面ミラー１１０は、ＨＵＤ装置１００の画像の表示光Ｋ１(可視光線)を反射し、撮像対象である人（運転者）の目（視点）の撮像光Ｋ２（赤外線）は透過する波長選択性を有するフィルタとしての機能をもつ。なお、他の実施形態では、曲面ミラー（凹面鏡）１１２がＨＵＤ装置１００の画像の表示光Ｋ１(可視光線)を反射し、撮像対象である人（運転者）の目（視点）の撮像光Ｋ２（赤外線）は透過する波長選択性を有するフィルタとしての機能をもっていてもよい。
【0071】
この波長選択性は、例えばガラス基材に、誘電体多層膜からなる波長選択コーティングを施すことで実現可能である。波長選択コーティングは、波長が異なる２つの光のうち、一方は反射してもう一方は透過するという様に、光学的特性を劇的に変化させることが可能であり、光学的な損失の少ないフィルタ（あるいは、ビームスプリッタ）となり得る。但し、一例であり、この例に限定されるものではない。他の例として、例えば、ＨＵＤ装置１００の画像の表示光Ｋ１(可視光線)を反射し、撮像対象である人（運転者）の目（視点）の撮像光Ｋ２（赤外線）は透過する波長選択性を有するフィルタは、金属ワイヤグリッド偏光板や液晶ポリマー等であり，表示光Ｋ１(可視光線)と撮像光Ｋ２（赤外線）との偏光特性を異ならせることで、透過／反射の制御を行ってもよい。すなわち、平面ミラー１１０又は曲面ミラー１１２は、所定の第１の偏光方向を有するＨＵＤ装置１００の画像の表示光Ｋ１(可視光線)を反射し、第１の偏光方向と異なる第２の偏光方向を有する撮像対象である人（運転者）の目（視点）の撮像光Ｋ２（赤外線）は透過する偏光特性を有するフィルタとしての機能をもっていてもよい。
【0072】
光学系５５の構成要素である平面ミラー１１０、曲面ミラー（凹面鏡等）１１２、窓部１１６（これらは、撮像画像データ補正システムの光学系５５に含まれる光学部材の少なくとも一部ということができる）は、表示装置１０４から出射される画像の表示光Ｋ１を、ハウジング１０２の外に出射する際にも使用される。言い換えれば、それらの光学部材は、撮像系と画像表示系の２つの系で共用される光学部材ということができる。光学部材の共用化によって、部品点数の増大を効果的に抑制することができ、ＨＵＤ装置１００の小型化が実現されている。
【0073】
ＨＵＤ装置１００内の補正処理部１８３によって補正された画像データは、視点検出部１９１に供給される。視点検出部１９１は、例えばパターンマッチング等の手法を用いて目（視点）を識別（検出）し、目位置を示す座標を算出して、配光制御部１９５に供給する。配光制御部１９５は、画像の表示光Ｋ１（スポット光）を、検出された目の位置に向けて出射するために、例えば曲面ミラー１１２の駆動部（アクチュエータ）１１４を回転駆動する。
【0074】
また、図２では、照明部（赤外線光源）５０を視認者（運転者）５の斜め前方に設けている。この照明部５０は、運転者の目（視点）Ｅを照明している。但し、照明部５０は、ＨＵＤ装置１００のハウジング１０２の内側に設けてもよく、また、ハウジング１０２の外側に取り付けてもよい。図２では、ハウジング１０２の外側に取り付けた照明部を点線で示し、符号５０’を付している。
【0075】
照明部５０’が設けられるときは、例えば、インパネル６の一部に開口ＯＰを設け、この開口ＯＰから、赤外線を視認者５の目Ｅに照射してもよい。
【0076】
運転者５は、ステアリングホイール８を操作して車両１を運転している状態で、前方の虚像表示面ＰＳ上に、虚像Ｖを視認することができる。これによって、例えばナビゲーション用の有用な情報等を、目視によって容易に取得することができる。
【0077】
【0078】
また、ＨＵＤ装置１００の画像表示用の光学系の光学部材の少なくとも一部（平面ミラー１１０や曲面ミラー１１２等）を、撮像対象（目）からの光をカメラ１０８に導く光学部材としても利用（共用）できるため、光学部材の新規の追加を必要最小限に抑制し、光学部材の追加設置の負担を軽減することができる。
【0079】
また、上述した撮像画像データ補正装置１６０（図１参照）がＨＵＤ装置１００に内蔵されているため、迅速に、高精度の補正（上記のｚ座標のばらつきに起因するｘ、ｙ座標のばらつき補正と、光学系に起因する画像歪みの補正）を実施することができ、画像処理の性能も向上する。
【0080】
この構成によれば、カメラによる撮像系、及びＨＵＤ装置本来の画像表示系がＨＵＤ装置１００のハウジング１０２内にあるため、各系を別個に設けて通信により接続したり、ケーブルで接続したりする場合に比べて、システム全体を小型化することができる。
【0081】
また、ＨＵＤ装置１００のユーザー（運転者等）から見て、カメラや、撮像画像データ補正システムを、目立たせることなく、それらを車載することができ、見栄えを気にする必要もなくなる。また、すっきりとした視覚を提供することができ、デザインの観点からも優れている。
【0082】
また、各系が１つのハウジング１０２に内蔵されるため、カメラ１０８を、ＨＵＤ装置１００とは別に取り付ける作業が不要であり、作業者の負担が軽減される。先に示した特許文献１のように、ステアリングコラムに取り付けたカメラの回動（移動）に伴う画像の歪みを電気的に補正する必要もない。
【0083】
また、カメラによる撮像系、及びＨＵＤ装置本来の画像表示系を、例えば、ハウジング１０２内で、短い配線で接続して使用でき、信号遅延や通信ノイズの混入を抑制することができる。よって、撮像対象（例えば人の目の位置）の検出精度を向上させることができ、また、迅速な検出も可能である。このことは、運転者５の視点に追従した高速な配光制御等の実現に資するものである。
【0084】
また、図２のＨＵＤ装置１００のハウジング１０２内には、撮像画像データ補正システムが出力する、補正後の画像データに基づいて、視認者（運転者）５の目の位置を検出する視点検出部１９１と、視点検出部１９１による視点位置検出結果に基づいて、画像の表示光Ｋ１の配光を制御する配光制御部１９５と、が設けられている。
【0085】
この構成によれば、人（運転者等）５の目（視点）Ｅをカメラ１０８で撮像して、その撮像画像を迅速に、かつ高精度に補正し、補正後の画像データに基づいて、視点検出部１９１が視点位置を検出し、その視点検出結果に基づいて、配光制御部１９５が、視点位置に追従して、画像の表示光Ｋ１の配光を適応的に変更する配光制御を実施することができる。よって、高性能のＨＵＤ装置が実現される。
【0086】
また、上述したように、カメラ１０８は、赤外波長帯域の光に感度を有するカメラ（広義の赤外線カメラ）である。なお、赤外波長帯域の光は広く解釈するものとし、遠赤外線、近赤外線、赤外線を含むことができる。人の部位（顔や目を含む）の検出を例にとると、好ましい一例としては、近赤外線に感度を有する近赤外線カメラを使用することができる。
【0087】
赤外線カメラを用いると、例えば、夜間の暗い環境であっても、あるいは、人がサングラスを掛けているときでも、人の目をはっきりと撮像できるという利点がある。
【0088】
また、図２の例では、撮像対象である人の目に赤外波長帯域の光を照射する照明部５０が、ハウジング１０２の内部に設けられてもよく、又は、ハウジング１０２の外側において、ハウジングに取り付けられていてもよい（点線で示される照明部５０’参照）。
【0089】
これにより、照明部５０、カメラ（近赤外線カメラ等）１０８、及び撮像画像データ補正装置１６０（これらは、赤外線撮像システムの主要な構成要素である）を、ＨＵＤ装置１００にすべて取り込むことができ、使い勝手がよく、高性能なＨＵＤ装置１００を実現することができる。
【0090】
次に、図３を参照する。図３（Ａ）は、複数の補正用基準点が設けられた基準面（歪み無し）を示す図、図３（Ｂ）は、光学系を介して基準面を撮像して得られた、光学系による歪みの影響を受けた基準面を示す図である。
【0091】
【0092】
図３（Ｂ）の場合は、光学系に起因する歪み（第２の誤差）の影響のみを考慮している。しかし、実際は、ｚ軸方向の奥行き距離（ｚ座標値）の測定誤差（第１の誤差）による歪みも生じている。
【0093】
ここで、図４を参照する。図４（Ａ）は、複数の補正用基準点が設けられた基準面（歪み無し）を示す図、図４（Ｂ）は、光学系による歪みのみの影響を受けた基準面と、光学系による歪み、及びｚ座標の測定誤差に起因する歪みの双方の影響を受けた基準面との外観の相違を示す図である。
【0094】
【0095】
一方、黒塗りの丸で示される補正用基準点Ｐ’’を備える、点線の基準面５２’は、光学系の歪みに加えてｚ座標の測定誤差による歪みが加わった場合の基準面である。ｚ座標の測定誤差が加重されることで、基準面５２’の歪みは、さらに大きくなっていることがわかる。
【0096】
【0097】
図５に示されるように、基準面５２の複数の補正用基準点Ｐをカメラ１０８で撮像すると、各補正用基準点は、理想的には、画像空間におけるカメラ視点Ｑを起点として距離Ｚ１の位置にある、一点鎖線で示される平面（画像平面、画像空間上のｘ、ｙ平面）ｚＳ（ｚ１）上の点Ｐ１１～Ｐ２０として検出（撮像）されるはずである。
【0098】
しかし、実際は、各補正用基準点Ｐのｚ座標の実測値は誤差を含んでいる。各ｚ座標値は、点Ｒ１～点Ｒ１０のように大きくばらつく。各点Ｒ１～Ｒ１０の位置は、画像平面を基準として、ｚ軸の正側（奥側）にばらつくこともあり、負側（手前側）にばらつくこともある。
【0099】
図５の例では、このばらつきを無視して、実測された各点Ｒ１～Ｒ１０のｚ座標値をそのまま採用していることから、ｚ座標の測定誤差に起因してｘ、ｙの各座標値の誤差が生じ、よって、撮像画像データ５２’にかなりの歪みが生じる。
【0100】
【0101】
図６において、誤差を含む点Ｒ１～Ｒ１０の各々と、カメラによる撮像点（カメラ視点）Ｑとを結ぶ線分を描き、各線分と画像平面ｚＳ（ｚ１）との交点の位置に、補正された点Ｐ１１～Ｐ２０を配置する。言い換えれば、点Ｒ１～Ｒ１０は、ｚ座標の測定誤差がない理想的な撮像が行われたとするならば、画像空間において点Ｐ１１～Ｐ２０として検出（撮像）されたはずである。よって、点Ｐ１１～Ｐ２０が、ｚ座標値の測定誤差を補正した後の補正用基準点を示している。
【0102】
【0103】
図１０（Ａ）において、ｚ座標に誤差を含む測定点Ｒ３０（あるいはＲ３０’）を、画像平面ｚＳに射影変換して、変換後（補正後）の点Ｐ３０を算出する場合を想定する。図１０（Ａ）では、太線で示される２つの３角形が示されている。この２つの３角形は相似形であり、相似比は、ｚＳ／ｚＳ’である。変換された点Ｐ３０のｙ座標は、ｙＳ’に上記の相似比を乗算して得られる。ｘ座標についても同様である。
【0104】
よって、この演算は、下記の式１－１、１－２で示される第１の補正行列を用いた演算によって表わすことができる。
ｘＳ’’＝ｘＳ’・ｚＳ/ｚＳ’ ・・・ 式１－１
ｙＳ’’＝ｙＳ’・ｚＳ/ｚＳ’ ・・・ 式１－２
ｘＳ’’＝ｘＳ’・ｚＳ/ｚＳ’ ・・・ 式１－１
ｙＳ’’＝ｙＳ’・ｚＳ/ｚＳ’ ・・・ 式１－２
【0105】
言い換えれば、撮像された各補正用基準点を、画像空間上での本来のｘｙ平面（ｚ座標値が既知である画像平面）上へと射影（投影）変換する際、具体的には、各基準点の画像空間におけるｘ座標及びｙ座標である（ｘＳ’、ｙＳ’）は、式１－１、式１－２を用いて（ｘＳ’’、ｙｓ’’）へと変換される。（ｘＳ’、ｙＳ’）は変換前の第１の座標であり、（ｘＳ’’、ｙｓ’’）は変換後の第２の座標である。式１－１、１－２は、具体的には、相似する３角形の相似比を用いた演算式を示す。
【0106】
上述のとおり、ｚＳ/ｚＳ’が相似比を示す。ここで、ｚＳ’は、撮像された各補正用基準点の、画像空間におけるｚ座標値（ｚ座標の測定値）である。ｚＳは、実空間に設定される基準平面に対応する、画像空間における平面（画像平面）のｚ座標であり、言い換えれば、補正用基準点が設定されている基準平面の既知のｚ座標値（一定）と等価である。この演算によって、各補正用基準点のｚ座標値のばらつきを補正することができる。
【0107】
（第２の実施形態）
図７に戻って説明を続ける。図７は、実空間において、撮像対象である人の目（視点）が移動した場合に、ｚ座標値が最も近い基準面に対応する補正行列（第１の補正行列）を選択することを説明するための図である。
図７に戻って説明を続ける。図７は、実空間において、撮像対象である人の目（視点）が移動した場合に、ｚ座標値が最も近い基準面に対応する補正行列（第１の補正行列）を選択することを説明するための図である。
【0108】
第２の実施形態では、撮像対象（ここでは人の視点）がカメラ１０８の光軸方向（ｚ軸方向）に移動する可能性があることを考慮して、予め、カメラ１０８からの距離が異なる複数の基準平面を想定して、各基準平面毎に、ｚ座標値（ｚ軸に沿う奥行き距離）のばらつきを補正する行列（第１の補正行列Ｍ１）を用意し、記憶装置１８５（図１参照）に記憶させておく。そして、実際の撮像対象（視認者としての運転者５）の位置に最も近い基準平面に対応した補正行列（第１の補正行列Ｍ１）を選択して使用する。
【0109】
撮像対象（人の視点）がカメラから遠ざかると、画像平面（画像空間におけるｘｙ平面）上での視点の移動量は実空間での移動量よりも小さく認識され、逆に人の視点がカメラに近づくと、画像平面上での視点の移動量は実空間での移動量よりも大きく認識される傾向が生じる。
【0110】
そこで、人の視点の位置がｚ軸方向に沿って変化したとき、人の視点のｚ座標に合わせて適切な補正行列（第１の補正行列）を選択し、その選択された補正行列を使用して補正演算を行うことで、カメラと人との間の距離に依らず、画像平面上での視点の移動量を実空間での移動量により近づけて、より正確な補正が可能となる。よって、人の視点の座標（ｘ，ｙ）をより正確に検出することができる。
【0111】
図７において、斜線が施されている領域は、撮像対象である視認者（運転者）５の、ｚ軸に沿う方向の可動範囲を示す領域である。この可動範囲内において、ｚ座標値が異なる３つの座標ｚ１～ｚ３が設定されている。この３つのｚ座標の各々に対応して、ｚＳ（ｚ１）～ｚＳ（ｚ３）の各画像平面が定まる。
【0112】
各々の画像平面（言い換えれば、３つのｚ座標値の各々）に対応して、第１の補正行列が複数、設けられる。補正処理部１８３（図１、図２を参照）は、複数の第１の補正行列Ｍ１の中から、カメラ１０８による撮像に基づいて取得された撮像対象（視認者）のｚ座標値に、もっとも近いｚ座標に対応した第１の補正行列Ｍ１を選択する。図７の例では、ｚ座標がｚ１である画像平面ｚＳ（ｚ１）に対応した第１の補正行列Ｍ１が選択される。
【0113】
（第３の実施形態）
図８は、複数の第１の補正行列を使用する場合において、座標空間におけるｚ座標が異なる基準面間の間隔を、ｚ座標の測定誤差の最大値（最大のズレ幅）よりも大きく設定する例を示す図である。
図８は、複数の第１の補正行列を使用する場合において、座標空間におけるｚ座標が異なる基準面間の間隔を、ｚ座標の測定誤差の最大値（最大のズレ幅）よりも大きく設定する例を示す図である。
【0114】
第３の実施形態では、先に説明した第２の実施形態において、ｚ軸に沿う方向の可動範囲内に設定される複数のｚ座標同士の間隔を、複数の補正用基準点をカメラで撮像した場合の、ｚ座標値についての測定誤差である第１の誤差の最大値（最大ブレ幅）よりも大きく設定する。
【0115】
上記のとおり、撮像対象の実際の位置に最も近い基準平面（画像平面）に対応する補正行列を選択することになるが、その選択に際しては、補正用基準点のｚ座標の測定ばらつきを考慮する必要がある。
【0116】
例えば２つの補正行列が用意される場合を想定すると、ｚ座標のばらつき量が小さいときは、「一方の補正行列」が選択され、ｚ座標のばらつき量が大きいときは、その大きなばらつきの座標点を基準として「他方の補正行列」が選択される、といった現象が生じる場合がある。
【0117】
言い換えれば、撮像対象のｚ座標に合わせて補正行列を選択するとき、撮像対象の実際の位置は変化していないにも関わらず、ｚ座標値の測定ばらつきの大小に応じて、短い時間内に使用する補正行列が切り替わることが生じ得る。この場合には、補正の精度が低下する。また、異なる補正行列の切り替えが何回も繰り返される事態も生じ得ることにもなり、この場合は補正結果が不安定となるのは否めない。
【0118】
そこで、異なる補正行列の各々に対応する基準平面（画像平面）のｚ座標の間隔を、予測されるｚ座標値の最大のブレ幅よりも大きくして、十分なノイズマージンを確保しておく。これにより、大きな測定誤差が生じたとしても、使用する補正行列が切り替わることが防止される。よって、補正精度の低下や補正結果の不安定化を、確実に防止することができる。
【0119】
図３において、画像平面ｚＳ（ｚ１）に関しては、測定点Ｒ１４とＲ１５のｚ座標値の差が、ｚ座標値の最大ブレ幅Δｚ１となる。また、画像平面ｚＳ（ｚ３）に関しては、測定点Ｒ１４０とＲ１５０のｚ座標値の差が、ｚ座標値の最大ブレ幅Δｚ３となる。ここで、カメラ視点Ｑから遠ざかるほど、ブレ幅は大きくなることから、Δｚ１＜Δｚ３である。よって、予測されるｚ座標値の最大値（予測値）は、Δｚ３（＝ΔｚＭＡＸ）となる。
【0120】
画像平面ｚＳ（ｚ１）と、ｚＳ（ｚ３）の各ｚ座標値の差分Δ（ｚ３－ｚ１）は、最大ブレ幅であるΔｚＭＡＸよりも大きく設定される（Δ（ｚ３－ｚ１）＞ΔｚＭＡＸ）。これによって、最大のブレ幅のｚ座標値の変動が生じたとしても、その変動は、ノイズマージン内に収まることから、使用する補正行列が短時間に切り替わるといった事態が防止される。
【0121】
（第４の実施形態）
図９は、第１、第２の補正行列を用いた撮像画像の補正の手順例、及び、補正された画像データを用いた配光制御の手順例を示す図である。
図９は、第１、第２の補正行列を用いた撮像画像の補正の手順例、及び、補正された画像データを用いた配光制御の手順例を示す図である。
【0122】
第４の実施形態では、第１、第２・・・第ｎの補正行列を使用するとき、第１の補正行列を作成するときのみ、基準平面を設定して補正用基準点のカメラによる撮像を実施する。第２～第ｎの補正行列の作成に関しては、カメラによる撮像は行わず、すでに取得されている第１の補正行列作成時に得られたｘ、ｙの各座標値を利用して、演算によって補正行列を算出する。
【0123】
言い換えれば、複数の第１の補正行列を、第１～第ｎ（ｎは２以上の自然数）の第１の補正行列とし、第１～第ｎの各第１の補正行列が対応するｚ座標値をｚ１～ｚｎとし、第１（ｎ＝１）の第１の補正行列の補正対象である、カメラによって補正用基準点を撮像して得られる各点のｘ座標値及びｙ座標値をｘ１’、ｙ１’とし、第ｎの第１の補正行列によって変換された後の各点のｘ座標値及びｙ座標値をｘｎ’、ｙｎ’とするとき、
第ｎの前記第１の補正行列は、
前記ｘ１’、ｙ１’を用いて、
ｘｎ’＝ｘ１’・（１＋（ｚｎ－ｚ１）/ｚ１） ・・・ 式２－１
ｙｎ’＝ｙ１’・（１＋（ｚｎ－ｚ１）/ｚ１） ・・・ 式２－２
で表される、上記式２－１、２－２の演算を実施するものであってもよい。式２－１、２－２により、第ｎの第１の補正行列（ｚ座標の補正行列）が定まる。上記の式２－１、２－２は、射影（投影）変換の一種であり、３角形の相似を利用して上記の式を導出することができる。
第ｎの前記第１の補正行列は、
前記ｘ１’、ｙ１’を用いて、
ｘｎ’＝ｘ１’・（１＋（ｚｎ－ｚ１）/ｚ１） ・・・ 式２－１
ｙｎ’＝ｙ１’・（１＋（ｚｎ－ｚ１）/ｚ１） ・・・ 式２－２
で表される、上記式２－１、２－２の演算を実施するものであってもよい。式２－１、２－２により、第ｎの第１の補正行列（ｚ座標の補正行列）が定まる。上記の式２－１、２－２は、射影（投影）変換の一種であり、３角形の相似を利用して上記の式を導出することができる。
【0124】
これによって、複数の補正行列を採用する場合でも、カメラからのｚ軸方向における距離を異ならせて、何回も基準平面を実測する必要がなく、作業者の負担が増えることもない。
【0125】
上記式２－１、２－２について、図１０（Ｂ）を参照して、具体的に説明する。図１０（Ｂ）は、第１の補正処理において、第１～第ｎの複数の第１の補正行列を用意する必要があるとき、取得済みのデータを用いて、第ｎの、第１の補正行列を演算により算出する手法を説明するための図である。
【0126】
【0127】
点Ｐ１のｚ座標をｚ１とし、ｙ座標をｙ１’とする。点Ｐｎのｚ座標をｚｎとし、ｙ座標をｙｎ’とする。各点のｚ座標の差は、ｚｎ－ｚ１である。ここで、２つの３角形の相似比は、（ｚｎ－ｚ１）／ｚ１である。
【0128】
この点を考慮すると、ｙｎ’＝ｙ１’＋ｙ１’（ｚｎ－ｚ１）／ｚ１となる。これは、式２－２の演算内容と同じである。式２－１についても同様である。このように、３角形の相似を用いた演算により、第ｎの補正行列を算出することができる。よって、補正行列を作成するために、３次元空間に基準平面をその都度、設定して、補正用基準点を撮像する手間を省くことができる。
【0129】
（第５の実施形態）
図９は、第１、第２の補正行列を用いた撮像画像の補正の手順例、及び、補正された画像データを用いた配光制御の手順例を示す図である。第５の実施形態では、補正処理及び配光制御の手順例について説明する。
図９は、第１、第２の補正行列を用いた撮像画像の補正の手順例、及び、補正された画像データを用いた配光制御の手順例を示す図である。第５の実施形態では、補正処理及び配光制御の手順例について説明する。
【0130】
ステップＳ１１０では、ｚ座標変換用の第１の射影変換行列（第１の補正行列）の作成と記憶処理を実施する。ステップＳ１１１において、曲面の反射面又は透過面を備える光学系を介して赤外線カメラで基準となる画像（例えば複数の基準点をもつ格子状画像）を撮像する。ここで、光照射部（光源）は、光学系と赤外線カメラを備える装置（例えばＨＵＤ装置）に設置することも可能である。
【0131】
ステップＳ１１２では、各点のz座標値を検出、あるいは推定する。例えば、実測によりｚ座標値を検出することができる。また、ｚ座標値を実測せず、ｘ、ｙの各座標値に着目して、ｚ座標値を推定することもできる。図４（Ｂ）に示したように、ｚ座標の測定誤差が無い場合のパターンと、誤差が有る場合のパターンとはかなりの差がある。そこで、誤差がない場合のパターン（基準パターン）を予め登録しておき、撮像により得られた誤差のあるパターンを、基準パターンと比較する。各点のｘ、ｙの座標値が、基準パターンのｘ、ｙ座標値とどのようにズレているかを比較観察し、そのズレの程度、ズレの傾向から、ｚ方向の誤差（ｚ座標のズレ）を推定することができ、これによって、ｚ座標値を推定することができる。
【0132】
次に、座標補正用の第１の射影変換行列（第１の補正行列）を演算により生成する。先に説明したように、第１の射影変換行列は、例えば、測定されたｚ座標を、各点とカメラ視点とを通る直線とカメラ視点から所定距離に位置するｚ座標平面との交点の位置へと射影変換する行列である。
【0133】
ステップＳ１１３では、求められた第１の射影変換行列をメモリ（記憶装置）に保存する。また、ステップＳ１１４では、必要に応じて、光学系の歪み補正用の射影変換行列（第２の補正行列）を演算により生成する。第２の補正行列は、予め作成して、メモリ（記憶装置）に保存しておいてもよい。
【0134】
ステップＳ１２１では、測定対象（例えば視点(目）位置、顔、顔の部位等）の位置の検出処理を実施する。ステップＳ１２２では、測定された画像データについて、第１の射影変換行列によるｚ座標変換（座標補正処理）を実施する。
【0135】
ステップＳ１２３では、座標補正後のデータに対して、第２の射影変換行列（第２の補正行列）を用いて、光学系による歪み除去用の補正を実施する。ステップＳ１２４では、歪み除去後のデータに基づいて、測定対象の位置検出処理（画像処理等）を実施する。
【0136】
以上説明したように、本発明によれば、撮像対象とカメラとの間に光学系が介在する場合における撮像精度を向上させることができる。また、本発明によれば、赤外線カメラによる撮像対象の撮像システムをハウジング内に組み込んだ、高性能なＨＵＤ装置を実現することができる。
【0137】
なお、上記実施形態のＨＵＤ装置１００は、平面ミラー１１０の裏側又は曲面ミラー１１２の裏側にカメラ１０８を設けるものであったが、これに限定されるものではない。いくつかの実施形態では、カメラ１０８は、視認者に向かう画像の表示光Ｋ１の光路上ではない窓部１１６の裏側（ウインドシールド２と反対側）に、ウインドシールド２に向いて配置されてもよい。また、カメラ１０８は、窓部１１６の周辺（例えば、窓部１１６の横方向（ｘ軸方向）に隣接する位置、又は窓部１１６の車両の前後方向に隣接する位置。）に、ウインドシールド２に向いて配置されてもよい。
【0138】
本明細書において、車両という用語は、広義に、乗り物としても解釈し得るものである。また、ナビゲーションに関する用語（例えば標識等）についても、例えば、車両の運行に役立つ広義のナビゲーション情報という観点等も考慮し、広義に解釈するものとする。また、ＨＵＤ装置や表示器装置（及び広義の表示装置）には、シミュレータ（例えば、航空機のシミュレータ、ゲーム装置としてのシミュレータ等）として使用されるものも含まれるものとする。
【0139】
本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。
【0140】
例えば、本発明は、測定によって得られたｘ、ｙ、ｚの各座標値に誤差（Δｘ、Δｙ、Δｚ）が含まれる場合にも適用することができる。
【0141】
図１１を参照する、図１１（Ａ）は、測定により取得された測定点のｚ座標値のみに誤差（Δｚ）が生じている例を示す図、図１１（Ｂ）は、測定点のｘ、ｙ、ｚの各座標値に誤差（Δｘ、Δｙ、Δｚ）が生じている例を示す図、図１１（Ｃ）は、図１１（Ｂ）の例に対応した、測定点に基づいて撮像空間に構築される基準平面の状態を示す図である。
【0142】
図１１（Ａ）において、測定によって取得された座標点Ｒ（ｘＳ’、ｙＳ’、ｚＳ’）は、撮像空間（撮像画像を表示するための、実空間に対応する仮想的な空間）において、ｚ座標値についての測定誤差Δｚを含んでいる。
なお、本来の座標点Ｐは、ｘ、ｙ、ｚの各軸の交点に位置する。また、符号７７は、ｚ座標値についての測定誤差Δｚのみを問題とする場合における基準面（第１の基準面）である。なお、「基準面」は、「基準平面」と言い換えることができる。
なお、本来の座標点Ｐは、ｘ、ｙ、ｚの各軸の交点に位置する。また、符号７７は、ｚ座標値についての測定誤差Δｚのみを問題とする場合における基準面（第１の基準面）である。なお、「基準面」は、「基準平面」と言い換えることができる。
【0143】
図１１（Ｂ）では、測定によって取得された座標点Ｗ（ｘＳ’、ｙＳ’、ｚＳ’）は、撮像空間において、ｘ、ｙ、ｚの各座標値についての測定誤差Δｘ１、Δｙ１、Δｚ１を含んでいる。
なお、図１１（Ｂ）では、仮想的な立方体７９を想定し、その立方体７９内の空間内で、測定誤差Δｘ１、Δｙ１、Δｚ１が生じ得る。
なお、図１１（Ｂ）では、仮想的な立方体７９を想定し、その立方体７９内の空間内で、測定誤差Δｘ１、Δｙ１、Δｚ１が生じ得る。
【0144】
図１１（Ｃ）に示されるように測定誤差Δｘ１、Δｙ１、Δｚ１が存在することを前提として、撮像空間において、基準面（基準平面）５２’’を再現すると、その基準面（基準平面）５２’’は、かなり大きな歪みを有する。例えば、１つ１つの格子の外形は、本来は正方形であるが、図１１（Ｃ）は、横長の長方形に近い形状となっている。
よって、この歪み（格子形状の変形）を補正する必要がある。
よって、この歪み（格子形状の変形）を補正する必要がある。
【0145】
【0146】
先に示した図１の記憶装置１８５には、第１、第２の補正行列に加えて、第３、第４、第５、第６の補正行列が記憶されている。
補正処理部１８３は、取得された座標点Ｗ（ｘＳ’、ｙＳ’、ｚＳ’）の、ｘ、ｙ、ｚの各座標値に測定誤差が含まれるものとして補正処理を実施する場合には、第３及び第４の補正行列を用いて、あるいは、第５及び第６の補正行列を用いて補正処理を実施する。
補正処理部１８３は、取得された座標点Ｗ（ｘＳ’、ｙＳ’、ｚＳ’）の、ｘ、ｙ、ｚの各座標値に測定誤差が含まれるものとして補正処理を実施する場合には、第３及び第４の補正行列を用いて、あるいは、第５及び第６の補正行列を用いて補正処理を実施する。
【0147】
第３の補正行列は、ｙ、ｚの各座標値についての測定誤差が含まれるｙＳ’及びｚＳ’を、座標（ｘＳ、ｙＳ’’’、ｚＳ’’’（但し、ｘＳは、先に図１で示した基準平面（基準面）５２の既知のｘ座標値に等しい一定値））における、ｙＳ’’’及びｚＳ’’’に変換する、座標変換用の射影変換行列である。射影変換としては、例えば、先に示した図５、又は、図６に記載されるものと同様の射影変換を利用できる。
この第３の補正行列を用いた補正処理ＴＲ１によって、測定によって取得された座標点Ｗ（ｘＳ’、ｙＳ’、ｚＳ’）は、座標点Ｗ’（ｘＳ、ｙＳ’’’、ｚＳ’’’）に変換される。
よって、ｘ座標値についての測定誤差Δｘの影響が抑制され、歪みの程度を軽減することができる。
この第３の補正行列を用いた補正処理ＴＲ１によって、測定によって取得された座標点Ｗ（ｘＳ’、ｙＳ’、ｚＳ’）は、座標点Ｗ’（ｘＳ、ｙＳ’’’、ｚＳ’’’）に変換される。
よって、ｘ座標値についての測定誤差Δｘの影響が抑制され、歪みの程度を軽減することができる。
【0148】
また、第４の補正行列は、上記の座標値ｙＳ’’’及びｚＳ’’’に、光学系による歪み特性とは逆の歪みを与えて座標を変換し、光学系による歪みを抑制する歪み除去用の変換行列である。
【0149】
また、第５の補正行列は、ｘ、ｚの各座標値についての測定誤差が含まれる前記ｘＳ’及びｚＳ’を、座標（ｘＳ’’’’、ｙＳ、ｚＳ’’’’（但し、ｙＳは、基準平面（基準面）の既知のｙ座標値に等しい一定値））における、ｘＳ’’’’及びｚＳ’’’’に変換する、座標変換用の射影変換行列である。射影変換としては、例えば、先に示した図５、又は、図６に記載されるものと同様の射影変換を利用できる。
【0150】
この第５の補正行列を用いた補正処理ＴＲ２によって、測定によって取得された座標点Ｗ（ｘＳ’、ｙＳ’、ｚＳ’）は、座標点Ｗ’’（ｘＳ’’’’、ｙＳ、ｚＳ’’’’）に変換される。
よって、ｙ座標値についての測定誤差Δｙの影響が抑制され、歪みの程度を軽減することができる。
また、第６の補正行列は、上記の座標ｘＳ’’’’及びｚＳ’’’’に、光学系による歪み特性とは逆の歪みを与えて座標を変換し、光学系による歪みを抑制する歪み除去用の変換行列である。
よって、ｙ座標値についての測定誤差Δｙの影響が抑制され、歪みの程度を軽減することができる。
また、第６の補正行列は、上記の座標ｘＳ’’’’及びｚＳ’’’’に、光学系による歪み特性とは逆の歪みを与えて座標を変換し、光学系による歪みを抑制する歪み除去用の変換行列である。
【0151】
補正処理部１８３が、第３、第４の補正行列を用いた補正処理を実施することで、又は、第５、第６の補正行列を用いた補正処理を実施することで、撮像対象（例えば、運転者の目）の検出精度を向上させることができる。
【0152】
次に、図１３を参照する。図１３は、第４の補正行列を複数用意しておき、その中から１つを選択する例を示す図である。
例えば、測定によって取得された座標値が測定誤差Δｘを含む場合と、含まない場合を想定する。前者と後者では、赤外光がカメラに到達するまでの軌跡に差が生じる。
言い換えれば、車両１のウインドシールド２で反射される位置が異なる、ということである。
よって、光学系の歪とは逆特性の歪みを与える処理（ワーピング処理）に際しても、そのウインドシールド２における反射位置の差を考慮して、より適切な補正行列（より適切な第４の補正行列）を選択するのが好ましい。
例えば、測定によって取得された座標値が測定誤差Δｘを含む場合と、含まない場合を想定する。前者と後者では、赤外光がカメラに到達するまでの軌跡に差が生じる。
言い換えれば、車両１のウインドシールド２で反射される位置が異なる、ということである。
よって、光学系の歪とは逆特性の歪みを与える処理（ワーピング処理）に際しても、そのウインドシールド２における反射位置の差を考慮して、より適切な補正行列（より適切な第４の補正行列）を選択するのが好ましい。
【0153】
そこで、図１３に示されるように、第４の補正行列を用いた補正処理を実施する場合において、ｘ軸に沿う方向に、所定間隔ΔｘＳで複数のｘ座標値ｘＳ１～ｘＳｎが設定されており、そのｘ座標値ｘＳ１～ｘＳｎの各々に対応して、第４の補正行列Ｇ１～Ｇｎが設けられている。
【0154】
補正処理部１８３は、複数の第４の補正行列Ｇ１～Ｇｎの中から、測定によって取得されたｘ座標値ｘＳ’に、もっとも近いｘ座標に対応した第４の補正行列（図１３の例ではＧ１）を選択し、選択された第４の補正行列Ｇ１を用いた補正演算を実施する。よって、適切な第４の補正行列を用いた補正処理が実施され、補正精度が向上する。これにより、撮像対象（例えば運転者の目）の位置の検出精度が向上する。
【0155】
なお、前記第６の補正行列を用いた補正処理を実施する場合においても同様である（図示は省略する）。
言い換えれば、ｙ軸に沿う方向に設定される複数のｙ座標値の各々に対応して、複数の第６の補正行列が設けられ、補正処理部１８３は、複数の第６の補正行列の中から、測定によって取得されたｙ座標値に、最も近いｙ座標に対応した第６の補正行列を選択し、選択された第６の補正行列を用いた補正演算を実施する。得られる効果は、図１３の例と同様である。
言い換えれば、ｙ軸に沿う方向に設定される複数のｙ座標値の各々に対応して、複数の第６の補正行列が設けられ、補正処理部１８３は、複数の第６の補正行列の中から、測定によって取得されたｙ座標値に、最も近いｙ座標に対応した第６の補正行列を選択し、選択された第６の補正行列を用いた補正演算を実施する。得られる効果は、図１３の例と同様である。
【0156】
次に、図１４を参照する。図１４は、第６の補正行列を複数用意しておき、そのうちの２つを用いて、加重平均（重み付き平均）演算を実施する例を示す図である。
図１４の例では、図１３の例と同様に、光学系の歪とは逆特性の歪みを与える第４、第６の補正行列について最適化を実施する。
図１４の例では、図１３の例と同様に、光学系の歪とは逆特性の歪みを与える第４、第６の補正行列について最適化を実施する。
【0157】
但し、図１４の例では、測定によって取得されたｘ座標に、最も近い座標値に対応する補正行列（これを「直近の補正行列」と称する）と、２番目に近い座標値に対応する補正行列（これを「準直近の補正行列」と称する）と、を用いて、加重平均（重み付き）平均演算を実施することで、撮像対象の検出精度を、さらに向上させる。
【0158】
以下、第４の補正行列を用いた補正処理を実施する場合について説明する。図１４に示されるように、ｘ軸に沿う方向に設定される複数のｘ座標値ｘＳ１～ｘＳｎの各々に対応して、複数の第４の補正行列Ｇ１～Ｇｎが設けられている。
【0159】
補正処理部１８３は、複数の第４の補正行列Ｇ１～Ｇｎの中から、測定によって取得されたｘ座標ｘＳ’に、最も近いｘ座標に対応した、「直近の第４の補正行列Ｇ１」と、２番目に近いｘ座標に対応した、「準直近の第４の補正行列Ｇ２」とを選択する。
そして、図１４（Ｂ）に示すように、測定によって取得されたｘ座標値ｘＳ’と、最も近いｘ座標ｘＳ１との距離を第１の距離Ｌ１とし、また、Ｘ座標ｘＳ’と２番目に近いｘ座標との距離を第２の距離Ｌ２とする。
なお、距離Ｌ１、Ｌ２、Ｌは、例えば、２つのｘ座標の差の絶対値を算出することで求めることができる。
また、Ｌ１／（Ｌ１＋Ｌ２）で表される第１の重み付け係数ｋ１と、Ｌ２／（Ｌ１＋Ｌ２）で表される第２の重み付け係数ｋ２と、を算出する。
そして、図１４（Ｂ）に示すように、測定によって取得されたｘ座標値ｘＳ’と、最も近いｘ座標ｘＳ１との距離を第１の距離Ｌ１とし、また、Ｘ座標ｘＳ’と２番目に近いｘ座標との距離を第２の距離Ｌ２とする。
なお、距離Ｌ１、Ｌ２、Ｌは、例えば、２つのｘ座標の差の絶対値を算出することで求めることができる。
また、Ｌ１／（Ｌ１＋Ｌ２）で表される第１の重み付け係数ｋ１と、Ｌ２／（Ｌ１＋Ｌ２）で表される第２の重み付け係数ｋ２と、を算出する。
【0160】
そして、直近の第４の補正行列、準直近の第４の補正行列、及び、第１、第２の重み付け係数ｋ１、ｋ２を用いた加重平均（重み付き平均）による補正演算を実施する。
【0161】
実質的には、図１４（Ｂ）の右側に示されるような、ＧＳ’＝Ｇ１・ｋ１＋Ｇ２・ｋ２という演算を実施することになる。ここで、ｋ１＝Ｌ１／Ｌ、ｋ２＝Ｌ２／Ｌである。
この結果として得られたＧＳ’は、測定点Ｗ（ｘＳ’、ｚＳ’）のｘ座標値ｘＳ’に対応するように、新たに合成された第４の補正行列である。
このようにして得られた第４の補正行列ＧＳ’を用いることで、補正の精度を高めることができる。
この結果として得られたＧＳ’は、測定点Ｗ（ｘＳ’、ｚＳ’）のｘ座標値ｘＳ’に対応するように、新たに合成された第４の補正行列である。
このようにして得られた第４の補正行列ＧＳ’を用いることで、補正の精度を高めることができる。
【0162】
また、第６の補正行列を用いた補正処理を実施する場合には、同様に、ｙ軸に沿う方向に設定される複数のｙ座標値の各々に対応して、第６の補正行列が複数、設けられており、補正処理部１８３は、複数の第６の補正行列の中から、測定（撮像）によって取得されたｙ座標値に、最も近いｙ座標に対応した、直近の第６の補正行列と、２番目に近いｙ座標に対応した、準直近の第６の補正行列とを選択すると共に、測定によって取得されたｙ座標値と、最も近いｙ座標との距離を第３の距離Ｌ３とし、測定によって取得されたｙ座標値と、２番目に近いｙ座標との距離を第４の距離Ｌ４とする場合に、Ｌ３／（Ｌ３＋Ｌ４）で表される第３の重み付け係数ｋ３と、Ｌ４／（Ｌ３＋Ｌ４）で表される第４の重み付け係数ｋ４と、を算出し、直近の第６の補正行列、準直近の第６の補正行列、及び、第３、第４の重み付け係数ｋ３、ｋ４を用いた加重平均（重み付き平均）による補正演算を実施する。
【0163】
内容的には、第４の補正行列を用いる場合と同様であり、図示は省略する。また、得られる効果も、第４の補正行列を用いる場合と同様である。
【0164】
次に、図１５を参照する。図１５（Ａ）、（Ｂ）は、第１の補正行列による補正演算の後、さらに、第３及び第４の補正行列の少なくとも一方を用いた演算によって得られた座標値を用いて、リサイズ処理を実施する補正処理例を示す図である。
【0165】
図１５の例では、先に図５や図６で示した第１の補正行列と、図１２で示した第３及び第４の補正行列の少なくとも一方と、を併用する新たな補正手法によって、撮像対象（例えば、運転者の目）の検出精度を、さらに向上させる。
ｘ、ｙ、ｚの各座標値についての測定誤差Δｘ、Δｙ、Δｚを問題とする場合には、第１の補正行列（Δｚのみを補正する補正行列）による補正処理では、歪み除去効果が低下する。
ｘ、ｙ、ｚの各座標値についての測定誤差Δｘ、Δｙ、Δｚを問題とする場合には、第１の補正行列（Δｚのみを補正する補正行列）による補正処理では、歪み除去効果が低下する。
【0166】
言い換えれば、第１の補正行列では、図１５（Ａ）に示される、ｚ座標値がｚＳである基準平面７７（便宜上「第１の基準平面７７」と称する）に、測定された座標を射影変換していたが、測定誤差Δｘ、Δｙ、Δｚを問題とする場合は、Δｘ、Δｙ、Δｚを考慮した「新たな基準面（基準平面）」を設定する必要がある。
【0167】
ここで検討すると、図１２で説明した第３の補正行列を用いた補正処理によって得られる「ｚＳ’’’」をｚ座標値とする「第２の基準面（基準平面）」、あるいは、第５の補正行列を用いた補正処理によって得られる「ｚＳ’’’’」をｚ座標値とする「第３の基準面（基準平面）」が、より適切な基準面となり得ると考えられる。
図１５（Ａ）において、第２の基準面（基準平面）は破線で示されると共に、符号８１が付されている。また、第３の基準面（基準平面）は破線で示されると共に、符号８３が付されている。
図１５（Ａ）において、第２の基準面（基準平面）は破線で示されると共に、符号８１が付されている。また、第３の基準面（基準平面）は破線で示されると共に、符号８３が付されている。
【0168】
図１５（Ｂ）に示されるように、測定された座標点Ｗ（ｘＳ’、ｙＳ’、ｚＳ’）は、まず、第１の補正行列を用いて、座標点Ｗ３（ｘＳ’’、ｙＳ’’、ｚＳ）に射影変換される。
次に、リサイズ処理によって、例えば、座標点Ｗ３を、座標点Ｗ４に射影変換したり（図１６（Ｃ）の算出式を参照）、あるいは、座標点Ｗ５に変換したりする（図１６（Ｄ）の算出式を参照）。
また、ｘ座標とｙ座標とを区別し、ｘ座標については、Ｗ３からＷ４への変換を実施し、ｙ座標については、Ｗ３からＷ５への変換を実施する場合もあり得る（図１６（Ｂ）の算出式を参照）。
次に、リサイズ処理によって、例えば、座標点Ｗ３を、座標点Ｗ４に射影変換したり（図１６（Ｃ）の算出式を参照）、あるいは、座標点Ｗ５に変換したりする（図１６（Ｄ）の算出式を参照）。
また、ｘ座標とｙ座標とを区別し、ｘ座標については、Ｗ３からＷ４への変換を実施し、ｙ座標については、Ｗ３からＷ５への変換を実施する場合もあり得る（図１６（Ｂ）の算出式を参照）。
【0169】
次に、図１６を参照する。図１６（Ａ）～（Ｄ）は、リサイズ処理の例を示す図である。図１６（Ａ）に示されるように、上記のようなリサイズ処理は、三角形の相似を利用して表現することができる。
リサイズ処理としては、図１６（Ｂ）、（Ｃ）、（Ｄ）の各々に示される算出式を用いることができる。
リサイズ処理としては、図１６（Ｂ）、（Ｃ）、（Ｄ）の各々に示される算出式を用いることができる。
【0170】
以下、図１６（Ｂ）の算出式を用いる場合について、補正処理の全体の内容を具体的に説明する。
補正処理部１８３は、ｘ、ｙ、ｚの各値に測定誤差を含む、取得された第１の座標（ｘＳ’、ｙＳ’、ｚＳ’）に対して、まず、第１の補正行列を用いた補正処理を実施して、ｘＳ’及びｙＳ’を、第２の座標（ｘＳ’’、ｙＳ’’、ｚＳ（但し、ｚＳは、基準平面の既知のｚ座標値に等しい一定値））における、ｘＳ’’及びｙＳ’’に変換する。
次に、第３の補正行列を用いた補正処理を実施し、その結果として得られるｚ座標値であるｚＳ’’’と、第５の補正行列を用いた補正処理を実施し、その結果として得られるｚ座標値であるｚＳ’’’’と、を用いて、
ｘＳ’’’’’＝ｘＳ’’・ｚＳ’’’/ｚＳ ・・・ 式５－１
ｙＳ’’’’’＝ｙＳ’’・ｚＳ’’’’/ｚＳ ・・・ 式５－２
で表される、上記式５－１、５－２の演算を実施する。
補正処理部１８３は、ｘ、ｙ、ｚの各値に測定誤差を含む、取得された第１の座標（ｘＳ’、ｙＳ’、ｚＳ’）に対して、まず、第１の補正行列を用いた補正処理を実施して、ｘＳ’及びｙＳ’を、第２の座標（ｘＳ’’、ｙＳ’’、ｚＳ（但し、ｚＳは、基準平面の既知のｚ座標値に等しい一定値））における、ｘＳ’’及びｙＳ’’に変換する。
次に、第３の補正行列を用いた補正処理を実施し、その結果として得られるｚ座標値であるｚＳ’’’と、第５の補正行列を用いた補正処理を実施し、その結果として得られるｚ座標値であるｚＳ’’’’と、を用いて、
ｘＳ’’’’’＝ｘＳ’’・ｚＳ’’’/ｚＳ ・・・ 式５－１
ｙＳ’’’’’＝ｙＳ’’・ｚＳ’’’’/ｚＳ ・・・ 式５－２
で表される、上記式５－１、５－２の演算を実施する。
【0171】
続いて、算出されたｘＳ’’’’’及びｙＳ’’’’’に対して、第２の補正行列を用いた、光学系による歪み特性とは逆の歪みを与える処理を実施する。
リサイズ処理において、第１の補正行列による演算で得られた「ｘＳ’’」については、第２の基準面（図１５（Ａ）の符号８１）へと再度、射影変換して、その大きさを拡大あるいは縮小する第１のリサイズ処理が実施される（式５－１参照）。
ここで、第２の基準面８１を選択するのは、第３の補正行列が、ｘ座標値を既知の「ｘＳ」に補正する補正行列であり、その補正演算の結果を利用して設定される第２の基準面８１の方が、ｘ座標のリサイズには適している（より精度の高い補正ができる）と考えられるからである。
リサイズ処理において、第１の補正行列による演算で得られた「ｘＳ’’」については、第２の基準面（図１５（Ａ）の符号８１）へと再度、射影変換して、その大きさを拡大あるいは縮小する第１のリサイズ処理が実施される（式５－１参照）。
ここで、第２の基準面８１を選択するのは、第３の補正行列が、ｘ座標値を既知の「ｘＳ」に補正する補正行列であり、その補正演算の結果を利用して設定される第２の基準面８１の方が、ｘ座標のリサイズには適している（より精度の高い補正ができる）と考えられるからである。
【0172】
一方、第１の補正行列による演算で得られた「ｙＳ’’」については、第３の基準面（図１５（Ａ）の符号８３）へと再度、射影変換して、その大きさを拡大あるいは縮小する第２のリサイズ処理が実施される。
第３の基準面８３を選択するのは、第５の補正行列が、ｙ座標値を既知の「ｙＳ」に補正する補正行列であり、その補正演算の結果を利用して設定される第３の基準面８３の方が、ｙ座標のリサイズには適している（より精度の高い補正ができる）と考えられるからである。
第３の基準面８３を選択するのは、第５の補正行列が、ｙ座標値を既知の「ｙＳ」に補正する補正行列であり、その補正演算の結果を利用して設定される第３の基準面８３の方が、ｙ座標のリサイズには適している（より精度の高い補正ができる）と考えられるからである。
【0173】
この第１、第２のリサイズ処理によって得られたｘ座標値を「ｘＳ’’’’’」とし、ｙ座標値を「ｙＳ’’’’’」とし、ｚ座標値については、「ｚＳ’’」又は「ｚＳ’’’」を採用することで、より本来の座標値に近い、精度の高いｘ、ｙ、ｚの各座標値が得られる。
【0174】
その得られた各座標値について、第２の補正行列を用いた演算を実施し、光学系による歪とは逆の歪みを与えることで、より精度の高い測定座標を取得することができる。
【0175】
次に、図１７（Ｃ）の算出式を用いる場合について説明する。
補正処理部１８３は、ｘ、ｙ、ｚの各値に測定誤差を含む、取得された前記第１の座標（ｘＳ’、ｙＳ’、ｚＳ’）に対して、第１の補正行列を用いた補正処理を実施して、ｘＳ’及びｙＳ’を、第２の座標（ｘＳ’’、ｙＳ’’、ｚＳ（但し、ｚＳは、基準平面（基準面）の既知のｚ座標値に等しい一定値））における、ｘＳ’’及びｙＳ’’に変換する。
次に、第３の補正行列を用いた補正処理を実施し、その結果として得られるｚ座標値であるｚＳ’’’を用いて、
ｘＳ’’’’’＝ｘＳ’’・ｚＳ’’’/ｚＳ ・・・ 式６－１
ｙＳ’’’’’＝ｙＳ’’・ｚＳ’’’/ｚＳ ・・・ 式６－２
で表される、上記式６－１、６－２の演算を実施する。
次に、算出されたｘＳ’’’’’及びｙＳ’’’’’に対して、第２の補正行列を用いた、光学系による歪み特性とは逆の歪みを与える処理を実施する。
式６－１、６－２を用いる場合は、第１の補正行列による演算で得られた「ｘＳ’’」及び「ｙＳ’’」を、共に第２の基準面（図１５（Ａ）の符号８１）へと再度、射影変換して、その大きさを拡大あるいは縮小する第３のリサイズ処理を実施する。
この場合も、式６－１、式６－２を用いる場合と、同様の効果が得られる。また、「ｘＳ’’」及び「ｙＳ’’」の各々について、共通の第２の基準面８１を使用したリサイズ処理を実施するため、リサイズ処理に伴う補正処理部１８３の負担が少いという利点もある。
補正処理部１８３は、ｘ、ｙ、ｚの各値に測定誤差を含む、取得された前記第１の座標（ｘＳ’、ｙＳ’、ｚＳ’）に対して、第１の補正行列を用いた補正処理を実施して、ｘＳ’及びｙＳ’を、第２の座標（ｘＳ’’、ｙＳ’’、ｚＳ（但し、ｚＳは、基準平面（基準面）の既知のｚ座標値に等しい一定値））における、ｘＳ’’及びｙＳ’’に変換する。
次に、第３の補正行列を用いた補正処理を実施し、その結果として得られるｚ座標値であるｚＳ’’’を用いて、
ｘＳ’’’’’＝ｘＳ’’・ｚＳ’’’/ｚＳ ・・・ 式６－１
ｙＳ’’’’’＝ｙＳ’’・ｚＳ’’’/ｚＳ ・・・ 式６－２
で表される、上記式６－１、６－２の演算を実施する。
次に、算出されたｘＳ’’’’’及びｙＳ’’’’’に対して、第２の補正行列を用いた、光学系による歪み特性とは逆の歪みを与える処理を実施する。
式６－１、６－２を用いる場合は、第１の補正行列による演算で得られた「ｘＳ’’」及び「ｙＳ’’」を、共に第２の基準面（図１５（Ａ）の符号８１）へと再度、射影変換して、その大きさを拡大あるいは縮小する第３のリサイズ処理を実施する。
この場合も、式６－１、式６－２を用いる場合と、同様の効果が得られる。また、「ｘＳ’’」及び「ｙＳ’’」の各々について、共通の第２の基準面８１を使用したリサイズ処理を実施するため、リサイズ処理に伴う補正処理部１８３の負担が少いという利点もある。
【0176】
次に、図１７（Ｄ）の算出式を用いる場合について説明する。
補正処理部１８３は、ｘ、ｙ、ｚの各値に測定誤差を含む、取得された第１の座標（ｘＳ’、ｙＳ’、ｚＳ’）に対して、第１の補正行列を用いた補正処理を実施して、ｘＳ’及びｙＳ’を、第２の座標（ｘＳ’’、ｙＳ’’、ｚＳ（但し、ｚＳは、基準平面(基準面)の既知のｚ座標値に等しい一定値））における、ｘＳ’’及びｙＳ’’に変換する。
次に、第５の補正行列を用いた補正処理を実施し、その結果として得られるｚ座標値である前記ｚＳ’’’’を用いて、
ｘＳ’’’’’＝ｘＳ’’・ｚＳ’’’’/ｚＳ ・・・ 式７－１
ｙＳ’’’’’＝ｙＳ’’・ｚＳ’’’’/ｚＳ ・・・ 式７－２
で表される、上記式７－１、７－２の演算を実施する。
次に、算出されたｘＳ’’’’’及びｙＳ’’’’’に対して、第２の補正行列を用いた、光学系による歪み特性とは逆の歪みを与える処理を実施する。
式７－１、式７－２を用いる場合は、第１の補正行列による演算で得られた「ｘＳ’’」及び「ｙＳ’’」を、共に第３の基準面（図１５（Ａ）の符号８３）へと再度、射影変換して、その大きさを拡大あるいは縮小する第４のリサイズ処理を実施する。
得られる効果は、先に示した例と同様である。また、「ｘＳ’’」及び「ｙＳ’’」の各々について、共通の第３の基準面８３を使用したリサイズ処理を実施するため、リサイズ処理に伴う補正処理部１８３の負担が少いという利点もある。
補正処理部１８３は、ｘ、ｙ、ｚの各値に測定誤差を含む、取得された第１の座標（ｘＳ’、ｙＳ’、ｚＳ’）に対して、第１の補正行列を用いた補正処理を実施して、ｘＳ’及びｙＳ’を、第２の座標（ｘＳ’’、ｙＳ’’、ｚＳ（但し、ｚＳは、基準平面(基準面)の既知のｚ座標値に等しい一定値））における、ｘＳ’’及びｙＳ’’に変換する。
次に、第５の補正行列を用いた補正処理を実施し、その結果として得られるｚ座標値である前記ｚＳ’’’’を用いて、
ｘＳ’’’’’＝ｘＳ’’・ｚＳ’’’’/ｚＳ ・・・ 式７－１
ｙＳ’’’’’＝ｙＳ’’・ｚＳ’’’’/ｚＳ ・・・ 式７－２
で表される、上記式７－１、７－２の演算を実施する。
次に、算出されたｘＳ’’’’’及びｙＳ’’’’’に対して、第２の補正行列を用いた、光学系による歪み特性とは逆の歪みを与える処理を実施する。
式７－１、式７－２を用いる場合は、第１の補正行列による演算で得られた「ｘＳ’’」及び「ｙＳ’’」を、共に第３の基準面（図１５（Ａ）の符号８３）へと再度、射影変換して、その大きさを拡大あるいは縮小する第４のリサイズ処理を実施する。
得られる効果は、先に示した例と同様である。また、「ｘＳ’’」及び「ｙＳ’’」の各々について、共通の第３の基準面８３を使用したリサイズ処理を実施するため、リサイズ処理に伴う補正処理部１８３の負担が少いという利点もある。
【0177】
【0178】
図１７において、破線で示される基準平面は、測定によって取得された測定点Ｗ（ｘＳ’、ｚＳ’）に基づいて構築された基準平面である。格子の形状は、かなり歪んでいるのがわかる。
【0179】
ここで、測定点Ｗを、第１の補正行列を用いて、一旦、第１の基準平面：ｚ＝ｚＳ）上の座標点Ｗ３に射影変換する。
次に、図１６（Ｂ）で示した式５－１、５－２を用いたリサイズ処理によって、座標点Ｗ３を、座標点Ｗ４（ｘＳ’’’’’、ｚＳ’’’）に射影変換する。
この座標点Ｗ４に基づいて基準平面を構築すると、図１７において、実線で示されるような基準平面（基準面）が構築される。
構築された基準面は、先に図１に示した実空間に設定される基準面（基準平面）５２とほぼ同じであり、各格子の形状の歪みも少ない。
次に、図１６（Ｂ）で示した式５－１、５－２を用いたリサイズ処理によって、座標点Ｗ３を、座標点Ｗ４（ｘＳ’’’’’、ｚＳ’’’）に射影変換する。
この座標点Ｗ４に基づいて基準平面を構築すると、図１７において、実線で示されるような基準平面（基準面）が構築される。
構築された基準面は、先に図１に示した実空間に設定される基準面（基準平面）５２とほぼ同じであり、各格子の形状の歪みも少ない。
【0180】
このように、本発明は、測定（撮像）によって取得された測定点のｘ、ｙ、ｚの各座標値に測定誤差が含まれる場合においても、各誤差を修正して、例えば、格子形状を正常な形状に戻すことができる。よって、撮像対象（例えば、運転者の目）の検出精度を向上させることができる。
例えば、運転者がサングラスをかけている場合等であっても、本発明によれば、運転者の目を精度よく検出できる。
例えば、運転者がサングラスをかけている場合等であっても、本発明によれば、運転者の目を精度よく検出できる。
【0181】
本発明は、上記の実施形態に限定されることなく、種々、変形可能である。例えば、撮影に使用する波長帯は近赤外ではなく、短波赤外でもよい。
また、近赤外光源は、その近赤外光源を制御する制御部によって、撮像対象（人の目等）を撮像するカメラのシャッタータイミングに同期して点灯するように制御されるのが好ましい。
また、近赤外光源は、その近赤外光源を制御する制御部によって、撮像対象（人の目等）を撮像するカメラのシャッタータイミングに同期して点灯するように制御されるのが好ましい。
【符号の説明】
【0182】
１・・・車両（自車両）、２・・・ウインドシールド、４・・・コンバイナ（好ましくは赤外線反射特性、及び可視光の半透過半反射特性を有する）、５・・・視認者（人、運転者等）、８…ステアリングホイール、６・・・インナーパネル、５０・・・照明部（赤外線光源、赤外線光源部）、５２・・・基準平面（基準面）、５４・・・光学部材、５５・・・光学系、１００・・・ＨＵＤ装置、１０２・・・ハウジング（筐体）、１０４・・・表示装置、１０６・・・表示器（表示パネル等）、１１０・・・平面ミラー（波長選択性をもつフィルタ、あるいはビームスプリッタとしての機能を備える）、１１２・・・曲面ミラー（凹面鏡等）、１１６・・・窓部（透明窓）、１０８・・・カメラ（赤外線カメラ、３Ｄカメラ）、１６０・・・撮像画像データ補正装置、１８３・・・補正処理部、１８５・・・記憶装置（メモリ）、１９０・・・撮像画像データ補正システム、Ｐ・・・補正用基準点、Ｑ・・・カメラの撮像点（カメラ視点）、Ｍ１・・・第１の補正行列（座標補正行列、第１の射影変換行列）、Ｍ２・・・第２の補正行列（光学系による歪み除去行列、第２の射影変換行列）、７７・・・第１の基準平面（基準面）、８１・・・第２の基準面（基準平面）、８３・・・第３の基準面（基準平面）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】