特許 7342024 撮影装置、制御方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-01

(45)【発行日】2023-09-11

(54)【発明の名称】撮影装置、制御方法、及び、プログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20230904BHJP

   B60R 1/24 20220101ALI20230904BHJP

   G03B 15/00 20210101ALI20230904BHJP

   H04N 7/18 20060101ALI20230904BHJP

   H04N 23/63 20230101ALI20230904BHJP

   H04N 25/44 20230101ALI20230904BHJP

【ＦＩ】

H04N23/60

B60R1/24

G03B15/00 V

H04N7/18 J

H04N23/60 500

H04N23/63

H04N25/44

【請求項の数】 20

(21)【出願番号】P 2020553781

(86)(22)【出願日】2019-10-18

(86)【国際出願番号】 JP2019041037

(87)【国際公開番号】W WO2020090512

(87)【国際公開日】2020-05-07

【審査請求日】2022-09-01

(31)【優先権主張番号】P 2018204836

(32)【優先日】2018-10-31

(33)【優先権主張国・地域又は機関】JP

(31)【優先権主張番号】P 2019039216

(32)【優先日】2019-03-05

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(73)【特許権者】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【識別番号】100082131

【弁理士】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】山中 剛

(72)【発明者】

【氏名】湯川 泰宏

(72)【発明者】

【氏名】山口 卓也

【審査官】佐藤 直樹

(56)【参考文献】

【文献】国際公開第２０１７／１８７８１１（ＷＯ，Ａ１）

【文献】特開２０１８－０１２４３９（ＪＰ，Ａ）

【文献】特開２００６－２５４３１８（ＪＰ，Ａ）

【文献】国際公開第２０１８／０１２２９９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｂ６０Ｒ １／２４

Ｇ０３Ｂ １５／００

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２３／６３

Ｈ０４Ｎ ２５／４４

(57)【特許請求の範囲】

【請求項1】

車両の第１の表示部に表示される第１の画像と第２の表示部に表示される第２の画像を撮影するイメージセンサと、
前記車両で取得される車両情報に基づいて、前記イメージセンサからの前記第１の画像と前記第２の画像の読み出しを制御する制御部と
を備える撮影装置。

【請求項2】

前記車両情報を用いて、前記車両の傾き情報を検出する検出部をさらに備え、
前記制御部は前記傾き情報に応じて、前記イメージセンサからの前記第１の画像と前記第２の画像の読出しを制御する
請求項１に記載の撮影装置。

【請求項3】

前記検出部は、前記車両の前側及び後ろ側への傾きを表す前記傾き情報を検出する
請求項２に記載の撮影装置。

【請求項4】

前記検出部は、前記車両の左側及び右側への傾きを表す前記傾き情報を検出する
請求項２に記載の撮影装置。

【請求項5】

前記検出部は、前記車両の前側及び後ろ側への傾きと、前記車両の左側及び右側への傾きとを表す前記傾き情報を検出する
請求項２に記載の撮影装置。

【請求項6】

前記制御部は、前記イメージセンサにおいて前記第１の画像と前記第２の画像がそれぞれ読み出される読み出し位置を制御する
請求項１に記載の撮影装置。

【請求項7】

前記読み出し位置は、前記イメージセンサにおいて前記第１の画像と前記第２の画像のそれぞれの読み出しが開始される読み出し開始位置と、前記イメージセンサにおいて読み出される前記第１の画像と前記第２の画像のそれぞれのサイズとで指定される
請求項６に記載の撮影装置。

【請求項8】

前記制御部は、前記表示部に表示される画像に写る路面の比率が所定の比率に維持されるように、前記イメージセンサからの前記第１の画像と前記第２の画像の読み出しを制御する
請求項１に記載の撮影装置。

【請求項9】

前記イメージセンサから読み出された前記第１の画像と前記第２の画像の回転、及び、回転後の画像からの、前記表示部に表示する前記第１の画像と前記第２の画像の切り出しを行う加工部をさらに備える
請求項１に記載の撮影装置。

【請求項10】

前記制御部は、前記第１の画像と前記第２の画像の回転を制御する
請求項９に記載の撮影装置。

【請求項11】

前記制御部は、前記車両の傾き情報に応じて、前記画像の回転の回転角度を算出し、その回転角度だけ、前記第１の画像と前記第２の画像を回転させるように、前記第１の画像と前記第２の画像の回転を制御する
請求項１０に記載の撮影装置。

【請求項12】

前記車両情報は、前記車両が有するジャイロから得られるジャイロ情報、前記車両のサスペンションに関するサスペンション情報、前記車両の前方を撮影するフロントカメラから得られるフロントカメラ画像、及び、GPSから得られるGPS情報のうちの１以上である
請求項１に記載の撮影装置。

【請求項13】

前記第１の表示部は、クラスIミラーの代替となる表示部である
請求項１に記載の撮影装置。

【請求項14】

車両で取得される車両情報に基づいて、前記車両の第１の表示部に表示される第１の画像と第２の表示部に表示される第２の画像を撮影するイメージセンサからの前記第１の画像と前記第２の画像の読み出しを制御する制御ステップを備える
制御方法。

【請求項15】

車両で取得される車両情報に基づいて、前記車両の第１の表示部に表示される第１の画像と第２の表示部に表示される第２の画像を撮影するイメージセンサからの前記第１の画像と前記第２の画像の読み出しを制御する制御部
として、コンピュータを機能させるためのプログラム。

【請求項16】

前記車両情報を用いて、前記車両の傾き情報を検出する検出ステップをさらに備え、
前記イメージセンサからの前記第１の画像と前記第２の画像の読出しの制御は前記傾き情報に応じてなされる
ことを特徴とする請求項１４に記載の制御方法。

【請求項17】

前記車両情報を用いて、前記車両の傾き情報を検出する検出部として、さらにコンピュータを機能させるプログラムであり、
前記イメージセンサからの前記第１の画像と前記第２の画像の読出しの制御は前記傾き情報に応じてなされる
ことを特徴とする請求項１５に記載のプログラム。

【請求項18】

前記車両情報は、前記車両の速度情報とギア情報の少なくとも一つを含む
請求項１に記載の撮影装置。

【請求項19】

前記車両情報は、前記車両の速度情報とギア情報の少なくとも一つを含む
請求項１４に記載の制御方法。

【請求項20】

前記車両情報は、前記車両の速度情報とギア情報の少なくとも一つを含む
請求項１５に記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、撮影装置、制御方法、及び、プログラムに関し、特に、例えば、車両の運転に適切な画像を容易に提供することができるようにする撮影装置、制御方法、及び、プログラムに関する。

【背景技術】

【0002】

例えば、自動車等の車両については、車両の後部に、撮影装置としてのカメラを設置し、そのカメラで撮影された車両の後方が写る画像を表示するビューイングシステムが提案されている。

【0003】

ビューイングシステムが提供する、車両の後方が写る画像としては、車両の後部の直後より後方が写る画像や、車両の後部の直後が写る画像がある。

【0004】

ここで、車両の後部の直後より後方が写る画像は、例えば、いわゆる室内バックミラー（ルームミラー）と呼ばれるクラスIミラーに写る画像に相当する画像であり、以下、BM(Back Mirror)画像ともいう。また、車両の後部の直後が写る画像は、車両の後部とその直後とが写る画像であり、以下、RV(Rear View)画像ともいう。

【0005】

車両が坂道にさしかかった場合、その他、凹凸がある路面を走行している場合、車両は傾く。また、車両に積載する荷物や、車両の搭乗者の状態によっても、車両は傾くことがある。

【0006】

車両が傾くと、車両に設置されているカメラも傾き、これにより、BM画像に写る空や道路等の比率（割合）が、車両が傾いていない場合の状態から変化する。

【0007】

車両が傾いていない場合に、車両の運転に適切なBM画像が表示されるように、ビューイングシステムが調整されているときには、車両の傾きに起因して、BM画像に写る空や道路等の比率が変化すると、車両の運転に適切なBM画像が表示されなくなることがある。

【0008】

例えば、車両が平坦な路面を走行している場合には、車両の後方から接近してくる他の車両や、車両の後方にある障害物等を運転者が十分に認識することができるBM画像が表示されていたが、車両が傾くと、BM画像において、そのような他の車両や障害物を運転者が認識するのに必要な情報が少なくなることがある。

【0009】

そこで、例えば、坂道走行時に、カメラで撮影した撮影画像を後段の記憶装置に記憶させ、記憶装置に記憶された撮影画像から、必要な画像を切り出す技術が提案されている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0010】

【文献】特許第6245274号

【発明の概要】

【発明が解決しようとする課題】

【0011】

記憶装置に記憶された撮影画像から、必要な画像を切り出す場合には、必要な画像のサイズ（画素数）を大きく超えるサイズの撮影画像を、カメラから読み出す必要がある。カメラから読み出す撮影画像のサイズが大きいことは、フレームレートの低下の原因となる。

【0012】

また、カメラの後段の記憶装置に記憶された撮影画像から必要な画像を切り出す技術以外にも、車両の運転に適切な画像を容易に提供することができる技術の提案が要請されている。

【0013】

本技術は、このような状況に鑑みてなされたものであり、車両の運転に適切な画像を容易に提供することができるようにするものである。

【課題を解決するための手段】

【0014】

本技術の撮影装置は、車両の第１の表示部に表示される第１の画像と第２の表示部に表示される第２の画像を撮影するイメージセンサと、前記車両で取得される車両情報に基づいて、前記イメージセンサからの前記第１の画像と前記第２の画像の読み出しを制御する制御部とを備える撮影装置である。

【0015】

本技術の制御方法、または、プログラムは、車両で取得される車両情報に基づいて、前記車両の第１の表示部に表示される第１の画像と第２の表示部に表示される第２の画像を撮影するイメージセンサからの前記第１の画像と前記第２の画像の読み出しを制御する制御ステップを備える制御方法、又は、そのような制御を行う制御部として、コンピュータを機能させるためのプログラムである。

【0016】

本技術の撮影装置、制御方法、及び、プログラムにおいては、車両で取得される車両情報に基づいて、前記車両の第１の表示部に表示される第１の画像と第２の表示部に表示される第２の画像を撮影するイメージセンサからの前記第１の画像と前記第２の画像の読み出しが制御される。

【0017】

なお、撮影装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

【0018】

また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

【図面の簡単な説明】

【0019】

【図1】本技術を適用したビューイングシステムが搭載された車両１０の外観構成例を示す斜視図である。

【図2】車両１０の車内の構成例を示す斜視図である。

【図3】車両１０に搭載されたビューイングシステムの第１の構成例を示すブロック図である。

【図4】制御部４３による、撮影画像からの読み出し画像としてのBM画像及びRV画像の読み出し制御の例を説明する図である。

【図5】車両１０の状態とBM画像との関係の第１の例を説明する図である。

【図6】制御部４３による傾き情報に応じた読み出し画像の読み出し制御の例を説明する図である。

【図7】イメージセンサ３２の構成例を示す図である。

【図8】ビューイングシステムの第１の構成例が行うBM画像及を表示する表示処理の例を説明するフローチャートである。

【図9】車両１０に搭載されたビューイングシステムの第２の構成例を示すブロック図である。

【図10】車両１０の状態とBM画像との関係の第２の例を説明する図である。

【図11】制御部７１による傾き情報に応じた読み出し画像の読み出し制御の例を説明する図である。

【図12】制御部７１による傾き情報に応じた読み出し画像の読み出し制御の例をさらに説明する図である。

【図13】ビューイングシステムの第２の構成例が行うBM画像及を表示する表示処理の例を説明するフローチャートである。

【図14】車両１０に搭載されたビューイングシステムの第３の構成例を示すブロック図である。

【図15】制御部７１による傾き情報に応じた読み出し画像の読み出し制御の例を説明する図である。

【図16】ビューイングシステムの第３の構成例が行うBM画像及を表示する表示処理の例を説明するフローチャートである。

【図17】車両１０に搭載されたビューイングシステムの第４の構成例を示すブロック図である。

【図18】イメージセンサ３２から出力することができる画像の例を説明する図である。

【図19】車両１０でデータ伝送に使用することができる車両伝送帯域の例を説明する図である。

【図20】制御部１３６によるBM画像及びRV画像のデータ量の調整制御の第１の例を説明する図である。

【図21】制御部１３６によるBM画像及びRV画像のデータ量の調整制御の第２の例を説明する図である。

【図22】ビューイングシステムが行うBM画像及びRV画像を表示する表示処理の例を説明するフローチャートである。

【図23】車両１０に搭載されたビューイングシステムの第５の構成例を示すブロック図である。

【図24】制御部１８１による、撮影画像からのBM画像及びRV画像の抽出制御の例を説明する図である。

【図25】ビューイングシステムが行うBM画像及びRV画像を表示する表示処理の例を説明するフローチャートである。

【図26】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

【発明を実施するための形態】

【0020】

＜ビューイングシステムを搭載した車両の構成例＞

【0021】

図１は、本技術を適用したビューイングシステムが搭載された車両１０の外観構成例を示す斜視図である。

【0022】

例えば、（四輪）自動車である車両１０には、後部に、車両１０の後方を撮影する撮影装置としての１台のカメラユニット１１が設置されている。図１では、カメラユニット１１は、車両１０のリアガラスの上部に設置されている。

【0023】

カメラユニット１１は、BM画像となる範囲と、RV画像となる範囲との両方が写る画像を一つの画像として撮影することができるように、広角（例えば、画角が120度以上）のカメラユニットになっている。さらに、カメラユニット１１は、BM画像において、遠方の被写体が明確に写るように、高解像度（例えば、解像度が4K以上）のカメラユニットになっている。したがって、カメラユニット１１は、広角かつ高解像度の画像を撮影することができる。

【0024】

なお、カメラユニット１１では、後述するように、カメラユニット１１において撮影される画像（以下、撮影画像ともいう）から、BM画像及びRV画像が抽出される。

【0025】

BM画像には、車両１０に室内バックミラー（ルームミラー。国際連合欧州経済委員会〈UN/ECE〉が定めるRegulation No.46におけるクラスIミラー）が設置されていたならば、その室内バックミラーで観察することができる、車両１０の後部の直後より後方の様子の画像が含まれるように、かつ、RV画像には、車両１０の後部とその（後部の）直後の様子の画像が含まれて写るように、カメラユニット１１は、光軸の向きが調整されて設置される。

【0026】

したがって、BM画像は、車両１０に室内バックミラーが設置されていたならば、その室内バックミラーで観察することができる、車両１０の後部の直後より後方の様子が写る画像である。また、RV画像は、車両１０の後部とその直後の様子とが写る画像である。RV画像には、室内バックミラーでは死角となる車両１０の後部の直後が写るので、RV画像は、車両１０の後進時に、特に有用である。また、RV画像は、車両１０を上部から見たような俯瞰画像の生成に用いることができる。

【0027】

なお、上述のようなBM画像及びRV画像を抽出することができる撮影画像を撮影することができれば、カメラユニット１１を設置する位置は、車両１０のリアガラスの上部に限定されるものではない。例えば、カメラユニット１１は、車両１０のリアガラスの上部の他、車両１０の後部のナンバープレートの上部の位置P11等に設置することができる。

【0028】

図２は、図１の車両１０の車内の構成例を示す斜視図である。

【0029】

車両１０の車内の室内バックミラーが設置される位置には、BM画像を表示するBM表示部２１が設けられている。BM表示部２１は、室内バックミラーの代替となる表示部である。

【0030】

車両１０の車内のダッシュボードの中央の位置には、RV画像を表示するRV表示部２２が設けられている。

【0031】

なお、車両１０の車内のダッシュボードの運転席側には、運転者を撮影する車内カメラ２３が設けられている。車内カメラ２３では、運転者を撮影し、その運転者が写る画像が出力される。車両１０では、運転者が写る画像から、運転者の視線や頭部の位置が検出される。

【0032】

ここで、運転者を撮影する車内カメラ２３は、ダッシュボード以外の任意の位置、例えば、BM表示部２１の上部の位置P21等に設けることができる。

【0033】

＜ビューイングシステムの第１の構成例＞

【0034】

図３は、車両１０に搭載されたビューイングシステムの第１の構成例を示すブロック図である。

【0035】

ビューイングシステムは、図１及び図２で説明したカメラユニット１１、BM表示部２１、及び、RV表示部２２を有する。

【0036】

カメラユニット１１は、光学系３１、イメージセンサ３２、出力部３３、取得部４１、検出部４２、及び、制御部４３を有する。

【0037】

光学系３１は、集光レンズや絞り等の光学部品で構成され、光学系３１に入射する光を、イメージセンサ３２に集光させる。

【0038】

イメージセンサ３２は、光学系３１からの光を受光し、光電変換を行うことで、BM画像やRV画像となる画像を含む撮影画像を撮影する。そして、イメージセンサ３２は、制御部４３の制御に従い、撮影画像から、BM画像及びRV画像（となる画像）を読み出して出力する。ここで、イメージセンサ３２が撮影画像から読み出して出力する画像を読み出し画像ともいう。イメージセンサ３２が出力する読み出し画像は、出力部３３に供給される。

【0039】

出力部３３は、イメージセンサ３２からの読み出し画像としてのBM画像及びRV画像を、カメラユニット１１の外部に伝送する出力IF(Interface)であり、BM画像を、BM表示部２１に伝送するとともに、RV画像を、RV表示部２２に伝送する。BM表示部２１では、出力部３３からのBM画像が、BM表示部２１の仕様に従って表示され、RV表示部２２では、出力部３３からのRV画像が、RV表示部２２の仕様に従って表示される。出力部３３は、BM画像及びRV画像のフォーマット変換その他の画像処理を、必要に応じて行うことができる。

【0040】

取得部４１は、車両１０で取得される車両情報を、車両１０から、車両１０に構築されたネットワーク（車両情報ネットワーク）を介して取得（受信）し、検出部４２に供給する。

【0041】

ここで、車両情報とは、例えば、車両１０が有するジャイロから得られるジャイロ情報、車両１０のサスペンションに関するサスペンション情報、車両１０の前方を撮影するフロントカメラから得られるフロントカメラ画像、及び、GPS(Global Positioning System)から得られるGPS情報、車両１０の車速や走行方向（前進又は後進）等の走行状態を表す走行情報、車内カメラ２３で撮影された画像から求められる車両１０の運転者の視線及び頭部の位置、車両１０が有するナビゲーションシステムで使用される3D(Dimension)マップ、ADAS（Advanced Driving Assist System）/ 自動運転システムで使用される高精細度マップ等の、車両１０で取得することができるあらゆる情報を含む。車速としては、例えば、車両１０が速度センサを搭載している場合には、その速度センサが出力する速度情報を採用することができる。走行方向としては、例えば、トランスミッションの状態を表すギア情報を採用することができる。

【0042】

取得部４１は、必要に応じて１以上の車両情報を取得し、検出部４２に供給する。

【0043】

ビューイングシステムの第１の構成例では、取得部４１は、車両情報としての、例えば、ジャイロ情報、又は、GPS情報及び3Dマップ（高精細度マップ）を取得し、検出部４２に供給する。

【0044】

検出部４２は、取得部４１からの車両情報を用いて、車両１０の傾きを表す傾き情報を検出（算出）し、制御部４３に供給する。

【0045】

制御部４３は、車両情報に基づいて、イメージセンサ３２からの読み出し画像の読み出しを制御する。

【0046】

例えば、制御部４３は、検出部４２が車両情報から検出する傾き情報に応じて、イメージセンサ３２からの読み出し画像の読み出しを制御する。

【0047】

すなわち、制御部４３は、検出部４２から供給される傾き情報に応じて、イメージセンサ３２で撮影された撮影画像から、読み出し画像として読み出しが開始される画像の読み出し開始位置を算出するとともに、読み出し画像のサイズ（画素数）を設定し、その読み出し開始位置とサイズとで指定される読み出し位置を、イメージセンサ３２に供給することで、イメージセンサ３２からの読み出し画像の読み出しを制御する読み出し制御を行う。

【0048】

イメージセンサ３２は、制御部４３からの読み出し位置の画素の画素信号を読み出し、その画素信号を画素値とする読み出し画像を出力する。

【0049】

なお、読み出し位置は、読み出し開始位置とサイズとで指定する他、例えば、読み出し開始位置と、読み出し画像の読み出しを終了する読み出し終了位置とで指定することができる。

【0050】

ここで、ビューイングシステムの第１の構成例では、イメージセンサ３２が出力する読み出し画像は、BM表示部２１で表示されるBM画像や、RV表示部２２で表示されるRV画像に一致する。したがって、ビューイングシステムの第１の構成例では、読み出し画像のサイズとしては、BM表示部２１で表示されるBM画像や、RV表示部２２で表示されるRV画像が設定される。

【0051】

＜撮影画像からの読み出し画像の読み出し制御＞

【0052】

図４は、制御部４３による、撮影画像からの読み出し画像としてのBM画像及びRV画像の読み出し制御の例を説明する図である。

【0053】

光学系３１と、イメージセンサ３２が撮影する撮影画像とは、例えば、図４に示すように、撮影画像（イメージセンサ３２の受光面）が光学系３１（を構成するレンズ）のイメージサークルを包含するような位置関係になっている。

【0054】

制御部４３は、読み出し制御において、撮影画像から、車両１０の後部の直後より後方が写る所定の領域（車両１０に室内バックミラーが設置されていたならば、その室内バックミラーで観察される領域）R11を、BM画像として抽出するように、イメージセンサ３２からの画素信号の読み出しを制御する。つまり、表示デバイスや、画像表示機能の種類（／アプリケーション）に応じて、イメージセンサ３２からの画素信号の読出しを制御する。

【0055】

さらに、制御部４３は、読み出し制御において、読み出し画像の読み出し位置を、イメージセンサ３２に供給することにより、撮影画像（のうちのイメージサークル内の画像）から、車両１０の後部と、その直後とが写る所定の領域R12を、RV画像として抽出するように、イメージセンサ３２からの画素信号の読み出しを制御する。

【0056】

イメージセンサ３２は、制御部４３の制御に従い、撮影により得られた撮影画像から、BM画像（の画素値）となる領域R11の画素信号を読み出し、その画素信号を画素値とする読み出し画像を出力するとともに、RV画像となる領域R12の画素信号を読み出し、その画素信号を画素値とする読み出し画像を出力する。

【0057】

領域R11及びR12は、制御部４３からイメージセンサ３２に供給される読み出し画像の読み出し位置によって指定される。

【0058】

なお、制御部４３は、読み出し画像としてのBM画像の読み出し制御において、車両情報に含まれる運転者の視線及び頭部の位置等にも応じて、BM画像として抽出する領域R11を指定する読み出し位置を算出することができる。

【0059】

すなわち、仮に、車両１０に、バックミラーが設置されていたならば、運転者が視線や頭部を移動すると、バックミラーによって運転者が見ることができる画像に写る範囲が変化する。車両１０にバックミラーが設置されている場合に観察することができる画像と同様の範囲が写るBM画像を、運転者が見ることができるように、制御部４３は、読み出し画像としてのBM画像の読み出し制御において、運転者の視線や頭部の位置にも応じて、BM画像として抽出する領域R11を指定する読み出し位置を算出することができる。

【0060】

以下では、説明を簡単にするため、RV画像については、説明を省略する。

【0061】

＜車両１０の状態とBM画像との関係＞

【0062】

図５は、車両１０の状態とBM画像との関係の第１の例を説明する図である。
図５（A1)は車両１０が平坦な路面を走行している場合の車両１０の状態を示す図である。また、図5（A2）は、車両１０が平坦な路面を走行している場合のBM画像例である。
図５（B1)は車両１０が下り坂に差しかかった場合の車両１０の状態を示す図である。また、図5（B2）は、車両１０が下り坂に差しかかった場合のBM画像例である。
図５（C1)は車両１０が上り坂に差しかかった場合の車両１０の状態を示す図である。また、図5（C2）は、車両１０が上り坂に差しかかった場合のBM画像例である。

【0063】

いま、BM画像に写る３次元空間の範囲を、BM範囲ということとする。また、以下では、説明を簡単にするため、運転者の視線及び頭部の位置は固定されているとする。したがって、撮影画像からBM画像として抽出される領域R11（の位置）、ひいては、BM範囲に関して、運転者が視線や頭部の位置を動かすことに起因する変化はないこととする。

【0064】

さらに、制御部４３において、車両１０が平坦な路面に位置している場合（車両１０が傾いていない場合）に、図５に示すように、車両１０から所定の距離だけ後方に位置する後方車両が、ほぼ画面中央に写るBM画像が抽出されるように、読み出し制御、すなわち、読み出し位置（読み出し開始位置及びサイズ）の算出が行われることとする。

【0065】

この場合、車両１０が下り坂にさしかかると、車両１０がピッチ方向としての前側に傾き、車両１０の後部に設置されたカメラユニット１１の光軸、ひいては、BM範囲が、車両１０が平坦な路面に位置している場合よりも上側（空側）に傾く（図５（B1）,図５（B2））。

【0066】

その結果、車両１０が平坦な路面に位置している状態（平坦な路面を走行している場合）ではBM画像のほぼ画面中央に車両１０から所定の距離だけ後方にある後方車両が写るようなカメラ設定の場合、車両１０が下り坂にさしかかった状態では、車両１０から所定の距離だけ後方にある後方車両が、画面下方に写るBM画像が得られる。このBM画像は、図５に示すように、車両１０が平坦な路面に位置している状態のBM画像に比較して、空（が写る領域）の比率が大きく、かつ、道路の比率が小さい画像となる。

【0067】

したがって、車両１０が下り坂にさしかかった場合のBM画像では、車両１０が平坦な路面に位置している場合のBM画像と比較して、情報量が変化する。すなわち、例えば、車両１０が下り坂にさしかかった場合のBM画像では、車両１０が平坦な路面に位置している場合のBM画像と比較して、道路に関する情報量が減少する。また、車両10と後方車両の相対位置や、下り坂の傾きの状態によっては、後方車両の一部が写らなかったり、後方車両自体が写らないことが起こることがある。

【0068】

一方、車両１０が上り坂にさしかかると、車両１０がピッチ方向としての後ろ側に傾き、車両１０の後部に設置されたカメラユニット１１の光軸、ひいては、BM範囲が、車両１０が平坦な路面に位置している場合よりも下側（道路側）に傾く（図５(C1)、図５（C2））。

【0069】

その結果、車両１０が平坦な路面に位置している状態ではBM画像のほぼ画面中央に車両１０から所定の距離だけ後方にある後方車両が写るようなカメラ設定の場合、車両１０が上り坂にさしかかった状態では、車両１０から所定の距離だけ後方にある後方車両が、画面上方に写るBM画像が得られる。このBM画像は、図５に示すように、車両１０が平坦な路面に位置している場合のBM画像に比較して、空（が写る領域）の比率が小さく、かつ、道路の比率が大きい画像となる。

【0070】

したがって、車両１０が上り坂にさしかかった場合のBM画像では、車両１０が平坦な路面に位置している場合のBM画像と比較して、情報量が変化する。すなわち、例えば、車両１０が上り坂にさしかかった場合のBM画像では、車両１０が平坦な路面に位置している場合のBM画像と比較して、空の比率が小さくなるので、空に関する情報量が減少する。また、車両10と後方車両の相対位置や、上り坂の傾きの状態によっては、後方車両の一部が写らなかったり、後方車両自体が写らないことが起こることがある。

【0071】

以上のように、車両１０が下り坂や上り坂にさしかかった場合のBM画像において、車両１０が平坦な路面に位置している場合のBM画像から情報量が変化することは、車両１０の運転者に、車両１０の運転に適切なBM画像を提供する観点からは、好ましくない。

【0072】

そこで、制御部４３は、BM画像の読み出し制御において、検出部４２からの傾き情報に応じて、イメージセンサ３２からの読み出し画像としてのBM画像の読み出しを制御することで、車両１０の状態にかかわらず、車両１０が平坦な路面に位置している場合のBM画像と同様の情報量のBM画像が得られるようにする。

【0073】

＜制御部４３による傾き情報に応じた読み出し画像の読み出し制御＞

【0074】

図６は、制御部４３による傾き情報に応じた読み出し画像の読み出し制御の例を説明する図である。

【0075】

いま、車両１０が平坦な路面に位置している場合に、制御部４３において、イメージセンサ３２が撮影する撮影画像（イメージセンサ３２の受光面）から、矩形の領域R101（の画素の画素信号）が読み出されるように、読み出し制御が行われることとする。領域R101のサイズは、読み出し画像としてのBM画像のサイズと一致する。

【0076】

例えば、車両１０が上り坂にさしかかり、車両１０が後ろ側に傾いた場合、制御部４３は、傾き情報に応じて、領域R101から、車両１０の後ろ側への傾きの角度に応じた画素数分だけ、上方にずれた、領域R101と同一サイズの領域R102を指定する読み出し位置を算出し、その読み出し位置の画素信号を読み出すように、読み出し制御を行う。

【0077】

また、例えば、車両１０が下り坂にさしかかり、車両１０が前側に傾いた場合、制御部４３は、傾き情報に応じて、領域R101から、車両１０の前側への傾きの角度に応じた画素数分だけ、下方にずれた、領域R101と同一サイズの領域R103を指定する読み出し位置を算出し、その読み出し位置の画素信号を読み出すように、読み出し制御を行う。

【0078】

傾き情報に応じた読み出し位置の算出では、車両１０が平坦な路面に位置している場合のBM画像と同様の比率で、道路や空が写る読み出し画像が読み出されるように、すなわち、読み出し画像に写る路や空の比率が、車両１０が平坦な路面に位置している場合のBM画像と同様の比率に維持されるように（／近づくように）、読み出し位置が算出される。

【0079】

制御部４３において、以上のような読み出し制御を行うことにより、車両１０の運転に適切な画像を容易に得ることができる。すなわち、車両１０のピッチ方向の傾きにかかわらず、車両１０が平坦な路面に位置している場合のBM画像と同様の情報量のBM画像を、容易に得ることができる。

【0080】

ビューイングシステムの第１の構成例では、検出部４２は、取得部４１から供給される車両情報としてのジャイロ情報、又は、GPS情報及び3Dマップ等から、（急な）坂道を検出し、車両１０が坂道にさしかかったときの車両１０の傾き情報、すなわち、ここでは、主として、ピッチ方向としての前側及び後ろ側への車両１０の傾き（の程度）を表す傾き情報を検出（算出）する。そして、検出部４２は、傾き情報を、制御部４３に供給する。

【0081】

検出部４２では、例えば、ジャイロ情報を用いて、車両１０が坂道にさしかかったことを検出し、さらに、そのときの車両１０のピッチ方向としての前側及び後ろ側への傾きを表す傾き情報を検出することができる。

【0082】

また、検出部４２では、例えば、GPS情報を用いて得られる現在地と3Dマップとから、車両１０が坂道にさしかかることを検出（推定）し、さらに、3Dマップを用いて得られる坂道の傾斜を用いて、車両１０が坂道にさしかかったときの車両１０のピッチ方向としての前側及び後ろ側への傾きを表す傾き情報を検出（推定）することができる。

【0083】

制御部４３は、検出部４２からの傾き情報に応じて、イメージセンサ３２から読み出し画像として読み出す画像の読み出し位置を算出し、イメージセンサ３２に供給することで、イメージセンサ３２からの読み出し画像の読み出しを制御する。

【0084】

イメージセンサ３２は、制御部４３からの読み出し位置の画素の画素信号を読み出し、その画素信号を画素値とする読み出し画像を出力する。

【0085】

＜イメージセンサ３２の構成例＞

【0086】

図７は、図３のイメージセンサ３２の構成例を示す図である。

【0087】

イメージセンサ３２は、画素アレイ５１、入力回路５２、行選択回路５３、列選択回路５４、AD(Analog to Digital)変換器５５、ラインバッファ５６、及び、出力回路５７を有する。

【0088】

画素アレイ５１は、複数の画素６１が２次元平面上に配置されて構成される。画素アレイ５１において画素６１が配置されている領域が、イメージセンサ３２の受光面である。

【0089】

画素６１は、そこに入射する光を、その光の光量に応じた電気信号としての画素信号に変換する。画素アレイ５１からは、行選択回路５３で選択された行で、列選択回路５４で選択された列の画素６１の画素信号が、列選択回路５４を介して読み出され、AD変換器５５に供給される。

【0090】

入力回路５２には、制御部４３から、撮影画像から読み出す読み出し画像の読み出し開始位置と、その読み出し画像のサイズ（以下、読み出しサイズともいう）とで指定される読み出し位置が供給される。

【0091】

入力回路５２は、制御部４３からの読み出し位置としての読み出し開始位置及び読み出しサイズを用いて、例えば、ラスタスキャン順で、画素アレイ５１の画素６１のうちの、画素信号の読み出しを開始する画素６１の座標を、読み出し開始座標(X_STA,Y_STA)として算出するとともに、画素信号の読み出しを終了する画素６１の座標を、読み出し終了座標(X_END,Y_END)として算出する。

【0092】

入力回路５２は、読み出し開始座標(X_STA,Y_STA)のy座標Y_STA、及び、読み出し終了座標(X_END,Y_END)のy座標Y_ENDを、行選択回路５３に供給するとともに、読み出し開始座標(X_STA,Y_STA)のx座標X_STA、及び、読み出し終了座標(X_END,Y_END)のx座標X_ENDを、列選択回路５４に供給する（処理PR1）。

【0093】

行選択回路５３は、入力回路５２からのy座標Y_STAが表す画素６１の行からy座標Y_ENDが表す画素６１の行までの各行を、順次選択する（処理PR2）。

【0094】

画素アレイ５１では、行選択回路５３が選択する行の画素６１から画素信号が読み出され、列選択回路５４に供給される。

【0095】

列選択回路５４は、画素６１から読み出された画素信号のうちの、入力回路５２からのx座標X_STAが表す画素６１の列からx座標X_ENDが表す画素６１の列までの各列の画素６１の画素信号を選択し、AD変換器５５に供給する（処理PR3）。

【0096】

AD変換器５５は、列選択回路５４からの画素信号を、例えば、１行単位でAD変換し、AD変換後の画素信号を、ラインバッファ５６に供給する（処理PR4）。

【0097】

ラインバッファ５６は、AD変換器５５からの画素信号を一時記憶する。

【0098】

出力回路５７は、ラインバッファ５６に記憶された画素信号を、１画素分ずつ読み出し（処理PR5）、読み出し画像の画素値として、イメージセンサ３２の外部に出力する。

【0099】

以上のようにして、イメージセンサ３２では、読み出し開始座標(X_STA,Y_STA)の画素６１を、左上の頂点とするとともに、読み出し終了座標(X_END,Y_END)の画素６１を、右下の頂点とする矩形の領域を、読み出し領域として、その読み出し領域内の画素６１の画素信号が読み出され、その画素信号を画素値とする画像が、読み出し画像として出力される。

【0100】

＜表示処理＞

【0101】

図８は、図３のビューイングシステムの第１の構成例が行うBM画像及を表示する表示処理の例を説明するフローチャートである。

【0102】

ステップＳ１１において、取得部４１は、車両情報としての、例えば、ジャイロ情報、又は、GPS情報及び3Dマップを取得し、検出部４２に供給して、処理は、ステップＳ１２に進む。

【0103】

ステップＳ１２では、検出部４２は、取得部４１からの車両情報を用いて、坂道を検出する。さらに、検出部４２は、取得部４１からの車両情報を用いて、車両１０が坂道にさしかかったときの車両１０の傾き情報（主として、ピッチ方向としての前側及び後ろ側への傾きを表す傾き情報）を検出（算出）し、制御部４３に供給して、処理は、ステップＳ１２からステップＳ１３に進む。

【0104】

ステップＳ１３では、制御部４３は、検出部４２からの傾き情報に応じて、イメージセンサ３２からの読み出し画像の読み出し開始位置を算出し、その読み出し開始位置と、BM画像のサイズとを、読み出し位置として、イメージセンサ３２に供給して、処理は、ステップＳ１４に進む。

【0105】

ステップＳ１４では、イメージセンサ３２は、制御部４３からの読み出し位置の画素の画素信号を読み出し、その画素信号を画素値とする読み出し画像を取得して出力する。イメージセンサ３２が出力する読み出し画像は、出力部３３に供給され、処理は、ステップＳ１４からステップＳ１５に進む。

【0106】

ステップＳ１５では、出力部３３は、イメージセンサ３２からの読み出し画像を、BM画像として、BM表示部２１に伝送して表示させる。これにより、BM表示部２１では、BM画像が表示され、表示処理は終了する。

【0107】

以上のように、ビューイングシステムの第１の構成例は、主として、ピッチ方向としての前側及び後ろ側への傾きを表す傾き情報を検出し、その傾き情報に応じて、イメージセンサ３２からの読み出し画像の読み出しを制御するので、車両１０の運転に適切な画像を容易に提供することができる。すなわち、車両１０が坂道にさしかかった場合に、車両１０が平坦な路面に位置している場合のBM画像と同様の情報量のBM画像を、容易に提供することができる。

【0108】

さらに、ビューイングシステムの第１の構成例では、読み出し制御において、イメージセンサ３２からBM画像と同一のサイズの読み出し画像が読み出されるので、イメージセンサ３２からBM画像よりも大きなサイズの画像が読み出される場合に比較して、BM画像のフレームレートが低下するおそれを抑制することができる。

【0109】

第1の構成例の車両情報としては、ジャイロ情報、GPS情報と３Dマップの例で説明した。ただ、第1の構成例における車両情報としては、後述の第2の構成例、第３の構成例のように、サスペンション情報や、フロントカメラ画像等を用いてもよい。これらの、サスペンション情報や、フロントカメラ画像等を用いて、車両の傾きを検出するようにしてもよい。

【0110】

＜ビューイングシステムの第２の構成例＞

【0111】

図９は、車両１０に搭載されたビューイングシステムの第２の構成例を示すブロック図である。

【0112】

なお、図中、図３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

【0113】

図９において、ビューイングシステムは、カメラユニット１１、BM表示部２１、及び、RV表示部２２を有する。さらに、図９において、カメラユニット１１は、光学系３１、イメージセンサ３２、出力部３３、取得部４１、検出部４２、制御部７１、及び、加工部７２を有する。

【0114】

したがって、図９のビューイングシステムの第２の構成例は、カメラユニット１１、BM表示部２１、及び、RV表示部２２を有する点で、図３の場合と共通する。

【0115】

但し、図９のビューイングシステムの第２の構成例は、カメラユニット１１において、制御部４３に代えて、制御部７１が設けられるとともに、加工部７２が新たに設けられている点で、図３の場合と相違する。

【0116】

制御部７１は、制御部４３と同様に、検出部４２から供給される傾き情報に応じて、イメージセンサ３２からの読み出し画像の読み出しを制御する。

【0117】

但し、制御部７１は、検出部４２から供給される傾き情報に応じて、イメージセンサ３２で撮影された撮影画像から、読み出し画像の読み出し開始位置、及び、読み出しサイズを算出し、その読み出し開始位置と読み出しサイズとで指定される読み出し位置を、イメージセンサ３２に供給する。

【0118】

すなわち、ビューイングシステムの第１の構成例では、読み出し画像のサイズが、BM画像のサイズと一致するため、読み出しサイズは、BM画像のサイズに設定されるが、ビューイングシステムの第２の構成例では、読み出しサイズは、傾き情報に応じて算出される。

【0119】

ここで、ビューイングシステムの第２の構成例では、取得部４１は、車両情報としての、例えば、サスペンション情報等を取得し、検出部４２に供給する。

【0120】

この場合、検出部４２は、取得部４１からのサスペンション情報を用いて、ロール方向としての左側及び右側への傾きを検出し、その傾き（の程度）を表す傾き情報を検出（算出）する。そして、検出部４２は、傾き情報を、制御部７１に供給する。

【0121】

制御部７１は、検出部４２からの傾き情報に応じて、イメージセンサ３２が出力する読み出し画像を回転させる回転角度を算出し、加工部７２に供給する。制御部７１は、以上のように、回転角度を、加工部７２に供給することで、その回転角度だけ、読み出し画像を回転するように、加工部７２による読み出し画像の回転を制御する。

【0122】

加工部７２には、イメージセンサ３２が出力する読み出し画像が供給される。

【0123】

加工部７２は、制御部７１からの回転角度に従って、読み出し画像を回転する。さらに、加工部７２は、回転後の読み出し画像から、BM画像のサイズ（以下、BMサイズともいう）の画像を切り出し、BM画像として、出力部３３に供給する。

【0124】

以上のように、加工部７２では、読み出し画像が回転され、その回転後の読み出し画像から、BMサイズの画像が切り出される。したがって、読み出し画像は、回転後の読み出し画像からBMサイズの画像を切り出すことができるサイズを有する画像である必要がある。

【0125】

そのため、制御部７１は、傾き情報に応じて、例えば、回転後の読み出し画像からBMサイズの画像を切り出すことができる読み出し画像の最小のサイズを、読み出しサイズとして算出する。

【0126】

＜車両１０の状態とBM画像との関係＞

【0127】

図１０は、車両１０の状態とBM画像との関係の第２の例を説明する図である。
図１０（A1)は車両１０が平坦な路面を走行している場合の車両１０の状態を示す図である。また、図１０（A2）は、車両１０が平坦な路面を走行している場合のBM画像例である。
図１０（B1)は車両１０が前方の向きに対して右側に左側より高い段差がある路面に位置する場合の車両１０の状態を示す図である。また、図１０（B2）は、車両１０が前方の向きに対して右側に左側より高い段差がある路面に位置する場合のBM画像例である。
図１０（C1)は車両１０が前方の向きに対して左側に右側より高い段差がある路面に位置する場合の車両１０の状態を示す図である。また、図１０（C2）は、車両１０が前方の向きに対して左側に右側より高い段差がある路面に位置する場合のBM画像例である。

【0128】

図１０でも、図５の場合と同様に、運転者が視線や頭部の位置を動かすことに起因して、撮影画像からBM画像として抽出される領域R11は変化しないこととする。

【0129】

この場合、車両１０が、前方の向きに対して右側に左側より高い段差がある路面に位置すると、車両１０がロール方向としての左側に傾き、車両１０の後部に設置されたカメラユニット１１も同様にロール方向に傾く。

【0130】

その結果、車両１０が平坦な路面に位置している場合（図10(A)）、BM画像に水平方向に延びるように水平線が写る。車両１０が右側に高い段差がある路面に位置する場合には、右下がり（左上がり）に写るBM画像が得られる（図10(B)）。このBM画像は、図１０に示すように、車両１０が平坦な路面に位置している場合のBM画像に比較して、BM画像に写る空や道路の範囲が変化した画像になる。すなわち、車両１０が右側に高い段差がある路面に位置する場合のBM画像（図10(B)）では、車両１０が平坦な路面に位置している場合にBM画像と比較して、右側の道路の比率が小さくなるとともに、右側の空の比率が大きくなり、かつ、左側の道路の比率が大きくなるとともに、左側の空の比率が小さくなる。

【0131】

したがって、車両１０が右側に高い段差がある路面に位置する場合のBM画像では、車両１０が平坦な路面に位置している場合のBM画像と比較して、内容が変化する。

【0132】

一方、車両１０が、前方の向きに対して左側に右側より高い段差がある路面に位置すると、車両１０がロール方向としての右側に傾き、車両１０の後部に設置されたカメラユニット１１も同様にロール方向に傾く。

【0133】

その結果、車両１０が左側に高い段差がある路面に位置する場合には、水平線は右上がり（左下がり）に写るBM画像が得られる（図10(C)）。このBM画像は、図１０に示すように、車両１０が平坦な路面に位置している場合のBM画像に比較して、BM画像に写る空や道路の範囲が変化した画像になる。すなわち、車両１０が左側に高い段差がある路面に位置する場合のBM画像（図10(C)）では、車両１０が平坦な路面に位置している場合にBM画像と比較して、右側の道路の比率が大きくなるとともに、右側の空の比率が小さくなり、かつ、左側の道路の比率が小さくなるとともに、左側の空の比率が大きくなる。

【0134】

したがって、車両１０が左側に高い段差がある路面に位置する場合のBM画像では、車両１０が平坦な路面に位置している場合のBM画像と比較して、内容が変化する。

【0135】

以上のように、車両１０が左側又は右側に高い段差がある路面に位置する場合のBM画像が、車両１０が平坦な路面に位置している場合のBM画像から変化したものであることは、車両１０の運転者に、車両１０の運転に適切なBM画像を提供する観点からは、好ましくない。

【0136】

そこで、制御部７１は、BM画像の読み出し制御において、検出部４２からの傾き情報に応じて、イメージセンサ３２からの読み出し画像としてのBM画像の読み出しを制御することで、車両１０の状態にかかわらず、車両１０が平坦な路面に位置している場合のBM画像と同様の情報量のBM画像が得られるようにする。

【0137】

＜制御部７１による傾き情報に応じた読み出し画像の読み出し制御＞

【0138】

図１１は、制御部７１による傾き情報に応じた読み出し画像の読み出し制御の例を説明する図である。
左側の図１１（A）は、夫々の場合におけるイメージセンサ３２上の読出し領域を示した図である。右側の図１１（B）は、加工部７２における切りだし領域を示した図である。

【0139】

図６で説明したように、制御部７１では、車両１０が平坦な路面に位置している場合に、イメージセンサ３２が撮影する撮影画像（イメージセンサ３２の受光面）から、BM画像と一致するサイズの矩形の領域R101（の画素の画素信号）が読み出されるように、読み出し制御が行われることとする。

【0140】

例えば、車両１０が、段差がある路面に位置し、車両１０がロール方向に傾いた場合、制御部７１は、傾き情報に応じて、車両１０のロール方向への傾きの角度に応じた画素数分だけ領域R101よりも大きいサイズの領域R111を指定する読み出し位置を算出し、その読み出し位置の画素信号を読み出すように、読み出し制御を行う。

【0141】

ここで、車両１０がロール方向に傾いた場合のBM画像では、図１０に示したように、車両１０が平坦な路面に位置している場合のBM画像に水平方向に延びるように写る水平線が傾く。

【0142】

そこで、加工部７２では、イメージセンサ３２が読み出し制御に応じて出力する読み出し画像が、その読み出し画像に写る水平線が水平方向に延びるように回転され、回転後の読み出し画像から、BM画像（となる画像）が切り出される。

【0143】

制御部７１において、傾き情報に応じた読み出し位置の算出では、例えば、回転後の読み出し画像からBM画像を切り出すことができる最小のサイズで、領域R101の中心（重心）を中心とする領域R111を指定する読み出し位置としての読み出し開始位置及び読み出しサイズが算出され、イメージセンサ３２に供給される。

【0144】

さらに、制御部７１では、傾き情報に応じて、例えば、イメージセンサ３２が出力する読み出し画像としての領域R111に写る水平線が水平方向に延びるように写るように、読み出し画像としての領域R111を回転する回転角度が算出され、加工部７２に供給される。

【0145】

イメージセンサ３２では、制御部７１からの読み出し位置としての読み出し開始位置及び読み出しサイズによって指定される矩形の領域R111が、読み出し画像として読み出され、加工部７２に供給される。

【0146】

加工部７２では、イメージセンサ３２からの読み出し画像としての領域R111が、制御部７１からの回転角度だけ回転される。そして、加工部７２では、領域R111を回転した回転後の領域R112から、回転角度が0度の、BM画像と同一サイズの領域R113が、BM画像として切り出される（図１１（B））。

【0147】

図１１（A）の読み出し画像は、車両１０がロール方向としての右側に傾いており、読み出し画像に写る水平線が右上がりに傾く。そのため、加工部７２では、右上がりに傾いた水平線が水平方向に延びるように、読み出し画像としての領域R111が右回り（時計回り）に回転され、回転後の領域R112から、BM画像としての領域R113が切り出されている。

【0148】

以上により、BM画像として、車両１０の運転に適切な画像を容易に得ることができる。すなわち、車両１０のロール方向の傾きにかかわらず、車両１０が平坦な路面に位置している場合のBM画像と同様の情報量のBM画像を、容易に得ることができる。

【0149】

図１２は、制御部７１による傾き情報に応じた読み出し画像の読み出し制御の例をさらに説明する図である。
図１２(A）は、車両１０がロール方向に傾いている場合の読み出し画像の読み出しサイズが、BM画像のサイズよりも大きくなることを説明する図である。図１２（B）は、加工部７２における回転を説明する図である。図１２（C）は、加工部７２におけるBM画像の切り出しを説明する図である。

【0150】

図１２（A）では、車両１０がロール方向としての右側に傾いており、そのため、読み出し画像に写る水平線が右上がりに傾いている。

【0151】

ビューイングシステムの第２の構成例では、検出部４２は、取得部４１から供給される車両情報としてのサスペンション情報から、車両１０がロール方向に傾いていることを検出し、車両１０の傾きを表す傾き情報、すなわち、ここでは、主として、ロール方向としての左側及び右側への車両１０の傾き（の程度）を表す傾き情報を検出（算出）する。そして、検出部４２は、傾き情報を、制御部７１に供給する。

【0152】

制御部７１は、検出部４２からの傾き情報に応じて、イメージセンサ３２から読み出す読み出し画像の読み出し位置が表す領域R111の読み出し開始位置及び読み出しサイズを算出し、イメージセンサ３２に供給する。車両１０がロール方向に傾いている場合（ロール方向の傾きが0度以外である場合）、読み出しサイズは、BM画像と同一サイズの領域R101のサイズよりも大きくなる。

【0153】

また、制御部７１は、検出部４２からの傾き情報に応じて、読み出し画像としての領域R111を回転する回転角度を算出し、加工部７２に供給する。

【0154】

イメージセンサ３２は、制御部７１からの読み出し位置（読み出し開始位置及び読み出しサイズ）が表す領域R111を読み出し画像として読み出して出力する。

【0155】

イメージセンサ３２が出力する読み出し画像としての領域R111は、加工部７２に供給される。

【0156】

加工部７２では、領域R111が、制御部７１からの回転角度だけ回転され、これにより、水平線が水平方向に延びるように写る領域R112が生成される（図１２（B））。さらに、加工部７２では、領域R112から、領域R101と同一サイズの領域R113が、BM画像として切り出される（図12（B）（C））。

【0157】

＜表示処理＞

【0158】

図１３は、図９のビューイングシステムの第２の構成例が行うBM画像を表示する表示処理の例を説明するフローチャートである。

【0159】

ステップＳ２１において、取得部４１は、車両情報としての、例えば、サスペンション情報を取得し、検出部４２に供給して、処理は、ステップＳ２２に進む。

【0160】

ステップＳ２２では、検出部４２は、取得部４１からの車両情報を用いて、車両１０のロール方向の傾きを検出する。さらに、検出部４２は、取得部４１からの車両情報を用いて、車両１０がロール方向に傾いている場合の、車両１０の傾き情報（主として、ロール方向としての左側及び右側への傾きを表す傾き情報）を検出（算出）し、制御部７１に供給して、処理は、ステップＳ２２からステップＳ２３に進む。

【0161】

ステップＳ２３では、制御部７１は、検出部４２からの傾き情報に応じて、イメージセンサ３２からの読み出し画像の読み出し開始位置及び読み出しサイズを算出し、その読み出し開始位置及び読み出しサイズを、読み出し位置として、イメージセンサ３２に供給する。さらに、制御部７１は、検出部４２からの傾き情報に応じて、読み出し画像を回転する回転角度を算出し、加工部７２に供給して、処理は、ステップＳ２３からステップＳ２４に進む。

【0162】

ステップＳ２４では、イメージセンサ３２は、制御部７１からの読み出し位置の画素の画素信号を読み出し、その画素信号を画素値とする読み出し画像を取得して出力する。イメージセンサ３２が出力する読み出し画像は、加工部７２に供給され、処理は、ステップＳ２４からステップＳ２５に進む。

【0163】

ステップＳ２５では、加工部７２は、イメージセンサ３２からの読み出し画像を、制御部７１からの回転角度だけ回転する。さらに、加工部７２は、回転後の読み出し画像からBM画像を切り出し、出力部３３に供給して、処理は、ステップＳ２５からステップＳ２６に進む。

【0164】

ステップＳ２６では、出力部３３は、加工部７２からのBM画像を、BM表示部２１に伝送して表示させる。これにより、BM表示部２１では、BM画像が表示され、表示処理は終了する。

【0165】

以上のように、ビューイングシステムの第２の構成例は、主として、ロール方向としての左側及び右側への傾きを表す傾き情報を検出し、その傾き情報に応じて、イメージセンサ３２からの読み出し画像の読み出しを制御する。さらに、ビューイングシステムの第２の構成例では、傾き情報に応じて、読み出し画像の回転を制御し、回転後の読み出し画像からBM画像を切り出す。したがって、ビューイングシステムの第２の構成例によれば、車両１０の運転に適切な画像を容易に提供することができる。すなわち、車両１０が左右に段差がある路面に位置している場合に、車両１０が平坦な路面に位置している場合のBM画像と同様の情報量のBM画像を、容易に提供することができる。

【0166】

さらに、ビューイングシステムの第２の構成例では、読み出し制御において、回転後の読み出し画像からBM画像を切り出すことができる最小のサイズの読み出し画像が、イメージセンサ３２から読み出されるので、BM画像のフレームレートが低下するおそれを抑制することができる。

【0167】

第２の構成例の車両情報としては、サスペンション情報の例で説明した。ただ、車両情報としては、前述の第1の構成例や、後述の第３の構成例のように、ジャイロ情報、GPS情報と３Dマップ、フロントカメラ画像等を用いてもよい。そして、これらの、ジャイロ情報、GPS情報と３Dマップ、フロントカメラ画像等を用いて、車両の傾きを検出するようにしてもよい。

【0168】

＜ビューイングシステムの第３の構成例＞

【0169】

図１４は、車両１０に搭載されたビューイングシステムの第３の構成例を示すブロック図である。

【0170】

なお、図中、図３又は図９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

【0171】

図１４において、カメラユニット１１、BM表示部２１、及び、RV表示部２２を有する。さらに、図１４において、カメラユニット１１は、光学系３１、イメージセンサ３２、出力部３３、取得部４１、検出部４２、制御部７１、及び、加工部７２を有する。

【0172】

したがって、図１４のビューイングシステムの第３の構成例は、図９のビューイングシステムの第２の構成例と同様に構成される。

【0173】

但し、図１４のビューイングシステムの第３の構成例では、取得部４１は、車両情報としての、例えば、サスペンション情報、又は、フロントカメラ画像等を取得し、検出部４２に供給する。

【0174】

この場合、検出部４２は、取得部４１からのサスペンション情報又はフロントカメラ画像を用いて、路面の凹凸状況を検出する。さらに、検出部４２は、その路面の凹凸による車両１０のピッチ方向としての前側及び後ろ側への傾き、並びに、ロール方向としての左側及び右側への傾きを検出し、その傾き（の程度）を表す傾き情報を検出（算出）する。そして、検出部４２は、傾き情報を、制御部７１に供給する。

【0175】

ここで、ビューイングシステムの第１の構成例では、車両１０のピッチ方向としての前側及び後ろ側の傾きに応じて、イメージセンサ３２からの読み出し画像の読み出しが制御される。ビューイングシステムの第２の構成例では、車両１９のロール方向としての左側及び右側への傾きに応じて、イメージセンサ３２からの読み出し画像の読み出し、及び、加工部７２での読み出し画像の回転が制御される。

【0176】

これに対して、ビューイングシステムの第３の構成例では、車両１０のピッチ方向としての前側及び後ろ側の傾き、並びに、ロール方向としての左側及び右側への傾きに応じて、イメージセンサ３２からの読み出し画像の読み出し、及び、加工部７２での読み出し画像の回転が制御される。

【0177】

したがって、ビューイングシステムの第３の構成例では、イメージセンサ３２からの読み出し画像の読み出しの制御として、ビューイングシステムの第１の構成例及び第２の構成例で行われるイメージセンサ３２からの読み出し画像の読み出しの制御それぞれを合わせたような制御が行われる。さらに、ビューイングシステムの第３の構成例では、加工部７２での読み出し画像の回転の制御として、ビューイングシステムの第２の構成例で行われる読み出し画像の回転制御と同様の制御が行われる。

【0178】

＜制御部７１による傾き情報に応じた読み出し画像の読み出し制御＞

【0179】

図１５は、制御部７１による傾き情報に応じた読み出し画像の読み出し制御の例を説明する図である。
図１５(A）は、イメージセンサ３２からの、BM画像より大きいサイズの読み出し画像の読み出しを示す図である。図１５（B）は、加工部７２における読み出し画像の回転及び切り出しを示す図である。

【0180】

図６及び図１１で説明したように、制御部７１では、車両１０が平坦な路面に位置している場合に、イメージセンサ３２が撮影する撮影画像（イメージセンサ３２の受光面）から、読み出し画像としてのBM画像と一致するサイズの矩形の領域R101（の画素の画素信号）が読み出されるように、読み出し制御が行われることとする。

【0181】

例えば、車両１０が、凹凸がある路面に位置し、車両１０がピッチ方向やロール方向に傾いた場合、制御部７１は、傾き情報に応じて、車両１０のロール方向への傾きの角度に応じた画素数分だけ領域R111より大きいサイズで、車両１０のピッチ方向への傾きの角度に応じた画素数分だけ領域R111から上下方向にずれた領域R121を指定する読み出し位置を算出し、その読み出し位置の画素信号を読み出すように、イメージセンサ３２の読み出し制御を行う。

【0182】

さらに、制御部７１では、傾き情報に応じて、例えば、イメージセンサ３２が出力する読み出し画像としての領域R121に写る水平線が水平方向に延びるように写るように、読み出し画像としての領域R121を回転する回転角度が算出され、加工部７２に供給される。

【0183】

イメージセンサ３２では、制御部７１からの読み出し制御に従って、矩形の領域R121が、読み出し画像として読み出され、加工部７２に供給される。

【0184】

加工部７２では、イメージセンサ３２からの読み出し画像としての領域R121が、制御部７１からの回転角度だけ回転される。そして、加工部７２では、領域R121を回転した回転後の領域R122から、回転角度が0度の、BM画像と同一サイズの領域R123が、BM画像として切り出される。

【0185】

図１５では、車両１０がピッチ方向としての後ろ側に傾き、かつ、ロール方向としての右側に傾いており、そのため、イメージセンサ３２からは、領域R101よりサイズが大きい、領域R101から上方にずれた領域R121が、読み出し画像として読み出されている。さらに、車両１０がロール方向としての右側に傾いているため、読み出し画像としての領域R121に写る水平線は右上がりに傾いているので、加工部７２では、その右上がりに傾いた水平線が水平方向に延びるように、読み出し画像としての領域R121が右回りに回転されている。そして、加工部７２では、領域R121を回転した回転後の領域R122から、BM画像としての領域R123が切り出されている。

【0186】

以上により、BM画像として、車両１０の運転に適切な画像を容易に得ることができる。すなわち、車両１０のピッチ方向やロール方向の傾きにかかわらず、車両１０が平坦な路面に位置している場合のBM画像と同様の画像表現であるBM画像を、容易に得ることができる。これにより、車両10の傾きによらず水平線が水平となるような画像を表示できるため、後方車両との一時的な傾きの違いに起因する表示画像の違い（水平線位置の違い）を起こすことが無い。運転者は運転中の表示画像の違い（水平線位置の違い）を気にすることなく、車両後方の状況を把握することができる。

【0187】

なお、ビューイングシステムの第３の構成例において、検出部４２では、例えば、サスペンション情報から、車両１０のピッチ方向及びロール方向の傾きを検出することができる。

【0188】

また、検出部４２では、例えば、フロントカメラ画像から、車両１０の前方の路面の凹凸を認識し、その凹凸の認識結果に応じて、認識した凹凸がある路面を車両１０が通るときの車両１０のピッチ方向及びロール方向の傾きを推定することにより検出することができる。

【0189】

＜表示処理＞

【0190】

図１６は、図１４のビューイングシステムの第３の構成例が行うBM画像及を表示する表示処理の例を説明するフローチャートである。

【0191】

ステップＳ３１において、取得部４１は、車両情報としての、例えば、サスペンション情報又はフロントカメラ画像を取得し、検出部４２に供給して、処理は、ステップＳ３２に進む。

【0192】

ステップＳ３２では、検出部４２は、取得部４１からの車両情報を用いて、車両１０が位置する路面の凹凸状況を検出する。さらに、検出部４２は、取得部４１からの車両情報を用いて、路面の凹凸による車両１０の傾きを表す傾き情報（ピッチ方向としての前側及び後ろ側への傾き、並びに、ロール方向としての左側及び右側への傾きを表す傾き情報）を検出（算出）し、制御部７１に供給して、処理は、ステップＳ３２からステップＳ３３に進む。

【0193】

ステップＳ３３では、制御部７１は、検出部４２からの傾き情報に応じて、イメージセンサ３２からの読み出し画像の読み出し開始位置及び読み出しサイズを算出し、その読み出し開始位置及び読み出しサイズを、読み出し位置として、イメージセンサ３２に供給する。さらに、制御部７１は、検出部４２からの傾き情報に応じて、読み出し画像を回転する回転角度を算出し、加工部７２に供給して、処理は、ステップＳ３３からステップＳ３４に進む。

【0194】

ステップＳ３４では、イメージセンサ３２は、制御部７１からの読み出し位置の画素の画素信号を読み出し、その画素信号を画素値とする読み出し画像を取得して出力する。イメージセンサ３２が出力する読み出し画像は、加工部７２に供給され、処理は、ステップＳ３４からステップＳ３５に進む。

【0195】

ステップＳ３５では、加工部７２は、イメージセンサ３２からの読み出し画像を、制御部７１からの回転角度だけ回転する。さらに、加工部７２は、回転後の読み出し画像からBM画像を切り出し、出力部３３に供給して、処理は、ステップＳ３５からステップＳ３６に進む。

【0196】

ステップＳ３６では、出力部３３は、加工部７２からのBM画像を、BM表示部２１に伝送して表示させる。これにより、BM表示部２１では、BM画像が表示され、表示処理は終了する。

【0197】

以上のように、ビューイングシステムの第３の構成例は、ピッチ方向としての前側及び後ろ側への傾き、並びに、ロール方向としての左側及び右側への傾きを表す傾き情報を検出し、その傾き情報に応じて、イメージセンサ３２からの読み出し画像の読み出しを制御する。さらに、ビューイングシステムの第３の構成例では、傾き情報に応じて、読み出し画像の回転を制御し、回転後の読み出し画像からBM画像を切り出す。したがって、ビューイングシステムの第３の構成例によれば、車両１０の運転に適切な画像を容易に提供することができる。すなわち、車両１０が凹凸がある路面に位置している場合に、車両１０が平坦な路面に位置している場合のBM画像と同様の情報量のBM画像を、容易に提供することができる。

【0198】

さらに、ビューイングシステムの第３の構成例では、ビューイングシステムの第２の構成例と同様に、読み出し制御において、回転後の読み出し画像からBM画像を切り出すことができる最小のサイズの読み出し画像を、イメージセンサ３２から読み出すことにより、BM画像のフレームレートが低下するおそれを抑制することができる。

【0199】

第３の構成例の車両情報としては、サスペンション情報、フロントカメラ画像の例で説明した。ただ、車両情報としては、前述の第1の構成例や、第２の構成例のように、ジャイロ情報、GPS情報と３Dマップ、等を用いてもよい。そして、これらの、ジャイロ情報、GPS情報と３Dマップ等を用いて、車両の傾きを検出するようにしてもよい。

【0200】

なお、本技術は、車両１０が位置する路面の状況によって、車両１０が傾く場合の他、車両１０に積載する荷物や、車両１０の搭乗者の状態等によって、車両１０が傾く場合にも適用することができる。すなわち、本技術は、車両１０が傾く原因に関係なく適用することができる。

【0201】

＜ビューイングシステムの第４の構成例＞

【0202】

図１７は、車両１０に搭載されたビューイングシステムの第４の構成例を示すブロック図である。

【0203】

ビューイングシステムは、図１及び図２で説明したカメラユニット１１、BM表示部２１、及び、RV表示部２２を有する。

【0204】

カメラユニット１１は、光学系３１、イメージセンサ３２、データ量調整部１３３、出力部１３４、取得部１３５、及び、制御部１３６を有する。

【0205】

光学系３１は、集光レンズや絞り等の光学部品で構成され、光学系３１に入射する光を、イメージセンサ３２に集光させる。

【0206】

イメージセンサ３２は、光学系３１からの光を受光し、光電変換を行うことで、撮影画像を撮影する。そして、イメージセンサ３２は、制御部１３６の制御に従い、撮影画像から、BM画像及びRV画像を抽出して出力する。イメージセンサ３２が出力するBM画像及びRV画像は、データ量調整部１３３に供給される。

【0207】

データ量調整部１３３は、制御部１３６の制御に従い、イメージセンサ３２が出力するBM画像及びRV画像のデータ量を調整し、データ量が調整された後のBM画像及びRV画像を、出力部１３４に供給する。

【0208】

出力部１３４は、データ量調整部１３３からのBM画像及びRV画像を、カメラユニット１１の外部に伝送する出力IF(Interface)であり、BM画像を、BM表示部２１に伝送するとともに、RV画像を、RV表示部２２に伝送する。BM表示部２１では、出力部１３４からのBM画像が、BM表示部２１の仕様に従って表示され、RV表示部２２では、出力部１３４からのRV画像が、RV表示部２２の仕様に従って表示される。出力部１３４は、BM画像及びRV画像のフォーマット変換その他の画像処理を、必要に応じて行うことができる。

【0209】

取得部１３５は、車両情報を、車両１０から取得し、制御部１３６に供給する。

【0210】

取得部１３５が取得する車両情報としては、例えば、走行情報や、BM表示部２１及びRV表示部２２の仕様、車両１０の運転者の視線及び頭部の位置、ジャイロ情報等がある。

【0211】

走行情報は、車両１０の走行状態を表す情報であり、具体的には、車速や、走行方向（前進又は後進）を表す。車速は、例えば、車両１０が速度センサを搭載している場合には、その速度センサの出力から取得することができる。走行方向は、例えば、トランスミッションの状態から取得することができる。

【0212】

BM表示部２１及びRV表示部２２の仕様とは、例えば、BM表示部２１及びRV表示部２２の解像度等であり、BM表示部２１及びRV表示部２２から取得することができる。

【0213】

車両１０の運転者の視線及び頭部の位置は、車内カメラ２３で撮影された画像から求めることができる。

【0214】

ジャイロ情報とは、車両１０の姿勢（／車両の傾きの角度）を表す情報である。ジャイロ情報は、車両１０がジャイロセンサを搭載している場合には、そのジャイロセンサの出力から求めることができる。ジャイロ情報によれば、車両１０が坂道に位置しているかどうかを認識することができる。

【0215】

制御部１３６は、取得部１３５から供給される車両情報に応じて、イメージセンサ３２やデータ量調整部１３３を制御する。

【0216】

すなわち、制御部１３６は、車両情報に応じて、例えば、制御部４３と同様の読み出し制御を行うことで、イメージセンサ３２での撮影画像からのBM画像及びRV画像の抽出を制御する抽出制御を行う。BM画像及びRV画像の読出し範囲の一例としては、図４にて図示される範囲である。また、制御部１３６は、車両情報に応じて、データ量調整部１３３でのBM画像及びRV画像のデータ量の調整を制御する調整制御を行う。

【0217】

したがって、イメージセンサ３２は、車両情報に応じて、撮影画像から、BM画像及びRV画像を抽出し、データ量調整部１３３は、車両情報に応じて、BM画像及びRV画像のデータ量を調整する、ということができる。

【0218】

＜イメージセンサ３２から出力することができる画像＞

【0219】

図１８は、イメージセンサ３２から出力することができる画像の例を説明する図である。

【0220】

いま、イメージセンサ３２が出力可能な最高解像度の撮影画像を、最高解像度画像ということとする。イメージセンサ３２は、例えば、解像度（画素数）Rmaxの最高解像度画像を、60fps(frame per second)（のフレームレート）以上で出力することができる性能を有することとする。

【0221】

ここでは、最高解像度画像から抽出される最高解像度（画素数）のBM画像の解像度RBMが、最高解像度画像の解像度Rmaxの1/2以下であることとする。また、最高解像度画像から抽出される最高解像度のRV画像の解像度RRVが、BM画像の解像度RBM以下であることとする。

【0222】

本実施の形態では、例えば、BM画像の解像度RBMとRV画像の解像度RRVとの加算値RBM+RRVとが、最高解像度画像の解像度Rmaxの1/2以下であるとする。この場合、解像度Rmaxで、60fps（以上）の最高解像度画像を出力可能なイメージセンサ３２を用いると、最高解像度画像の一部の部分読み出しにより得られる解像度RBMのBM画像と、解像度RRVのRV画像との両方の画像を、120fpsで出力することができる。

【0223】

＜車両１０でデータ伝送に使用することができる車両伝送帯域の例＞

【0224】

図１９は、車両１０でデータ伝送に使用することができる車両伝送帯域の例を説明する図である。

【0225】

すなわち、図１９は、カメラユニット１１がデータ量調整部１３３でのデータ量の調整なしで出力することができるBM画像及びRV画像の例を示している。

【0226】

カメラユニット１１は、BM画像として、例えば、解像度RBMで、YUVが4:2:2フォーマットの、1画素のビット数が（輝度及び色差のそれぞれについて）8ビットのカラー画像を出力することができる。また、カメラユニット１１は、RV画像として、例えば、解像度RRVで、YUVが4:2:2フォーマットの、1画素のビット数が8ビットのカラー画像を出力することができる。

【0227】

解像度RBMで、YUVが4:2:2フォーマットの、1画素のビット数が8ビットのBM画像を、最高画質のBM画像と呼び、解像度RRVで、YUVが4:2:2フォーマットの、1画素のビット数が8ビットのRV画像を、最高画質のRV画像と呼ぶこととする。

【0228】

本実施の形態では、カメラユニット１１からデータが伝送される帯域である車両伝送帯域は、例えば、60fpsの最高画質のBM画像を２画面分だけ（リアルタイムで）伝送することができる伝送帯域になっていることとする。本実施の形態では、RBM>=RRVであるので、60fpsの最高画質のBM画像を２画面分だけ伝送することができる車両伝送帯域によれば、例えば、60fpsの最高画質のRV画像を２画面分を伝送することができる。また、車両伝送帯域によれば、例えば、60fpsの最高画質のBM画像を１画面分と、60fpsの最高画質のRV画像を１画面分との合計で２画面分とを伝送することができる。

【0229】

図１８及び図１９で説明したことから、カメラユニット１１は、最高画質のBM画像及びRV画像の両方を、最大120fpsで出力することができる。

【0230】

しかしながら、本実施の形態では、車両伝送帯域は、60fpsで、最高画質のBM画像（又はRV画像）の２画面分しか伝送することができない。

【0231】

車両伝送帯域を大きくすることにより、カメラユニット１１が出力可能な、120fpsで、最高画質のBM画像及びRV画像の両方を伝送することができるが、車両伝送帯域を大きくすると、ビューイングシステムが高コスト化する。

【0232】

本技術では、ビューイングシステムが高コスト化することを抑制するため、カメラユニット１１は、BM画像やRV画像のデータ量を適切に調整し、車両伝送帯域内で、BM画像やRV画像を伝送する。

【0233】

＜車両伝送帯域が、60fpsで、最高画質のBM画像の２画面分が伝送可能である場合のBM画像及びRV画像のデータ量の調整制御＞

【0234】

図２０は、制御部１３６によるBM画像及びRV画像のデータ量の調整制御の第１の例を説明する図である。

【0235】

図２０のＡは、車両１０が前進している場合、あるいは、速度の第１の閾値以上の速度である高速で後進している場合の調整制御を示している。

【0236】

この場合、制御部１３６は、解像度RBMで、120fpsのBM画像が出力され、かつ、RV画像の出力が制限されるように、データ量調整部１３３の制御としての調整制御を行う。データ量調整部１３３は、制御部１３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMで、120fpsのBM画像を出力するとともに、RV画像の出力を制限する。

【0237】

したがって、この場合、カメラユニット１１からは、解像度RBMで、120fpsのBM画像が出力され、RV画像は出力されない。その結果、BM表示部２１では、解像度RBMで、120fpsのBM画像が表示され、RV表示部２２では、RV画像は表示されない。

【0238】

以上から、車両１０が前進している場合、あるいは、高速で後進している場合には、運転者は、解像度RBMで、120fpsのBM画像、すなわち、高解像度で、高フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。

【0239】

なお、車両１０が前進している場合、あるいは、高速で後退している場合には、車両１０の後部の直後の画像を含むRV画像は、表示しない。

【0240】

また、カメラユニット１１が出力する解像度RBMで、120fpsのBM画像は、60fpsの最高画質（解像度RBM）のBM画像を２画面分だけ伝送することができる車両伝送帯域によって伝送することができる。

【0241】

ここで、データ量調整部１３３において、画像のデータ量を調整するデータ量調整方法としては、上述のように、画像の出力を制限する（画像を出力しない）方法の他、例えば、解像度（画素数）を小さくする方法や、階調（１画素のビット数）を小さくする方法、フレームレートを小さく方法、所定の圧縮符号化方式で圧縮する方法等がある。

【0242】

データ量調整方法の中で、画像の出力の制限、解像度を小さくすること、階調を小さくすること、フレームレートを小さくすることは、データ量調整部１３３に行わせる他、制御部１３６において、イメージセンサ３２の抽出制御等の制御を行うことにより、イメージセンサ３２に行わせることができる。

【0243】

すなわち、画像の出力の制限、例えば、RV画像の出力の制限は、制御部１３６において、撮影画像からのRV画像の抽出を制限するように、イメージセンサ３２からのデータの読み出しを制御し、画素５１（図７）からの、RV画像となる画素信号の読み出しを行わないことにより行うことができる。制御部１３６は、車両１０が前進している場合、あるいは、高速で後進している場合、車両情報に応じて、撮影画像からのRV画像の抽出を制限するように、イメージセンサ３２の抽出制御を行うことができる。もちろん、イメージセンサ３２で制限せずに、データ量調整部１３３においてRV画像の出力の制限を行っても良い。

【0244】

画像の解像度を小さくすることは、制御部１３６において、例えば、画素信号を読み出す画素５１を間引くように、又は、いわゆるSF(Source Follower)加算やFD(Floating Diffusion)加算等により、複数の画素５１の画素信号を加算するビニング(Binning)を行うように、イメージセンサ３２を制御することにより行うことができる。

【0245】

階調を小さくすることは、制御部１３６において、例えば、AD変換器５５（図７）のAD変換のビット数を小さくするように、イメージセンサ３２を制御することにより行うことができる。

【0246】

フレームレートを小さくすることは、制御部１３６において、例えば、画素５１から画素信号を読み出すレートや、AD変換器５５でAD変換を行うレートを小さくするように、イメージセンサ３２を制御することにより行うことができる。

【0247】

図２０のＢは、車両１０が、第１の閾値より小さい第２の閾値以上かつ第１の閾値未満の速度である中速で後進している場合の調整制御を示している。

【0248】

この場合、制御部１３６は、解像度RBM未満の解像度RBMMで、120fpsのBM画像が出力され、かつ、解像度RRV未満の解像度RRVMで、30fpsのRV画像が出力されるように、データ量調整部１３３の制御としての調整制御を行う。データ量調整部１３３は、制御部１３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMMで、120fpsのBM画像を出力するとともに、解像度RRVMで、30fpsのRV画像を出力する。

【0249】

したがって、この場合、カメラユニット１１からは、解像度RBMMで、120fpsのBM画像と、解像度RRVMで、30fpsのRV画像とが出力される。その結果、BM表示部２１では、解像度RBMMで、120fpsのBM画像が表示され、RV表示部２２では、解像度RRVMで、30fpsのRV画像が表示される。

【0250】

以上から、車両１０が、中速で後進している場合には、運転者は、解像度RBMMで、120fpsのBM画像、すなわち、中解像度で、高フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。さらに、運転者は、解像度RRVMで、30fpsのRV画像、すなわち、中解像度で、低フレームレートのRV画像により、車両１０の後部の直後を確認することができる。

【0251】

なお、解像度RRVMで、30fpsのRV画像の伝送に必要な伝送帯域が、最大伝送レート（ここでは解像度RBMのBM画像を圧縮せずに120fpsで伝送する場合に必要になる伝送レート）と解像度RBMMを120fpsで伝送する場合に必要となる伝送レート（第1の伝送レート）の差の伝送帯域以下であることとする。この場合、カメラユニット１１が出力する解像度RBMMで、120fpsのBM画像、及び、解像度RRVMで、30fpsのRV画像の両方の画像は、60fpsの最高画質のBM画像を２画面分だけ伝送することができる車両伝送帯域によって伝送することができる。

【0252】

ここで、解像度RRVMで、30fpsのRV画像の伝送に必要な伝送帯域が、最大伝送レートと第1の伝送レートの差の伝送帯域以下ではない場合、データ量調整部１３３では、BM画像及びRV画像の一方又は両方を、解像度RRVMで、30fpsのRV画像の伝送に必要な伝送帯域が、最大伝送レートと第1の伝送レートの差の伝送帯域以下となるように（解像度RRVMのRV画像が伝送できる程度になるように）圧縮（符号化）することができる。例えば、解像度RBMMで、120fpsのBM画像については、その一部又は全部を圧縮（符号化）することにより、データ量を少なくすることができる。解像度RRVMで、30fpsのRV画像については、カラー画像のまま、又は、白黒画像に変換し、圧縮符号化することにより、データ量を少なくすることができる。

【0253】

図２０のＣは、車両１０が、第１の閾値より小さい第２の閾値未満の速度である低速で後進している場合の調整制御を示している。

【0254】

この場合、制御部１３６は、解像度RBMで、60fpsのBM画像が出力され、かつ、解像度RRVで、60fpsのRV画像が出力されるように、データ量調整部１３３の制御としての調整制御を行う。データ量調整部１３３は、制御部１３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMで、60fpsのBM画像を出力するとともに、解像度RRVで、60fpsのRV画像を出力する。

【0255】

したがって、この場合、カメラユニット１１からは、解像度RBMで、60fpsのBM画像と、解像度RRVで、60fpsのRV画像とが出力される。その結果、BM表示部２１では、解像度RBMで、60fpsのBM画像が表示され、RV表示部２２では、解像度RRVで、60fpsのRV画像が表示される。

【0256】

以上から、車両１０が、低速で後進している場合には、運転者は、解像度RBMで、60fpsのBM画像、すなわち、高解像度で、中フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。さらに、運転者は、解像度RRVで、60fpsのRV画像、すなわち、高解像度で、中フレームレートのRV画像により、車両１０の後部の直後を確認することができる。

【0257】

車両１０が、低速で後進している場合とは、例えば、車両１０を駐車しようとしている場合等であり、運転者から死角となる車両１０の後部の直後の確認が重要である。そのため、車両１０が、低速で後進している場合には、RV画像は、車両１０が高速や中速で後進している場合よりも高解像度かつ高フレームレートで表示される。これにより、死角となる領域の確認と、死角の状況に応じた車両制御が行い易くなる。

【0258】

なお、カメラユニット１１が出力する解像度RBMで、60fpsのBM画像、及び、解像度RRVで、60fpsのRV画像の両方の画像は、60fpsの最高画質のBM画像を２画面分だけ伝送することができる車両伝送帯域によって伝送することができる。

【0259】

＜車両伝送帯域が、60fpsで、最高画質のBM画像の１画面分が伝送可能である場合のBM画像及びRV画像のデータ量の調整制御＞

【0260】

図２１は、制御部１３６によるBM画像及びRV画像のデータ量の調整制御の第２の例を説明する図である。

【0261】

ここで、BM画像及びRV画像のデータ量の調整制御の第２の例では、車両伝送帯域が、例えば、60fps（以上）の最高画質（解像度RBM）のBM画像を１画面分だけ伝送することができる伝送帯域になっていることとする。

【0262】

図２１のＡは、車両１０が前進している場合、あるいは、速度の第１の閾値以上の速度である高速で後進している場合の調整制御を示している。

【0263】

この場合、制御部１３６は、解像度RBMで、60fps（以上）のBM画像が出力され、かつ、RV画像の出力が制限されるように、データ量調整部１３３の制御としての調整制御を行う。データ量調整部１３３は、制御部１３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMで、60fpsのBM画像を出力するとともに、RV画像の出力を制限する。

【0264】

したがって、この場合、カメラユニット１１からは、解像度RBMで、60fpsのBM画像が出力され、RV画像は出力されない。その結果、BM表示部２１では、解像度RBMで、60fpsのBM画像が表示され、RV表示部２２では、RV画像は表示されない。

【0265】

以上から、車両１０が前進している場合、あるいは、高速で後進している場合には、運転者は、解像度RBMで、60fpsのBM画像、すなわち、高解像度で、中フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。

【0266】

なお、車両１０が前進している場合、あるいは、高速で後進している場合には、図２０のＡで説明したように、車両１０の後部の直後の画像を含むRV画像は、表示しない。

【0267】

また、カメラユニット１１が出力する解像度RBMで、60fpsのBM画像は、60fpsの最高画質（解像度RBM）のBM画像を１画面分だけ伝送することができる車両伝送帯域によって伝送することができる。

【0268】

図２１のＢは、車両１０が、第１の閾値より小さい第２の閾値以上かつ第１の閾値未満の速度である中速で後進している場合の調整制御を示している。

【0269】

この場合、制御部１３６は、解像度RBM未満の解像度RBMMで、60fpsのBM画像が出力され、かつ、解像度RRV未満の解像度RRVMで、30fpsのRV画像が出力されるように、データ量調整部１３３の制御としての調整制御を行う。データ量調整部１３３は、制御部１３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMMで、60fpsのBM画像を出力するとともに、解像度RRVMで、30fpsのRV画像を出力する。

【0270】

したがって、この場合、カメラユニット１１からは、解像度RBMMで、60fpsのBM画像と、解像度RRVMで、30fpsのRV画像とが出力される。その結果、BM表示部２１では、解像度RBMMで、60fpsのBM画像が表示され、RV表示部２２では、解像度RRVMで、30fpsのRV画像が表示される。

【0271】

以上から、車両１０が、中速で後進している場合には、運転者は、解像度RBMMで、60fpsのBM画像、すなわち、中解像度で、中フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。さらに、運転者は、解像度RRVMで、30fpsのRV画像、すなわち、中解像度で、低フレームレートのRV画像により、車両１０の後部の直後を確認することができる。

【0272】

なお、カメラユニット１１が出力する解像度RBMMで、60fpsのBM画像、及び、解像度RRVMで、30fpsのRV画像の両方の画像の伝送に必要な伝送帯域（以下、必要伝送帯域ともいう）が、60fpsの最高画質のBM画像を１画面分だけ伝送することができる車両伝送帯域に収まらない場合には、必要伝送帯域が車両伝送帯域に収まるように、BM画像を、中速用の第１の圧縮率で圧縮することや、RV画像を、カラー画像のまま、又は、白黒画像に変換して、中速用の第１の圧縮率より高圧縮の中速用の第２の圧縮率で圧縮することができる。

【0273】

図２１のＣは、車両１０が、第１の閾値より小さい第２の閾値未満の速度である低速で後進している場合の調整制御を示している。

【0274】

この場合、制御部１３６は、解像度RBMM未満の解像度RBMLで、60fpsのBM画像が出力され、かつ、解像度RRVMで、30fpsのRV画像が出力されるように、データ量調整部１３３の制御としての調整制御を行う。データ量調整部１３３は、制御部１３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMLで、60fpsのBM画像を出力するとともに、解像度RRVMで、30fpsのRV画像を出力する。

【0275】

したがって、この場合、カメラユニット１１からは、解像度RBMLで、60fpsのBM画像と、解像度RRVで、30fpsのRV画像とが出力される。その結果、BM表示部２１では、解像度RBMLで、60fpsのBM画像が表示され、RV表示部２２では、解像度RRVMで、30fpsのRV画像が表示される。

【0276】

以上から、車両１０が、低速で後進している場合には、運転者は、解像度RBMLで、60fpsのBM画像、すなわち、低解像度で、中フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。さらに、運転者は、解像度RRVMで、30fpsのRV画像、すなわち、中解像度で、低フレームレートのRV画像により、車両１０の後部の直後を確認することができる。

【0277】

なお、カメラユニット１１が出力する解像度RBMLで、60fpsのBM画像、及び、解像度RRVMで、30fpsのRV画像の両方の画像の伝送に必要な必要伝送帯域が、60fpsの最高画質のBM画像を１画面分だけ伝送することができる車両伝送帯域に収まらない場合には、必要伝送帯域が車両伝送帯域に収まるように、BM画像を、低速用の第１の圧縮率で圧縮することや、RV画像を、（カラー画像のまま）低速用の第１の圧縮率より高圧縮の低速用の第２の圧縮率で圧縮することができる。

【0278】

ここで、低速用の第１の圧縮率としては、中速用の第１の圧縮率よりも高圧縮の圧縮率を採用することができる。中速用の第２の圧縮率、及び、低速用の第２の圧縮率としては、同一の圧縮率を採用することができる。この場合、低速用の第１の圧縮率及び第２の圧縮率、並びに、中速の第１の圧縮率及び第２の圧縮率の関係は、低速用の第２の圧縮率＝中速用の第２の圧縮率＞低速用の第１の圧縮率＞中速用の第１の圧縮となる。但し、ここでは、圧縮率の値が大きいほど、高圧縮であるとする。低速用の第１の圧縮率及び第２の圧縮率、並びに、中速の第１の圧縮率及び第２の圧縮率それぞれでの圧縮後のデータ量の関係は、低速用の第２の圧縮率による圧縮後のデータ量＝中速用の第２の圧縮率による圧縮後のデータ量＜低速用の第１の圧縮率による圧縮後のデータ量＜中速用の第１の圧縮による圧縮後のデータ量となる。

【0279】

以上、車両１０の車速及び走行方向（前進、後進）に応じて、BM画像及びRV画像のデータ量を調整する調整制御について説明した。調整制御の方法は、図２０及び図２１で説明した方法に限定されるものではない。すなわち、調整制御の方法は、車両伝送帯域や、イメージセンサ３２の性能、BM表示部２１及びRV表示部２２の仕様等に応じて、適宜設定することができる。データ量は表示されるBM画像の画質やRV画像の画質と関係しているため、車両１０の車速及び走行方向（前進、後進）に応じて、BM画像及びRV画像の画質を変えていると言える。

【0280】

また、調整制御において、BM画像及びRV画像の解像度を小さくすることは、BM画像及びRV画像を構成する画素数を少なくすることにより行うこともできるし、BM画像及びRV画像の（不可逆な）圧縮を、画素数を変化させずに行うことにより行うこともできる。

【0281】

BM画像及びRV画像を圧縮することにより、BM画像及びRV画像の解像度を小さくする場合、BM画像及びRV画像を圧縮する圧縮率としては、圧縮及び伸張により得られる、高周波成分等の一部の周波数成分が失われたBM画像及びRV画像の実質的な解像度（画像が有する最高の周波数成分）が、図２０や図２１で説明した解像度（画素数）と等価になるような圧縮率を採用することができる。

【0282】

＜表示処理＞

【0283】

図２２は、図１７のビューイングシステムが行うBM画像及びRV画像を表示する表示処理の例を説明するフローチャートである。

【0284】

ステップＳ１１１において、イメージセンサ３２は、撮影画像を撮影し、処理は、ステップＳ１１２に進む。

【0285】

ステップＳ１１２では、取得部１３５は、車両１０から車両情報を取得し、制御部１３６に供給して、処理は、ステップＳ１１３に進む。

【0286】

ステップＳ１１３では、制御部１３６は、取得部１３５からの車両情報に応じて、イメージセンサ３２の抽出制御を行う。イメージセンサ３２は、制御部１３６の抽出制御に従い、撮影画像から、BM画像及びRV画像を抽出する。そして、イメージセンサ３２は、BM画像及びRV画像を、データ量調整部１３３に供給して、処理は、ステップＳ１１３からステップＳ１１４に進む。

【0287】

ステップＳ１１４では、制御部１３６は、取得部１３５からの車両情報に応じて、データ量調整部１３３の調整制御を行う。データ量調整部１３３は、制御部１３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整する。そして、データ量調整部１３３は、データ量が調整されたBM画像及びRV画像を、出力部１３４に供給して、処理は、ステップＳ１１４からステップＳ１１５に進む。

【0288】

ステップＳ１１５において、出力部１３４は、データ量調整部１３３からのデータ量が調整されたBM画像及びRV画像を、カメラユニット１１の外部に出力し、BM画像を、BM表示部２１に伝送するとともに、RV画像を、RV表示部２２に伝送して、処理は、ステップＳ１１６に進む。

【0289】

ステップＳ１１６では、BM表示部２１は、出力部１３４からのBM画像を、BM表示部２１の仕様に従って表示するとともに、RV表示部２２は、出力部１３４からのRV画像を、RV表示部２２の仕様に従って表示する。

【0290】

＜ビューイングシステムの第５の構成例＞

【0291】

図２３は、車両１０に搭載されたビューイングシステムの第５の構成例を示すブロック図である。

【0292】

なお、図中、図１７の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

【0293】

図２３において、ビューイングシステムは、カメラユニット１１、BM表示部２１、RV表示部２２、及び、抽出部１８２を有し、カメラユニット１１は、光学系３１、イメージセンサ３２、データ量調整部１３３、出力部１３４、取得部１３５、及び、制御部１８１を有する。

【0294】

したがって、図２３のビューイングシステムは、カメラユニット１１、BM表示部２１、及び、RV表示部２２を有し、カメラユニット１１が、光学系３１ないし取得部１３５を有する点で、図１７の場合と共通する。

【0295】

但し、図２３のビューイングシステムは、抽出部１８２が新たに設けられている点、及び、カメラユニット１１において、制御部１３６に代えて、制御部１８１が設けられている点で、図１７の場合と相違する。

【0296】

なお、図２３では、抽出部１８２は、カメラユニット１１の外部に設けられているが、カメラユニット１１の内部に設けることができる。

【0297】

制御部１８１には、取得部１３５から、車両情報が供給される。車両情報としては、例えば、走行情報や、BM表示部２１及びRV表示部２２の仕様、ジャイロ情報等がある。但し、この例では、取得部１３５から供給される車両情報には、運転者の視線及び頭部の位置は、含まれない。なお、車両１０の運転者の視線及び頭部の位置は、車両情報の一部として抽出部１８２に入力される。

【0298】

制御部１８１は、制御部１３６と同様に、取得部１３５からの車両情報に応じて、イメージセンサ３２の抽出制御、及び、データ量調整部１３３の調整制御を行う。

【0299】

但し、制御部１８１は、抽出制御において、運転者の視線及び頭部の位置のうちの一方又は両方に応じて、BM画像として抽出する領域R11（の位置）を制御する代わりに、領域R11よりサイズが大きい領域を、BM画像として抽出させる。

【0300】

したがって、図２３において、出力部１３４が出力するBM画像のサイズは、図１７及び図１２において、出力部１３４が出力するBM画像のサイズよりも大きい。

【0301】

図２３において、出力部１３４が出力する領域R11より大きいサイズのBM画像は、抽出部１８２に供給される。

【0302】

抽出部１８２には、出力部１３４から領域R11より大きいサイズのBM画像が供給される他、車両情報のうちの、運転者の視線及び頭部の位置が供給される。

【0303】

抽出部１８２は、運転者の視線及び頭部の位置のうちの一方又は両方に応じて、出力部１３４からの領域R11より大きいサイズのBM画像の一部の領域、すなわち、領域R11と同一サイズの領域を、BM表示部２１に表示させる最終的なBM画像として抽出し、BM表示部２１に供給する。

【0304】

＜撮影画像からのBM画像及びRV画像の抽出制御＞

【0305】

図２４は、制御部１８１による、撮影画像からのBM画像及びRV画像の抽出制御の例を説明する図である。

【0306】

図２４は、図４と同様に、光学系３１のイメージサークルと、イメージセンサ３２が撮影する撮影画像（イメージセンサ３２の受光面）とを示している。

【0307】

制御部１８１は、抽出制御において、制御部１３６と同様に、領域R12を、RV画像として抽出するように、イメージセンサ３２からのデータの読み出しを制御する。

【0308】

また、制御部１８１は、抽出制御において、撮像画像から、領域R11ではなく、領域R11のサイズよりも大きいサイズの領域R31を、BM画像として抽出するように、イメージセンサ３２からのデータの読み出しを制御する。

【0309】

領域R31は、仮に、車両１０に、室内バックミラーが設置されていたならば、運転者が視線や頭部を移動することにより、室内バックミラーによって運転者が見ることができる最大の範囲を包含する領域である。領域R11は、運転者の視線や頭部の位置に応じて位置が変更される可変の領域であるが、領域R31は、固定の領域である。

【0310】

抽出部１８２では、以上のような領域R31から、運転者の視線及び頭部の位置のうちの一方又は両方に応じた位置の領域であって、領域R11と同一サイズの領域が、BM表示部２１に表示させる最終的なBM画像として抽出される。すなわち、抽出部１８２では、領域R31から、車両１０に室内バックミラーが設置されていたならば、運転者が、その室内バックミラーによって観察するであろう領域R11が、BM画像として抽出される。

【0311】

＜表示処理＞

【0312】

図２５は、図２３のビューイングシステムが行うBM画像及びRV画像を表示する表示処理の例を説明するフローチャートである。

【0313】

ステップＳ１２１において、イメージセンサ３２は、撮影画像を撮影し、処理は、ステップＳ１２２に進む。

【0314】

ステップＳ１２２では、取得部１３５は、車両１０から車両情報を取得し、制御部１３６に供給して、処理は、ステップＳ１２３に進む。

【0315】

ステップＳ１２３では、制御部１３６は、イメージセンサ３２の抽出制御を行う。イメージセンサ３２は、制御部１３６の抽出制御に従い、図２４で説明したように、撮影画像から、領域R31及びR12を、BM画像及びRV画像としてそれぞれ抽出する。そして、イメージセンサ３２は、BM画像及びRV画像を、データ量調整部１３３に供給して、処理は、ステップＳ１２３からステップＳ１２４に進む。

【0316】

ステップＳ１２４では、制御部１３６は、取得部１３５からの車両情報に応じて、データ量調整部１３３の調整制御を行う。データ量調整部１３３は、制御部１３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整する。そして、データ量調整部１３３は、データ量が調整されたBM画像及びRV画像を、出力部１３４に供給して、処理は、ステップＳ１２４からステップＳ１２５に進む。

【0317】

ステップＳ１２５において、出力部１３４は、データ量調整部１３３からのデータ量が調整されたBM画像及びRV画像を、カメラユニット１１の外部に出力して、処理は、ステップＳ１２６に進む。これにより、図２３では、BM画像は、抽出部１８２に供給され、RV画像は、RV表示部２２に伝送される。

【0318】

ステップＳ１２６では、抽出部１８２は、車両１０から、車両情報に含まれる運転者の視線及び頭部の位置を取得し、処理は、ステップＳ１２７に進む。

【0319】

ステップＳ１２７では、抽出部１８２は、出力部１３４からのBM画像から、運転者の視線及び頭部の位置に応じた位置の、領域R11と同一サイズの領域を、BM表示部２１に表示させる最終的なBM画像として抽出する。そして、抽出部１８２は、最終的なBM画像を、BM表示部２１に伝送して、処理は、ステップＳ１２７からステップＳ１２８に進む。

【0320】

ステップＳ１２８では、BM表示部２１は、抽出部１８２からのBM画像を、BM表示部２１の仕様に従って表示するとともに、RV表示部２２は、出力部１３４からのRV画像を、RV表示部２２の仕様に従って表示する。

【0321】

＜本技術を適用したコンピュータの説明＞

【0322】

次に、上述した一連の処理は、ハードウエアにより行うこともできるし、ソフトウエアにより行うこともできる。一連の処理をソフトウエアによって行う場合には、そのソフトウエアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

【0323】

図２６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。

【0324】

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク９０５やROM９０３に予め記録しておくことができる。

【0325】

あるいはまた、プログラムは、ドライブ９０９によって駆動されるリムーバブル記録媒体９１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体９１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体９１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

【0326】

なお、プログラムは、上述したようなリムーバブル記録媒体９１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク９０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

【0327】

コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、入出力インタフェース９１０が接続されている。

【0328】

CPU９０２は、入出力インタフェース９１０を介して、ユーザによって、入力部９０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。あるいは、CPU９０２は、ハードディスク９０５に格納されたプログラムを、RAM(Random Access Memory)９０４にロードして実行する。

【0329】

これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース９１０を介して、出力部９０６から出力、あるいは、通信部９０８から送信、さらには、ハードディスク９０５に記録等させる。

【0330】

なお、入力部９０７は、キーボードや、マウス、マイク等で構成される。また、出力部９０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

【0331】

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

【0332】

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

【0333】

さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

【0334】

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

【0335】

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0336】

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0337】

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0338】

また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

【0339】

なお、本技術は、以下の構成をとることができる。

【0340】

＜１＞
車両の表示部に表示される画像を撮影するイメージセンサと、
前記車両で取得される車両情報に基づいて、前記イメージセンサからの画像の読み出しを制御する制御部と
を備える撮影装置。
＜２＞
前記車両情報を用いて、前記車両の傾き情報を検出する検出部をさらに備え、
前記制御部は前記傾き情報に応じて、イメージセンサからの画像の読出しを制御する
＜１＞に記載の撮影装置。
＜３＞
前記検出部は、前記車両の前側及び後ろ側への傾きを表す前記傾き情報を検出する
＜２＞に記載の撮影装置。
＜４＞
前記検出部は、前記車両の左側及び右側への傾きを表す前記傾き情報を検出する
＜２＞に記載の撮影装置。
＜５＞
前記検出部は、前記車両の前側及び後ろ側への傾きと、前記車両の左側及び右側への傾きとを表す前記傾き情報を検出する
＜２＞に記載の撮影装置。
＜６＞
前記制御部は、前記イメージセンサにおいて画像が読み出される読み出し位置を制御する
＜１＞ないし＜５＞のいずれかに記載の撮影装置。
＜７＞
前記読み出し位置は、前記イメージセンサにおいて画像の読み出しが開始される読み出し開始位置と、前記イメージセンサにおいて読み出される画像のサイズとで指定される
＜６＞に記載の撮影装置。
＜８＞
前記制御部は、前記表示部に表示される画像に写る路面の比率が所定の比率に維持されるように、前記イメージセンサからの画像の読み出しを制御する
＜１＞ないし＜７＞のいずれかに記載の撮影装置。
＜９＞
前記イメージセンサから読み出された画像の回転、及び、回転後の画像からの、前記表示部に表示する画像の切り出しを行う加工部をさらに備える
＜１＞ないし＜８＞のいずれかに記載の撮影装置。
＜１０＞
前記制御部は、前記画像の回転を制御する
＜９＞に記載の撮影装置。
＜１１＞
前記制御部は、前記車両の傾き情報に応じて、前記画像の回転の回転角度を算出し、その回転角度だけ、前記画像を回転させるように、前記画像の回転を制御する
＜１０＞に記載の撮影装置。
＜１２＞
前記車両情報は、前記車両が有するジャイロから得られるジャイロ情報、前記車両のサスペンションに関するサスペンション情報、前記車両の前方を撮影するフロントカメラから得られるフロントカメラ画像、及び、GPSから得られるGPS情報のうちの１以上である
＜１＞ないし＜１１＞のいずれかに記載の撮影装置。
＜１３＞
前記表示部は、クラスIミラーの代替となる表示部である
＜１＞ないし＜１２＞のいずれかに記載の撮影装置。
＜１４＞
車両で取得される車両情報に基づいて、前記車両の表示部に表示される画像を撮影するイメージセンサからの画像の読み出しを制御する制御ステップを備える
制御方法。
＜１５＞
車両で取得される車両情報に基づいて、前記車両の表示部に表示される画像を撮影するイメージセンサからの画像の読み出しを制御する制御部
として、コンピュータを機能させるためのプログラム。
＜１６＞
前記車両情報を用いて、前記車両の傾き情報を検出する検出ステップをさらに備え、
前記イメージセンサからの画像の読出しの制御は前記傾き情報に応じてなされる
ことを特徴とする＜１４＞に記載の制御方法。
＜１７＞
前記車両情報を用いて、前記車両の傾き情報を検出する検出部として、さらにコンピュータを機能させるプログラムであり、
前記イメージセンサからの画像の読出しの制御は前記傾き情報に応じてなされる
ことを特徴とする＜１５＞に記載のプログラム。
＜１８＞
前記車両情報は、車両の速度情報とギア情報の少なくとも一つを含む
＜１＞ないし＜１３＞のいずれかに記載の撮影装置。
＜１９＞
前記車両情報は、車両の速度情報とギア情報の少なくとも一つを含む
＜１４＞又は＜１６＞に記載の制御方法。
＜２０＞
前記車両情報は、車両の速度情報とギア情報の少なくとも一つを含む
＜１５＞又は＜１７＞に記載のプログラム。

【符号の説明】

【0341】

１０ 車両， １１ カメラユニット， ２１ BM表示部， ２２ RV表示部， ２３ 車内カメラ， ３１ 光学系， ３２ イメージセンサ， ３３ 出力部， ４１ 取得部， ４２ 検出部， ４３ 制御部， ５１ 画素アレイ， ５２ 入力回路， ５３ 行選択回路， ５４ 列選択回路， ５５ AD変換器， ５６ ラインバッファ， ５７ 出力回路， ６１ 画素， ７１ 制御部， ７２ 加工部， １３３ データ量調整部， １３４ 出力部， １３５ 取得部， １３６ 制御部， １８１ 制御部， １８２ 抽出部， ９０１ バス， ９０２ CPU， ９０３ ROM， ９０４ RAM， ９０５ ハードディスク， ９０６ 出力部， ９０７ 入力部， ９０８ 通信部， ９０９ ドライブ， ９１０ 入出力インタフェース， ９１１ リムーバブル記録媒体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】