知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024158311
(43)【公開日】2024-11-08
(54)【発明の名称】車両用撮影システム
(51)【国際特許分類】
H04N 7/18 20060101AFI20241031BHJP
H04N 23/695 20230101ALI20241031BHJP
H04N 23/66 20230101ALI20241031BHJP
B60R 1/28 20220101ALI20241031BHJP
【ＦＩ】
H04N7/18 J
H04N23/695
H04N23/66
B60R1/28 200
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2023073423
(22)【出願日】2023-04-27
(71)【出願人】
【識別番号】000002082
【氏名又は名称】スズキ株式会社
(74)【代理人】
【識別番号】100090273
【弁理士】
【氏名又は名称】國分 孝悦
(72)【発明者】
【氏名】和泉 拓馬
【テーマコード（参考）】
5C054
5C122
【Ｆターム（参考）】
5C054AA02
5C054CA04
5C054CC02
5C054CF06
5C054CG07
5C054EA01
5C054EA05
5C054HA30
5C122DA03
5C122DA11
5C122DA14
5C122EA47
5C122EA63
5C122EA66
5C122FA01
5C122FK23
5C122GD04
5C122HA75
5C122HA82
5C122HB01
(57)【要約】
【課題】運転者が必要とする情報を適切に提供できるようにする。
【解決手段】車両用撮影システムは、車両（１００）に設置された撮影部（１）と、前記撮影部（１）を動かして撮影範囲を可変にする可動部（２）と、前記撮影部（１）で撮影した画像を表示する表示部（３）と、運転者の視線を検出する視線検出部（４）と、前記視線検出部（４）で検出した運転者の視線に基づいて、前記可動部（２）を制御して前記撮影部（１）の撮影範囲を変える制御部（５）とを備える。
【選択図】図１
【解決手段】車両用撮影システムは、車両（１００）に設置された撮影部（１）と、前記撮影部（１）を動かして撮影範囲を可変にする可動部（２）と、前記撮影部（１）で撮影した画像を表示する表示部（３）と、運転者の視線を検出する視線検出部（４）と、前記視線検出部（４）で検出した運転者の視線に基づいて、前記可動部（２）を制御して前記撮影部（１）の撮影範囲を変える制御部（５）とを備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
車両に設置された撮影部と、
前記撮影部を動かして撮影範囲を可変にする可動部と、
前記撮影部で撮影した画像を表示する表示部と、
運転者の視線を検出する視線検出部と、
前記視線検出部で検出した運転者の視線に基づいて、前記可動部を制御して前記撮影部の撮影範囲を変える制御部とを備えたことを特徴とする車両用撮影システム。
前記撮影部を動かして撮影範囲を可変にする可動部と、
前記撮影部で撮影した画像を表示する表示部と、
運転者の視線を検出する視線検出部と、
前記視線検出部で検出した運転者の視線に基づいて、前記可動部を制御して前記撮影部の撮影範囲を変える制御部とを備えたことを特徴とする車両用撮影システム。
【請求項2】
前記視線検出部は、運転者の視線が前記表示部の画面のどの位置に向けられているかを検出し、
前記制御部は、前記視線検出部で検出した位置に基づいて、前記可動部を制御して前記撮影部の撮影範囲を変えることを特徴とする請求項１に記載の車両用撮影システム。
前記制御部は、前記視線検出部で検出した位置に基づいて、前記可動部を制御して前記撮影部の撮影範囲を変えることを特徴とする請求項１に記載の車両用撮影システム。
【請求項3】
前記制御部は、運転者が同じ位置に視線を向けている状態が所定の時間だけ継続するとき、前記可動部を制御して前記撮影部の撮影範囲を変えることを特徴とする請求項２に記載の車両用撮影システム。
【請求項4】
運転者の頭部の動きを検出する動き検出部を備え、
前記制御部は、前記視線検出部で検出した運転者の視線、及び前記動き検出部で検出した運転者の頭部の動きに基づいて、前記可動部を制御して前記撮影部の撮影範囲を変えることを特徴とする請求項１に記載の車両用撮影システム。
前記制御部は、前記視線検出部で検出した運転者の視線、及び前記動き検出部で検出した運転者の頭部の動きに基づいて、前記可動部を制御して前記撮影部の撮影範囲を変えることを特徴とする請求項１に記載の車両用撮影システム。
【請求項5】
前記可動部は、前記撮影部の撮影方向を可変にすることを特徴とする請求項１乃至４のいずれか１項に記載の車両用撮影システム。
【請求項6】
前記撮影部は、前記車両の後方を撮影し、
前記表示部は、運転者が前記車両の後方を視認するための表示部であることを特徴とする請求項１乃至４のいずれか１項に記載の車両用撮影システム。
前記表示部は、運転者が前記車両の後方を視認するための表示部であることを特徴とする請求項１乃至４のいずれか１項に記載の車両用撮影システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両用撮影システムに関する。
【背景技術】
【0002】
車両に設置されたカメラで車両の周辺を撮影し、その撮影画像を、車内に設置された表示装置に表示する車両用撮影システムが知られている。例えば特許文献１には、モニタ内蔵ルームミラーに、車外カメラにより撮影された映像を映し出す技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００２－１２０６４９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
車両用撮影システムにおいて、車両にカメラが不動に設置され、撮影範囲が固定化されている場合、その範囲外の撮影画像を得ることができず、運転者が必要とする情報を適切に提供できなくなるおそれがある。
【0005】
本発明はかかる実情に鑑みてなされたものであり、運転者が必要とする情報を適切に提供できるようにすることを目的とする。
【課題を解決するための手段】
【0006】
本発明の車両用撮影システムは、車両に設置された撮影部と、前記撮影部を動かして撮影範囲を可変にする可動部と、前記撮影部で撮影した画像を表示する表示部と、運転者の視線を検出する視線検出部と、前記視線検出部で検出した運転者の視線に基づいて、前記可動部を制御して前記撮影部の撮影範囲を変える制御部とを備えたことを特徴とする。
【発明の効果】
【0007】
本発明によれば、運転者が必要とする情報を適切に提供することが可能になる。
【図面の簡単な説明】
【0008】
【図1】実施例に係る車両用撮影システムの構成を示す図である。
【図2】実施例に係る制御装置が実行する処理の例を示すフローチャートである。
【図3】実施例に係る制御装置が実行する処理の例を示すフローチャートである。
【図4】視線検出センサによる視線検出を説明するための図である。
【発明を実施するための形態】
【0009】
本発明の一実施形態に係る車両用撮影システムは、車両（１００）に設置された撮影部（１）と、前記撮影部（１）を動かして撮影範囲を可変にする可動部（２）と、前記撮影部（１）で撮影した画像を表示する表示部（３）と、運転者の視線を検出する視線検出部（４）と、前記視線検出部（４）で検出した運転者の視線に基づいて、前記可動部（２）を制御して前記撮影部（１）の撮影範囲を変える制御部（５）とを備える。
これにより、運転者の意図に応じて、撮影範囲が固定化されている場合には撮影できない範囲を撮影することが可能になり、運転者が必要とする情報を適切に提供することが可能になる。
これにより、運転者の意図に応じて、撮影範囲が固定化されている場合には撮影できない範囲を撮影することが可能になり、運転者が必要とする情報を適切に提供することが可能になる。
【実施例0010】
以下、添付図面を参照して、本発明の好適な実施例について説明する。
図１は、実施例に係る車両用撮影システムの構成例を示す図であり、（ａ）は車両用撮影システムの構成を示すブロック図、（ｂ）はカメラ１、可動装置２、表示装置３及び視線検出センサ４の設置箇所を説明するための図である。
車両である自動車１００には、カメラユニット１（単にカメラ１と称する）と、カメラ１を動かして撮影範囲を可変にする可動装置２とが設置される。本実施例では、自動車１００の後部にカメラ１及び可動装置２が設置され、カメラ１は自動車１００の後方を撮影する。また、可動装置２は、カメラ１をパン・チルト駆動して、カメラ１の撮影方向を可変にする。本実施例では、カメラ１及び可動装置２が、それぞれ本発明でいう撮影部及び可動部として機能する。
図１は、実施例に係る車両用撮影システムの構成例を示す図であり、（ａ）は車両用撮影システムの構成を示すブロック図、（ｂ）はカメラ１、可動装置２、表示装置３及び視線検出センサ４の設置箇所を説明するための図である。
車両である自動車１００には、カメラユニット１（単にカメラ１と称する）と、カメラ１を動かして撮影範囲を可変にする可動装置２とが設置される。本実施例では、自動車１００の後部にカメラ１及び可動装置２が設置され、カメラ１は自動車１００の後方を撮影する。また、可動装置２は、カメラ１をパン・チルト駆動して、カメラ１の撮影方向を可変にする。本実施例では、カメラ１及び可動装置２が、それぞれ本発明でいう撮影部及び可動部として機能する。
【0011】
また、自動車１００の車内には、カメラ１で撮影した画像を表示する表示装置３が設置される。本実施例では、表示装置３は、鏡式のインナーミラーに替えて設置されるデジタルインナーミラー等と呼ばれるものであり、運転室の天井前側や前面ガラスの上部中央に設置され、運転者が自動車１００の後方を視認するのに利用される。本実施例では、表示装置３が、本発明でいう表示部として機能する。
表示装置３には、運転者の視線を検出する視線検出センサ４が装着される。図４は、視線検出センサ４による視線検出を説明するための図である。図４に示すように、視線検出センサ４は、表示装置３の画面３ａを９つの領域１～９に分けて、運転者の視線がどの位置（どの領域）に向けられているかを検出する。本実施例では、視線検出センサ４が、本発明でいう視線検出部として機能する。
表示装置３には、運転者の視線を検出する視線検出センサ４が装着される。図４は、視線検出センサ４による視線検出を説明するための図である。図４に示すように、視線検出センサ４は、表示装置３の画面３ａを９つの領域１～９に分けて、運転者の視線がどの位置（どの領域）に向けられているかを検出する。本実施例では、視線検出センサ４が、本発明でいう視線検出部として機能する。
【0012】
また、自動車１００の適所には、カメラ１で撮影した画像を表示装置３に表示する処理を実行する制御装置５が設置される（図１（ｂ）では制御装置５の図示は省略）。制御装置５は、その詳細は後述するが、視線検出センサ４で検出した運転者の視線に基づいて、可動装置２を制御してカメラ１の撮影範囲を変える処理を実行する。このようにした制御装置５は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータ装置により構成される。既存の電子制御装置が、その一部の機能として、制御装置５の機能を実現するようにしてもよい。本実施例では、制御装置５が、本発明でいう制御部として機能する。
【0013】
【0014】
図２には、カメラ１で撮影した画像を表示装置３に表示する処理を示す。図２のフローチャートは、自動車１００のエンジン等の駆動源を始動してから停止させるまでの間、繰り返し実行される。
ステップＳ１０１で、制御装置５は、カメラ１で撮影した画像を取得する。通常時、換言すれば、次に述べる図３のフローチャートの処理により、カメラ１の撮影方向を変えるとき以外は、カメラ１は、予め設定された初期設定方向を撮影するようになっている。また、カメラ１は、図３のフローチャートの処理により、撮影方向を変えて撮影することもある。
ステップＳ１０２で、制御装置５は、ステップＳ１０１で取得した撮影画像を表示装置３に表示する。
ステップＳ１０１で、制御装置５は、カメラ１で撮影した画像を取得する。通常時、換言すれば、次に述べる図３のフローチャートの処理により、カメラ１の撮影方向を変えるとき以外は、カメラ１は、予め設定された初期設定方向を撮影するようになっている。また、カメラ１は、図３のフローチャートの処理により、撮影方向を変えて撮影することもある。
ステップＳ１０２で、制御装置５は、ステップＳ１０１で取得した撮影画像を表示装置３に表示する。
【0015】
図３には、視線検出センサ４で検出した運転者の視線に基づいて、可動装置２を制御してカメラ１の撮影方向を変える処理を示す。図３のフローチャートは、図２のフローチャートと並列に、繰り返し実行される。
ステップＳ２０１で、制御装置５は、視線検出センサ４で検出した運転者の視線情報を取得する。本実施例では、制御装置５は、運転者の視線が表示装置３の画面３ａに向けられているか否か、また、運転者の視線が表示装置３の画面３ａに向けられている場合には、領域１～９のうち、運転者の視線がどの領域に向けられているかの情報を取得する。
ステップＳ２０１で、制御装置５は、視線検出センサ４で検出した運転者の視線情報を取得する。本実施例では、制御装置５は、運転者の視線が表示装置３の画面３ａに向けられているか否か、また、運転者の視線が表示装置３の画面３ａに向けられている場合には、領域１～９のうち、運転者の視線がどの領域に向けられているかの情報を取得する。
【0016】
ステップＳ２０２で、制御装置５は、ステップＳ２０１で取得した視線情報に基づいて、運転者の視線が表示装置３の画面３ａの所定の位置に向けられているか否かを判定する。本実施例では、所定の位置は、画面３ａの周囲の領域２～９であり、制御装置５は、運転者の視線が領域２～９のいずれかに向けられているか否かを判定する。運転者の視線が領域２～９のいずれかに向けられている場合、ステップＳ２０３に進む。一方、運転者の視線が領域２～９のいずれかに向けられていない場合、本フローチャートを抜ける。
【0017】
ステップＳ２０３で、制御装置５は、運転者が同じ位置に視線を向けている時間が所定の時間以上であるか否かを判定する。すなわち、制御装置５は、運転者の視線が領域２～９のいずれかに向けられている状態が所定の時間だけ継続するか否かを判定する。所定の時間以上である場合、ステップＳ２０４に進む。一方、所定の時間以上でない場合、本フローチャートを抜ける。
【0018】
ステップＳ２０４で、制御装置５は、ステップＳ２０１で取得した視線情報に基づいて、可動装置２を制御してカメラ１の撮影方向を変える。制御装置５は、領域２～９のうち、運転者の視線が向けられている領域に表示される撮影画像が画面３ａの中央に向かって所定量だけ移動するようにカメラ１の撮影方向を変える。例えば運転者の視線が左上の領域２に向けられている場合、制御装置５は、図４中の矢印Ａに示すように、領域２に表示される撮影画像が画面３ａの中央に向かって所定量だけ移動するようにカメラ１の撮影方向を変える。これにより、それまでは撮影範囲外であった部分を含む撮影画像４０１が表示装置３に表示される。
【0019】
なお、ステップＳ２０４でカメラ１の撮影方向を変えた後、運転者の視線が外れて、その状態が継続したとき、カメラ１の撮影方向を初期設定方向に戻すようにする。また、ステップＳ２０４でカメラ１の撮影方向を変えた後、運転者の視線が中央の領域１に向けられて、その状態が継続したとき、カメラ１の撮影方向を初期設定方向に戻すようにしてもよい。
また、図４では、領域１～９を略同じ大きさとして示したが、領域の数や大きさは適宜設定されればよい。例えば中央の領域１が周囲の領域２～９よりも大きく設定されている等のようにしてもよい。
また、図４では、領域１～９を略同じ大きさとして示したが、領域の数や大きさは適宜設定されればよい。例えば中央の領域１が周囲の領域２～９よりも大きく設定されている等のようにしてもよい。
【0020】
以上のように、運転者の視線に基づいて、可動装置２を制御してカメラ１の撮影範囲を変えるようにしたので、運転者の意図に応じて、撮影範囲が固定化されている場合には撮影できない範囲を撮影することが可能になる。これにより、運転者から見えない死角を減らすことができる。例えば自動車１００の後下方は死角となりやすいが、運転者が表示装置３の画面３ａの下方の領域（例えば領域７）に視線を向けることにより、カメラ１の撮影方向が下向きになる。これにより、それまでは撮影範囲外であった自動車１００の後下方の領域を含む撮影画像を表示装置３に表示することができ、後退をアシストすることができる。このように、運転者が必要とする情報を適切に提供することが可能になる。
【0021】
また、運転者の視線が表示装置３の画面３ａのどの位置に向けられているかを検出し、その位置に基づいて、可動装置２を制御してカメラ１の撮影範囲を変えるようにしたので、撮影範囲を変える方向を細かく制御することができ、運転者が見たい範囲を適切に撮影することができる。
また、運転者が同じ位置に視線を向けている状態が所定の時間だけ継続することを条件として（ステップＳ２０３）、カメラ１の撮影範囲を変えるようにしたので、運転者の意図に反して必要以上に撮影範囲（すなわち、表示装置３に表示される撮影画像）が変化することを防ぐことができる。
また、運転者が同じ位置に視線を向けている状態が所定の時間だけ継続することを条件として（ステップＳ２０３）、カメラ１の撮影範囲を変えるようにしたので、運転者の意図に反して必要以上に撮影範囲（すなわち、表示装置３に表示される撮影画像）が変化することを防ぐことができる。
【0022】
以下、変形例について説明する。
運転者の頭部の動きを検出する動き検出部を備え、制御装置５が、視線検出センサ４で検出した運転者の視線、及び動き検出部で検出した運転者の頭部の動きに基づいて、可動装置２を制御してカメラ１の撮影範囲を変えるようにしてもよい。鏡式のインナーミラーでは、運転者がインナーミラーの上下左右の方向をのぞき込むようにして見る角度を変えると、インナーミラーで見える範囲が変化する。これと近い挙動を再現するように、運転者の視線が表示装置３の画面３ａに向けられており、さらに上下左右の方向をのぞき込むような頭部の動きが検出された場合、カメラ１の撮影範囲を変える。例えば運転者の視線が表示装置３の画面３ａに向けられており、さらに左上の方向をのぞき込むような頭部の動きが検出された場合、制御装置５は、図４で矢印Ａを用いて説明したのと同様、画面３ａの左上の領域に表示される撮影画像が画面３ａの中央に向かって所定量だけ移動するようにカメラ１の撮影方向を変える。これにより、それまでは撮影範囲外であった部分を含む撮影画像が表示装置３に表示される。
運転者の頭部の動きを検出する動き検出部を備え、制御装置５が、視線検出センサ４で検出した運転者の視線、及び動き検出部で検出した運転者の頭部の動きに基づいて、可動装置２を制御してカメラ１の撮影範囲を変えるようにしてもよい。鏡式のインナーミラーでは、運転者がインナーミラーの上下左右の方向をのぞき込むようにして見る角度を変えると、インナーミラーで見える範囲が変化する。これと近い挙動を再現するように、運転者の視線が表示装置３の画面３ａに向けられており、さらに上下左右の方向をのぞき込むような頭部の動きが検出された場合、カメラ１の撮影範囲を変える。例えば運転者の視線が表示装置３の画面３ａに向けられており、さらに左上の方向をのぞき込むような頭部の動きが検出された場合、制御装置５は、図４で矢印Ａを用いて説明したのと同様、画面３ａの左上の領域に表示される撮影画像が画面３ａの中央に向かって所定量だけ移動するようにカメラ１の撮影方向を変える。これにより、それまでは撮影範囲外であった部分を含む撮影画像が表示装置３に表示される。
【0023】
また、視線検出部として、表示装置３に装着された視線検出センサ４を述べたが、これに限定されるものではない。運転者の居眠り認識用センサやカメラ等、既に車両に搭載されており、運転者の視線を検出できるものであれば、それを利用することができる。運転者の頭部の動きを検出する動き検出部についても同様に、既に車両に搭載されており、運転者の頭部の動きを検出できるものであれば、それを利用することができる。
【0024】
また、自動車１００の後部にカメラ１が設置され、表示装置３がデジタルインナーミラーである述べたが、これに限定されるものではない。例えば自動車１００の側部に、自動車１００の側方から後方を撮影するカメラ１が設置されるようにしてもよい。そして、表示装置３が、鏡式のサイドミラーに替えて設置されるデジタルサイドミラー等と呼ばれるものであってもよい。また、表示装置３は、デジタルインナーミラーやデジタルサイドミラー以外の表示装置であってもよい。
【0025】
また、可動装置２がカメラ１をパン・チルト駆動する例を述べたが、これに限定されるものではない。例えば自動車１００の後部において、可動装置２は、カメラ１を撮影方向は変わらないが上下左右の方向に移動させて、撮影範囲を可変にする構成にしてもよい。
【0026】
以上、本発明の実施例を、図面を参照して詳細に説明したが、各実施例は、本発明の実施にあたっての具体例を示したに過ぎない。本発明の技術的範囲は、各実施例に限定されるものではない。本発明は、その趣旨を逸脱しない範囲において種々の変更が可能であり、それらも本発明の技術的範囲に含まれる。
【符号の説明】
【0027】
１：カメラ、２：可動装置、３：表示装置、３ａ：画面、４：視線検出センサ、５：制御装置、１００：自動車
【図1】
【図2】
【図3】
【図4】