知財求人 - 知財ポータルサイト「IP Force」
特許7592573画像処理装置、移動体、画像処理方法、及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-22
(45)【発行日】2024-12-02
(54)【発明の名称】画像処理装置、移動体、画像処理方法、及びコンピュータプログラム
(51)【国際特許分類】
H04N 7/18 20060101AFI20241125BHJP
H04N 23/60 20230101ALI20241125BHJP
H04N 23/63 20230101ALI20241125BHJP
B60R 1/26 20220101ALI20241125BHJP
【ＦＩ】
H04N7/18 J
H04N23/60 500
H04N23/63
H04N23/63 330
B60R1/26 100
【請求項の数】
14
(21)【出願番号】P 2021177136
(22)【出願日】2021-10-29
(65)【公開番号】P2023066504
(43)【公開日】2023-05-16
【審査請求日】2023-05-22
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100208580
【弁理士】
【氏名又は名称】三好 玲奈
(72)【発明者】
【氏名】小島 安弘
【審査官】塚本 丈二
(56)【参考文献】
【文献】特開２０２１－１５７２９１（ＪＰ，Ａ）
【文献】特開２０２０－１１００１０（ＪＰ，Ａ）
【文献】特開２０１８－１２９８３３（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１５／０３５０６０７（ＵＳ，Ａ１）
【文献】国際公開第２０１６／１７８１９０（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１８
Ｈ０４Ｎ ２３／６３
Ｈ０４Ｎ ２３／６０
Ｂ６０Ｒ １／２６
(57)【特許請求の範囲】
【請求項1】
移動体の後方を撮影する撮像手段からの映像を取得する取得手段と、前記取得手段によって取得された前記映像のうち、第１の範囲を第１の表示手段に表示させる表示制御手段と、
前記取得手段によって取得された前記映像に基づき所定の対象物を検出する検出手段と、を有し、
前記表示制御手段は、前記検出手段によって前記所定の対象物が検出された場合に、前記第１の範囲とは異なる第２の範囲の前記映像を前記第１の表示手段とは異なる第２の表示手段に切り替えて表示させるよう制御することを特徴とする画像処理装置。
【請求項2】
前記第２の範囲は少なくとも前記所定の対象物が表示される範囲であることを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記第２の範囲は前記移動体も表示される範囲であることを特徴とする請求項２に記載の画像処理装置。
【請求項4】
前記検出手段は、前記取得手段によって取得された前記映像に基づき、所定の動作をする他の移動体を前記所定の対象物として検出することを特徴とする請求項１～３のいずれか１項に記載の画像処理装置。
【請求項5】
前記所定の動作は、追い越し動作、合流動作、警告灯を表示した走行動作、危険運転動作の少なくとも１つを含むことを特徴とする請求項４に記載の画像処理装置。
【請求項6】
前記危険運転動作は、蛇行運転、所定のパッシング動作、所定のクラクション動作、所定速度以上の走行動作、所定加速度以上の走行動作、所定の法定の規則に反した走行をする動作の少なくとも１つを含むことを特徴とする請求項５に記載の画像処理装置。
【請求項7】
前記移動体の現在位置の情報を取得する位置情報検知部を有し、前記検出手段は、前記現在位置の情報に基づき、前記他の移動体を前記所定の対象物として検出することを特徴とする請求項４に記載の画像処理装置。
【請求項8】
音声を検知する音声検知部を有し、前記音声検知部により検知された所定の音声と前記取得手段によって取得された前記映像に基づき、前記所定の音声を発する前記他の移動体を前記所定の対象物として検知することを特徴とする請求項４に記載の画像処理装置。
【請求項9】
前記検出手段は、所定の種類の他の移動体を、前記取得手段によって取得された前記映像に基づき前記所定の対象物として検出することを特徴とする請求項１～８のいずれか１項に記載の画像処理装置。
【請求項10】
前記表示制御手段は、前記第２の表示手段に、前記所定の対象物の属性を表示することを特徴とする請求項１～９のいずれか１項に記載の画像処理装置。
【請求項11】
前記表示制御手段は、前記第２の表示手段に、前記所定の対象物を囲む認識枠を表示することを特徴とする請求項１～１０のいずれか１項に記載の画像処理装置。
【請求項12】
請求項１～１１のいずれか１項に記載の画像処理装置と、前記第１の表示手段と、前記第２の表示手段とを有すると共に、前記撮像手段を配置した移動体。
【請求項13】
移動体の後方を撮影する撮像手段からの映像を取得する取得ステップと、前記取得ステップによって取得された前記映像のうち、第１の範囲を第１の表示手段に表示させる表示制御ステップと、
前記取得ステップによって取得された前記映像に基づき所定の対象物を検出する検出ステップと、を有し、
前記表示制御ステップは、前記検出ステップによって前記所定の対象物が検出された場合に、前記第１の範囲とは異なる第２の範囲の前記映像を前記第１の表示手段とは異なる第２の表示手段に切り替え表示させるよう制御することを特徴とする画像処理方法。
【請求項14】
請求項１～１１のいずれか１項に記載の画像処理装置又は請求項１２の移動体の各手段をコンピュータにより制御するためのコンピュータプログラム。【発明の詳細な説明】
【技術分野】
【0001】
本発明は、移動体のための画像処理装置、移動体、画像処理方法、及びコンピュータプログラムに関する。
【背景技術】
【0002】
近年、後方を撮影する車載カメラによって撮影された画像を、電子ルームミラー、又はセンタークラスターに設置された表示パネルに表示し、後方の安全を確認できる技術が知られている。
【0003】
特許文献１には、画角の狭い表示モードで表示中に、車両周辺の物体を検知した場合に、画角の広い表示モードに切り替え、更に車両の発進操作を検出した場合には再び画角の狭い表示モードに切り替え構成が記載されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１３－１６１４４０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１では、後退時の後方の確認を目的としており、表示の切り替えのタイミングが発進操作であるため、通常運転時の表示の切り替えについては考慮されていない。
【0006】
しかし、それでは後続車が死角に入るおそれがある。例えば、後方から追い越される場合や、合流車線で合流する場合や、後方を緊急車両が走行中の場合や、近年社会的に問題になっている危険運転を行う車両が後方を走行している場合などが想定される。
【0007】
本発明は、移動体の後方の視認性を向上できるようにすることを目的とする。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明の画像処理装置は、
移動体の後方を撮影する撮像手段からの映像を取得する取得手段と、
前記取得手段によって取得された前記映像のうち、第１の範囲を第１の表示手段に表示させる表示制御手段と、
前記取得手段によって取得された前記映像に基づき所定の対象物を検出する検出手段と、を有し、
前記表示制御手段は、前記検出手段によって前記所定の対象物が検出された場合に、前記第１の範囲とは異なる第２の範囲の前記映像を前記第１の表示手段とは異なる第２の表示手段に切り替えて表示させるよう制御することを特徴とする。
移動体の後方を撮影する撮像手段からの映像を取得する取得手段と、
前記取得手段によって取得された前記映像のうち、第１の範囲を第１の表示手段に表示させる表示制御手段と、
前記取得手段によって取得された前記映像に基づき所定の対象物を検出する検出手段と、を有し、
前記表示制御手段は、前記検出手段によって前記所定の対象物が検出された場合に、前記第１の範囲とは異なる第２の範囲の前記映像を前記第１の表示手段とは異なる第２の表示手段に切り替えて表示させるよう制御することを特徴とする。
【発明の効果】
【0009】
本発明によれば、移動体の後方の視認性を向上できる。
【図面の簡単な説明】
【0010】
【図1】本発明の第一の実施形態における移動体及び撮像装置の配置例を示す図である。
【図2】第一の実施形態における移動体の車内の表示部を示す図である。
【図3】第一の実施形態における画像処理装置が搭載された移動体１０の要部ブロック図である。
【図5】第一の実施形態における、後続車から追い越される場合の、カメラシステムの処理の１例を示すフローチャートである。
【図6】第一の実施形態における撮像装置１００がウィンカーを点滅させた後続車４００を撮影した場合の表示用撮影領域を示す図である。
【図7】第一の実施形態における移動体１０の車内に設置された第１表示部２０６の移動を示す図である。
【図9】第二の実施形態における撮像装置１００が合流車を撮影した場合の表示用撮影領域を示す図である。
【図10】第二の実施形態における合流車を撮影した場合の第１表示部２０６又は第２表示部２０７への鏡像の表示例を示す図である。
【図11】第三の実施形態における緊急車両の接近の場合の、カメラシステムの処理の１例を示すフローチャートである。
【図12】第三の実施形態における音声検知部１０２で緊急車両の検知をした場合の表示用撮影領域を示す図である。
【図13】第三の実施形態における音声検知部１０２で緊急車両の検知をした場合の第１表示部２０６又は第２表示部２０７への表示例を示す図である。
【図16】第四の実施形態におけるパッシングや蛇行、クラクションを行う車両の検知する場合のカメラシステムの処理の１例を示すフローチャートである。
【図17】パッシングをしている車両を撮像装置１００で撮影している例を示す図である。
【図18】蛇行をしている車両を撮像装置１００で撮影している例を示す図である。
【図19】クラクション車４０７を検知した車両を撮像装置１００で撮影している例を示す図である。
【図21】第五の実施形態における違法速度での走行車、急な加速をする走行車、車両通行不可の場所を走行する車両の検知を行う場合の処理の１例を示すフローチャートである。
【図22】第五の実施形態において撮像装置１００が路側帯を走行している車両を撮影した場合の例を示す図である。
【発明を実施するための形態】
【0011】
以下、添付図面を参照して、本発明の好適な実施の形態について実施例を用いて説明する。尚、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化することがある。
【0012】
［第一の実施形態］
以下、実施例について、図面を参照しながら詳細に説明する。
図１は第一の実施形態における移動体及び撮像装置の配置例を示す図である。図２は第一の実施形態における移動体の車内の表示部を示す図である。
図１に示すように、移動体１０には後方を撮影するための撮像装置１００及び、後方の音声情報を取得するための音声検知部１０２が搭載されている。ここで述べる移動体１０とは、例えば自動車のような公道を走る車両であり、移動体１０を運転するための運転者１０３が搭乗し、任意の場所へ移動可能なものである。
以下、実施例について、図面を参照しながら詳細に説明する。
図１は第一の実施形態における移動体及び撮像装置の配置例を示す図である。図２は第一の実施形態における移動体の車内の表示部を示す図である。
図１に示すように、移動体１０には後方を撮影するための撮像装置１００及び、後方の音声情報を取得するための音声検知部１０２が搭載されている。ここで述べる移動体１０とは、例えば自動車のような公道を走る車両であり、移動体１０を運転するための運転者１０３が搭乗し、任意の場所へ移動可能なものである。
【0013】
図１で示すように、移動体１０の前方側を＋Ｙ方向、地面に垂直な上方向を＋Ｚ方向、運転者１０３にから見て左側、つまり紙面手前側方向を＋Ｘ方向として定義する。
図２は、運転者１０３から見た移動体１０の車内の様子となる。運転者１０３は図２の中の例えば右側に着座するものとする。運転者１０３の前に設置され、移動体１０の進行方向を変更するためのハンドル（操舵部）２００を操作することにより、移動体１０の進行方向を操作する。
図２は、運転者１０３から見た移動体１０の車内の様子となる。運転者１０３は図２の中の例えば右側に着座するものとする。運転者１０３の前に設置され、移動体１０の進行方向を変更するためのハンドル（操舵部）２００を操作することにより、移動体１０の進行方向を操作する。
【0014】
ハンドル２００の前方には移動体１０の速度やエンジンの回転数を表示するためのインストゥルメントパネル２０２が設置されている。本実施形態におけるインストゥルメントパネル２０２は液晶パネルとして構成されている。ハンドル２００の左側のセンターコンソール２０１には、減速比及び回転方向を変更するトランスミッションを操作するためのシフトレバー２０３が設置されている。シフトレバー２０３を操作することにより、駐車中であればポジションをパーキングＰＫに、走行する場合はポジションをドライブＤＲに、バック走行するときはポジションをリバースＲＶに、設定を変更できるものとする。
【0015】
インストゥルメントパネル２０２の左側には、移動体１０の様々な情報表示や設定を行うためのセンタークラスター２０４が設置してある。センタークラスター２０４には、前記撮像装置１００にて取得した画像や様々な情報の表示や設定の変更が可能な第２の表示手段としての第２表示部２０７が設置されている。第２表示部２０７ではカーナビとして走行時の現在位置やルート案内表示、エアコン設定などを表示することができる。
【0016】
更に又、前方の車両に追従して自動で走行するシステムや自動で駐車を支援システムする等の所謂、ＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｉｎｇ Ａｓｓｉｓｔａｎｔ Ｓｙｓｔｅｍ）の設定表示など、様々な情報を表示することができる。
第２表示部２０７の下には、移動体１０の様々な設定を変更するための操作部２０５が設置されている。又、第２表示部２０７はタッチパネル式となっており、タッチパネル式の機能を使用して移動体１０の様々な設定も変更可能である。また第２表示部２０７は音声認識機能も備えているため、音声によるこれらの設定変更も可能である。
第２表示部２０７の下には、移動体１０の様々な設定を変更するための操作部２０５が設置されている。又、第２表示部２０７はタッチパネル式となっており、タッチパネル式の機能を使用して移動体１０の様々な設定も変更可能である。また第２表示部２０７は音声認識機能も備えているため、音声によるこれらの設定変更も可能である。
【0017】
第２表示部２０７の上部のウインドシールドの上側には第１表示部２０６が設置されている。第１表示部２０６は第１の表示手段の一例である。第１表示部２０６は電子ミラー装置として機能しており、撮像装置１００により取得した画像を表示することにより、走行中に後方を確認、監視するためのデバイスである。又、第１表示部２０６の電子映像の表示を消灯すれば、光学式のミラーとしても使用することができるように構成されている。
【0018】
又、後述するように、第１表示部２０６は表示画面に応じて自動で横方向にスライドすることもできる。尚、液晶表示部等で構成されたインストゥルメントパネル２０２や、センタークラスター２０４の周辺に設置されたヘッドアップディスプレイ（不図示）等を、第２表示部２０７として統合的に設定しても良い。
【0019】
次に移動体１０について図３及び図４を用いて説明する。
図３は第一の実施形態における移動体１０の要部ブロック図である。移動体１０は、撮像装置１００および画像処理装置３６０を有する。図３に示すように、移動体１０に設けられた撮像装置１００は、移動体１０の後方の光学的な被写体像を形成する光学系１１０を有する。前記被写体像は光電変換素子である撮像素子１４０の光電変換エリアである撮像素子受光面１４１上に形成され、電気的な信号である電気信号に変換される。
図３は第一の実施形態における移動体１０の要部ブロック図である。移動体１０は、撮像装置１００および画像処理装置３６０を有する。図３に示すように、移動体１０に設けられた撮像装置１００は、移動体１０の後方の光学的な被写体像を形成する光学系１１０を有する。前記被写体像は光電変換素子である撮像素子１４０の光電変換エリアである撮像素子受光面１４１上に形成され、電気的な信号である電気信号に変換される。
【0020】
撮像素子１４０により変換された電気信号は、電子回路基板１４３により画像信号に変換される。尚、電子回路基板１４３の機能は撮像素子に内蔵されていても良い。ここで、撮像装置１００は、移動体の後方を撮影する撮像手段からの映像を取得する取得手段として機能している。
【0021】
上述のようにして生成された画像信号は、画像処理装置３６０に送られる。画像処理装置３６０は歪曲補正や切り出しなどの各種画像処理、種々の信号制御、信号の入出力先の選択等の制御を行う制御部３７０を有している。
【0022】
制御部３７０にはコンピュータとしてのＣＰＵが内蔵されており、記憶媒体としてのメモリ部３８０に記憶されたコンピュータプログラムに基づき装置全体の各部の動作を制御する制御手段として機能する。また、制御部３７０は、ＧＰＵなどの画像処理に特化したプロセッサを有してもよい。
又、画像処理装置３６０は画像を一時保存したり、コンピュータプログラムを保存するメモリ部３８０を有する。
又、画像処理装置３６０は画像を一時保存したり、コンピュータプログラムを保存するメモリ部３８０を有する。
【0023】
尚、画像処理は、制御部３７０内の、ＣＰＵとは別に設けた画像処理用の不図示のハードウェア回路（例えば、ＧＰＵを有する回路）で行われるが、制御部３７０内のＣＰＵ等を用いてソフトウェアで行っても良い。
画像処理装置３６０に送られた画像信号は歪曲補正や切り出しなどの各種画像処理が行われ、制御部３７０内に設けた不図示の表示制御回路において表示用信号に変換される。表示用信号は移動体１０に設けられた第１表示部２０６や、第２表示部２０７に送られ、運転者１０３から視認できるように表示を行う。第１表示部２０６および第２表示部２０７は表示手段の一例である。
画像処理装置３６０に送られた画像信号は歪曲補正や切り出しなどの各種画像処理が行われ、制御部３７０内に設けた不図示の表示制御回路において表示用信号に変換される。表示用信号は移動体１０に設けられた第１表示部２０６や、第２表示部２０７に送られ、運転者１０３から視認できるように表示を行う。第１表示部２０６および第２表示部２０７は表示手段の一例である。
【0024】
又、操作部２０５や、第２表示部２０７に搭載されたタッチパネル機能や不図示の音声認識部により様々な機能の設定の変更が可能である。そしてその設定を変更した場合、そのことを示す信号が画像処理装置３６０に送られる。その場合には、画像処理装置３６０は第１表示部２０６や第２表示部２０７に設定が変更されたことを示す表示を表示する。
【0025】
シフトレバー２０３には、シフトレバーの現在のポジションを認識するためのレバー検知部３０７が設置されており、シフトレバー２０３のポジションが変更されると、その旨を示すポジション位置信号が画像処理装置３６０に送られる。ポジション位置信号は画像処理装置３６０で行なわれる後述する様々な動作の判断に使用される。
【0026】
本実施形態では移動体１０の後方の音声を検知するための音声検知部１０２が設置されており、そこで取得した音声情報は、画像処理装置３６０に送られ、画像処理装置３６０で行なわれる後述する様々な動作の判断に使用される。
音声検知部１０２は本実施形態では指向性ステレオマイクで構成され、後方に位置する音源の方向や位置を検知できるものとする。
音声検知部１０２は本実施形態では指向性ステレオマイクで構成され、後方に位置する音源の方向や位置を検知できるものとする。
【0027】
又、移動体１０には、移動体１０の現在位置の情報を取得する位置情報検知部３０１も設置されている。本実施形態の位置情報検知部３０１は測位衛星により位置情報を取得するＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）やＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などにより構成されており、移動体１０の正確な位置情報を取得することができる。
【0028】
位置情報検知部３０１により取得された移動体１０の位置情報は画像処理装置３６０に送られ、メモリ部３８０に格納された地図情報と照合され、画像処理装置３６０で行なわれる後述する様々な動作の判断に使用される。
【0029】
次に図４を用いて表示用撮影領域の説明を行う。図４（Ａ）は第一の実施形態における通常の表示用撮影領域を示す図、図４（Ｂ）は第一の実施形態において運転者１０３が設定を変更し表示用撮影領域の範囲を変更した状態を示す図である。
尚、本実施形態では、撮像素子受光面１４１の全域を、画像認識用及び物体検知用の領域である画像検知用撮像領域４１０として用いている。しかし、撮像素子受光面１４１の一部分を画像検知用撮像領域４１０として使用しても良い。
尚、本実施形態では、撮像素子受光面１４１の全域を、画像認識用及び物体検知用の領域である画像検知用撮像領域４１０として用いている。しかし、撮像素子受光面１４１の一部分を画像検知用撮像領域４１０として使用しても良い。
【0030】
図４で示す画像検知用撮像領域４１０は画像認識及び物体検知に使用する範囲を示し、表示用撮影領域４１１は第１表示部２０６又は第２表示部２０７に表示する範囲を示している。表示用撮影領域４１１は第１の範囲の一例である。後続車４００は移動体１０の後方を走行する車両を示している。自車線４５０は移動体１０が走行している車線を示している。隣接車線４５１は自車線４５０と並行して設置された、自車線４５０と同じ進行方向の車線である。本実施形態では、自車線４５０を所謂走行車線、隣接車線４５１を所謂追い越し車線として説明する。
【0031】
車線境界線４７１は自車線４５０と隣接車線４５１を分ける線を示している。中央線４７２は隣接車線４５１の更に右側（－Ｘ方向）にある自車線４５０と逆方向の道路とを分ける線を示している。外側線４７３は自車線４５０と走行車線以外のいわゆる路側帯を分ける線を示している。又、地平線４７４は自車線４５０と隣接車線４５１の後方（－Ｙ方向）の遠方の、撮像装置１００により撮影できる限界の線を示している。
【0032】
図３の画像処理装置３６０は、図４（Ａ）に示すように、画像検知用撮像領域４１０（破線により図示）より狭い範囲を表示用撮影領域４１１（一点鎖線により図示）として切り出す。そして、表示用画像を生成し第１表示部２０６、或は状況に応じて第２表示部２０７により表示を行う。
【0033】
表示用撮影領域４１１は、運転者（ユーザ）１０３による前記操作部２０５や、前記第２表示部２０７に搭載されたタッチパネルの操作や、不図示の音声認識部への発声等に応じて大きが変更可能に構成されている。即ち、表示用撮影領域４１１は、画像検知用撮像領域４１０の内の、任意の大きさ（図４（Ｂ）の表示用撮影領域４１１ａや表示用撮影領域４１１ｂなど）に変化させることができる。
【0034】
表示用撮影領域４１１は図４（Ａ）で示す通り、後続車４００を認識しやすくするために、自車線４５０がゆとりをもって入る範囲でも良い。しかし、図４（Ｂ）の表示用撮影領域（狭角）４１１ａで示すように自車線４５０がぎりぎり入る狭い範囲でも良いし、表示用撮影領域（広角）４１１ｂで示すように、特に左右に広い、隣接車線４５１までも入る範囲に設定しても良い。
【0035】
次に、本実施形態における、図１～図３で説明した移動体及びカメラシステムの動作の説明を図５～図８を用いて詳細に行う。
図５は第一の実施形態における後続車から追い越される場合の、カメラシステムの処理の１例を示すフローチャートである。尚、図５における各ステップの動作は、制御部３７０の内部のコンピュータとしてのＣＰＵがメモリ部３８０に記憶されたコンピュータプログラムを実行することによって行われる。
図５は第一の実施形態における後続車から追い越される場合の、カメラシステムの処理の１例を示すフローチャートである。尚、図５における各ステップの動作は、制御部３７０の内部のコンピュータとしてのＣＰＵがメモリ部３８０に記憶されたコンピュータプログラムを実行することによって行われる。
【0036】
図５において、ステップＳ５００にて運転者１０３がシフトレバー２０３のポジションをドライブＤＲにし、移動体１０の通常走行が始まると制御部３７０における処理が始まり、ステップＳ５０１の処理が実行される。
ステップＳ５０１では、メモリ部３８０に格納されたプログラムが制御部３７０により呼び起こされ、処理が開始される。
ステップＳ５０１では、メモリ部３８０に格納されたプログラムが制御部３７０により呼び起こされ、処理が開始される。
【0037】
処理が始まると、制御部３７０は、撮像装置１００により撮影された画像を取得し、その画像の所定の第１の範囲（図４（Ａ）の４１１などの範囲）を第１表示部２０６に表示する。ここで、ステップＳ５０１は、撮像装置１００によって取得された映像のうち、第１の範囲を表示手段としての第１表示部に表示させる表示制御手段（表示制御ステップ）として機能している。
【0038】
次にステップＳ５０２において、制御部３７０は、撮像装置１００で撮影された画像検知用撮像領域４１０の映像から、図６で説明した移動体１０と同一車線を走行している後続車４００の方向指示器（以下ウィンカーとも呼ぶ）が点滅しているか否かを判断する。ウィンカーが点滅している場合はその後、ステップＳ５０３の処理が実行され、点滅していない場合はステップＳ５０８の処理が実行される。ここで、ステップＳ５０２は、撮像装置１００によって取得された映像に基づき所定の対象物を検出する検出手段（検出ステップ）として機能している。
【0039】
尚、ステップＳ５０２において、制御部３７０は、移動体１０と同一車線の車両であってウィンカーを点滅している後続車４００を所定の対象物として検出している。即ち、制御部３７０は、撮像装置１００によって取得された映像に基づき、所定の動作（ウィンカー点滅動作）をする他の移動体（車両）としての後続車４００を所定の対象物として検出している。
【0040】
尚、本実施形態ではステップＳ５０２では説明を簡単にするため、ウィンカーが点滅しているか否かを判定しているが、後続車４００の左右のウィンカーのうちどちらのウィンカーが点滅しているかを判断してその後の動作を変更するようにしても良い。
【0041】
ステップＳ５０３では、制御部３７０は、メモリ部３８０に格納されている地図情報、或は、移動体１０に設置された位置情報検知部３０１による位置情報、或はそれらを組み合わせた情報を参照する。そして、制御部３７０は、上記の情報から、ステップＳ５０２で認識した後続車４００のウィンカー点灯方向６００が示す左右の方向に、進入可能な道路、つまり、進行中の道路とは異なる左折又は右折可能な道路があるかないかの判断を行う。
【0042】
ステップＳ５０３は、制御部３７０が単なる右左折のための動作か、それとも追い越しのための動作かを見極めて、ウィンカーを点滅している後続車を所定の対象物として検知するか否かを判断するためのステップである。即ち、ステップＳ５０３において、制御部３７０は、移動体１０の現在位置の情報に基づき、他の移動体（後続車４００）が追い越し動作中か、右左折否かを判別し、所定の対象物として検出するか否かを決めている。
【0043】
左折又は右折可能な道路が無い場合はステップＳ５０４の処理が実行され、左折又は右折可能な道路がある場合はステップＳ５０８の処理が実行される。
ステップＳ５０４では、制御部３７０は、事前に設定された表示部が第１表示部２０６であるか第２表示部２０７であるかの判定を行う。事前に第１表示部２０６が表示部として設定されていればステップＳ５０５の処理が実行され、第２表示部２０７が表示部として設定されていればステップＳ５０９の処理が実行される。
ステップＳ５０４では、制御部３７０は、事前に設定された表示部が第１表示部２０６であるか第２表示部２０７であるかの判定を行う。事前に第１表示部２０６が表示部として設定されていればステップＳ５０５の処理が実行され、第２表示部２０７が表示部として設定されていればステップＳ５０９の処理が実行される。
【0044】
即ち、本実施形態ではステップＳ５０１の段階では第１表示部２０６に第１の範囲の映像を表示し、所定の対象物が検出された場合には、予め設定された第１表示部２０６又は第２表示部２０７の一方に、第２の範囲の映像を表示させるように切り替えている。尚、ステップＳ５０４では、第１表示部２０６と第２表示部２０７の表示手段の一方を選択しているが、両方を表示手段として選択できるようにしても良い。
【0045】
ステップＳ５０５は第１表示部２０６の表示範囲（や表示位置）と内容を変更するステップである。ステップＳ５０５においては、制御部３７０は、第１表示部２０６への表示範囲（や表示位置）を、図４（Ａ）の表示用撮影領域４１１で示す表示範囲から、図６（Ａ）、（Ｂ）の表示用撮影領域４１１ｃ又は４１１ｄで示す表示範囲に変更する。即ち、表示用撮影領域４１１で示す表示範囲（第１の範囲）から表示用撮影領域４１１ｃ又は４１１ｄで示す表示範囲（第２の範囲）に変更する。尚、表示用撮影領域４１１ｃは表示用撮影領域４１１を含む領域である。
【0046】
図６は第一の実施形態における撮像装置１００がウィンカーを点滅させた後続車４００を撮影した場合の表示用撮影領域を示す図である。図６（Ａ）は表示用撮影領域４１１を拡大表示した場合の図であり、図６（Ｂ）は表示用撮影領域４１１の画像中心（重心）を移動させた場合の図である。ウィンカー点灯方向６００は点滅している側のウィンカーを示している。
【0047】
或いは、図４（Ｂ）で示す表示用撮影領域（広角）４１１ｂから、図６（Ａ）、（Ｂ）の表示用撮影領域４１１ｃ又は４１１ｄで示す表示範囲（第２の表示範囲）に変更しても良い。即ち図６（Ａ）の表示用撮影領域４１１ｃのように元の画面中心を中心に表示範囲を広げたり、図６（Ｂ）の表示用撮影領域４１１ｄのように後続車４００と隣接車線４５１が画面いっぱいなるように画面中心を移動した表示範囲に変更する。
【0048】
ここで、ステップＳ５０５は、検出手段（検出ステップ）としてのステップＳ５０２によって所定の対象物が検出された場合に、第１の範囲とは異なる第２の範囲の映像を第１表示部に表示させる表示制御手段（表示制御ステップ）として機能している。尚、第２の範囲は第１の範囲よりも広いことが望ましく、又、第１の範囲とオーバーラップすることが望ましい。更に第２の範囲は第１の範囲全体を含んでも良い。
【0049】
但し、図６（Ｂ）に示した変更の場合、画面中心が左に移動してしまい、運転者１０３に違和感を与えるおそれがある。その場合は、図７で示す通り、破線で示す通常の第１表示部２０６の位置から、矢印７００で示す方向に第１表示部２０６そのものを不図示の移動手段によって移動制御することにより、運転者１０３から見た画面中心が移動しないようにすることも可能である。図７は、第一の実施形態における移動体１０の車内に設置された第１表示部２０６の移動を示す図であり、図７において、第１表示部２０６の表示画像は鏡像に変換されている。
【0050】
或いは画面の例えば左右に所定幅の黒い非表示領域を設け、その非表示領域をシフトすることで同様の効果を得ても良い。即ち、第１表示部２０６の幅を図７に示すものよりも横長にし、通常は例えば左右に所定幅の黒い非表示領域を表示する。そして、右に第１表示部２０６の表示領域をシフトする場合は、例えば右側の非表示領域の幅をゼロにして、左側の非表示領域の幅を広げることで、第１表示部２０６が右にシフトしたのと同様の効果を得ても良い。
【0051】
このように本実施形態ではステップＳ５０２で、ウィンカーを点滅させた後続車４００を検知した場合に、ステップＳ５０１における表示範囲（第１の範囲）を拡大や縮小、又は画像中心の移動をして第２の範囲に変更している。ここで第２の範囲は、少なくとも所定の対象物が表示される範囲であり、移動体１０自身も一緒に表示される範囲であることが望ましい。
尚、本実施形態はこれらに限らず、表示範囲を拡大或は縮小と画像中心の移動を組み合わせた表示範囲の変更をしても良い。
尚、本実施形態はこれらに限らず、表示範囲を拡大或は縮小と画像中心の移動を組み合わせた表示範囲の変更をしても良い。
【0052】
次に図８を使用し、ステップＳ５０５の第１表示部２０６への表示内容の説明を行う。図８はステップＳ５０５における第１表示部２０６上での鏡像の表示の例を示す図である。
図８に示すように、本実施形態では、第１表示部２０６に表示された後続車４００を運転者１０３に注意喚起するために、枠表示としての認識枠８１０で後続車４００を囲む。
図８に示すように、本実施形態では、第１表示部２０６に表示された後続車４００を運転者１０３に注意喚起するために、枠表示としての認識枠８１０で後続車４００を囲む。
【0053】
そして、認識枠８１０で囲まれた後続車４００の今後の動作予測として「追い越し可能性あり」という、所定の対象物としての後続車４００の属性に関するタグ８１１を付帯的に表示する。それによって運転者１０３への注意喚起をしている。又、これらの注意喚起に加えて、音声などで運転者１０３に注意喚起を行っても良い。
【0054】
次に、ステップＳ５０６では、制御部３７０は、自車線４５０にいる後続車４００のウィンカーが消灯してから一定時間経過したか、或は、ウィンカーを点滅した後続車４００が隣接車線４５１に移ってから一定時間経過したかを判断する。本実施形態においてこの一定時間は例えば１５秒程度に設定されている。これら条件のうちいずれかに該当すれば、追い越しをしないと判断し、ステップＳ５０７の処理が実行され、該当しなければステップＳ５０５の処理が実行される。
【0055】
ステップＳ５０７では、制御部３７０は、第１表示部２０６への表示範囲をステップＳ５０５の直前の、図４に示す表示用撮影領域４１１、表示用撮影領域（狭小）４１１ａ、又は表示用撮影領域（広大）４１１ｂなどの、元の表示用撮影領域に戻す。そして、図８の認識枠８１０と「追い越し可能性あり」というタグ８１１の表示を消して、ステップＳ５０８の処理が実行される。
【0056】
ステップＳ５０４で第２表示部２０７が選択されていた場合は、ステップＳ５０９の処理が制御部３７０により実行される。この時、第１表示部２０６は表示範囲や表示内容を変更しないものとする。
ここで、第２表示部２０７がナビゲーションシステムの表示をしていた場合、制御部３７０は、表示されていた走行時の現在位置やルート案内を映像表示に切り替える。
ここで、第２表示部２０７がナビゲーションシステムの表示をしていた場合、制御部３７０は、表示されていた走行時の現在位置やルート案内を映像表示に切り替える。
【0057】
即ち、撮像装置１００からの後方の映像のうち、図６で示す、表示用撮影領域４１１ｃ又は４１１ｄの表示範囲の後方の映像表示に切り替える。即ち、ここでステップＳ５０９は、検出手段（検出ステップ）としてのステップＳ５０２によって所定の対象物が検出された場合に、第１の範囲とは異なる第２の範囲の映像を第２表示部に表示させる表示制御手段（表示制御ステップ）として機能している。
【0058】
表示の範囲と内容についてはステップＳ５０５で説明したのと同様であり、図８のように、後方の映像と、認識枠８１０と、「追い越し可能性あり」というタグ８１１を表示する。尚、第２表示部２０７の表示領域を分割し、ナビゲーションシステムにおけるルート案内の表示と、撮像装置１００からの映像を両方同時に表示しても良い。そして、ステップＳ５１０の処理が実行される。
【0059】
ステップＳ５１０では、制御部３７０は、ステップＳ５０６と同様の判断を行う。即ち、自車線４５０にいる後続車４００のウィンカーが消灯してから一定時間経過したか、或は、ウィンカーを点滅した後続車４００が隣接車線４５１に移ってから一定時間経過したかを判断する。本実施形態においてこの一定時間は例えば１５秒程度に設定されている。
【0060】
これら条件のうちいずれかに該当すれば、追い越しをしないと判断し、ステップＳ５１１の処理が実行され、該当しなければステップＳ５０９の処理が実行される。
【0061】
ステップＳ５１１では制御部３７０は、第２表示部２０７への表示をステップＳ５０９の直前の、走行時の現在位置やルート案内の表示に戻し、その後ステップＳ５０８の処理が実行される。
ステップＳ５０８では、制御部３７０は、移動体１０が走行中か否かの判断を行う。本実施形態ではシフトレバー２０３のポジションがドライブＤＲにあるか否かを判断している。走行中であればステップＳ５０２に戻り、ステップＳ５０２～ステップＳ５１１までの動作を繰り返す。
ステップＳ５０８では、制御部３７０は、移動体１０が走行中か否かの判断を行う。本実施形態ではシフトレバー２０３のポジションがドライブＤＲにあるか否かを判断している。走行中であればステップＳ５０２に戻り、ステップＳ５０２～ステップＳ５１１までの動作を繰り返す。
【0062】
シフトレバー２０３がドライブＤＲ以外に設定されたことをレバー検知部３０７が検知すると、走行中でないと判断し、ステップＳ５１２の処理が実行され、カメラシステムの動作を終了する。
以上のように第一の実施形態では他の移動体が所定の動作として追い越し動作を行っていることを検出した場合には、所定の対象物として検知し、当該他の移動体が表示されるように表示範囲を切り替えている。
以上のように第一の実施形態では他の移動体が所定の動作として追い越し動作を行っていることを検出した場合には、所定の対象物として検知し、当該他の移動体が表示されるように表示範囲を切り替えている。
【0063】
［第二の実施形態］
第二の実施形態は、隣接する車線が合流車線である場合の、画像処理装置による表示例であり、図９及び図１０を用いて説明する。
図９は第二の実施形態における撮像装置１００が合流車を撮影した場合の表示用撮影領域を示す図である。
又、図１０は第二の実施形態における合流車４０１を撮影した場合の第１表示部２０６又は第２表示部２０７への鏡像の表示例を示す図である。
第二の実施形態は、隣接する車線が合流車線である場合の、画像処理装置による表示例であり、図９及び図１０を用いて説明する。
図９は第二の実施形態における撮像装置１００が合流車を撮影した場合の表示用撮影領域を示す図である。
又、図１０は第二の実施形態における合流車４０１を撮影した場合の第１表示部２０６又は第２表示部２０７への鏡像の表示例を示す図である。
【0064】
図９において、合流車線４５２は自車線４５０に途中から隣接し、その後、自車線４５０に合流していく車線であり、合流車４０１は、合流車線４５２を走行し、その後自車線４５０に合流する車両を示す。４７５は合流車線４５２と自車線４５０の境界である。４７６は合流車線４５２の外側線である。
【0065】
図９は合流を行う車両である合流車４０１が、合流車線４５２をウィンカーを点滅させながら走行している状況を示している。
このとき表示用撮影領域４１１は合流車４０１と自車線４５０を表示されるように切出し位置変更が行われる。
このとき表示用撮影領域４１１は合流車４０１と自車線４５０を表示されるように切出し位置変更が行われる。
【0066】
次に図１０を使用し、第１表示部２０６又は第２表示部２０７への表示の説明を行う。図１０は図９に対して鏡像の表示となっており、図１０は図９の状況を第１表示部２０６又は第２表示部２０７に表示したときの鏡像の表示状態を示している。合流車４０１は図８と同様に認識枠８１０で囲われ、認識枠８１０の内側に合流車４０１の走行状況を示す「合流車」という、所定の対象物としての合流車４０１の属性に関するタグ８１２を付帯的に表示する。
【0067】
それによって、運転者１０３への注意喚起をしている。このように第二の実施形態では他の移動体が所定の動作として合流動作を行っていることを検出した場合には、所定の対象物として検知し、当該他の移動体が表示されるように表示範囲を切り替えている。
【0068】
［第三の実施形態］
移動体１０及びカメラシステムに、例えばパトカーや救急車などの緊急車両が警告灯を点灯して接近している場合の第三の実施形態の説明を図１１～図１５を用いて行う。
図１１は第三の実施形態における緊急車両の接近の場合の、カメラシステムの処理の１例を示すフローチャートである。尚、図１１における各ステップの動作は、制御部３７０の内部のコンピュータとしてのＣＰＵがメモリ部３８０に記憶されたコンピュータプログラムを実行することによって行われる。
移動体１０及びカメラシステムに、例えばパトカーや救急車などの緊急車両が警告灯を点灯して接近している場合の第三の実施形態の説明を図１１～図１５を用いて行う。
図１１は第三の実施形態における緊急車両の接近の場合の、カメラシステムの処理の１例を示すフローチャートである。尚、図１１における各ステップの動作は、制御部３７０の内部のコンピュータとしてのＣＰＵがメモリ部３８０に記憶されたコンピュータプログラムを実行することによって行われる。
【0069】
図１１で示す処理は、ステップＳ１１００にて運転者１０３がシフトレバー２０３のポジションをドライブＤＲにし、移動体１０の通常走行が始まるとフローが始まり、ステップＳ１１０１の処理が実行される。
ステップＳ１１０１では、メモリ部３８０に格納されたプログラムが制御部３７０により呼び起こされ、処理が開始される。処理が始まるのに伴って、制御部３７０は、撮像装置１００により撮影された画像を第１表示部２０６又は第２表示部２０７に表示し、ステップＳ１１０２の処理が実行される。
ステップＳ１１０１では、メモリ部３８０に格納されたプログラムが制御部３７０により呼び起こされ、処理が開始される。処理が始まるのに伴って、制御部３７０は、撮像装置１００により撮影された画像を第１表示部２０６又は第２表示部２０７に表示し、ステップＳ１１０２の処理が実行される。
【0070】
図１２は第三の実施形態における音声検知部１０２で緊急車両の検知をした場合の表示用撮影領域を示す図である。
図１２では移動体１０の後方に後続車４００が走行しており、隣接する車線に別な後続車である後続車４０４が走行している状況を示している。この状況において、後続車４０４の後方に緊急車両が走行し、接近したとしても、画像検知用撮像領域４１０では確認できない場合がある。
図１２では移動体１０の後方に後続車４００が走行しており、隣接する車線に別な後続車である後続車４０４が走行している状況を示している。この状況において、後続車４０４の後方に緊急車両が走行し、接近したとしても、画像検知用撮像領域４１０では確認できない場合がある。
【0071】
しかし第三の実施形態のステップＳ１１０２では、制御部３７０は、緊急車両がサイレンを鳴らしていたとすると音声検知部１０２がサイレンが鳴っている方向を検知し、後方からサイレンが鳴っていたと判断した場合はステップＳ１１０３の処理が実行される。又、後方以外からのサイレン音を検知した場合、又はサイレンの音が全く検知されない場合にはステップＳ１１０８の処理が実行される。
【0072】
ステップＳ１１０３では制御部３７０は緊急車両が接近したか否かを撮像装置１００で検知されたかどうかを判定し、緊急車両の接近が検知された場合はステップＳ１１０４の処理が実行され、緊急車両の接近が検知されない場合はステップＳ１１０５の処理が実行される。
即ち、ステップＳ１１０２によって、音声検知部により検知された所定の音声（サイレン等）とステップＳ１１０３で撮像装置１００によって取得された映像に基づき、所定の音声を発する他の移動体（緊急車両）を前記所定の対象物として検知している。
即ち、ステップＳ１１０２によって、音声検知部により検知された所定の音声（サイレン等）とステップＳ１１０３で撮像装置１００によって取得された映像に基づき、所定の音声を発する他の移動体（緊急車両）を前記所定の対象物として検知している。
【0073】
ステップＳ１１０３で緊急車両の接近が検知されていないと判定された場合、ステップＳ１１０５において制御部３７０は、緊急車両が後方から接近していることを示すタグ表示を行う。
図１３は第三の実施形態における音声検知部１０２で緊急車両の検知をした場合の第１表示部２０６又は第２表示部２０７への表示例を示す図である。
図１３は第三の実施形態における音声検知部１０２で緊急車両の検知をした場合の第１表示部２０６又は第２表示部２０７への表示例を示す図である。
【0074】
「緊急車」タグ８１４は撮像装置１００で検知できない緊急車両が接近していることを示すタグ表示である。図１３では鏡像の表示になっている。図１３で示すように、隣接車線４５１が入るように図１２の表示用撮影領域４１１を図１３の表示用撮影領域４１１ｅのように拡大する。
【0075】
又、第１表示部２０６又は第２表示部２０７において、緊急車両４０３がいる側の上方に「緊急車」という、所定の対象物としての緊急車両４０３の属性に関するタグ８１４を付帯的に表示する。それにより、運転者１０３への注意喚起をしている。これらの注意喚起に加えて、音声などで運転者１０３に注意喚起を行っても良い。その後、ステップＳ１１０６の処理が実行される。
【0076】
ステップＳ１１０３で緊急車両の接近が検知された場合、ステップＳ１１０４の処理が実行される。そして、制御部３７０は、移動体１０の走行車線である自車線４５０と緊急車両が表示されるように表示用撮影領域を４１１ｅに拡大し、第１表示部２０６又は第２表示部２０７に表示する。
図１４は図１１のステップＳ１１０３で緊急車両の検知をした場合の表示用撮影領域の例を示す図であり、図１５は図１１のステップＳ１１０３で緊急車両の検知をした場合の、第１表示部２０６又は第２表示部２０７への表示例を示す図である。
図１４は図１１のステップＳ１１０３で緊急車両の検知をした場合の表示用撮影領域の例を示す図であり、図１５は図１１のステップＳ１１０３で緊急車両の検知をした場合の、第１表示部２０６又は第２表示部２０７への表示例を示す図である。
【0077】
図１５に示すように、緊急車両４０３に「緊急車」のタグ８１４と認識枠８１０を表示する。又、図１４、図１５において、緊急車両４０３はサイレン音を鳴らすと共に警告灯１５０１を点灯させている。これらの表示に加えて、音声などで運転者１０３に注意喚起を行っても良い。その後、ステップＳ１１０６の処理が実行される。
【0078】
ステップＳ１１０６では、制御部３７０は撮像装置１００により警告灯１５０１を点灯させた緊急車両４０３が検知されなくなるか、音声検知部１０２によりサイレン音が検知されなくなってから一定時間経過したか否かの判断を行う。本実施形態においてこの一定時間は例えば２０秒程度に設定されている。
【0079】
ステップＳ１１０６でＹｅｓの場合にはステップＳ１１０７の処理が実行され、Ｎｏの場合にはステップＳ１１０３に戻ってステップＳ１１０３～ステップＳ１１０６の動作を繰り返す。
ステップＳ１１０７では制御部３７０は、第１表示部２０６への表示範囲をステップＳ１１０３の直前の、第１表示部２０６又は第２表示部２０７の元の表示範囲に戻し、認識枠や「緊急者」のタグを消して、ステップＳ１１０８の処理が実行される。
ステップＳ１１０７では制御部３７０は、第１表示部２０６への表示範囲をステップＳ１１０３の直前の、第１表示部２０６又は第２表示部２０７の元の表示範囲に戻し、認識枠や「緊急者」のタグを消して、ステップＳ１１０８の処理が実行される。
【0080】
ステップＳ１１０８では、制御部３７０は、移動体１０が走行中か否かの判断を行う。本実施形態ではシフトレバーのポジションがドライブＤＲにあるか否かを判断する。シフトレバーのポジションがドライブＤＲ、つまり走行中であればステップＳ１１０２に戻る。
【0081】
ステップＳ１１０８でシフトレバー２０３がドライブＤＲ以外のポジションに設定されていることをレバー検知部３０７が検知すると、走行中ではないと判断してステップＳ１１０９においてカメラシステムの動作を終了する。
以上のように第三の実施形態では他の移動体が所定の動作として警告灯を点灯した走行動作を行っていること検出した場合には、所定の対象物として検知し、表示範囲を切り替えている。
以上のように第三の実施形態では他の移動体が所定の動作として警告灯を点灯した走行動作を行っていること検出した場合には、所定の対象物として検知し、表示範囲を切り替えている。
【0082】
［第四の実施形態］
近年は、危険運転と呼ばれる、他の自動車に危害を与える可能性がある危険運転行為が問題となっている。第四の実施形態においては、後続の危険運転を行う車両を検知し、運転者１０３に知らせ、危険運転する車両を視認しやすくし、事故を回避しやすくしている。以下に危険運転を行う車両を検知した場合の処理に関して図を用いて詳細に説明する。
先ず、危険運転の中でもあおり運転と呼ばれる、パッシングや蛇行、クラクションを行う車両を検知した場合の動作の説明を図１６～図２０を用いて行う。
近年は、危険運転と呼ばれる、他の自動車に危害を与える可能性がある危険運転行為が問題となっている。第四の実施形態においては、後続の危険運転を行う車両を検知し、運転者１０３に知らせ、危険運転する車両を視認しやすくし、事故を回避しやすくしている。以下に危険運転を行う車両を検知した場合の処理に関して図を用いて詳細に説明する。
先ず、危険運転の中でもあおり運転と呼ばれる、パッシングや蛇行、クラクションを行う車両を検知した場合の動作の説明を図１６～図２０を用いて行う。
【0083】
図１６は第四の実施形態におけるパッシングや蛇行、クラクションを行う車両の検知する場合のカメラシステムの処理の１例を示すフローチャートである。尚、図１６における各ステップの動作は、制御部３７０の内部のコンピュータとしてのＣＰＵがメモリ部３８０に記憶されたコンピュータプログラムを実行することによって行われる。
尚、蛇行運転はあおり運転によるものに限らない。例えば運転者が飲酒運転をしている場合、居眠りをしている場合、意識を喪失している場合など、いずれも危険性が高いので検知して速やかに注意喚起することが望ましい。
尚、蛇行運転はあおり運転によるものに限らない。例えば運転者が飲酒運転をしている場合、居眠りをしている場合、意識を喪失している場合など、いずれも危険性が高いので検知して速やかに注意喚起することが望ましい。
【0084】
図１６で示す処理は、ステップＳ１６００にて運転者１０３がシフトレバー２０３のポジションをドライブＤＲにし、移動体１０の通常走行が始まると処理が始まり、ステップＳ１６０１の処理が実行される。
ステップＳ１６０１において、メモリ部３８０に格納されたプログラムが制御部３７０により呼び出され、処理が開始される。処理が始まると同時に、制御部３７０は、撮像装置１００により撮影された画像を第１表示部２０６に表示し、ステップＳ１６０２の処理が実行される。
ステップＳ１６０１において、メモリ部３８０に格納されたプログラムが制御部３７０により呼び出され、処理が開始される。処理が始まると同時に、制御部３７０は、撮像装置１００により撮影された画像を第１表示部２０６に表示し、ステップＳ１６０２の処理が実行される。
【0085】
ステップＳ１６０２では、制御部３７０は、撮像装置１００からの信号に基づき、所謂パッシング動作を一定時間内に複数回行う後続車が検知されたか否かの判断を行う。ここで、パッシング動作とは、前照灯であるヘッドライト６０２をハイビーム状態に素早くオンオフさせる動作とする。尚、１～２回のパッシングは危険運転ではない場合もあるため、本実施形態においては、一定時間内に複数回のパッシングがあったか否かを判定しており、例えば２０秒間に３回以上のパッシングがあったか否かを判定する。
【0086】
図１７はパッシングをしている車両を撮像装置１００で撮影している例を示す図である。尚、このとき移動体１０は追い越し車線としての隣接車線４５１を走行しているものとする。
ステップＳ１６０２でＹｅｓの場合はステップＳ１６０６の処理が実行され、Ｎｏの場合はステップＳ１６０４の処理が実行される。
ステップＳ１６０２でＹｅｓの場合はステップＳ１６０６の処理が実行され、Ｎｏの場合はステップＳ１６０４の処理が実行される。
【0087】
ステップＳ１６０４は、危険運転の中でも、蛇行運転をする車両を検知するステップである。具体的にはステップＳ１６０４において、制御部３７０は、撮像装置１００からの信号に基づき、一定時間内に複数回の蛇行運転を行う後続車が検知されたかの判断を行う。
本実施形態では、例えば後続車の前輪の片方のタイヤが車線境界線４７１や外側線４７３などを１回横切り、前輪の他方のタイヤが車線境界線４７１や外側線４７３などを１回横切った場合に一回の蛇行運転とする。
本実施形態では、例えば後続車の前輪の片方のタイヤが車線境界線４７１や外側線４７３などを１回横切り、前輪の他方のタイヤが車線境界線４７１や外側線４７３などを１回横切った場合に一回の蛇行運転とする。
【0088】
図１８は蛇行をしている車両を撮像装置１００で撮影している例を示す図であり、図１８では蛇行運転車４０６が、１回目の蛇行運転９０３、２回目の蛇行運転９０４、３回目の蛇行運転９０５を行った状態を示している。２回までの蛇行であれば落下物を避けたことも考えられるため、本実施形態では例えば２０秒以内に３回以上の蛇行を行った車両を蛇行運転車４０６と判断する。
【0089】
ステップＳ１６０４でＹｅｓの場合はステップＳ１６０６の処理が実行され、Ｎｏの場合はステップＳ１６０５の処理が実行される。
ステップＳ１６０５は危険運転の中でもクラクションを複数回発した車両を検知するステップである。
ステップＳ１６０５は危険運転の中でもクラクションを複数回発した車両を検知するステップである。
【0090】
即ち、ステップＳ１６０５では制御部３７０は、撮像装置１００からの画像に基づき検出された後続車と、指向性を有する音声検知部１０２より取得された音源の位置とを組み合わせて、一定時間内に複数回のクラクション音を発生させた車両の検知を行う。１～２回のクラクションは注意を促すクラクション音の可能性が高いため、本実施形態では例えば２０秒以内に３回以上のクラクション音を発生させた車両をクラクション車４０７と判断している。
【0091】
図１９はクラクション車４０７を検知した車両を撮像装置１００で撮影している例を示す図である。ステップＳ１６０５で一定時間内に複数回のクラクション音を発生させたクラクション車４０７を検知した場合にはステップＳ１６０６の処理が実行される。そして、一定時間内に複数回のクラクション音を発生させた車両を検知しなければ、ステップＳ１６１０の処理が実行される。
【0092】
ステップＳ１６０６では、制御部３７０は、第１表示部２０６又は第２表示部２０７への表示範囲を少なくとも危険車が表示されるように変更する。即ち、図１２の表示用撮影領域４１１から図１７や図１８や図１９で示すように、自車線４５０及び危険車（パッシング車４０５や蛇行運転車４０６やクラクション車４０７）が表示用撮影領域４１１の範囲に入るように変更して表示する。
【0093】
又、このときの第１表示部２０６又は第２表示部２０７の表示内容をパッシング車４０５を例に図２０を用いて説明する。図２０は図１７のパッシング車４０５の鏡像の表示例を示す図である。
図２０のように、第１表示部２０６又は第２表示部２０７に表示されているパッシング車４０５を認識枠８１０で囲む。そして、認識枠８１０の内側にパッシング車であることを示す「危険運転」という、所定の対象物としてのパッシング車４０５の属性に関するタグ８１５を表示して注意喚起をしている。
図２０のように、第１表示部２０６又は第２表示部２０７に表示されているパッシング車４０５を認識枠８１０で囲む。そして、認識枠８１０の内側にパッシング車であることを示す「危険運転」という、所定の対象物としてのパッシング車４０５の属性に関するタグ８１５を表示して注意喚起をしている。
【0094】
又、これらの注意喚起に加えて、音声などで運転者１０３に注意喚起を行っても良い。蛇行運転車４０６及びクラクション車４０７に関しても、同様の第１表示部２０６又は第２表示部２０７への表示を行う。そしてステップＳ１６０８の処理が実行される。
【0095】
ステップＳ１６０８では、制御部３７０は、危険運転車（パッシング車４０５や蛇行運転車４０６やクラクション車４０７等）が検知されなくなり一定時間経過したかを判断する。本実施形態においては、この一定時間は例えば１５秒程度に設定されている。ステップＳ１６０８でＹｅｓの場合はステップＳ１６０９の処理が実行され、Ｎｏの場合はステップＳ１６０６に戻る。
【0096】
ステップＳ１６０９では制御部３７０は、第１表示部２０６又は第２表示部２０７への表示をステップＳ１６０６の直前の表示範囲に戻す。又、パッシング車４０５や蛇行運転車４０６やクラクション車４０７を囲み表示していた認識枠８１０と「危険運転」タグ８１５の表示を消して、ステップＳ１６１０の処理が実行される。
【0097】
ステップＳ１６１０では、制御部３７０は、走行中か否かの判断を行う。本実施形態ではシフトレバー２０３のポジションがドライブＤＲにあるか否かを判断し、走行中であればステップＳ１６０２に戻り、ステップＳ１６０２～ステップＳ１６１０までの動作を繰り返す。ステップＳ１６１０でシフトレバー２０３がドライブＤＲ以外のポジションに設定されていることをレバー検知部３０７が検知すると、走行中ではないと判断してステップＳ１６１１の処理が実行されフローを終了する。
【0098】
以上のように第四の実施形態では他の移動体が所定の動作（パッシング動作、蛇行運転動作、クラクション動作等の危険運転動作）を行ったことを検出した場合には、所定の対象物として検知し、当該他の移動体が表示されるように表示範囲を切り替えている。
【0099】
【0100】
図２１は第五の実施形態における違法速度での走行車、急な加速をする走行車、車両通行不可の場所を走行する車両の検知を行う場合の処理の１例を示すフローチャートである。尚、図２１における各ステップの動作は、制御部３７０の内部のコンピュータとしてのＣＰＵがメモリ部３８０に記憶されたコンピュータプログラムを実行することによって行われる。
【0101】
図２１で示す処理は、ステップＳ２１００にて運転者１０３がシフトレバー２０３のポジションをドライブＤＲにし、移動体１０の通常走行が始まると処理が始まり、ステップＳ２１０１の処理が実行される。
【0102】
ステップＳ２１０１では、メモリ部３８０に格納されたプログラムが制御部３７０により呼び出され、処理が開始される。処理が始まると共に、制御部３７０は、撮像装置１００により撮影された画像を第１表示部２０６に表示し、ステップＳ２１０２の処理が実行される。
ステップＳ２１０２は、撮像装置１００により、ある速度以上で接近する後続車が検知されるかの判断を行うステップである。
ステップＳ２１０２は、撮像装置１００により、ある速度以上で接近する後続車が検知されるかの判断を行うステップである。
【0103】
本実施形態では、制御部３７０は、メモリ部３８０に格納されている地図情報、移動体１０に設置されたＧＰＳ等の位置情報検知部３０１による位置情報等に基づき、撮影された車両が走行している道路の所定の法定の制限速度を取得する。そして、制限速度より例えば時速３０ｋｍ／ｈを越えた後続車（以下高速後続車）の検知を行う。即ち、法定の速度に関する規則に違反した走行動作をする後続車を検出する。高速後続車が検知されたと判断するとステップＳ２１０６の処理が実行され、高速後続車が検知されなければステップＳ２１０４の処理が実行される。
【0104】
ステップＳ２１０４では制御部３７０は、撮像装置１００からの信号に基づき画像処理装置３６０により、所定の加速度以上で接近する車両が検知されるか否かを判断する。即ち、危険な急加速で接近する所謂あおり運転車を検知する。本実施形態では例えば４ｍ／ｓ２以上の加速度で接近する車両（急加速車）の検知を行う。急加速車が検知されたと判断するとステップＳ２１０６の処理が実行され、急加速車が検知されなければ、ステップＳ２１０５の処理が実行される。
【0105】
ステップＳ２１０５では、制御部３７０は、車両通行不可の場所（例えば路側帯）を一定距離以上走行する車両を検知する。即ち、撮像装置１００からの信号に基づく画像認識、メモリ部３８０に格納されている地図情報、位置情報検知部３０１による移動体１０の現在の位置情報に基づき、例えば路側帯を一定距離以上走行する車両を検出する。即ち、移動体１０の現在の位置情報に基づき、所定の法定の規則（車両の通行区分に関する規則等）に反した走行動作をする後続車を所定の対象物として検出する。
【0106】
図２２は第五の実施形態において撮像装置１００が路側帯を走行している車両を撮影した場合の例を示す図である。
図２２では、走行が禁止されている路側帯を走行する路側帯走行車４０８を検知し撮像している状態を示している。尚、この場合に、法律で進行方向が指定されている道路（例えば一方通行道路）の検知も行うことができるため、法律で指定された進行方向を逆方向に走行する所謂逆走車両の検知もこのステップで行っても良い。
図２２では、走行が禁止されている路側帯を走行する路側帯走行車４０８を検知し撮像している状態を示している。尚、この場合に、法律で進行方向が指定されている道路（例えば一方通行道路）の検知も行うことができるため、法律で指定された進行方向を逆方向に走行する所謂逆走車両の検知もこのステップで行っても良い。
【0107】
ステップＳ２１０５では、走行不可な場所（例えば路側帯）を路側帯走行車４０８等が例えば１００ｍ以上走行したかを検知している。ステップＳ２１０５でＹｅｓの場合はステップＳ２１０６の処理が実行され、Ｎｏの場合はステップＳ２１１０の処理が実行される。
【0108】
ステップＳ２１０６では、制御部３７０は、第１表示部２０６又は第２表示部２０７への表示範囲を、例えば図１２の表示用撮影領域４１１から、図２２に示す表示用撮影領域４１１に拡大する。それによって、自車線４５０と、高速後続車、急加速車、路側帯走行車等が表示用撮影領域４１１の範囲に入るように変更して表示する。
【0109】
このときの第１表示部２０６又は第２表示部２０７の表示内容を図２３を用いて説明する。図２３は図２２で撮影された画像を第１表示部２０６又は第２表示部２０７に鏡像で表示した例を示す図である。図２３で示すように、第１表示部２０６又は第２表示部２０７に表示されている路側帯走行車４０８を認識枠８１０で囲み、認識枠８１０の内側に危険車であることを示すの「危険運転」というタグ８１５を付帯して表示する。これにより運転者１０３への注意喚起をしている。
【0110】
又、これらの注意喚起に加えて、音声などで運転者１０３に注意喚起を行っても良い。高速後続車や急加速車に関しても、第１表示部２０６又は第２表示部２０７に同様の表示を行い、ステップＳ２１０８の処理が実行される。
ステップＳ２１０８では、制御部３７０は、危険運転者が検知されなくなり一定時間経過したかを判断する。ステップＳ２１０８でＹｅｓの場合はステップＳ２１０９の処理が実行され、Ｎｏの場合はステップＳ２１０６に戻る。
ステップＳ２１０８では、制御部３７０は、危険運転者が検知されなくなり一定時間経過したかを判断する。ステップＳ２１０８でＹｅｓの場合はステップＳ２１０９の処理が実行され、Ｎｏの場合はステップＳ２１０６に戻る。
【0111】
ステップＳ２１０９では制御部３７０は、第１表示部２０６又は第２表示部２０７への表示範囲をステップＳ２１０６の直前の表示用撮影範囲に戻し、認識枠８１０と「危険運転」タグ８１５の表示を消して、ステップＳ２１１０の処理が実行される。
ステップＳ２１１０では、制御部３７０は、走行中か否かの判断を行う。本実施形態ではシフトレバー２０３のポジションがドライブＤＲにあるか否かを判断し、走行中であればステップＳ２１０２に戻り、ステップＳ２１０２～ステップＳ２１１０までの動作を繰り返す。
ステップＳ２１１０では、制御部３７０は、走行中か否かの判断を行う。本実施形態ではシフトレバー２０３のポジションがドライブＤＲにあるか否かを判断し、走行中であればステップＳ２１０２に戻り、ステップＳ２１０２～ステップＳ２１１０までの動作を繰り返す。
【0112】
ステップＳ２１１０でシフトレバー２０３がドライブＤＲ以外のポジションに設定されたことをレバー検知部３０７が検知すると、走行中ではないと判断してステップＳ２１１３の処理が実行されフローを終了する。
以上のように第五の実施形態では他の移動体が所定の危険な動作（違法速度運転動作、急加速動作、路側帯等を走行する動作）をしていることを検出した場合には、所定の対象物として検知し、当該他の移動体が表示されるように表示範囲を切り替えている。
以上のように第五の実施形態では他の移動体が所定の危険な動作（違法速度運転動作、急加速動作、路側帯等を走行する動作）をしていることを検出した場合には、所定の対象物として検知し、当該他の移動体が表示されるように表示範囲を切り替えている。
【0113】
［第六の実施形態］
第一の実施形態～第五の実施形態では撮像装置１００によって取得された映像に基づき、所定の動作（追い越し動作、合流動作、警告灯を表示した走行動作、危険運転動作等）の少なくとも１つを検知した場合に所定の表示範囲への切り替え等を行った。尚、危険運転動作は、蛇行運転、所定のパッシング動作、所定のクラクション動作、所定速度以上の走行動作、所定加速度以上の走行動作、法定の所定の規則に反した走行をする動作の少なくとも１つを含んでいる。
第一の実施形態～第五の実施形態では撮像装置１００によって取得された映像に基づき、所定の動作（追い越し動作、合流動作、警告灯を表示した走行動作、危険運転動作等）の少なくとも１つを検知した場合に所定の表示範囲への切り替え等を行った。尚、危険運転動作は、蛇行運転、所定のパッシング動作、所定のクラクション動作、所定速度以上の走行動作、所定加速度以上の走行動作、法定の所定の規則に反した走行をする動作の少なくとも１つを含んでいる。
【0114】
しかし、第六の実施形態では、撮像装置１００の画像検知用撮像領域４１０において、運転者１０３が予め設定した所定の種類の車両の検知を行い表示する。運転者１０３は事前に例えばバイク、大型トラック、クレーン車などを注意喚起したい種類の車（車種）を不図示の設定手段により設定する。設定された車種の車両が画像検知用撮像領域４１０内に検知されると、それを所定の対象物として検知し、第１表示部２０６や第２表示部２０７の表示用撮影領域４１１の拡大や認識枠８１０の表示や「注意車両」タグの表示を行う。それにより、運転者１０３への注意喚起を行う。
【0115】
前記の所定の車両としては他にも、警告灯を点灯していない緊急車両（例えば消防車、救急車、パトカー等）、タンクローリー、トレーラー等の特殊車両、指定したナンバープレートの車両等を含んでも良い。
【0116】
尚、以上の実施例において、複数の車両に対して同時に処理を行うようにしても良く、その場合、第１表示部２０６又は第２表示部２０７に、対象となる複数の車両のための複数の認識枠８１０や複数のタグを表示するようにしても良い。
又、第一の実施形態から第六の実施形態では様々な車両の検知に関して説明してきたが、これらの実施例を適宜組み合わせても良いし、その場合、事前にどの検知を有効にするか無効にするかを任意に選択できるようにしても良い。
又、第一の実施形態から第六の実施形態では様々な車両の検知に関して説明してきたが、これらの実施例を適宜組み合わせても良いし、その場合、事前にどの検知を有効にするか無効にするかを任意に選択できるようにしても良い。
【0117】
尚、上述の実施例における移動体１０は、例えば、自動車に限らず、バイク、自転車、車椅子、船舶、飛行機、ロボット、ドローンなどの移動をする装置であれば、どのようなものであっても良く、それらを含む。
又、移動体をリモートでコントロールするリモートコントローラとしての画像処理装置の画面においても、上述の実施例を適用することができる。
又、移動体をリモートでコントロールするリモートコントローラとしての画像処理装置の画面においても、上述の実施例を適用することができる。
【0118】
以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明は上記実施例に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。
【0119】
尚、本実施形態における制御の一部又は全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して画像処理装置等に供給するようにしてもよい。そしてその画像処理装置等におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。
【符号の説明】
【0120】
１０：移動体
１００：撮像装置
１０２：音声検知部
１０３：運転者
１１０：光学系
１４０：撮像素子
１４１：撮像素子受光面
１４３：電子回路基板
２００：ハンドル
２０１：センターコンソール
２０２：インストゥルメントパネル
２０３：シフトレバー
２０４：センタークラスター
２０５：操作部
２０６：第１表示部
２０７：第２表示部
３０１：位置情報検知部
３０７：レバー検知部
３６０：画像処理装置
３７０：制御部
３８０：メモリ部
４００：後続車
４０１：合流車
４０３：緊急車
４０４：後続車
４０５：パッシング車
４０６：蛇行運転車
４０７：クラクション車
４０８：路側帯走行車
４１０：画像検知用撮像領域
４１１：表示用撮影領域
４５０：自車線
４５１：隣接車線
４５２：合流車線
４７１：車線境界線
４７２：中央線
４７３：外側線
４７４：地平線
６００：ウィンカー点灯方向
６０２：ヘッドライト
７００：矢印
８１０：認識枠
８１１：「追い越し可能性あり」タグ
８１２：「合流車」タグ
８１４：「緊急車」タグ
８１５：「危険運転」タグ
９０３：１回目の蛇行
９０４：２回目の蛇行
９０５：３回目の蛇行
１５０１：警告灯
１００：撮像装置
１０２：音声検知部
１０３：運転者
１１０：光学系
１４０：撮像素子
１４１：撮像素子受光面
１４３：電子回路基板
２００：ハンドル
２０１：センターコンソール
２０２：インストゥルメントパネル
２０３：シフトレバー
２０４：センタークラスター
２０５：操作部
２０６：第１表示部
２０７：第２表示部
３０１：位置情報検知部
３０７：レバー検知部
３６０：画像処理装置
３７０：制御部
３８０：メモリ部
４００：後続車
４０１：合流車
４０３：緊急車
４０４：後続車
４０５：パッシング車
４０６：蛇行運転車
４０７：クラクション車
４０８：路側帯走行車
４１０：画像検知用撮像領域
４１１：表示用撮影領域
４５０：自車線
４５１：隣接車線
４５２：合流車線
４７１：車線境界線
４７２：中央線
４７３：外側線
４７４：地平線
６００：ウィンカー点灯方向
６０２：ヘッドライト
７００：矢印
８１０：認識枠
８１１：「追い越し可能性あり」タグ
８１２：「合流車」タグ
８１４：「緊急車」タグ
８１５：「危険運転」タグ
９０３：１回目の蛇行
９０４：２回目の蛇行
９０５：３回目の蛇行
１５０１：警告灯
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】