IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ユピテルの特許一覧

<>
  • 特開-システム及びプログラム等 図1
  • 特開-システム及びプログラム等 図2
  • 特開-システム及びプログラム等 図3
  • 特開-システム及びプログラム等 図4
  • 特開-システム及びプログラム等 図5
  • 特開-システム及びプログラム等 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023039987
(43)【公開日】2023-03-22
(54)【発明の名称】システム及びプログラム等
(51)【国際特許分類】
   H04N 7/18 20060101AFI20230314BHJP
   H04N 23/60 20230101ALI20230314BHJP
   H04N 23/63 20230101ALI20230314BHJP
   H04N 5/77 20060101ALI20230314BHJP
   G07C 5/00 20060101ALI20230314BHJP
   G08B 25/00 20060101ALI20230314BHJP
   G08G 1/00 20060101ALI20230314BHJP
   H04N 23/667 20230101ALI20230314BHJP
【FI】
H04N7/18 J
H04N7/18 K
H04N7/18 U
H04N23/60 300
H04N23/60 500
H04N23/63 330
H04N5/77 200
G07C5/00 Z
G08B25/00 510M
G08G1/00 D
H04N23/667
【審査請求】有
【請求項の数】3
【出願形態】OL
(21)【出願番号】P 2022198330
(22)【出願日】2022-12-13
(62)【分割の表示】P 2018099552の分割
【原出願日】2018-05-24
(71)【出願人】
【識別番号】391001848
【氏名又は名称】株式会社ユピテル
(72)【発明者】
【氏名】高橋 圭三
(72)【発明者】
【氏名】浅野 隆
(72)【発明者】
【氏名】服部 哲也
(72)【発明者】
【氏名】野中 勇治
(72)【発明者】
【氏名】庄司 孝平
(72)【発明者】
【氏名】依藤 勇規
(72)【発明者】
【氏名】柵木 聡
(72)【発明者】
【氏名】小川 智昭
(72)【発明者】
【氏名】小池 茂
(72)【発明者】
【氏名】上 三千洋
(72)【発明者】
【氏名】須野原 彰
(72)【発明者】
【氏名】清水 勇喜
(72)【発明者】
【氏名】岩佐 要
(57)【要約】
【課題】車両に取り付けられたカメラで取得された画像を、従来よりもさらに事故原因の
特定に役立てるとともに、事故原因の特定に限定されず、より有効に活用することを課題
とする。
【解決手段】本システムの処理手段が、車両に取り付けられたカメラで撮像された画像を
記録する機能、及びカメラで撮像された画像の画像解析を行い、解析結果に基づいて、解
析結果に対応する処理を実行する機能を持つ。
【選択図】図2

【特許請求の範囲】
【請求項1】
車両に取り付けられたカメラで撮像された画像について、プライバシー保護領域内の人物を特定することが可能な画像を記録する通常モードと、プライバシー保護領域に写り込んでいる人物を外観によって特定することができない画像を記録するプライバシーモードとをユーザによって選択させる機能を備えること
を特徴とするシステム。
【請求項2】
画像解析を行うことにより人物を検知し、検知された人物の輪郭線で囲まれた領域を前記プライバシー保護領域とし、プライバシー保護領域に写り込んでいる人物を外観によって特定することができない画像として、人物の輪郭線を表示し、前記輪郭線の内側には人物がいないときの画像とする機能を備えること
を特徴とする請求項1に記載のシステム。
【請求項3】
車両に取り付けられたカメラで撮像された画像について、人物が写っている領域に、人物に代えてアバターとする機能を備えるとこと
を特徴とする請求項1または2に記載のシステム。
【請求項4】
人物の感情を読み取り、人物の感情に応じて前記アバターの色を変化させる機能を備えること
を特徴とする請求項3に記載のシステム。
【請求項5】
人物の表情を検知し、前記アバターの表情を、それぞれ笑った表情、悲しんでいる表情、怒っている表情に変化させる機能を備えること
を特徴とする請求項3または4に記載のシステム。
【請求項6】
前記画像を記録する前に、前記カメラで撮像された画像から、前記プライバシー保護領域に写り込んでいる人物を外観によって特定することができない画像を生成し、生成された画像を記録する機能を備えること
を特徴とする請求項1から5のいずれかに記載のシステム。
【請求項7】
カメラで撮像された画像を再生するときに、プライバシー保護領域に写り込んでいる人物を外観によって特定することができない画像に変換する機能を備えること
を特徴とする請求項1から6のいずれかに記載のシステム。
【請求項8】
請求項1から7のいずれかに記載のシステムの機能をコンピュータに実現させるためのプログラム。


【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば、車両等に取り付けられたカメラ等で撮像された画像を処理するシス
テム及びプログラム等に関する。
【背景技術】
【0002】
下記の特許文献1に、ドライブレコーダ等に適用されるシステムが開示されている。こ
のシステムは、映像データを記録領域に記録していくサイクルを繰り返す。所定のサイク
ル終了条件が満たされると、現在進行中のサイクルを終了し、終了したサイクルで記録さ
れた映像データを古い順番に新しい映像データで上書きしていく新しいサイクルを開始す
る。現在進行中のサイクルで記録された映像データの容量、及び直前のサイクルで記録さ
れた映像データのうち上書きされていない映像データの容量の少なくとも一方に基づく、
上書きしている位置についての情報を出力手段に出力させる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2018-6969号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ドライブレコーダによって記録された画像は、事故等の発生原因を特定するために有効
利用される。車両等に取り付けられたカメラで取得された画像を、従来よりもさらに事故
原因の特定に役立てるとともに、事故原因の特定に限定されず、より有効に活用すること
が望まれている。
【0005】
本願の発明の目的はこれに限定されず、本明細書及び図面等に開示される構成の部分か
ら奏する効果を得ることを目的とする構成についても分割出願・補正等により権利取得す
る意思を有する。例えば本明細書において「~できる」と記載した箇所を「~が課題であ
る」と読み替えた課題が本明細書には開示されている。課題はそれぞれ独立したものとし
て記載しているものであり、この課題を解決するための構成についても単独で分割出願・
補正等により権利取得する意思を有する。課題が明細書の記載から黙示的に把握されるも
のであっても、本出願人は本明細書に記載の構成の一部を補正または分割出願にて特許請
求の範囲とする意思を有する。またこれら独立の課題を組み合わせた課題も開示されてい
る。
【課題を解決するための手段】
【0006】
(1)車両に取り付けられたカメラで撮像された画像を記録する機能、及び
前記カメラで撮像された画像の画像解析を行い、解析結果に基づいて、解析結果に対応
する処理を実行する機能
を持つ処理手段を有するシステムとするとよい。
【0007】
車両に取り付けられたカメラで撮像された画像を記録するのみではなく、その画像をよ
り有効に活用することができる。
【0008】
車両の例として、例えば乗用車、貨物自動車、特殊自動車等が挙げられる。カメラは、
例えば、車両の車内及び車外の少なくとも一方を撮像するとよい。次に、「車内」及び「
車外」については、例えば以下のように解釈するとよい。
【0009】
車両のボディによって内部の空間と外部の空間とが明確に区分される場合には、ボディ
の内部を「車内」と呼び、ボディの外部を「車外」と呼ぶとよい。例えば、乗員スペース
と積荷スペースとが連続しているバンの場合、連続する乗員スペースと積荷スペースとを
車内と呼ぶとよい。乗員スペースと積荷スペースとが仕切られているセダンの場合も、乗
員スペース及び積荷スペースの両方を車内と呼ぶとよい。密閉構造の荷台を持つ有蓋貨物
自動車においては、乗員スペース及び密閉された荷台の内部を車内と呼ぶとよい。開放さ
れた荷台を持つ無蓋貨物自動車(平ボディ車)においては、荷台の上の積荷を収容する空
間と、その周囲の空間とを明確に区分することが困難であるが、開放された積荷を収容す
る空間も車内と呼ぶとよい。なお、無蓋貨物自動車の乗員スペースも車内と呼ぶとよい。
フォークリフト等の一部の特殊自動車では、乗員スペース及び積荷スペースの両方が開放
されており、乗員スペース及び積荷スペースを、その周囲の空間と明確に区分することが
困難な場合がある。このような場合であっても、乗員スペース及び積荷スペースの両方を
車内と呼ぶとよい。例えば、乗員が着座するシートの上の空間、及び積荷を保持して昇降
するフォークの上方の空間を車内と呼ぶとよい。このように、車両の移動に伴って、車両
とともに移動すると考えることができる空間を車内と呼び、その周囲の空間を車外と呼ぶ
とよい。
【0010】
「車両に取り付けられたカメラ」として、通常の使用状態で車両に対する相対位置及び
姿勢が固定されているカメラを用いるとよい。また、「車両に取り付けられたカメラ」と
して、半天球型または全天球型の360度カメラを用いるとよい。半天球型または全天球
型の360度カメラを用いると、通常のカメラを用いる場合と比べて、より広い範囲の画
像を取得することができる。例えば、1台のカメラで車内と車外との両方の画像を取得す
ることができる。なお、360度カメラに代えて、複数台の通常のカメラを車両に取り付
けてもよい。
【0011】
カメラで撮像される画像を、動画とするとよい。カメラで撮像される画像を動画とする
と、処理手段は、画像解析を行うことによって、被写体の動き、ある時点の前後における
被写体の有無等を容易に判定することが可能になる。
【0012】
カメラで撮像された画像を記録する機能は、カメラが搭載された車両の車載装置と通信
するサーバで実現してもよいが、車載装置で行うとさらによい。記録媒体として、SDカ
ード等のリムーバブルメディアを用いるとよい。記録媒体としてリムーバブルメディアを
用いると、画像が記録されたリムーバブルメディアを車載装置から取り外して、パソコン
等の他の端末で画像を表示することができる。
【0013】
カメラで撮像された画像を解析する機能は、カメラが搭載された車載装置と通信するサ
ーバで実現してもよいが、車載装置で行うとさらによい。車載装置が画像の解析を行うと
、解析結果に対応する処理を車両において迅速に実行することができる。
【0014】
処理手段は、1つの装置で構成してもよく、複数の装置で構成してもよい。例えば、ド
ライブレコーダは、カメラで撮像された画像を記録する機能を持っている。本システムの
処理手段の機能は、このドライブレコーダに内蔵されたマイクロコンピュータ及びメモリ
に記憶されたアプリケーションプログラムにより実現するとよい。また、例えば、処理手
段を車載装置とサーバとの2つの装置で構成し、画像の記録を車載装置が行い、画像の解
析をサーバが行うようにするとよい。
【0015】
なお、車両以外の物に取り付けられたカメラで撮像された画像を記録する機能、及び前
記カメラで撮像された画像の画像解析を行い、解析結果に基づいて、解析結果に対応する
処理を実行する機能を持つ処理手段を有するシステムとしてもよい。ただし特に(1)の
ようにするとよい。
【0016】
(2)前記処理手段は、前記画像解析の機能として画像内の人物の動きが、予め登録さ
れた特定の動きに該当するか否かを判別する機能を持ち、人物の動きが特定の動きに該当
するものであるとき、解析結果に対応する処理として、人物の特定の動きを撮像した画像
の記録、特定の動きを撮像した画像のサーバへの送信、人物が特定の動きをしたことの通
報、及び警報の発出の少なくとも1つの処理を実行する請求項1に記載のシステムとする
とよい。
【0017】
例えば、記録された画像、またはサーバに送信された画像は、人物が特定の動きをして
いたことの証拠として利用することができる。例えば、人物が特定の動きをしたことを通
報することにより、特定の動きをする人物がいることを外部の人に知らせることができる
。例えば、発出された警報により、特定の動きをしていた人物は、自分に対して警報が発
出されていることに気付くことにより、特定の動きを止めるように動機付けされる。
【0018】
特定の動きをする人物として、例えば車両の運転者とするとよい。特定の動きとして、
例えば運転者の運転以外の動作とするとよい。例えば、スマートフォン等の携帯端末を見
る動作、食べ物を食べる動作、よそ見やわき見の動作、居眠り等とするとよい。例えば、
わき見の動作の有無は、運転者の目の位置の検知結果に基づいて判定するとよい。記録さ
れた画像は、運転者の意識向上、事故原因の分析等に用いることができる。処理手段は、
運転者がスマートフォン等の携帯端末を操作していることを検知すると、運転中は携帯端
末を持たないように注意を促す警報を発出するようにするとよい。運転者が警報に気付い
て特定の動きを止めると、危険を事前に回避することができる。データ送信先のサーバと
して、車両の管理者のサーバ、または警察のサーバとするとよい。車両の管理者は、送信
されたデータに基づいて、運転者の運転態度を評価することができる。警察は、送信され
た画像に基づいて、運転者の運転態度の評価、事故の原因分析等を行うことができる。
【0019】
特定の動きをする人物として、例えば車外の不審者とし、特定の動きとして、例えば車
内に不法侵入しようとする動作、例えば、ハンマーを持ってガラス窓を割ろうとする動作
、車内を覗き込む動作等とするとよい。警報を発出することにより、不法侵入しようとす
る不審者に、車内への侵入を思いとどまらせることができる。記録された画像、またはサ
ーバに送信された画像は、車上狙いの犯罪が発生した後に窃盗犯逮捕のための有益な情報
として利用することができる。人物が特定の動きをしたことを車両の所有者や運転者に通
知することにより、所有者や運転者が直ちに車両に戻り、車上狙いの被害を未然に防ぐこ
とができる場合がある。また、通知を受けた運転者や所有者は、警察に通報することも可
能である。このように、この機能を防犯に役立てることができる。
【0020】
特定の動きをする人物として、例えば車内の不審者とし、特定の動きとして、種々の車
上狙いの手口、例えば駐車中の車内への不法侵入、駐車中の車内での不審者の動き、車内
の装置の取り外しの動作等とするとよい。警報を発出することによって窃盗犯が慌てて退
散すると、車上狙いの被害が軽減されるという効果が得られる。記録された画像、または
サーバに送信された画像は、車上狙いの犯罪が発生した後に窃盗犯逮捕のための有益な情
報として利用することができる。人物が特定の動きをしたことを車両の所有者や運転者に
通知することにより、所有者や運転者が直ちに車両に戻ったり、警察に通報したりするこ
とにより、車上狙いの被害を軽減させることが可能になる。外部への通報の例として、不
審者が写った画像を添付した電子メールの送信等が挙げられる。電子メールの送信先とし
て、車両の管理者、運転者、所有者、警察等とするとよい。
【0021】
特定の動きをする人物として、例えば不特定の人物が乗車する営業車両の乗客とし、特
定の動きとして、強盗の種々の手口、例えば刃物をちらつかせる動作、拳銃を構える動作
、暴力を振るう動作等とするとよい。処理手段が警報を発出する処理を実行することによ
り、強盗犯が犯罪を思い止まると、被害を未然に防ぐことができる。記録された画像、ま
たはサーバに送信された画像は、強盗犯逮捕のための有益な情報として利用することがで
きる。人物が特定の動きをしたことを車両の管理者に通報することにより、管理者が強盗
の発生に気付き、警察に通報することができる。また、処理手段が通信機能を用いて警察
に通報する機能を持つとよい。
【0022】
特定の動きをする人物として、例えば同乗している車内の乳幼児とし、特定の動きとし
て、例えば睡眠から目覚めたときの動きとするとよい。画像解析で乳幼児の目覚めを検知
すると、処理手段は、電子メール等で保護者に通知するとよい。走行中に乳幼児が車内で
眠ってしまって、エンジンをかけたままちょっと買い物に行ったり、用事を済ませたりし
たい場合がある。このとき、乳幼児を無理やり起こすと機嫌が悪くなってしまうため、そ
のまま眠らせておきたいという要望がある。ただし、保護者は、車両から離れている時、
乳幼児が目を覚ましていないか気になる。本システムを利用すると、乳幼児が目を覚まし
た時点で保護者の携帯端末に電子メールが送られてくるため、親は、直ちに車両に駆け付
けて乳幼児の目覚めに対処することができる。
【0023】
特定の動きをする人物として、例えば、車外の要介護者、要救助者とし、特定の動きと
して、例えば要介護者に特有の動作、救助が必要と思われる状況に該当する動作とすると
よい。例えば、要介助者の特有の動作の例として、例えば杖をついて、腰が曲がって、よ
たよた歩く動作が挙げられる。救助が必要と思われる状況に該当する動作の例として、倒
れて口から泡を噴いて倒れている状況に該当する動作等が挙げられる。
【0024】
特定の動きをする人物を検知する機能に、車両の前方の画像、車両の後方の画像、車内
の画像のうち少なくとも1つの画像を選択する機能を含め、選択された画像から該当の人
物を検知するようにするとよい。少なくとも1つの画像の選択は、ユーザが指定できるよ
うにするとよい。これにより、処理手段が、不要なまたは重要性の低い画像の解析を行わ
なくなるため、処理手段に過度な処理能力を持たせる必要がなくなる。
【0025】
特定の動きをする人物を検知する機能に、運転者の眠気を検知する機能を含ませるとよ
い。例えば、運転者の皮膚の赤味の変動具合から脈拍を測定し、脈拍の変動に基づいて、
運転者の眠気の有無を判定するとよい。サーモカメラによる体温の測定、マイクロ波によ
る脈拍の測定等を連携させて、眠気の検知精度を高めるとよい。本システムの処理手段が
眠気を検知したら、エアコンの設定温度を下げたり、音声や音で警告を発出したりすると
よい。
【0026】
(3)前記処理手段は、前記画像解析の機能として画像内の人物が、予め登録された特
定の特徴を有するか否かを判別する機能を持ち、解析結果に対応する処理として、画像内
の人物が持つ特定の特徴に応じた処理を実行するシステムとするとよい。
【0027】
画像に写り込んだ人物の特徴に応じて、適切な処理を行うことができる。
【0028】
画像内の人物が特定の特徴を有するか否かを判別する機能に、例えば顔認証機能を含め
るとよい。例えば、運転席に着座した人物の顔認証を行い、運転席に着座した人物が予め
登録された人物に該当しない場合、処理手段は、車両にアクセスしてエンジンの始動がで
きないようにするとよい。例えば、処理手段からエンジンコントロールユニット(ECU
)に対して、エンジンの始動を禁止する信号を送信するとよい。これにより、予め運転可
能な人物を登録しておき、登録されていない人物による車両の運転を禁止することができ
る。その結果、車両の防犯機能を高めることができる。また、子供のいたずら対策として
も有効である。エンジンの始動を禁止する処理の他に、アクセルを踏めないようにする、
サイドブレーキ(パーキングブレーキ)を解除できないようにする、シフトレバーがドラ
イブ位置に入らないようにする、警報を鳴らす、登録したメールアドレスに画像とともに
電子メールを送信する等の処理を行ってもよい。
【0029】
その他に、例えば車外の人物の顔認証を行い、車外の人物が予め登録された人物に該当
する場合、処理手段が車両を制御してドアロックを解除するようにするとよい。例えば、
車両がカーシェアリングサービスに提供されるものである場合、カーシェアリングサービ
スの登録会員を予め登録しておくとよい。登録会員は、車両に近づいて車両のカメラの画
角内に自分の顔を移動させることもより、カードキー等を所持していなくても、車両を利
用することが可能になる。これにより、カーシェアリングサービスの車両の使い勝手がよ
くなる。
【0030】
車両が、不特定の人物が乗り込む営業車両であり、処理手段は、乗客が手配中の犯罪者
であるか否かを顔認証機能により判定するとよい。手配中の犯罪者の顔写真は、警察のデ
ータベースからLTEや無線LAN等を介した通信により本システムの処理手段に伝送し
、予め処理手段に登録しておくとよい。処理手段は、乗客が手配中の犯罪者であると判定
した場合には、車両の管理者への通知、警察への通知等を、通信装置及び通信ネットワー
クを介して行うとよい。さらに、処理手段は、乗客に悟られない方法で運転者に通知する
とよい。車両の管理者、警察、運転者等は、手配中の犯罪者が車両に乗り込んだことを認
識し、迅速に適切な対応を取ることができる。
【0031】
例えば、タクシーは、乗務員と乗客のみが乗車した密室状態になるため、乗務員の安全
確保という点で、このシステムの需要が多いと思われる。犯罪者がタクシーに乗車したこ
とを処理手段が検知すると、タクシー会社や警察に、犯罪者の乗車を通知するとよい。ま
た、本システムによると、犯罪者が実際に車両内で犯罪行為を行う前に、犯罪者が車両に
乗り込んだ時点で犯罪者の乗車を検知することができる。このため、犯罪を未然に回避す
ることも可能になる。
【0032】
画像内の人物が特定の特徴を有するか否かを判別する機能に、例えば画像内の人物の外
見を、予め登録された特定の外見と比較し、両者が一致するか否かを判別する機能(以下
、外見認証機能という。)を含めるとよい。特定の外見として、徘徊者に特有の外見、犯
罪者に特有の外見等をあらかじめ登録しておくとよい。犯罪者に特有の外見の例として、
例えば路上で刃物を持っていること、危険物を持っていること等が挙げられる。また、赤
外線カメラ、紫外線カメラ等の画像と、通常のカメラの画像とを組み合わせて、違法薬物
を所持している人物を検知できるようにするとよい。処理手段は、画像内に特定の外見を
持つ人物を検知したら、通信装置及び通信ネットワークを介して警察や車両の管理者に通
知するとよい。
【0033】
特定の行方不明者、徘徊者を見つけたい場合には、例えば行方不明になった時点の外見
を、捜索情報として個別に処理手段に登録しておくとよい。例えば、男女の別、身長、服
装の種別、服装の色、帽子着用の有無、杖を持っているか否か、腰が曲がっているか否か
という個別の捜索情報を登録するとよい。さらに、徘徊していると思われる地域(捜索対
象地域)を登録するとよい。処理手段は、捜索対象地域に車両が位置するときに、個別の
捜索情報に合致する人物の検知処理を実行するとよい。このような個別の捜索情報は、警
察、地域の支援センター等のデータベース(サーバ)から本システムの処理手段に送信す
るとよい。画像内の人物が特定の特徴を有するか否かを判別する機能を車載装置で行い、
車両が捜索地域に進入したら、サーバから車両の処理手段に捜索情報をダウンロードする
ようにするとよい。
【0034】
画像内の人物が特定の特徴を有するか否かを判別する機能に、例えば助手席または後席
に座っている人物がシートベルトを着用しているか否かを判別する機能(以下、外見認証
機能という。)を含めるとよい。本システムの処理手段は、シートベルト未装着の人物を
検出すると、シートベルトを装着するように促すメッセージを発出するとよい。
【0035】
特に、後席の人物がシートベルト未装着の状態で高速道路の入り口に近づいたときに、
シートベルトの装着を促すメッセージを発出するとよい。例えば、車両の現在位置から高
速道路の入り口までの距離が基準の距離以下になったら、高速道路の入り口に近づいたと
判定するとよい。その他に、ETCカード挿入忘れチェック用の信号を受信したら、高速
道路の入り口に近づいたと判定するとよい。また、車両前方の画像を解析して、画像内に
高速道路の入り口を検知すると、高速道路の入り口に近づいたと判定するとよい。
【0036】
(4)前記処理手段は、前記画像解析の機能として画像内の人数を計数する機能を持ち
、解析結果に対応する処理として、画像内の人数データを記録または送信する処理を実行
するシステムとするとよい。
【0037】
人数を計数するための特別の装置を用いることなく、本システムにより人数を計数する
ことができる。
【0038】
例えば、カメラをバスに取り付けて、人数を計数する元となる画像として車内の画像を
採用するとよい。処理手段は、計数結果を表示して、乗務員に知らせるとよい。乗務員は
、車両に乗車している乗客(搭乗者)の人数を容易に把握することができる。この機能を
、ツアーの点呼に代えて利用することができる。乗客が全員降車すべきときに、乗客の人
数の計数結果が0にならないとき、乗務員は車内に取り残されている人がいることを知る
ことができる。例えば、赤ちゃんのように自らの意思を発することができない人、障害者
のように自ら降りることができない人等の居残りを検知することができる。
【0039】
例えば、カメラを取り付ける車両が、乗客の人数が予め決まっている種類の車両、例え
ば観光バス、長距離高速バス等であり、予め決められた乗客の人数を本システムの処理手
段に登録しておくとよい。処理手段は、人数の計数結果と、登録されている人数とを比較
し、過不足がある場合には、乗務員に対して過不足を警告するとよい。これにより、乗客
の人数が不足したまま発車してしまうことが防止される。また、乗車する資格を持たない
人が乗車してしまっていることを容易に把握し、降車を促すことができる。
【0040】
例えば、路線バスの車内にカメラ(例えば、天井に半天球カメラ)を取り付け、処理手
段が画像解析を行って、乗車人数、立っている乗客の人数、座っている乗客の人数を計数
する機能を持つとよい。さらに、バスの現在位置情報、バスの扉の開閉信号、バスの降車
ブザー、バスの乗降時のICカードのタッチ、料金箱の信号を処理手段が取得して、それ
ぞれをトリガとして記録する機能を持つとよい。これらの情報をデータレイクに蓄積し、
どこで乗った人がどこで降り、その間の車内の着席状況はどうだったかをビッグデータ解
析することが可能になる。このようなデータは、都市計画等を行うコンサルタント会社に
とって、貴重な情報となり得る。さらに、CAN等の車載ネットワークを伝送されている
情報、運転者のバイタル情報を合わせて取得するとよい。これらの情報は、車両に何らか
の異常が発生したときに、その異常が運転要因か、乗客要因か、運転者自身の要因か、車
両要因か等の因果関係の特定に利用することができる。
【0041】
例えば、人数を計数する元となる画像として車外の画像を採用するとよい。本システム
の処理手段は、計数結果を人数データとして記録するとよい。記録された人数データに基
づいて、多くの人出があった場所を容易に抽出することができる。計数結果をトリガとし
て、計数の元となった画像を記録するとよい。例えば、人数が予め決められたしきい値以
上のときに、画像を記録するようにするとよい。
【0042】
(5)前記処理手段は、前記画像解析の機能として、車内の画像から車両の表示機器の
表示内容または車両の操作機器の操作状況を検知する機能を持ち、解析結果に対応する処
理として、前記表示機器の表示内容または前記操作機器の操作状況に応じた処理を実行す
るシステムとするとよい。
【0043】
表示機器の表示内容の基礎となるデータを取得する機器、または操作装置の操作状況に
応じたデータを取得する機器を後付けすることなく、本システムでこれらのデータを取得
することができる。例えば、OBDコネクタに後付けの機器を接続することなく、これら
のデータを取得することができる。特に、OBDコネクタにサードパーティ製品を接続す
ることを車両メーカが禁止している場合でも、本システムによって、これらのデータを取
得することができる。この表示機器に、種々の計器、車内の警告灯(警告ランプ)、フロ
ントガラス等に画像を映し出すヘッドアップディスプレイ等を含めるとよい。
【0044】
検知対象となる表示機器の表示内容として、例えば、速度計に表示された車速とすると
よい。処理手段は、アナログ速度計の針の位置をパターン認識し、文字盤の数字を文字認
識して車速データを取得するとよい。また、デジタル速度計に表示された数字を文字認識
して車速データを取得するとよい。取得された車速データは、種々の処理に利用すること
ができる。以下、車速データの利用形態の一例について説明する。
【0045】
処理手段は、画像認識により、速度計を自動的に検知する機能を持つとよい。この機能
により、処理手段は、車種に依存することなく、種々の車両において速度計を検知するこ
とができる。その他に、処理手段に、当該処理手段が搭載された車両の速度計の、画像内
における位置及び形状を予め登録しておくとよい。これにより、処理手段は、容易に速度
計を検知することができる。
【0046】
スタンドアロン型のカーナビゲーション機器は、現在位置を取得するためにGPSによ
る位置情報を利用している。トンネル等、GPS信号を受信できない場合には、他の方法
で車両の現在位置を決定しなければならない。一例として、GPS信号ロスト直前の速度
の約80%の一定速度で5分間、地図内における自車の現在位置を移動させる。このよう
な処理を行うモードをトンネルモードということとする。トンネルモードは、トンネルに
進入した場合のみならず、高架下を走行している場合でも有効である。ところが、トンネ
ルモードで処理を行っているときに渋滞に出くわしたりすると、一定速度で走行している
と仮定する方法では、現在位置の誤差が過度に大きくなってしまい、実質的に使い物にな
らない。車両に加速度センサを取り付けて、加速度センサからの加速度データを利用すれ
ば、トンネルモードにおける現在位置情報の精度を高めることができる。ところが、ユー
ザにとって加速度センサの取り付けは困難であり、費用がかかるため、現実的ではない。
【0047】
速度計の表示内容から自車速度を読み取り、この読み取った速度に基づき、カーナビゲ
ーションシステムに実装されているマップマッチング機能を利用して自車の現在位置情報
を更新するとよい。これにより、自車の現在位置情報の精度を高めることができる。
【0048】
トンネル内の道路と地上道とが並走している場所、高架道と高架下の地上道とが並走し
ている場所では、トンネルモードの起動の有無に基づいて、どちらの道路にマッチングさ
せるか選択するとよい。例えば、トンネルモードが起動されているときは、自車位置をト
ンネル内の道路または高架下の地上道にマッピングさせ、トンネルモードが起動されてい
ないときは、自車位置をトンネル内の道路に並走している地上道または高架道にマッピン
グさせるとよい。
【0049】
検知対象となる表示機器の表示内容として、例えば、燃料計に表示された燃料残量とす
るとよい。処理手段は、燃料計の画像認識を行うことにより、燃料の残量を検知するとよ
い。処理手段は、燃料の残量が所定の基準値を下回ったことを検知すると、運転者に給油
を促すメッセージを通知するとよい。例えば、自車の現在位置情報と連動させて、外出先
から自宅または会社の車両保管場所近くまで戻ってきたときに、燃料の残量が基準値、例
えば満タン時の1/4以下だと、処理手段が警告を発出し、給油を促すとよい。また、カ
ーナビゲーション機器と本システムとを連動させ、処理手段が、目的地までの距離と燃料
の残量とを比較し、比較結果に基づいて出発時または目的地までの経路の途中で給油を促
すとよい。例えば、経路途中のガソリンスタンドの近くで、現在地の近くのガソリンスタ
ンドで給油を促すメッセージを出力するとよい。
【0050】
画像の中から速度計及び燃料計を抽出する機能は、本システムの処理手段に搭載する人
工知能(AI)により実現するとよい。人工知能により画像から速度計や燃料計を抽出す
ることが困難な場合には、予め画像内の速度計や燃料計の位置及び画像情報を処理手段に
登録しておくとよい。
【0051】
処理手段は、カーシェアリングサービスに提供されている車両の燃料計を読み取って、
残量が所定の基準値未満であることを検知すると、給油を行うとカーシェアリングサービ
スの特典を受けることができることを運転者に通知するとよい。例えば、「今給油すると
、15分に相当する金額の割引を受けることができます。」といったメッセージを発出す
るとよい。
【0052】
検知対象となる表示機器の表示内容として、例えば、インストルメントパネル内の警告
灯の点灯の有無とするとよい。点灯の有無を判定する対象となる警告灯に、ヘッドライト
の点灯インジケータ、ウインカインジケータ、ハイビームインジケータ(ハイビーム警告
灯)、パーキンブブレーキインジケータ、半ドア警告灯、燃料警告灯等を含めるとよい。
本システムの処理手段は、これらの警告灯の点灯の有無を判定することにより、警告灯に
対応する車両の状態を検知することができる。
【0053】
検知対象となる表示機器の表示内容として、例えば、ヘッドアップディスプレイによっ
て表示された警告情報とするとよい。処理手段は、ヘッドアップディスプレイによって表
示された画像の変化をとらえて警告内容を検知し、警告内容に応じた所定の処理を実行す
るとよい。例えば、音や音声によって警告を発出するとよい。視覚情報による警告を、聴
覚情報に変えて発出することにより、運転者が警告に気付きやすくなるという効果が得ら
れる。
【0054】
例えば、車外の明るさ情報や、車両の現在位置情報と連携させて、本システムの処理手
段は、ヘッドライトを点灯させるべき状況であるにもかかわらず、ヘッドライトの点灯イ
ンジケータが点灯していないことを検知すると、ヘッドライトを点灯するように運転者に
通知するとよい。ヘッドライトを点灯させるべき状況には、例えば車外がある明るさより
も暗い状況、車両の現在位置がトンネル内または暗渠道内である状況等が含まれる。ヘッ
ドライトを点灯させるべき状況が解消したにもかかわらずヘッドライトの点灯インジケー
タが点灯したままであるとき、本システムの処理手段は、ヘッドライトを消灯するように
運転者に通知するとよい。照明によって内部が明るいトンネルも存在するため、車外の明
るさ情報のみからヘッドライトを点灯させるべき状況であるか否かを判定すると、トンネ
ル内であるにもかかわらずヘッドライトを点灯させるべき状況ではないと誤判定されてし
まう事態が生じ得る。車両の現在位置情報に基づいてトンネル内か否かを判定することに
より、このような誤判定を回避することができる。また、ヘッドライトのみならず、車幅
灯(スモールライト)を点灯させるべき状況であるにもかかわらず、車幅灯の点灯インジ
ケータが点灯していないことを検知すると、車幅灯を点灯させるように運転者に通知する
とよい。
【0055】
本システムの処理手段は、車両前方の画像から対向車の有無を判定し、対向車があるに
もかかわらずハイビームインジケータが点灯していることを検知すると、ロービームに変
更するように運転者に警告するとよい。車種によって、ビームのハイロー切替操作が異な
るため、運転者は、常用する車種と異なる車種の車両を運転しているときに、ロービーム
にしたつもりがハイビームのままであるといった事象が発生しやすい。このような場合に
、この警告を発出する機能が特に有効である。
【0056】
本システムの処理手段は、車外が暗いときに車外の画像からウインカが点滅しているこ
とを検知し、ウインカの点滅周期と同期して車内で点滅しているインジケータを、ウイン
カインジケータとして認識するとよい。このようにすることで、処理手段は、インストル
メントパネル内のウインカインジケータを容易に見つけ出すことができる。
【0057】
本システムの処理手段は、車内の画像から車内に誰もいないことを検知したにも関わら
ず、ヘッドライトや車幅灯が点灯していることを検知すると、車外の運転者や車両の管理
者に、消灯忘れであることを通知するとよい。この通知は、例えば予め登録されているメ
ールアドレス宛に電子メールを送信することにより行うとよい。その他に、処理手段は、
ハザードランプの消灯忘れ、ルームライトの消灯忘れを電子メール等で通知するようにす
るとよい。ハザードランプの点灯状態は、ウインカインジケータの点滅状態から検知する
とよい。ルームライトの点灯状態は、画像に写り込んでいるルームライトの明るさから検
知するとよい。
【0058】
ルームライトの設定には、一般的に、常時点灯モード、常時消灯モード、ドア開閉状態
連動モード(以下、単に連動モードという。)の3種類がある。多くの車両においては、
この3種類のモードは、ルームライトオンオフスイッチを1回押下するごとに循環更新さ
れる。暗い所で(夜間に)エンジンを停止させるとルームライトが点灯し、しばらくして
から(例えば数秒経過すると)自動的に消える機能を持つ車両がある。エンジンを停止さ
せてから降車の準備をするために、もっと長い時間ルームライトを点灯させておきたい場
合もある。例えば、エンジンを停止させた後に、購入した品物の整理と取り出し、携帯端
末の取り出し等を行う期間は、ルームライトを点灯させておきたい。このようなとき、運
転者は、エンジン停止から一定期間経過時にルームライトが自動消灯しないようにするた
めに、ルームライトの設定を連動モードまたは常時点灯モードに切り替える。ところが、
ドアが開いた状態では、現在のルームライトの設定が常時点灯モードなのか連動モードな
のか判別することが困難である。現在のルームライトの設定が常時点灯モードであるにも
関わらず、連動モードであると勘違いしてそのまま降車すると、ルームライトが付いたま
まになってしまう。本システムを利用することにより、運転者や管理者がルームライトの
消灯忘れに気付き、ルームライトを消灯することにより、ルームライトの長時間点灯によ
る車両のバッテリ上がりを防止することができる。操作スイッチを見ただけでは、ルーム
ライトの現在の設定がどのモードになっているのかわからない構造、例えば押しボタンを
押す度にルームライトの設定が循環的に切り替わるような構造の操作スイッチを持つ車両
において、本システムのこの機能が特に有益である。
【0059】
ルームライトの設定が連動モードであるとき、どこかのドアが開いているか半ドア状態
であれば、ルームライトは点灯したままになる。ルームライトが点灯していることを通知
された運転者や管理者は、半ドア状態になっているか、または見えづらい側のドアが開い
ている可能性があることに気付くことができる。
【0060】
ルームライトの設定が連動モードのとき、ドアを閉めてから一定の時間(消灯遅延時間
)が経過するまでは、ルームライトを点灯させたままにする機能を持つ車両がある。この
ような車両においては、本システムの処理手段は、ドアが閉じられたことを検知してから
消灯遅延時間が経過するまでは、消灯忘れか否かの判定をしないようにするとよい。消灯
遅延時間は、本システムがユーザからの入力に基づいて設定するようにするとよい。
【0061】
また、処理手段は、車内に誰もいなくなってから一定時間が経過しても、ルームライト
が点灯したままであることを検知すると、車両のコントローラに対してルームライトを消
灯させる信号を送信するとよい。
【0062】
本システムの処理手段は、ヘッドライト、車幅灯、ハザードライト、ルームライト等が
点灯または点滅の状態で、車両のドアが開けられたことを検知すると、いずれかのライト
が点灯したままであることを通知する警報を発出する機能を持つとよい。これにより、運
転者は車外に出てしまう前に消灯忘れに気付き、消灯忘れを未然に防止することができる
【0063】
本システムの処理手段は、パーキングブレーキインジケータの点灯に基づいて、パーキ
ングブレーキがかかっている状態であることを検知すると、運転者の画像から運転者が居
眠りをしていることを検知しても警報を発出しないようにするとよい。その他に、パーキ
ングブレーキがかかっている状態のときに、運転者が携帯端末を見る等の、運転中であれ
ば危険な動作とみなされる動作をしていることを検知しても、警報を発出しないようにす
るとよい。
【0064】
本システムの処理手段は、早期に点検または修理を行う必要があることを知らせる警告
灯が、一定期間点灯した状態のままであることを検知すると、当該車両のディーラーや登
録している修理業者に車両の状態を通知する機能を持つとよい。例えば、自動車に興味が
ないユーザは、警告灯が点灯していても走行可能な場合には、警告灯の点灯に気づかず、
放置してしまう場合が多い。例えば、エンジン自体の警告灯が点灯すると、通常は走行不
能になるが、エンジンオイルの異常を知らせる警告灯が点灯していてもそのまま走行でき
てしまう。また、O2センサ異常の場合には、燃費が悪くなるが走行自体は可能である。
走行が可能な場合に、点検修理を行わず、走行を継続すると、軽度の故障が重度化してし
まう場合がある。ディーラーや修理業者にとって警告灯点灯の通知は、警告灯が点灯した
車両の所有者に点検修理の営業活動を行うための有益な情報となる。また、車両の所有者
は、早期に点検整備を行うことにより、故障の重度化を予防することができる。
【0065】
検知対象となる表示機器の表示内容として、例えば、車外温度を測定する温度センサに
よって測定された温度測定値を表示するインストルメントパネル内の温度表示領域に表示
された温度とするとよい。処理手段は、画像解析の機能として、インストルメントパネル
の温度表示領域に表示された画像から、文字認識により温度を読み取る機能を持つとよい
。処理手段は、解析結果に対応する処理として、通信装置及び通信ネットワークを介して
外部のサーバに温度情報を送信する処理を実行するとよい。
【0066】
例えば、花粉飛散に関するデータを取得するために、一般ユーザの住宅にセンサを設置
し、センサから測定データを収集することにより、きめ細かい花粉飛散状況を予測し、花
粉飛散情報を配信するサービスが株式会社ウェザーニューズ等から提供されている。また
、一般ユーザから投稿された屋外写真や、一般家庭の住宅に設置した屋外ライブカメラか
ら収集された画像が天気予報に取り入れられている。また、これらの画像を配信するサー
ビス(例えばウェザーニュースSOLiVE24等)が提供されている。これらの気象情
報サービスを提供するシステムは、多くの車両で測定された外気温情報を収集することに
より、多くの車両を温度の測定プローブとして利用することができる。温度情報を送信す
る多くの車両が広い範囲に分布すると、多くの車両から収集した温度情報をスポット的な
情報として役立てることができる。例えば、一般的な気象情報では表せないスポット的な
熱中症警報等を出すことが可能になる。
【0067】
このような気象情報サービスを提供する会社にとっては、自社で温度センサを設置する
ことなく、広い範囲に亘って温度情報を収集することができるという効果が得られる。温
度情報の提供を受けた会社は、温度情報を提供した車両の所有者等に返礼として、会社が
提供する有料の気象情報サービスの無料提供または割引提供等を行うとよい。
【0068】
インストルメントパネル内の温度表示領域から読み取った温度情報のみならず、カメラ
で取得された画像に移り込んでいる道路脇の温度表示標識に表示された数字を文字認識す
ることにより、外気温情報を取得するとよい。温度表示標識の検知は、例えば、標識内の
「只今の温度」という文字等を認識することにより行うとよい。取得した外気温情報は、
インストルメントパネル内の温度表示領域から取得した温度情報と同様に、本システムの
処理手段が外部のサーバに送信するとよい。
【0069】
画像解析によって操作機器の操作状況を検知する機能に、アクセルペダル及びブレーキ
ペダルに対する運転者の足の位置を検知する機能を含めるとよい。前記操作機器の操作状
況に応じた処理として、運転者の足がアクセルペダルの位置にあるか、ブレーキペダルの
位置にあるかを運転者が容易に認識できるように、運転者に通知する処理を実行するとよ
い。例えば、足がアクセルペダルの位置にあるときと、ブレーキペダルの位置にあるとき
とを、発光素子による発光色を変えることによって運転者に通知するとよい。アクセルペ
ダルに足がかかっているか、ブレーキペダルに足がかかっているかを検知して、検知結果
を表示器に視覚情報として表示する機能を持つ車両に本システムを搭載し、本システムの
処理手段が、この表示器に表示された内容を画像解析し、アクセルペダル及びブレーキペ
ダルに対する運転者の足の位置を検知するとよい。
【0070】
さらに、画像解析によって前方に障害物を検知しているにも関わらず、足がアクセルペ
ダルの位置にあるとき、音等で警報を発出するとよい。運転者が警報に気付くことにより
、アクセルペダルとブレーキペダルとの踏み間違いの発生を抑制することができる。
【0071】
画像解析によって操作機器の操作状況を検知する機能に、ステアリングホイール(ハン
ドル)の回転角を検知する機能を含めるとよい。前記操作機器の操作状況に応じた処理と
して、ステアリングホイールの回転角と車速とに基づいて、車両の進行方向及び走行距離
を求める処理を実行するとよい。処理結果を、例えば、スタンドアロン型カーナビゲーシ
ョン機器に与えるとよい。スタンドアロン型カーナビゲーション機器は、本システムから
与えられた進行方向及び走行距離に関する情報に基づいて、GPS信号を受信できない状
況においても、車両の走行経路を算出することができる。
【0072】
画像解析を行う機能に、車両が自動運転中(自動運転レベル1~5を含む)か、手動運
転中(自動運転レベル0)かを検知する機能を含めるとよい。この検知は、例えばインス
トルメントパネルに表示されている自動運転の種々の機能が動作中か否かを示すインジケ
ータの表示状態を画像から認識することにより行うとよい。解析結果に対応する処理とし
て、例えば、自動運転機能が解除されたことを検知すると、自動運転機能が解除されたこ
とを運転者に通知する処理を実行するとよい。また、自動運転機能が解除されたにもかか
わらず、運転者がステアリングホイールに手をかけていないことを検知すると、処理手段
は、ステアリングホイールを操作するように運転者に注意を促す警告を発出するとよい。
さらに、自動運転機能が解除されたこと、及び運転者がステアリングホイールに手をかけ
ていないことをトリガとして、処理手段は、カメラで撮像された画像を記録するとよい。
記録された画像は、運転者の操作が不適切であったことを示す証拠として利用することが
できる。
【0073】
レーダー探知機を搭載した車両において、処理手段は、自動運転の機能が有効であると
きは、レーダー探知機の機能を無効にするとよい。これにより、レーダー探知機からの不
要なアラームの発生を無くすことができる。自動運転の状態が無効であるときは、処理手
段は、レーダー探知機の機能を有効にするとよい。
【0074】
車両が自動運転中か手動運転中か、自動運転のレベル(モード)はどのレベル(モード
)であるかを、インジケータやステアリングホイールの動き、運転者の手の位置、運転者
の頭の向いている方向等から判定するとよい。
【0075】
(6)前記処理手段は、前記画像解析の機能として、車内の画像から車両に貼り付けら
れたステッカーに表示されている文字を認識する機能を持ち、解析結果に対応する処理と
して、認識した文字で示される情報に応じて注意喚起を行う処理を実行するシステムとす
るとよい。
【0076】
注意喚起されることにより、車両の運転者、管理者または所有者は、車両に貼り付けら
れたステッカーの文字情報に注意が向けられ、文字情報に応じた適切な処理を行うことが
できる。
【0077】
例えば、画像解析対象となるステッカーに、検査標章(車検ステッカー)を含めるとよ
い。検査標章の車内側の面には、車検の有効期間が満了する年月日が表示されている。処
理手段は、車検の有効期間が満了する年月日の情報を文字認識により読み取り、現時点か
ら車検の有効期間の満了日(車検の期限)までの期間が所定の期間より短くなったら、車
検を受けるように注意喚起するとよい。例えば、処理手段は、「車検有効期間の満了日が
近づいています。」という音声を発出することにより注意喚起を行うとよい。車検の有効
期間の満了日までの期間がさらに短くなると、例えば、処理手段は、「車検を受けてくだ
さい。」という音声で警告を発出するとよい。
【0078】
例えば、画像解析対象となるステッカーに、整備点検済ステッカーを含めるとよい。整
備点検済ステッカーには、次回の定期点検を行う期限が年月日で表示されている。処理手
段は、定期点検の期限を示す年月日の情報を文字認識により読み取り、現時点から定期点
検の期限までの期間が所定の期間より短くなったら、定期点検を受けるように注意喚起す
るとよい。例えば、処理手段は、「定期点検の期限が近づいています。」という音声を発
出することにより注意喚起を行うとよい。定期点検の期限までの期間がさらに短くなると
、例えば、処理手段は、「定期点検を受けてください。」という音声で警告を発出すると
よい。
【0079】
画像解析の機能に、カメラで撮像された画像に検査標章が写っているか否かを判定する
機能を含めるとよい。解析結果に対応する処理として、画像に検査標章が写っていない場
合には、処理手段は、検査標章が写り込むようにカメラの取り付け位置及び姿勢を調整す
るように注意喚起する処理を実行するとよい。例えば、処理手段は、「検査標章が写って
いません。検査標章が写るようにカメラの位置及び姿勢を調整してください。」という音
声を発出するとよい。これにより、カメラの設置時に、その位置及び姿勢を容易に調整す
ることができる。処理手段が車両内の表示機器、例えば速度計、燃料計等に表示された内
容を読み取る機能を持ち、車両内の表示機器が画像に写り込むように注意喚起する機能を
持つとさらによい。
【0080】
画像解析の機能に、フロントガラス、運転席及び助手席のサイドウィンドウに、法令で
認められたステッカー以外のステッカーが貼られているか否かを判定する機能を含めると
よい。解析結果に対応する処理として、法令で認められたステッカー以外のステッカーが
貼られていると判定した場合に、ステッカーを剥がすように運転者等に通知する処理を実
行するとよい。
【0081】
(7)前記処理手段は、前記画像解析の機能として、助手席が写り込む領域の画像を解
析する機能を含み、解析結果に対応する処理として、助手席の状況に応じた処理を実行す
るシステムとするとよい。
【0082】
例えば、助手席に人が乗車しているか否か、助手席に物が置かれているか否かに応じて
、適切な処理を実行することができる。
【0083】
処理手段を、助手席に座っている人がシートベルトを着用していないときに警告を発出
する機能を持つ車両に搭載するとよい。処理手段は、画像解析の機能として、助手席が写
り込む領域の画像から、助手席に人が座っているか否かを判定する機能を持つとよい。解
析結果に対応する処理として、処理手段は、助手席に人が座っていないことを検知すると
、助手席のシートベルト未着用の警告を発出する機能を無効化させるとよい。処理手段は
、画像解析の機能として、助手席に物が置かれているか否かを判定する機能を持つとよい
。解析結果に対応する処理として、処理手段は、助手席に物が置かれているときは、助手
席のシートベルト未着用の警告を発出する機能を無効化させる処理を実行するとよい。
【0084】
車両は、助手席に人間の体重相当の物が置かれているときに人が乗車していると誤判定
し、シートベルト未装着の警告を発出してしまう場合がある。本システムを車両に取り付
けると、助手席に物が置かれている場合には、車両がシートベルト未装着の警告を発出し
ないようになる。このため、運転者が警告に惑わされることがなくなる。特に、助手席に
重いものが置かれているとき、警告ブザーが鳴り続ける仕様を持つ車両において、この機
能は有効である。車両に対してシートベルト未装着の警告を発出させないようにするには
、例えば、処理手段が車内ネットワーク(CAN)を通して車両のコントローラに、警告
の発出を無効化させる信号を送信するとよい。
【0085】
後部座席についても、同様の機能を持つ車両においては、後部座席に物が置かれている
ことを検知すると、処理手段がシートベルト未装着警告機能をキャンセルするとよい。
【0086】
(8)前記処理手段は、前記画像解析の機能として、現時点の車内の画像と、過去の車
内の画像とを比較する機能を持ち、解析結果に対応する処理として、現時点の車内の画像
と、過去の車内の画像との不一致度合いが所定のレベルを超えたら通知する処理を実行す
るシステムとするとよい。
【0087】
車両の所有者または管理者が通知を受けることにより、車内の状況が一定レベルを超え
て変化したことを知ることができる。過去の車内の画像として、予め車両に付属している
物以外の物が車内に持ち込まれていない状態の画像を用いるとよい。この画像と、現時点
の車内の画像とを比較することにより、車内に持ち込まれたものがあるか否かを判定する
ことができる。
【0088】
過去の複数の時点の画像と、現時点の画像とを比較することにより、車内に持ち込まれ
たものが車内にそのまま存在する時間を算出するとよい。処理手段は、車内に長時間載せ
たままになっているものが検知されると、その物をお知らせする機能を持つとよい。
【0089】
例えば、車両に荷物を積んでいない状態で、できれば運転者のみが乗車している状態で
、本システムの初期設定ボタンを押し、車両を走行させる。処理手段は、車両速度に相当
するオプティカルフローがある画像内の部分は、窓と認識する。それ以外の動きがある部
分は、運転者と認識する。窓及び運転者と認識した部分以外の部分は、物を置く可能性が
ある領域と認識し、車両に荷物を積んでいない無荷物状態画像(無荷物状態映像)として
記録する。ここまでの処理で初期設定の処理が完了する。以後、エンジン始動時、エンジ
ン停止時などに、無荷物状態画像と現在の画像との差分をとり、車内に持ち込まれた物体
の存在を特定する。車内に持ち込まれたと特定された物体の位置の変化が一定期間無い場
合に、警告を発する。これにより、車内に長期間置き去りになっている物体を運転者等に
認識させることができる。この機能は、特に、車内がすぐゴミだらけになる人にとって有
効である。
【0090】
(9)前記処理手段は、前記画像解析の機能として、予め登録された物が車内の画像に
写っているか否かを判定する機能を持ち、解析結果に対応する処理として、予め登録され
た物が車内の画像に写っているときに警報を発出する処理を実行するシステムとするとよ
い。
【0091】
運転者等は、警報により、車内に予め登録されたものが存在することに気付くことがで
きる。例えば、忘れ物チェックをしてほしい物(特定のバッグ、財布等)の画像を処理手
段に登録しておくとよい。処理手段は、車内に誰もいなくなった状態で、登録されている
物が画像に写り込んでいることを検知すると、警報の発出または忘れ物の通知を行うとよ
い。警報の発出例として、例えば車内に取り付けたブザー等を鳴らすとよい。忘れ物の通
知の例として、例えば無線で運転者等のスマートフォンや携帯電話等に、電子メール等で
通知するとよい。
【0092】
処理手段は、例えば、車内に忘れ物を検知し、かつドアを開ける動きを検知すると、警
報を発出するとよい。警報により、運転者等は車両から離れる前に忘れ物に気付くことが
できる。処理手段は、例えば、車内に忘れ物を検知し、かつドアを閉める動きを検知する
と、電子メール等で運転者等に忘れ物があることを通知するとよい。運転者等は、車両か
ら離れた後に、忘れ物があることに気付くことができる。ドアを開閉する動きの検知は、
例えばオプティカルフローを検知することにより行うとよい。
【0093】
処理手段は、オプティカルフローを検知することにより、車内におけるその他の動きを
検知する機能を持つとよい。例えば、処理手段は、画像解析の機能として、ドアの開閉の
動き、窓の開閉の動き、ウインカの操作、ステアリングホイールの操作、サンバイザの上
げ下げの操作等を検知するとよい。本システムは、車両の車内ネットワークのコネクタ(
例えばOBDコネクタ)に接続することなく、これらの情報を取得することができる。
【0094】
サンバイザが降りている状態では、特にフロントガラスに取り付けた360度カメラな
どで運転者側を撮像する場合、サンバイザが邪魔になってその方向の画像が全く得られな
くなってしまう。そこで、車両の前方が、サンバイザが不要と判断される明るさであるに
も関わらず、処理手段が、サンバイザが降りていることを検知すると、警告を発出すると
よい。サンバイザが降りているか否かは、サンバイザの領域が画像に占める割合に基づい
て処理手段が判定するとよい。
【0095】
(10)前記処理手段は、前記画像解析の機能として、ユーザが前記カメラに近付けた
物を撮像して画像認識する機能を持ち、解析結果に対応する処理として、ユーザが前記カ
メラに近付けた物に記された情報に応じた処理を実行するシステムとするとよい。
【0096】
ユーザは、所持している物をカメラに近付けることにより、その物に記された情報に応
じた処理を実行させることができる。
【0097】
例えば、カメラに近付けるものとして、運転者の運転免許証とするとよい。処理手段は
、運転免許証に記載されている有効年月日を文字認識し、現時点から有効年月日までの期
間が所定期間より短いとき、運転免許証の更新期日が近づいていることをユーザに知らせ
るとよい。
【0098】
例えば、カメラに近付けるものとして、ガソリンスタンドのレシートとするとよい。処
理手段は、レシートに表示された日付、給油量、及び金額を文字認識し、これらの情報を
記録してデータベース化するとよい。
【0099】
例えば、カメラに近付けるものとして、身分証明書(例えば、運転免許証、社員証、住
基カード等)とするとよい。処理手段は、身分証明書に記載された氏名等を文字認識し、
予め登録されている人物か否かを判定するとよい。身分証明書の人物が登録されていない
場合には、エンジンの始動を禁止する処理を行うとよい。これにより、車両を運転するこ
とができる人を、予め登録されている人に限定することができる。さらに、処理手段は、
身分証明書の人物の氏名等を記録するとよい。記録された情報は、車両の運行管理を行う
際に運転者を特定するために利用することができる。
【0100】
処理手段は、画像認識する機能として、車外においてユーザがカメラに近づけたものを
認識する機能を持つとよく、車内においてユーザがカメラに近づけたものを認識する機能
を持つとさらによい。例えば、処理手段は、通常の画像と比較して、通常の画像にはない
ものがカメラの画角内の所定の範囲より広い部分を占めているとき、カメラに近づけられ
たものがあると認識するとよい。特に、処理手段は、カメラの画角内の所定の範囲より広
い部分を占めているものをユーザが手に持っていると認識すると、そのものをユーザがカ
メラに近づけたと判定するとよい。
【0101】
(11) 前記処理手段は、前記画像解析の機能として、前方の画像に写り込んだ物の
画像解析を行う機能を持ち、解析結果に対応する処理として、車両の走行に関して注意す
べき情報を運転者に提供する処理を実行するシステムとするとよい。
【0102】
前方の状況に応じて運転者に注意を促すことにより、車両が前方に進行することにより
将来的に生じ得る事故の発生を抑制することができる。
【0103】
画像解析の機能に、前方の車両との車間距離及び相対速度の少なくとも一方を算出する
機能を含めるとよい。車間距離または相対速度に基づいて、衝突の危険性が高い状況を検
知し、衝突の危険性が高いことを警報の発出等によって運転者に通知するとよい。車間距
離は、画像内の前方車両の大きさ、例えばナンバープレートの大きさ、トレッド(タイヤ
間隔)の大きさ、テールランプの幅等の情報から算出するとよい。相対速度は、車間距離
の変化の割合から算出するとよい。
【0104】
画像解析の機能に、前方の信号機の色を検知する機能を含めるとよい。処理手段は、信
号機が赤色点灯状態のとき、運転者に停止を促すように通知するとよい。
【0105】
画像解析の機能に、前方の道路標識を認識する機能を含めるとよい。処理手段は、道路
標識の示す情報に応じて、運転者に注意を促すとよい。例えば、道路標識が制限速度を示
すものである場合、処理手段は、文字認識により現在の地点の制限速度を取得し、制限速
度を運転者に通知するとよい。道路標識が侵入禁止を示すものである場合、処理手段は、
進入禁止の道路に進入しようとしたら、警報を発出して運転者に通知するとよい。例えば
、車両が、道路標識で示された交通ルールに反する走行をしようとしているか、または交
通ルールに反する走行をしていることを検知すると、ルール違反であることを運転者に通
知するとよい。これにより、交通ルール違反の発生を防止、または抑制することができる
。例えば、処理手段は、道路標識の文字列を認識することによって、現在走行中の区間が
自動速度取締機設置区間であることを示す標識を検知した場合、運転者に速度の出し過ぎ
を注意するように通知するとよい。
【0106】
画像解析の機能に、自車走行車線に隣接する車線の渋滞状況を検知する機能を含めると
よい。例えば、渋滞が発生しているか否かは、隣接する車線の車両の平均走行速度、及び
車間距離に基づいて判定するとよい。例えば、隣接する車線の車両の走行速度が所定の基
準値以下であり、車間距離が所定の基準値以下で所定の台数の車両が並んでいるときに、
渋滞が発生していると判定するとよい。解析結果に対応する処理として、自車走行車線に
隣接する車線に渋滞が発生していることを検知すると、渋滞中の車両の間からの飛び出し
に注意するように、運転者に注意喚起する処理を実行するとよい。自車走行車線に隣接す
る車線には、対向車線、及び自車と同一方向に走行する隣の車線を含めるとよい。特に、
ショッピングモール、テーマパーク、駅等の人が集まる場所、ガソリンスタンドのように
車両が出入りする場所では、自車走行車線に隣接する同一方向車線も渋滞する可能性が高
い。このような場合、自車と同一方向に走行する隣の車線の渋滞を検知することが有効で
ある。これにより、飛び出しによる事故の発生を抑制することができる。例えば、自車の
走行速度が所定速度未満、例えば時速30km未満のときには、飛び出し注意の警告音を
出さないようにするとよい。これにより、不要な警告音の発生を回避することができる。
そのほかに、前方の画像から、飛び出しの危険が高い状況を検知して、注意喚起するとよ
い。例えば、道路わきに連続して駐車車両がある場合、パーキングメータが設置されたパ
ーキングロットに駐車車両がある場合等に、飛び出しに対する注意喚起を行うとよい。
【0107】
例えば、カーナビゲーション機器に、渋滞プローブ情報、一般道高速走行情報、周辺施
設情報(住宅地や学校等)に基づいて、運転者に走行注意を促す機能が付けられているも
のがある。本システムを利用することにより、渋滞プローブ情報が得られない場所におい
ても、渋滞に起因して注意喚起を行うことができる。
【0108】
画像解析の機能に、発進前に、車両の周りにいる動物(犬、猫、タヌキ、イノシシ等)
や人を検知する機能を含めるとよい。処理手段は、車両の周りに動物や人を検知すると、
車両の周りに動物等がいることを運転者に知らせるとよい。これにより、発進直後の事故
の発生を抑制することができる。
【0109】
画像解析の機能に、周囲の景色の流れから車両がゆっくり前進していることを検知する
機能を含めるとよい。処理手段は、車両がゆっくり前進していることを検知すると、警報
を発出するとよい。例えば、車両が一旦停止した後、ブレーキペダルを踏む力の緩みによ
って、クリープ現象で車両が少しずつ動き出した場合に、車両が動いていること、及び追
突の危険性があることを運転者に知らせることができる。例えば、車速がクリープ現象で
前進する程度の速度で移動しているときに、車両がゆっくり前進していると判定するとよ
い。周囲の風景の流れの速度は、オプティカルフローを検知することにより行うとよい。
【0110】
画像解析の機能に、前走車が大型車両、例えばバス、荷台がアルミ製の箱型トラック等
であるか否かを判定する機能を含めるとよい。処理手段は、前走車が大型車両であって、
信号機に近づいたことを検知すると、信号機の存在を運転者に通知するとよい。例えば、
「信号注意」といった音声を発出するとよい。信号機の有無は、予めPOI情報として処
理手段に登録しておくとよい。例えば、前方に大型車両が走行しているときは、進行方向
の信号機が見えにくくなる。反対車線の信号機や歩行者用信号機を見て、信号機の存在を
予測したり、十分な車間距離をとって進行方向の信号機が容易に見えるようにしたりする
ことが好ましい。ところが、このような注意を怠ると、進行方向の信号機を見落としてし
まう危険性がある。また、田舎では、反対車線の信号機や歩行者用信号機が設置されてい
ない場合もある。前走車が大型車両であるときに、信号機の存在を通知することにより、
運転者が信号機を見落とす危険性を低減させることができる。また、信号機の存在を直接
的に知らせる代わりに、処理手段は、信号機の見落としの危険性が低下するような走行を
行うように注意喚起するとよい。例えば、「十分な車間距離をとってください。」といっ
た音声を発出するとよい。例えば、信号機が設置された交差点までの距離が、自車の安全
停止距離よりも長い段階で、注意喚起を行うとよい。自車の安全停止距離は、自車速度、
天候(雨天か否か)で変わってくる。安全停止距離として、自車速度、天候(雨天か否か
)に基づいて適切な距離を設定するとよい。例えば、晴天時の安全停止距離が50mであ
る場合、処理手段は、現在の天候が晴天で、前走の大型車両との距離が50m未満で、カ
ーナビゲーション機器でいうところの市街地エリア外で、進行方向に100m以内に信号
機が設置された交差点があるとき、注意喚起を行うようにするとよい。
【0111】
画像解析の機能に、前方の道路が坂になっているか否かを判定し、坂になっている場合
には、傾斜の度合いを検知する機能を含めるとよい。処理手段は、坂の傾斜の度合いによ
って、スピードの出し過ぎ、スピードの低下、ヒルクライムモードに設定等の注意を促す
とよい。
【0112】
車両が、荷物を取り扱うもの、例えばフォークリフト、トラック等であり、処理手段は
、撮像された画像から、荷物に表示された文字列、バーコード等の標識を認識し、自車両
が取り扱うべき荷物か否かを判定する機能を持つとよい。自車両で取り扱うべき荷物に付
された標識が表す情報を、予め処理手段に登録しておくとよい。処理手段は、自車両が取
り扱うべき荷物でない荷物を積載しようとしていることを検知すると、警報を発出する処
理を実行するとよい。
【0113】
処理手段は、オプティカルフローから、画像中の窓の領域を検知する機能を持つとよい
。さらに、処理手段は、オプティカルフローから、車両がトンネルに進入したか、車両が
トンネルから退出したか、トンネル内を走行中か否かを判定する機能を持つとよい。その
他に、処理手段は、オプティカルフローから、車両が高架下(上下並行道路の下)を走行
中か否かを判定する機能を持つとよい。さらに、処理手段は、オプティカルフローから、
ガードレールの有無、側溝注意要否の判定を行う機能を持つとよい。
【0114】
(12)前記処理手段は、前記画像解析の機能として、車外の画像に写り込んだ他の車
両のナンバープレートに記された文字を認識する機能を持ち、解析結果に対応する処理と
して、文字認識によって特定されたナンバープレートの情報を記録する処理及びネットワ
ークを介して送信する処理の少なくとも一方を実行するシステムとするとよい。
【0115】
本システムの処理手段の機能を持つ車載器を搭載した車両の近くを走行しているか、ま
たは近くに停車している他の車両のナンバープレートの情報を特定することができる。処
理手段は、この車載器を搭載した車両の現在位置情報とナンバープレートを撮像した時の
日時情報とを、特定されたナンバープレートの情報に関連付けて送信するとよい。位置情
報及び日時情報とともに取得されたナンバープレートの情報は、道路に設置されている自
動車ナンバー自動読取装置(Nシステム)によって取得されるナンバープレートの情報と
ともに、多くの車両の走行経路を知るための有益な情報となる。このように、車両のナン
バーとGPS情報とを紐付けることにより、広域移動Nシステムともいえるシステムを構
築することができる。
【0116】
複数の車両にそれぞれ搭載された本システムからネットワークを介して、位置情報、日
時情報、及びナンバープレート情報を関連付けて収集するセンタシステムを構築するとよ
い。このセンタシステムは、特定のナンバープレート情報を持つ車両の位置情報及び日時
情報を抽出して当該車両の走行経路を特定する機能を持つとよい。
【0117】
(13)前記処理手段は、前記画像解析の機能として、車両の窓部分に、窓ガラスの縁
が存在するか否かを判定する機能を持ち、解析結果に対応する処理として、窓部分に窓ガ
ラスの縁を検知したら、通知処理を実行するシステムとするとよい。
【0118】
窓部分に窓ガラスの縁が存在することは、窓ガラスの閉め忘れを意味する。運転者等は
、本システムからの通知を受けることにより、窓ガラスの閉め忘れに気付くことができる
。窓ガラスの縁の検知には、例えば、窓ガラスと大気との屈折率の差による画像の不連続
を検知することにより行うとよい。通知処理として、例えば、運転者の携帯端末等への無
線による通知や電子メールによる通知等の処理を行うとよい。その他に、車両に取り付け
られたブザーを鳴らすことにより通知の処理を行うとよい。処理手段が搭載された車両の
窓にスモークフィルムが貼り付けられており、処理手段は、窓が開いている領域と、窓ガ
ラスのスモーク領域との画像の明るさの差に基づいて、窓が開いていることを検知すると
よい。
【0119】
(14)前記処理手段は、前記画像解析の機能として、ワイパーの動作の有無、または
フロントガラスに付着する雨滴の増減の有無を検知して雨が降っているか否かを判定する
機能を持ち、解析結果に対応する処理として、雨が降っていると判定した場合に、雨が降
っていることを通知する情報を通信装置から送信する処理を実行するシステムとするとよ
い。
【0120】
本システムから送信された情報を受信することにより、車両が走行している地域に雨が
降っているか否かを知ることができる。処理手段は、雨が降っていることをサーバ等の外
部機器に通知するとともに、車両の現在位置情報を通知するとよい。外部機器は、複数の
車両から情報を収集することにより、雨が降っている地域のマップを作成することができ
る。さらに、処理手段は、雨が降っていることを通知するとともに、現在の時刻情報を通
知するとよい。これにより、外部機器は、雨が降っている地域の時間的な変化に関する情
報を取得することができる。
【0121】
外部機器として、例えば気象に関する情報を提供する団体のサーバとするとよい。処理
手段は、ワイパーが写り込んでいないタイミング、例えばワイパーが下がったタイミング
の画像をサーバにアップロードするとよい。サーバにアップロードされた画像から、降雨
に関する情報、例えば雨量等を取得することができる。サーバは、車両から収集した雨量
等のデータを、ビッグデータとして種々の応用分野で活用することができる。例えば、局
地的なゲリラ豪雨の予測等に活用することができる。処理手段は、フロントガラスに雨滴
が付着しているが、その多さ(個数)に増減が無い場合、雨が止んだと判定するとよい。
処理手段は、雨が止んだと判定したら、雨が止んだことをサーバに通知するとよい。サー
バは、降雨に関するより詳細な情報を取得することができる。
【0122】
(15)前記処理手段は、前記画像解析の機能として、画像に写り込んだ空の状況から
天候を判定する機能を持ち、解析結果に対応する処理として、天候に関する情報を通信装
置から送信する処理を実行するシステムとするとよい。
【0123】
複数の車両から収集された天候に関する情報は、気象情報に関するビッグデータとして
活用することができる。例えば、画像に写り込んだ空の色、雲の有無等から、快晴、晴れ
、曇り等の天気の判定を行うとよい。さらに、太陽の高さ及び空の明るさから、朝日や西
日の強さを検知し、朝日や西日が強いという情報を送信するとよい。天候に関する情報と
ともに、車両の現在位置情報を送信するとよい。この情報を収集した外部装置は、朝日や
西日が強いという情報、及び車両の現在位置情報を、これからその地点に向かう他の車両
の運転者に提供するとよい。この情報の提供を受けた運転者は、朝日または西日に注意が
必要であることに気付くことができる。
【0124】
(16)前記処理手段は、車両に搭載されたマイクからの音情報を検知する機能を持ち
、音情報の検知結果と前記画像解析の機能の解析結果とを関連付けて、関連付けの結果に
応じた処理を実行するシステムとするとよい。
【0125】
音情報の検知結果、または画像の解析結果のみに応じた処理を実行する場合と比べて、
両者を関連付けることにより、より適切な処理を行うことが可能になる。
【0126】
処理手段は、画像解析の機能として、車内に搭載された表示部を持つ機器の表示部の状
態の変化を検知する機能を持ち、解析結果に対応する処理として、検知された音情報と、
表示部の状態の変化とが同期している時、検知された音情報と、表示部の状態が変化した
機器とを関連付けて記憶する処理を実行するとよい。
【0127】
処理手段は、マイクからの音情報を検知すると、音情報と表示部の状態の変化とが関連
付けられて記憶されている情報に基づいて、音を発出した機器を特定することができる。
例えば、処理手段は、音声認識機能を持ち、マイクからの音情報が特定の機器から発出さ
れたものであるか否かを判定し、特定の機器から発出されたものである場合には音声認識
機能をキャンセルするとよい。これにより、不要な音声認識処理の実行を回避することが
できる。また、処理手段は、マイクからの音情報が特定の機器から発出されたものである
と判定した場合、車内の画像のうち音を発生した機器の領域を他の領域から区別可能な情
報を付加して記録する機能を持つとよい。例えば、音を発生した機器が写っている領域を
囲む矩形や任意の形状の閉曲線の画像をもとの画像に重ねて記録するとよい。または、音
を発生した機器が写っている領域に、半透明の幾何学的模様を重ねて記録するとよい。
【0128】
処理手段は、画像解析の機能として、画像に緊急車両、例えば救急車、消防車、パトカ
ー等が写り込んでいるか否かを判定する機能を持つとよい。処理手段は、マイクから緊急
車両のサイレンの音を検知し、かつ画像内に緊急車両を検知すると、両者を関連付けて自
車両の近傍に緊急車両がいると判定するとよい。処理手段は、緊急車両がいると判定する
と、運転者に注意を促すメッセージを通知するとよい。
【0129】
(17)車内に取り付けられたカメラが複数個あり、
前記処理手段は、前記画像解析の機能として、画像に写り込んだ他のカメラの位置を検
知する機能を持ち、解析結果に対応する処理として、複数のカメラの位置関係を特定する
処理を実行するシステムとするとよい。
【0130】
1台のカメラでは撮像しにくい車内の広い領域の画像を得ることができる。複数のカメ
ラの位置関係が特定されると、各カメラで撮像された画像の位置関係を特定することがで
きる。
【0131】
処理手段は、画像に写り込んでいる他のカメラの機種を特定し、機種から画角を特定す
る機能を持つとよい。処理手段は、複数のカメラで撮像された画像を合成する機能を持つ
とよい。画像を合成することにより、カメラの個々の画像を表示する場合と比べて、直感
的に車内の状況を把握することができる。
【0132】
例えば、処理手段の少なくとも一部の機能をパソコン等のビューワで実現するとよい。
表示する画像内に、カメラの位置がわかるようにカメラのアイコン等の標識を表示すると
よい。カメラの車内における位置は、当該カメラ(自己)が撮像した画像から特定するこ
とは困難である。当該カメラが写り込んでいる他のカメラの画像から、当該カメラの車内
における位置を検知するとよい。例えば、3台のカメラで撮像した画像を合成して表示す
るとき、合成された画像内に3台のカメラの位置をアイコン等で表示するとよい。カメラ
の機種または画角に応じてアイコンを異ならせるとよい。
【0133】
処理手段は、各カメラで撮像された画像を表示するとともに、その画像内にカメラの位
置、及びそのカメラの画角(そのカメラが撮像している領域)を表示する機能を持つとよ
い。例えば、全天球360度カメラ、半天球360度カメラ、広角カメラ等の機能に応じ
て、そのカメラの画角を画像内に表示するとよい。画像を見たユーザは、各カメラがその
領域を撮像しているのかを直感的に把握することができる。
【0134】
(18)前記カメラは、撮像面の対角線の長さよりも小さなイメージサークルを持つ3
60度カメラであり、
前記処理手段は、前記画像解析の機能として、画像の特徴量を算出するための基本パタ
ーンを、前記イメージサークル内の位置に応じて変形させる機能を有するシステムとする
とよい。
【0135】
イメージサークル内の画像の歪みを補正することなく、基本パターンを用いて画像の特
徴量を算出するとよい。これにより、処理手段の負荷を軽減することができる。基本パタ
ーンは、標準レンズ(一般的な広角レンズ)を用いて撮像して得られる画像に対して定義
される。イメージサークルを得る射影方式には、例えば、正射影、等距離射影、立体射影
、等立体角射影等の射影方式があり、これらの射影方式に応じて、基本パターンを変形さ
せるとよい。イメージサークルを得るためには、円周魚眼レンズを用いるとよい。カメラ
の撮像面が長方形であり、イメージサークルの直径は、長辺より短くするとよく、短辺と
等しいかまたは短辺より短くするとさらによい。
【0136】
例えば、基本パターンとして、検出したい画像のテンプレートパターンを予め準備して
おくとよい。この場合、テンプレートパターンを、イメージサークル内の位置に応じて変
形するとよい。その他に、例えば、ハーライク特徴を用いて画像の認識を行う場合、ハー
ライク特徴量を求めるための複数の矩形パターンの各々をイメージサークル内の位置に応
じて変形させるとよい。
【0137】
画像認識を行う場合には、イメージサークル内の領域うち、検知したい特定の物が写り
込んでいる領域を限定しておき、限定された領域内について画像解析を行うとよい。例え
ば、本システムの車載機の機能をドライブレコーダで実現するとよい。一般的に、ドライ
ブレコーダの推奨設置位置が予め決められているため、イメージサークル内の、運転者が
写り込む領域、信号機が写り込む領域、後部座席の人が写り込む領域等がほぼ決まってい
る。このため、検出すべき人または物に応じて、その人または物を検知するために画像解
析を行う領域を、その人または物が写り込む領域に限定するとよい。例えば、車両の前方
の画像を解析する場合には、フロントガラスが写り込む領域について解析するとよい。
【0138】
その他に、例えば、イメージサークルの特定の領域を平面画像(平行投影画像)に変換
し、変換後の平面画像について通常の基本パターンを用いてマッチングを行うとよい。
【0139】
また、イメージサークル内の画像を所定の変換関数を用いて球面にマッピングさせ、球
面にマッピングされた画像の一部分にズームし、歪みを無視して平面画像として画像解析
を行うとよい。特定の物、例えば道路標識を検知したい場合、その特定の物が写り込む領
域にズームして画像解析を行うとよい。道路標識を検知したい場合には、前方の画像のう
ち道路標識が写り込む領域にズームして画像解析を行うとよい。
【0140】
(19) 前記処理手段は、前記画像解析の機能として、プライバシー保護の観点から
、画像のうち公開すべきでない領域をプライバシー保護領域として特定する機能を有し、
解析結果に対応する処理として、前記プライバシー保護領域に写り込んでいる人物を外観
によって特定することができない画像を、前記カメラで撮像された画像から生成する処理
を実行するシステムとするとよい。
【0141】
人物を特定することができなくすることにより、その人物のプライバシーを保護するこ
とができる。公開すべきでない領域として、例えば車内が写り込む領域とするとよい。特
に、全天球カメラを用いて画像を取得する場合には、車内が撮像されてしまうが、車内の
画像は残したくない場合もあり得る。このような場合は、例えば車内の領域を黒塗りにす
るか、または車内の領域にモザイクをかけ、車外の画像はそのまま記録するとよい。処理
手段は、例えば画像解析を行うことにより、車内が写っている領域と車外が写っている領
域とを区別するとよい。例えば、車速に相当する速さでオプティカルフローが生じている
領域を車外とするとよい。処理手段は、ユーザがプライバシー保護領域を予め設定してお
くことができる機能を持つとよい。
【0142】
プライバシー保護領域内の人物を特定することが可能な画像を記録する通常モードと、
プライバシー保護領域に写り込んでいる人物を外観によって特定することができない画像
を記録するプライバシーモードとをユーザが選択できるようにするとよい。ユーザは、車
両の使用目的や使用状況に応じて、通常モードとプライバシーモードとを切り替えること
ができる。
【0143】
プライバシー領域を、人物が写っている領域とするとよい。例えば、処理手段は、画像
解析を行うことにより人物を検知し、検知された人物の輪郭線で囲まれた領域をプライバ
シー領域とするとよい。または、検知された人物の顔の部分のみをプライバシー領域とす
るとよい。このとき、人物をシルエットで表示するするとよい。または、人物の輪郭線の
みを表示し、輪郭線の内側には人物がいないときの画像を表示するとよい。このとき、人
物は透明に見える。人物の輪郭として、例えば動きがあるもののエッジを表示するとよい
【0144】
処理手段は、人物が写っている領域に、人物に代えてアバターを表示するとよい。表示
するアバターは、元の人物に似たものとするとよい。例えば、性別、体形、顔の外形等に
応じて、その特徴を反映したアバターを表示するとよい。予め、人物とアバターとを関連
付けておき、処理手段は、画像に写っている人物を特定し、その特定された人物に関連付
けられているアバターを表示するとよい。アバターは、人物ごとに予め作成しておくとよ
い。人物の動きに合わせてアバターを動かすとよい。例えば、人物が手を挙げたときには
、アバターの手を挙げさせ、人物が横を向いたときは、アバターも横を向かせるとよい。
人物の表情に応じて、アバターの表情を変化させるとよい。例えば、処理手段は、人物が
笑っている、悲しんでいる、怒っているといった表情を検知すると、アバターの表情を、
それぞれ笑った表情、悲しんでいる表情、怒っている表情に変化させるとよい。処理手段
は、人物の感情を読み取り、人物の感情に応じてアバターの色を変化させるとよい。例え
ば、人物が怒っていると検知したときは、アバターの色を怒っていることを表す色、例え
ば赤色に変えるとよい。
【0145】
処理手段は、画像を記録する前に、カメラで撮像された画像から、プライバシー保護領
域に写り込んでいる人物を外観によって特定することができない画像を生成し、生成され
た画像を記録するとよい。また、カメラで撮像された画像を再生するときに、プライバシ
ー保護領域に写り込んでいる人物を外観によって特定することができない画像に変換して
表示するとよい。
【0146】
(20)前記処理手段は、解析結果に対応する処理として、画像解析の結果をテキスト
データ化またはコード化して記録する処理を実行するシステムとするとよい。
【0147】
テキストデータ化またはコード化することにより、記録された画像から所望の画像を容
易に見つけ出すことが可能になる。例えば、画像内に人物を検知したときのテキストデー
タとして「人物検知」、画像内に赤信号を検知したときのテキストデータとして「赤信号
」を生成するとよい。生成されたテキストデータは、そのテキストデータ生成の元となっ
た画像と関連付けて記録するとよい。テキストデータに代えて、画像解析結果とコードと
を対応付けて、画像解析結果をコード化(バイナリデータ化)するとよい。
【0148】
(21)前記処理手段は、前記画像解析の機能として、画像内の黒ツブレしている領域
を検知する機能を有し、解析結果に対応する処理として、画像の黒ツブレしている領域を
明るく復元して表示画面に表示させる処理を実行するシステムとするとよい。
【0149】
画像を見たユーザは、黒ツブレしている領域内の物や人を認識しやすくなる。特に、全
天球カメラを用いて画像を取得する場合には、画像内に明るい車外の景色と、暗い車内が
同時に撮像されるため、車内が写り込んでいる領域が黒ツブレしやすい。黒ツブレした領
域を検知して、明るく復元して表示させる処理は、全天球カメラを使用して画像を取得す
る場合に特に有効である。明るく復元する処理として、例えばガンマ補正、色補正、白黒
画像への変換、コントラスト強調等を行うとよい。
【0150】
(22)前記処理手段は、ユーザに、前記カメラで撮像される撮像範囲から複数の区画
に区分させる機能、及び前記区画ごとに重み付けさせる機能を有し、前記区画の各々の明
るさと、当該区画に付された重みとに基づいて撮像条件を決定し、決定された撮像条件で
前記カメラに撮像させる機能を有するシステムとするとよい。
【0151】
ユーザは、画像内の見たい区画の重みを重くし、見る必要のない区画の重みを軽くする
ことにより、見たい領域に適した撮像条件で画像を取得することができる。ユーザは、見
たい領域や見る必要が無い領域の形状に合わせて、撮像範囲を任意の形状に区分すること
ができる。このため、例えば、画像の内容によらず一律に正方格子状に区分された区画に
重み付けする場合に比べて、ユーザにとってより適切な重み付けを行うことが可能になる
【0152】
特に、360度カメラを用いて撮像すると、一般のカメラを用いる場合と比べて、車種
ごとに、車両の部分が写る撮像範囲内の位置の差が大きくなる。このため、事前に、処理
手段のファームウェアに設定した汎用的な重み付けテーブルと、実際に期待した撮像範囲
の区画との関係が一致しない可能性が高まる。汎用的な重み付けテーブルを使用するので
はなく、PCブラウザソフト等を用いて重み付けを決定できるようにする機能は、360
度カメラを使用する場合に、特に顕著な効果が得られる。例えば、重み付けをしていない
状態で、カメラで撮像した画像を、PCのAIソフト等を用いて解析し、撮像範囲のどの
部分に何が写っているかを推定し、例えば、道路の部分に重み「5」を付し、顔の部分に
重み「3」を付し、インストルメントパネルの部分に重み「1」を付し、丸画像の範囲外
に重み「0」を付すとよい。
【0153】
処理手段は、撮像条件として、例えばゲイン、露光時間等を決定するとよい。2つの半
天球カメラの背面同士を対向させて全天球カメラを構成し、2つの半天球カメラの撮像条
件を同一にするとよい。これにより、2つの半天球カメラで撮像された画像を合成したと
きに、2つの画像の境界がわかりにくくなるという効果が得られる。
【0154】
処理手段は、ユーザに区分させる際に、撮像範囲内の一部の領域を閉曲線で囲ませ、閉
曲線で囲まれた内側の領域を1つの区画とするとよい。ユーザが、閉曲線で囲まれた内側
の領域を曲線で2分割すると、分割された領域の各々を1つの区画とするとよい。処理手
段は、設定された区画ごとに、ユーザに数値で重みを入力させるとよい。入力すべき数値
は、プルダウンまたはポップアップ等のリストから選択させるようにするとよい。
【0155】
処理手段は、重みを数値で入力させる機能の代わりに、または数値で入力させる機能に
加えて、区画の種別を入力させる機能を持つとよい。区画の種別には、予め重みが対応付
けられており、区画の種別が入力されると、処理手段は、当該種別に対応付けられている
重みを、当該区画に対応付けるとよい。区画の種別として、例えば、運転者、メータパネ
ル、カーナビゲーション画面、フロントガラス、後席、助手席等の種別を設けるとよい。
処理手段は、区画の種別と重みとの対応関係をユーザが変更できる機能を持つとよい。区
画の種別の一覧は、予めユーザが登録できるようにするとよい。
【0156】
処理手段は、ユーザに、区画ごとに重み付けさせる機能として、例えば、撮像範囲内の
見たい領域を指定させることにより、区画を設定する機能を持つとよい。ユーザが指定し
た見たい区画の重みを、その他の領域の重みより大きくするとよい。この機能は、ユーザ
に区画の種別を入力させる機能において、区画を、ユーザが見たい区画と、その他の区画
との2つの種別に区分する例に相当する。
【0157】
処理手段は、対話形式(ウィザード形式)で、ユーザに撮像範囲を区分させるとよい。
例えば、処理手段は、「不要な領域を取り囲んでください。」、または「不要な領域を塗
りつぶしてください。」というメッセージを出力し、ユーザが取り囲んだ領域、または塗
りつぶした領域を、「不要な領域」として認識するとよい。その他に、処理手段は、「運
転者の領域を塗りつぶしてください。」、「道路の部分を塗りつぶしてください。」とい
うメッセージを出力し、塗りつぶした領域を、運転者の種別を持つ区画、または道路の種
別を持つ区画として認識するとよい。閉曲線で取り囲む操作、または塗りつぶす操作は、
例えばタッチパネルやマウス等のポインティングデバイスを用いて行うようにするとよい
【0158】
処理手段は、撮像された画像に基づいて撮像範囲を複数の区画に区分する機能を、人工
知能(AI)により実現するとよい。例えば、画像から、車内と車外、座席、ダッシュボ
ード、インストルメントパネル等を自動判別し、自動判別した構成部分ごとに撮像範囲を
区分するとよい。処理手段は、区分した結果を表示画面に表示し、この区分で問題ないか
ユーザに判定させるとよい。AIが行った区分が間違っているとユーザが判定すると、処
理手段は、ユーザに区分を修正させる機能を持つとよい。区画と、当該区画に対応する重
みまたは種別が間違っているとユーザが判定すると、処理手段は、プルダウンやポップア
ップさせたリストから正しい種別をユーザに選択させるとよい。
【0159】
(23)前記処理手段は、ユーザに、前記カメラで撮像される撮像範囲から複数の区画
に区分させる機能、及び前記区画ごとに重み付けさせる機能を有し、解析結果に対応する
処理として、重みが相対的に小さな区画の圧縮時のブロックを、重みが相対的に大きな区
画の圧縮時のブロックより大きくして圧縮を行う処理を実行するシステムとするとよい。
【0160】
ユーザは、重要度の高い区画の重みを重くし、重要度の低い区画の重みを軽くすること
により、重要度の低い区画の圧縮度を高めることができる。その結果、画像全体を一律に
圧縮する場合と比べて、重要度の高い区画の画像の品質を高く維持したまま、画像データ
の容量を減らすことができる。例えば、処理手段は、重みの思い区画では、8×8個の画
素を1つのブロックとし、重みの軽い区画では、16×16個の画素を1つのブロックと
して圧縮を行うとよい。
【0161】
カメラの矩形の撮像面に形成された丸画像の外側の領域には、レンズの鏡筒部分の画像
が写り込む場合がある。丸画像の外側の画像は不要であるため、この部分を黒く塗りつぶ
すとよい。これにより、丸画像の外側の画素を含む画像データの容量を減らすことができ
る。また、丸画像より外側の画素を除いて、丸画像の内側の画素のみをラスタスキャンし
て画像データを取得するとよい。これにより、画像データの容量を減らすことができる。
【0162】
(24)前記処理手段は、前記画像解析の機能として、後続車両を検知する機能及び後
続車両までの距離を検知する機能を持ち、解析結果に対応する処理として、後続車両まで
の距離に基づいて後続車両のあおり運転を検知する処理を実行するシステムとするとよい
【0163】
処理手段は、判定結果に応じた処理を実行することにより、あおり運転に対して適切な
対処を行うことが可能になる。例えば、車両の速度が所定の基準値以上であるにもかかわ
らず、所定の判定距離以内に同一の後続車両が所定の判定時間以上継続して存在するとき
、後続車両があおり運転を行っていると判定するとよい。
【0164】
カメラとして、画素ごとに対象物までの距離を測定する機能を有するものを用いるとよ
い。例えば、カメラの画像センサとして、裏面照射型タイムオブフライト方式距離画像セ
ンサを用いるとよい。
【0165】
処理手段は、後続車両があおり運転を行っていると判定したとき、判定結果に応じた処
理として、例えば運転者への通知、後方の画像の記録、運転者への助言、交通取り締まり
機関(例えば警察)への通報等の処理を行うとよい。交通取り締まり機関に通報する際に
は、あおり運転をしている車両及びその運転者の画像を添付するとよい。処理手段は、画
像解析によって、あおり運転を行っている車両が自車両を追い抜き、自車両の前に回り込
んだことを検知すると、急停車による嫌がらせをされる可能性があることを運転者に通知
するとよい。
【0166】
処理手段は、車両周囲の人及び車両を検知し、人及び車両までの距離に応じて車両の制
御を行うとよい。例えば、処理手段は、自車の速度と、前方の人までの距離と、人が自車
の走行予定経路上にいるか否かの判定結果とに基づいて、人への接触の可能性が高いと判
定したら、車両を停止させる制御を行うとよい。
【0167】
(25)上述の(1)~(24)のいずれか1つに記載の処理手段の機能をコンピュー
タに実現させるためのプログラムとするとよい。
【0168】
上述した(1)から(24)に示した発明は、任意に組み合わせることができる。例え
ば、(1)に示した発明の全てまたは一部の構成に、(2)以降の少なくとも1つの発明
の少なくとも一部の構成を加える構成としてもよい。特に、(1)に示した発明に、(2
)以降の少なくとも1つの発明の少なくとも一部の構成を加えた発明とするとよい。また
、(1)から(24)に示した発明から任意の構成を抽出し、抽出された構成を組み合わ
せてもよい。本願の出願人は、これらの構成を含む発明について権利を取得する意思を有
する
【発明の効果】
【0169】
車両に取り付けられたカメラで撮像された画像を記録するのみではなく、その画像をよ
り有効に活用することができる。
【0170】
本願の発明の効果はこれに限定されず、本明細書および図面等に開示される構成の部分
から奏する効果についても開示されており、当該効果を奏する構成についても分割出願・
補正等により権利取得する意思を有する。例えば本明細書において「~できる」と記載し
た箇所などは奏する効果を明示する記載であり、また「~できる」と記載がなくとも効果
を示す部分が存在する。またこのような記載がなくとも当該構成よって把握される効果が
存在する。
【図面の簡単な説明】
【0171】
図1図1は、第1実施例によるシステムとしてのドライブレコーダが車両に搭載された状態の車内のフロントガラス、ダッシュボード等を示す図である。
図2図2は、第1実施例によるシステムとしてのドライブレコーダのブロック図である。
図3図3は、処理部の機能を、車載装置とサーバとの2つの装置で実現した変形例によるシステムのブロック図である。
図4図4は、処理部の機能を、車載装置とパソコン等の外部機器とで実現した変形例によるシステムのブロック図である。
図5図5は、比較例による方法で撮像範囲を複数の区画に区分する方法を説明するための撮像面の図である。
図6図6は、第22実施例によるシステムにおいて撮像範囲を複数の区画に区分する方法を説明するための撮像面の図である。
【発明を実施するための形態】
【0172】
[第1実施例]
図1及び図2を参照して、本発明の第1実施例によるシステムについて説明する。本シ
ステムの機能は、車両に取り付けられるドライブレコーダにより実現される。
【0173】
図1は、ドライブレコーダ1が車両に搭載された状態の車内のフロントガラス、ダッシ
ュボード等を示す図である。ドライブレコーダ1が搭載された車両は乗用車である。ドラ
イブレコーダ1は、車両のフロントガラス2の上部であって左右方向中央付近のルームミ
ラー3に隣接する助手席側の位置に取り付けられる。ドライブレコーダ1は、両面テープ
等の取り付け部材によりフロントガラス2の内面に貼りつけて固定されている。ドライブ
レコーダ1は、電源ケーブル4を介して車両のシガーソケット5に接続されている。車両
のアクセサリ電源がオンにされると、シガーソケット5からドライブレコーダ1に電力が
供給される。ドライブレコーダ1は、本体10と、360度全天球カメラ11とを含んで
いる。カメラ11は、通常の使用状態で車両に対して相対位置及び姿勢が固定されている
【0174】
図2は、第1実施例によるシステムとしてのドライブレコーダ1のブロック図である。
ドライブレコーダ1は、処理部20、カメラ11、GPS受信機12、SDカードリーダ
13、加速度センサ14、スピーカ15、ディスプレイ16、及び操作ボタン17含む。
なお、SDカードリーダ13は、厳密には「SDカードリーダライタ」というべきである
が、本明細書において、単に「SDカードリーダ」という。
【0175】
スピーカ15及びディスプレイ16は、ユーザに種々の情報を報知するための出力手段
として機能する。スピーカ15は、処理部20による制御に基づいて、音や音声により警
報や種々の情報を発出する。ディスプレイ16は、処理部20による制御に基づいて種々
の情報を画像で表示する。操作ボタン17は、ユーザがドライブレコーダ1に対して種々
の指令を与える入力手段として機能する。
【0176】
カメラ11は、360度全天球カメラであり、車両の前後方向、上下方向、左右方向の
全域を動画として撮像する。このため、カメラ11は、フロントガラス、リアガラス、及
びサイドウィンドウを通して車外を撮像するとともに、運転席、助手席、後部座席、イン
ストルメントパネル、センターコンソール等を含む車内も撮像する。カメラ11によって
撮像された動画が画像データとして処理部20に取り込まれる。処理部20は、カメラ1
1から入力された画像データに基づいて、SDカードリーダ13に接続されたSDカード
に画像の記録を行う。
【0177】
GPS受信機12は、処理部20の指示に基づいて現在時刻における自車の位置情報を
検出する。位置情報は、GPS衛星からの信号に基づいて求められた時刻、自車の速度、
経度、緯度、高度等の情報を含む。処理部20は、これらの位置情報の履歴を記録する処
理を行う。
【0178】
SDカードリーダ13は、処理部20による制御に基づいて、SDカード挿入口に挿入
されているSDカードのデータを読み取り、またはSDカードにデータを記録する。
【0179】
加速度センサ14として、3軸(x軸、y軸、z軸)それぞれの方向の加速度及び傾き
を検出する3軸タイプのセンサが用いられる。加速度センサ14が、常時、検出値を処理
部20に出力する。処理部20は、例えば10msごとに3軸の加速度情報を取得する。
【0180】
処理部20は、周知のCPU20a、ROM20b及びRAM20c等のメモリ、タイ
マ20d、その他の周辺回路等を有する。処理部20のROM20b内に各種プログラム
が記憶されている。処理部20はこれらのプログラムを実行することにより各種の機能を
実現する。各種プログラムには、オペレーティングシステム(OS)、GPS情報処理プ
ログラム、画像解析プログラム等が含まれる。
【0181】
処理部20はGPS情報処理プログラムを実行することにより、GPS受信機12で受
信されたGPS情報を、SDカードリーダ13に接続されたSDカードに保存する。処理
部20は画像処理プログラムを実行することにより、カメラ11が撮像した動画を、時刻
情報と位置情報とに関連付けた画像データをSDカードの所定の記録領域に常時録画する
【0182】
処理部20は、画像解析プログラムを実行することにより、カメラ11で撮像された画
像の画像解析を行う。さらに、処理部20は、解析結果に対応する種々の処理を実行する
【0183】
第1実施例によるシステムを車両に搭載することにより、車両に取り付けられたカメラ
で撮像された画像を記録するのみではなく、その画像をより有効に活用することができる
。カメラ11で撮像される画像を動画にすると、動画の画像解析を行うことによって、被
写体の動き、ある時点の前後における被写体の有無等を容易に判定することが可能になる
【0184】
次に、第1実施例の変形例について説明する。
第1実施例では、ドライブレコーダ1を乗用車に取り付けたが、変形例では、他の種類
の車両、例えば貨物自動車や特殊自動車に取り付ける。また、第1実施例では、カメラ1
1が車内及び車外の両方を撮像したが、変形例では、カメラ11が車内及び車外の少なく
とも一方を撮像する。「車内」及び「車外」については、例えば以下のように解釈すると
よい。
【0185】
車両のボディによって内部の空間と外部の空間とが明確に区分される場合には、ボディ
の内部を「車内」と呼び、ボディの外部を「車外」と呼ぶとよい。例えば、乗員スペース
と積荷スペースとが連続しているバンの場合、連続する乗員スペースと積荷スペースとを
車内と呼ぶとよい。乗員スペースと積荷スペースとが仕切られているセダンの場合も、乗
員スペース及び積荷スペースの両方を車内と呼ぶとよい。密閉構造の荷台を持つ有蓋貨物
自動車においては、乗員スペース及び密閉された荷台の内部を車内と呼ぶとよい。開放さ
れた荷台を持つ無蓋貨物自動車(平ボディ車)においては、荷台の上の積荷を収容する空
間と、その周囲の空間とを明確に区分することが困難であるが、開放された積荷を収容す
る空間も車内と呼ぶとよい。なお、無蓋貨物自動車の乗員スペースも車内と呼ぶとよい。
フォークリフト等の一部の特殊自動車では、乗員スペース及び積荷スペースの両方が開放
されており、乗員スペース及び積荷スペースを、その周囲の空間と明確に区分することが
困難な場合がある。このような場合であっても、乗員スペース及び積荷スペースの両方を
車内と呼ぶとよい。例えば、乗員が着座するシートの上の空間、及び積荷を保持して昇降
するフォークの上方の空間を車内と呼ぶとよい。このように、車両の移動に伴って、車両
とともに移動すると考えることができる空間を車内と呼び、その周囲の空間を車外と呼ぶ
とよい。
【0186】
第1実施例ではカメラ11に360度全天球カメラを用いたが、360度半天球カメラ
を用いてもよく、通常の広角カメラを用いてもよい。広角カメラを用いる場合には、複数
台のカメラを車両に取り付けて広範な領域を撮像可能にするとよい。
【0187】
第1実施例では、カメラ11で撮像された画像を記録する機能を車載装置で実現したが
、車載装置と通信するサーバで実現してもよい。また、第1実施例では、カメラで撮像さ
れた画像を解析する機能を車載装置で実現したが、車載装置と通信するサーバで実現して
もよい。
【0188】
上述のように、本システムの処理部20は、1つの車載装置で構成してもよく、複数の
装置で構成してもよい。第1実施例のように、処理部20の機能は、ドライブレコーダ1
に内蔵されたマイクロコンピュータ及びメモリに記憶されたアプリケーションプログラム
により実現するとよい。その他に、例えば、処理部20の機能を車載装置とサーバとの2
つの装置で実現し、画像の記録を車載装置が行い、画像の解析をサーバが行うようにする
とよい。また、処理部20の機能を車載装置とパソコン等の外部機器で実現し、画像の記
録を車載装置が行い、画像の解析及び表示を外部機器が行うようにするとよい。
【0189】
図3は、処理部の機能を、車載装置とサーバとの2つの装置で実現した変形例によるシ
ステムのブロック図である。車載用のドライブレコーダ1が通信装置21を含む。サーバ
30が、処理部31、通信装置32、入力装置33、及びディスプレイ34を含む。ドラ
イブレコーダ1の通信装置21と、サーバ30の通信装置32とは、共に通信ネットワー
ク40に接続されて、通信ネットワーク40を介して他の装置とデータの送受信を行う。
ドライブレコーダ1の処理部20とサーバ30の処理部31とが、通信ネットワーク40
を介して相互にデータ通信を行う。
【0190】
入力装置33は、ユーザに操作されることにより処理部31に種々のコマンドやデータ
を入力する。処理部31は、ディスプレイ34に処理結果や、ユーザに対する種々のメッ
セージを表示させる。
【0191】
図4は、処理部の機能を、車載装置とパソコン等の外部機器50とで実現した変形例に
よるシステムのブロック図である。外部機器50が、処理部51、SDカードリーダ52
、入力装置53、及びディスプレイ54を含む。ドライブレコーダ1のSDカードリーダ
13で画像データが記録されたSDカード60を、外部機器50のSDカードリーダ52
に装着することにより、外部機器50の処理部51がSDカード60に記録されている画
像データにアクセスすることができるようになる。
【0192】
処理部51は、入力装置53から入力されたコマンドに基づいて、SDカード60に記
録されている画像データを読み込み、画像解析または画像処理を行う。処理部51は、解
析結果または処理結果をディスプレイ54に表示させる。
【0193】
次に、第2実施例~第24実施例について説明する。以下、第1実施例によるシステム
と共通の構成については重複した説明を省略する。また、以下に説明する種々の実施例に
よるシステムは、一例として、図2図3、及び図4に示したブロック図のいずれかの態
様で実現される。
【0194】
[第2実施例]
次に、第2実施例について説明する。第2実施例では、システムの処理部が、画像解析
の機能として画像内の人物の動きが予め登録された特定の動きに該当するか否かを判別す
る機能を持つ。人物の動きが特定の動きに該当するものであるとき、処理部は、解析結果
に対応する処理として、人物の特定の動きを撮像した画像の記録、特定の動きを撮像した
画像のサーバ30(図3)への送信、人物が特定の動きをしたことの通報、及び警報の発
出の少なくとも1つの処理を実行する。
【0195】
記録された画像、またはサーバに送信された画像は、人物が特定の動きをしていたこと
の証拠として利用することができる。人物が特定の動きをしたことを通報することにより
、特定の動きをする人物がいることを外部の人に知らせることができる。発出された警報
により、特定の動きをしていた人物は、自分に対して警報が発出されていることに気付く
ことにより、特定の動きを止めるように動機付けされる。
【0196】
次に、「特定の動きをする人物」の例について説明する。
特定の動きをする人物として、例えば車両の運転者とする。特定の動きとして、例えば
運転者の運転以外の動作とする。例えば、スマートフォン等の携帯端末を見る動作、食べ
物を食べる動作、よそ見やわき見の動作、居眠り等とする。例えば、わき見の動作の有無
は、運転者の目の位置の検知結果に基づいて判定する。記録された画像は、運転者の意識
向上、事故原因の分析等に用いることができる。処理部は、運転者がスマートフォン等の
携帯端末を操作していることを検知すると、運転中は携帯端末を持たないように注意を促
す警報を発出する。運転者が警報に気付いて特定の動きを止めると、危険を事前に回避す
ることができる。データ送信先のサーバ30は、例えば、車両の管理者のサーバ、または
警察のサーバである。車両の管理者は、送信されたデータに基づいて、運転者の運転態度
を評価することができる。警察は、送信された画像に基づいて、運転者の運転態度の評価
、事故の原因分析等を行うことができる。
【0197】
特定の動きをする人物として、例えば車外の不審者とする。特定の動きは、例えば車内
に不法侵入しようとする動作、例えば、ハンマーを持ってガラス窓を割ろうとする動作、
車内を覗き込む動作等である。警報を発出することにより、不法侵入しようとする不審者
に、車内への侵入を思い止まらせることができる。記録された画像、またはサーバ30に
送信された画像は、車上狙いの犯罪が発生した後に窃盗犯逮捕のための有益な情報として
利用することができる。人物が特定の動きをしたことを車両の所有者や運転者に通知する
ことにより、所有者や運転者が直ちに車両に戻り、車上狙いの被害を未然に防ぐことがで
きる。また、通知を受けた運転者や所有者は、警察に通報することも可能である。このよ
うに、この機能を防犯に役立てることができる。
【0198】
特定の動きをする人物として、例えば車内の不審者とする。特定の動きとして、種々の
車上狙いの手口、例えば駐車中の車内への不法侵入、駐車中の車内での不審者の動き、車
内の装置の取り外しの動作等とする。警報を発出することによって窃盗犯が慌てて退散す
ると、車上狙いの被害が軽減されるという効果が得られる。記録された画像、またはサー
バ30に送信された画像は、車上狙いの犯罪が発生した後に窃盗犯逮捕のための有益な情
報として利用することができる。人物が特定の動きをしたことを車両の所有者や運転者に
通知することにより、所有者や運転者が直ちに車両に戻ったり、警察に通報したりするこ
とにより、車上狙いの被害を軽減させることが可能になる。外部への通報の例として、不
審者が写った画像を添付した電子メールの送信等が挙げられる。電子メールの送信先は、
例えば、車両の管理者、運転者、所有者、警察等である。
【0199】
特定の動きをする人物として、例えば不特定の人物が乗車する営業車両の乗客とする。
特定の動きとして、強盗の種々の手口、例えば刃物をちらつかせる動作、拳銃を構える動
作、暴力を振るう動作等とする。処理部が警報を発出する処理を実行することにより、強
盗犯が犯罪を思い止まると、被害を未然に防ぐことができる。記録された画像、またはサ
ーバに送信された画像は、強盗犯逮捕のための有益な情報として利用することができる。
人物が特定の動きをしたことを車両の管理者に通報することにより、管理者が強盗の発生
に気付き、警察に通報することができる。また、処理部は、通信機能を用いて、強盗事件
の発生を警察に通報する機能を持つ。
【0200】
特定の動きをする人物として、例えば同乗している車内の乳幼児とする。特定の動きと
して、例えば睡眠から目覚めたときの動きとする。画像解析で乳幼児の目覚めを検知する
と、処理部は、電子メール等で保護者に通知する。走行中に乳幼児が車内で眠ってしまっ
て、エンジンをかけたままちょっと買い物に行ったり、用事を済ませたりしたい場合があ
る。このとき、乳幼児を無理やり起こすと機嫌が悪くなってしまうため、そのまま眠らせ
ておきたいという要望がある。ただし、保護者は、車両から離れている時、乳幼児が目を
覚ましていないか気になる。本システムを利用すると、乳幼児が目を覚ました時点で保護
者の携帯端末に電子メールが送られてくるため、親は、直ちに車両に駆け付けて乳幼児の
目覚めに対処することができる。
【0201】
特定の動きをする人物として、例えば、車外の要介護者、要救助者とする。特定の動き
として、例えば要介護者に特有の動作、救助が必要と思われる状況に該当する動作とする
。要介助者の特有の動作の例として、例えば杖をついて、腰が曲がって、よたよた歩く動
作が挙げられる。救助が必要と思われる状況に該当する動作の例として、倒れて口から泡
を噴いて倒れている状況に該当する動作等が挙げられる。
【0202】
処理部は、特定の動きをする人物を検知する機能として、車両の前方の画像、車両の後
方の画像、車内の画像のうち少なくとも1つの画像を選択する機能、及び選択された画像
から該当の人物を検知する機能を有する。さらに、処理部は、少なくとも1つの画像をユ
ーザに指定させる機能を有する。これにより、処理部が、不要なまたは重要性の低い画像
の解析を行わなくなるため、処理部に過度な処理能力を持たせる必要がなくなる。
【0203】
処理部は、特定の動きをする人物を検知する機能として、運転者の眠気を検知する機能
を有する。例えば、処理部は、運転者の皮膚の赤味の変動具合から脈拍を測定し、脈拍の
変動に基づいて、運転者の眠気の有無を判定する。さらに、処理部は、サーモカメラによ
る体温の測定、マイクロ波による脈拍の測定等を連携させて、眠気の検知精度を高める機
能を持つ。本システムの処理部が眠気を検知したら、エアコンの設定温度を下げる処理、
または音声や音で警告を発出する処理を実行する。
【0204】
[第3実施例]
次に、第3実施例について説明する。第3実施例によるシステムの処理部は、画像解析
の機能として画像内の人物が、予め登録された特定の特徴を有するか否かを判別する機能
を持ち、解析結果に対応する処理として、画像内の人物が持つ特定の特徴に応じた処理を
実行する。
【0205】
第3実施例によるシステムは、画像に写り込んだ人物の特徴に応じて、適切な処理を行
うことができる。
【0206】
処理部は、画像内の人物が特定の特徴を有するか否かを判別する機能として、顔認証機
能を有する。処理部は、運転席に着座した人物の顔認証を行い、運転席に着座した人物が
予め登録された人物に該当しない場合、車両にアクセスしてエンジンの始動ができないよ
うにする。例えば、処理部は、車載ネットワーク、例えばCANを介してエンジンコント
ロールユニット(ECU)に対して、エンジンの始動を禁止する信号を送信する。これに
より、予め運転可能な人物を登録しておき、登録されていない人物による車両の運転を禁
止することができる。その結果、車両の防犯機能を高めることができる。また、子供のい
たずら対策としても有効である。
【0207】
第3実施例の変形例によると、処理部は、アクセルを踏めないようにする、サイドブレ
ーキ(パーキングブレーキ)を解除できないようにする、シフトレバーがドライブ位置に
入らないようにする、警報を鳴らす、登録したメールアドレスに画像とともに電子メール
を送信する等の処理の少なくとも1つの処理を行う機能を持つ。
【0208】
第3実施例の他の変形例によると、処理部は、車外の人物の顔認証を行い、車外の人物
が予め登録された人物に該当する場合、車両を制御してドアロックを解除する機能を持つ
。例えば、車両がカーシェアリングサービスに提供されるものである場合、カーシェアリ
ングサービスの登録会員が予め処理部に登録されている。登録会員は、車両に近づいて車
両のカメラの画角内に自分の顔を移動させることもより、カードキー等を所持していなく
ても、車両を利用することが可能になる。これにより、カーシェアリングサービスの車両
の使い勝手がよくなる。
【0209】
第3実施例のさらに他の変形例によると、車両が、不特定の人物が乗り込む営業車両で
あり、処理部は、乗客が手配中の犯罪者であるか否かを顔認証機能により判定する機能を
持つ。手配中の犯罪者の顔写真は、警察のデータベースからLTEや無線LAN等を介し
た通信により本システムの処理部に伝送される。処理部は、受信した顔写真を登録してお
く機能を持つ。処理部は、乗客が手配中の犯罪者であると判定した場合には、車両の管理
者への通知、警察への通知等を、通信装置21(図3)及び通信ネットワーク(図3)を
介して行う。さらに、処理部は、乗客に悟られない方法で運転者に通知する機能を持つ。
車両の管理者、警察、運転者等は、手配中の犯罪者が車両に乗り込んだことを認識し、迅
速に適切な対応を取ることができる。
【0210】
例えば、タクシーは、乗務員と乗客のみが乗車した密室状態になるため、乗務員の安全
確保という点で、このシステムの需要が多い。犯罪者がタクシーに乗車したことを処理部
が検知すると、タクシー会社や警察に、犯罪者の乗車を通知する。また、本システムによ
ると、犯罪者が実際に車両内で犯罪行為を行う前に、犯罪者が車両に乗り込んだ時点で犯
罪者の乗車を検知することができる。このため、犯罪を未然に回避することも可能になる
【0211】
第3実施例のさらに他の変形例によると、処理部は、画像内の人物が特定の特徴を有す
るか否かを判別する機能として、画像内の人物の外見を、予め登録された特定の外見と比
較し、両者が一致するか否かを判別する機能(以下、外見認証機能という。)を持つ。特
定の外見として、徘徊者に特有の外見、犯罪者に特有の外見等が予め処理部に登録されて
いる。犯罪者に特有の外見の例として、例えば路上で刃物を持っていること、危険物を持
っていること等が挙げられる。また、処理部は、赤外線カメラ、紫外線カメラ等の画像と
、通常のカメラの画像とを組み合わせて、違法薬物を所持している人物を検知する機能を
持つ。処理部は、画像内に特定の外見を持つ人物を検知したら、通信装置21(図3)及
び通信ネットワーク40(図3)を介して警察や車両の管理者に通知する。
【0212】
第3実施例のさらに他の変形例によると、処理部は、特定の行方不明者、徘徊者等の行
方不明になった時点の外見を、捜索情報として個別に登録する機能を持つ。例えば、男女
の別、身長、服装の種別、服装の色、帽子着用の有無、杖を持っているか否か、腰が曲が
っているか否かという個別の捜索情報を登録する機能を持つ。さらに、処理部は、徘徊し
ていると思われる地域(捜索対象地域)を登録する機能を持つ。処理部は、捜索対象地域
に車両が位置するときに、個別の捜索情報に合致する人物の検知処理を実行する。このよ
うな個別の捜索情報は、警察、地域の支援センター等のデータベース(サーバ)から本シ
ステムの処理部が受信する。本システムにおいては、画像内の人物が特定の特徴を有する
か否かを判別する機能を車載装置の処理部が行い、車両が捜索地域に進入したら、サーバ
30(図3)から車両の処理部に捜索情報をダウンロードする。
【0213】
第3実施例のさらに他の変形例によると、処理部は、画像内の人物が特定の特徴を有す
るか否かを判別する機能として、助手席または後席に座っている人物がシートベルトを着
用しているか否かを判別する機能(以下、外見認証機能という。)を持つ。本システムの
処理部は、シートベルト未装着の人物を検出すると、シートベルトを装着するように促す
メッセージを発出する。
【0214】
さらに、処理部は、後席の人物がシートベルト未装着の状態で高速道路の入り口に近づ
いたときに、シートベルトの装着を促すメッセージを発出する機能を持つ。処理部は、車
両の現在位置から高速道路の入り口までの距離が基準の距離以下になったら、高速道路の
入り口に近づいたと判定する。他の例として、処理部は、ETCカード挿入忘れチェック
用の信号を受信したら、高速道路の入り口に近づいたと判定する。さらに他の例として、
処理部は、車両前方の画像を解析して、画像内に高速道路の入り口を検知すると、高速道
路の入り口に近づいたと判定する。
【0215】
[第4実施例]
次に第4実施例について説明する。第4実施例によるシステムの処理部は、画像解析の
機能として画像内の人数を計数する機能を持ち、解析結果に対応する処理として、画像内
の人数データを記録または送信する処理を実行する。
【0216】
第4実施例によるシステムにより、人数を計数するための特別の装置を用いることなく
人数を計数することが可能になる。
【0217】
第4実施例の変形例によると、カメラをバスに取り付けて、処理部は、人数を計数する
元となる画像として車内の画像を採用する。処理部は、ディスプレイ16(図2)に計数
結果を表示して、乗務員に知らせる。乗務員は、車両に乗車している乗客(搭乗者)の人
数を容易に把握することができる。この機能を、ツアーの点呼に代えて利用することがで
きる。乗客が全員降車すべきときに、乗客の人数の計数結果が0にならないとき、乗務員
は車内に取り残されている人がいることを知ることができる。例えば、赤ちゃんのように
自らの意思を発することができない人、障害者のように自ら降りることができない人等の
居残りを検知することができる。
【0218】
第4実施例の他の変形例によると、カメラを取り付ける車両が、乗客の人数が予め決ま
っている種類の車両、例えば観光バス、長距離高速バス等であり、本システムの処理部は
、予め決められた乗客の人数を登録する機能を持つ。処理部は、人数の計数結果と、登録
されている人数とを比較し、過不足がある場合には、乗務員に対して過不足を警告する。
この警告は、スピーカ15(図2)の警告音の発生、またはディスプレイ16(図2)へ
の警告メッセージの表示により行う。これにより、乗客の人数が不足したまま発車してし
まうことが防止される。また、乗車する資格を持たない人が乗車してしまっていることを
容易に把握し、降車を促すことができる。
【0219】
第4実施例のさらに他の変形例によると、路線バスの車内にカメラ(例えば、天井に半
天球カメラ)を取り付け、処理部が画像解析を行って、乗車人数、立っている乗客の人数
、座っている乗客の人数を計数する機能を持つ。さらに、バスの現在位置情報、バスの扉
の開閉信号、バスの降車ブザー、バスの乗降時のICカードのタッチ、料金箱の信号を処
理部が取得して、それぞれをトリガとして、これらのイベント及びイベント発生時の画像
を関連付けて記録する機能を持つ。これらの情報をサーバ30(図3)がデータレイクに
蓄積する。このデータレイクを用いて、どこで乗った人がどこで降り、その間の車内の着
席状況はどうだったかをビッグデータ解析することが可能になる。このようなデータは、
都市計画等を行うコンサルタント会社にとって、貴重な情報となり得る。さらに、処理部
は、CAN等の車載ネットワークを伝送されている情報、運転者のバイタル情報を合わせ
て取得する機能を持つ。これらの情報は、車両に何らかの異常が発生したときに、その異
常が運転要因か、乗客要因か、運転者自身の要因か、車両要因か等の因果関係の特定に利
用することができる。
【0220】
第4実施例のさらに他の変形例によると、処理部は、人数を計数する元となる画像とし
て車外の画像を採用する。本システムの処理部は、計数結果を人数データとして記録する
機能を持つ。記録された人数データに基づいて、多くの人出があった場所を容易に抽出す
ることができる。処理部は、計数結果をトリガとして、計数の元となった画像を記録する
機能を持つ。例えば、人数が予め決められたしきい値以上のときに、画像を記録する機能
を持つ。
【0221】
[第5実施例]
次に、第5実施例について説明する。第5実施例によるシステムの処理部は、画像解析
の機能として、車内の画像から車両の表示機器の表示内容または車両の操作機器の操作状
況を検知する機能を持ち、解析結果に対応する処理として、表示機器の表示内容または操
作機器の操作状況に応じた処理を実行する。
【0222】
表示機器の表示内容の基礎となるデータを取得する機器、または操作装置の操作状況に
応じたデータを取得する機器を後付けすることなく、本システムでこれらのデータを取得
することができる。例えば、OBDコネクタに後付けの機器を接続することなく、これら
のデータを取得することができる。特に、OBDコネクタにサードパーティ製品を接続す
ることを車両メーカが禁止している場合でも、本システムによって、これらのデータを取
得することができる。車両の表示機器として、種々の計器、車内の警告灯(警告ランプ)
、フロントガラス等に画像を映し出すヘッドアップディスプレイ等が挙げられる。
【0223】
第5実施例の変形例では、システムの処理部が、表示機器の表示内容として、速度計に
表示された車速を検知する機能を持つ。処理部は、アナログ速度計の針の位置をパターン
認識し、文字盤の数字を文字認識して車速データを取得する機能を持つ。さらに、処理部
は、デジタル速度計に表示された数字を文字認識して車速データを取得する機能を持つ。
取得された車速データは、種々の処理に利用することができる。以下、車速データの利用
形態の一例について説明する。
【0224】
処理部は、画像認識により、速度計を自動的に検知する機能を持つ。この機能により、
処理部は、車種に依存することなく、種々の車両において速度計を検知することができる
。その他に、処理部は、処理部が搭載された車両の速度計の、画像内における位置及び形
状を予め登録しておく機能を持つ。これにより、処理部は、容易に速度計を検知すること
ができる。
【0225】
一般的なスタンドアロン型のカーナビゲーション機器は、現在位置を取得するためにG
PSによる位置情報を利用している。トンネル等、GPS信号を受信できない場合には、
他の方法で車両の現在位置を決定しなければならない。一例として、GPS信号ロスト直
前の速度の約80%の一定速度で5分間、地図内における自車の現在位置を移動させる。
このような処理を行うモードをトンネルモードということとする。トンネルモードは、ト
ンネルに進入した場合のみならず、高架下を走行している場合でも有効である。ところが
、トンネルモードで処理を行っているときに渋滞に出くわしたりすると、一定速度で走行
していると仮定する方法では、現在位置の誤差が過度に大きくなってしまい、実質的に使
い物にならない。車両に加速度センサを取り付けて、加速度センサからの加速度データを
利用すれば、トンネルモードにおける現在位置情報の精度を高めることができる。ところ
が、ユーザにとって加速度センサの取り付けは困難であり、費用がかかるため、現実的で
はない。
【0226】
本システムは、スタンドアロン型カーナビゲーションの機能を持つ。処理部は、速度計
の表示内容から自車速度を読み取り、この読み取った速度情報に基づき、マップマッチン
グ機能を利用して自車の現在位置情報を更新する機能を持つ。これにより、自車の現在位
置情報の精度を高めることができる。
【0227】
処理部は、トンネル内の道路と地上道とが並走している場所、高架道と高架下の地上道
とが並走している場所では、トンネルモードの起動の有無に基づいて、どちらの道路にマ
ッチングさせるか選択する機能を持つ。例えば、トンネルモードが起動されているときは
、自車位置をトンネル内の道路または高架下の地上道にマッピングさせ、トンネルモード
が起動されていないときは、自車位置をトンネル内の道路に並走している地上道または高
架道にマッピングさせる機能を持つ。
【0228】
第5実施例の他の変形例では、処理部が、検知対象となる表示機器の表示内容として、
燃料計に表示された燃料残量を検知する機能を持つ。処理部は、燃料計の画像認識を行う
ことにより、燃料の残量を検知する。処理部は、燃料の残量が所定の基準値を下回ったこ
とを検知すると、運転者に給油を促すメッセージを通知する。例えば、自車の現在位置情
報と連動させて、外出先から自宅または会社の車両保管場所近くまで戻ってきたときに、
燃料の残量が基準値、例えば満タン時の1/4以下だと、処理部が警告を発出し、給油を
促す。また、カーナビゲーション機器と本システムとを連動させ、処理部が、目的地まで
の距離と燃料の残量とを比較し、比較結果に基づいて出発時または目的地までの経路の途
中で給油を促す。例えば、経路途中のガソリンスタンドの近くで、現在地の近くのガソリ
ンスタンドで給油を促すメッセージを出力する。
【0229】
画像の中から速度計及び燃料計を抽出する機能は、本システムの処理部に搭載される人
工知能(AI)により実現される。処理部は、さらに、予め画像内の速度計や燃料計の位
置及び画像情報を登録しておく機能を持つ。人工知能により画像から速度計や燃料計を抽
出することが困難な場合には、処理部は、登録されている画像情報を利用して、画像の中
から速度計及び燃料計を抽出する
【0230】
処理部は、カーシェアリングサービスに提供されている車両の燃料計を読み取って、残
量が所定の基準値未満であることを検知すると、給油を行うとカーシェアリングサービス
の特典を受けることができることを運転者に通知する機能を持つ。例えば、「今給油する
と、15分に相当する金額の割引を受けることができます。」といったメッセージを発出
する。
【0231】
第5実施例のさらに他の変形例では、処理部が、インストルメントパネル内の警告灯の
点灯の有無を判定する機能を持つ。点灯の有無を判定する対象となる警告灯に、ヘッドラ
イトの点灯インジケータ、ウインカインジケータ、ハイビームインジケータ(ハイビーム
警告灯)、パーキンブブレーキインジケータ、半ドア警告灯、燃料警告灯等を含める。本
システムの処理手段は、これらの警告灯の点灯の有無を判定することにより、警告灯に対
応する車両の状態を検知することができる。
【0232】
第5実施例のさらに他の変形例では、処理部が、ヘッドアップディスプレイによって表
示された警告情報を検知する機能を持つ。処理部は、ヘッドアップディスプレイによって
表示された画像の変化をとらえて警告内容を検知し、警告内容に応じた所定の処理を実行
する。例えば、音や音声によって警告を発出する。視覚情報による警告を、聴覚情報に変
えて発出することにより、運転者が警告に気付きやすくなるという効果が得られる。
【0233】
第5実施例のさらに他の変形例では、処理部は、車外の明るさ情報や、車両の現在位置
情報と連携させて、ヘッドライトを点灯させるべき状況であるにもかかわらず、ヘッドラ
イトの点灯インジケータが点灯していないことを検知すると、ヘッドライトを点灯するよ
うに運転者に通知する機能を持つ。ヘッドライトを点灯させるべき状況として、例えば車
外がある明るさよりも暗い状況、車両の現在位置がトンネル内または暗渠道内である状況
等が含まれる。ヘッドライトを点灯させるべき状況が解消したにもかかわらずヘッドライ
トの点灯インジケータが点灯したままであるとき、処理部は、ヘッドライトを消灯するよ
うに運転者に通知する機能を持つ。照明によって内部が明るいトンネルも存在するため、
車外の明るさ情報のみからヘッドライトを点灯させるべき状況であるか否かを判定すると
、トンネル内であるにもかかわらずヘッドライトを点灯させるべき状況ではないと誤判定
してしまう事態が生じ得る。処理部は、車両の現在位置情報に基づいてトンネル内か否か
を判定することにより、このような誤判定を回避することができる。さらに、処理部は、
ヘッドライトのみならず、車幅灯(スモールライト)を点灯させるべき状況であるにもか
かわらず、車幅灯の点灯インジケータが点灯していないことを検知すると、車幅灯を点灯
させるように運転者に通知する機能を持つ。
【0234】
第5実施例のさらに他の変形例では、処理部は、車両前方の画像から対向車の有無を判
定し、対向車があるにもかかわらずハイビームインジケータが点灯していることを検知す
ると、ロービームに変更するように運転者に警告する機能を持つ。車種によって、ビーム
のハイロー切替操作が異なるため、運転者は、常用する車種と異なる車種の車両を運転し
ているときに、ロービームにしたつもりがハイビームのままであるといった事象が発生し
やすい。このような場合に、この警告を発出する機能が特に有効である。
【0235】
第5実施例のさらに他の変形例では、処理部は、車外が暗いときに車外の画像からウイ
ンカが点滅していることを検知し、ウインカの点滅周期と同期して車内で点滅しているイ
ンジケータを、ウインカインジケータとして認識する機能を持つ。このようにすることで
、処理部は、インストルメントパネル内のウインカインジケータを容易に見つけ出すこと
ができる。
【0236】
第5実施例のさらに他の変形例では、処理部は、車内の画像から車内に誰もいないこと
を検知したにも関わらず、ヘッドライトや車幅灯が点灯していることを検知すると、車外
の運転者や車両の管理者に、消灯忘れであることを通知する機能を持つ。この通知は、例
えば予め登録されているメールアドレス宛に電子メールを送信することにより行う。その
他に、処理部は、ハザードランプの消灯忘れ、ルームライトの消灯忘れを電子メール等で
通知する機能を持つ。ハザードランプの点灯状態は、ウインカインジケータの点滅状態か
ら検知する。ルームライトの点灯状態は、画像に写り込んでいるルームライトの明るさか
ら検知する。
【0237】
ルームライトの設定には、一般的に、常時点灯モード、常時消灯モード、ドア開閉状態
連動モード(以下、単に連動モードという。)の3種類がある。多くの車両においては、
この3種類のモードは、ルームライトオンオフスイッチを1回押下するごとに循環更新さ
れる。暗い所で(夜間に)エンジンを停止させるとルームライトが点灯し、しばらくして
から(例えば数秒経過すると)自動的に消える機能を持つ車両がある。エンジンを停止さ
せてから降車の準備をするために、もっと長い時間ルームライトを点灯させておきたい場
合もある。例えば、エンジンを停止させた後に、購入した品物の整理と取り出し、携帯端
末の取り出し等を行う期間は、ルームライトを点灯させておきたい。このようなとき、運
転者は、エンジン停止から一定期間経過時にルームライトが自動消灯しないようにするた
めに、ルームライトの設定を連動モードまたは常時点灯モードに切り替える。ところが、
ドアが開いた状態では、現在のルームライトの設定が常時点灯モードなのか連動モードな
のか判別することが困難である。現在のルームライトの設定が常時点灯モードであるにも
関わらず、連動モードであると勘違いしてそのまま降車すると、ルームライトが付いたま
まになってしまう。本システムを利用することにより、運転者や管理者がルームライトの
消灯忘れに気付き、ルームライトを消灯することにより、ルームライトの長時間点灯によ
る車両のバッテリ上がりを防止することができる。操作スイッチを見ただけでは、ルーム
ライトの現在の設定がどのモードになっているのかわからない構造、例えば押しボタンを
押す度にルームライトの設定が循環的に切り替わるような構造の操作スイッチを持つ車両
において、本システムのこの機能が特に有益である。
【0238】
ルームライトの設定が連動モードであるとき、どこかのドアが開いているか半ドア状態
であれば、ルームライトは点灯したままになる。ルームライトが点灯していることを通知
された運転者や管理者は、半ドア状態になっているか、または見えづらい側のドアが開い
ている可能性があることに気付くことができる。
【0239】
ルームライトの設定が連動モードのとき、ドアを閉めてから一定の時間(消灯遅延時間
)が経過するまでは、ルームライトを点灯させたままにする機能を持つ車両がある。この
ような車両においては、本システムの処理部は、ドアが閉じられたことを検知してから消
灯遅延時間が経過するまでは、消灯忘れか否かの判定をしないようにする機能を持つ。処
理部は、ユーザからの入力に基づいて消灯遅延時間を設定する機能を持つ。
【0240】
また、処理部は、車内に誰もいなくなってから一定時間が経過しても、ルームライトが
点灯したままであることを検知すると、車両のコントローラに対してルームライトを消灯
させる信号を送信する機能を持つ。
【0241】
第5実施例のさらに他の変形例では、処理部は、ヘッドライト、車幅灯、ハザードライ
ト、ルームライト等が点灯または点滅の状態で、車両のドアが開けられたことを検知する
と、いずれかのライトが点灯したままであることを通知する警報を発出する機能を持つ。
これにより、運転者は車外に出てしまう前に消灯忘れに気付き、消灯忘れを未然に防止す
ることができる。
【0242】
第5実施例のさらに他の変形例では、処理部は、パーキングブレーキインジケータの点
灯に基づいて、パーキングブレーキがかかっている状態であることを検知すると、運転者
の画像から運転者が居眠りをしていることを検知しても警報を発出しないようにする機能
を持つ。その他に、パーキングブレーキがかかっている状態のときに、運転者が携帯端末
を見る等の、運転中であれば危険な動作とみなされる動作をしていることを検知しても、
警報を発出しない機能を持つ。
【0243】
第5実施例のさらに他の変形例では、処理部は、早期に点検または修理を行う必要があ
ることを知らせる警告灯が、一定期間点灯した状態のままであることを検知すると、当該
車両のディーラーや登録している修理業者に車両の状態を通知する機能を持つ。例えば、
自動車に興味がないユーザは、警告灯が点灯していても走行可能な場合には、警告灯の点
灯に気づかず、放置してしまう場合が多い。例えば、エンジン自体の警告灯が点灯すると
、通常は走行不能になるが、エンジンオイルの異常を知らせる警告灯が点灯していてもそ
のまま走行できてしまう。また、O2センサ異常の場合には、燃費が悪くなるが走行自体
は可能である。走行が可能な場合に、点検修理を行わず走行を継続すると、軽度の故障が
重度化してしまう場合がある。ディーラーや修理業者にとって警告灯点灯の通知は、警告
灯が点灯した車両の所有者に点検修理の営業活動を行うための有益な情報となる。また、
車両の所有者は、早期に点検整備を行うことにより、故障の重度化を予防することができ
る。
【0244】
第5実施例のさらに他の変形例では、処理部は、車外温度を測定する温度センサによっ
て測定された温度測定値を表示するインストルメントパネル内の温度表示領域に表示され
た温度を検知する機能を持つ。処理部は、画像解析の機能として、インストルメントパネ
ルの温度表示領域に表示された画像から、文字認識により温度を読み取る機能を持つ。処
理部は、解析結果に対応する処理として、通信装置及び通信ネットワークを介して外部の
サーバに温度情報を送信する処理を実行する。
【0245】
例えば、花粉飛散に関するデータを取得するために、一般ユーザの住宅にセンサを設置
し、センサから測定データを収集することにより、きめ細かい花粉飛散状況を予測し、花
粉飛散情報を配信するサービスが株式会社ウェザーニューズ等から提供されている。また
、一般ユーザから投稿された屋外写真や、一般家庭の住宅に設置した屋外ライブカメラか
ら収集された画像が天気予報に取り入れられている。また、これらの画像を配信するサー
ビス(例えばウェザーニュースSOLiVE24等)が提供されている。これらの気象情
報サービスを提供するシステムは、多くの車両で測定された外気温情報を収集することに
より、多くの車両を温度の測定プローブとして利用することができる。温度情報を送信す
る多くの車両が広い範囲に分布すると、多くの車両から収集した温度情報をスポット的な
情報として役立てることができる。例えば、一般的な気象情報では表せないスポット的な
熱中症警報等を出すことが可能になる。
【0246】
このような気象情報サービスを提供する会社にとっては、自社で温度センサを設置する
ことなく、広い範囲に亘って温度情報を収集することができるという効果が得られる。温
度情報の提供を受けた会社は、温度情報を提供した車両の所有者等に返礼として、会社が
提供する有料の気象情報サービスの無料提供または割引提供等を行うとよい。
【0247】
処理部は、さらに、インストルメントパネル内の温度表示領域から読み取った温度情報
のみならず、カメラで取得された画像に移り込んでいる道路脇の温度表示標識に表示され
た数字を文字認識することにより、外気温情報を取得する機能を持つ。温度表示標識の検
知は、標識内の「只今の温度」という文字等を認識することにより行う。取得した外気温
情報は、インストルメントパネル内の温度表示領域から取得した温度情報と同様に、処理
部が外部のサーバに送信する。
【0248】
第5実施例のさらに他の変形例では、処理部は、画像解析によって操作機器の操作状況
を検知する機能として、アクセルペダル及びブレーキペダルに対する運転者の足の位置を
検知する機能を持つ。操作機器の操作状況に応じた処理として、処理部は、運転者の足が
アクセルペダルの位置にあるか、ブレーキペダルの位置にあるかを運転者が容易に認識で
きるように、運転者に通知する処理を実行する。例えば、足がアクセルペダルの位置にあ
るときと、ブレーキペダルの位置にあるときとを、発光素子による発光色を変えることに
よって運転者に通知する。
【0249】
第5実施例のさらに他の変形例では、アクセルペダルに足がかかっているか、ブレーキ
ペダルに足がかかっているかを検知して、検知結果を表示器に視覚情報として表示する機
能を持つ車両に本システムが搭載される。本システムの処理部は、この表示器に表示され
た内容を画像解析し、アクセルペダル及びブレーキペダルに対する運転者の足の位置を検
知する機能を持つ。
【0250】
第5実施例のさらに他の変形例では、処理部は、画像解析によって前方に障害物を検知
しているにも関わらず、足がアクセルペダルの位置にあるとき、音等で警報を発出する機
能を持つ。運転者が警報に気付くことにより、アクセルペダルとブレーキペダルとの踏み
間違いの発生を抑制することができる。
【0251】
第5実施例のさらに他の変形例では、処理部は、画像解析によって操作機器の操作状況
を検知する機能として、ステアリングホイール(ハンドル)の回転角を検知する機能を持
つ。処理部は、操作機器の操作状況に応じた処理として、ステアリングホイールの回転角
と車速とに基づいて、車両の進行方向及び走行距離を求める処理を実行する。処理部は、
処理結果を、スタンドアロン型カーナビゲーション機器に与える。スタンドアロン型カー
ナビゲーション機器は、本システムから与えられた進行方向及び走行距離に関する情報に
基づいて、GPS信号を受信できない状況においても、車両の走行経路を算出することが
できる。
【0252】
第5実施例のさらに他の変形例では、処理部は、画像解析を行う機能として、車両が自
動運転中(自動運転レベル1~5を含む)か、手動運転中(自動運転レベル0)かを検知
する機能を持つ。この検知は、処理部が、インストルメントパネルに表示されている自動
運転の種々の機能が動作中か否かを示すインジケータの表示状態を画像から認識すること
により行う。処理部は、解析結果に対応する処理として、自動運転機能が解除されたこと
を検知すると、自動運転機能が解除されたことを運転者に通知する処理を実行する。また
、自動運転機能が解除されたにもかかわらず、運転者がステアリングホイールに手をかけ
ていないことを検知すると、処理部は、ステアリングホイールを操作するように運転者に
注意を促す警告を発出する。さらに、自動運転機能が解除されたこと、及び運転者がステ
アリングホイールに手をかけていないことをトリガとして、処理部は、カメラで撮像され
た画像を、常時記録とは別にイベント記録として記録する機能を持つ。記録された画像は
、運転者の操作が不適切であったことを示す証拠として利用することができる。
【0253】
処理部は、レーダー探知機を搭載した車両において、自動運転の機能が有効であるとき
は、レーダー探知機の機能を無効にする機能を持つ。これにより、レーダー探知機からの
不要なアラームの発生を無くすことができる。自動運転の状態が無効であるときは、処理
部は、レーダー探知機の機能を有効にする。
【0254】
車両が自動運転中か手動運転中か、自動運転のレベル(モード)はどのレベル(モード
)であるかは、処理部が、インジケータやステアリングホイールの動き、運転者の手の位
置、運転者の頭の向いている方向等から判定する。
【0255】
[第6実施例]
次に、第6実施例について説明する。第6実施例によるシステムの処理部は、画像解析
の機能として、車内の画像から車両に貼り付けられたステッカーに表示されている文字を
認識する機能を持ち、解析結果に対応する処理として、認識した文字で示される情報に応
じて注意喚起を行う処理を実行する。
【0256】
注意喚起されることにより、車両の運転者、管理者または所有者は、車両に貼り付けら
れたステッカーの文字情報に注意が向けられ、文字情報に応じた適切な処理を行うことが
できる。
【0257】
第6実施例の変形例においては、処理部は、検査標章(車検ステッカー)に表示されて
いる文字を認識する機能を持つ。検査標章の車内側の面には、車検の有効期間が満了する
年月日が表示されている。処理部は、車検の有効期間が満了する年月日の情報を文字認識
により読み取り、現時点から車検の有効期間の満了日(車検の期限)までの期間が所定の
期間より短くなったら、車検を受けるように注意喚起する。例えば、処理部は、「車検有
効期間の満了日が近づいています。」という音声を発出することにより注意喚起を行う。
車検の有効期間の満了日までの期間がさらに短くなると、例えば、処理部は、「車検を受
けてください。」という音声で警告を発出する。
【0258】
第6実施例の他の変形例においては、処理部は、整備点検済ステッカーに表示されてい
る文字を認識する機能を持つ。整備点検済ステッカーには、次回の定期点検を行う期限が
年月日で表示されている。処理部は、定期点検の期限を示す年月日の情報を文字認識によ
り読み取り、現時点から定期点検の期限までの期間が所定の期間より短くなったら、定期
点検を受けるように注意喚起する。例えば、処理部は、「定期点検の期限が近づいていま
す。」という音声を発出することにより注意喚起を行う。定期点検の期限までの期間がさ
らに短くなると、例えば、処理部は、「定期点検を受けてください。」という音声で警告
を発出する。
【0259】
第6実施例のさらに他の変形例においては、処理部は、画像解析の機能として、カメラ
で撮像された画像に検査標章が写っているか否かを判定する機能を持つ。解析結果に対応
する処理として、画像に検査標章が写っていない場合には、処理部は、検査標章が写り込
むようにカメラの取り付け位置及び姿勢を調整するように注意喚起する処理を実行する。
例えば、処理部は、「検査標章が写っていません。検査標章が写るようにカメラの位置及
び姿勢を調整してください。」という音声を発出するとよい。これにより、カメラの設置
時に、その位置及び姿勢を容易に調整することができる。処理部は、車両内の表示機器、
例えば速度計、燃料計等に表示された内容を読み取る機能を持ち、車両内の表示機器が画
像に写り込むように注意喚起する機能を持つ。
【0260】
第6実施例のさらに他の変形例においては、処理部は、画像解析の機能として、フロン
トガラス、運転席及び助手席のサイドウィンドウに、法令で認められたステッカー以外の
ステッカーが貼られているか否かを判定する機能を持つ。解析結果に対応する処理として
、処理部は、法令で認められたステッカー以外のステッカーが貼られていると判定した場
合に、ステッカーを剥がすように運転者等に通知する処理を実行する。
【0261】
[第7実施例]
次に、第7実施例について説明する。第7実施例によるシステムの処理部は、画像解析
の機能として、助手席が写り込む領域の画像を解析する機能を持ち、解析結果に対応する
処理として、助手席の状況に応じた処理を実行する。
【0262】
例えば、助手席に人が乗車しているか否か、助手席に物が置かれているか否かに応じて
、適切な処理を実行することができる。
【0263】
第7実施例の変形例においては、ドライブレコーダ1(図1)を、助手席に座っている
人がシートベルトを着用していないときに警告を発出する機能を持つ車両に搭載する。処
理部は、画像解析の機能として、助手席が写り込む領域の画像から、助手席に人が座って
いるか否かを判定する機能を持つ。解析結果に対応する処理として、処理部は、助手席に
人が座っていないことを検知すると、助手席のシートベルト未着用の警告を発出する機能
を無効化させる。処理部は、さらに、画像解析の機能として、助手席に物が置かれている
か否かを判定する機能を持つ。解析結果に対応する処理として、処理部は、助手席に物が
置かれているときは、助手席のシートベルト未着用の警告を発出する機能を無効化させる
処理を実行する。
【0264】
車両は、助手席に人間の体重相当の物が置かれているときに人が乗車していると誤判定
し、シートベルト未装着の警告を発出してしまう場合がある。本システムを車両に取り付
けると、助手席に物が置かれている場合には、車両がシートベルト未装着の警告を発出し
ないようになる。このため、運転者が警告に惑わされることがなくなる。特に、助手席に
重いものが置かれているとき、警告ブザーが鳴り続ける仕様を持つ車両において、この機
能は有効である。車両に対してシートベルト未装着の警告を発出させないようにするため
に、処理部は、車内ネットワーク(CAN)を通して車両のコントローラに、警告の発出
を無効化させる信号を送信する。
【0265】
後部座席についても同様の機能を持つ車両においては、処理部は、後部座席に物が置か
れていることを検知すると、処理手段がシートベルト未装着警告機能をキャンセルする。
【0266】
[第8実施例]
次に、第8実施例について説明する。第8実施例によるシステムの処理部は、画像解析
の機能として、現時点の車内の画像と、過去の車内の画像とを比較する機能を持ち、解析
結果に対応する処理として、現時点の車内の画像と、過去の車内の画像との不一致度合い
が所定のレベルを超えたら通知する処理を実行する。
【0267】
車両の所有者または管理者が通知を受けることにより、車内の状況が一定レベルを超え
て変化したことを知ることができる。
【0268】
第8実施例の変形例においては、処理部は、過去の車内の画像として、予め車両に付属
している物以外の物が車内に持ち込まれていない状態の画像を用い、この画像と、現時点
の車内の画像とを比較することにより、車内に持ち込まれたものがあるか否かを判定する
機能を持つ。
【0269】
処理部は、さらに、過去の複数の時点の画像と、現時点の画像とを比較することにより
、車内に持ち込まれたものが車内にそのまま存在する時間を算出する機能を持つ。処理部
は、車内に長時間載せたままになっているものが検知されると、その物をお知らせする機
能を持つ。
【0270】
次に、処理部の具体的な処理について説明する。まず、車両に荷物を積んでいない状態
で、できれば運転者のみが乗車している状態で、本システムの初期設定ボタンを押し、車
両を走行させる。処理部は、車両速度に相当するオプティカルフローがある画像内の部分
は、窓と認識する。それ以外の動きがある部分は、運転者と認識する。窓及び運転者と認
識した部分以外の部分は、物を置く可能性がある領域と認識し、車両に荷物を積んでいな
い無荷物状態画像(無荷物状態映像)として記録する。ここまでの処理で初期設定の処理
が完了する。
【0271】
以後、エンジン始動時、エンジン停止時などに、処理部は、無荷物状態画像と現在の画
像との差分をとり、車内に持ち込まれた物体の存在を特定する。車内に持ち込まれたと特
定された物体の位置の変化が一定期間無い場合に、処理部は警告を発する。これにより、
車内に長期間置き去りになっている物体を運転者等に認識させることができる。この機能
は、特に、車内がすぐゴミだらけになる人にとって有効である。
【0272】
[第9実施例]
次に、第9実施例について説明する。第9実施例によるシステムの処理部は、画像解析
の機能として、予め登録された物が車内の画像に写っているか否かを判定する機能を持ち
、解析結果に対応する処理として、予め登録された物が車内の画像に写っているときに警
報を発出する処理を実行する。
【0273】
運転者等は、警報により、車内に予め登録されたものが存在することに気付くことがで
きる。
【0274】
第9実施例の変形例においては、処理部は、忘れ物チェックをしてほしい物(特定のバ
ッグ、財布等)の画像を登録しておく機能を持つ。処理部は、車内に誰もいなくなった状
態で、登録されている物が画像に写り込んでいることを検知すると、警報の発出または忘
れ物の通知を行う。警報の発出例として、例えば車内に取り付けたブザー等を鳴らす。忘
れ物の通知の例として、例えば無線で運転者等のスマートフォンや携帯電話等に、電子メ
ール等で通知する。
【0275】
第9実施例の他の変形例においては、処理部は、車内に忘れ物を検知し、かつドアを開
ける動きを検知すると、警報を発出する機能を持つ。警報により、運転者等は車両から離
れる前に忘れ物に気付くことができる。処理部は、さらに、車内に忘れ物を検知し、かつ
ドアを閉める動きを検知すると、電子メール等で運転者等に忘れ物があることを通知する
機能を持つ。運転者等は、車両から離れた後に、忘れ物があることに気付くことができる
。ドアを開閉する動きの検知は、例えばオプティカルフローを検知することにより行う。
【0276】
第9実施例のさらに他の変形例においては、処理部は、オプティカルフローを検知する
ことにより、車内におけるその他の動きを検知する機能を持つ。例えば、処理部は、画像
解析の機能として、ドアの開閉の動き、窓の開閉の動き、ウインカの操作、ステアリング
ホイールの操作、サンバイザの上げ下げの操作等を検知する機能を持つ。本システムは、
車両の車内ネットワークのコネクタ(例えばOBDコネクタ)に接続することなく、これ
らの情報を取得することができる。
【0277】
サンバイザが降りている状態では、特にフロントガラスに取り付けた360度カメラな
どで運転者側を撮像する場合、サンバイザが邪魔になってその方向の画像が全く得られな
くなってしまう。そこで、車両の前方が、サンバイザが不要と判断される明るさであるに
も関わらず、処理部が、サンバイザが降りていることを検知すると、警告を発出する。サ
ンバイザが降りているか否かは、サンバイザの領域が画像に占める割合に基づいて処理部
が判定する。
【0278】
[第10実施例]
次に、第10実施例について説明する。第10実施例によるシステムの処理部は、画像
解析の機能として、ユーザがカメラに近付けた物を撮像して画像認識する機能を持ち、解
析結果に対応する処理として、ユーザがカメラに近付けた物に記された情報に応じた処理
を実行する。
【0279】
ユーザは、所持している物をカメラに近付けることにより、その物に記された情報に応
じた処理を実行させることができる。
【0280】
第10実施例の変形例においては、処理部は、運転者の運転免許証の画像認識を行う機
能を持つ。処理部は、運転免許証に記載されている有効年月日を文字認識し、現時点から
有効年月日までの期間が所定期間より短いとき、運転免許証の更新期日が近づいているこ
とをユーザに知らせる。
【0281】
第10実施例の他の変形例においては、処理部は、ガソリンスタンドのレシートの画像
認識を行う機能を持つ。処理部は、レシートに表示された日付、給油量、及び金額を文字
認識し、これらの情報を記録してデータベース化する。
【0282】
第10実施例のさらに他の変形例においては、処理部は、身分証明書(例えば、運転免
許証、社員証、住基カード等)の画像認識を行う機能を持つ。処理部は、身分証明書に記
載された氏名等を文字認識し、予め登録されている人物か否かを判定する。処理部は、身
分証明書の人物が登録されていない場合には、エンジンの始動を禁止する処理を行う。こ
れにより、車両を運転することができる人を、予め登録されている人に限定することがで
きる。さらに、処理部は、身分証明書の人物の氏名等を記録する。記録された情報は、車
両の運行管理を行う際に運転者を特定するために利用することができる。
【0283】
第10実施例のさらに他の変形例においては、処理部は、画像認識する機能として、車
外においてユーザがカメラに近づけたものを認識する機能、及び車内においてユーザがカ
メラに近づけたものを認識する機能を持つ。例えば、処理部は、通常の画像と比較して、
通常の画像にはないものがカメラの画角内の所定の範囲より広い部分を占めているとき、
カメラに近づけられたものがあると認識する。特に、処理部は、カメラの画角内の所定の
範囲より広い部分を占めているものをユーザが手に持っていると認識すると、そのものを
ユーザがカメラに近づけたと判定する。
【0284】
[第11実施例]
次に、第11実施例について説明する。第11実施例によるシステムの処理部は、画像
解析の機能として、前方の画像に写り込んだ物の画像解析を行う機能を持ち、解析結果に
対応する処理として、車両の走行に関して注意すべき情報を運転者に提供する処理を実行
する。
【0285】
前方の状況に応じて運転者に注意を促すことにより、車両が前方に進行することにより
将来的に生じ得る事故の発生を抑制することができる。
【0286】
第11実施例の変形例においては、処理部は、画像解析の機能として、前方の車両との
車間距離及び相対速度の少なくとも一方を算出する機能を持つ。処理部は、車間距離また
は相対速度に基づいて、衝突の危険性が高い状況を検知し、衝突の危険性が高いことを警
報の発出等によって運転者に通知する。車間距離は、画像内の前方車両の大きさ、例えば
ナンバープレートの大きさ、トレッド(タイヤ間隔)の大きさ、テールランプの幅等の情
報から算出する。相対速度は、車間距離の変化の割合から算出する。
【0287】
第11実施例の他の変形例においては、処理部は、画像解析の機能として、前方の信号
機の色を検知する機能を持つ。処理部は、信号機が赤色点灯状態のとき、運転者に停止を
促すように通知する。
【0288】
第11実施例のさらに他の変形例においては、処理部は、画像解析の機能として、前方
の道路標識を認識する機能を持つ。処理部は、道路標識の示す情報に応じて、運転者に注
意を促す。例えば、道路標識が制限速度を示すものである場合、処理部は、文字認識によ
り現在の地点の制限速度を取得し、制限速度を運転者に通知する。道路標識が侵入禁止を
示すものである場合、処理部は、進入禁止の道路に進入しようとしたら、警報を発出して
運転者に通知する。処理部は、車両が、道路標識で示された交通ルールに反する走行をし
ようとしているか、または交通ルールに反する走行をしていることを検知すると、ルール
違反であることを運転者に通知する。これにより、交通ルール違反の発生を防止、または
抑制することができる。処理部は、道路標識の文字列を認識することによって、現在走行
中の区間が自動速度取締機設置区間であることを示す標識を検知した場合、運転者に速度
の出し過ぎを注意するように通知する。
【0289】
第11実施例のさらに他の変形例においては、処理部は、画像解析の機能として、自車
走行車線に隣接する車線の渋滞状況を検知する機能を持つ。渋滞が発生しているか否かは
、処理部が、隣接する車線の車両の平均走行速度、及び車間距離に基づいて判定する。隣
接する車線の車両の走行速度が所定の基準値以下であり、車間距離が所定の基準値以下で
所定の台数の車両が並んでいるときに、処理部は、渋滞が発生していると判定する。処理
部は、解析結果に対応する処理として、自車走行車線に隣接する車線に渋滞が発生してい
ることを検知すると、渋滞中の車両の間からの飛び出しに注意するように、運転者に注意
喚起する処理を実行する。自車走行車線に隣接する車線には、対向車線、及び自車と同一
方向に走行する隣の車線を含める。特に、ショッピングモール、テーマパーク、駅等の人
が集まる場所、ガソリンスタンドのように車両が出入りする場所では、自車走行車線に隣
接する同一方向車線も渋滞する可能性が高い。このような場合、自車と同一方向に走行す
る隣の車線の渋滞を検知することが有効である。これにより、飛び出しによる事故の発生
を抑制することができる。処理部は、自車の走行速度が所定速度未満、例えば時速30k
m未満のときには、飛び出し注意の警告音を出さない処理を実行する。これにより、不要
な警告音の発生を回避することができる。そのほかに、処理部は、前方の画像から、飛び
出しの危険が高い状況を検知して、注意喚起する機能を持つ。例えば、処理部は、道路わ
きに連続して駐車車両がある場合、パーキングメータが設置されたパーキングロットに駐
車車両がある場合等に、飛び出しに対する注意喚起を行う。
【0290】
例えば、カーナビゲーション機器に、渋滞プローブ情報、一般道高速走行情報、周辺施
設情報(住宅地や学校等)に基づいて、運転者に走行注意を促す機能が付けられているも
のがある。本システムを利用することにより、渋滞プローブ情報が得られない場所におい
ても、渋滞に起因して注意喚起を行うことができる。
【0291】
第11実施例のさらに他の変形例においては、処理部は、画像解析の機能として、発進
前に、車両の周りにいる動物(犬、猫、タヌキ、イノシシ等)や人を検知する機能を持つ
。処理部は、車両の周りに動物や人を検知すると、車両の周りに動物等がいることを運転
者に知らせる。これにより、発進直後の事故の発生を抑制することができる。
【0292】
第11実施例のさらに他の変形例においては、処理部は、画像解析の機能として、周囲
の景色の流れから車両がゆっくり前進していることを検知する機能を持つ。処理部は、車
両がゆっくり前進していることを検知すると、警報を発出する。例えば、車両が一旦停止
した後、ブレーキペダルを踏む力の緩みによって、クリープ現象で車両が少しずつ動き出
した場合に、車両が動いていること、及び追突の危険性があることを運転者に知らせるこ
とができる。処理部は、車速がクリープ現象で前進する程度の速度で移動しているときに
、車両がゆっくり前進していると判定する。周囲の風景の流れの速度は、処理部がオプテ
ィカルフローを検知することにより行う。
【0293】
第11実施例のさらに他の変形例においては、処理部は、画像解析の機能として、前走
車が大型車両、例えばバス、荷台がアルミ製の箱型トラック等であるか否かを判定する機
能を持つ。処理部は、前走車が大型車両であって、信号機に近づいたことを検知すると、
信号機の存在を運転者に通知する。例えば、「信号注意」といった音声を発出する。信号
機の有無は、予めPOI情報として処理部に登録されている。例えば、前方に大型車両が
走行しているときは、進行方向の信号機が見えにくくなる。反対車線の信号機や歩行者用
信号機を見て、信号機の存在を予測したり、十分な車間距離をとって進行方向の信号機が
容易に見えるようにしたりすることが好ましい。ところが、このような注意を怠ると、進
行方向の信号機を見落としてしまう危険性がある。また、田舎では、反対車線の信号機や
歩行者用信号機が設置されていない場合もある。前走車が大型車両であるときに、信号機
の存在を通知することにより、運転者が信号機を見落とす危険性を低減させることができ
る。また、信号機の存在を直接的に知らせる機能他に、処理部は、信号機の見落としの危
険性が低下するような走行を行うように注意喚起する機能を持つ。例えば、処理部は、「
十分な車間距離をとってください。」といった音声を発出する。例えば、信号機が設置さ
れた交差点までの距離が、自車の安全停止距離よりも長い段階で、注意喚起を行う。自車
の安全停止距離は、自車速度、天候(雨天か否か)で変わってくる。処理部は、安全停止
距離として、自車速度、天候(雨天か否か)に基づいて適切な距離を設定する。例えば、
晴天時の安全停止距離が50mである場合、処理部は、現在の天候が晴天で、前走の大型
車両との距離が50m未満で、カーナビゲーション機器でいうところの市街地エリア外で
、進行方向に100m以内に信号機が設置された交差点があるとき、注意喚起を行う。
【0294】
第11実施例のさらに他の変形例においては、処理部は、画像解析の機能として、前方
の道路が坂になっているか否かを判定し、坂になっている場合には、傾斜の度合いを検知
する機能を持つ。処理部は、坂の傾斜の度合いによって、スピードの出し過ぎ、スピード
の低下、ヒルクライムモードに設定等の注意を促す。
【0295】
第11実施例のさらに他の変形例においては、車両が、荷物を取り扱うもの、例えばフ
ォークリフト、トラック等であり、処理部は、撮像された画像から、荷物に表示された文
字列、バーコード等の標識を認識し、自車両が取り扱うべき荷物か否かを判定する機能を
持つ。自車両で取り扱うべき荷物に付された標識が表す情報は、予め処理部に登録されて
いる。処理部は、自車両が取り扱うべき荷物でない荷物を積載しようとしていることを検
知すると、警報を発出する処理を実行する。
【0296】
第11実施例のさらに他の変形例においては、処理部は、オプティカルフローから、画
像中の窓の領域を検知する機能を持つ。さらに、処理部は、オプティカルフローから、車
両がトンネルに進入したか、車両がトンネルから退出したか、トンネル内を走行中か否か
を判定する機能を持つ。その他に、処理部は、オプティカルフローから、車両が高架下(
上下並行道路の下)を走行中か否かを判定する機能を持つ。さらに、処理部は、オプティ
カルフローから、ガードレールの有無、側溝注意要否の判定を行う機能を持つ。
【0297】
[第12実施例]
次に、第12実施例について説明する。第12実施例によるシステムの処理部は、画像
解析の機能として、車外の画像に写り込んだ他の車両のナンバープレートに記された文字
を認識する機能を持ち、解析結果に対応する処理として、文字認識によって特定されたナ
ンバープレートの情報を記録する処理及びネットワークを介して送信する処理の少なくと
も一方を実行する。
【0298】
本システムの処理部の機能を持つ車載器を搭載した車両の近くを走行しているか、また
は近くに停車している他の車両のナンバープレートの情報を特定することができる。処理
部は、この車載器を搭載した車両の現在位置情報とナンバープレートを撮像した時の日時
情報とを、特定されたナンバープレートの情報に関連付けて送信する。位置情報及び日時
情報とともに取得されたナンバープレートの情報は、道路に設置されている自動車ナンバ
ー自動読取装置(Nシステム)によって取得されるナンバープレートの情報とともに、多
くの車両の走行経路を知るための有益な情報となる。このように、車両のナンバーとGP
S情報とを紐付けることにより、広域移動Nシステムともいえるシステムを構築すること
ができる。
【0299】
第12実施例の変形例においては、複数の車両にそれぞれ搭載された本システムからネ
ットワークを介して、位置情報、日時情報、及びナンバープレート情報を関連付けて収集
するセンタシステムを構築する。このセンタシステムは、特定のナンバープレート情報を
持つ車両の位置情報及び日時情報を抽出して当該車両の走行経路を特定する機能を持つ。
【0300】
[第13実施例]
次に、第13実施例について説明する。第13実施例によるシステムの処理部は、画像
解析の機能として、車両の窓部分に、窓ガラスの縁が存在するか否かを判定する機能を持
ち、解析結果に対応する処理として、窓部分に窓ガラスの縁を検知したら、通知処理を実
行する。
【0301】
窓部分に窓ガラスの縁が存在することは、窓ガラスの閉め忘れを意味する。運転者等は
、本システムからの通知を受けることにより、窓ガラスの閉め忘れに気付くことができる
。処理部は、窓ガラスと大気との屈折率の差による画像の不連続を検知することにより、
窓ガラスの縁を検知する。処理部は、通知処理として、運転者の携帯端末等への無線によ
る通知や電子メールによる通知等の処理を行う。その他に、処理部は、車両に取り付けら
れたブザーを鳴らすことにより通知の処理を行う。処理部が搭載された車両の窓にスモー
クフィルムが貼り付けられているとき、処理部は、窓が開いている領域と、窓ガラスのス
モーク領域との画像の明るさの差に基づいて、窓が開いていることを検知する。
【0302】
[第14実施例]
次に、第14実施例について説明する。第14実施例によるシステムの処理部は、画像
解析の機能として、ワイパーの動作の有無、またはフロントガラスに付着する雨滴の増減
の有無を検知して雨が降っているか否かを判定する機能を持ち、解析結果に対応する処理
として、雨が降っていると判定した場合に、雨が降っていることを通知する情報を通信装
置から送信する処理を実行する。
【0303】
本システムから送信された情報を受信することにより、車両が走行している地域に雨が
降っているか否かを知ることができる。処理部は、雨が降っていることをサーバ等の外部
機器に通知するとともに、車両の現在位置情報を通知する機能を持つ。外部機器は、複数
の車両から情報を収集することにより、雨が降っている地域のマップを作成することがで
きる。さらに、処理部は、雨が降っていることを通知するとともに、現在の時刻情報を通
知する機能を持つ。これにより、外部機器は、雨が降っている地域の時間的な変化に関す
る情報を取得することができる。
【0304】
第14実施例の変形例においては、外部機器が、気象に関する情報を提供する団体のサ
ーバである。処理部は、ワイパーが写り込んでいないタイミング、例えばワイパーが下が
ったタイミングの画像をサーバにアップロードする機能を持つ。サーバは、アップロード
された画像から、降雨に関する情報、例えば雨量等を取得する機能を持つ。サーバは、車
両から収集した雨量等のデータを、ビッグデータとして種々の応用分野で活用する機能を
持つ。例えば、サーバは、局地的なゲリラ豪雨の予測等に活用する。処理部は、フロント
ガラスに雨滴が付着しているが、その多さ(個数)に増減が無い場合、雨が止んだと判定
する。処理部は、雨が止んだと判定したら、雨が止んだことをサーバに通知する。サーバ
は、降雨に関するより詳細な情報を取得することができる。
【0305】
[第15実施例]
次に、第15実施例について説明する。第15実施例によるシステムの処理部は、画像
解析の機能として、画像に写り込んだ空の状況から天候を判定する機能を持ち、解析結果
に対応する処理として、天候に関する情報を通信装置から送信する処理を実行する。
【0306】
複数の車両から収集された天候に関する情報は、気象情報に関するビッグデータとして
活用することができる。これらの情報を収集したサーバは、画像に写り込んだ空の色、雲
の有無等から、快晴、晴れ、曇り等の天気の判定を行う。さらに、処理部は、太陽の高さ
及び空の明るさから、朝日や西日の強さを検知し、朝日や西日が強いという情報を送信す
る機能を持つ。処理部は、天候に関する情報とともに、車両の現在位置情報を送信する。
この情報を収集したサーバは、朝日や西日が強いという情報、及び車両の現在位置情報を
、これからその地点に向かう他の車両の運転者に提供する機能を持つ。この情報の提供を
受けた運転者は、朝日または西日に注意が必要であることに気付くことができる。
【0307】
[第16実施例]
次に、第16実施例について説明する。第16実施例によるシステムの処理部は、車両
に搭載されたマイクからの音情報を検知する機能を持ち、音情報の検知結果と前記画像解
析の機能の解析結果とを関連付けて、関連付けの結果に応じた処理を実行する。
【0308】
音情報の検知結果、または画像の解析結果のみに応じた処理を実行する場合と比べて、
両者を関連付けることにより、より適切な処理を行うことが可能になる。
【0309】
第16実施例の変形例においては、処理部は、画像解析の機能として、車内に搭載され
た表示部を持つ機器の表示部の状態の変化を検知する機能を持ち、解析結果に対応する処
理として、検知された音情報と、表示部の状態の変化とが同期している時、検知された音
情報と、表示部の状態が変化した機器とを関連付けて記憶する処理を実行する。
【0310】
第16実施例の他の変形例においては、処理部は、マイクからの音情報を検知すると、
音情報と表示部の状態の変化とが関連付けられて記憶されている情報に基づいて、音を発
出した機器を特定する機能を持つ。例えば、処理部は、音声認識機能を持ち、マイクから
の音情報が特定の機器から発出されたものであるか否かを判定し、特定の機器から発出さ
れたものである場合には音声認識機能をキャンセルする。これにより、不要な音声認識処
理の実行を回避することができる。また、処理部は、マイクからの音情報が特定の機器か
ら発出されたものであると判定した場合、車内の画像のうち音を発生した機器の領域を他
の領域から区別可能な情報を付加して記録する機能を持つ。例えば、音を発生した機器が
写っている領域を囲む矩形や任意の形状の閉曲線の画像をもとの画像に重ねて記録する。
または、音を発生した機器が写っている領域に、半透明の幾何学的模様を重ねて記録する
【0311】
第16実施例のさらに他の変形例においては、処理部は、画像解析の機能として、画像
に緊急車両、例えば救急車、消防車、パトカー等が写り込んでいるか否かを判定する機能
を持つ。処理部は、マイクから緊急車両のサイレンの音を検知し、かつ画像内に緊急車両
を検知すると、両者を関連付けて自車両の近傍に緊急車両がいると判定する。処理部は、
緊急車両がいると判定すると、運転者に注意を促すメッセージを通知する。
【0312】
[第17実施例]
次に、第17実施例について説明する。第17実施例では、車内に取り付けられたカメ
ラが複数個あり、処理部は、画像解析の機能として、画像に写り込んだ他のカメラの位置
を検知する機能を持ち、解析結果に対応する処理として、複数のカメラの位置関係を特定
する処理を実行する。
【0313】
1台のカメラでは撮像しにくい車内の広い領域の画像を得ることができる。複数のカメ
ラの位置関係が特定されると、各カメラで撮像された画像の位置関係を特定することがで
きる。
【0314】
第17実施例の変形例によると、処理部は、画像に写り込んでいる他のカメラの機種を
特定し、機種から画角を特定する機能を持つ。処理部は、さらに、複数のカメラで撮像さ
れた画像を合成する機能を持つ。画像を合成することにより、カメラの個々の画像を表示
する場合と比べて、直感的に車内の状況を把握することができる。
【0315】
第17実施例の他の変形例によると、処理部の少なくとも一部の機能がパソコン等のビ
ューワで実現される。処理部は、表示する画像内に、カメラの位置がわかるようにカメラ
のアイコン等の標識を表示する。カメラの車内における位置は、当該カメラ(自己)が撮
像した画像から特定することは困難である。処理部は、当該カメラが写り込んでいる他の
カメラの画像から、当該カメラの車内における位置を検知する。処理部は、例えば3台の
カメラで撮像した画像を合成して表示するとき、合成された画像内に3台のカメラの位置
をアイコン等で表示する。さらに、カメラの機種または画角に応じてアイコンを異ならせ
る。
【0316】
第17実施例のさらに他の変形例によると、処理部は、各カメラで撮像された画像を表
示するとともに、その画像内にカメラの位置、及びそのカメラの画角(そのカメラが撮像
している領域)を表示する機能を持つ。例えば、全天球360度カメラ、半天球360度
カメラ、広角カメラ等の機能に応じて、そのカメラの画角を画像内に表示する。画像を見
たユーザは、各カメラがその領域を撮像しているのかを直感的に把握することができる。
【0317】
[第18実施例]
次に、第18実施例について説明する。第18実施例では、車両に搭載されるカメラが
、撮像面の対角線の長さよりも小さなイメージサークルを持つ360度カメラであり、処
理部は、画像解析の機能として、画像の特徴量を算出するための基本パターンを、イメー
ジサークル内の位置に応じて変形させる機能を有する。
【0318】
処理部は、イメージサークル内の画像の歪みを補正することなく、基本パターンを用い
て画像の特徴量を算出する機能を持つ。これにより、処理部の負荷を軽減することができ
る。基本パターンは、標準レンズ(一般的な広角レンズ)を用いて撮像して得られる画像
に対して定義される。イメージサークルを得る射影方式には、例えば、正射影、等距離射
影、立体射影、等立体角射影等の射影方式があり、処理部は、これらの射影方式に応じて
、基本パターンを変形させる。カメラのレンズとして、イメージサークルを得るために円
周魚眼レンズを用いる。カメラの撮像面が長方形であり、イメージサークルの直径は、長
辺より短く、短辺と等しいかまたは短辺より短い。
【0319】
基本パターンとして、検出したい画像のテンプレートパターンが、処理部に予め登録さ
れている。処理部は、テンプレートパターンを、イメージサークル内の位置に応じて変形
させる。その他に、処理部は、例えば、ハーライク特徴を用いて画像の認識を行う機能を
持ち、ハーライク特徴量を求めるための複数の矩形パターンの各々をイメージサークル内
の位置に応じて変形させる機能を持つ。
【0320】
第18実施例の変形例においては、処理部は、画像認識を行う場合に、イメージサーク
ル内の領域うち、検知したい特定の物が写り込んでいる領域を限定する機能を持ち、限定
された領域内について画像認識を行う。この機能は、ドライブレコーダで実現される。一
般的に、ドライブレコーダの推奨設置位置が予め決められているため、イメージサークル
内の、運転者が写り込む領域、信号機が写り込む領域、後部座席の人が写り込む領域等が
ほぼ決まっている。このため、検出すべき人または物に応じて、その人または物を検知す
るために画像解析を行う領域を、その人または物が写り込む領域に限定する。例えば、車
両の前方の画像を解析する場合には、処理部は、フロントガラスが写り込む領域について
解析を行う。
【0321】
第18実施例の他の変形例においては、処理部は、イメージサークルの特定の領域を平
面画像(平行投影画像)に変換し、変換後の平面画像について通常の基本パターンを用い
てマッチングを行う。
【0322】
第18実施例のさらに他の変形例においては、処理部は、イメージサークル内の画像を
所定の変換関数を用いて球面にマッピングさせ、球面にマッピングされた画像の一部分に
ズームし、歪みを無視して平面画像として画像解析を行う。特定の物、例えば道路標識を
検知したい場合、その特定の物が写り込む領域にズームして画像解析を行う。道路標識を
検知したい場合には、前方の画像のうち道路標識が写り込む領域にズームして画像解析を
行う。
[第19実施例]
次に、第19実施例について説明する。第19実施例では、処理部は、画像解析の機能
として、プライバシー保護の観点から、画像のうち公開すべきでない領域をプライバシー
保護領域として特定する機能を有し、解析結果に対応する処理として、プライバシー保護
領域に写り込んでいる人物を外観によって特定することができない画像を、カメラで撮像
された画像から生成する処理を実行する。
【0323】
人物を特定することができなくすることにより、その人物のプライバシーを保護するこ
とができる。処理部は、車内が写り込む領域と公開すべきでない領域とする機能を持つ。
特に、全天球カメラを用いて画像を取得する場合には、車内が撮像されてしまうが、車内
の画像は残したくない場合もあり得る。このような場合は、処理部は、車内の領域を黒塗
りにする機能、または車内の領域にモザイクをかけ、車外の画像はそのまま記録する機能
を持つ。処理部は、画像解析を行うことにより、車内が写っている領域と車外が写ってい
る領域とを区別する機能を持つ。一例として、処理部は、車速に相当する速さでオプティ
カルフローが生じている領域を車外と判定する機能を持つ。処理部は、ユーザがプライバ
シー保護領域を予め設定しておくことができる機能を持つ。
【0324】
第19実施例の変形例においては、処理部は、プライバシー保護領域内の人物を特定す
ることが可能な画像を記録する通常モードと、プライバシー保護領域に写り込んでいる人
物を外観によって特定することができない画像を記録するプライバシーモードとをユーザ
が選択できるようにする機能を持つ。ユーザは、車両の使用目的や使用状況に応じて、通
常モードとプライバシーモードとを切り替えることができる。
【0325】
第19実施例の他の変形例によると、処理部は、人物が写っている領域をプライバシー
領域とする機能を持つ。処理部は、画像解析を行うことにより人物を検知し、検知された
人物の輪郭線で囲まれた領域をプライバシー領域とする機能を持つ。さらに、処理部は、
検知された人物の顔の部分のみをプライバシー領域とする機能を持つ。このとき、処理部
は、人物をシルエットで表示する機能を持つ。または、処理部は、人物の輪郭線のみを表
示し、輪郭線の内側には人物がいないときの画像を表示する機能を持つ。このとき、人物
は透明に見える。処理部は、人物の輪郭として、動きがあるもののエッジを表示する機能
を持つ。
【0326】
第19実施例のさらに他の変形例として、処理部は、人物が写っている領域に、人物に
代えてアバターを表示する機能を持つ。表示するアバターは、元の人物に似たものとする
。例えば、性別、体形、顔の外形等に応じて、その特徴を反映したアバターを表示する。
予め、人物とアバターとを関連付けておき、処理部は、画像に写っている人物を特定し、
その特定された人物に関連付けられているアバターを表示する機能を持つ。アバターは、
人物ごとに予め作成しておき、処理部に登録されている。処理部は、人物の動きに合わせ
てアバターを動かす機能を持つ。例えば、人物が手を挙げたときには、アバターの手を挙
げさせ、人物が横を向いたときは、アバターも横を向かせる。処理部は、人物の表情に応
じて、アバターの表情を変化させる機能を持つ。例えば、処理部は、人物が笑っている、
悲しんでいる、怒っているといった表情を検知すると、アバターの表情を、それぞれ笑っ
た表情、悲しんでいる表情、怒っている表情に変化させる機能を持つ。処理部は、人物の
感情を読み取り、人物の感情に応じてアバターの色を変化させる機能を持つ。例えば、人
物が怒っていると検知したときは、アバターの色を怒っていることを表す色、例えば赤色
に変える。
【0327】
第19実施例のさらに他の変形例として、処理部は、画像を記録する前に、カメラで撮
像された画像から、プライバシー保護領域に写り込んでいる人物を外観によって特定する
ことができない画像を生成し、生成された画像を記録する機能を持つ。さらに、処理部は
、カメラで撮像された画像を再生するときに、プライバシー保護領域に写り込んでいる人
物を外観によって特定することができない画像に変換して表示する機能を持つ。
【0328】
[第20実施例]
次に、第20実施例について説明する。第20実施例では、処理部は、解析結果に対応
する処理として、画像解析の結果をテキストデータ化またはコード化して記録する処理を
実行する。
【0329】
テキストデータ化またはコード化することにより、記録された画像から所望の画像を容
易に見つけ出すことが可能になる。例えば、処理部は、画像内に人物を検知したときのテ
キストデータとして「人物検知」、画像内に赤信号を検知したときのテキストデータとし
て「赤信号」を生成する。処理部は、生成されたテキストデータは、そのテキストデータ
生成の元となった画像と関連付けて記録する機能を持つ。さらに他の変形例では、処理部
は、テキストデータに代えて、画像解析結果とコードとを対応付けて、画像解析結果をコ
ード化(バイナリデータ化)する機能を持つ。
【0330】
[第21実施例]
次に、第21実施例について説明する。第21実施例では、処理部は、画像解析の機能
として、画像内の黒ツブレしている領域を検知する機能を有し、解析結果に対応する処理
として、画像の黒ツブレしている領域を明るく復元して表示画面に表示させる処理を実行
する。
【0331】
画像を見たユーザは、黒ツブレしている領域内の物や人を認識しやすくなる。特に、全
天球カメラを用いて画像を取得する場合には、画像内に明るい車外の景色と、暗い車内が
同時に撮像されるため、車内が写り込んでいる領域が黒ツブレしやすい。黒ツブレした領
域を検知して、明るく復元して表示させる処理は、全天球カメラを使用して画像を取得す
る場合に特に有効である。明るく復元する処理として、処理部は、例えばガンマ補正、色
補正、白黒画像への変換、コントラスト強調等を行う。
【0332】
[第22実施例]
次に、第22実施例について説明する。第22実施例では、処理部は、ユーザに、カメ
ラで撮像される撮像範囲から複数の区画に区分させる機能、及び区画ごとに重み付けさせ
る機能を有し、区画の各々の明るさと、当該区画に付された重みとに基づいて撮像条件を
決定し、決定された撮像条件で前記カメラに撮像させる機能を有する。
【0333】
ユーザは、画像内の見たい区画の重みを重くし、見る必要のない区画の重みを軽くする
ことにより、見たい領域に適した撮像条件で画像を取得することができる。ユーザは、見
たい領域や見る必要が無い領域の形状に合わせて、撮像範囲を任意の形状に区分すること
ができる。
【0334】
図5に、比較例による方法で撮像範囲を複数の区画に区分する方法を説明するための撮
像面の図を示す。前方用の360度カメラの長方形または正方形の撮像面71にイメージ
サークル73が形成され、後方用の360度カメラの長方形または正方形の撮像面72に
イメージサークル74が形成される。前方を撮像するイメージサークル73内に、フロン
トウィンドウを通して前方の景色が写り込むとともに、車内のダッシュボード、インスト
ルメントパネル、カーナビゲーションシステムの表示画面等が写り込んでいる。後方を撮
像するイメージサークル74内に、車内の運転者、助手席、後席、天井が写り込むととも
に、サイドウィンドウ及びリアウィンドウを通して、車両の側方及び後方の景色が写り込
んでいる。
【0335】
撮像面71、72が、四角格子によって複数の区画に区分されている。ユーザは、区画
ごとに重み付けを行うことができる。
【0336】
図6に、第22実施例によるシステムにおいて撮像範囲を複数の区画に区分する方法を
説明するための撮像面の図を示す。図5に示した例と同様に、前方用の360度カメラの
撮像面71にイメージサークル73が形成され、後方用の360度カメラの撮像面72に
イメージサークル74が形成される。
【0337】
処理部51(図4)は、ユーザに区分させる際に、撮像範囲内の一部の領域を閉曲線7
5で囲ませ、閉曲線75で囲まれた内側の領域を1つの区画として設定する。ユーザは、
複数の閉曲線75を描画することにより、複数の区画を設定する。ユーザが、閉曲線で囲
まれた内側の領域を曲線で2分割すると、分割された領域の各々を1つの区画とする。
【0338】
図5に示した比較例のように、画像の内容によらず一律に四角格子状に区分された区画
に重み付けする場合に比べて、ユーザにとってより適切な重み付けを行うことが可能にな
る。
【0339】
特に、360度カメラを用いて撮像すると、一般のカメラを用いる場合と比べて、車種
ごとに、車両の部分が写る撮像範囲内の位置の差が大きくなる。このため、事前に、処理
部のファームウェアに設定した汎用的な重み付けテーブルと、実際に期待した撮像範囲の
区画との関係が一致しない可能性が高まる。汎用的な重み付けテーブルを使用するのでは
なく、PCブラウザソフト等を用いて重み付けを決定できるようにする機能は、360度
カメラを使用する場合に、特に顕著な効果が得られる。
【0340】
処理部は、撮像条件として、例えばゲイン、露光時間等を決定する。2つの半天球カメ
ラの背面同士を対向させて全天球カメラとした構成では、処理部は、2つの半天球カメラ
の撮像条件を同一にする。これにより、2つの半天球カメラで撮像された画像を合成した
ときに、2つの画像の境界がわかりにくくなるという効果が得られる。
【0341】
第22実施例の変形例では、処理部(例えばPCのAIソフト)が、重み付けをしてい
ない状態で、カメラで撮像した画像を解析し、撮像範囲のどの部分に何が写っているかを
推定する機能を持つ。例えば、処理部は、道路の部分に重み「5」を付し、顔の部分に重
み「3」を付し、インストルメントパネルの部分に重み「1」を付し、丸画像の範囲外に
重み「0」を付す。
【0342】
処理手段は、ユーザに区分させる際に、撮像範囲内の一部の領域を閉曲線で囲ませ、閉
曲線で囲まれた内側の領域を1つの区画とするとよい。処理手段は、設定された区画ごと
に、ユーザに数値で重みを入力させるとよい。入力すべき数値は、プルダウンまたはポッ
プアップ等のリストから選択させるようにするとよい。
【0343】
第22実施例の他の変形例では、処理部は、重みを数値で入力させる機能の代わりに、
または数値で入力させる機能に加えて、区画の種別を入力させる機能を持つ。区画の種別
には、予め重みが対応付けられており、区画の種別が入力されると、処理部は、当該種別
に対応付けられている重みを、当該区画に対応付ける。区画の種別として、例えば、運転
者、メータパネル、カーナビゲーション画面、フロントガラス、後席、助手席等の種別が
設けられている。処理部は、区画の種別と重みとの対応関係をユーザが変更できる機能を
持つ。区画の種別の一覧は、予めユーザが処理部に登録しておくことができる。
【0344】
第22実施例のさらに他の変形例では、処理部がユーザに、区画ごとに重み付けさせる
機能として、撮像範囲内の見たい領域を指定させることにより、区画を設定する機能を持
つ。ユーザが指定した見たい区画の重みを、その他の領域の重みより大きくする。この機
能は、ユーザに区画の種別を入力させる機能において、区画を、ユーザが見たい区画と、
その他の区画との2つの種別に区分する例に相当する。
【0345】
第22実施例のさらに他の変形例では、処理部は、対話形式(ウィザード形式)で、ユ
ーザに撮像範囲を区分させる機能を持つ。処理部は、「不要な領域を取り囲んでください
。」、または「不要な領域を塗りつぶしてください。」というメッセージを出力し、ユー
ザが取り囲んだ領域、または塗りつぶした領域を、「不要な領域」として認識する。さら
に、処理部は、「運転者の領域を塗りつぶしてください。」、「道路の部分を塗りつぶし
てください。」というメッセージを出力し、塗りつぶした領域を、運転者の種別を持つ区
画、または道路の種別を持つ区画として認識する。処理部は、閉曲線で取り囲む操作、ま
たは塗りつぶす操作を、ユーザに、タッチパネルやマウス等のポインティングデバイスを
用いて行わせる機能を持つ。
【0346】
第22実施例のさらに他の変形例では、処理部は、撮像された画像に基づいて撮像範囲
を複数の区画に区分する機能を、人工知能(AI)により実現する。処理部は、画像から
、車内と車外、座席、ダッシュボード、インストルメントパネル等を自動判別し、自動判
別した構成部分ごとに撮像範囲を区分する機能を持つ。処理部は、区分した結果を表示画
面に表示し、この区分で問題ないかユーザに判定させる。処理部は、ユーザに区分を修正
させる機能を持つ。AIが行った区分が間違っているとユーザが判定すると、ユーザは区
分を修正することができる。処理部は、プルダウンやポップアップさせたリストから正し
い種別をユーザに選択させる機能を持つ。区画に対応する重みまたは種別が間違っている
とユーザが判定すると、ユーザは、容易に重みまたは種別を訂正することができる。
【0347】
[第23実施例]
次に、第23実施例について説明する。第23実施例では、処理部は、ユーザに、カメ
ラで撮像される撮像範囲から複数の区画に区分させる機能、及び区画ごとに重み付けさせ
る機能を有し、解析結果に対応する処理として、重みが相対的に小さな区画の圧縮時のブ
ロックを、重みが相対的に大きな区画の圧縮時のブロックより大きくして圧縮を行う処理
を実行する。
【0348】
ユーザは、重要度の高い区画の重みを重くし、重要度の低い区画の重みを軽くすること
により、重要度の低い区画の圧縮度を高めることができる。その結果、画像全体を一律に
圧縮する場合と比べて、重要度の高い区画の画像の品質を高く維持したまま、画像データ
の容量を減らすことができる。例えば、処理部は、重みの思い区画では、8×8個の画素
を1つのブロックとし、重みの軽い区画では、16×16個の画素を1つのブロックとし
て圧縮を行う。
【0349】
第23実施例の変形例においては、処理部は、イメージサークルの外側の領域を黒く塗
りつぶす機能を持つ。カメラの矩形の撮像面に形成されたイメージサークルの外側の領域
には、レンズの鏡筒部分の画像が写り込む場合がある。イメージサークルの外側の領域の
不要な画像を黒く塗りつぶすことにより、イメージサークルの外側の画素を含む画像デー
タの容量を減らすことができる。他の変形例においては、処理部は、イメージサークルよ
り外側の画素を除いて、イメージサークルの内側の画素のみをラスタスキャンして画像デ
ータを取得する機能を持つ。これにより、画像データの容量を減らすことができる。
【0350】
[第24実施例]
次に、第24実施例について説明する。第24実施例では、処理部は、画像解析の機能
として、後続車両を検知する機能及び後続車両までの距離を検知する機能を持ち、解析結
果に対応する処理として、後続車両までの距離に基づいて後続車両のあおり運転を検知す
る処理を実行する。
【0351】
処理部は、判定結果に応じた処理を実行することにより、あおり運転に対して適切な対
処を行うことが可能になる。処理部は、例えば、車両の速度が所定の基準値以上であるに
もかかわらず、所定の判定距離以内に同一の後続車両が所定の判定時間以上継続して存在
するとき、後続車両があおり運転を行っていると判定する。
【0352】
第24実施例の変形例においては、カメラとして、画素ごとに対象物までの距離を測定
する機能を有するものを用いる。例えば、カメラの画像センサとして、裏面照射型タイム
オブフライト方式距離画像センサを用いる。
【0353】
第24実施例の他の変形例においては、処理部は、後続車両があおり運転を行っている
と判定したとき、判定結果に応じた処理として、例えば運転者への通知、後方の画像の記
録、運転者への助言、交通取り締まり機関(例えば警察)への通報等の処理を行う。交通
取り締まり機関に通報する際には、処理部は、あおり運転をしている車両及びその運転者
の画像を添付する。処理部は、画像解析によって、あおり運転を行っている車両が自車両
を追い抜き、自車両の前に回り込んだことを検知すると、急停車による嫌がらせをされる
可能性があることを運転者に通知する。
【0354】
第24実施例のさらに他の変形例においては、処理部は、車両周囲の人及び車両を検知
し、人及び車両までの距離に応じて車両の制御を行う機能を持つ。例えば、処理部は、自
車の速度と、前方の人までの距離と、人が自車の走行予定経路上にいるか否かの判定結果
とに基づいて、人への接触の可能性が高いと判定したら、車両を停止させる制御を行う。
【0355】
本発明の範囲は,明細書に明示的に説明された構成や限定されるものではなく,本明細
書に開示される本発明の様々な側面の組み合わせをも,その範囲に含むものである。本発
明のうち,特許を受けようとする構成を,添付の特許請求の範囲に特定したが,現在の処
は特許請求の範囲に特定されていない構成であっても,本明細書に開示される構成を,将
来的に特許請求の範囲とする意思を有する。
【0356】
本願発明は上述した実施の形態に記載の構成に限定されない。上述した各実施の形態や
変形例の構成要素は任意に選択して組み合わせて構成するとよい。また各実施の形態や変
形例の任意の構成要素と,発明を解決するための手段に記載の任意の構成要素または発明
を解決するための手段に記載の任意の構成要素を具体化した構成要素とは任意に組み合わ
せて構成するとよい。これらについても本願の補正または分割出願等において権利取得す
る意思を有する。
【0357】
また,意匠出願への変更出願により,全体意匠または部分意匠について権利取得する意
思を有する。図面は本装置の全体を実線で描画しているが,全体意匠のみならず当該装置
の一部の部分に対して請求する部分意匠も包含した図面である。例えば当該装置の一部の
部材を部分意匠とすることはもちろんのこと,部材と関係なく当該装置の一部の部分を部
分意匠として包含した図面である。当該装置の一部の部分としては,装置の一部の部材と
しても良いし,その部材の部分としても良い。全体意匠はもちろんのこと,図面の実線部
分のうち任意の部分を破線部分とした部分意匠を,権利化する意思を有する。
【符号の説明】
【0358】
1 ドライブレコーダ
2 フロントガラス
3 ルームミラー
4 電源ケーブル
5 シガーソケット
10 ドライブレコーダの本体
11 カメラ
12 GPS受信機
13 SDカードリーダ
14 加速度センサ
15 スピーカ
16 ディスプレイ
17 操作ボタン
20 処理部
21 通信装置
30 サーバ
31 処理部
32 通信装置
33 入力装置
34 ディスプレイ
40 通信ネットワーク
50 外部機器
52 SDカードリーダ
53 入力装置
54 ディスプレイ
60 SDカード
71、72 撮像面
73、74 イメージサークル
75 閉曲線

図1
図2
図3
図4
図5
図6
【手続補正書】
【提出日】2023-02-27
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
車両に取り付けられたカメラで撮像された画像について、人物が写っている領域に、人物に代えてアバターとする機能を備え
人物の感情を読み取り、人物の感情に応じて前記アバターの色を変化させる機能を備えること
を特徴とするシステム。
【請求項2】
車両に取り付けられたカメラで撮像された画像について、プライバシー保護領域内の人物を特定することが可能な画像を記録する通常モードと、プライバシー保護領域に写り込んでいる人物を外観によって特定することができない画像を記録するプライバシーモードとをユーザによって選択させる機能を備えること
を特徴とする請求項1に記載のシステム。
【請求項3】
請求項1または2に記載のシステムの機能をコンピュータに実現させるためのプログラム。