(58)【調査した分野】(Int.Cl.,DB名)
前記情報処理部は、前記撮像部が撮像した画像において、エッジ検出を行い、エッジ検出を行った画像と、人物及び通信端末の形状とのパターンマッチングを行い、パターンマッチした人物画像の顔の角度及び視野から求められる視線の延長上に、パターンマッチした通信端末が位置する場合に、前記人物が前記通信端末を注視していると判断することを特徴とする請求項2に記載の車載映像システム。
【発明を実施するための形態】
【0014】
以下、図面を参照して、本発明の実施の形態について説明する。
図1は、本実施の形態にかかる車載映像システムの機能構成を模式的に示すブロック図である。また、
図2は、本実施の形態の車載映像システムの適用例を示す図である。
図2に示すように、車載映像システム1は、撮像した画像内に写る通信端末を特定し、基地局装置2及びネットワーク3を介して、特定した通信端末4に撮像した画像を送信することにより、映像転送システムを実現している。
【0015】
図1に示すように車載映像システム1は、カメラ10と、情報処理部11と、通信部12と、測位部13と、入力部14と、表示部15と、音響出力部16とを備える。
【0016】
カメラ10は、車載映像システム1が車両に搭載された状態で、車両の周囲を撮像し、撮像した画像データを情報処理部11に出力する。カメラ10はCCD素子またはCMOS素子、及びレンズを備えるものが好適である。またカメラ10は車載映像システム本体と異なる場所に配置し、有線または無線通信等により撮像データを車載映像システム1に送信する構成であっても良い。
【0017】
情報処理部11は、カメラ10、通信部12、測位部13、入力部14、表示部15、及び音響出力部16と、有線または無線で接続し、信号を受け付け、情報処理を行い、処理結果を出力する。具体的には、情報処理部11は、画像処理部11aと、進路判断部11bと、端末処理部11cと、ナビゲーション部11dを有する。情報処理部11は、例えば、CPU及びメモリから構成される。
【0018】
画像処理部11aは、カメラ10が撮像した車両の周囲の画像データを処理し、画像データ内の人物及び通信端末の存在を識別し、識別した結果を端末処理部11c及び通信部12に出力する。具体的には、画像処理部11aは、エッジ検出及びパターンマッチング等による画像検出処理を行い、画像データ内の人物及び通信端末の存在を識別する。
【0019】
また、画像処理部11aは、画像データ内の人物と通信端末との位置関係、角度関係を判定し、人物が通信端末を注視しているか否か判断する。
【0020】
進路判断部11bは、ナビゲーション部11dからの情報に基づき、車両の走行進路の判断を行う。具体的には、進路判断部11bは、車両の進路が左折、右折、直進のいずれであるかをリアルタイムで判断する。また、進路判断部11bは、現在の車両が走行している道路が、所定の値より幅の狭い道路であるか否かをリアルタイムで判断する。
【0021】
端末処理部11cは、通信部12及び外部ネットワークを介して、外部の通信端末の位置情報及び識別情報(例えばSIMカードまたはUIMカードのICCID:IC Card Identifierや携帯電話のuid:user identifier)を取得する、そして、端末処理部11cは、測位部13から取得した位置情報及び進路判断部11bから取得した車両の走行の進路から、車両の周囲を撮像した画像内に写っている通信端末の識別情報を特定し、通信部12及び外部ネットワークを介して、撮像した画像を特定した通信端末に送信する。
【0022】
ナビゲーション部11dは、地図情報を記憶し、測位部13により得られた座標情報と、入力部14から入力された情報に基づき設定された目的地情報とから、経路を算出し、地図、現在位置及び経路情報を表示部15に出力する。地図情報には、道路の座標、方向、幅、交差点などの情報が含まれているのが好適である。
【0023】
通信部12は、無線通信により基地局及びネットワークを介して通信端末と通信を行う。具体的には通信部12は、アンテナ、アンプ、周波数変換回路、復調器、変調器を備える。そして通信部12は、無線信号を受信し、受信した信号に増幅、周波数変換及び復調を行い、得られたデジタル信号を情報処理部11に出力する。また、通信部12は、情報処理部11から出力されたデジタル信号を、変調、周波数変換及び増幅を行い、アンテナを介して無線信号を送信する。例えば、通信部12は、3G(3rd Generation)、LTE(Long Term Evolution)またはモバイルWiMAX(Mobile Worldwide Interoperability for Microwave Access)等の規格で規定されたCDMA(Code Division Multiple Access)無線通信方式またはOFDM(orthogonal frequency-division multiplexing)無線通信方式を用いて基地局と通信を行い、上位レイヤにてネットワークを介してデータの送受信を行う。
【0024】
測位部13は、現在の位置を測定し、情報処理部11に位置情報を出力する。例えば、測位部13は、GPS(Global Positioning System)で構成される。また測位部13はWiFi(Wireless Fidelity)のビーコン信号と、WiFiアクセスポイントの位置情報から位置を測定しても良いし、GPSを組み合わせて位置を測定しても良い。また測位部13は、上述の構成に、さらに車速センサ、ステアリング舵角センサ、ジャイロセンサ、加速度センサの一つまたは複数を組み合わせて位置測定の精度を上げることもできる。
【0025】
入力部14は、人の操作による情報の入力を受け付け情報処理部11に出力する。例えば、入力部14は、ボタン、ツマミ、タッチパネルの一つまたは複数を組み合わせて構成される。また入力部14は、車載映像システム1と分離したリモートコントロール装置で構成しても良い。この場合、リモートコントロール装置は無線通信により車載映像システム1と通信を行うのが好適である。また、操作の代わりに音声入力により情報の入力を行っても良い。この場合、音声を入力するためのマイクを用い、情報処理部11において、音声データの解析を行うことにより、実現することが可能である。
【0026】
表示部15は、情報処理部11より出力された画像情報及び文字情報を表示する。例えば、表示部15は、液晶ディスプレイで構成される。また表示部15はタッチパネルで構成される入力部14と一体化した液晶ディスプレイで構成しても良い。また表示部15は、有機ELディスプレイまたはプラズマディスプレイで構成しても良い。
【0027】
音響出力部16は、情報処理部11より出力された音声信号を物理振動に変換して音を発する。例えば、音響出力部16は、スピーカー及びアンプより構成される。
【0028】
次に、撮像した画像内に人物及び通信端末が存在するか否か判断する画像処理について説明する。
図3〜6は、本実施の形態の車載映像システムの画像処理の例を示す図である。
【0029】
車載映像システム1の画像処理部11aは、撮像した画像内に、通信端末を注視しながら歩いている人物、すなわち歩きスマホ(Texting While Walking)をしている人物が存在するか否か識別する。
【0030】
具体的には画像処理部11aは、カメラ10より出力された画像に対してエッジ検出を行う。
図3はカメラ10が撮像した画像の一例を示す写真図である。例えば、画像処理部11aは、
図3の画像に対してデジタル画像の明るさが鋭敏に変化している箇所を特定するアルゴリズムを用い、画像内の対象物の境界であるエッジを検出する。
図4はエッジ検出を行った画像データの一例を示す図である。
【0031】
画像処理部11aは、エッジ検出後に、パターンマッチングを行い、人物の上半身のパターンに一致する領域を切り出す。例えば、画像処理部11aは、
図4の画像に対して、人物の形状のテンプレートパターンと一致または近似する領域が存在するかスキャンする。そして、画像処理部11aは、人物の形状のテンプレートパターンと一致または近似する領域を切り出す。
図5は切り出した画像データの一例を示す図である。
【0032】
そして、画像処理部11aは、切り出した画像データに対して、エッジ検出及びパターンマッチングを行い、人物の頭及び通信端末のパターンに一致または近似する領域を検出する。具体的には、画像処理部11aは、画像データに対して、X軸、Y軸、及び画像データに対するパターンの傾斜角度を変化させて人物の頭及び通信端末のパターンを、スキャンする。
【0033】
そして、画像処理部11aは、マッチしたパターンについて、人物の頭と通信端末のパターンの位置及び角度の関係から歩きスマホしている人物の存在の有無を判断する。
【0034】
例えば、画像処理部11aは、頭(顔)の角度から視線の範囲を算出する。そして画像処理部11aは、視線の延長上に通信端末がある場合に、歩きスマホしている人物がいると判断する。また、視線の角度の範囲は、視野角度から決めるのが好適である。一般に人間の視野は、片目では上側で約60度、下側に約70度であり、また顔の縦の長さを考えたとき、中央の高さに両目がある。したがって、パターンマッチングした頭の長軸(すなわち首と頭頂とを結ぶ軸)の中心からの垂線を基準視線とし、基準視線から上側60度、下側70度の角度範囲を視線とするのが好適である。
図6は、切り出した画像データにおける判定の例を示す図である。
【0035】
このように、本実施の形態の車載映像システムは、画像処理部11aにおいて、車両の周囲を撮像した画像において、パターンマッチした人物画像の顔の角度及び視野から求められる視線の延長上に、パターンマッチした通信端末が位置する場合に、人物が通信端末を注視していると判断して、撮像した画像を通信端末に送信することにより、車両の接近に気づいていない歩行者に注意を促すことができる。
【0036】
なお、上述の説明では歩行者に対してパターンマッチングを行っているが、自転車に乗って通信端末を操作している例についても同様の処理を行うことができる。この場合、自転車に乗った人物のテンプレートパターンを用意し、パターンマッチングを行うことにより実現できる。同様にベビーカー、車椅子、老人向けの歩行補助具を押しながら歩行している人物についてもパターンマッチングを行うことは可能である。また、自動車の運転者が通信端末を操作している例についても同様の処理を行うことができる。
【0037】
次に、画像の処理を行い、通信端末に画像を送信する条件の例について説明する。まず、車両が左折する場合に通信端末に画像を送信する例について説明する。
図7は、本実施の形態の車載映像システムにおける車両左折時の動作を示すフロー図である。
【0038】
S101において、進路判断部11bは、ナビゲーション部11dから地図情報、座標情報、経路情報、車速センサ、ステアリング舵角センサ、ジャイロセンサ、加速度センサの1つあるいは複数を用いて、車両が左折するか否か判断する。そして、車両が左折する場合、S102に進み、車両が左折しない場合、S101の処理を繰り返す。
【0039】
S102において、画像処理部11aは、カメラ10が撮像した画像内に通信端末を注視している人物がいるか否か判断する。そして、画像処理部11aが、通信端末を注視している人物がいると判断した場合、S103に進み、画像処理部11aが、通信端末を注視している人物がいないと判断した場合、S101の処理に戻る。
【0040】
S103において、端末処理部11cは、カメラ10が撮像した画像内に写っている通信端末の識別情報を特定し、S104の処理に進む。S104において、通信部12は、S103において特定した通信端末にカメラ10が撮像した画像を送信し、S105の処理に進む。
【0041】
S105において、ナビゲーション部11dは、車両が目的地に到着したか否か判断する。そして車両が目的地に到着していない場合、S101の処理に戻り、車両が目的地に到着した場合、処理を終了する。
【0042】
このように、本実施の形態の車載映像システムは、車両が走行する進路を判断する進路判断部11bを更に備え、進路判断部11bの判断に基づいて、車両が左折することにより人物と車両が接近すると判断した場合、撮像した画像を通信端末に送信することにより、交差点のように車両と歩行者とが交差する場所において、車両の接近に気づいていない歩行者に注意を促すことができる。
【0043】
なお、上記説明では、左折の例について説明しているが、右折についても同様の処理を行うことにより、歩行者に注意を促すことができる。また、左折と右折を同時に判断、または順に判断して処理を行っても良い。
【0044】
次に、車両が細街路を走行する場合に、通信端末に画像を送信する例について説明する。
図8は、本実施の形態の車載映像システムにおける細街路を走行する場合の動作示すフロー図である。
【0045】
S201において、進路判断部11bは、ナビゲーション部11dから地図情報、座標情報、経路情報を用いて、車両が走行する道が所定の幅より狭い道路であるか否か判断
する。そして、車両が走行する道が所定の幅より狭い道路である場合、S202に進み、車両が走行する道が所定の幅より広い道路である場合、S201の処理を繰り返す。
【0046】
S202において、画像処理部11aが、カメラ10が撮像した画像内に通信端末を注視している人物がいるか否か判断する。そして、画像処理部11aが、通信端末を注視している人物がいると判断した場合、S203に進み、画像処理部11aが、通信端末を注視している人物がいないと判断した場合、S201の処理に戻る。
【0047】
S203において、画像処理部11aは、通信端末を注視している人物が歩行しているか否か判断する。そして、画像処理部11aが、通信端末を注視している人物が歩行していると判断した場合、S204に進み、画像処理部11aが、通信端末を注視している人物が歩行していない判断した場合、S201の処理に戻る。
【0048】
S204において、端末処理部11cは、カメラ10が撮像した画像内に写っている通信端末の識別情報を特定し、S205の処理に進む。S205において、通信部12は、S204において特定した通信端末にカメラ10が撮像した画像を送信し、S206の処理に進む。
【0049】
S206において、ナビゲーション部11dは、車両が目的地に到着したか否か判断する。そして車両が目的地に到着していない場合、S201の処理に戻り、車両が目的地に到着した場合、処理を終了する。
【0050】
このように、本実施の形態の車載映像システムは、車両が走行する進路を判断する進路判断部11bを更に備え、進路判断部11bの判断に基づいて、幅の狭い道路で通信端末に注視しながら歩いている人物の存在がいると判断した場合、撮像した画像を通信端末に送信することにより、細い街路のように車両と歩行者とが接近する場所において、車両の接近に気づいていない歩行者に注意を促すことができる。
【0051】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、ナビゲーション部と情報処理部とは同一のCPU、メモリとしても良いし、別個としても良い。例えば、既存のナビゲーションシステムに付加する構成とすることも可能である。
【0052】
また、カメラが撮像する方向は車両の前方を撮影する以外にも適用できる。例えば、車両の後方を撮影するカメラを設置し、車両が後進する場合に、後方を撮影するカメラと連動して、車両の後方で通信端末を操作している人に撮影した画像を送信しても良い。また、車両の側方を撮影するカメラを設置し、車両が右折または左折する場合に対応する方向で撮影した画像を、通信端末を操作している人に送信しても良い。
【0053】
また、右折、左折の判断と、細い街路を走行の判断と、後進の判断とは、同時または順に判断するように組み合わせても良い。
【0054】
また、本実施の形態の車載映像システムの各動作については、ASIC(Application Specific Integrated Circuit)等のハードウェアまたはソフトウェアで実施できる。また、処理の一部をソフトウェアで実施し、それ以外をハードウェアで実施することとしても良い。ソフトウェアで実施する際には、マイクロプロセッサ等の1つあるいは複数のCPU(Central Processing Unit)を有するコンピュータシステムに機能ブロックの処理に関するプログラムを実行させればよい。これらのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Compact Disc Read Only Memory)、CD−R、CD−R/W、DVD−ROM(Digital Versatile Disc Read Only Memory)、DVD−R(DVD Recordable)、DVD−R DL(DVD-R Dual Layer)、DVD−RW(DVD ReWritable)、DVD−RAM、DVD+R、DVR+R DL、DVD+RW、BD−R(Blu-ray(登録商標) Disc Recordable)、BD−RE(Blu-ray Disc Rewritable)、BD−ROM、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。