特許第6887263号(P6887263)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士通テン株式会社の特許一覧

特許6887263車載システム、車載装置、プログラム及び方法
<>
  • 特許6887263-車載システム、車載装置、プログラム及び方法 図000002
  • 特許6887263-車載システム、車載装置、プログラム及び方法 図000003
  • 特許6887263-車載システム、車載装置、プログラム及び方法 図000004
  • 特許6887263-車載システム、車載装置、プログラム及び方法 図000005
  • 特許6887263-車載システム、車載装置、プログラム及び方法 図000006
  • 特許6887263-車載システム、車載装置、プログラム及び方法 図000007
  • 特許6887263-車載システム、車載装置、プログラム及び方法 図000008
  • 特許6887263-車載システム、車載装置、プログラム及び方法 図000009
  • 特許6887263-車載システム、車載装置、プログラム及び方法 図000010
  • 特許6887263-車載システム、車載装置、プログラム及び方法 図000011
  • 特許6887263-車載システム、車載装置、プログラム及び方法 図000012
  • 特許6887263-車載システム、車載装置、プログラム及び方法 図000013
  • 特許6887263-車載システム、車載装置、プログラム及び方法 図000014
  • 特許6887263-車載システム、車載装置、プログラム及び方法 図000015
  • 特許6887263-車載システム、車載装置、プログラム及び方法 図000016
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6887263
(24)【登録日】2021年5月20日
(45)【発行日】2021年6月16日
(54)【発明の名称】車載システム、車載装置、プログラム及び方法
(51)【国際特許分類】
   G01C 21/26 20060101AFI20210603BHJP
   G08G 1/00 20060101ALI20210603BHJP
   H04N 5/232 20060101ALI20210603BHJP
【FI】
   G01C21/26 A
   G08G1/00 D
   H04N5/232 220
【請求項の数】8
【全頁数】21
(21)【出願番号】特願2017-24017(P2017-24017)
(22)【出願日】2017年2月13日
(65)【公開番号】特開2018-132320(P2018-132320A)
(43)【公開日】2018年8月23日
【審査請求日】2020年2月7日
(73)【特許権者】
【識別番号】000237592
【氏名又は名称】株式会社デンソーテン
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100151459
【弁理士】
【氏名又は名称】中村 健一
(74)【代理人】
【識別番号】100135976
【弁理士】
【氏名又は名称】宮本 哲夫
(72)【発明者】
【氏名】仲上 規
【審査官】 田中 将一
(56)【参考文献】
【文献】 特開2011−171814(JP,A)
【文献】 国際公開第2016/147387(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01C 21/00 − 21/36
G01C 23/00 − 25/00
G08G 1/00 − 99/00
H04N 5/222 − 5/257
(57)【特許請求の範囲】
【請求項1】
車内の搭乗者を含んで車外を撮像するように光軸方向を設定可能な撮像部と、
車外の撮像対象物の位置を取得し、前記撮像部の光軸方向と車外の撮像対象物との位置関係に基づいて、前記撮像部の光軸方向が、撮像対象物の位置と交差する時に、車外景色内に搭乗者及び撮影対象物が含まれるように、搭乗者及び撮像対象物を撮像可能か判断し、撮像可能な場合に搭乗者及び撮像対象物を含む画像を前記撮像部に撮像させる処理部と、
撮像された画像を出力する出力部と、
を備える車載システム。
【請求項2】
前記処理部は、前記撮像部が搭載されている車両が走行する経路上において、搭乗者及び撮像対象物を撮像可能な撮像位置を求めて、車両が前記撮像位置に到達するよりも前に、搭乗者及び撮像対象物を撮像することを搭乗者に対して通知する、請求項1に記載の車載システム。
【請求項3】
前記撮像部が搭載されている車両が走行する経路には、車外の撮像対象物を撮像することが推奨される撮像推奨領域が設定されており、
前記処理部は、搭乗者及び撮像対象物を撮像可能であると判断し、且つ、車両が前記撮像推奨領域に位置している時に、搭乗者及び撮像対象物を前記撮像部に撮像させる請求項1又は2に記載の車載システム。
【請求項4】
前記撮像部が搭載されている車両が走行する経路には、車外の撮像対象物を撮像することが推奨されない撮像非推奨領域が設定されており、
前記処理部は、搭乗者及び撮像対象物を撮像可能であると判断した場合でも、車両が前記撮像非推奨領域に位置している時には、搭乗者及び撮像対象物を前記撮像部に撮像させない請求項1〜の何れか一項に記載の車載システム。
【請求項5】
前記撮像部は、第1の光軸方向を有する第1撮像部と、第2の光軸方向を有する第2撮像部とを有し、
前記処理部は、前記第1撮像部の第1の光軸方向と、車外の撮像対象物との位置関係に基づいて、搭乗者及び撮像対象物を撮像可能か判断し、撮像可能な場合に搭乗者及び撮像対象物を前記第1撮像部に撮像させると共に、前記第2撮像部にも撮像させる、請求項1〜の何れか一項に記載の車載システム。
【請求項6】
車外の撮像対象物の位置を取得し、車内の搭乗者を含んで車外を撮像するように光軸方向を設定可能な撮像部の光軸方向と車外の撮像対象物との位置関係に基づいて、前記撮像部の光軸方向が、撮像対象物の位置と交差する時に、車外景色内に搭乗者及び撮影対象物が含まれるように、搭乗者及び撮像対象物を撮像可能か判断し、撮像可能な場合に搭乗者及び撮像対象物を含む画像を前記撮像部に撮像させる処理部、
を備える車載装置。
【請求項7】
車外の撮像対象物の位置を取得することと、
車内の搭乗者を含んで車外を撮像するように光軸方向を設定可能な撮像部の光軸方向と、車外の撮像対象物との位置関係に基づいて、前記撮像部の光軸方向が、撮像対象物の位置と交差する時に、車外景色内に搭乗者及び撮影対象物が含まれるように、搭乗者及び撮像対象物を含む画像を撮像可能か判断することと、
撮像可能な場合に、前記撮像部を用いて搭乗者及び撮像対象物の画像を撮像することを、プロセッサに実行させるプログラム。
【請求項8】
車外の撮像対象物の位置を取得することと、
車内の搭乗者を含んで車外を撮像するように光軸方向を設定可能な撮像部の光軸方向と、車外の撮像対象物との位置関係に基づいて、前記撮像部の光軸方向が、撮像対象物の位置と交差する時に、車外景色内に搭乗者及び撮影対象物が含まれるように、搭乗者及び撮像対象物を含む画像を撮像可能か判断することと、
撮像可能な場合に、前記撮像部を用いて搭乗者及び撮像対象物を含む画像を撮像すること、
を備える方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車載システム、車載装置、プログラム及び方法に関する。
【背景技術】
【0002】
従来、車両に搭乗して観光地等を移動している時に、車室内から車外の景色を撮像する場合がある。
【0003】
景色の良い地域を走行中の車内では、車両を運転している者以外の搭乗者が、搭乗者と、車外の山等の撮像対象物とが1つの画像内に含まれるように撮像する場合がある。
【0004】
ナビゲーション機能を有する車載装置は、車両が走行している地図情報を有しているので、観光地等の車外の景色の良い地域を走行していることを判断することができる。
【0005】
例えば、特許文献1は、車両が観光地から所定の距離内を走行している時に、車外の映像を録画する車両用映像記録装置を提案している。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2011−28651号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、上述した特許文献1に開示される技術は、車両に搭乗している搭乗者と、車外の撮像対象物とを同時に撮像することは開示していない。
【0008】
本明細書では、車両に搭乗している搭乗者及び車外の撮像対象物を撮像できる車載システム、車載装置、プログラム及び方法を提供することを課題とする。
【課題を解決するための手段】
【0009】
本明細書に開示する車載システムによれば、画像を取得する撮像部と、車外の撮像対象物の位置を取得し、上記撮像部の光軸方向と車外の撮像対象物との位置関係に基づいて、搭乗者及び撮像対象物を撮像可能か判断し、撮像可能な場合に搭乗者及び撮像対象物を含む画像を上記撮像部に撮像させる処理部と、撮像された画像を出力する出力部と、を備える。
【0010】
本明細書に開示する車載装置によれば、車外の撮像対象物の位置を取得し、画像を取得する撮像部の光軸方向と車外の撮像対象物との位置関係に基づいて、搭乗者及び撮像対象物を撮像可能か判断し、撮像可能な場合に搭乗者及び撮像対象物を含む画像を上記撮像部に撮像させる処理部と、撮像された画像を出力する出力部と、を備える。
【0011】
また、本明細書に開示するプログラムによれば、車外の撮像対象物の位置を取得することと、画像を取得する撮像部の光軸方向と、車外の撮像対象物との位置関係に基づいて、搭乗者及び撮像対象物を含む画像を撮像可能か判断することと、撮像可能な場合に、上記撮像部を用いて搭乗者及び撮像対象物の画像を撮像することを、プロセッサに実行させる。
【0012】
更に、本明細書に開示する方法によれば、車外の撮像対象物の位置を取得することと、画像を取得する撮像部の光軸方向と、車外の撮像対象物との位置関係に基づいて、搭乗者及び撮像対象物を含む画像を撮像可能か判断することと、撮像可能な場合に、上記撮像部を用いて搭乗者及び撮像対象物を含む画像を撮像すること、を備える。
【発明の効果】
【0013】
上述した本明細書に開示する車載システムによれば、車両に搭乗している搭乗者及び車外の撮像対象物を撮像できる。
【0014】
上述した本明細書に開示する車載装置によれば、車両に搭乗している搭乗者及び車外の撮像対象物を撮像できる。
【0015】
また、上述した本明細書に開示するプログラムによれば、車両に搭乗している搭乗者及び車外の撮像対象物を撮像できる。
【0016】
更に、上述した本明細書に開示する方法によれば、車両に搭乗している搭乗者及び車外の撮像対象物を撮像できる。
【図面の簡単な説明】
【0017】
図1】本明細書に開示するシステムの一実施形態を示す図である。
図2】本明細書に開示する車載装置のハードウェア構成図である。
図3】撮像対象物表を説明する図である。
図4】車両に配置された撮像装置の光軸方向を説明する図である。
図5】搭乗者及び撮像対象物を撮像可能か判断することを説明する図である。
図6】撮像可能領域、撮像推奨領域及び撮像非推奨領域を説明する図である。
図7】サーバの記憶部を説明する図である。
図8】システムの動作を説明するシーケンス図である。
図9】撮像領域を選択する画面を示す図である。
図10】撮像モードを選択する画面を示す図である。
図11】車載装置の動作を説明するフローチャート(その1)である。
図12】車載装置の動作を説明するフローチャート(その2)である。
図13】撮像を通知する画面を示す図である。
図14】搭乗者及び撮像対象物を撮像した画像を示す図である。
図15】車載装置の他の形態を示す図である。
【発明を実施するための形態】
【0018】
以下、本明細書で開示するシステムの好ましい一実施形態を、図を参照して説明する。但し、本発明の技術範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶものである。
【0019】
図1は、本明細書に開示するシステムの一実施形態を示す図である。
【0020】
本実施形態のシステム1は、車両に搭載される車載装置10と、車載装置10とネットワークNを介して通信可能に接続されたサーバ40を備える。
【0021】
車載装置10は、車載装置10が搭載されている車両が走行する経路上において、車両に搭乗する搭乗者及び車外の撮像対象物を撮像可能な撮像位置を求め、搭乗者及び撮像対象物を1つの画像に含まれるように撮像する。
【0022】
サーバ40は、撮像対象物の位置情報を含む撮像対象物情報を記憶する。サーバ40は、ネットワークNを介して、撮像対象物情報を車載装置10へ送信する。車載装置10は、サーバ40から受信した撮像対象物情報に基づいて、目的地までの経路上において、搭乗者及び車外の撮像対象物を撮像可能な撮像位置を求める。
【0023】
撮像対象物としては、例えば、海、山又は渓谷等の自然物、タワー又は建物等の人工的なランドマークが挙げられる。サーバ40では、撮像対象物情報は、随時更新される。
【0024】
車載装置10が搭載される車両として、自動車等の4輪以上の車輪を有する車両、自動2輪車、自転車等の軽車両が挙げられる。本実施形態では、車載装置は、自動車に搭載される。
【0025】
次に、車載装置10について、以下に詳述する。
【0026】
図2は、車載装置10のハードウェア構成図である。
【0027】
車載装置10は、処理部11と、記憶部12と、表示部13と、操作部14と、音響出力部15と、通信部16と、撮像装置20a〜20dを有する。
【0028】
処理部11は、一つまたは複数のプロセッサと、周辺回路とを有する。処理部11は、記憶部12に予め記憶されている所定のプログラム12aに従い、車載装置10の各ハードウェア構成要素の制御及び各種処理を行い、処理中に生じるデータを一時的に保存するために記憶部12を利用する。
【0029】
処理部11は、光軸方向決定部11aと、撮像対象物設定部11bと、ナビゲーション部11cと、撮像判断部11dを有する。
【0030】
処理部11が有するこれらの各部は、例えば、処理部11が有するプロセッサ上で動作するコンピュータプログラムにより実現される機能モジュールである。なお、処理部11が有するこれらの各部は、それぞれ、別個の回路として、車載装置10に実装されてもよい。各部の説明については後述する。
【0031】
記憶部12は、ランダムアクセスメモリ(RAM)若しくはリードオンリーメモリ(ROM)等の半導体メモリ、又は磁気ディスク若しくはフラッシュメモリ等の不揮発性メモリを有していてもよい。また、記憶部12は、所定のプログラム12aを記憶する非一時的な記憶媒体を読み出し可能なドライブとして、ディスクドライブ(図示せず)を用いてもよい。
【0032】
記憶部12は、所定のプログラム12aと、地図データ12bと、画像データ12cと、撮像対象物表12dと、撮像推奨領域表12eと、撮像非推奨領域表12fを記憶する。
【0033】
図3は、撮像対象物表を説明する図である。
【0034】
撮像対象物表300は、撮像対象物を識別する識別情報が登録される撮像対象物識別情報欄301と、撮像対象物の名称が登録される名称欄302と、撮像対象物の位置情報が登録される位置情報欄303を有する。位置情報欄303に登録される撮像対象物の位置情報は、地図上の座標において一点で表されていてもよいし、所定の面積を有する領域として表されていてもよい。撮像対象物の位置情報は、地図データ内の車両の経路等を表す2次元の地図座標系で表現される。
【0035】
地図データ12bと、画像データ12cと、撮像推奨領域表12eと、撮像非推奨領域表12fについては後述する。
【0036】
表示部13は、例えばセンターコンソールに配置されており、処理部11に制御されて、車載装置10の動作に伴う各種の情報を表示可能である。表示部13として、例えば、液晶ディスプレイを用いることができる。
【0037】
操作部14は、搭乗者により操作されて、操作を入力可能である。車載装置10は、操作部14として、例えば表示部13と一体に形成されるタッチパネルを用いることができる。
【0038】
音響出力部15は、図示しないスピーカを有しており、処理部11に制御されて、音響を出力する。
【0039】
通信部16は、無線通信を用いて、ネットワークNを介して、サーバ40との間で情報の送受信を行う。通信部16は、例えば、3GPP(Third Generation Partnership Project)又はLTE(Long Term Evolution)等の所定の通信規格に準拠して、基地局を介して、ネットワークNと接続する。また、通信部16は、撮像装置20a〜20dと通信する。更に、通信部16は、車両に搭載されている車内のネットワーク(Controller Area Network:CANに準拠)と接続する。例えば、処理部11は、通信部16を用いて、CANを介して車両の速度を示す車両信号を受信する。通信部46は、送受信を行う通信回路及び通信線又はアンテナを有し得る。
【0040】
また、車載装置10には、車両に搭載されたGPS情報受信部30から、車両の位置を示す位置情報が入力される。GPS情報受信部30は、GPS人工衛星が送信するGPS電波を受信して車両の位置を求め、車両の位置情報を車載装置10に出力する。
【0041】
処理部11のナビゲーション部11cは、ナビゲーション機能を有する。ナビゲーション部11cは、記憶部12に記憶されるプログラムの実行により、同じく記憶部12に記憶される地図データ12bを用いて実現される機能モジュールであり、GPS情報受信部30から取得した車両の現在の位置に基づいて、目的地までの経路案内を行う。処理部11は、記憶部12に記憶された地図データ12bと車両の位置とに基づき、車両の周辺の地図を示す地図画像及び音声案内情報を生成する。また、処理部11は、搭乗者により目的地が設定された場合には、現時点の車両の位置から目的地までの経路を導出し、当該経路を地図画像上に重畳する。処理部11が生成した地図画像は、表示部13に表示される。ナビゲーション部11cが生成した音声案内情報は、音響出力部15から出力される。
【0042】
次に、撮像装置20a〜20dについて、以下に詳述する。
【0043】
撮像装置20a〜20dは、撮像部21及び光軸調整部22を有する。
【0044】
撮像部21は、所定の光軸方向を有しており、光軸調整部22を用いて、車内の搭乗者を含んで車外を撮像するように光軸方向を設定可能である。撮像部21は、光軸方向を中心として、所定の範囲の視野角を有しており、視野角の範囲内の被写体を撮像可能である。
【0045】
撮像部21は、例えば、CCD(Charge Coupled Device)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを有する。撮像部21は、被写体を撮像して画像データを生成し、生成した画像データを車載装置10へ送信する。車載装置10の処理部11は、受信した画像データ12cを記憶部12に記憶する。また、車載装置10の処理部11は、受信した画像データ12cを、表示部13に出力して表示可能である。
【0046】
光軸調整部22は、車両の搭乗者に操作されて、撮像部21の光軸方向及び画像の拡大率を調整する。撮像部21が被写体を撮像している状態で、車両の搭乗者は、表示部13の画像を確認しながら、光軸調整部22を用いて、撮像部21の光軸方向及び画像の拡大率を調整する。なお、光軸調整部22は、車載装置10の操作部14を用いて行うようにしてもよい。
【0047】
光軸調整部22は、初期状態の撮像部21の光軸方向を基準として、調整により移動した光軸方向の移動量を示す光軸方向の移動量情報を、車載装置10へ送信する。車載装置10の処理部11の光軸方向決定部11aは、受信した撮像部21の光軸方向の移動量情報に基づいて、撮像部21の光軸方向を、車両に固定された車両座標系に対して決定する。即ち、撮像部21の光軸方向は、車両座標系において表現される。車両座標系については、図4を参照しながら後述する。
【0048】
図4は、車両に配置された撮像装置の光軸方向を説明する図である。
【0049】
車両50の車室には、4つの撮像装置20a〜20dが配置される。
【0050】
撮像装置20aの撮像部21は、運転席に着座している搭乗者51a及び車外を撮像するように光軸方向A1が設定されている。撮像装置20aは、例えば、車両50の左側のAピラー(図示せず)の内側に配置される。
【0051】
撮像装置20bの撮像部21は、助手席に着座している搭乗者51b及び車外を撮像するように光軸方向A2が設定されている。撮像装置20bは、例えば、車両50の右側のAピラー(図示せず)の内側に配置される。
【0052】
撮像装置20cの撮像部21は、運転席の後方に着座している搭乗者51c及び車外を撮像するように光軸方向A3が設定されている。撮像装置20cは、例えば、運転席の後ろ側に配置される。
【0053】
撮像装置20dの撮像部21は、助手席の後方に着座している搭乗者51d及び車外を撮像するように光軸方向A4が設定されている。撮像装置20dは、例えば、助手席の後ろ側に配置される。
【0054】
撮像装置20aの光軸方向A1は、車両に固定された車両座標系Sにおいて表現される。他の撮像装置20b〜20dの光軸方向A2〜A4も、同様に、車両座標系Sにおいて表現される。
【0055】
本実施形態では、車両座標系Sは、車両に固定された原点Oと、X軸方向及びY軸方向を有する2次元直角座標系である。なお、車両座標系Sは3次元座標系であってもよく、この場合、光軸方向A1〜A4も3次元座標系で表現される。
【0056】
次に、車載装置10の処理部11の撮像判断部11dが、撮像部21の光軸方向と、車外の撮像対象物との位置関係に基づいて、搭乗者及び撮像対象物を撮像可能か否か判断する処理について、以下に説明する。
【0057】
図5は、搭乗者及び撮像対象物を撮像可能か判断することを説明する図である。
【0058】
撮像判断部11dは、車載装置10が搭載されている車両50が走行する経路70上において、撮像装置20aの光軸方向A1が、撮像対象物60の位置と交差する撮像位置において、搭乗者及び撮像対象物を撮像可能であると判断する。これにより、搭乗者及び撮像対象物を、撮像に最も適したタイミングにおいて撮像することができる。ここで、撮像対象物60の位置情報が、地図上において所定の面積を有する領域として表されている場合には、車両50が走行する所定の経路上の領域において、撮像可能であると判断される場合がある。
【0059】
車両座標系SのY軸方向は、目的地までの経路を表す2次元の地図座標系において、車両の進行方向と一致する。例えば、車両座標系SのY軸方向は、車両50が走行している経路が延びる方向と一致させてもよい。撮像判断部11dは、車両座標系Sにおいて表現された撮像装置20aの光軸方向A1を、地図座標系の表現に座標変換する。そして、撮像判断部11dは、地図座標系で表現される撮像装置20aの光軸方向A1が、撮像対象物60の位置と交差する時の車両の経路70上の位置を、撮像可能領域として求める。具体的には、撮像判断部11dは、地図上において、車両50の撮像装置20aの位置から光軸方向A1に延びる直線が、撮像対象物60と交わるか否かを調べる。求められる撮像可能領域は、経路70上の一点である場合もあるし、経路70上の所定の範囲の部分である場合もある。
【0060】
上述したように、撮像装置20aの光軸方向A1は、運転席の搭乗者51aを含んで車外を撮像するように設定されるので、撮像可能領域において撮像装置20aにより撮像される画像には、搭乗者51a及び車外の撮像対象物60が1つの画像に含まれるように撮像される。
【0061】
上述した撮像装置20aを用いた撮像可能領域の説明は、他の撮像装置20b〜20dに対しても適宜適用される。
【0062】
次に、撮像可能領域、撮像推奨領域、撮像非推奨領域について、更に、以下に説明する。
【0063】
図6は、撮像可能領域、撮像推奨領域及び撮像非推奨領域を説明する図である。
【0064】
撮像可能領域は、上述したように、経路上において、地図座標系で表現される撮像装置20a〜20dの光軸方向が、撮像対象物の位置と交差する時の経路上の位置である。
【0065】
図6に示す例では、撮像判断部11dは、車両50に搭載される撮像装置20aに対して、経路70上の所定の範囲に撮像可能領域Rを有すると判断している。撮像可能領域Rは、後述する撮像推奨領域R2及び撮像非推奨領域R1,R3を含む領域である。図6に示すように、経路が撮像対象物60を内側にして回るように湾曲している場合には、経路70上の所定の範囲に撮像可能領域Rを有する場合がある。
【0066】
撮像判断部11dは、撮像可能領域Rにおいて、撮像装置20aを用いて画像を録画させてもよいし、所定の間隔で画像を撮像するようにしてもよい。
【0067】
撮像可能領域Rは、通常、車両50が走行する位置から撮像対象物60を見渡せる経路70の部分である。
【0068】
また、図6に示す例では、車載装置10が搭載されている車両50が走行する経路70には、車外の撮像対象物60を撮像することが推奨されない撮像非推奨領域R1、R3が設定されている。
【0069】
撮像非推奨領域R1では、経路70と撮像対象物60との間に、フェンス等の障害物80が位置するので、車両内から撮像装置20aが撮像した場合、搭乗者と撮像対象物60との間に障害物80が写るため、車外の撮像対象物60を撮像できないおそれがある。
【0070】
また、撮像非推奨領域R3では、経路70と撮像対象物60との間に、建物等の障害物81が位置するので、車両内から撮像装置20aが撮像した場合、搭乗者と撮像対象物60との間に障害物81が写るため、車外の撮像対象物60を撮像できないおそれがある。
【0071】
一方、撮像非推奨領域R1と撮像非推奨領域R3との間には、車外の撮像対象物60を撮像することが推奨される撮像推奨領域R2が設定されている。
【0072】
撮像推奨領域R2は、特に、車外の撮像対象物60が美しく撮像できると予想される経路70上の部分である。撮像推奨領域R2は、いわゆるビューポイントである。
【0073】
上述した撮像推奨領域R2の経路70上の位置情報を含む撮像推奨領域情報は、車載装置10の記憶部12の撮像推奨領域表12eに登録される。撮像推奨領域表12eには、撮像推奨領域R2を識別する識別情報と、撮像推奨領域R2の経路70上の位置情報とが関連づけられて登録される。
【0074】
また、上述した撮像非推奨領域R1,R3の経路70上の位置情報を含む撮像非推奨領域情報は、車載装置10の記憶部12の撮像非推奨領域表12fに登録される。撮像非推奨領域表12fには、撮像非推奨領域R1,R3を識別する識別情報と、撮像非推奨領域R1,R3の経路70上の位置情報とが関連づけられて登録される。
【0075】
なお、図6に示す例では、撮像可能領域Rは、撮像非推奨領域R3と、撮像推奨領域R2との間に、撮像推奨領域でもなく、撮像非推奨領域でもない領域R4を有する。領域R4では、撮像装置20aの光軸方向A1が撮像対象物の位置と交差する。
【0076】
図6に示す例では、撮像装置20aに対して撮像可能であると判断された撮像可能領域、撮像推奨領域及び撮像非推奨領域について説明がなされた。上述した図6の説明は、他の撮像装置20b〜20dに対しても適宜適用される。
【0077】
次に、サーバ40について、以下に詳述する。
【0078】
サーバ40は、処理部41と、記憶部42と、通信部43を有する。
【0079】
処理部41は、一つまたは複数のプロセッサと、周辺回路とを有する。処理部41は、記憶部42に予め記憶されている所定のプログラムに従い、サーバ40の各ハードウェア構成要素の制御及び各種処理を行い、処理中に生じるデータを一時的に保存するために記憶部42を利用する。なお、サーバは、一台でなくてもよい。サーバの動作は、ネットワークNを介して通信可能に接続された複数のサーバが協働して実現されてもよい。
【0080】
記憶部42は、ランダムアクセスメモリ(RAM)若しくはリードオンリーメモリ(ROM)等の半導体メモリ、又は磁気ディスク若しくはフラッシュメモリ等の不揮発性メモリを有していてもよい。また、記憶部42は、所定のプログラムを記憶する非一時的な記憶媒体を読み出し可能なドライブとして、ディスクドライブ(図示せず)を用いてもよい。
【0081】
図7は、サーバの記憶部を説明する図である。
【0082】
記憶部42は、サーバ撮像対象物表42aと、サーバ撮像推奨領域表42bと、サーバ撮像非推奨領域表42cを記憶する。
【0083】
サーバ撮像対象物表42aには、撮像対象物の名称と、撮像対象物の位置情報とが、撮像対象物を識別する撮像対象物識別情報と関連づけられて登録される。撮像対象物として、例えば、ウェブ上において、撮像対象として人気の高い対象物を登録することができる。サーバ撮像対象物表42aに登録されている情報を、撮像対象物情報ともいう。
【0084】
サーバ撮像推奨領域表42bには、撮像推奨領域を識別する識別情報と、撮像推奨領域の経路上の位置情報とが関連づけられて登録される。撮像推奨領域は、ウェブ上において、撮像対象物を撮像するのに適していると評判の高い経路上の部分を登録することができる。
【0085】
サーバ撮像非推奨領域表42cには、撮像非推奨領域を識別する識別情報と、撮像非推奨領域の経路上の位置情報とが関連づけられて登録される。撮像非推奨領域は、ウェブ上において、撮像対象物を撮像するのに残念ながら適していないと通知されている経路上の部分を登録することができる。
【0086】
通信部43は、ネットワークNを介して、車載装置10との間で情報の送受信を行う。処理部41は、通信部43を用いて受信された情報に基づいて、各種の処理を行う。また、処理部41は、各種の処理を行った結果を、通信部43を用いて送信する。通信部43は、送受信を行う通信回路及び通信線又はアンテナを有し得る。
【0087】
次に、システム1において、車載装置10が撮像装置20a〜20dの光軸方向を決定して、サーバ40から撮像対象物情報を受信する動作等を、図8に示すシーケンス図を参照しながら、以下に説明する。
【0088】
まず、ステップS801において、車両の搭乗者は、各撮像装置20a〜20dの光軸調整部22を操作して、撮像部21の光軸方向を設定する。具体的には、車両の搭乗者は、各撮像装置20a〜20dの撮像部21が、搭乗者及び車外の景色を一緒に撮像できるように、表示部13の画像を確認しながら、光軸調整部22又は操作部14を用いて撮像部21の光軸方向及び画像の拡大率を調整する。撮像部21の光軸方向及び画像の拡大率を調整することにより、撮像部21の視野内において、搭乗者が写る割合と、車外が写る割合とが変更される。
【0089】
車載装置10の処理部11の光軸方向決定部11aは、撮像装置20a〜20dから受信した撮像部21の光軸方向の移動量情報に基づいて、各撮像部21の光軸方向を、車両に固定された車両座標系に対して決定する。
【0090】
次に、ステップS803において、車載装置10の処理部11の撮像対象物設定部11bは、撮像対象物情報を要求する撮像対象物情報要求を、ネットワークNを介してサーバ40へ送信する。また、撮像対象物設定部11bは、撮像推奨領域情報を要求する撮像推奨領域情報要求と、撮像非推奨領域情報を要求する撮像非推奨領域情報要求を、ネットワークNを介してサーバ40へ送信する。
【0091】
次に、ステップS805において、サーバ40は、撮像対象物情報要求、撮像推奨領域情報要求及び撮像非推奨領域情報要求を受信する。
【0092】
次に、ステップS807において、サーバ40の処理部41は、記憶部42に記憶されているサーバ撮像対象物表41aを参照して、撮像対象物情報を読み出し、読み出した撮像対象物情報を、ネットワークNを介して車載装置10へ送信する。また、サーバ40の処理部41は、記憶部42に記憶されているサーバ撮像推奨領域表42bを参照して、撮像推奨領域情報を読み出し、読み出した撮像推奨領域情報を、ネットワークNを介して車載装置10へ送信する。更に、サーバ40の処理部41は、記憶部42に記憶されているサーバ撮像非推奨領域表42cを参照して、撮像非推奨領域情報を読み出し、読み出した撮像非推奨領域情報を、ネットワークNを介して車載装置10へ送信する。
【0093】
次に、ステップS809において、撮像対象物設定部11bは、撮像対象物情報、撮像推奨領域情報及び撮像非推奨領域情報を受信する。
【0094】
次に、ステップS811において、撮像対象物設定部11bは、受信した撮像対象物情報を、記憶部12の撮像対象物表12dに登録する。また、撮像対象物設定部11bは、受信した撮像推奨領域情報を、記憶部12の撮像推奨領域表12eに登録する。更に、影対象物設定部11bは、受信した撮像非推奨領域情報を、記憶部12の撮像非推奨領域表12fに登録する。
【0095】
なお、車両の搭乗者は、車載装置10の操作部14を操作して、撮像を希望する撮像対象物の撮像対象物情報を、記憶部12の撮像対象物表12dに登録してもよい。同様に、車両の搭乗者は、自ら知見した撮像推奨領域情報を、記憶部12の撮像推奨領域表12eに登録してもよい。更に、車両の搭乗者は、自ら知見した撮像非推奨領域情報を、記憶部12の撮像非推奨領域表12fに登録してもよい。このように、車両の搭乗者は、サーバ40に記憶されている情報以外にも、適宜、撮像対象物情報等を車載装置10に登録してもよい。また、撮像対象物設定部11bは、撮像対象物表12d、撮像非推奨領域表12f又は撮像非推奨領域表12fに追加して登録された情報を、サーバ40へ送信して、記憶部42に記憶されている各表に登録するようにしてもよい。
【0096】
次に、ステップS813において、車載装置10の処理部11の撮像判断部11dは、車両の搭乗者により選択される3つの撮像領域を表示部13に表示する。
【0097】
図9は、撮像領域を選択する画面を示す図である。
【0098】
「1.撮像可能領域において撮像する」が選択された場合、撮像判断部11dは、車両が経路上の撮像可能領域に位置する時に撮像装置20a〜20dを用いて、搭乗者及び車外の撮像対象物を撮像する。図6に示す例では、車両が撮像可能領域Rを走行している間、撮像判断部11dは、撮像装置20a〜20dを用いて、搭乗者及び車外の撮像対象物を撮像する。この場合、撮像判断部11dは、撮像装置20a〜20dを用いて、映像を撮像してもよい。
【0099】
「2.撮像推奨領域において撮像する」が選択された場合、撮像判断部11dは、車両が経路上の撮像可能領域に位置し且つ撮像推奨領域に位置している時に、撮像装置20a〜20dを用いて、搭乗者及び車外の撮像対象物を撮像する。これにより、搭乗者及び車外の撮像対象物を撮像可能な経路上の領域でも、撮像対象物を特にすばらしく撮像出来ると予想される場合に撮像することができる。図6に示す例では、車両が撮像推奨領域R2を走行している間、撮像判断部11dは、撮像装置20a〜20dを用いて、搭乗者及び車外の撮像対象物を撮像する。
【0100】
「3.撮像非推奨領域では撮像しない」が選択された場合、撮像判断部11dは、車両が経路上の撮像可能領域に位置していても、撮像非推奨領域に位置している時には、撮像装置20a〜20dを用いて、搭乗者及び車外の撮像対象物を撮像しない。これにより、搭乗者及び車外の撮像対象物を撮像可能な経路上の領域でも、撮像対象物を上手く撮像出来ないと予想される場合には撮像しないようにできる。図6に示す例では、車両が撮像可能領域Rを走行していても、車両が撮像非推奨領域R1,R3に位置している時には、撮像判断部11dは、撮像装置20a〜20dを用いて、搭乗者及び車外の撮像対象物を撮像しない。
【0101】
撮像判断部11dは、車両の搭乗者が操作部14を用いて選択された撮像領域を入力し、入力された撮像領域において、車両の走行中に撮像装置20a〜20dを用いて撮像する。
【0102】
次に、ステップS815において、車載装置10の処理部11の撮像判断部11dは、車両の搭乗者により選択される2つの撮像モードを表示部13に表示する。
【0103】
「1.第1撮像装置と同期して撮像する」が選択された場合、撮像判断部11dは、運転席に着座している搭乗者を撮像する撮像装置20aに対して、撮像可能と判断した時には、撮像装置20aに撮像させると共に、他の撮像装置20b〜20dにも撮像させる。これにより、撮像装置20aは、運転席に着座している搭乗者及び車外の撮像対象物を撮像すると共に、この撮像と同期して、他の座席に着座している搭乗者を、他の撮像装置20b〜20dを用いて撮像することができる。これにより、例えば車外の雄大な景色に見とれている各搭乗者の表情等を撮像することできる。なお、第1撮像装置は、撮像装置20a以外の他の撮像装置としてもよい。
【0104】
「2.各撮像装置は独立して撮像する」が選択された場合、撮像判断部11dは、車両に着座している各搭乗者を撮像する撮像装置20a〜20dに対して、撮像可能と判断した時には、各撮像装置20aに撮像させる。各撮像装置20a〜20dの光軸方向A1〜A4は通常異なっているので、撮像可能と判断されるタイミングも異なる。そこで、撮像判断部11dは、各撮像装置20a〜20dに対して撮像可能か否かを判断して、撮像可能な時に、搭乗者及び車外の撮像対象物をそれぞれ撮像することができる。
【0105】
撮像判断部11dは、車両の搭乗者が操作部14を用いて選択された撮像モードを入力し、入力された撮像モードにおいて、車両の走行中に撮像装置20a〜20dを用いて撮像する。
【0106】
以上が、システム1において、車載装置10が撮像装置20a〜20dの光軸方向を決定して、サーバ40から撮像対象物情報を受信する処理等の説明である。
【0107】
次に、車載装置10が目的地までの経路の走行中に撮像対象物を撮像する動作について、図11及び図12に示すフローチャートを参照しながら、以下に説明する。
【0108】
まず、ステップS1101において、車載装置10の処理部11のナビゲーション部11cは、車両の搭乗者から目的地を入力して、現在の車両の位置から目的地までの経路を導出する。
【0109】
次に、ステップS1103において、撮像判断部11dは、記憶部12に記憶される地図データ12b及び撮像対象物表12dを参照して、現在の車両の位置から目的地までの経路において、走行予定の経路から所定の距離以内に位置する撮像対象物を検索する。そして、撮像判断部11dは、選択された撮像モード(図10参照)に基づいて、撮像装置20a〜20dに対して、撮像部21の光軸方向が、撮像対象物の位置と交差する経路上の位置を撮像可能領域として求める。第1撮像装置(撮像装置20a)と同期して撮像する撮像モードが選択されている場合には、撮像判断部11dは、撮像装置20aに対して撮像可能領域を求める。一方、各撮像装置は独立して撮像する撮像モードが選択されている場合には、撮像判断部11dは、各撮像装置20a〜20dに対する撮像可能領域を求める。走行予定の経路から所定の距離以内に位置する撮像対象物を検索する理由は、経路からあまりに遠くに位置する撮像対象物は、通常、撮像できないと考えられるからである。所定の距離は、経路が延びる向きに対して直交する向きの距離である。所定の距離としては、例えば、1km〜200kmとすることができる。なお、天候によっては、撮像対象物が所定の距離以内に位置していても撮像できない場合もあるが、本明細書では、撮像可能領域は、天候が悪くなければ、搭乗者及び車外の撮像対象物を撮像可能な経路上の位置を意味する。従って、本明細書において、撮像可能領域において撮像装置20a〜20dが搭乗者及び車外の撮像対象物を撮像することには、天候又は予期していない状態によっては、撮像対象物が実際には撮像されない場合も含まれる。予期していない状態としては、例えば、経路と撮像対象物との間に、新たな建物が建設されていること等が挙げられる。
【0110】
走行予定の経路から所定の距離以内に位置する撮像対象物が存在しない場合には、ナビゲーション部11cは、目的地までの経路案内を続ける。ここでは、少なくとも1つの撮像対象物が検索されたとして、以下の説明を行う。
【0111】
そして、撮像判断部11dは、選択された撮像領域(図9参照)に基づいて、記憶部12に記憶された撮像推奨領域表12e又は撮像非推奨領域表12fを参照して、求められた撮像可能領域から撮像を実行しない領域を除外して、最終的な撮像可能領域を決定する。
【0112】
撮像判断部11dは、ナビゲーション部11cが求めた経路と共に、撮像対象物の名称を、地図画像に重畳させて表示部13に表示してもよい。これにより、車両の搭乗者は、撮像可能となる経路上の位置を把握することができる。
【0113】
次に、ステップS1105において、ナビゲーション部11cは、車両が走行を開始するのと共に、ナビゲーション機能の実行を開始して、経路案内を行う。
【0114】
次に、ステップS1107において、撮像判断部11dは、撮像可能領域に到達するまでの予測時間が、所定の時間になったか否かを判断する。所定の時間は、撮像の予告の通知を受けた搭乗者が、撮像に備えた準備を行える時間とすることが好ましい。例えば、所定の時間としては、10秒とすることができる。ここで、所定の時間には、ある程度の幅を持たせてもよい。例えば、予測時間が、所定の時間としての9秒から11秒の間であれば、予測時間が所定の時間になったと判断してもよい。また、複数の撮像可能領域がある場合には、予測時間は、現在の車両の位置に対して、車両の進行方向において最も近い位置ある撮像可能領域に到達するまでの時間を意味する。
【0115】
撮像判断部11dは、現在の車両の位置から撮像可能領域までの距離と、現在の車両の速度とに基づいて、撮像可能領域に到達するまでの予測時間を求める。例えば、車両の速度が時速50kmの場合には、撮像可能領域から約139m手前の位置において、予測時間が10秒となる。また、車両の速度が時速100kmの場合には、撮像可能領域から約278m手前の位置において、予測時間が10秒となる。
【0116】
撮像可能領域に到達するまでの予測時間が、所定の時間になった場合(ステップS1107においてYesの場合)には、撮像判断部11dは、車両が撮像可能領域に近づいていることを、表示部13又は音響出力部15を用いて、搭乗者に通知する(ステップS1109)。
【0117】
図13は、撮像を通知する画面を示す図である。
【0118】
撮像判断部11dは、例えば、図13に示すように、「10秒後に搭乗者及び撮像対象物を撮像します」と、表示部13に表示してもよい。
【0119】
また、撮像判断部11dは、車両が撮像可能領域に近づいていることを通知した時から撮像可能領域に到達するまでの時間をカウントダウンして、表示部13又は音響出力部15を用いて、搭乗者に通知してもよい。これにより、運転席以外に着座している搭乗者は、撮像部21に向かってポーズを取ったりして、撮像に備えることができる。
【0120】
一方、撮像可能領域に到達するまでの予測時間が、所定の時間になっていない場合(ステップS1107においてNoの場合)には、ステップS1105の前に戻る。
【0121】
次に、ステップS1111において、ナビゲーション部11cは、ナビゲーション機能を実行して、経路案内を続ける。
【0122】
次に、ステップS1113において、撮像判断部11dは、車両が撮像可能領域に到達したか否かを判断する。上述したように、撮像可能領域では、地図座標系において、撮像部21の光軸方向が、撮像対象物と交差しており、撮像装置20a〜20bを用いて、搭乗者及び車外の撮像対象物が1つの画像に含まれるように撮像可能である。
【0123】
車両が撮像可能領域に到達したと判断された場合(ステップS1113においてYesの場合)、撮像判断部11dは、撮像モードに基づいて、撮像可能と判断された撮像装置20a〜20dを用いて、搭乗者及び車外の撮像対象物を撮像する(ステップS1201)。図14は、撮像装置20aを用いて、運転席に着座する搭乗者及び車外の撮像対象物が撮像された画像を示す。撮像判断部11dは、撮像した画像を、画像データ12cとして、記憶部12に記憶するまた、撮像判断部11dは、撮像した画像を、ネットワークNを介してサーバ40へ送信してもよい。サーバ40は、受信した画像を記憶部42に記憶してもよい。
【0124】
一方、車両が撮像可能領域に到達していないと判断された場合(ステップS1113においてNoの場合)、ステップS1111の前に戻る。
【0125】
次に、ステップS1203において、ナビゲーション部11cは、ナビゲーション機能を実行して、経路案内を続ける。
【0126】
次に、ステップS1205において、ナビゲーション部11cは、車両が目的地に到着したか否かを判断する。車両が目的地に到着した場合(ステップS1205においてYesの場合)には、車載装置10は、撮像対象物を撮像する動作を終了する。一方、車両が目的地に到着していない場合(ステップS1205においてNoの場合)には、ステップS1105の前に戻る。
【0127】
上述した本実施形態のシステム1の車載装置10によれば、車両の走行中に、車両に搭乗している搭乗者及び車外の撮像対象物が1つの画像に含まれるように撮像できる。
【0128】
例えば、従来では、車両に搭乗している搭乗者が運転手のみである場合には、車外の撮像対象物を撮像する場合には、車両を停止して、運転手は撮像することを行っていた。一方、本実施形態の車載装置10によれば、走行中の車両を停止することなく、運転席に着座している搭乗者及び車外の撮像対象物を撮像することができる。
【0129】
また、従来では、走行中の車両では、搭乗者が車外の撮像対象物を撮像する場合には、撮像に最も適したタイミングからずれて撮像することがあった。一方、本実施形態の車載装置10によれば、経路上の撮像可能領域を求めて撮像するので、撮像に最も適したタイミングにおいて撮像することが可能である。
【0130】
本発明では、上述した実施形態の車載システム、車載装置、プログラム及び方法は、本発明の趣旨を逸脱しない限り適宜変更が可能である。
【0131】
例えば、上述した車載装置は、高機能携帯端末であってもよい。上述した車載装置は、ナビゲーション機能及び撮像機能を有する高機能携帯端末を用いても実現可能である。
【0132】
図15は、車載装置の他の実施形態としての高機能携帯端末を示す図である。
【0133】
高機能携帯端末90は、撮像部91と、表示部及び操作部としてのタッチパネル92を有する。また、高機能携帯端末90は、図示しない処理部、記憶部、音響出力部、通信部及びGPS情報受信部を有する。高機能携帯端末90は、CANと接続して車両の速度を受信してもよいし、現在の位置の変化に基づいて、車両の速度を求めてもよい。
【0134】
高機能携帯端末90は、マウンタ100を用いて車室内に固定される。
【0135】
マウンタ100は、高機能携帯端末90を固定する可動部101と、可動部101を回動可能に車室内に固定する固定部102を有する。
【0136】
可動部101は、4つの係止部101a〜101dを有しており、これらの係止部101a〜101dを用いて、高機能携帯端末90が可動部101に固定される。
【0137】
固定部102は、車両座標系に対して所定の位置関係に基づいて、車室内に固定される。例えば、固定部102は、ダッシュボードの左端上の位置に固定される。これにより、高機能携帯端末90の撮像部91を用いて、運転席に着座した搭乗者及び車外の撮像対象物を撮像するように、撮像部91の光軸方向を設定可能となる。
【0138】
可動部101は、図15中の矢印の向きに示すように、固定部102に対して回動可能である。これにより、可動部101に固定された高機能携帯端末90の向きを変えて、車内の搭乗者を含んで車外を撮像するように、撮像部91の光軸方向を設定できる。
【0139】
固定部102には、固定部102に対する可動部101の位置関係を示す指標102aが表示される。
【0140】
可動部101の下部には、光軸方向指数101eが表示されており、指標102aと一致する位置の光軸方向指数101eを読み取ることにより、固定部102に対する可動部101の位置関係が得られるようになされている。
【0141】
車両の搭乗者は、タッチパネル92の画像を見ながら撮像部91の光軸方向及び倍率を設定した後、指標102aと一致する位置の光軸方向指数101eを読み取り、読み取られた光軸方向指数101eを、高機能携帯端末90に入力する。
【0142】
高機能携帯端末90は、入力された光軸方向指数101eと、車室に固定された固定部102の車両座標系に対する所定の位置関係とに基づいて、撮像部91の光軸方向を、車両に固定された車両座標系に対して決定する。
【0143】
高機能携帯端末90は、上述した実施形態の車載装置10と同様の動作が可能であり、撮像部91の光軸方向と、車外の撮像対象物との位置関係に基づいて、搭乗者及び撮像対象物を撮像可能か判断し、撮像可能な場合に搭乗者及び撮像対象物を撮像部91を用いて撮像する。
【0144】
また、上述した実施形態では、処理部11は、撮像部21の光軸方向が、撮像対象物の位置と交差した時に、搭乗者及び撮像対象物を撮像可能であると判断していたが、撮像部21の視野内に、撮像対象物が含まれる時に、搭乗者及び撮像対象物を撮像可能であると判断してもよい。
【符号の説明】
【0145】
1 システム
10 車載装置
11 処理部
11a 光軸方向決定部
11b 撮像対象物設定部
11c ナビゲーション部
11d 撮像判断部
12 記憶部
12a プログラム
12b 地図データ
12c 画像データ
12d 撮像対象物表
12e 撮像推奨領域表
12f 撮像非推奨領域表
13 表示部(出力)
14 操作部
15 音響出力部
16 通信部(出力部)
20a〜20d 撮像装置
21 撮像部
22 光軸調整部
30 GPS情報受信部
40 サーバ
41 処理部
42 記憶部
43 通信部
50 車両
51a〜51d 搭乗者
60 撮像対象物
70 経路
80 障害物
81 障害物
90 端末
91 撮像部
100 マウンタ
101 可動部
101a〜101d 係止部
101e 光軸方向指数
102 固定部
102a 指標
N ネットワーク
P 画像
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15