(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024118010
(43)【公開日】2024-08-30
(54)【発明の名称】可視領域設定システム
(51)【国際特許分類】
G01C 21/26 20060101AFI20240823BHJP
G09B 29/00 20060101ALI20240823BHJP
【FI】
G01C21/26 C
G09B29/00 A
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2023024156
(22)【出願日】2023-02-20
(71)【出願人】
【識別番号】000000011
【氏名又は名称】株式会社アイシン
(74)【代理人】
【識別番号】110000660
【氏名又は名称】Knowledge Partners弁理士法人
(72)【発明者】
【氏名】石井 宏和
(72)【発明者】
【氏名】眞浦 雅夫
【テーマコード(参考)】
2C032
2F129
【Fターム(参考)】
2C032HB05
2C032HC22
2F129AA03
2F129BB02
2F129BB20
2F129BB22
2F129CC15
2F129CC31
2F129CC33
2F129EE02
2F129EE26
2F129EE69
2F129EE77
2F129FF02
2F129FF61
2F129FF73
2F129FF75
2F129GG17
2F129HH12
(57)【要約】
【課題】走行中の車両からオブジェクトを視認可能な領域を、ユーザが把握できる技術の提供。
【解決手段】走行車両に搭載された撮影装置により撮影された撮影画像と、前記撮影画像の撮影位置と、を取得する撮影画像取得部と、前記撮影画像の画像認識により、前記撮影画像に含まれるオブジェクトを特定するオブジェクト特定部と、複数の前記撮影画像それぞれから特定される、同一の前記オブジェクトの、前記撮影位置に基づいて、地図に含まれる道路上に前記オブジェクトの可視領域を設定する可視領域設定部と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
走行車両に搭載された撮影装置により撮影された撮影画像と、前記撮影画像の撮影位置と、を取得する撮影画像取得部と、
前記撮影画像の画像認識により、前記撮影画像に含まれるオブジェクトを特定するオブジェクト特定部と、
複数の前記撮影画像それぞれから特定される、同一の前記オブジェクトの、前記撮影位置に基づいて、地図に含まれる道路上に前記オブジェクトの可視領域を設定する可視領域設定部と、
を備える、可視領域設定システム。
【請求項2】
前記可視領域を着色し、前記撮影画像それぞれにおける前記オブジェクトの見え方の特徴量に基づいて、前記可視領域内において色を異ならせて表示部に表示させる表示処理部をさらに備える、請求項1に記載の可視領域設定システム。
【請求項3】
前記可視領域を着色し、同一の前記オブジェクトに対して特定された前記撮影位置の密度に基づいて、前記可視領域内において色を異ならせて、表示部に表示させる表示処理部をさらに備える、請求項1に記載の可視領域設定システム。
【請求項4】
前記可視領域は、前記道路上のリンク単位で設定される、請求項1に記載の可視領域設定システム。
【請求項5】
同一の前記オブジェクトのリンク内における前記撮影位置の数が閾値以上の場合には、前記道路上のリンクの一部の範囲が前記可視領域として設定され、前記リンク内における前記撮影位置の数が前記閾値未満の場合には、前記リンクの全体が前記可視領域として設定される、請求項1に記載の可視領域設定システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、可視領域設定システムに関する。
【背景技術】
【0002】
車両に乗車中のユーザが地物を視認する際の見え方に応じて、推奨経路を探索する技術が知られている。例えば、特許文献1には、乗車中の車両から地物を視認する際の見え方が希望の見え方となるように、経路を探索することを可能とする技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
走行中の車両において、地物や歩行者などの移動体など、所望のオブジェクトをいずれの地点から視認できるのかを知りたいという要望がある。しかしながら、特許文献1の技術においては、地物が見える範囲を知ることができない。
【0005】
本発明は、上記課題に鑑みなされたもので、走行中の車両からオブジェクトを視認可能な領域を、ユーザが把握できる技術の提供を目的とする。
【課題を解決するための手段】
【0006】
上記の目的を達成するため、本発明の可視領域設定システムは、走行車両に搭載された撮影装置により撮影された撮影画像と、前記撮影画像の撮影位置と、を取得する撮影画像取得部と、前記撮影画像の画像認識により、前記撮影画像に含まれるオブジェクトを特定するオブジェクト特定部と、複数の前記撮影画像それぞれから特定される、同一の前記オブジェクトの、前記撮影位置に基づいて、地図に含まれる道路上に前記オブジェクトの可視領域を設定する可視領域設定部と、を備える。
【0007】
可視領域設定システムにおいては、撮影画像の画像認識により、実際にオブジェクトが視認可能な撮影位置を特定し、当該撮影位置に基づいて、オブジェクトの可視領域を設定する。したがって、ユーザは、実際に車両で走行せずとも、オブジェクトが視認可能な範囲である可視領域を把握することができる。
【図面の簡単な説明】
【0008】
【
図1】可視領域表示システムの構成を示すブロック図である。
【
図3】可視領域設定処理を示すフローチャートである。
【
図4】可視地点の数が閾値未満の場合の可視領域の説明図である。
【
図5】可視地点の数が閾値以上の場合の可視領域の説明図である。
【
図6】可視領域表示処理を示すフローチャートである。
【
図8】変形例に係る可視領域の表示例を示す図である。
【発明を実施するための形態】
【0009】
ここでは、下記の順序に従って本発明の実施の形態について説明する。
(1)可視領域表示システムの構成:
(2)全体処理:
(3)付記:
【0010】
(1)可視領域表示システムの構成:
図1は、可視領域表示システム1の全体構成を示すブロック図である。可視領域表示システム1は、走行中の車両からオブジェクトを視認可能な領域、すなわち可視領域を設定し、当該領域を表示する。ここで、オブジェクトとは、例えば、店舗等の建物や、標識等の地物である。
【0011】
可視領域表示システム1は、車両システム10と、可視領域設定システム20と、表示装置30と、を含む。車両システム10、可視領域設定システム20及び表示装置30は、ネットワークNを介して互いに通信が可能である。車両システム10は、車両に搭載されるシステムであり、走行中の車両において画像を撮影し、可視領域設定システム20に送信する。なお、画像は、静止画であるものとする。可視領域設定システム20は、車両システム10において撮影された撮影画像に基づいて、複数のオブジェクトそれぞれに対応する可視領域を設定する。表示装置30は、可視領域設定システム20において設定された可視領域を表示する。なお、
図1においては、車両システム10及び表示装置30は、1台のみ示しているが、可視領域表示システム1は、車両システム10及び表示装置30を2以上備えてもよい。
【0012】
車両システム10は、第1制御部100と、第1通信部110と、第1記録媒体120と、GNSS受信部131と、車速センサ132と、ジャイロセンサ133と、カメラ134と、を備えている。第1制御部100は、プロセッサやメモリを備え、車両システム10の各部を制御する。第1通信部110は、ネットワークNを介して外部の装置と通信を行うための装置である。第1制御部100は、第1通信部110を介して可視領域設定システム20と通信を行う。第1記録媒体120は、各種情報及び各種プログラムを記憶する。
【0013】
GNSS受信部131は、Global Navigation Satellite Systemの信号を受信する装置である。GNSS受信部131は、航法衛星からの電波を受信し、車両の現在位置を算出するための信号を出力する。車速センサ132は、車両が備える車輪の回転速度に対応した信号を出力する。ジャイロセンサ133は、車両の水平面内の旋回についての角加速度を検出し、車両の向きに対応した信号を出力する。第1制御部100は、走行中の道路において、車速センサ132およびジャイロセンサ133から出力された信号に基づいて推定される位置の軌跡である自立航法軌跡と図示しない地図情報とに基づいて車両の位置、すなわち車両位置を取得する。カメラ134は、例えば、ドライブレコーダであり、車両に設置され、車両の周辺の画像を撮影する。撮影画像には、例えば、道路脇の地物などが含まれる。カメラは、撮影装置の一例である。
【0014】
可視領域設定システム20は、第2制御部200と、第2通信部220と、第2記録媒体2230と、を備えている。第2制御部200は、図示しないCPU、RAM、ROM等を備えており、第2記録媒体230やROMに格納されたプログラムを実行することができる。第2通信部220は、ネットワークNを介して外部装置と通信を行う。第2制御部200は、第2通信部220を介して、車両システム10及び表示装置30と通信を行う。第2記録媒体230は、地図情報231、撮影画像データベース(DB)232、オブジェクトデータベース(DB)233を含む。
【0015】
地図情報231は、車ノードとリンクによって定義された区間のネットワークを示している。地図情報231には、ノードの位置等を示すノードデータ、ノード間の区間の形状を特定するための形状補間点の位置等を示す形状補間点データ、ノード同士の連結を示すリンクデータが含まれている。ノードは交差点に該当する。
【0016】
撮影画像DB232は、車両システム10から受信した撮影画像に対応付けて、撮影画像が撮影されたタイミングにおける車両位置を撮影位置として対応付けて記憶する。オブジェクトDB233は、視認可能なオブジェクトを識別するオブジェクトID、オブジェクトの種類、オブジェクト位置、オブジェクトの可視地点、オブジェクトの可視地点の平均及び分散を、対応付けて記憶する。オブジェクトの種類は、例えば、スーパーとガソリンスタンドといった業種だけでなく、スーパーAAとスーパーBBと、いうように、企業を区別する情報である。オブジェクトの種類は、後述するオブジェクトの画像認識により識別できる種類に対応する。オブジェクト位置は、オブジェクトの存在する位置である。位置は、例えば、経度緯度等により示される。オブジェクトの可視地点は、ユーザが乗車中の車両からオブジェクトを視認することのできる地点(車両位置)である。1つのオブジェクトに対して複数の可視地点が対応付けられる。オブジェクトの可視地点の平均及び分散は、1つのオブジェクトに対応付けられている複数の可視地点を母集団とする平均及び分散の値である。
【0017】
第2制御部200は、第2記録媒体230やROM等に格納された可視領域設定プログラム210を実行することにより、撮影画像取得部211、オブジェクト特定部212、可視領域設定部213、及び表示処理部214、として機能する。すなわち、以下において、撮影画像取得部211、オブジェクト特定部212、可視領域設定部213、及び表示処理部214、が実行するものとして記載する処理は、第2制御部200が可視領域設定プログラム210を実行することにより実現される処理である。
【0018】
撮影画像取得部211は、車両システム10から撮影画像と撮影位置とを取得する。オブジェクト特定部212は、撮影画像において、画像認識によりオブジェクトを特定する。具体的には、オブジェクト特定部212は、機械学習により生成された学習モデルを用いて、可視領域設定の対象となるオブジェクトを特定する。可視領域設定部213は、オブジェクトが特定された撮影画像の撮影位置に基づいて、道路上にオブジェクトの可視領域を設定する。表示処理部214は、表示装置30に、可視領域を表示させる。
【0019】
表示装置30は、第3制御部300と、第3通信部310と、表示部320と、を備えている。表示装置30は、例えば、据置型の汎用コンピュータや、携帯型の情報処理装置であってもよく、車両に搭載される装置であってもよい。第3制御部300は、プロセッサやメモリを備え、表示装置30の各部を制御する。第3通信部310は、ネットワークNを介して外部の装置と通信を行うための装置である。第3制御部300は、第3通信部310を介して可視領域設定システム20と通信を行う。表示部320は、各種情報を表示する。
【0020】
(2)全体処理:
図2は、可視領域表示システム1による全体処理を示すフローチャートである。全体処理においては、まず、ステップS100において、車両システム10が、走行中の車両において、撮影画像の収集を行う。具体的には、車両システム10において、第1制御部100は、定期的にカメラ134による撮影を行い、撮影タイミングにおける車両位置を撮影位置として特定する。そして、第1制御部100は、撮影画像と撮影位置とを対応付けて第1記録媒体120に格納する。車両システム10は、車両の複数回の走行毎に、撮影画像の収集を行う。次に、ステップS102において、可視領域設定システム20は、可視領域の設定を行う。本処理については、
図3を参照しつつ後述する。次に、ステップS104において、表示装置30は、可視領域を表示部320に表示する。本処理については、
図6を参照しつつ後述する。
【0021】
図3は、可視領域設定処理(ステップS102)における詳細な処理を示すフローチャートである。車両による1回の走行が完了すると、1回の走行において得られた複数の撮影画像と、各撮影画像に対応する撮影位置が、車両システム10から可視領域設定システム20に送信される。可視領域設定システム20は、この1回の走行で得られた撮影画像と撮影位置を受信すると、受信した撮影画像を処理対象として、可視領域設定処理を行う。
【0022】
ステップS200において、撮影画像取得部211は、1回の走行で得られた複数の撮影画像と、対応する撮影位置と、を取得する。そして、撮影画像取得部211は、撮影画像と撮影位置とを対応付けて撮影画像DB232に登録する。
【0023】
次に、ステップS202において、オブジェクト特定部212は、各撮影画像に対する画像認識により、撮影画像に含まれるオブジェクトを特定する。これにより、例えば、オブジェクト特定部212は、オブジェクトの種類を特定する。さらに、オブジェクト特定部212は、撮影位置に基づいて、オブジェクトの存在位置(オブジェクト位置)を特定する。具体的には、オブジェクト特定部212は、撮影位置を含むリンクの方向と、車両の進行方向に対するカメラ134の向きと、に基づいて、撮影方向を特定する。そして、オブジェクト特定部212は、種類の等しいオブジェクトが得られた複数の撮影画像それぞれに対応する撮影方向が所定の地点で重なる場合に、重なる地点をオブジェクトの存在する位置(オブジェクト位置)として特定する。なお、他の例としては、カメラ134は、ステレオカメラであり、撮影方向と、ステレオカメラで測定された距離と、に基づいて、オブジェクト位置が特定されてもよい。
【0024】
次に、第2制御部200は、オブジェクト毎にステップS204~ステップS212の処理を行う。1回の走行で得られた複数の撮影画像において、複数のオブジェクトが特定された場合には、第2制御部200は、特定された各オブジェクトを処理対象として、それぞれについて、ステップS204~ステップS212の処理を行う。
【0025】
まず、ステップS204において、オブジェクト特定部212は、特定したオブジェクトと同一のオブジェクトが既にオブジェクトDB233に登録されている登録済みオブジェクトと同一のオブジェクトであるか否かを判断する。オブジェクト特定部212は、処理対象のオブジェクトと、登録済みオブジェクトの種類が同一であり、かつ両者のオブジェクト位置が等しい場合に、両オブジェクトが同一であると判断する。
【0026】
処理対象のオブジェクトが、登録済みのオブジェクトと同一である場合には(ステップS204でY)、オブジェクト特定部212は、処理対象のオブジェクトの撮影位置を可視地点として追加する(ステップS206)。具体的には、オブジェクト特定部212は、オブジェクトDB233において、処理対象のオブジェクトと同一の、登録済みのオブジェクトのオブジェクトIDに対応付けて、今回取得した撮影画像の撮影位置を、可視地点として追加登録する。オブジェクト特定部212は、複数の撮影画像において、処理対象のオブジェクトが特定された場合には、各撮影画像の撮影位置それぞれを可視地点として、登録済みのオブジェクトのオブジェクトIDに対応づけて登録する。ステップS206の処理の後、第2制御部200は、処理をステップS210へ進める。
【0027】
一方、処理対象のオブジェクトが、登録済みのオブジェクトと同一でない場合、すなわち、新たに特定されたオブジェクトである場合には(ステップS204でN)、オブジェクト特定部212は、処理対象のオブジェクトを新規登録する(ステップS208)。具体的には、オブジェクト特定部212は、処理対象のオブジェクトに対して、新たなオブジェクトIDを発行し、当該オブジェクトIDと、オブジェクトの種類と、撮影位置(可視地点)と、を対応付けてオブジェクトDB233に登録する。オブジェクト特定部212は、複数の撮影画像において、同一のオブジェクトが特定された場合には、各撮影画像の撮影位置それぞれを可視地点として、新たに発行したオブジェクトIDに対応付けて登録する。ステップS208の処理の後、第2制御部200は、処理をステップS210へ進める。
【0028】
ステップS210において、可視領域設定部213は、処理対象のオブジェクトに対する可視領域を設定する。本処理について、
図4及び
図5を参照しつつ説明する。まず、可視領域設定部213は、オブジェクトDB233において、処理対象のオブジェクトに対応付けられているすべての可視地点を地図情報231に示されるリンク毎に分類する。具体的には、可視領域設定部213は、各可視地点を含むリンクに、各可視地点を分類する。例えば、
図4に示すように、処理対象のオブジェクトAに対して、可視地点B1~B5が登録されているとする。可視地点B1、B2は、リンクL1上の地点であり、可視地点B3、B4,B5は、リンクL3上の地点であるとする。この場合、可視地点B1、B2は、リンクL1に分類され、可視地点B3、B4、B5は、リンクL3に分類される。
【0029】
そして、可視領域設定部213は、同一リンクに分類された可視地点の数が予め定められた閾値未満の場合には、可視地点を含むリンクの全体を、可視領域として設定する。
図4の例では、リンクL1の全体及びリンクL3の全体が、オブジェクトAの可視領域として設定される。このように、可視領域は、リンク単位で設定される。
【0030】
また、可視領域設定部213は、同一リンクに分類された可視地点(撮影位置)の数が予め定められた閾値以上の場合には、可視地点に基づいて、可視地点を含むリンクの一部の範囲を可視領域として設定する。例えば、
図5に示すように、1つのリンクL3において、閾値以上の可視地点が得られたとする。この場合、可視領域設定部213は、リンクL3に属するすべての可視地点の外周の辺が最小となるような多角形の領域Cを可視領域として設定する。このように、可視地点の数が多くなった場合には、リンクよりも小さい範囲を可視領域として設定することができる。このように、第2制御部200は、可視地点の数が一定量を超えた場合には、より確実に視認可能な範囲を可視領域として設定することができる。
【0031】
説明を
図3に戻す。ステップS210に続き、ステップS212において、オブジェクト特定部212は、処理対象のオブジェクトに対応する可視地点の平均及び分散を求め、これらの値をオブジェクトIDに対応付けてオブジェクトDB233に登録する。上述のように、1つのオブジェクトに対して、複数のリンクに対応した複数の可視領域が設定されている場合には、各可視領域に属する可視地点について、それぞれ平均及び分散を登録する。すべてのオブジェクトについて処理が完了すると、可視領域設定処理が完了する。
【0032】
次に、
図6を参照しつつ、可視領域表示処理(ステップS104)について説明する。ステップS300において、表示処理部214は、ユーザからオブジェクトが選択されたか否かを判断する。例えば、表示処理部214は、オブジェクト位置にオブジェクトが表示された地図情報を表示装置30の表示部320に表示させる。ユーザは、地図上のオブジェクトを選択することができる。
【0033】
表示部320に表示されたオブジェクトが選択された場合には(ステップS300でY)、表示処理部214は、選択されたオブジェクトの可視領域と、オブジェクトの可視地点の平均及び分散をオブジェクトDB233から取得する(ステップS302)。次に、ステップS304において、表示処理部214は、地図情報において、可視領域をグレーに着色する。具体的には、214は、分散が大きくなるほど可視領域内のグレーの色が薄くなるように、基準となる色を決定する。そして、表示処理部214は、
図7に示すように、可視領域内において、可視地点の平均の位置Dを基準となる色で着色し、可視領域の外縁に近付くほど白に近付くように、2次元にグラデーションに着色する。次に、ステップS306において、表示処理部214は、グラデーションに着色された可視領域を表示部320に表示させる。これにより、ユーザは、色の濃淡により、オブジェクトの見えやすさを容易に把握することができる。
【0034】
(3)付記:
以上の実施形態は本発明を実施するための一例であり、他にも種々の実施形態を採用可能である。そうした第1の変形例としては、可視領域設定システム20が備える各部(撮影画像取得部211、オブジェクト特定部212、可視領域設定部213、及び表示処理部214)の機能の少なくとも一部は、例えば、車両システム10又は表示装置30が備えることとしてもよい。
【0035】
また、第2の変形例としては、上記の実施形態の一部の構成が省略されてもよいし、処理の順序が変動または省略されてもよい。例えば、
図2を参照しつつ説明したステップS100、ステップS102及びステップS104の処理は、その実行順番は限定されるものではない。例えば、ステップS100が継続している間に、ステップS102が行われてもよい。
【0036】
第3の変形例としては、視認可能なオブジェクトは、地物に限定されるものではない。オブジェクトは、例えば、歩行者等の動体であってもよい。例えば、ある地点が常に歩行者で混雑している場合には、混雑した状況をオブジェクトとし、当該オブジェクトの可視領域が設定され、表示されてもよい。また、オブジェクトは、例えば桜のように視認可能な時期が限定的な地物であってもよい。この場合には、可視領域には、視認可能な時期が対応付けて設定され、オブジェクトの視認可能な時期に限って、可視領域が表示されてもよい。
【0037】
第4の変形例としては、表示処理部214は、可視領域を着色する場合において、可視地点(オブジェクトの撮影位置)の密度に応じて色を異ならせればよく、着色の具体的な方法は実施形態に限定されるものではない。例えば、第2制御部200は、リンクの長手方向における、可視地点の1次元の位置に基づいて、1次元での可視地点の密度に応じて、平均と分散を求め、
図8に示すように、可視領域をリンクの長手方向に沿ってグラデーションで着色してもよい。また、他の例としては、第2制御部200は、可視領域を複数の部分領域に分割し、各部分領域において可視地点の密度を求め、密度が大きいほどより濃い色で着色することとしてもよい。また、着色は、グレーに限定されるものではない。明度、色相及び彩度のうち少なくとも1つが、可視地点の密度に応じて異なっていればよい。
【0038】
第5の変形例としては、表示処理部214は、可視地点に対応した撮影画像におけるオブジェクトの見え方の特徴量に基づいて、可視領域内の色を異ならせてもよい。例えば、第2制御部200は、オブジェクトの画像認識における信頼度が60%以上で画像認識に成功したと判断するものとする。さらに、第2制御部200は、60%から100%までの信頼度をスコアとし、可視地点の平均と分散を求める際に、このスコアによる重み付けを行う。これにより、スコア、すなわち見え方を反映した平均と分散を得ることができる。例えば、目的のオブジェクトが他の地物の陰になって見え難い地点などは、着色が薄くなるなど、オブジェクトの見え方に合った、着色が可能となる。また、他の例としては、第2制御部200は、例えば、桜の花などのオブジェクトの画像認識に用いられる学習モデル作成において、人間の感覚で美しさや見えやすさをスコアとして設定する。これにより、画像認識において、人間の感覚に適合したスコアが得られる。平均と分散を求める際に、このスコアによる重み付けを行うことで、スコアを反映した平均と分散を得ることができる。これにより、可視領域内を、人間の感覚に沿って着色することができる。
【0039】
第6の変形例としては、撮影画像は、静止画に限定されるものではなく、動画であってもよい。この場合には、オブジェクト特定部212は、各フレームを処理対象として、画像認識によりオブジェクトの特定を行えばよい。
【0040】
以上のようなシステム及びプログラムは、単独の装置として実現される場合もあれば、複数の装置で共有の部品を利用して実現される場合もあり、各種の態様を含むものである。また、システムの一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのプログラムの記録媒体は、磁気記録媒体であってもよいし半導体メモリであってもよいし、今後開発されるいかなる記録媒体においても同様に考えることができる。
【符号の説明】
【0041】
1…可視領域表示内システム、10…車両システム、20…可視領域設定システム、30…表示装置、100…第1制御部、110…第1通信部、120…第1記録媒体、200…第2制御部、210…可視領域設定プログラム、211…撮影画像取得部、212…オブジェクト特定部、213…可視領域設定部、214…表示処理部、220…第2通信部、230…第2記録媒体、231…地図情報、232…撮影画像DB、233…オブジェクトDB、300…第3制御部、310…第3通信部、320…表示部