(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023059982
(43)【公開日】2023-04-27
(54)【発明の名称】出力装置、出力方法及びプログラム
(51)【国際特許分類】
G01C 21/26 20060101AFI20230420BHJP
G08G 1/0969 20060101ALI20230420BHJP
G09B 29/00 20060101ALI20230420BHJP
G09B 29/10 20060101ALI20230420BHJP
【FI】
G01C21/26 A
G08G1/0969
G09B29/00 Z
G09B29/10 A
【審査請求】有
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023028109
(22)【出願日】2023-02-27
(62)【分割の表示】P 2018029401の分割
【原出願日】2018-02-22
(71)【出願人】
【識別番号】000005016
【氏名又は名称】パイオニア株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(74)【代理人】
【識別番号】100127236
【弁理士】
【氏名又は名称】天城 聡
(72)【発明者】
【氏名】矢島 宏美
(72)【発明者】
【氏名】織茂 達也
(57)【要約】
【課題】地図データを収集する作業の効率を向上させることを1つの目的とする。
【解決手段】本発明は、移動体の移動中に、移動体に配置されたセンサから移動体周辺の物体を示す周辺情報を取得する取得部11と、周辺情報に基づき、取得部11による周辺情報の再取得が必要か否かを判断する判断部12と、判断部12により周辺情報の再取得が必要と判断された場合、周辺情報の再取得が必要である旨を示す情報及び移動体の移動を制御するための情報の少なくとも一方を出力する出力部13と、を備えることを特徴とする出力装置10を提供する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
移動体に配置されたセンサから前記移動体周辺の物体を示す周辺情報を取得する取得部と、
地図データに不要な物体を示す情報を含む前記周辺情報の取得に応じて、前記取得部による前記周辺情報の再取得が必要と判断する判断部と、
前記判断部により前記周辺情報の再取得が必要と判断された場合、前記周辺情報の再取得が必要である旨を示す情報及び前記移動体の移動を制御するための情報の少なくとも一方を出力する出力部と、
を備えることを特徴とする出力装置。
【請求項2】
請求項1に記載の出力装置において、
前記取得部は、前記移動体に配置された複数の前記センサ各々から前記周辺情報を取得し、
前記判断部は、一部の前記センサで測定できたが、他の前記センサで測定できなかったオクルージョン領域が存在する場合、前記取得部による再取得が必要と判断する出力装置。
【請求項3】
請求項2に記載の出力装置において、
前記判断部は、基準値以上の大きさの前記オクルージョン領域が存在する場合、前記取得部による再取得が必要と判断する出力装置。
【請求項4】
請求項1から3のいずれか1項に記載の出力装置において、
前記出力部は、再取得が必要と判断された前記周辺情報を取得した位置である再取得位置を示す情報を出力する出力装置。
【請求項5】
請求項4に記載の出力装置において、
前記出力部は、地図上に前記再取得位置がマッピングされた画像情報を出力する出力装置。
【請求項6】
請求項1から5のいずれか1項に記載の出力装置において、
前記出力部は、再取得が必要と判断された前記周辺情報を取得した時の前記移動体の走行位置を出力する出力装置。
【請求項7】
請求項1から6のいずれか1項に記載の出力装置において、
前記出力部は、再取得が必要と判断された前記周辺情報を取得した位置に対応付けて、再取得が必要と判断された前記周辺情報で示される前記不要な物体を示す情報を出力する出力装置。
【請求項8】
請求項1から7のいずれか1項に記載の出力装置において、
前記移動体に搭載される出力装置。
【請求項9】
コンピュータが、
移動体に配置されたセンサから前記移動体周辺の物体を示す周辺情報を取得する取得工程と、
地図データに不要な物体を示す情報を含む前記周辺情報の取得に応じて、前記取得工程での前記周辺情報の再取得が必要と判断する判断工程と、
前記判断工程で前記周辺情報の再取得が必要と判断された場合、前記周辺情報の再取得が必要である旨を示す情報及び前記移動体の移動を制御するための情報の少なくとも一方を出力する出力工程と、
を実行する出力方法。
【請求項10】
コンピュータを、
移動体に配置されたセンサから前記移動体周辺の物体を示す周辺情報を取得する取得手段、
地図データに不要な物体を示す情報を含む前記周辺情報の取得に応じて、前記取得手段による前記周辺情報の再取得が必要と判断する判断手段、
前記判断手段により前記周辺情報の再取得が必要と判断された場合、前記周辺情報の再取得が必要である旨を示す情報及び前記移動体の移動を制御するための情報の少なくとも一方を出力する出力手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、出力装置、出力方法及びプログラムに関する。
【背景技術】
【0002】
特許文献1に、異なる位置に配置される複数の撮像部で撮像された画像を取得する画像取得部と、複数の画像間で共通する部位についての視差情報を生成する視差情報生成部と、複数の撮像素子のうち一部の撮像素子では撮影されかつ他の撮像素子では物体に隠れて撮影不能となる背景のオクルージョン領域を検出するオクルージョン領域検出部とを備える撮像装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
地図データ生成等のために、移動体(例:自動車)にセンサ(例:カメラ、LIDAR、レーダ等)を配置し、移動しながらセンサで周辺情報を取得する作業(地図データを収集する作業)がなされている。当該作業においては、オクルージョン領域の発生等の理由でデータの再取得が必要となり、それにより作業効率が悪くなるという問題がある。本発明は、地図データを収集する作業の効率を向上させることを1つの目的とする。
【課題を解決するための手段】
【0005】
本開示に係る第1の発明は、
移動体に配置されたセンサから前記移動体周辺の物体を示す周辺情報を取得する取得部と、
地図データに不要な物体を示す情報を含む前記周辺情報の取得に応じて、前記取得部による前記周辺情報の再取得が必要と判断する判断部と、
前記判断部により前記周辺情報の再取得が必要と判断された場合、前記周辺情報の再取得が必要である旨を示す情報及び前記移動体の移動を制御するための情報の少なくとも一方を出力する出力部と、
を備えることを特徴とする出力装置である。
【0006】
本開示に係る第2の発明は、
コンピュータが、
移動体に配置されたセンサから前記移動体周辺の物体を示す周辺情報を取得する取得工程と、
地図データに不要な物体を示す情報を含む前記周辺情報の取得に応じて、前記取得工程での前記周辺情報の再取得が必要と判断する判断工程と、
前記判断工程で前記周辺情報の再取得が必要と判断された場合、前記周辺情報の再取得が必要である旨を示す情報及び前記移動体の移動を制御するための情報の少なくとも一方を出力する出力工程と、
を実行する出力方法である。
【0007】
本開示に係る第3の発明は、
コンピュータを、
移動体に配置されたセンサから前記移動体周辺の物体を示す周辺情報を取得する取得手段、
地図データに不要な物体を示す情報を含む前記周辺情報の取得に応じて、前記取得手段による前記周辺情報の再取得が必要と判断する判断手段、
前記判断手段により前記周辺情報の再取得が必要と判断された場合、前記周辺情報の再取得が必要である旨を示す情報及び前記移動体の移動を制御するための情報の少なくとも一方を出力する出力手段、
として機能させるプログラムである。
【図面の簡単な説明】
【0008】
【
図1】出力装置のハードウエア構成を例示する図である。
【
図3】出力装置により生成される情報の一例を模式的に示す図である。
【
図4】出力装置により出力される情報の一例を模式的に示す図である。
【
図5】出力装置により出力される情報の一例を模式的に示す図である。
【
図6】出力装置により出力される情報の一例を模式的に示す図である。
【
図7】出力装置により出力される情報の一例を模式的に示す図である。
【
図8】出力装置の処理の流れの一例を示すフローチャートである。
【
図9】出力装置により出力される情報の一例を模式的に示す図である。
【
図10】出力装置により出力される情報の一例を模式的に示す図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【0010】
まず、本実施形態の出力装置の概要を説明する。本実施形態の出力装置は、地図データを収集する作業、より具体的には、移動体(例:自動車)にセンサ(例:カメラ、LIDAR、レーダ等)を配置し、移動しながらセンサで周辺情報を取得する作業に利用される。
【0011】
出力装置は、移動体の移動中に、移動体に配置されたセンサから移動体周辺の物体を示す周辺情報を取得する。そして、出力装置は、取得した周辺情報に基づき、周辺情報の再取得が必要か否かを判断する。そして、出力装置は、周辺情報の再取得が必要と判断された場合、周辺情報の再取得が必要である旨を示す情報及び移動体の移動を制御するための情報の少なくとも一方を出力する。
【0012】
移動体の移動を制御するための情報の出力は、移動体が自動運転機能を有する場合になされる。移動体の移動を制御するための情報は、例えば周辺情報の再取得が必要な位置を目的地又は通過点に設定し、移動体にその位置を通過させるための情報であってもよい。
【0013】
このような本実施形態の出力装置によれば、地図データを収集する作業の作業員(以下、単に「作業員」という場合がある)は、出力装置から出力された情報に基づき、周辺情報の再取得が必要になったことを把握することができる。すなわち、作業員は、周辺情報を自分の目で確認などすることなく、周辺情報の再取得が必要になったことを把握できる。結果、地図データを収集する作業の効率が高まる。
【0014】
また、移動体の移動を制御するための情報を出力できる本実施形態の出力装置によれば、作業員による「周辺情報の再取得が必要になったことやその位置の把握」や「周辺情報の再取得が必要な位置を通過させる指示入力」等の作業なしで、周辺情報の再取得が必要な位置に移動し、周辺情報を再取得することができる。結果、地図データを収集する作業の効率が高まる。
【0015】
次に、本実施形態の出力装置の構成を詳細に説明する。出力装置は、移動体(例:自動車(自動運転機能を有してもよいし、有さなくてもよい))に当該される移動体搭載装置であってもよいし、スマートフォン、タブレット端末、携帯電話、ノートPC(personal computer)等の可搬型装置であってもよい。出力装置は、移動体に搭載されたECU(electronic control unit)と有線及び/又は無線で接続し、通信してもよい。ECUは、移動体に搭載された各種システムを制御する。
【0016】
まず、出力装置のハードウエア構成の一例を説明する。出力装置が備える機能は、任意のコンピュータのCPU(Central Processing Unit)、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット(あらかじめ装置を出荷する段階から格納されているプログラムのほか、CD(Compact Disc)等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる)、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
【0017】
図1は、出力装置のハードウエア構成を例示するブロック図である。
図1に示すように、出力装置は、プロセッサ1A、メモリ2A、入出力インターフェイス3A、周辺回路4A、バス5Aを有する。周辺回路4Aには、様々なモジュールが含まれる。なお、周辺回路4Aを有さなくてもよい。
【0018】
バス5Aは、プロセッサ1A、メモリ2A、周辺回路4A及び入出力インターフェイス3Aが相互にデータを送受信するためのデータ伝送路である。プロセッサ1Aは、例えばCPU(Central Processing Unit) やGPU(Graphics Processing Unit)などの演算処理装置である。メモリ2Aは、例えばRAM(Random Access Memory)やROM(Read Only Memory)などのメモリである。入出力インターフェイス3Aは、入力装置(例:キーボード、マウス、マイク等)、外部装置、外部サーバ、外部センサ等から情報を取得するためのインターフェイスや、情報出力装置(例:ディスプレイ、スピーカ、プリンター、メーラ等)、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。プロセッサ1Aは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
【0019】
次に、出力装置の機能構成を説明する。
図2に、本実施形態の出力装置10の機能ブロック図の一例を示す。図示するように、出力装置10は、取得部11と、判断部12と、出力部13とを有する。
【0020】
取得部11は、移動体の移動中に、移動体に配置されたセンサから移動体周辺の物体を示す周辺情報を取得する。取得部11は、移動体に配置された複数のセンサ各々から周辺情報を取得してもよい。
【0021】
センサは、例えば、カメラ、LIDAR、レーダ等が例示されるが、これらに限定されない。移動体には複数のセンサが配置されてもよいし、1つのセンサが配置されてもよい。複数のセンサが配置される場合、複数のセンサは同種のセンサであってよいし、互いに異なる種類のセンサであってもよい。
【0022】
周辺情報は、例えばセンサにより生成された画像(距離画像を含む)である。周辺情報は、測定日時及び測定位置(例:緯度、経度等)などと対応付けられる。
【0023】
判断部12は、取得部11により取得された周辺情報に基づき、取得部による周辺情報の再取得が必要か否かを判断する。
【0024】
例えば、判断部12は、周辺情報が予め定められた障害物を示している場合(画像に障害物が写っている場合)、その周辺情報を取得した位置での周辺情報の再取得が必要と判断してもよい。障害物は、地図データに不要な対象物、より具体的にはその位置から移動する可能性が高いものであり、人、車、自転車、バス等が例示されるが、これらに限定されない。
【0025】
判断部12は、予め、障害物の外観の特徴を示す特徴量を保持しておいてもよい。そして、センサにより生成された画像内に当該特徴量を示す箇所があるか否かを検索することで、周辺情報が障害物を示しているか否かを判断してもよい。
【0026】
その他、取得部11が複数のセンサ各々から周辺情報を取得した場合、判断部12は、一部のセンサで測定できたが、他のセンサで測定できなかったオクルージョン領域(一部のセンサで生成された画像には写っているが、他のセンサで生成された画像には写っていない領域)が存在する場合、その周辺情報を取得した位置での周辺情報の再取得が必要と判断してもよい。また、取得部11は、基準値以上の大きさ(画像内で占める面積)のオクルージョン領域が存在する場合、その周辺情報を取得した位置での周辺情報の再取得が必要と判断してもよい。当該オクルージョン領域を検出する手段は特段制限されず、あらゆる技術を採用できる。
【0027】
判断部12による判断結果は、例えば、
図3に示すように、再取得リストとしてまとめられる。図示する再取得リストは、通番と、再取得が必要と判断された周辺情報が取得された位置(例:緯度、経度等)と、再取得が必要と判断された周辺情報が取得された時刻と、周辺情報の再取得が必要と判断された理由とが互いに対応付けられている。理由では、周辺情報が示す障害物の種類が示されてもよいし、一部のセンサで測定できたが他のセンサで測定できなかったオクルージョン領域の存在が示されてもよい。
【0028】
出力部13は、判断部12により周辺情報の再取得が必要と判断された場合、周辺情報の再取得が必要である旨を示す情報及び移動体の移動を制御するための情報の少なくとも一方を出力する。
【0029】
移動体の移動を制御するための情報の出力は、移動体が自動運転機能を有する場合になされる。移動体の移動を制御するための情報は、例えば周辺情報の再取得が必要な位置を通過させるための情報であり、周辺情報の再取得が必要な位置を目的地や通過地点として設定させる情報であってもよい。当該情報は、例えばECUに入力される。ECUは、設定された目的地や通過地点、及び、現在位置に基づき移動経路を探索する。そして、探索した移動経路通りに移動体を移動させる。
【0030】
周辺情報の再取得が必要である旨を示す情報(以下、「再取得要求情報」という場合がある)は、ディスプレイ、スピーカ、投影装置等のあらゆる出力装置を介して出力される。
【0031】
図4に、出力部13により出力される再取得要求情報の一例を示す。図示する再取得要求情報は、再取得が必要と判断された周辺情報を取得した位置である再取得位置を示す。具体的には、地図上に、再取得位置をマッピングしている。「再」マークを付された位置が、再取得位置である。当該再取得要求情報によれば、再取得位置を直感的に把握できる。
【0032】
図5に、出力部13により出力される再取得要求情報の他の一例を示す。図示する再取得要求情報は、再取得位置に対応付けて、再取得が必要と判断された周辺情報が取得された時刻、及び、周辺情報の再取得が必要と判断された理由が示されている点で、
図4に示す再取得要求情報と異なる。
【0033】
図5に示す再取得要求情報によれば、再取得位置を直感的に把握できる。また、
図5に示す再取得要求情報によれば、再取得位置毎に、再取得が必要と判断された周辺情報が取得された時刻、及び、再取得が必要と判断された理由を把握できる。作業員は、これらの情報に基づき、障害物が存在しなくなる時刻を予測し、その時刻以降にその再取得位置に到達するように移動することができる。結果、再取得位置に到達した際に再取得の原因がまだ残っており、再取得した周辺情報が再び再取得が必要と判断される不都合を軽減できる。
【0034】
図6に、出力部13により出力される再取得要求情報の他の一例を示す。図示する再取得要求情報は、文章で、再取得が必要と判断された周辺情報が取得された位置、時刻、及び、周辺情報の再取得が必要と判断された理由を示している。
【0035】
このように、出力部13は、地図上に再取得位置がマッピングされた画像情報を出力してもよい。
【0036】
なお、出力部13は、再取得が必要と判断された周辺情報が取得された時の移動体の走行位置(例:走行レーン)を出力してもよい。例えば、
図4及び
図5に示す再取得要求情報において一つの再取得位置を指定する入力を行うと、当該情報が表示されてもよい。
【0037】
図7に、出力部13により出力される移動体の走行位置を示す情報の一例を示す。図示する情報では、再取得が必要と判断された周辺情報が取得された時の移動方向や走行レーンが示されている。なお、当該情報は、移動体に搭載されたセンサにより収集、蓄積される。
【0038】
当該情報によれば、作業員は、再取得が必要と判断された周辺情報が取得された時の移動体の走行位置を把握することができる。そして、再取得時には違う走行位置を走行することで、再取得した周辺情報が再び再取得が必要と判断される不都合を軽減できる。
【0039】
次に、
図8のフローチャートを用いて、出力装置10の処理の流れの一例を説明する。
【0040】
S10では、取得部11は、移動体の移動中に、移動体に配置されたセンサから移動体周辺の物体を示す周辺情報を取得する。
【0041】
S11では、判断部12は、周辺情報を解析し、取得部11による周辺情報の再取得が必要か否かを判断する。
【0042】
S12では、出力部13は、判断部12により周辺情報の再取得が必要と判断された場合、周辺情報の再取得が必要である旨を示す情報及び移動体の移動を制御するための情報の少なくとも一方を出力する。
【0043】
なお、取得部11は、センサで生成された周辺情報を、リアルタイム処理で取得することが好ましい。取得部11は、一定時間ごとにまとめて周辺情報を取得してもよいが(バッチ処理)、一定時間を比較的小さい値とすることで、リアルタイム処理に準じた処理とすることが好ましい。
【0044】
そして、判断部12は、リアルタイム処理で、取得部11により取得された周辺情報を処理する、判断部12は、一定時間ごとにまとめて周辺情報を処理してもよいが(バッチ処理)、一定時間を比較的小さい値とすることで、リアルタイム処理に準じた処理とすることが好ましい。
【0045】
そして、出力部13は、新たに判断部12により再取得が必要と判断されると、それに応じて、
図6に示すような情報を出力してもよい。また、
図4及び
図5に示すような情報を表示している場合には、新たに判断部12により再取得が必要と判断されると、それに応じて、表示する情報を、当該地図上に新たな再取得位置をマッピングした情報に更新してもよい。
【0046】
ここで、変形例を説明する。出力装置10は、再取得された周辺情報に対しても、同様の処理を行ってもよい。すなわち、取得部11は、再取得された周辺情報を取得し、判断部12は、再取得された周辺情報に基づき、取得部11による周辺情報の再取得が必要か否かを判断してもよい。
【0047】
そして、この判断部12による判断結果に基づき、
図3に示す再取得リストが更新されてもよい。例えば、判断部12は、再取得リストで示される位置と同じ位置で再取得された周辺情報に対して、再取得必要と判断しなかった場合、その位置に対応する情報(通番、位置、時刻、理由等)を再取得リストから削除してもよい。これにより、出力部13から出力される情報(
図4、5等)も更新される。
【0048】
また、出力部13は、再取得リストで示される位置と同じ位置で再取得された周辺情報に対して、再取得必要と判断しなかった場合、その旨を示す情報を出力してもよい。
【0049】
例えば、
図9に示すように、再取得された周辺情報に対して再取得必要と判断されなかった再取得位置に対応付けて、その旨を示す情報を表示してもよい。図示する例の場合、「解消」の文字を付された再取得位置が、再取得された周辺情報に対して再取得必要と判断されなかった再取得位置である。その他、
図10に示すように、文章でその旨を示してもよい。また、「解消」の文字に代えて、解消を示すアイコン等の図を表示してもよい。
【0050】
他の変形例を説明する。ここまでは、出力装置10が、移動体に当該される移動体搭載装置や、移動体に持ち込める可搬型装置であることを前提にしたが、出力装置10は移動体に搭載されないサーバであってもよい。この場合、出力装置10(サーバ)は、移動体に搭載されたシステム(移動体搭載システム)と通信可能に構成され、移動体搭載システムから移動体に配置されたセンサで収集された周辺情報を取得する。そして、出力装置10(サーバ)は、このようにして取得した周辺情報に基づき、周辺情報の再取得が必要か否かを判断し、周辺情報の再取得が必要と判断された場合には、周辺情報の再取得が必要である旨を示す情報及び移動体の移動を制御するための情報の少なくとも一方を、移動体搭載システムや移動体に持ち込まれた可搬型装置に向けて送信する。当該変形例においても、同様の作用効果を実現できる。
【0051】
以上説明した本実施形態の出力装置10によれば、地図データを収集する作業の作業員は、出力装置10から出力された情報に基づき、周辺情報の再取得が必要になったことを把握することができる。すなわち、作業員は、周辺情報を自分の目で確認などすることなく、周辺情報の再取得が必要になったことを把握できる。結果、地図データを収集する作業の効率が高まる。
【0052】
また、移動体に搭載される装置、又は、移動体の中に持ち込める可搬型装置とすることができる本実施形態の出力装置10によれば、周辺情報の再取得が必要になったこと示す情報を、移動体に乗車中の作業員に閲覧させることができる。この場合、作業員は、移動体に乗車中に、周辺情報の再取得が必要になったことを把握できる。そして、作業員は、その乗車の流れで、周辺情報の再取得が必要になった位置への移動及び周辺情報の再取得を行うことができる。結果、地図データを収集する作業の効率が高まる。
【0053】
また、変形例で示すように、出力装置10が移動体に搭載されないサーバである場合においても、出力装置10は移動体搭載システムや移動体に持ち込まれた可搬型装置と通信し、上記同様に、周辺情報の再取得が必要になったこと示す情報を、移動体に乗車中の作業員に閲覧させることができる。結果、同様の作用効果が実現される。
【0054】
また、移動体の移動を制御するための情報を出力できる本実施形態の出力装置10によれば、作業員による「周辺情報の再取得が必要になったことやその位置の把握」や「周辺情報の再取得が必要な位置を通過させる指示入力」等の作業なしで、周辺情報の再取得が必要な位置に移動し、周辺情報を再取得することができる。結果、地図データを収集する作業の効率が高まる。
【0055】
以上、図面を参照して実施形態及び実施例について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【符号の説明】
【0056】
1A プロセッサ
2A メモリ
3A 入出力I/F
4A 周辺回路
5A バス
10 出力装置
11 取得部
12 判断部
13 出力部