(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023162002
(43)【公開日】2023-11-08
(54)【発明の名称】電子機器、方法及びプログラム
(51)【国際特許分類】
G01C 21/28 20060101AFI20231031BHJP
G06V 20/56 20220101ALI20231031BHJP
G06T 7/00 20170101ALI20231031BHJP
【FI】
G01C21/28
G06V20/56
G06T7/00 650A
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022072701
(22)【出願日】2022-04-26
(71)【出願人】
【識別番号】000006633
【氏名又は名称】京セラ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】三國 承孝
(72)【発明者】
【氏名】新 浩治
【テーマコード(参考)】
2F129
5L096
【Fターム(参考)】
2F129AA03
2F129AA11
2F129AA14
2F129BB03
2F129BB22
2F129BB56
2F129BB66
2F129FF02
2F129FF14
2F129GG17
2F129HH22
5L096AA02
5L096AA06
5L096BA04
5L096CA04
5L096DA02
5L096FA15
5L096FA67
5L096FA69
5L096HA11
5L096JA11
(57)【要約】
【課題】移動体の経路における位置ずれの判定を簡単化する。
【解決手段】例えば、電子機器100は、移動体に搭載された撮像部110により撮像された画像が示す信号機の出現位置に関する第1出現位置情報を取得する位置算出部154と、所定の経路上において移動体が信号機を撮像する位置である基準撮像位置の情報を記憶する記憶部140と、第1出現位置情報と基準撮像位置において撮像される画像における信号機の位置である第2出現位置情報とに基づいて、移動体の所定の経路に対するずれ状態を判定する判定部155と、を備える。
【選択図】
図2
【特許請求の範囲】
【請求項1】
移動体に搭載された撮像部により撮像された画像が示す信号機の出現位置に関する第1出現位置情報を取得する位置算出部と、
所定の経路上において前記移動体が前記信号機を撮像する位置である基準撮像位置の情報を記憶する記憶部と、
前記第1出現位置情報と前記基準撮像位置において撮像される画像における前記信号機の位置である第2出現位置情報とに基づいて、前記移動体の前記所定の経路に対するずれ状態を判定する判定部と、
を備える電子機器。
【請求項2】
請求項1に記載の電子機器において、
前記画像から前記信号機の点灯状態を検出する検出部をさらに備え、
前記記憶部は、前記移動体の基準となる前記信号機の基準点灯状態の情報を有し、
前記判定部は、検出された前記信号機の前記点灯状態と前記基準点灯状態とを比較して前記移動体の遅延状態を判定する
電子機器。
【請求項3】
請求項2に記載の電子機器において、
前記移動体は、周期ルートを走行する移動体であり、
前記移動体の基準となる前記基準撮像位置及び前記基準点灯状態は、前記周期ルートにおける前記信号機で設定された値である
電子機器。
【請求項4】
請求項3に記載の電子機器において、
算出された前記ずれ状態及び前記遅延状態の少なくとも一方に基づいて前記移動体の動作を支援する処理を実行する動作支援部をさらに備える
電子機器。
【請求項5】
請求項4に記載の電子機器において、
前記移動体のセンサ情報に基づいて前記移動体の自己位置情報を取得する取得部をさらに備え、
前記位置算出部は、前記画像における前記信号機の前記出現位置と前記自己位置情報に基づいて、前記移動体が走行する走行レーンで画像における前記信号機の出現位置の変化を識別可能な第3出現位置情報を算出する
電子機器。
【請求項6】
請求項5に記載の電子機器において、
前記判定部が判定した前記移動体の経路の前記ずれ状態及び前記遅延状態の少なくとも一方に基づいて、前記移動体の走行結果を評価する評価部をさらに備える
電子機器。
【請求項7】
コンピュータが、
移動体に搭載された撮像部により撮像された画像が示す信号機の出現位置に関する第1出現位置情報を取得することと、
所定の経路上において前記移動体が前記信号機を撮像する位置である基準撮像位置の情報を記憶部に記憶することと、
前記第1出現位置情報と前記基準撮像位置において撮像される画像における前記信号機の位置である第2出現位置情報とに基づいて、前記移動体の前記所定の経路に対するずれ状態を判定することと、
を含む方法。
【請求項8】
コンピュータに、
移動体に搭載された撮像部により撮像された画像が示す信号機の出現位置に関する第1出現位置情報を取得することと、
所定の経路上において前記移動体が前記信号機を撮像する位置である基準撮像位置の情報を記憶部に記憶することと、
前記第1出現位置情報と前記基準撮像位置において撮像される画像における前記信号機の位置である第2出現位置情報とに基づいて前記移動体の前記所定の経路に対するずれ状態を判定することと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、電子機器、方法及びプログラムに関する。
【背景技術】
【0002】
従来、移動体に搭載される車載器では、移動体の位置を特定する技術が用いられている。特許文献1には、移動体に搭載されたカメラの撮像画像に基づいて検出した道路上の対象物を移動体の移動に応じて検出し、対象物の間隔と地図上の対象物との間隔とに基づいて移動体の位置を判定することが開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来技術では、信号機の存在した間隔から移動体の現在位置を判定するには、異なる複数の間隔を検出しなければならない。このため、移動体の現在位置を判定する従来技術では、移動体の経路における位置ずれの判定を簡単化したいとのニーズがある。
【課題を解決するための手段】
【0005】
態様の1つに係る電子機器は、移動体に搭載された撮像部により撮像された画像が示す信号機の出現位置に関する第1出現位置情報を取得する位置算出部と、所定の経路上において前記移動体が前記信号機を撮像する位置である基準撮像位置の情報を記憶する記憶部と、前記第1出現位置情報と前記基準撮像位置において撮像される画像における前記信号機の位置である第2出現位置情報とに基づいて、前記移動体の前記所定の経路に対するずれ状態を判定する判定部と、を備える。
【0006】
態様の1つに係る方法は、コンピュータが、移動体に搭載された撮像部により撮像された画像が示す信号機の出現位置に関する第1出現位置情報を取得することと、所定の経路上において前記移動体が前記信号機を撮像する位置である基準撮像位置の情報を記憶部に記憶することと、前記第1出現位置情報と前記基準撮像位置において撮像される画像における前記信号機の位置である第2出現位置情報とに基づいて、前記移動体の前記所定の経路に対するずれ状態を判定することと、を含む。
【0007】
態様の1つに係るプログラムは、コンピュータに、移動体に搭載された撮像部により撮像された画像が示す信号機の出現位置に関する第1出現位置情報を取得することと、所定の経路上において前記移動体が前記信号機を撮像する位置である基準撮像位置の情報を記憶部に記憶することと、前記第1出現位置情報と前記基準撮像位置において撮像される画像における前記信号機の位置である第2出現位置情報とに基づいて前記移動体の前記所定の経路に対するずれ状態を判定することと、を実行させる。
【図面の簡単な説明】
【0008】
【
図1】
図1は、実施形態に係る電子機器の概要を説明するための図である。
【
図2】
図2は、
図1に示す電子機器の構成の一例を示す図である。
【
図3】
図3は、信号機の出現位置の変化情報の一例を説明するための図である。
【
図4】
図4は、
図3に示す変化情報と基準情報とに基づくずれ状態の一例を説明するための図である。
【
図5】
図5は、
図3に示す変化情報と基準情報とに基づく遅延の一例を説明するための図である。
【
図6】
図6は、実施形態に係る電子機器の制御部が実行する処理手順の一例を示すフローチャートである。
【
図7】
図7は、実施形態に係る電子機器の巡行環境の一例を説明するための図である。
【
図8】
図8は、実施形態に係る電子機器の動作の一例を説明するための図である。
【
図9】
図9は、実施形態に係る電子機器の評価の一例を説明するための図である。
【
図10】
図10は、実施形態の変形例に係る電子機器のシステム構成の一例を示す図である。
【発明を実施するための形態】
【0009】
本出願に係る電子機器、方法、プログラム等を実施するための複数の実施形態を、図面を参照しつつ詳細に説明する。なお、以下の説明により本出願が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下の説明において、同様の構成要素について同一の符号を付すことがある。さらに、重複する説明は省略することがある。
【0010】
図1は、実施形態に係る電子機器の概要を説明するための図である。
図1に示すように、電子機器100は、移動体1000に搭載されている。電子機器100は、移動体1000に搭載された車載器を含む。移動体1000は、例えば、自動走行、運転者による手動走行等で移動可能な車両を含む。車両は、例えば、バス、トラック、乗用車等を含む。本実施形態では、移動体1000は、巡行経路1000Rを自動で走行する車両である場合について説明するが、これに限定されない。巡行経路1000Rは、定められた時間に定められた経路を巡回する周期ルートの一例であり、所定の経路の一例である。移動体1000は、飛行機、船、バイク、ドローンなどを含むとしてもよい。
【0011】
図1に示す一例では、移動体1000は、巡行経路1000Rの走行レーン2000を走行している。走行レーン2000は、進行方向2000Dで、1又は複数の車線2100を有する。移動体1000は、自動巡行車両であり、同じ巡行経路を繰り返し走行している。走行レーン2000には、交差点、横断歩道等の近傍に信号機3000が設置されている。このため、巡行経路1000Rでは、進行方向Dで移動体1000の前方に信号機3000が存在する場所を移動体1000が移動する。本実施形態では、電子機器100は、移動体1000の前景を撮像した画像データが示す信号機3000に基づいて、移動体1000の現在位置の判定を簡単化する技術を提供する。
【0012】
図2は、
図1に示す電子機器100の構成の一例を示す図である。
図2に示すように、電子機器100は、撮像部110と、センサ部120と、通信部130と、記憶部140と、制御部150と、を備える。制御部150は、撮像部110、センサ部120、通信部130、記憶部140等と電気的に接続されている。
【0013】
なお、本実施形態では、電子機器100が撮像部110、センサ部120、通信部130、記憶部140及び制御部150を備える構成について説明するがこれに限定されない。例えば、電子機器100は、通信部130、記憶部140及び制御部150を備え、機器外部の撮像装置、センサ等から情報を取得する構成としてもよい。
【0014】
撮像部110は、移動体1000の前景を撮像可能に、移動体1000のウインドシールドの近傍、屋根等に設けられる。撮像部110は、例えば、CCD(Charge Coupled Device Image Sensor)、CMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを用いて電子的に画像データを撮像できる。撮像部110の撮像方向は、移動体1000の進行方向2000Dで信号機3000を撮像可能な方向を含む。撮像部110は、移動体1000の前景を所定のフレームレートでリアルタイムに撮像し、撮像した画像データを制御部150に供給できる。
【0015】
センサ部120は、移動体1000の状態を識別可能なセンサ情報を検出する。センサ部120は、例えば、位置センサ、ジャイロセンサ等のセンサを用いることができる。位置センサとしては、GPS(Global Positioning System)受信機等の絶対座標の位置を取得するセンサ等が例示される。センサ部120は、移動体1000の位置(電子機器100の位置)、角速度等を含むセンサ情報を制御部150に供給できる。これにより、制御部150は、センサ情報に基づいて、移動体1000の自己位置情報を取得できる。
【0016】
通信部130は、例えば、他の通信機器等と通信できる。通信部130は、各種通信規格をサポートできる。通信部130は、例えば、有線又は無線ネットワーク等を介して各種データを送受信できる。通信部130は、受信したデータを制御部150に供給できる。通信部130は、制御部150が指示した送信先にデータを送信できる。通信部130は、CAN(Controller Area Network)通信をサポートできる。移動体1000が車載センサを用いて自己位置を推定する機能を有する場合、通信部130は、移動体1000から自己位置情報を受信して制御部150に供給できる。車載センサは、例えば、GPS、IMU(Intertial Measurement Unit)等を含む。自己位置情報は、電子機器100の管理対象とする移動体1000の自己位置、移動方向等を識別可能な情報を含む。
【0017】
記憶部140は、プログラム及びデータを記憶できる。記憶部140は、制御部150の処理結果を一時的に記憶する作業領域としても利用される。記憶部140は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的(non-transitory)な記憶媒体を含んでよい。記憶部140は、複数の種類の記憶媒体を含んでよい。記憶部140は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部140は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
【0018】
記憶部140は、例えば、プログラム141、巡行データ142、変化情報143、出現位置情報144、支援情報145、評価情報146、画像データD10等の各種データを記憶できる。プログラム141は、電子機器100の各種動作に関する処理を実現するための機能を制御部150に実行させるプログラムである。巡行データ142は、移動体1000の巡行経路1000R(周期ルート)、巡行予定、巡行経路1000Rにおける信号機3000の位置等に関するデータを含む。巡行データ142は、通信部130を介して、データベース、サーバ等から取得したデータである。本実施形態では、巡行データ142は、巡行経路情報D21と、1又は複数の基準情報D22とを有する。巡行経路情報D21は、移動体1000の巡行経路に関する情報を有する。基準情報D22は、巡行経路1000Rにおける信号機3000に関連付けて設けられ、信号機3000の画像上での基準となる出現位置、信号機3000における移動体1000の位置及び車線と、通過時間における信号機3000の状態とを識別可能な情報を有する。基準情報D22は、巡行経路1000R上において、移動体1000が信号機3000を撮像する位置である基準撮像位置の情報を含む。
【0019】
記憶部140は、例えば、機械学習データを記憶してもよい。ここで、機械学習データは、機械学習によって生成されるデータとしてよい。機械学習データは、機械学習によって生成されるパラメータを含むとしてよい。また、機械学習とは、特定のタスクをトレーニングによって実行可能になるAI(Artificial Intelligence)の技術に基づくものとしてよい。より具体的には、機械学習とは、コンピュータのような情報処理装置が多くのデータを学習し、分類及び/又は予測などのタスクを遂行するアルゴリズム又はモデルを自動的に構築する技術としてよい。本明細書において、AIの一部には、機械学習が含まれるとしてもよい。本明細書において、機械学習には、正解データをもとに入力データの特徴又はルールを学習する教師あり学習が含まれるものとしてよい。また、機械学習には、正解データがない状態で入力データの特徴又はルールを学習する教師なし学習が含まれるものとしてもよい。さらに、機械学習には、報酬又は罰などを与えて入力データの特徴又はルールを学習する強化学習などが含まれるものとしてもよい。また、本明細書において、機械学習は、教師あり学習、教師なし学習、及び強化学習を任意に組み合わせたものとしてもよい。
【0020】
本実施形態の機械学習データの概念は、入力データに対して学習されたアルゴリズムを用いて所定の推論(推定)結果を出力するアルゴリズムを含むとしてもよい。本実施形態は、このアルゴリズムとして、例えば、従属変数と独立変数との関係を予測する線形回帰、人の脳神経系ニューロンを数理モデル化したニューラルネットワーク(NN)、誤差を二乗して算出する最小二乗法、問題解決を木構造にする決定木、及びデータを所定の方法で変形する正則化などその他適宜なアルゴリズムを用いることができる。本実施形態は、ニューラルネットワークの一種であるディープニューラルネットワークラーニングを利用するとしてよい。ディープニューラルネットワークラーニングは、ニューラルネットワークの一種であり、一般にネットワークの階層が中間層が1層以上の深い構造のものを意味するニューラルネットワークがディープラーニングと呼ばれている。ディープラーニングは、AIを構成するアルゴリズムとして多用されている。
【0021】
変化情報143は、画像データD10が示す同一の信号機3000の出現位置の変化を識別可能な情報である。変化情報143は、例えば、画像における信号機3000の出現位置、位置の変化を示す方向ベクトル、軌跡等を含む。出現位置情報144は、移動体1000が走行する走行レーン2000で画像における信号機3000の出現位置の変化を識別可能な情報、信号機3000を撮像した移動体1000の位置を識別可能な情報等を含む。支援情報145は、移動体1000の経路のずれ状態、遅延状態等に基づく運行を支援可能な情報を含む。評価情報146は、移動体1000の経路のずれ状態、遅延状態等に基づく走行の評価結果を識別可能な情報を含む。画像データD10は、撮像部110が撮像した画像を識別可能なデータである。記憶部140は、複数の画像データD10を時系列の順に記憶できる。
【0022】
制御部150は、演算処理装置である。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System-on-a-Chip)、MCU(Micro Control Unit)、FPGA(Field-Programmable Gate Array)、及びコプロセッサを含むが、これらに限定されない。制御部150は、電子機器100の動作を統括的に制御して各種の機能を実現できる。
【0023】
具体的には、制御部150は、記憶部140に記憶されている情報を必要に応じて参照しつつ、記憶部140に記憶されているプログラム141に含まれる命令を実行できる。そして、制御部150は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現できる。機能部は、例えば、センサ部120及び通信部130を含むが、これらに限定されない。
【0024】
制御部150は、画像認識部151、取得部152、推定部153、位置算出部154、判定部155、検出部156、動作支援部157、評価部158等の機能部を有する。制御部150は、プログラム141を実行することによって、画像認識部151、取得部152、推定部153、位置算出部154、判定部155、検出部156、動作支援部157、評価部158等の機能部を実現する。プログラム141は、電子機器100の制御部150を、画像認識部151、取得部152、推定部153、位置算出部154、判定部155、検出部156、動作支援部157及び評価部158として機能させるためのプログラムである。
【0025】
画像認識部151は、撮像部110が撮像した画像データD10が示す移動体1000の前景の画像から、信号機3000を認識する。画像認識部151は、例えば、信号機3000を学習済みの学習モデル、画像認識プログラム等を用いて、画像における信号機3000の有無、信号機3000の状態等を認識する機能を有する。信号機3000の状態は、例えば、信号機3000の点灯の有無、点灯している信号の色等を含む。画像認識部151は、撮像部110から画像データD10が供給されるごとに、画像認識を実行する。例えば、移動体1000から前景を撮像する場合、信号機3000は、画像の上半分の領域に撮像される可能性が高い。このため、画像認識部151は、画像データD10が示す画像で信号機3000が撮像される可能性がある領域に対して信号機3000の認識処理を行う構成としてもよいし、画像の全ての領域に対して信号機3000の認識処理を行う構成としてもよい。画像認識部151は、画像データD10の認識結果を記憶部140に記憶する。認識結果は、例えば、画像が信号機3000を示しているか否か、示している場合に信号機3000の状態等を含む。
【0026】
取得部152は、センサ部120が制御部150に供給したセンサ情報に基づいて、移動体1000の自己位置情報を取得する。取得部152は、取得した自己位置情報に基づいて、移動体1000の現在位置を認識する。取得部152は、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いた高精度なマップを用いて自己位置を取得してもよい。取得部152は、移動体1000から速度パルス信号、角速度信号、加速度信号等を取得して自律航法位置を推定する機能を有する。取得部152は、自己位置情報が示す衛星による位置と自律航法位置とに基づく自己位置情報を取得できる。自己位置情報は、道路リンクや交差点名は特定できるが、走行する車線2100の位置の精度は不確かな情報である。
【0027】
推定部153は、撮像部110が同一の信号機3000を異なるタイミングで撮像した複数の画像データD10に基づいて、画像における信号機3000の出現位置の変化情報143を推定する。推定部153は、同一の信号機3000を異なるタイミングで撮像した複数の画像データD10に基づいて、画像における信号機3000の出現位置の変化を示す変化情報143を推定する。推定部153は、推定した変化情報143を位置算出部154に提供できる。
【0028】
位置算出部154は、移動体1000に搭載された撮像部110により撮像された画像データD10の画像D11が示す信号機3000の出現位置に関する出現位置情報144(第1出現位置情報)を取得する。位置算出部154は、移動体1000に搭載された撮像部110により撮像された複数の画像データD10が示す信号機3000の出現位置に基づいて、移動体1000が走行する走行レーン2000で画像D11における信号機3000の変化を識別可能な出現位置情報144を算出する。位置算出部154は、画像データD10が示す画像において、画像認識部151が認識した信号機3000の出現位置を算出し、変化情報143が示す連続する信号機3000の出現位置との変化を識別可能な出現位置情報144を算出する。位置算出部154は、画像D11における信号機3000の出現位置情報144に自己位置情報を関連付けることで、出現位置情報144が示す座標と自己位置情報が示す座標を関連付けることができる。出現位置情報144が示す座標と自己位置情報が示す座標を関連付けた情報とを、出現位置情報144としてもよい。例えば、移動体1000で推定された自己位置は、走行レーン2000を特定できても、その車線2100の位置が不確かな情報である。このため、位置算出部154は、自己位置と信号機3000の出現位置の変化とを参照することで、自己位置では不確かな車線2100の位置の算出を可能にしている。位置算出部154は、例えば、機械学習済みプログラム、ルックアップテーブル、算出プログラム等を用いて、信号機3000の出現位置の変化情報143とその位置における走行レーン2000を示す基準情報D22に対応した移動体1000の走行レーン2000における位置を算出する。
【0029】
判定部155は、第1出現位置情報と基準撮像位置において撮像される画像D11における信号機3000の位置である第2出現位置情報とに基づいて、移動体1000の巡行経路1000Rに対するずれ状態を判定する。判定部155は、位置算出部154によって算出された出現位置情報144と記憶部140に記憶された移動体1000の基準情報D22とを比較して移動体1000の巡行経路1000R(経路)のずれ状態を判定する。判定部155は、信号機3000の近傍における移動体1000の位置と巡行経路1000Rが示す基準位置とのずれ状態を判定する。ずれ状態の判定例については、後述する。判定部155は、巡行経路1000Rのずれ状態を、信号機3000の基準情報D22に関連付けて記憶部140に記憶する。これにより、判定部155は、信号機3000に対応した判定結果を記憶部140に蓄積することができる。
【0030】
検出部156は、画像データD10から信号機3000の点灯状態を検出する。この信号機3000の点灯状態は、信号機の点灯タイミングを含む。検出部156は、画像認識部151が認識した信号機3000の状態に基づいて、信号機3000の点灯タイミングを検出する。検出部156は、例えば、信号機3000が点灯している信号の色、所定の信号の点灯又は無灯等の状態を点灯タイミングとして検出できる。例えば、移動体1000が巡行経路1000Rを予定時間通りに移動する場合、信号機3000を通過する時間における信号機3000の状態も同じである可能性が高い。このため、検出部156は、画像データD10から信号機3000の点灯タイミングを検出することで、検出結果を移動体1000の遅延判定に提供できる。
【0031】
判定部155は、検出部156によって検出された信号機3000の点灯タイミングと記憶部140に記憶された基準情報D22の基準点灯タイミングとを比較して移動体1000の遅延状態を判定する。移動体1000の遅延状態は、例えば、巡行経路1000Rにおける信号機3000の点滅するタイミングに対して、移動体1000の移動を現状維持、移動を早くする、移動を遅くする等の状態を含む。判定部155は、移動体1000の遅延状態を、信号機3000の基準情報D22に関連付けて記憶部140に記憶する。
【0032】
動作支援部157は、判定部155によって判定された巡行経路1000Rのずれ状態及び遅延状態の少なくとも一方に基づいて、移動体1000の動作を支援する処理を実行する。移動体1000の動作を支援する処理は、例えば、巡行経路1000Rのずれ状態を、移動体1000、移動体1000を管理する管理装置等に通知するための処理、ずれ状態に基づく巡行経路1000Rの変更を指示する処理、遅延状態を解消するための処理等を含む。
【0033】
評価部158は、判定部155が判定した移動体1000の巡行経路1000Rのずれ状態及び遅延状態の少なくとも一方に基づいて、移動体1000の走行軌跡、巡行結果等の走行結果を評価する。評価部158は、巡行経路1000Rにおける1又は複数の信号機3000におけるずれ状態に基づいて移動体1000の走行軌跡、巡行時間等を評価し、評価結果を示す評価情報146を記憶部140に記憶する。評価情報146は、例えば、巡行経路1000Rと実際に走行した走行経路との一致度、複数の信号機3000の遅延状態等の情報を含む。評価情報146は、自動運転の場合、移動体1000の巡行の見直しや変更等に利用可能な情報である。評価情報146は、手動運転の場合、移動体1000の運転者の指導、評価等に利用可能な情報である。評価部158は、通信部130を介して、評価情報146を移動体1000、外部の管理装置やサーバ等に提供できる。評価部158は、走行軌跡の評価結果を走行軌跡の改善を役立てることができる。例えば、評価部158は、移動体1000が手動運転の場合、走行軌跡の評価結果を、運転者の教育に用いるように評価ランクや点数で出力する。例えば、評価部158は、移動体1000が自動運転の場合、走行軌跡の評価結果を、自動走行アルゴリズムの改善に適用可能な情報として出力する。
【0034】
以上、本実施形態に係る電子機器100の機能構成例について説明した。なお、
図2を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る電子機器100の機能構成は係る例に限定されない。本実施形態に係る電子機器100の機能構成は、仕様や運用に応じて柔軟に変形可能である。
【0035】
(ずれ状態及び遅延状態の判定例)
図3は、信号機3000の出現位置の変化情報143の一例を説明するための図である。
図4は、
図3に示す変化情報143と基準情報D22とに基づくずれ状態の一例を説明するための図である。
図5は、
図3に示す変化情報143と基準情報D22とに基づく遅延の一例を説明するための図である。
【0036】
図3に示すように、電子機器100は、時間T1において、撮像部110が撮像した画像データD10を取得すると、画像データD10が示す画像D11における信号機3000の出現位置P11及び出現位置P21を認識する。出現位置P11は、移動体1000が移動している走行レーン2000で移動体1000の近傍に存在する信号機3000の位置である。出現位置P21は、移動体1000の前方の遠方に存在する信号機3000の位置である。電子機器100は、認識した出現位置P11及び出現位置P21を、時間T1の画像データD10に関連付けて記憶部140の変化情報143に記憶する。
【0037】
その後、電子機器100は、時間T2において、時間T1の位置よりも前方の位置に移動している。電子機器100は、撮像部110が撮像した画像データD10を取得すると、画像データD10が示す画像D11における信号機3000の出現位置P12及び出現位置P22を認識する。出現位置P21は、移動体1000が移動している走行レーン2000で移動体1000の近傍に存在する信号機3000の位置である。出現位置P22は、移動体1000の前方の遠方に存在する信号機3000の位置である。
【0038】
電子機器100は、変化情報143が示す時間T1の出現位置P11から時間T2の出現位置P12に向かうベクトルを含む出現位置情報144を算出する。電子機器100は、時間T1の出現位置P21から時間T2の出現位置P22に向かうベクトルを含む出現位置情報144を算出する。
図3に示す一例では、出現位置P21及び出現位置P22が、移動体1000から遠方の位置であるため、電子機器100は、出現位置P22の出現位置情報144を算出しない。
【0039】
電子機器100は、画像データD10が示す信号機3000を巡行データ142から特定し、信号機3000に対応した基準情報D22を記憶部140から抽出する。電子機器100は、移動体1000の自己位置に近い信号機3000を巡行データ142から特定してもよいし、信号機3000を通過する順番に基づいて巡行データ142から特定してもよい。
【0040】
電子機器100は、
図4に示すように、画像データD10に対応するマップを示す画像D12において、算出した出現位置情報144が示すベクトル144Vと、基準情報D22が示す基準ベクトルD22Aまたは基準ベクトルD22Bとを比較してずれ状態Gを判定する。例えば、基準情報D22が基準ベクトルD22Aを示している場合、ベクトル144Vがベクトルに重なると、電子機器100は、基準ベクトルD22Aとベクトル144Vとがずれていないと判定する。
【0041】
例えば、基準情報D22が基準ベクトルD22Aを示している場合、ベクトル144Vがベクトルに対して右側にずれていると、電子機器100は、基準ベクトルD22Aとベクトル144Vとのずれ状態Gを判定する。この場合、移動体1000は、巡行経路1000Rから右に寄り気味であることを示している。例えば、基準情報D22が基準ベクトルD22Bを示している場合、ベクトル144Vがベクトルに対して左側にずれている場合、電子機器100は、基準ベクトルD22Bとベクトル144Vとのずれ状態Gを判定する。この場合、移動体1000は、巡行経路1000Rから左に寄り気味であることを示している。これにより、電子機器100は、移動体1000が走行している走行レーン2000におけるずれ状態Gを判定することで、走行レーン2000における車線2100の走行位置のずれ、車線等の特定に貢献できる。
【0042】
なお、
図4に示す一例では、ずれ状態Gは、時刻T2における出現位置P12における状態を判定しているが、これに限定されない。ずれ状態Gは、例えば、ベクトル同士の間隔が最大または最小となる箇所の状態を判定してもよいし、状態の平均として判定してもよい。また、電子機器100は、ずれ状態Gの大きさをずれ量として算出し、判定結果に関連付けることができる。
【0043】
また、基準情報D22は、
図5に示すように、信号機3000の点滅が出現する基準点灯タイミングと信号機3000の出現位置との関係を、画像D12のマップ上に変換した判定領域D22C、判定領域D22D及び判定領域D22Eを示す情報を有する。信号機3000の点滅は、他の交通に注意して走行することが可能なタイミングである。判定領域D22Cは、移動体1000がそのまま走行することで、信号機3000が切り替わる前に通過可能な領域である。判定領域D22Dは、移動体1000が急いで走行することで、信号機3000が切り替わる前に通過可能な領域である。判定領域D22Eは、信号機3000が切り替わるので、移動体1000を減速して信号機3000の次の点灯を待つ領域である。
【0044】
電子機器100は、推定した出現位置情報144が示すベクトル144Vと、基準情報D22が示す判定領域D22C、判定領域D22D及び判定領域D22Eとを基づいて遅延状態を判定する。例えば、画像データD10が示す画像D12における信号機3000の出現位置P12である場合、電子機器100は、出現位置P12が判定領域D22Cに位置するので、移動体1000の移動を現状維持とすることを示す遅延状態と判定する。例えば、画像データD10が示す画像D11における信号機3000の出現位置P13である場合、電子機器100は、出現位置P13が判定領域D22Dに位置するので、移動体1000の移動を早くすることを示す遅延状態と判定する。例えば、画像データD10が示す画像D11における信号機3000の出現位置P14である場合、電子機器100は、出現位置P14が判定領域D22Eに位置するので、移動体1000の移動を遅くすることを示す遅延状態と判定する。このように、電子機器100は、信号機3000の点滅タイミングに対する遅延状態を判定することで、移動体1000の巡行状態の補正を支援することができる。
【0045】
図6は、実施形態に係る電子機器100の制御部150が実行する処理手順の一例を示すフローチャートである。
図6に示す処理手順は、制御部150がプログラム141を実行することによって実現される。
図6に示す処理手順は、移動体1000が巡行している場合、制御部150によって繰り返し実行される。
【0046】
図6に示すように、電子機器100の制御部150は、撮像部110から取得した画像データD10から信号機3000を認識する(ステップS100)。例えば、制御部150は、取得した画像データD10が示す画像D11における信号機3000を認識する認識処理を実行し、認識結果を記憶部140に記憶する。制御部150は、ステップS100の処理が終了すると、処理をステップS101に進める。
【0047】
制御部150は、画像D11から信号機3000を認識したか否かを判定する(ステップS101)。例えば、制御部150は、ステップS100の認識結果が認識したことを示している場合、画像D11から信号機3000を認識したと判定する。制御部150は、画像D11から信号機3000を認識していないと判定した場合(ステップS101でNo)、
図6に示す処理手順を終了させる。また、制御部150は、画像D11から信号機3000を認識したと判定した場合(ステップS101でYes)、処理をステップS102に進める。
【0048】
制御部150は、信号機3000を認識済みであるか否かを判定する(ステップS102)。例えば、制御部150は、前回の処理手順で信号機3000を認識している場合、信号機3000に関連付けられた変化情報143が存在する場合等に、信号機3000を認識済みであると判定する。制御部150は、信号機3000を認識済みではない、すなわち、信号機3000の最初の認識と判定した場合(ステップS102でNo)、処理をステップS103に進める。
【0049】
制御部150は、画像D11における信号機3000の出現位置を示す変化情報143を記憶部140に記憶する(ステップS103)。例えば、制御部150は、信号機3000の前回の出現位置と認識時間とを含む変化情報143を記憶部140に記憶する。制御部150は、ステップS103の処理が終了すると、
図6に示す処理手順を終了させる。
【0050】
また、制御部150は、信号機3000を認識済みであると判定した場合(ステップS102でYes)、処理をステップS104に進める。制御部150は、画像D11における信号機3000の出現位置の変化情報143を推定する(ステップS104)。例えば、制御部150は、画像データD10が示す画像D11における信号機3000の出現位置と、同一の信号機3000の前回の出現位置とのベクトル等を示す変化情報143を推定する。制御部150は、推定した変化情報143を記憶部140に記憶すると、処理をステップS105に進める。
【0051】
制御部150は、自己位置情報を取得する(ステップS105)。例えば、制御部150は、通信部130を介して、移動体1000で推定された自己位置情報を取得し、記憶部140に記憶する。制御部150は、ステップS105の処理が終了すると、処理をステップS106に進める。
【0052】
制御部150は、画像データD10が示す信号機3000の出現位置に基づいて、走行レーン2000における信号機3000の出現位置の変化を識別可能な出現位置情報144を算出する(ステップS106)。例えば、制御部150は、自己位置情報が示す自己位置をリファレンスとし、変化情報143が示す前回を含む過去の出現位置と画像D11における信号機3000の今回の出現位置とその変化を示すベクトル144Vを含む出現位置情報144を算出する。制御部150は、ステップS106の処理が終了すると、処理をステップS107に進める。
【0053】
制御部150は、出現位置情報144と基準情報D22とを比較して移動体1000の経路のずれ状態G及び遅延状態を判定する(ステップS107)。例えば、制御部150は、移動体1000の巡行経路1000Rから信号機3000に対応する基準情報D22を抽出する。そして、制御部150は、出現位置情報144が示すベクトルと基準情報D22が示す基準ベクトルを比較して、ずれ状態Gを判定する。制御部150は、出現位置情報144が示す出現位置と基準情報D22が示す判定領域とを比較して、遅延状態を判定する。制御部150は、ずれ状態G及び遅延状態の判定結果を記憶部140に記憶すると、処理をステップS108に進める。
【0054】
制御部150は、判定したずれ状態G及び遅延状態に基づいて、移動体1000の動作を支援する処理を実行する(ステップS108)。例えば、制御部150は、移動体1000の動作を支援する処理を実行することで、巡行経路1000Rのずれ状態Gを移動体1000の管理装置等に通知し、ずれ状態Gに基づく巡行経路1000Rの変更を指示する。例えば、制御部150は、移動体1000の動作を支援する処理を実行することで、遅延状態を解消するように運行計画を変更させる指示を行う。制御部150は、ステップS108の処理が終了すると、処理をステップS109に進める。
【0055】
制御部150は、移動体1000の巡行経路1000Rのずれ状態G及び遅延状態に基づいて、移動体1000の走行結果を評価する(ステップS109)。例えば、制御部150は、信号機3000におけるずれ状態G及び遅延状態に基づいて、移動体1000の走行軌跡、巡行時間等を評価し、評価結果を示す評価情報146を記憶部140に記憶する。制御部150は、ステップS109の処理が終了すると、
図6に示す処理手順を終了させる。
【0056】
図6に示す処理手順では、画像D11から信号機3000を認識した場合に、ステップS109で移動体1000の走行を評価する処理手順になっているが、これに限定されない。例えば、
図6に示す処理手順は、ステップS9の処理を、移動体1000が巡行経路1000Rの移動を終了した場合に実行するように変更することができる。
【0057】
(電子機器の動作)
図7は、実施形態に係る電子機器100の巡行環境の一例を説明するための図である。
図8は、実施形態に係る電子機器100の動作の一例を説明するための図である。
図9は、実施形態に係る電子機器100の評価の一例を説明するための図である。
【0058】
図7に示す一例では、電子機器100を搭載した移動体1000が移動する巡行経路1000Rを示している。巡行経路1000Rの走行レーン2000には、複数の信号機3000が設置されている。電子機器100は、巡行を開始する場合、巡行経路1000Rを示す巡行データ142を記憶部140に記憶することで、巡行経路1000Rにおける複数の信号機3000ごとの基準情報D22を記憶部140に記憶する。
【0059】
移動体1000は、走行レーン2000の進行方向2000Dに向かって移動しており、信号機3000に接近している。この場合、
図8に示すように、電子機器100は、画像データD10が示す画像D11に信号機3000を認識し、連続する複数の画像データD10から信号機3000の変化情報143に基づいて出現位置情報144を算出する。電子機器100は、出現位置情報144と信号機3000に対応した基準情報D22とを比較して移動体1000の経路のずれ状態Gを判定する。
図8に示す一例では、電子機器100は、信号機3000の基準情報D22が示す基準ベクトルD22Aに対する変化情報143のずれ状態Gが右方向にずれていると判定する。
【0060】
電子機器100は、巡行経路1000Rに対するずれ状態の判定結果を含む支援情報145を、移動体1000、管理装置等に提供する。電子機器100は、例えば、巡行データ142、ずれ状態等に基づいて、移動体1000が巡行経路1000Rに復帰するための移動方向、経路等の情報を含む支援情報145に含めることができる。これにより、例えば、自動走行中の移動体1000は、右に寄っていることを解消可能な支援情報145に基づいて、巡行経路1000Rに復帰するように、移動方向、移動速度等を変更することができる。
【0061】
電子機器100は、信号機3000の基準情報D22が示す基準点灯タイミングに対する遅延状態を判定する。電子機器100は、
図5に示したように、変化情報143が示す出現位置P12が基準情報D22の判定領域D22Cに存在する場合、移動体1000の移動を現状維持とすることを示す遅延状態と判定する。この場合、移動体1000の巡行を補正する必要がないので、電子機器100は、処理を継続する。
【0062】
また、変化情報143が示す出現位置P12が基準情報D22の判定領域D22Dに存在する場合、電子機器100は、移動体1000の移動を早くすることを示す遅延状態と判定する。この場合、電子機器100は、移動速度を速めることを指示する支援情報145を移動体1000、管理装置等に提供する。これにより、移動体1000は、移動速度が法定速度内で早くなり、信号機3000を止まることなく通過することができる。
【0063】
また、変化情報143が示す出現位置P12が基準情報D22の判定領域D22Eに存在する場合、電子機器100は、移動体1000の移動を遅くすることを示す遅延状態と判定する。この場合、電子機器100は、移動速度を遅くすることを指示する支援情報145を移動体1000、管理装置等に提供する。これにより、移動体1000は、減速して信号機3000の次の青信号を待つことで、安全運転を行うことができる。
【0064】
電子機器100は、ずれ状態Gに基づいて移動体1000の動作を支援するために、巡行経路1000Rからの移動体1000のずれ値を算出し、当該ずれ値を含む支援情報145を移動体1000、管理装置等に提供する。これにより、移動体1000は、支援情報145のずれ値に基づいて、走行レーン2000における移動体1000の走行位置を補正することができる。
【0065】
電子機器100は、判定した移動体1000の経路のずれ状態G及び遅延状態に基づいて、移動体1000の走行を評価する。電子機器は、信号機ごとの評価結果を示す評価情報146を生成し、巡行データ142に関連付けて記憶部140に記憶する。例えば、電子機器100は、
図9に示すように、右に寄りやすい傾向あり、基準点灯タイミングから遅れる傾向あり等の評価結果を示す評価情報146を生成する。例えば、移動体1000が手動運転の場合、電子機器100は、評価情報146を移動体1000のパネル、ディスプレイ等に表示させることで、運転中の運転手を指導することができる。例えば、移動体1000が自動運転の場合、電子機器100は、評価情報146を移動体1000の管理装置等に提供することで、移動体1000の巡行経路1000Rの評価等を支援することができる。
【0066】
実施形態に係る電子機器100は、複数の画像データD10が示す画像D11における信号機300の出現位置の変化を算出するだけで、移動体1000の経路のずれ状態を判定することができる。これにより、電子機器100は、移動体1000の自己位置の検出精度が低く、画像データD10しか得られない移動環境であっても、巡行経路1000Rにおける位置ずれの判定精度を向上させることができる。
【0067】
(変形例)
上述した電子機器100は、移動体1000に搭載される場合について説明したが、これに限定されない。電子機器100は、例えば、移動体1000の外部に設けられたサーバ装置等で実現してもよい。
図10は、実施形態の変形例に係る電子機器100のシステム構成の一例を示す図である。
図10に示すように、電子機器100は、ネットワーク400を介して移動体1000と相互に通信可能な構成になっている。電子機器100は、例えば、パーソナル・コンピュータ、タブレット端末、スマートフォン等で実現してもよい。電子機器100は、移動体1000の撮像部110から画像データD10を、ネットワーク400を介して取得する。電子機器100は、取得した画像データD10に基づく移動体1000の経路のずれ状態及び遅延状態を判定し、判定結果に基づく支援情報145、評価情報146を、ネットワーク400を介して移動体1000に提供する。電子機器100は、ずれ状態及び遅延状態の判定結果を示す情報を移動体1000に提供してもよい。
【0068】
添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成を具現化するように構成されるべきである。本開示の内容は、当業者であれば本開示に基づき種々の変形および修正を行うことができる。したがって、これらの変形および修正は本開示の範囲に含まれる。例えば、各実施形態において、各機能部、各手段、各ステップなどは論理的に矛盾しないように他の実施形態に追加し、若しくは、他の実施形態の各機能部、各手段、各ステップなどと置き換えることが可能である。また、各実施形態において、複数の各機能部、各手段、各ステップなどを1つに組み合わせたり、或いは分割したりすることが可能である。また、上述した本開示の各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施することもできる。
【符号の説明】
【0069】
100 電子機器
110 撮像部
120 センサ部
130 通信部
140 記憶部
141 プログラム
142 巡行データ
143 変化情報
144 出現位置情報
145 支援情報
146 評価情報
150 制御部
151 画像認識部
152 取得部
153 推定部
154 位置算出部
155 判定部
156 検出部
157 動作支援部
158 評価部
1000 移動体
1000R 巡行経路
2000 走行レーン
2100 車線
3000 信号機
D10 画像データ
D21 巡行経路情報
D22 基準情報
G ずれ状態
P11,P12 出現位置