IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社イイガの特許一覧 ▶ トリノ・ガーデン株式会社の特許一覧

特許7643678自動運転システム、自動運転方法、移動体、および自動運転プログラム
<>
  • 特許-自動運転システム、自動運転方法、移動体、および自動運転プログラム 図1
  • 特許-自動運転システム、自動運転方法、移動体、および自動運転プログラム 図2
  • 特許-自動運転システム、自動運転方法、移動体、および自動運転プログラム 図3
  • 特許-自動運転システム、自動運転方法、移動体、および自動運転プログラム 図4
  • 特許-自動運転システム、自動運転方法、移動体、および自動運転プログラム 図5
  • 特許-自動運転システム、自動運転方法、移動体、および自動運転プログラム 図6
  • 特許-自動運転システム、自動運転方法、移動体、および自動運転プログラム 図7
  • 特許-自動運転システム、自動運転方法、移動体、および自動運転プログラム 図8
  • 特許-自動運転システム、自動運転方法、移動体、および自動運転プログラム 図9
  • 特許-自動運転システム、自動運転方法、移動体、および自動運転プログラム 図10
  • 特許-自動運転システム、自動運転方法、移動体、および自動運転プログラム 図11
  • 特許-自動運転システム、自動運転方法、移動体、および自動運転プログラム 図12
  • 特許-自動運転システム、自動運転方法、移動体、および自動運転プログラム 図13
  • 特許-自動運転システム、自動運転方法、移動体、および自動運転プログラム 図14
  • 特許-自動運転システム、自動運転方法、移動体、および自動運転プログラム 図15
  • 特許-自動運転システム、自動運転方法、移動体、および自動運転プログラム 図16
  • 特許-自動運転システム、自動運転方法、移動体、および自動運転プログラム 図17
  • 特許-自動運転システム、自動運転方法、移動体、および自動運転プログラム 図18
  • 特許-自動運転システム、自動運転方法、移動体、および自動運転プログラム 図19
  • 特許-自動運転システム、自動運転方法、移動体、および自動運転プログラム 図20
  • 特許-自動運転システム、自動運転方法、移動体、および自動運転プログラム 図21
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2025-03-03
(45)【発行日】2025-03-11
(54)【発明の名称】自動運転システム、自動運転方法、移動体、および自動運転プログラム
(51)【国際特許分類】
   G08G 1/16 20060101AFI20250304BHJP
   G08G 5/00 20250101ALI20250304BHJP
   G16Y 10/40 20200101ALI20250304BHJP
   G16Y 20/20 20200101ALI20250304BHJP
   G16Y 40/10 20200101ALI20250304BHJP
【FI】
G08G1/16 A
G08G5/00 A
G16Y10/40
G16Y20/20
G16Y40/10
【請求項の数】 18
(21)【出願番号】P 2024085672
(22)【出願日】2024-05-27
【審査請求日】2024-05-27
【早期審査対象出願】
(73)【特許権者】
【識別番号】398009568
【氏名又は名称】株式会社イイガ
(73)【特許権者】
【識別番号】510143664
【氏名又は名称】トリノ・ガーデン株式会社
(74)【代理人】
【識別番号】110002491
【氏名又は名称】弁理士法人クロスボーダー特許事務所
(72)【発明者】
【氏名】安部 則孝
(72)【発明者】
【氏名】三宅 孝志
(72)【発明者】
【氏名】中谷 一郎
【審査官】鶴江 陽介
(56)【参考文献】
【文献】米国特許出願公開第2018/0188738(US,A1)
【文献】特開2022-110448(JP,A)
【文献】特開2021-182280(JP,A)
【文献】特開2019-161613(JP,A)
【文献】特開2020-027645(JP,A)
【文献】特開2007-263886(JP,A)
【文献】国際公開第2019/064490(WO,A1)
【文献】国際公開第2006/121088(WO,A1)
【文献】特開2002-104117(JP,A)
【文献】国際公開第2020/071072(WO,A1)
【文献】特開2021-086347(JP,A)
【文献】特開2024-105053(JP,A)
【文献】特開2021-135802(JP,A)
【文献】特開2022-119106(JP,A)
【文献】国際公開第2017/068692(WO,A1)
【文献】国際公開第2018/146882(WO,A1)
【文献】特開2023-028975(JP,A)
【文献】国際公開第2023/170768(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00 - 99/00
B60R 21/00 - 21/017
G05D 1/00 - 1/87
G01C 21/00 - 21/36
(57)【特許請求の範囲】
【請求項1】
自動運転で走行する移動体である対象移動体と、周囲状況監視装置と、自動運転管制装置と、を備える自動運転システムであり、
前記対象移動体は、
移動体センサ群と、
前記移動体センサ群によって得られ前記対象移動体の位置を示す自己位置データと、前記対象移動体が通行するときに前記対象移動体の周囲状況を前記周囲状況監視装置によって監視すべき地域として設定された監視地域を示す地図データと、を参照して前記対象移動体が前記監視地域に入ったか判定し、前記対象移動体が前記監視地域に入ったと判定したときに、監視要求を前記周囲状況監視装置へ送信すると共に、前記移動体センサ群によって得られ前記対象移動体の走行状況を示す走行状況データを前記自動運転管制装置へ送信する車載器と、
を備え、
前記周囲状況監視装置は、
監視センサ群と、
前記監視要求を受信し、前記監視センサ群に前記対象移動体の周囲状況を監視させ、前記対象移動体の周囲状況を示す監視データを前記自動運転管制装置へ送信する監視制御装置と、
を備え、
前記自動運転管制装置は、前記走行状況データと前記監視データを受信し、前記対象移動体の走行障害を前記走行状況データと前記監視データに基づいて判定し、前記走行障害を通知する管制データを前記対象移動体へ送信し、
前記車載器は、前記管制データを受信し、前記管制データと、前記移動体センサ群によって得られ前記対象移動体の周囲状況を示す周囲状況データと、に基づいて前記対象移動体の走行を制御する
自動運転システム。
【請求項2】
前記周囲状況監視装置は、自動運転で飛行する飛行体である
請求項1に記載の自動運転システム。
【請求項3】
前記対象移動体は、前記飛行体が離着陸するドローンポートを備える
請求項2に記載の自動運転システム。
【請求項4】
前記車載器は、前記自己位置データと、前記監視地域を示す監視地域データと、を含めて前記監視要求を送信し、
前記監視制御装置は、前記監視要求を受信し、前記自己位置データと前記監視地域データに基づいて前記ドローンポートを離陸してから前記監視地域の上空を飛行して前記ドローンポートに着陸するまでの飛行経路を立案し、前記飛行体に前記飛行経路を飛行させる請求項3に記載の自動運転システム。
【請求項5】
前記周囲状況監視装置は、前記監視地域に設けられる路側機である
請求項1に記載の自動運転システム。
【請求項6】
前記監視センサ群は、カラーセンサを含み、
前記監視制御装置は、
前記カラーセンサによって得られるカラーセンサデータに基づいて、前記対象移動体の周囲に存在する物体と、前記物体が位置する場所の平面と、を検知し、
検知した平面における前記物体の位置を推定し、前記対象移動体の周囲に存在する各物体の位置を示すデータを前記監視データとして生成する
請求項1から請求項5のいずれか1項に記載の自動運転システム。
【請求項7】
前記カラーセンサは、RGBカメラまたはRGB-Dカメラである
請求項6に記載の自動運転システム。
【請求項8】
前記自動運転管制装置は、前記対象移動体の位置から近接範囲内に前記対象移動体と対向する障害物が存在する場合に前記走行障害があると判定する
請求項1に記載の自動運転システム。
【請求項9】
前記自動運転管制装置は、前記障害物が移動する物体である場合、すれ違い不可を前記走行障害の種類として示す前記管制データを前記対象移動体へ送信し、
前記車載器は、前記走行障害の種類が前記すれ違い不可である場合、前記地図データに示されるエスケープゾーンに前記対象移動体を退避させる
請求項8に記載の自動運転システム。
【請求項10】
前記自動運転管制装置は、前記障害物が移動しない物体である場合、通行不可を前記走行障害の種類として示す前記管制データを前記対象移動体へ送信し、
前記車載器は、前記走行障害の種類が前記通行不可である場合、前記地図データに示されるエスケープゾーンを利用して前記対象移動体をUターンさせる
請求項8または請求項9に記載の自動運転システム。
【請求項11】
前記自動運転管制装置は、前記障害物が複数存在する場合、徐行必要を前記走行障害の種類として示す前記管制データを前記対象移動体へ送信し、
前記車載器は、前記走行障害の種類が前記徐行必要である場合、前記対象移動体を徐行させる
請求項8または請求項9に記載の自動運転システム。
【請求項12】
前記自動運転管制装置は、一台以上の移動体のそれぞれから自己位置データを受信し、
前記一台以上の移動体のそれぞれの自己位置データに基づいて前記障害物が前記一台以上の移動体のいずれかであるか判定し、前記障害物が前記一台以上の移動体のいずれかであると判定した場合に前記障害物である前記移動体へ前記走行障害を通知する
請求項8または請求項9に記載の自動運転システム。
【請求項13】
前記自動運転管制装置は、一人以上の歩行者に所持される一台以上の携帯端末のそれぞれから自己位置データを受信し、前記一台以上の携帯端末のそれぞれの自己位置データに基づいて前記障害物が前記一人以上の歩行者のいずれかであるか判定し、前記障害物が前記一人以上の歩行者のいずれかであると判定した場合に前記障害物である前記歩行者の前記携帯端末へ前記走行障害を通知する
請求項8または請求項9に記載の自動運転システム。
【請求項14】
前記自動運転システムは、前記周囲状況監視装置を複数備え、
それぞれの前記周囲状況監視装置の前記監視センサ群は、動画像センサを含み、
それぞれの前記周囲状況監視装置の前記監視制御装置は、前記動画像センサによって得られる動画ストリームを含めて前記監視データを前記自動運転管制装置へ送信し、
前記自動運転管制装置は、
前記動画ストリームごとに、複数種類の物体検出モデルのうち送信元の前記周囲状況監視装置に対応付けられた物体検出モデルを用いて前記動画ストリームを入力にして物体検出を行い、検出された物体の検出情報をデータベースに記録し、
前記動画ストリームをディスプレイに表示し、前記自動運転管制装置に入力されるアノテーション情報を受け取り、前記複数種類の物体検出モデルから選択された物体検出モデルである選択モデルを用いて前記動画ストリームを入力にして検出された物体の検出情報を前記アノテーション情報に基づいて修正し、前記動画ストリームと修正された検出情報を学習して前記選択モデルを更新して新たなバージョンの物体検出モデルを生成し、
前記複数種類のバージョン別の物体検出モデルのうち前記自動運転管制装置に対して指定された物体検出モデルである決定モデルを用いて前記動画ストリームを入力にして前記物体検出を行って、前記対象移動体の走行に対する障害物を検出する
請求項1に記載の自動運転システム。
【請求項15】
自動運転で走行する移動体である対象移動体と、周囲状況監視装置と、自動運転管制装置と、を備える自動運転システムによる自動運転方法であり、
前記対象移動体は、
前記対象移動体の位置を示す自己位置データと、前記対象移動体が通行するときに前記対象移動体の周囲状況を前記周囲状況監視装置によって監視すべき地域として設定された監視地域を示す地図データと、を参照して前記対象移動体が前記監視地域に入ったか判定し、前記対象移動体が前記監視地域に入ったと判定したときに、監視要求を前記周囲状況監視装置へ送信すると共に、前記対象移動体の走行状況を示す走行状況データを前記自動運転管制装置へ送信し、
前記周囲状況監視装置は、
前記監視要求を受信し、前記対象移動体の周囲状況を監視し、前記対象移動体の周囲状況を示す監視データを前記自動運転管制装置へ送信し、
前記自動運転管制装置は、
前記走行状況データと前記監視データを受信し、前記走行状況データと前記監視データに基づいて前記対象移動体の走行障害を判定し、前記走行障害を通知する管制データを前記対象移動体へ送信し、
前記対象移動体は、
前記管制データを受信し、前記管制データと、前記対象移動体の周囲状況を示す周囲状況データと、に基づいて自動運転で走行する
自動運転方法。
【請求項16】
自動運転で走行する移動体であり、
移動体センサ群と、
前記移動体センサ群によって得られ前記移動体の位置を示す自己位置データと、前記移動体が通行するときに前記移動体の周囲状況を周囲状況監視装置によって監視すべき地域として設定された監視地域を示す地図データと、を参照して前記移動体が前記監視地域に入ったか判定し、前記移動体が前記監視地域に入ったと判定したときに、監視要求を前記周囲状況監視装置へ送信すると共に、前記移動体センサ群によって得られ前記移動体の走行状況を示す走行状況データを自動運転管制装置へ送信し、前記走行状況データと、前記周囲状況監視装置によって得られ前記移動体の周囲状況を示す監視データと、に基づいて判定される前記移動体の走行障害を通知する管制データを前記自動運転管制装置から受信し、前記管制データと、前記移動体センサ群によって得られ前記移動体の周囲状況を示す周囲状況データと、に基づいて前記移動体の走行を制御する車載器と、
を備える移動体。
【請求項17】
前記周囲状況監視装置は、自動運転で飛行する飛行体であり、
前記移動体は、前記飛行体が離着陸するドローンポートを備える
請求項16に記載の移動体。
【請求項18】
自動運転で走行する移動体の位置を示す自己位置データと、前記移動体が通行するときに前記移動体の周囲状況を周囲状況監視装置によって監視すべき地域として設定された監視地域を示す地図データと、を参照して前記移動体が前記監視地域に入ったか判定する処理と、
前記移動体が前記監視地域に入ったと判定したときに、監視要求を前記周囲状況監視装置へ送信すると共に、前記移動体の走行状況を示す走行状況データを自動運転管制装置へ送信する処理と、
前記走行状況データと、前記周囲状況監視装置によって得られ前記移動体の周囲状況を示す監視データと、に基づいて判定される前記移動体の走行障害を通知する管制データを前記自動運転管制装置から受信する処理と、
前記管制データと、前記移動体の周囲状況を示す周囲状況データと、に基づいて前記移動体の走行を制御する処理と、
をコンピュータに実行させるための自動運転プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、自動運転による安全な走行を実現するためのシステムに関するものである。
【背景技術】
【0002】
運送トラックおよびタクシーなどを運転するドライバーの不足が問題となっており、この問題は自動運転の実現によって解消される。
自動運転の実現のためには、自動運転車両の死角に存在する障害物を確認できるようにする必要がある。
【0003】
特許文献1は、自動運転車両の死角を補って対向車等の移動体との衝突を防ぐための情報提供システムを開示している。
この情報提供システムでは、道路の近辺に設置された路側装置が移動体を検知する。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2023-50627号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1には路側装置が移動体の検知を開始する契機について言及されておらず、路側装置が常に移動体の検知を行っているものと考えれる。
そのため、移動体との衝突の危険性がない時間帯も移動体の検知が行われ、不要な検知情報を含んだ膨大な情報を通信および処理する必要が生じ、情報提供システムの負荷が高くなる。
【0006】
本開示は、自動運転移動体からの死角が生じる地域を自動運転移動体が通行するときに、自動運転移動体から独立して設けられるセンサを用いて自動運転移動体の周囲を監視して、より安全な自動運転を実現できるようにすること、を目的とする。
【課題を解決するための手段】
【0007】
本開示の自動運転システムは、自動運転で走行する移動体である対象移動体と、周囲状況監視装置と、自動運転管制装置と、を備え、
前記対象移動体は、
移動体センサ群と、
前記移動体センサ群によって得られ前記対象移動体の位置を示す自己位置データと、前記対象移動体が通行するときに前記対象移動体の周囲状況を前記周囲状況監視装置によって監視すべき地域として設定された監視地域を示す地図データと、を参照して前記周囲状況監視装置による監視の要否を判定し、前記周囲状況監視装置による監視が必要であると判定したときに、監視要求を前記周囲状況監視装置へ送信すると共に、前記移動体センサ群によって得られ前記対象移動体の走行状況を示す走行状況データを前記自動運転管制装置へ送信する車載器と、
を備え、
前記周囲状況監視装置は、
監視センサ群と、
前記監視要求を受信し、前記監視センサ群に前記対象移動体の周囲状況を監視させ、前記対象移動体の周囲状況を示す監視データを前記自動運転管制装置へ送信する監視制御装置と、
を備え、
前記自動運転管制装置は、前記走行状況データと前記監視データを受信し、前記対象移動体の走行障害を前記走行状況データと前記監視データに基づいて判定し、前記走行障害を通知する管制データを前記対象移動体へ送信し、
前記車載器は、前記管制データを受信し、前記管制データと、前記移動体センサ群によって得られ前記対象移動体の周囲状況を示す周囲状況データと、に基づいて前記対象移動体の走行を制御する。
【発明の効果】
【0008】
本開示によれば、自動運転移動体からの死角が生じる地域を自動運転移動体が通行するときに、自動運転移動体から独立して設けられるセンサを用いて自動運転移動体の周囲を監視して、より安全な自動運転を実現すること、が可能となる。
【図面の簡単な説明】
【0009】
図1】実施の形態1における自動運転システム100の構成図。
図2】実施の形態1における車載器200の構成図。
図3】実施の形態1における監視制御装置300の構成図。
図4】実施の形態1における自動運転管制装置400の構成図。
図5】実施の形態1における車載器200のフローチャート。
図6】実施の形態1における監視制御装置300のフローチャート。
図7】実施の形態1における自動運転管制装置400のフローチャート。
図8】実施の形態2における自動運転システム100の構成図。
図9】実施の形態2における車載器200のフローチャート。
図10】実施の形態2における監視制御装置300のフローチャート。
図11】実施の形態3における自動運転システム100の構成図。
図12】実施の形態3における監視制御装置300のフローチャート。
図13】実施の形態4における自動運転管制装置400のフローチャート。
図14】実施の形態4における車載器200のフローチャート。
図15】実施の形態5における自動運転システム100の構成図。
図16】実施の形態5における自動運転管制装置400の構成図。
図17】実施の形態5における自動運転管制装置400のフローチャート。
図18】実施の形態6における自動運転管制装置400の機能構成の一部を示す図。
図19】実施の形態6における動画ストリームAI処理パイプライン439の例を示す図。
図20】実施の形態6における動画ストリームAI処理パイプライン439の例を示す図。
図21】実施の形態6における動画ストリームAI処理パイプライン439の例を示す図。
【発明を実施するための形態】
【0010】
実施の形態および図面において、同じ要素または対応する要素には同じ符号を付している。説明した要素と同じ符号が付された要素の説明は適宜に省略または簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。
【0011】
実施の形態1.
自動運転システム100について、図1から図7に基づいて説明する。
【0012】
***構成の説明***
図1に基づいて、自動運転システム100の構成を説明する。
自動運転システム100は、対象移動体120と周囲状況監視装置130と自動運転管制装置400と地図データベース110を備える。
【0013】
対象移動体120は、自動運転で地上を走行する移動体である。
例えば、対象移動体120は、自動運転で走行する自動車、バスまたはタクシーである。
【0014】
対象移動体120は、車載器200と移動体センサ群290を備える。
移動体センサ群290は、対象移動体120に搭載される一種類以上のセンサである。
例えば、移動体センサ群290は、Depthカメラ291とLider292と測位センサ293を含む。
測位センサ293は、対象移動体120の位置を測定するセンサである。例えば、測位センサ293は、衛星測位システムを利用して測位を行う。衛星測位システムの例は、Global Positioning System(GPS)である。
移動体センサ群290は、対象移動体120の走行状況と対象移動体120の周囲状況を把握するために使用される。
走行状況は、位置、速度および加速度を含む。
周囲状況は、周囲に存在する物体の位置を含む。
【0015】
図2に基づいて、車載器200の構成を説明する。
車載器200は、プロセッサ201とメモリ202と補助記憶装置203と通信装置204と入出力インタフェース205といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
【0016】
プロセッサ201は、演算処理を行うICであり、他のハードウェアを制御する。例えば、プロセッサ201はCPUである。
ICは、Integrated Circuitの略称である。
CPUは、Central Processing Unitの略称である。
【0017】
メモリ202は揮発性または不揮発性の記憶装置である。メモリ202は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ202はRAMである。メモリ202に記憶されたデータは必要に応じて補助記憶装置203に保存される。
RAMは、Random Access Memoryの略称である。
【0018】
補助記憶装置203は不揮発性の記憶装置である。例えば、補助記憶装置203は、ROM、HDD、フラッシュメモリまたはこれらの組み合わせである。補助記憶装置203に記憶されたデータは必要に応じてメモリ202にロードされる。
ROMは、Read Only Memoryの略称である。
HDDは、Hard Disk Driveの略称である。
【0019】
補助記憶装置203はレシーバ及びトランスミッタである。例えば、補助記憶装置203は通信チップまたはNICである。車載器200の通信は通信装置204を用いて行われる。
NICは、Network Interface Cardの略称である。
【0020】
入出力インタフェース205は、入力装置および出力装置が接続されるポートである。例えば、移動体センサ群290が入出力インタフェース205に接続される。
【0021】
車載器200は、監視要求部211と管制データ取得部212と運転制御部213といった要素を備える。これらの要素はソフトウェアで実現される。
【0022】
補助記憶装置203には、監視要求部211と管制データ取得部212と運転制御部213としてコンピュータを機能させるための自動運転プログラムが記憶されている。自動運転プログラムは、メモリ202にロードされて、プロセッサ201によって実行される。
補助記憶装置203には、さらに、OSが記憶されている。OSの少なくとも一部は、メモリ202にロードされて、プロセッサ201によって実行される。
プロセッサ201は、OSを実行しながら、自動運転プログラムを実行する。
OSは、Operating Systemの略称である。
【0023】
自動運転プログラムのデータ(入力データ、出力データなど)は記憶部220に記憶される。
メモリ202は記憶部220として機能する。但し、補助記憶装置203、プロセッサ201内のレジスタおよびプロセッサ201内のキャッシュメモリなどの記憶装置が、メモリ202の代わりに、又は、メモリ202と共に、記憶部220として機能してもよい。
【0024】
自動運転プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録(格納)することができる。
【0025】
図1に戻り説明を続ける。
周囲状況監視装置130は、対象移動体120の周囲状況を監視する装置である。
例えば、周囲状況監視装置130は、ドローンまたは路側機である。ドローンは、自動運転で上空を飛行する飛行体である。路側機は、監視地域の道路に設けられる機器である。監視地域について後述する。
【0026】
周囲状況監視装置130は、監視制御装置300と監視センサ群390を備える。
監視センサ群390は、周囲状況監視装置130に搭載される一種類以上のセンサである。
例えば、監視センサ群390は、Depthカメラ391とRGBカメラ392を含む。
監視センサ群390は、対象移動体120の周囲状況を監視するために使用される。
【0027】
図3に基づいて、監視制御装置300の構成を説明する。
監視制御装置300は、プロセッサ301とメモリ302と補助記憶装置303と通信装置304と入出力インタフェース305といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
【0028】
プロセッサ301は、演算処理を行うICであり、他のハードウェアを制御する。例えば、プロセッサ301はCPUである。
メモリ302は揮発性または不揮発性の記憶装置である。メモリ302は主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ302はRAMである。メモリ302に記憶されたデータは必要に応じて補助記憶装置303に保存される。
補助記憶装置303は不揮発性の記憶装置である。補助記憶装置303はストレージとも呼ばれる。例えば、補助記憶装置303は、ROM、HDD、フラッシュメモリまたはこれらの組み合わせである。補助記憶装置303に記憶されたデータは必要に応じてメモリ302にロードされる。
通信装置304はレシーバ及びトランスミッタである。例えば、通信装置304は通信チップまたはNICである。監視制御装置300の通信は通信装置304を用いて行われる。
入出力インタフェース305は、入力装置および出力装置が接続されるポートである。
【0029】
監視制御装置300は、要求受付部311と監視制御部312と監視データ生成部313と監視データ提供部314といった要素を備える。これらの要素はソフトウェアで実現される。
【0030】
補助記憶装置303には、要求受付部311と監視制御部312と監視データ生成部313と監視データ提供部314としてコンピュータを機能させるための監視プログラムが記憶されている。監視プログラムは、メモリ302にロードされて、プロセッサ301によって実行される。
補助記憶装置303には、さらに、OSが記憶されている。OSの少なくとも一部は、メモリ302にロードされて、プロセッサ301によって実行される。
プロセッサ301は、OSを実行しながら、監視プログラムを実行する。
【0031】
監視プログラムの入出力データは記憶部320に記憶される。
メモリ302は記憶部320として機能する。但し、補助記憶装置303、プロセッサ301内のレジスタおよびプロセッサ301内のキャッシュメモリなどの記憶装置が、メモリ302の代わりに、又は、メモリ302と共に、記憶部320として機能してもよい。
【0032】
監視プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録(格納)することができる。
【0033】
図1に戻り、説明を続ける。
自動運転管制装置400は、対象移動体120の自動運転を管理および制御する装置である。
【0034】
図4に基づいて、自動運転管制装置400の構成を説明する。
自動運転管制装置400は、プロセッサ401とメモリ402と補助記憶装置403と通信装置404と入出力インタフェース405といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
【0035】
プロセッサ401は、演算処理を行うICであり、他のハードウェアを制御する。例えば、プロセッサ401はCPUである。
メモリ402は揮発性または不揮発性の記憶装置である。メモリ402は主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ402はRAMである。メモリ402に記憶されたデータは必要に応じて補助記憶装置403に保存される。
補助記憶装置403は不揮発性の記憶装置である。補助記憶装置403はストレージとも呼ばれる。例えば、補助記憶装置403は、ROM、HDD、フラッシュメモリまたはこれらの組み合わせである。補助記憶装置403に記憶されたデータは必要に応じてメモリ402にロードされる。
通信装置404はレシーバ及びトランスミッタである。例えば、通信装置404は通信チップまたはNICである。自動運転管制装置400の通信は通信装置404を用いて行われる。
入出力インタフェース405は、入力装置および出力装置が接続されるポートである。
【0036】
自動運転管制装置400は、データ受付部411と走行障害判定部412と管制データ生成部413と管制データ提供部414といった要素を備える。これらの要素はソフトウェアで実現される。
【0037】
補助記憶装置403には、データ受付部411と走行障害判定部412と管制データ生成部413としてコンピュータを機能させるための管制プログラムが記憶されている。管制プログラムは、メモリ402にロードされて、プロセッサ401によって実行される。
補助記憶装置403には、さらに、OSが記憶されている。OSの少なくとも一部は、メモリ402にロードされて、プロセッサ401によって実行される。
プロセッサ401は、OSを実行しながら、管制プログラムを実行する。
【0038】
管制プログラムの入出力データは記憶部420に記憶される。
メモリ402は記憶部420として機能する。但し、補助記憶装置403、プロセッサ401内のレジスタおよびプロセッサ401内のキャッシュメモリなどの記憶装置が、メモリ402の代わりに、又は、メモリ402と共に、記憶部420として機能してもよい。
【0039】
管制プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録(格納)することができる。
【0040】
図1に戻り、説明を続ける。
地図データベース110は、地図データ111を管理する装置である。
地図データ111について後述する。
【0041】
***動作の説明***
自動運転システム100の動作の手順は自動運転方法に相当する。また、自動運転システム100の動作の手順は自動運転システムプログラムによる処理の手順に相当する。自動運転システムプログラムは、自動運転プログラムと監視プログラムと管制プログラムを含む。
【0042】
車載器200の動作を説明する。まず、車載器200の動作の前提を説明する。
移動体センサ群290は、周期的に、対象移動体120の走行状況と対象移動体120の周囲状況を観測する。例えば、Depthカメラ291は対象移動体120の周囲を計測し、Lider292は対象移動体120の周囲の各地点までの距離を測定し、測位センサ293は衛星測位を行う。
移動体センサ群290により、走行状況データと周囲状況データが得られる。
走行状況データは、対象移動体120の走行状況を示すデータである。走行状況データは、対象移動体120の位置、速度および加速度などを示す。対象移動体120の位置を、自己位置と称する。自己位置を示すデータを、自己位置データと称する。
周囲状況データは、対象移動体120の周囲状況を示すデータである。周囲状況データは、対象移動体120に搭載された移動体センサ群290で観測された各種物体などを示す。
運転制御部213は、走行計画データと周囲状況データに基づいて、対象移動体120の走行を制御する。
走行計画データは、対象移動体120の予定の走行経路を示す。
【0043】
図5に基づいて、車載器200の動作の手順を説明する。
ステップS121からステップS125は、繰り返し実行される。
【0044】
ステップS121において、監視要求部211は、自己位置データと地図データ111を参照し、周囲状況監視装置130による監視の要否を判定する。
地図データ111は、地図データベース110との通信によって取得される。
【0045】
地図データ111は、一か所以上の監視地域を示す。
監視地域は、対象移動体120が通行するときに対象移動体120の周囲状況を周囲状況監視装置130によって監視すべき地域として設定される。
具体的には、監視地域は、カーブの前後の領域のように対象移動体120からの死角が生じる場所である。
【0046】
周囲状況監視装置130による監視の要否は以下のように判定される。
監視要求部211は、対象移動体120が監視地域に入ったか判定する。
例えば、監視要求部211は、地図データ111に示される地図に対象移動体120の位置をマッピングする。そして、監視要求部211は、対象移動体120の位置が監視地域の中にマッピングされたか判定する。
対象移動体120が監視地域に入った場合、監視要求部211は、周囲状況監視装置130による監視が必要であると判定する。
【0047】
周囲状況監視装置130による監視が必要であると判定された場合、処理はステップS122に進む。
【0048】
ステップS122において、監視要求部211は、監視要求を周囲状況監視装置130へ送信する。
監視要求は、対象移動体120の周囲状況の監視を周囲状況監視装置130に要求するためのデータである。
監視要求は、対象移動体120の識別子、対象移動体120の位置および監視地域の範囲などを示す。
【0049】
ステップS123において、管制データ取得部212は、走行計画データと走行状況データを自動運転管制装置400へ送信する。
【0050】
ステップS122とステップS123は、順番が逆でも構わない。
【0051】
ステップS124において、管制データ取得部212は、自動運転管制装置400から送信される管制データを受信する。
管制データは、対象移動体120の走行障害を通知するためのデータである。
例えば、管制データは、対象移動体120の走行の障害となる物体(障害物)の位置などを示す。
【0052】
ステップS125において、運転制御部213は、管制データと周囲状況データに基づいて、対象移動体120の走行を制御する。
【0053】
対象移動体120の走行は以下のように制御される。
まず、運転制御部213は、走行計画を変更する。例えば、運転制御部213は、予定の走行経路を管制データに示される障害物および周囲状況データに示される物体を避けることが可能な経路に変更する。
次に、運転制御部213は、対象移動体120が変更後の走行計画の通りに走行できるように、対象移動体120の駆動装置に対する制御(運転制御)を決定する。駆動装置の例は、操舵装置(ハンドル)およびモーター(エンジン)である。
そして、運転制御部213は、決定した運転制御にしたがって対象移動体120の駆動装置を制御する。
【0054】
図6に基づいて、監視制御装置300の動作の手順を説明する。
ステップS131からステップS134は、対象移動体120から監視要求が送信されるごとに実行される。
【0055】
ステップS131において、要求受付部311は、対象移動体120から送信される監視要求を受信する。
【0056】
ステップS132において、監視制御部312は、監視センサ群390に対象移動体120の周囲状況を監視させる。
【0057】
対象移動体120の周囲状況は以下のように監視される。
監視制御部312は、監視センサ群390に対して動作命令を出力する。
監視センサ群390は、動作命令を受けて動作を開始する。例えば、Depthカメラ391とRGBカメラ392のそれぞれが対象移動体120の周囲を撮影する。
【0058】
監視センサ群390が対象移動体120の周囲状況を監視することによってセンサデータが得られる。
【0059】
ステップS133において、監視データ生成部313は、監視センサ群390から得られるセンサデータを用いて、監視データを生成する。
監視データは、対象移動体120の周囲状況を示すデータである。監視データは、監視センサ群390によって検知された各種物体の位置などを示す。
【0060】
監視データは以下のように生成される。
まず、監視データ生成部313は、各時刻のセンサデータを用いて物体検知を実行して、対象移動体120の周囲に存在する各物体を検知する。
次に、監視データ生成部313は、各時刻における各物体の位置に基づいて、各物体の速度を算出すると共に、各物体の移動経路を予測する。
そして、監視データ生成部313は、検知された各物体の位置、速度および予測経路を示すデータを生成する。生成されるデータが監視データである。
【0061】
ステップS134において、監視データ提供部314は、監視データを自動運転管制装置400へ送信する。
【0062】
図7に基づいて、自動運転管制装置400の動作の手順を説明する。
ステップS141からステップS145は、対象移動体120から走行計画データと走行状況データが送信され周囲状況監視装置130から監視データが送信されるごとに実行される。
【0063】
ステップS141において、データ受付部411は、対象移動体120から送信される走行計画データと走行状況データを受信する。
【0064】
ステップS142において、データ受付部411は、周囲状況監視装置130から送信される監視データを受信する。
【0065】
ステップS141とステップS142は、順番が逆でも構わない。
【0066】
ステップS143において、走行障害判定部412は、走行状況データと監視データに基づいて、対象移動体120の走行障害の有無を判定する。
【0067】
対象移動体120の走行障害の有無は以下のように判定される。
走行障害判定部412は、対象移動体120の位置から近接範囲内に対象移動体120と対向する障害物が存在するか判定する。近接範囲は、対象移動体120の位置を基点とする範囲であり、近接範囲の大きさは予め決められる。
対象移動体120の位置と各物体の位置は、位置データベースを用いて管理される。位置データベースは自動運転管制装置400で管理される。走行障害判定部412は、位置データベースに示される地図に対象移動体120の位置と各物体の位置をマッピングする。そして、走行障害判定部412は、対象移動体120の位置と各物体の位置がマッピングされた地図を参照して判定を行う。
対象移動体120の位置から近接範囲内に対象移動体120と対向する障害物が存在する場合、走行障害判定部412は、対象移動体120の走行障害があると判定する。
【0068】
対象移動体120の走行障害が有ると判定された場合、処理はステップS144に進む。
対象移動体120の走行障害が無いと判定された場合、処理は終了する。
【0069】
ステップS144において、管制データ生成部413は、対象移動体120の走行障害を通知するための管制データを生成する。
【0070】
ステップS145において、管制データ提供部414は、管制データを対象移動体120へ送信する。
【0071】
***実施の形態1の効果***
実施の形態1により、対象移動体120からの死角が生じる監視地域を対象移動体120が通行するときに、対象移動体120から独立して設けられる監視センサ群390を用いて対象移動体120の周囲を監視することができる。これにより、より安全な自動運転を実現することが可能となる。
【0072】
***実施の形態1の補足***
自動運転システム100は、対象移動体120と周囲状況監視装置130と自動運転管制装置400と地図データベース110を備える。
対象移動体120は、自動運転可能な移動体である。対象移動体120は、光学センサおよびLIDERなど周辺環境を把握するセンサと、通信機能と、を持つ。
周囲状況監視装置130は、対象移動体120から独立して存在するカメラなどのセンサと、通信機能と、を持つ。
自動運転管制装置400は、通信機能と計算機能を持ち、対象移動体120へ走行計画の立案に必要な管制データを通知する。
地図データベース110は、記憶機能と通信機能を持つ。地図データベース110は、周囲状況の確認の必要性を判定するために使用される地図データ111を記憶する。地図データベース110は、対象移動体120と周囲状況監視装置130と自動運転管制装置400と通信可能である。
対象移動体120は、自己の位置、速度および加速度などの情報を自動運転管制装置400へ送信する。また、対象移動体120は、地図データ111に示される地図に自己位置をマッピングし、周囲状況の監視が必要であるか判定する。そして、周囲状況の監視が必要である場合、対象移動体120は、監視要求を周囲状況監視装置130へ送信する。
周囲状況監視装置130は、路側に固定されていてもよいし、対象移動体120から発進する飛行体でもよい。周囲状況監視装置130は、対象移動体120の走行計画に影響を及ぼす障害物の位置、速度および加速度などの情報を監視センサ群390から取得する。そして、周囲状況監視装置130は、障害物の位置、速度および加速度などの情報を自動運転管制装置400へ送信する。また、周囲状況監視装置130は、障害物の位置を地図データ111に示される地図にマッピングする。
自動運転管制装置400は、対象移動体120の位置などの情報(将来位置を含む)と障害物の位置などの情報(将来位置を含む)に基づいて、対象移動体120の走行障害を判定する。そして、自動運転管制装置400は、走行障害の判定結果に基づいて管制データを生成し、管制データを対象移動体120へ送信する。
【0073】
実施の形態2.
周囲状況監視装置130がドローン131である形態について、主に実施の形態1と異なる点を図8から図10に基づいて説明する。
【0074】
***構成の説明***
図8に基づいて、自動運転システム100の構成を説明する。
自動運転システム100は、周囲状況監視装置130としてドローン131を備える。
ドローン131は、自動運転で上空を飛行する飛行体である。
対象移動体120は、実施の形態1で説明した要素に加えて、ドローンポート121を備える。
ドローンポート121は、プロセッサ301が格納されプロセッサ301が離着陸する設備である。ドローンポート121は、ドローン131を充電するための充電ポートを有する。
【0075】
***動作の説明***
図9に基づいて、車載器200の動作の手順を説明する。
ステップS221からステップS225は、実施の形態1のステップS121からステップS125に相当する。
【0076】
ステップS221において、監視要求部211は、自己位置データと地図データ111を参照し、ドローン131による監視の要否を判定する。
【0077】
ドローン131による監視が必要であると判定された場合、処理はステップS222に進む。
【0078】
ステップS222において、監視要求部211は、監視要求をドローン131へ送信する。
【0079】
監視要求は、自己位置データと監視地域データを含む。
監視地域データは、対象移動体120が通行する監視地域を示す。
【0080】
ステップS223において、管制データ取得部212は、走行計画データと走行状況データを自動運転管制装置400へ送信する。
【0081】
ステップS224において、管制データ取得部212は、自動運転管制装置400から送信される管制データを受信する。
【0082】
ステップS225において、運転制御部213は、管制データと周囲状況データに基づいて、対象移動体120の走行を制御する。
【0083】
図10に基づいて、監視制御装置300の動作の手順を説明する。
ステップS231からステップS234は、実施の形態1のステップS131からステップS134に相当する。
【0084】
ステップS231において、要求受付部311は、対象移動体120から送信される監視要求を受信する。
【0085】
監視要求は、自己位置データと監視地域データを含む。
【0086】
ステップS232において、監視制御部312は、監視センサ群390に対象移動体120の周囲状況を監視させる。
【0087】
監視制御部312は、監視センサ群390に対象移動体120の周囲状況を監視させるために、ドローン131に監視地域の上空を飛行させる。
【0088】
ドローン131は以下のようにして監視地域の上空を飛行する。
まず、監視制御部312は、自己位置データと監視地域データに基づいて、ドローン131の飛行経路を立案する。
立案される飛行経路は、対象移動体120のドローンポート121を離陸してから監視地域の上空を飛行して対象移動体120のドローンポート121に着陸するまでの経路である。
そして、監視制御部312は、立案した飛行経路をドローン131に飛行させる。そのために、監視制御部312は、ドローン131の駆動装置を制御する。
【0089】
ステップS233において、監視データ生成部313は、監視センサ群390から得られるセンサデータを用いて、監視データを生成する。
【0090】
ステップS234において、監視データ提供部314は、監視データを自動運転管制装置400へ送信する。
【0091】
***実施の形態2の効果***
実施の形態2により、地上を走行する対象移動体120からの死角となる監視地域を上空から監視することが可能となる。
【0092】
***実施の形態2の補足***
周囲状況監視装置130は、自動運転飛行体である。
自動運転飛行体は、監視要求を受け、監視要求の契機となった監視地域の情報を元に飛行計画を計算によって立案し、飛行を開始する。自動運転飛行体は、搭載されるセンサから得られるデータから障害物の位置、速度および加速度を求め、障害物の位置、速度および加速度を自動運転管制装置400へ送信する。
対象移動体120には、自動運転飛行体の発着するポートが存在する。対象移動体120は、地図データ111から死角が発生する領域の位置情報を取得し、死角が発生する領域に入った場合に自動運転飛行体を発進させる。そして、自動運転飛行体は、死角領域の状況を監視して障害物の位置、速度および加速度を求め、障害物の位置、速度および加速度を自動運転管制装置400へ送信する。
【0093】
実施の形態3.
カラーセンサを利用して障害物の位置を検知する形態について、主に実施の形態1と異なる点を図11から図12に基づいて説明する。
【0094】
***構成の説明***
図11に基づいて、自動運転システム100の構成を説明する。
周囲状況監視装置130において、監視センサ群390はカラーセンサ393を含む。
カラーセンサ393は、RGBカメラまたはRGB-Dカメラである。
Rは赤を意味し、Gは緑を意味し、Bは青を意味する。Dは深度を意味する。
【0095】
***動作の説明***
図12に基づいて、監視制御装置300の動作の手順を説明する。
ステップS331からステップS334は、実施の形態1のステップS131からステップS134に相当する。
【0096】
ステップS331において、要求受付部311は、対象移動体120から送信される監視要求を受信する。
【0097】
ステップS332において、監視制御部312は、監視センサ群390に対象移動体120の周囲状況を監視させる。
【0098】
ステップS333において、監視データ生成部313は、監視センサ群390から得られるセンサデータを用いて、監視データを生成する。
【0099】
監視データは、対象移動体120の周囲に存在する各物体の位置などを示す。
【0100】
各物体の位置は以下のように推定される。カラーセンサ393によって得られるセンサデータを、カラーセンサデータと称する。
まず、監視データ生成部313は、カラーセンサデータを用いて物体検知を実行して、対象移動体120の周囲に存在する物体と、物体が位置する場所の平面と、を検知する。
そして、監視データ生成部313は、検知した平面における物体の位置を推定する。
【0101】
ステップS334において、監視データ提供部314は、監視データを自動運転管制装置400へ送信する。
【0102】
***実施の形態3の効果***
実施の形態3により、障害物になり得る各物体の位置をより正確に検知することが可能となる。
【0103】
***実施の形態3の補足***
接続されているセンサがRGBセンサである場合、周囲状況監視装置130は、水平面の検知を行い、検知された水平面に対する検知された障害物の座標を推定する。但し、推定は、自動運転管制装置400で行うこともあり得る。
対象移動体120から独立して存在するセンサがRGB情報を得るカメラである場合、周囲状況監視装置130は、物体検知を行い、RGB情報に基づいて平面を検知し、検知した平面に対して物体の位置を推定する。
対象移動体120から独立して存在するセンサがRGB-D情報を得るカメラである場合、周囲状況監視装置130は、物体検知を行い、RGB-D情報に基づいて平面を検知し、検知した平面に対して物体の位置を推定する。
【0104】
実施の形態3は実施の形態2と組み合わせて実施されてもよい。つまり、周囲状況監視装置130がドローン131であり、対象移動体120がドローンポート121を備えてもよい。
【0105】
実施の形態4.
対象移動体120が走行障害の種類に応じて走行障害に対処する形態について、主に実施の形態1と異なる点を図13から図14に基づいて説明する。
【0106】
***構成の説明**
自動運転システム100の構成は、実施の形態1における構成と同様である。
但し、地図データ111は、一か所以上のエスケープゾーンを示す。
【0107】
***動作の説明***
図13に基づいて、自動運転管制装置400の動作の手順を説明する。
ステップS441からステップS445は、実施の形態1のステップS141からステップS145に相当する。
【0108】
ステップS441において、データ受付部411は、対象移動体120から送信される走行計画データと走行状況データを受信する。
【0109】
ステップS442において、データ受付部411は、周囲状況監視装置130から送信される監視データを受信する。
【0110】
ステップS443において、走行障害判定部412は、走行状況データと監視データに基づいて、対象移動体120の走行障害の有無を判定する。
【0111】
対象移動体120の走行障害が有ると判定した場合、走行障害判定部412は、監視データに基づいて、障害物の種類を判定する。具体的には、走行障害判定部412は、障害物が移動する物体と移動しない物体のいずれであるか判定する。移動する物体の例は車両および人である。移動しない物体の例は落石である。また、走行障害判定部412は、障害物が複数存在するか判定する。複数存在する障害物の例は複数の歩行者である。
また、走行障害判定部412は、位置データベースに基づいて、対象移動体120と障害物とが存在する道路(対象道路)の種類を判定する。具体的には、走行障害判定部412は、対象道路が一車線分の幅しかない狭い道路であるか判定する。
【0112】
対象移動体120の走行障害が有ると判定された場合、処理はステップS444に進む。
対象移動体120の走行障害が無いと判定された場合、処理は終了する。
【0113】
ステップS444において、管制データ生成部413は、対象移動体120の走行障害を通知するための管制データを生成する。
【0114】
管制データは、走行障害の種類などを示す。
【0115】
走行障害の種類は以下のように判定される。
対象道路が狭い道路であり障害物が移動する物体である場合、管制データ生成部413は、「すれ違い不可」を走行障害の種類として判定する。「すれ違い不可」は、対象移動体120と障害物がすれ違って走行することができないことを意味する。
対象道路が狭い道路であり障害物が移動しない物体である場合、管制データ生成部413は、「通行不可」を走行障害の種類として判定する。「通行不可」は、対象移動体120が障害物を避けて通行することができないことを意味する。
障害物が複数存在する場合、管制データ生成部413は、「徐行必要」を管制情報として示す管制データを送信する。「徐行必要」は、障害物を避けるために徐行が必要であることを意味する。
【0116】
ステップS445において、管制データ提供部414は、管制データを対象移動体120へ送信する。
【0117】
図14に基づいて、車載器200の動作の手順を説明する。
ステップS421からステップS425は、実施の形態1のステップS121からステップS125に相当する。
【0118】
ステップS421において、監視要求部211は、自己位置データと地図データ111を参照し、周囲状況監視装置130による監視の要否を判定する。
【0119】
周囲状況監視装置130による監視が必要であると判定された場合、処理はステップS422に進む。
【0120】
ステップS422において、監視要求部211は、監視要求を周囲状況監視装置130へ送信する。
【0121】
ステップS423において、管制データ取得部212は、走行計画データと走行状況データを自動運転管制装置400へ送信する。
【0122】
ステップS424において、管制データ取得部212は、自動運転管制装置400から送信される管制データを受信する。
【0123】
管制データは、対象移動体120の走行障害の種類などを示す。
【0124】
ステップS425において、運転制御部213は、管制データと周囲状況データに基づいて、対象移動体120の走行を制御する。
【0125】
対象移動体120の走行は以下のように走行障害の種類に応じて制御される。
走行障害の種類が「すれ違い不可」である場合、運転制御部213は、地図データ111に示される最寄りのエスケープゾーンに対象移動体120を退避させる。
走行障害の種類が「通行不可」である場合、運転制御部213は、地図データ111に示される最寄りのエスケープゾーンを利用して対象移動体120をUターンさせる。
走行障害の種類が「徐行必要」である場合、運転制御部213は、対象移動体120を徐行させる。
【0126】
***実施の形態4の効果***
実施の形態4により、走行障害の種類に応じて安全な自動運転を実現することが可能となる。
【0127】
***実施の形態4の補足***
自動運転管制装置400は、対象移動体120から位置、速度および加速度の情報を得て、周囲状況監視装置130から障害物の位置、速度および加速度の情報を得る。自動運転管制装置400は、対象移動体120と障害物のそれぞれの位置情報に基づいて算出される将来位置情報を予測時刻と共に、バージョン情報と空間・時間軸情報を持つデータベースに記録する。
対象移動体120と障害物のそれぞれの位置情報と将来予測位置が変更される度に、自動運転管制装置400は、バージョンを更新し、対象移動体120と障害物のそれぞれの位置情報を更新する。更新した際に対象移動体120の位置が障害物の位置と近接関係にあった場合、自動運転管制装置400は走行障害が有ると判定し、対象移動体120は走行計画の修正を行う。
走行障害の種類が「すれ違い不可」と判定された場合には、対象移動体120は、エスケープゾーンの位置情報を地図データ111から取得し、エスケープゾーンにへの退避を行うように走行計画を変更する。
走行障害の種類が「通行不可」と判定された場合には、対象移動体120は、エスケープゾーンの位置情報を地図データ111から取得し、エスケープゾーンを利用してUターンを行うように走行計画を変更する。
走行障害の種類が「徐行必要」と判定された場合には、対象移動体120は、徐行を行うように走行計画を変更する。
【0128】
実施の形態4は実施の形態2と実施の形態3の少なくとも一方と組み合わせて実施されてもよい。つまり、周囲状況監視装置130がドローン131であり、対象移動体120がドローンポート121を備えてもよい。また、監視制御装置300はカラーセンサ393を利用して障害物の位置を検知してもよい。
【0129】
実施の形態5.
対象移動体120の走行障害を障害物に通知する形態について、主に実施の形態1と異なる点を図15から図17に基づいて説明する。
【0130】
***構成の説明**
図15に基づいて、自動運転システム100の構成を説明する。
自動運転システム100は、一台以上の移動体101と一台以上の携帯端末102を備える。
移動体101は、対象移動体120と同様の移動体である。
携帯端末102は、歩行者に所持される。例えば、携帯端末102はスマートフォンである。スマートフォンでは、自動運転システム100用のアプリケーションプログラムが実行される。
それぞれの移動体101の情報とそれぞれの携帯端末102の情報が、自動運転管制装置400に予め登録される。
【0131】
図16に基づいて、自動運転管制装置400の構成を説明する。
自動運転管制装置400は、さらに、走行障害通知部415という要素を備える。
自動運転管制プログラムは、さらに、走行障害通知部415としてコンピュータを機能させる。
【0132】
***動作の説明***
自動運転管制装置400の動作について説明する。まず、自動運転管制装置400の動作の前提を説明する。
それぞれの移動体101は、周期的に、自己位置データを自動運転管制装置400へ送信する。自己位置データは移動体101の位置を示す。
それぞれの携帯端末102は、周期的に、自己位置データを自動運転管制装置400へ送信する。自己位置データは歩行者および携帯端末102の位置を示す。
【0133】
図17に基づいて、自動運転管制装置400の動作の手順を説明する。
ステップS542からステップS546は、実施の形態1のステップS141からステップS145に相当する。
【0134】
ステップS541において、データ受付部411は、それぞれの移動体101から自己位置データを受信する。
また、データ受付部411は、それぞれの携帯端末102から自己位置データを受信する。
【0135】
ステップS542において、データ受付部411は、対象移動体120から送信される走行計画データと走行状況データを受信する。
【0136】
ステップS543において、データ受付部411は、周囲状況監視装置130から送信される監視データを受信する。
【0137】
ステップS544において、走行障害判定部412は、走行状況データと監視データに基づいて、対象移動体120の走行障害の有無を判定する。
【0138】
ステップS545において、管制データ生成部413は、対象移動体120の走行障害を通知するための管制データを生成する。
【0139】
ステップS546において、管制データ提供部414は、管制データを対象移動体120へ送信する。
【0140】
ステップS547において、走行障害通知部415は、一台以上の移動体101のそれぞれの自己位置データに基づいて、障害物がいずれかの移動体101であるか判定する。
障害物がいずれかの移動体101であると判定した場合、走行障害通知部415は、障害物である移動体101へ通知データを送信する。
通知データは、対象移動体120の走行障害を通知するためのデータである。例えば、走行障害通知部415は、障害物である移動体101のための管制データを通知データとして生成する。
【0141】
また、走行障害通知部415は、一台以上の携帯端末102のそれぞれの自己位置データに基づいて、障害物がいずれかの携帯端末102を所持する歩行者であるか判定する。
障害物がいずれかの携帯端末102を所持する歩行者であると判定した場合、走行障害通知部415は、障害物である歩行者の携帯端末102へ通知データを送信する。
【0142】
***実施の形態5の効果***
実施の形態5により、対象移動体120にとっての障害物となる移動体および歩行者に対象移動体120の走行障害が通知される。これにより、より安全な自動運転の実現が可能となる。
【0143】
***実施の形態5の補足***
走行障害が有ると判定し、且つ、人間が運転する移動体または歩行者が障害物であると判定した場合、自動運転管制装置400は、その人間が持つスマートフォンに通知を送る。また、障害物が自動運転可能な移動体である場合、自動運転管制装置400は、走行計画の変更を指示するための情報を送信する。
障害物は、移動できることを期待できる物体または移動できることを期待できない物体に区別し得る。
例えば、次のようなものが障害物になり得る。人が運転している車両、自動運転車両(自動運転可能な移動体)、移動しない物体(停車している車両、落石など)、および、その他の物体(歩行者、自転車、交通弱者など)。
【0144】
実施の形態5は実施の形態2から実施の形態4の少なくともいずれかと組み合わせて実施されてもよい。つまり、周囲状況監視装置130がドローン131であり、対象移動体120がドローンポート121を備えてもよい。また、監視制御装置300はカラーセンサ393を利用して障害物の位置を検知してもよい。また、対象移動体120は走行障害の種類に応じて走行障害に対処してもよい。
【0145】
実施の形態6.
動画ストリームAI処理パイプラインシステムを適用する形態について、主に実施の形態1と異なる点を図18から図21に基づいて説明する。AIは人工知能の略称である。
【0146】
***構成の説明***
図18に基づいて、自動運転システム100の構成を説明する。
自動運転システム100は、周囲状況監視装置130を複数備える。図18において、自動運転システム100は、1つのドローンと3つの路側機との4つの周囲状況監視装置130を備えている。周囲状況監視装置130の数は4つに限定されない。
それぞれの周囲状況監視装置130の監視センサ群390は、動画像センサを含む。
【0147】
自動運転管制装置400は、さらに、スイッチャー部431と物体検出部432と位置推定部433とアノテーション部434と学習部435といった要素を備える。これらの要素はソフトウェアで実現される。さらに、自動運転管制装置400はデータベース438を備える。データベース438は空間・時間軸情報を持つ。
自動運転管制装置400は、複数種類の物体検出モデルを有する。物体検出モデルは、画像に映った物体を検出するために機械学習などによって生成された学習済みモデルである。図18において、自動運転管制装置400は、汎用の物体検出モデルと汎用の道路検出モデルと汎用のヒト検出モデルを有している。道路検出モデルは道路を検出するための物体検出モデルである。ヒト検出モデルは人を検出するための物体検出モデルである。使用される物体検出モデルはこれらのモデルに限定されない。
【0148】
***動作の説明***
図18に基づいて、複数の周囲状況監視装置130と自動運転管制装置400の動作について説明する。
【0149】
それぞれの周囲状況監視装置130の監視制御装置300は、動画像センサによって得られる動画ストリームを含めて監視データを自動運転管制装置400へ送信する(図6のS133、S134)。
【0150】
ステップS142(図7を参照)において、自動運転管制装置400は、それぞれの周囲状況監視装置130から送信される監視データを受信する。監視データには動画ストリームが含まれる。
ステップS143(図7を参照)において、自動運転管制装置400は、物体検出モデルを用いて対象移動体120の走行に対する障害物の検出を行い、障害物の検出結果を利用して対象移動体120の走行障害を判断する。
【0151】
障害物は以下のように検出される。
それぞれの周囲状況監視装置130からの動画ストリームの入力先は、送信元の周囲状況監視装置130に対応付けて予め決められている。
スイッチャー部431は、動画ストリームごとに、送信元の周囲状況監視装置130に対応付けられた入力先の物体検出モデルに動画ストリームを流す。例えば、スイッチャー部431は、路側機Aからの動画ストリームAを物体検出とアノテーションに流し、路側機Bからの動画ストリームBを物体検出と道路検出とアノテーションに流し、路側機Cからの動画ストリームCをヒト検出とアノテーションに流す。
送信元の周囲状況監視装置130に対応付けられた入力先で使用される物体検出モデルを、対応モデルと称する。
物体検出部432は、動画ストリームごとに、対応モデルを用いて動画ストリームを入力にして物体検出を行う。
位置推定部433は、物体検出の結果に基づいて、検出された物体の位置(座標値)を推定し、検出された物体の検出情報をデータベース438に記録する。検出情報は、検出された物体について種類と位置などを示す。
利用者は、データベース438に記録された各物体の検出情報を自動運転管制装置400を利用して参照し、更新したい物体検出モデルを選択し、選択した物体検出モデルを自動運転管制装置400に対して指定する。選択された物体検出モデルを、選択モデルと称する。
スイッチャー部431は、選択モデルに入力された動画ストリームをアノテーション部434に流す。
アノテーション部434は、選択モデルを用いて動画ストリームを入力にして検出された物体の検出情報をアノテーションによって修正する。検出情報は次のように修正される。アノテーション部434は動画ストリームをディスプレイに表示する。利用者は、動画ストリームを参照し、動画ストリームに映っている物体に対するアノテーションを行い、アノテーション情報を自動運転管制装置400に入力する。アノテーション情報は、物体の位置とラベルを示す。ラベルは物体の種類を識別する。アノテーション部434はアノテーション情報を受け取り、アノテーション情報に基づいて検出情報を修正する。
学習部435は、動画ストリームと修正された検出情報を学習データにして学習を行うことによって、選択モデルを更新する。例えば、選択モデルのパラメータが更新される。これにより、新たなバージョンの物体検出モデルが生成される。
いずれかの種類の物体検出モデルに動画ストリームが入力された場合、物体検出部432は、同じ種類の物体検出モデルのバージョンごとに、動画ストリームを入力にして物体検出モデルを用いて物体検出を行う。そして、物体検出モデルのバージョンごとに検出情報がデータベース438に記録される。
利用者は、データベース438に記録された各物体の各検出情報を自動運転管制装置400を利用して参照する。利用者は、複数種類のバージョン別の物体検出モデルから、走行障害の判断に用いる物体検出モデルを決定する。そして、利用者は、決定した物体検出モデルを自動運転管制装置400に対して指定する。決定された物体検出モデルを、決定モデルと称する。
その後、物体検出部432は、動画ストリームを入力にして決定モデルを用いて物体検出を行って、対象移動体120の走行に対する障害物を検出する。検出結果には、障害物の将来の行動の予測情報が含まれる。障害物の将来の行動は、障害物の位置の時系列に基づいて予測される。
決定モデルは随時に変更される。また、2つ以上の決定モデルが使用されてもよい。この場合、2つ以上の決定モデルに対応する2つ以上の検出結果に基づいて、障害物が特定される。このとき、加重平均などの手法が使用される。
【0152】
上記の動画ストリームの入力先は、動画ストリームAI処理パイプライン439の設定によって決められる。
動画ストリームAI処理パイプライン439は、周囲状況監視装置130別に設定され、動画ストリームの流れを示す。
図19から図21に、動画ストリームAI処理パイプライン439の例を示す。「Vx」の「x」はバージョン番号を示す。
図19において、路側機Aからの動画ストリームAは、汎用の物体検出モデル(V0)に流され、アノテーション部434に流され、アノテーション情報が付され、学習データの一部として学習部435に流される。そして、汎用の物体検出モデル(V0)が更新されることによって物体検出モデル(V1)が生成される。また、汎用の物体検出モデル(V0)と位置推定によって得られる検出情報がデータベース438に記録される。その後、動画ストリームAは、物体検出モデル(V1)にも流され、アノテーション部434に流され、アノテーション情報が付される。そして、動画ストリームAのアノテーション情報はデータベース438に記録される。
図20において、路側機Bからの動画ストリームBは、汎用の物体検出モデル(V0)を更新して生成された物体検出モデル(V2)に流され、アノテーション部434に流され、アノテーション情報が付される。そして、動画ストリームBのアノテーション情報に基づいて障害物の動作が推定され、推定された動作の情報を含めて障害物の検出情報がデータベース438に記録される。
図21において、ドローンDからの動画ストリームDは、汎用の道路検出モデル(V0)と汎用の道路検出モデル(V0)を更新して生成される道路検出モデル(V1)に流される。
【0153】
***実施の形態6の効果***
実施の形態6により、動画ストリームを使って走行障害の判断をより正確に行うことが可能となる。
【0154】
***実施の形態6の補足***
自動運転管制装置400は、複数の監視制御装置300の動画像センサの情報を処理する。そのために、自動運転管制装置400は、ビデオスイッチャーを持つ。ビデオスイッチャーは、物体検出、道路検出、車線検出などの画像処理機能と学習のためのアノテーション機能との間で、動画像センサの情報の流れをスイッチングする機能を持つ。
【0155】
ビデオスイッチャーは、複数の監視制御装置300より得られた動画像をリアルタイム通信ストリームによって取得し、各々のストリームを必要な処理機能に分配する。
自動運転管制装置400は、ビデオスイッチャーの設定とAI処理のパイプラインの設定を行う機能を持つ。
【0156】
ビデオスイッチャーの設定には、次のような機能がある。例えば、AIモデルを用いて各種検出と分類を行う機能、AIモデルによる検出結果を映像にする機能、学習を行うためのアノテーションを行う機能、ビデオ画像を保存する機能、ビデオ画像の画像を調整する機能などがある。これらの機能の処理順にパイプラインを記述してビデオスイッチャーの設定が定義される。
【0157】
ビデオスイッチャーによる動画ストリームAI処理パイプラインシステムは、自動運転のみならず、様々な用途に利用することが可能である。
例えば、動画ストリームAI処理パイプラインシステムは以下の用途に使用することが可能である。
(1)駐車場に対する入庫台数と出庫台数の検知
(2)駐車場に対する駐車台数の検知
(3)施設に対する入場者と退場者の検知
(4)道路に対する通行人数(上り、下り)の検知
(5)通行者に対する年齢と性別の検知
(6)通行者に対する速度の推定
(7)施設に対する立ち止り位置の検知
(8)施設に対する作業内容の検知と分類
(9)人物に対する行動の検知
【0158】
実施の形態6は実施の形態2から実施の形態5の少なくともいずれかと組み合わせて実施されてもよい。
【0159】
***実施の形態の補足***
自動運転システム100は、対象移動体120と周囲状況監視装置130と自動運転管制装置400と地図データベース110を備える。
対象移動体120は、自動運転可能な移動体である。対象移動体120は、光学センサおよびLIDERなど周辺環境を把握するセンサと、通信機能と、を持つ。
周囲状況監視装置130は、対象移動体120から独立して存在するカメラなどのセンサと、通信機能と、を持つ。
自動運転管制装置400は、対象移動体120と周囲状況監視装置130と通信可能な計算機を持つ。
地図データベース110は、監視地域とエスケープゾーンを示す地図データ111を記憶する。
対象移動体120は、計算機によって自己位置を推定し、センサによって障害物となり得る周辺のオブジェクトを検知し、障害物の位置情報を計算によって推定する。
周囲状況監視装置130は、センサによって対象移動体120と障害物となり得る周辺のオブジェクトを検知し、障害物の位置情報を計算によって推定する。
周囲状況監視装置130は、対象移動体120のセンサからは死角となる部分についての不足情報を補完する。自動運転管制装置400は、走行計画を変更するために必要な情報を生成する。対象移動体120は、オブジェクトの予測経路と対象移動体120の計画経路の交差を判定し、オブジェクトに当たらないように速度および経路などの走行計画を再計算して更新する。更新された走行計画は、制御情報に変換され対象移動体120の走行制御に利用される。
【0160】
自動運転システム100は、対象移動体120とドローン131と自動運転管制装置400と地図データベース110を備える。
対象移動体120は、自動運転可能な移動体である。光学センサおよびLIDERなど周辺環境を把握するセンサと、通信機能と、を持つ。
ドローン131は、飛行機能を持つ飛行体である。対象移動体120から独立して存在するカメラなどのセンサと、通信機能と、を持つ。
自動運転管制装置400は、通信機能と計算機能を持つ。自動運転管制装置400は、走行計画の立案に必要な管制データを対象移動体120へ通知する。
地図データベース110は、記憶機能と通信機能を持つ。地図データベース110は、周囲状況の確認の必要性を判定するために使用される地図データ111を記憶する。地図データ111は、監視地域とエスケープゾーンを示す。地図データベース110は、対象移動体120と周囲状況監視装置130と自動運転管制装置400と通信可能である。
ドローン131は、大きな死角がある領域への対象移動体120の接近が検知された場合に死角を視認できる位置への往復の飛行計画を立てる機能と、飛行計画を元にドローン131を制御する機能と、を持つ。
【0161】
各実施の形態は、好ましい形態の例示であり、本開示の技術的範囲を制限することを意図するものではない。各実施の形態は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。フローチャート等を用いて説明した手順は、適宜に変更してもよい。
【0162】
車載器200と監視制御装置300と自動運転管制装置400の各要素は、ソフトウェア、ハードウェア、ファームウェアまたはこれらの組み合わせのいずれで実現されてもよい。
車載器200と監視制御装置300と自動運転管制装置400の各要素の「部」は、「処理」、「工程」、「回路」または「処理回路」と読み替えてもよい。
【0163】
以下に、本開示の諸態様を付記として記載する。
(付記1)
自動運転で走行する移動体である対象移動体と、周囲状況監視装置と、自動運転管制装置と、を備える自動運転システムであり、
前記対象移動体は、
移動体センサ群と、
前記移動体センサ群によって得られ前記対象移動体の位置を示す自己位置データと、前記対象移動体が通行するときに前記対象移動体の周囲状況を前記周囲状況監視装置によって監視すべき地域として設定された監視地域を示す地図データと、を参照して前記周囲状況監視装置による監視の要否を判定し、前記周囲状況監視装置による監視が必要であると判定したときに、監視要求を前記周囲状況監視装置へ送信すると共に、前記移動体センサ群によって得られ前記対象移動体の走行状況を示す走行状況データを前記自動運転管制装置へ送信する車載器と、
を備え、
前記周囲状況監視装置は、
監視センサ群と、
前記監視要求を受信し、前記監視センサ群に前記対象移動体の周囲状況を監視させ、前記対象移動体の周囲状況を示す監視データを前記自動運転管制装置へ送信する監視制御装置と、
を備え、
前記自動運転管制装置は、前記走行状況データと前記監視データを受信し、前記対象移動体の走行障害を前記走行状況データと前記監視データに基づいて判定し、前記走行障害を通知する管制データを前記対象移動体へ送信し、
前記車載器は、前記管制データを受信し、前記管制データと、前記移動体センサ群によって得られ前記対象移動体の周囲状況を示す周囲状況データと、に基づいて前記対象移動体の走行を制御する
自動運転システム。
【0164】
(付記2)
前記周囲状況監視装置は、自動運転で飛行する飛行体である
付記1に記載の自動運転システム。
【0165】
(付記3)
前記対象移動体は、前記飛行体が離着陸するドローンポートを備える
付記2に記載の自動運転システム。
【0166】
(付記4)
前記車載器は、前記自己位置データと、前記監視地域を示す監視地域データと、を含めて前記監視要求を送信し、
前記監視制御装置は、前記監視要求を受信し、前記自己位置データと前記監視地域データに基づいて前記ドローンポートを離陸してから前記監視地域の上空を飛行して前記ドローンポートに着陸するまでの飛行経路を立案し、前記飛行体に前記飛行経路を飛行させる付記3に記載の自動運転システム。
【0167】
(付記5)
前記周囲状況監視装置は、前記監視地域に設けられる路側機である
付記1に記載の自動運転システム。
【0168】
(付記6)
前記監視センサ群は、カラーセンサを含み、
前記監視制御装置は、
前記カラーセンサによって得られるカラーセンサデータに基づいて、前記対象移動体の周囲に存在する物体と、前記物体が位置する場所の平面と、を検知し、
検知した平面における前記物体の位置を推定する
付記1から付記5のいずれか1つに記載の自動運転システム。
【0169】
(付記7)
前記カラーセンサは、RGBカメラまたはRGB-Dカメラである
付記6に記載の自動運転システム。
【0170】
(付記8)
前記自動運転管制装置は、前記対象移動体の位置から近接範囲内に前記対象移動体と対向する障害物が存在する場合に前記走行障害があると判定する
付記1から付記7のいずれか1つに記載の自動運転システム。
【0171】
(付記9)
前記自動運転管制装置は、前記障害物が移動する物体である場合、すれ違い不可を前記走行障害の種類として示す前記管制データを前記対象移動体へ送信し、
前記車載器は、前記走行障害の種類が前記すれ違い不可である場合、前記地図データに示されるエスケープゾーンに前記対象移動体を退避させる
付記8に記載の自動運転システム。
【0172】
(付記10)
前記自動運転管制装置は、前記障害物が移動しない物体である場合、通行不可を前記走行障害の種類として示す前記管制データを前記対象移動体へ送信し、
前記車載器は、前記走行障害の種類が前記通行不可である場合、前記地図データに示されるエスケープゾーンを利用して前記対象移動体をUターンさせる
付記8または付記9に記載の自動運転システム。
【0173】
(付記11)
前記自動運転管制装置は、前記障害物が複数存在する場合、徐行必要を前記走行障害の種類として示す前記管制データを前記対象移動体へ送信し、
前記車載器は、前記走行障害の種類が前記徐行必要である場合、前記対象移動体を徐行させる
付記8から付記10のいずれか1つに記載の自動運転システム。
【0174】
(付記12)
前記自動運転管制装置は、一台以上の移動体のそれぞれから自己位置データを受信し、前記一台以上の移動体のそれぞれの自己位置データに基づいて前記障害物が前記一台以上の移動体のいずれかであるか判定し、前記障害物が前記一台以上の移動体のいずれかであると判定した場合に前記障害物である前記移動体へ前記走行障害を通知する
付記8から付記11のいずれか1つに記載の自動運転システム。
【0175】
(付記13)
前記自動運転管制装置は、一人以上の歩行者に所持される一台以上の携帯端末のそれぞれから自己位置データを受信し、前記一台以上の携帯端末のそれぞれの自己位置データに基づいて前記障害物が前記一人以上の歩行者のいずれかであるか判定し、前記障害物が前記一人以上の歩行者のいずれかであると判定した場合に前記障害物である前記歩行者の前記携帯端末へ前記走行障害を通知する
付記8から付記12のいずれか1つに記載の自動運転システム。
【0176】
(付記14)
前記自動運転システムは、前記周囲状況監視装置を複数備え、
それぞれの前記周囲状況監視装置の前記監視センサ群は、動画像センサを含み、
それぞれの前記周囲状況監視装置の前記監視制御装置は、前記動画像センサによって得られる動画ストリームを含めて前記監視データを前記自動運転管制装置へ送信し、
前記自動運転管制装置は、
前記動画ストリームごとに、複数種類の物体検出モデルのうち送信元の前記周囲状況監視装置に対応付けられた物体検出モデルを用いて前記動画ストリームを入力にして物体検出を行い、検出された物体の検出情報をデータベースに記録し、
前記複数種類の物体検出モデルから選択された物体検出モデルである選択モデルを用いて前記動画ストリームを入力にして検出された物体の検出情報をアノテーションによって修正し、前記動画ストリームと修正された検出情報を学習して前記選択モデルを更新して新たなバージョンの物体検出モデルを生成し、
前記複数種類のバージョン別の物体検出モデルから決定された物体検出モデルである決定モデルを用いて前記動画ストリームを入力にして前記物体検出を行って、前記対象移動体の走行に対する障害物を検出する
付記1から付記13のいずれか1つに記載の自動運転システム。
【0177】
(付記15)
自動運転で走行する移動体である対象移動体と、周囲状況監視装置と、自動運転管制装置と、を備える自動運転システムによる自動運転方法であり、
前記対象移動体は、
前記対象移動体の位置を示す自己位置データと、前記対象移動体が通行するときに前記対象移動体の周囲状況を前記周囲状況監視装置によって監視すべき地域として設定された監視地域を示す地図データと、を参照して前記周囲状況監視装置による監視の要否を判定し、前記周囲状況監視装置による監視が必要であると判定したときに、監視要求を前記周囲状況監視装置へ送信すると共に、前記対象移動体の走行状況を示す走行状況データを前記自動運転管制装置へ送信し、
前記周囲状況監視装置は、
前記監視要求を受信し、前記対象移動体の周囲状況を監視し、前記対象移動体の周囲状況を示す監視データを前記自動運転管制装置へ送信し、
前記自動運転管制装置は、
前記走行状況データと前記監視データを受信し、前記走行状況データと前記監視データに基づいて前記対象移動体の走行障害を判定し、前記走行障害を通知する管制データを前記対象移動体へ送信し、
前記対象移動体は、
前記管制データを受信し、前記管制データと、前記対象移動体の周囲状況を示す周囲状況データと、に基づいて自動運転で走行する
自動運転方法。
【0178】
(付記16)
自動運転で走行する移動体であり、
移動体センサ群と、
前記移動体センサ群によって得られ前記移動体の位置を示す自己位置データと、前記移動体が通行するときに前記移動体の周囲状況を周囲状況監視装置によって監視すべき地域として設定された監視地域を示す地図データと、を参照して前記周囲状況監視装置による監視の要否を判定し、前記周囲状況監視装置による監視が必要であると判定したときに、監視要求を前記周囲状況監視装置へ送信すると共に、前記移動体センサ群によって得られ前記移動体の走行状況を示す走行状況データを自動運転管制装置へ送信し、前記走行状況データと、前記周囲状況監視装置によって得られ前記移動体の周囲状況を示す監視データと、に基づいて判定される前記移動体の走行障害を通知する管制データを前記自動運転管制装置から受信し、前記管制データと、前記移動体センサ群によって得られ前記移動体の周囲状況を示す周囲状況データと、に基づいて前記移動体の走行を制御する車載器と、
を備える移動体。
【0179】
(付記17)
前記周囲状況監視装置は、自動運転で飛行する飛行体であり、
前記移動体は、前記飛行体が離着陸するドローンポートを備える
付記16に記載の移動体。
【0180】
(付記18)
監視センサ群と、
自動運転で走行する対象移動体が監視地域を通行するときに前記対象移動体から監視要求を受信し、前記監視センサ群に前記対象移動体の周囲状況を監視させて前記対象移動体の周囲状況を示す監視データを得て、前記監視データを、前記監視データと、前記対象移動体の走行状況を示す走行状況データと、に基づいて判定される前記対象移動体の走行障害を前記対象移動体に通知する自動運転管制装置へ送信する監視制御装置と、
を備える周囲状況監視装置。
【0181】
(付記19)
前記対象移動体は、ドローンポートを備え、
前記周囲状況監視装置は、自動運転で飛行する飛行体であり、前記ドローンポートを使って離着陸する
付記18に記載の周囲状況監視装置。
【0182】
(付記20)
前記監視制御装置は、前記対象移動体の位置を示す自己位置データと、前記監視地域を示す監視地域データと、を含んだ前記監視要求を受信し、前記自己位置データと前記監視地域データに基づいて前記ドローンポートを離陸してから前記監視地域の上空を飛行して前記ドローンポートに着陸するまでの飛行経路を立案し、前記飛行経路を前記飛行体に飛行させる
付記19に記載の周囲状況監視装置。
【0183】
(付記21)
前記監視地域に設けられる路側機である
付記18に記載の周囲状況監視装置。
【0184】
(付記22)
前記監視センサ群は、カラーセンサを含み、
前記監視制御装置は、
前記カラーセンサによって得られるカラーセンサデータに基づいて、前記対象移動体の周囲に存在する物体と、前記物体が位置する場所の平面と、を検知し、
検知した平面における前記物体の位置を推定する
付記18から付記21のいずれか1つに記載の周囲状況監視装置。
【0185】
(付記23)
前記カラーセンサは、RGBカメラまたはRGB-Dカメラである
付記22に記載の周囲状況監視装置。
【0186】
(付記24)
自動運転で走行する対象移動体から、前記対象移動体の走行状況を示す走行状況データを受信し、
前記対象移動体が監視地域を通行するときに前記対象移動体から監視要求を受信して前記対象移動体の周囲状況を監視する記周囲状況監視装置から、前記対象移動体の周囲状況を示す監視データを受信し、
前記走行状況データと前記監視データに基づいて、前記対象移動体の走行障害を判定し、
前記走行障害を通知する管制データを前記対象移動体へ送信する
自動運転管制装置。
【0187】
(付記25)
前記対象移動体の位置から近接範囲内に前記対象移動体と対向する障害物が存在する場合に前記走行障害があると判定する
付記24に記載の自動運転管制装置。
【0188】
(付記26)
前記障害物が移動する物体である場合、すれ違い不可を前記走行障害の種類として示す前記管制データを前記対象移動体へ送信することによって、エスケープゾーンに前記対象移動体を退避させる
付記25に記載の自動運転管制装置。
【0189】
(付記27)
前記障害物が移動しない物体である場合、通行不可を前記走行障害の種類として示す前記管制データを前記対象移動体へ送信することによって、エスケープゾーンを利用して前記対象移動体をUターンさせる
付記25または付記26に記載の自動運転管制装置。
【0190】
(付記28)
前記障害物が複数存在する場合、徐行必要を前記走行障害の種類として示す前記管制データを前記対象移動体へ送信することによって、前記対象移動体を徐行させる
付記25から付記27のいずれか1つに記載の自動運転管制装置。
【0191】
(付記29)
一台以上の移動体のそれぞれから自己位置データを受信し、前記一台以上の移動体のそれぞれの自己位置データに基づいて前記障害物が前記一台以上の移動体のいずれかであるか判定し、前記障害物が前記一台以上の移動体のいずれかであると判定した場合に前記障害物である前記移動体へ前記走行障害を通知する
付記25から付記28のいずれか1つに記載の自動運転管制装置。
【0192】
(付記30)
一人以上の歩行者に所持される一台以上の携帯端末のそれぞれから自己位置データを受信し、前記一台以上の携帯端末のそれぞれの自己位置データに基づいて前記障害物が前記一人以上の歩行者のいずれかであるか判定し、前記障害物が前記一人以上の歩行者のいずれかであると判定した場合に前記障害物である前記歩行者の前記携帯端末へ前記走行障害を通知する
付記25から付記29のいずれか1つに記載の自動運転管制装置。
【0193】
(付記31)
自動運転で走行する移動体の位置を示す自己位置データと、前記移動体が通行するときに前記移動体の周囲状況を周囲状況監視装置によって監視すべき地域として設定された監視地域を示す地図データと、を参照して前記周囲状況監視装置による監視の要否を判定する処理と、
前記周囲状況監視装置による監視が必要であると判定したときに、監視要求を前記周囲状況監視装置へ送信すると共に、前記移動体の走行状況を示す走行状況データを自動運転管制装置へ送信する処理と、
前記走行状況データと、前記周囲状況監視装置によって得られ前記移動体の周囲状況を示す監視データと、に基づいて判定される前記移動体の走行障害を通知する管制データを前記自動運転管制装置から受信する処理と、
前記管制データと、前記移動体の周囲状況を示す周囲状況データと、に基づいて前記移動体の走行を制御する処理と、
をコンピュータに実行させるための自動運転プログラム。
【0194】
(付記32)
自動運転で走行する対象移動体が監視地域を通行するときに前記対象移動体から監視要求を受信する処理と、
監視センサ群に前記対象移動体の周囲状況を監視させて前記対象移動体の周囲状況を示す監視データを得る処理と、
前記監視データを、前記監視データと、前記対象移動体の走行状況を示す走行状況データと、に基づいて判定される前記対象移動体の走行障害を前記対象移動体に通知する自動運転管制装置へ送信する処理と、
をコンピュータに実行させるための監視プログラム。
【0195】
(付記33)
自動運転で走行する対象移動体から、前記対象移動体の走行状況を示す走行状況データを受信する処理と、
前記対象移動体が監視地域を通行するときに前記対象移動体から監視要求を受信して前記対象移動体の周囲状況を監視する記周囲状況監視装置から、前記対象移動体の周囲状況を示す監視データを受信する処理と、
前記走行状況データと前記監視データに基づいて、前記対象移動体の走行障害を判定する処理と、
前記走行障害を通知する管制データを前記対象移動体へ送信する処理と、
をコンピュータに実行させるための管制プログラム。
【0196】
(付記34)
自動運転で地上を走行する移動体である対象移動体と、自動運転で上空を飛行する飛行体と、自動運転管制装置と、を備える自動運転システムであり、
前記対象移動体は、
移動体センサ群と、
前記移動体センサ群によって得られ前記対象移動体の走行状況を示す走行状況データを前記自動運転管制装置へ送信する車載器と、
を備え、
前記飛行体は、
監視センサ群と、
前記監視センサ群に前記対象移動体の周囲状況を上空から監視させ、前記対象移動体の周囲状況を示す監視データを前記自動運転管制装置へ送信する監視制御装置と、
を備え、
前記自動運転管制装置は、前記走行状況データと前記監視データを受信し、前記走行状況データと前記監視データに基づいて前記対象移動体の走行障害を判定し、前記走行障害を通知する管制データを前記対象移動体へ送信し、
前記車載器は、前記管制データを受信し、前記管制データと、前記移動体センサ群によって得られ前記対象移動体の周囲状況を示す周囲状況データと、に基づいて前記対象移動体の走行を制御する
自動運転システム。
【0197】
(付記35)
前記対象移動体は、前記飛行体が離着陸するドローンポートを備える
付記34に記載の自動運転システム。
【0198】
(付記36)
前記車載器は、監視地域を示す監視地域データと、前記移動体センサ群によって得られ前記対象移動体の位置を示す自己位置データと、を含む監視要求を送信し、
前記監視制御装置は、前記監視要求を受信し、前記自己位置データと前記監視地域データに基づいて前記ドローンポートを離陸してから前記監視地域の上空を飛行して前記ドローンポートに着陸するまでの飛行経路を立案し、前記飛行経路を前記飛行体に飛行させる付記35に記載の自動運転システム。
【0199】
(付記37)
自動運転で地上を走行する移動体である対象移動体と、自動運転で上空を飛行する飛行体と、自動運転管制装置と、を備える自動運転システムによる自動運転方法であり、
前記対象移動体は、
前記対象移動体の走行状況を示す走行状況データを前記自動運転管制装置へ送信し、
前記飛行体は、
前記対象移動体の周囲状況を上空から監視し、前記対象移動体の周囲状況を示す監視データを前記自動運転管制装置へ送信し、
前記自動運転管制装置は、
前記走行状況データと前記監視データを受信し、前記走行状況データと前記監視データに基づいて前記対象移動体の走行障害を判定し、前記走行障害を通知する管制データを前記対象移動体へ送信し、
前記対象移動体は、
前記管制データを受信し、前記管制データと、前記対象移動体の周囲状況を示す周囲状況データと、に基づいて自動運転で走行する
自動運転方法。
【0200】
(付記38)
自動運転で地上を走行する移動体であり、
移動体センサ群と、
前記移動体センサ群によって得られ前記移動体の走行状況を示す走行状況データを自動運転管制装置へ送信し、前記走行状況データと、自動運転で上空を飛行する飛行体によって得られ前記移動体の周囲状況を示す監視データと、に基づいて判定される前記移動体の走行障害を通知する管制データを前記自動運転管制装置から受信し、前記管制データと、前記移動体センサ群によって得られ前記移動体の周囲状況を示す周囲状況データと、に基づいて前記移動体の走行を制御する車載器と、
を備える移動体。
【0201】
(付記39)
前記飛行体が離着陸するドローンポートを備える
付記38に記載の移動体。
【0202】
(付記40)
自動運転で上空を飛行する飛行体であり、
監視センサ群と、
前記監視センサ群に自動運転で地上を走行する対象移動体の周囲状況を上空から監視させて前記対象移動体の周囲状況を示す監視データを得て、前記監視データを、前記監視データと、前記対象移動体の走行状況を示す走行状況データと、に基づいて判定される前記対象移動体の走行障害を前記対象移動体に通知する自動運転管制装置へ送信する監視制御装置と、
を備える飛行体。
【0203】
(付記41)
前記対象移動体は、ドローンポートを備え、
前記飛行体は、前記ドローンポートを使って離着陸する
付記40に記載の飛行体。
【0204】
(付記42)
前記監視制御装置は、監視地域を示す監視地域データと、前記対象移動体の位置を示す自己位置データと、を含む監視要求を受信し、前記自己位置データと前記監視地域データに基づいて前記ドローンポートを離陸してから前記監視地域の上空を飛行して前記ドローンポートに着陸するまでの飛行経路を立案し、前記飛行経路を前記飛行体に飛行させる
付記41に記載の飛行体。
【0205】
(付記43)
自動運転で地上を走行する対象移動体から、前記対象移動体の走行状況を示す走行状況データを受信し、
自動運転で上空を飛行して前記対象移動体の周囲状況を監視する記周囲状況監視装置から、前記対象移動体の周囲状況を示す監視データを受信し、
前記走行状況データと前記監視データに基づいて、前記対象移動体の走行障害を判定し、
前記走行障害を通知する管制データを前記対象移動体へ送信する
自動運転管制装置。
【0206】
(付記44)
自動運転で地上を走行する移動体の走行状況を示す走行状況データを自動運転管制装置へ送信する処理と、
前記走行状況データと、自動運転で上空を飛行する飛行体によって得られ前記移動体の周囲状況を示す監視データと、に基づいて判定される前記移動体の走行障害を通知する管制データを前記自動運転管制装置から受信する処理と、
前記管制データと、前記移動体の周囲状況を示す周囲状況データと、に基づいて前記移動体の走行を制御する処理と、
をコンピュータに実行させるための自動運転プログラム。
【0207】
(付記45)
自動運転で上空を飛行する飛行体に搭載される監視センサ群に自動運転で地上を走行する対象移動体の周囲状況を監視させて前記対象移動体の周囲状況を示す監視データを得る処理と、
前記監視データを、前記監視データと、前記対象移動体の走行状況を示す走行状況データと、に基づいて判定される前記対象移動体の走行障害を前記対象移動体に通知する自動運転管制装置へ送信する処理と、
をコンピュータに実行させるための監視プログラム。
【0208】
(付記46)
自動運転で地上を走行する対象移動体から、前記対象移動体の走行状況を示す走行状況データを受信する処理と、
自動運転で上空を飛行して前記対象移動体の周囲状況を監視する記周囲状況監視装置から、前記対象移動体の周囲状況を示す監視データを受信する処理と、
前記走行状況データと前記監視データに基づいて、前記対象移動体の走行障害を判定する処理と、
前記走行障害を通知する管制データを前記対象移動体へ送信する処理と、
をコンピュータに実行させるための管制プログラム。
【符号の説明】
【0209】
100 自動運転システム、101 移動体、102 携帯端末、110 地図データベース、111 地図データ、120 対象移動体、121 ドローンポート、130 周囲状況監視装置、131 ドローン、200 車載器、201 プロセッサ、202 メモリ、203 補助記憶装置、204 通信装置、205 入出力インタフェース、211 監視要求部、212 管制データ取得部、213 運転制御部、220 記憶部、290 移動体センサ群、291 Depthカメラ、292 Lider、293 測位センサ、300 監視制御装置、301 プロセッサ、302 メモリ、303 補助記憶装置、304 通信装置、305 入出力インタフェース、311 要求受付部、312 監視制御部、313 監視データ生成部、314 監視データ提供部、320 記憶部、390 監視センサ群、391 Depthカメラ、392 RGBカメラ、393 カラーセンサ、400 自動運転管制装置、401 プロセッサ、402 メモリ、403 補助記憶装置、404 通信装置、405 入出力インタフェース、411 データ受付部、412 走行障害判定部、413 管制データ生成部、414 管制データ提供部、415 走行障害通知部、420 記憶部、431 スイッチャー部、432 物体検出部、433 位置推定部、434 アノテーション部、435 学習部、438 データベース、439 動画ストリームAI処理パイプライン。
【要約】
【課題】より安全な自動運転を実現できるようにする。
【解決手段】対象移動体120は、自己位置データと地図データを参照して監視の要否を判定し、監視要求を送信すると共に走行状況データを送信する。周囲状況監視装置130は、前記監視要求を受信し、前記対象移動体の周囲状況を監視し、監視データを送信する。自動運転管制装置400は、前記走行状況データと前記監視データを受信し、前記走行状況データと前記監視データに基づいて前記対象移動体の走行障害を判定し、管制データを前記対象移動体へ送信する。
【選択図】図1
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21