IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ KDDI株式会社の特許一覧

特許7043474自動運転装置、車両、コンピュータプログラム及び自動運転方法
<>
  • 特許-自動運転装置、車両、コンピュータプログラム及び自動運転方法 図1
  • 特許-自動運転装置、車両、コンピュータプログラム及び自動運転方法 図2
  • 特許-自動運転装置、車両、コンピュータプログラム及び自動運転方法 図3
  • 特許-自動運転装置、車両、コンピュータプログラム及び自動運転方法 図4
  • 特許-自動運転装置、車両、コンピュータプログラム及び自動運転方法 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-03-18
(45)【発行日】2022-03-29
(54)【発明の名称】自動運転装置、車両、コンピュータプログラム及び自動運転方法
(51)【国際特許分類】
   G08G 1/16 20060101AFI20220322BHJP
   G08G 1/09 20060101ALI20220322BHJP
   G06T 7/00 20170101ALI20220322BHJP
【FI】
G08G1/16 A
G08G1/09 H
G06T7/00 650Z
【請求項の数】 10
(21)【出願番号】P 2019202611
(22)【出願日】2019-11-07
(65)【公開番号】P2021077036
(43)【公開日】2021-05-20
【審査請求日】2020-12-04
【早期審査対象出願】
(73)【特許権者】
【識別番号】000208891
【氏名又は名称】KDDI株式会社
(74)【代理人】
【識別番号】100165179
【弁理士】
【氏名又は名称】田▲崎▼ 聡
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(74)【代理人】
【識別番号】100114937
【弁理士】
【氏名又は名称】松本 裕幸
(72)【発明者】
【氏名】遠藤 俊樹
(72)【発明者】
【氏名】山田 和紀
(72)【発明者】
【氏名】赤羽 真
(72)【発明者】
【氏名】大黒 將弘
【審査官】佐々木 佳祐
(56)【参考文献】
【文献】特開2010-173601(JP,A)
【文献】特開2013-120557(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00-99/00
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
車両の自動運転を行う自動運転装置において、
前記車両に搭載された撮像装置が撮像した映像データを受信する映像データ受信部と、
前記映像データ受信部が受信した受信映像データに基づいて前記車両の自動運転を行う自動運転制御部と、
前記受信映像データの信憑性を判定する判定部と、
前記受信映像データの信憑性の判定結果に基づいて、前記受信映像データに基づく前記車両の自動運転を解除させるための自動運転解除処理を実行する自動運転解除処理部と、
前記受信映像データと、前記車両の近隣を走行する他の車両に搭載された撮像装置が撮像した他車映像データとの比較により、前記受信映像データと前記他車映像データとの違いの有無を判定する映像比較部と、を備え、
前記判定部は、前記映像比較部の判定結果に基づいて、前記受信映像データの信憑性を判定する、
自動運転装置。
【請求項2】
車両の自動運転を行う自動運転装置において、
前記車両に搭載された撮像装置が撮像した映像データを受信する映像データ受信部と、
前記映像データ受信部が受信した受信映像データに基づいて前記車両の自動運転を行う自動運転制御部と、
前記受信映像データの信憑性を判定する判定部と、
前記受信映像データの信憑性の判定結果に基づいて、前記受信映像データに基づく前記車両の自動運転を解除させるための自動運転解除処理を実行する自動運転解除処理部と、
現実の情報に基づいて、前記受信映像データが現実の情報と異なる情報を有するか否かを判定するデータ比較部と、を備え、
前記判定部は、前記データ比較部の判定結果に基づいて、前記受信映像データの信憑性を判定する、
自動運転装置。
【請求項3】
車両の自動運転を行う自動運転装置において、
前記車両に搭載された撮像装置が撮像した映像データを受信する映像データ受信部と、
前記映像データ受信部が受信した受信映像データに基づいて前記車両の自動運転を行う自動運転制御部と、
前記受信映像データの信憑性を判定する判定部と、
前記受信映像データの信憑性の判定結果に基づいて、前記受信映像データに基づく前記車両の自動運転を解除させるための自動運転解除処理を実行する自動運転解除処理部と、
前記受信映像データが過去に撮像された映像データが流用されたものであるか否かを検知する映像流用検知部と、を備え、
前記判定部は、前記映像流用検知部の検知結果に基づいて、前記受信映像データの信憑性を判定する、
自動運転装置。
【請求項4】
請求項1からのいずれか1項に記載の自動運転装置を備える車両。
【請求項5】
車両の自動運転を行う自動運転装置のコンピュータに、
前記車両に搭載された撮像装置が撮像した映像データを受信する映像データ受信ステップと、
前記映像データ受信ステップが受信した受信映像データに基づいて前記車両の自動運転を行う自動運転制御ステップと、
前記受信映像データの信憑性を判定する判定ステップと、
前記受信映像データの信憑性の判定結果に基づいて、前記受信映像データに基づく前記車両の自動運転を解除させるための自動運転解除処理を実行する自動運転解除処理ステップと、
前記受信映像データと、前記車両の近隣を走行する他の車両に搭載された撮像装置が撮像した他車映像データとの比較により、前記受信映像データと前記他車映像データとの違いの有無を判定する映像比較ステップと、を実行させ、
前記判定ステップは、前記映像比較ステップの判定結果に基づいて、前記受信映像データの信憑性を判定する、
コンピュータプログラム。
【請求項6】
車両の自動運転を行う自動運転装置のコンピュータに、
前記車両に搭載された撮像装置が撮像した映像データを受信する映像データ受信ステップと、
前記映像データ受信ステップが受信した受信映像データに基づいて前記車両の自動運転を行う自動運転制御ステップと、
前記受信映像データの信憑性を判定する判定ステップと、
前記受信映像データの信憑性の判定結果に基づいて、前記受信映像データに基づく前記車両の自動運転を解除させるための自動運転解除処理を実行する自動運転解除処理ステップと、
現実の情報に基づいて、前記受信映像データが現実の情報と異なる情報を有するか否かを判定するデータ比較ステップと、を実行させ、
前記判定ステップは、前記データ比較ステップの判定結果に基づいて、前記受信映像データの信憑性を判定する、
コンピュータプログラム。
【請求項7】
車両の自動運転を行う自動運転装置のコンピュータに、
前記車両に搭載された撮像装置が撮像した映像データを受信する映像データ受信ステップと、
前記映像データ受信ステップが受信した受信映像データに基づいて前記車両の自動運転を行う自動運転制御ステップと、
前記受信映像データの信憑性を判定する判定ステップと、
前記受信映像データの信憑性の判定結果に基づいて、前記受信映像データに基づく前記車両の自動運転を解除させるための自動運転解除処理を実行する自動運転解除処理ステップと、
前記受信映像データが過去に撮像された映像データが流用されたものであるか否かを検知する映像流用検知ステップと、を実行させ、
前記判定ステップは、前記映像流用検知ステップの検知結果に基づいて、前記受信映像データの信憑性を判定する、
コンピュータプログラム。
【請求項8】
車両の自動運転を行う自動運転装置が、前記車両に搭載された撮像装置が撮像した映像データを受信する映像データ受信ステップと、
前記自動運転装置が、前記映像データ受信ステップが受信した受信映像データに基づいて前記車両の自動運転を行う自動運転制御ステップと、
前記自動運転装置が、前記受信映像データの信憑性を判定する判定ステップと、
前記自動運転装置が、前記受信映像データの信憑性の判定結果に基づいて、前記受信映像データに基づく前記車両の自動運転を解除させるための自動運転解除処理を実行する自動運転解除処理ステップと、
前記自動運転装置が、前記受信映像データと、前記車両の近隣を走行する他の車両に搭載された撮像装置が撮像した他車映像データとの比較により、前記受信映像データと前記他車映像データとの違いの有無を判定する映像比較ステップと、を含み、
前記判定ステップは、前記映像比較ステップの判定結果に基づいて、前記受信映像データの信憑性を判定する、
自動運転方法。
【請求項9】
車両の自動運転を行う自動運転装置が、前記車両に搭載された撮像装置が撮像した映像データを受信する映像データ受信ステップと、
前記自動運転装置が、前記映像データ受信ステップが受信した受信映像データに基づいて前記車両の自動運転を行う自動運転制御ステップと、
前記自動運転装置が、前記受信映像データの信憑性を判定する判定ステップと、
前記自動運転装置が、前記受信映像データの信憑性の判定結果に基づいて、前記受信映像データに基づく前記車両の自動運転を解除させるための自動運転解除処理を実行する自動運転解除処理ステップと、
前記自動運転装置が、現実の情報に基づいて、前記受信映像データが現実の情報と異なる情報を有するか否かを判定するデータ比較ステップと、を含み、
前記判定ステップは、前記データ比較ステップの判定結果に基づいて、前記受信映像データの信憑性を判定する、
自動運転方法。
【請求項10】
車両の自動運転を行う自動運転装置が、前記車両に搭載された撮像装置が撮像した映像データを受信する映像データ受信ステップと、
前記自動運転装置が、前記映像データ受信ステップが受信した受信映像データに基づいて前記車両の自動運転を行う自動運転制御ステップと、
前記自動運転装置が、前記受信映像データの信憑性を判定する判定ステップと、
前記自動運転装置が、前記受信映像データの信憑性の判定結果に基づいて、前記受信映像データに基づく前記車両の自動運転を解除させるための自動運転解除処理を実行する自動運転解除処理ステップと、
前記自動運転装置が、前記受信映像データが過去に撮像された映像データが流用されたものであるか否かを検知する映像流用検知ステップと、を含み、
前記判定ステップは、前記映像流用検知ステップの検知結果に基づいて、前記受信映像データの信憑性を判定する、
自動運転方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自動運転装置、車両、コンピュータプログラム及び自動運転方法に関する。
【背景技術】
【0002】
近年、自動運転を行う自動運転車が検討されている。自動運転車は、自動運転において、自車両に搭載された撮像装置が撮像した映像データに基づいて周囲の状況の判断等を行う。このため、映像データに対する改ざん等の攻撃を防ぐことは重要である。例えば非特許文献1,2には、画像に対して加工が行われたことを検知する画像加工検知技術が開示されている。
【先行技術文献】
【非特許文献】
【0003】
【文献】“Photoshopで加工された顔画像を見抜く技術 Adobeが開発”、[令和1年9月27日検索]、インターネット<URL:https://www.itmedia.co.jp/news/articles/1906/19/news111.html>
【文献】“LP-Exam”、[令和1年9月27日検索]、インターネット<URL:https://lpixel.net/products/>
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、上述した非特許文献1に記載の画像加工検知技術は、特定の画像加工ソフトウェアによる特定の加工処理が施された画像のみを検知対象にしており、自動運転車における画像加工検知に利用することが難しい。非特許文献2に記載の画像加工検知技術は、加工された画像の検知はできるが、自動運転車で撮像された映像データに対して、加工されていない他の映像データを混入させる攻撃には対処することができない。
【0005】
本発明は、このような事情を考慮してなされたものであり、その目的は、映像データを使用して自動運転を行う自動運転車の円滑な自動運転を図ることにある。
【課題を解決するための手段】
【0006】
(1)本発明の一態様は、車両の自動運転を行う自動運転装置において、前記車両に搭載された撮像装置が撮像した映像データを受信する映像データ受信部と、前記映像データ受信部が受信した受信映像データに基づいて前記車両の自動運転を行う自動運転制御部と、前記受信映像データの信憑性を判定する判定部と、前記受信映像データの信憑性の判定結果に基づいて、前記受信映像データに基づく前記車両の自動運転を解除させるための自動運転解除処理を実行する自動運転解除処理部と、前記受信映像データと、前記車両の近隣を走行する他の車両に搭載された撮像装置が撮像した他車映像データとの比較により、前記受信映像データと前記他車映像データとの違いの有無を判定する映像比較部と、を備え、前記判定部は、前記映像比較部の判定結果に基づいて、前記受信映像データの信憑性を判定する、自動運転装置である。
(2)本発明の一態様は、車両の自動運転を行う自動運転装置において、前記車両に搭載された撮像装置が撮像した映像データを受信する映像データ受信部と、前記映像データ受信部が受信した受信映像データに基づいて前記車両の自動運転を行う自動運転制御部と、前記受信映像データの信憑性を判定する判定部と、前記受信映像データの信憑性の判定結果に基づいて、前記受信映像データに基づく前記車両の自動運転を解除させるための自動運転解除処理を実行する自動運転解除処理部と、現実の情報に基づいて、前記受信映像データが現実の情報と異なる情報を有するか否かを判定するデータ比較部と、を備え、前記判定部は、前記データ比較部の判定結果に基づいて、前記受信映像データの信憑性を判定する、自動運転装置である。
(3)本発明の一態様は、車両の自動運転を行う自動運転装置において、前記車両に搭載された撮像装置が撮像した映像データを受信する映像データ受信部と、前記映像データ受信部が受信した受信映像データに基づいて前記車両の自動運転を行う自動運転制御部と、前記受信映像データの信憑性を判定する判定部と、前記受信映像データの信憑性の判定結果に基づいて、前記受信映像データに基づく前記車両の自動運転を解除させるための自動運転解除処理を実行する自動運転解除処理部と、前記受信映像データが過去に撮像された映像データが流用されたものであるか否かを検知する映像流用検知部と、を備え、前記判定部は、前記映像流用検知部の検知結果に基づいて、前記受信映像データの信憑性を判定する、自動運転装置である。
【0007】
)本発明の一態様は、上記(1)から()のいずれかの自動運転装置を備える車両である。
【0008】
)本発明の一態様は、車両の自動運転を行う自動運転装置のコンピュータに、前記車両に搭載された撮像装置が撮像した映像データを受信する映像データ受信ステップと、前記映像データ受信部が受信した受信映像データに基づいて前記車両の自動運転を行う自動運転制御ステップと、前記受信映像データの信憑性を判定する判定ステップと、前記受信映像データの信憑性の判定結果に基づいて、前記受信映像データに基づく前記車両の自動運転を解除させるための自動運転解除処理を実行する自動運転解除処理ステップと、前記受信映像データと、前記車両の近隣を走行する他の車両に搭載された撮像装置が撮像した他車映像データとの比較により、前記受信映像データと前記他車映像データとの違いの有無を判定する映像比較ステップと、を実行させ、前記判定ステップは、前記映像比較ステップの判定結果に基づいて、前記受信映像データの信憑性を判定する、コンピュータプログラムである。
(6)本発明の一態様は、車両の自動運転を行う自動運転装置のコンピュータに、前記車両に搭載された撮像装置が撮像した映像データを受信する映像データ受信ステップと、前記映像データ受信部が受信した受信映像データに基づいて前記車両の自動運転を行う自動運転制御ステップと、前記受信映像データの信憑性を判定する判定ステップと、前記受信映像データの信憑性の判定結果に基づいて、前記受信映像データに基づく前記車両の自動運転を解除させるための自動運転解除処理を実行する自動運転解除処理ステップと、現実の情報に基づいて、前記受信映像データが現実の情報と異なる情報を有するか否かを判定するデータ比較ステップと、を実行させ、前記判定ステップは、前記データ比較ステップの判定結果に基づいて、前記受信映像データの信憑性を判定する、コンピュータプログラムである。
(7)本発明の一態様は、車両の自動運転を行う自動運転装置のコンピュータに、前記車両に搭載された撮像装置が撮像した映像データを受信する映像データ受信ステップと、前記映像データ受信部が受信した受信映像データに基づいて前記車両の自動運転を行う自動運転制御ステップと、前記受信映像データの信憑性を判定する判定ステップと、前記受信映像データの信憑性の判定結果に基づいて、前記受信映像データに基づく前記車両の自動運転を解除させるための自動運転解除処理を実行する自動運転解除処理ステップと、前記受信映像データが過去に撮像された映像データが流用されたものであるか否かを検知する映像流用検知ステップと、を実行させ、前記判定ステップは、前記映像流用検知ステップの検知結果に基づいて、前記受信映像データの信憑性を判定する、コンピュータプログラムである。
【0009】
(8)本発明の一態様は、車両の自動運転を行う自動運転装置が、前記車両に搭載された撮像装置が撮像した映像データを受信する映像データ受信ステップと、前記自動運転装置が、前記映像データ受信ステップが受信した受信映像データに基づいて前記車両の自動運転を行う自動運転制御ステップと、前記自動運転装置が、前記受信映像データの信憑性を判定する判定ステップと、前記自動運転装置が、前記受信映像データの信憑性の判定結果に基づいて、前記受信映像データに基づく前記車両の自動運転を解除させるための自動運転解除処理を実行する自動運転解除処理ステップと、前記自動運転装置が、前記受信映像データと、前記車両の近隣を走行する他の車両に搭載された撮像装置が撮像した他車映像データとの比較により、前記受信映像データと前記他車映像データとの違いの有無を判定する映像比較ステップと、を含み、前記判定ステップは、前記映像比較ステップの判定結果に基づいて、前記受信映像データの信憑性を判定する、自動運転方法である。
(9)本発明の一態様は、車両の自動運転を行う自動運転装置が、前記車両に搭載された撮像装置が撮像した映像データを受信する映像データ受信ステップと、前記自動運転装置が、前記映像データ受信ステップが受信した受信映像データに基づいて前記車両の自動運転を行う自動運転制御ステップと、前記自動運転装置が、前記受信映像データの信憑性を判定する判定ステップと、前記自動運転装置が、前記受信映像データの信憑性の判定結果に基づいて、前記受信映像データに基づく前記車両の自動運転を解除させるための自動運転解除処理を実行する自動運転解除処理ステップと、前記自動運転装置が、現実の情報に基づいて、前記受信映像データが現実の情報と異なる情報を有するか否かを判定するデータ比較ステップと、を含み、前記判定ステップは、前記データ比較ステップの判定結果に基づいて、前記受信映像データの信憑性を判定する、自動運転方法である。
(10)本発明の一態様は、車両の自動運転を行う自動運転装置が、前記車両に搭載された撮像装置が撮像した映像データを受信する映像データ受信ステップと、前記自動運転装置が、前記映像データ受信ステップが受信した受信映像データに基づいて前記車両の自動運転を行う自動運転制御ステップと、前記自動運転装置が、前記受信映像データの信憑性を判定する判定ステップと、前記自動運転装置が、前記受信映像データの信憑性の判定結果に基づいて、前記受信映像データに基づく前記車両の自動運転を解除させるための自動運転解除処理を実行する自動運転解除処理ステップと、前記自動運転装置が、前記受信映像データが過去に撮像された映像データが流用されたものであるか否かを検知する映像流用検知ステップと、を含み、前記判定ステップは、前記映像流用検知ステップの検知結果に基づいて、前記受信映像データの信憑性を判定する、自動運転方法である。
【発明の効果】
【0010】
本発明によれば、映像データを使用して自動運転を行う自動運転車の円滑な自動運転を図ることができる。
【図面の簡単な説明】
【0011】
図1】一実施形態に係る自動運転装置の構成例を示すブロック図である。
図2】一実施形態に係る映像比較部の構成例を示すブロック図である。
図3】一実施形態に係る映像加工検知部の構成例を示すブロック図である。
図4】一実施形態に係る映像流用検知部の構成例を示すブロック図である。
図5】一実施形態に係る自動運転方法の手順の例を示すフローチャートである。
【発明を実施するための形態】
【0012】
以下、図面を参照し、本発明の実施形態について説明する。
図1は、一実施形態に係る自動運転装置の構成例を示すブロック図である。図1において、自動運転装置1は、自動運転車Vaに搭載されている。自動運転装置1は、自動運転車Vaに搭載された撮像装置が撮像した映像データPaに基づいて、自動運転車Vaの自動運転を行う。以下、映像データPaを自車映像データPaと称する。
【0013】
車両Vb,Vcは、自動運転車Vaの近隣を走行する車両である。車両Vb,Vcは、自動運転車Vaが走行する場所及び走行する時間に対して、一定の距離範囲及び時間範囲のうちを走行するものであってもよい。車両Vb,Vcは、自車に搭載された撮像装置が撮像した映像データPb,Pcを自動運転車Vaに提供する。映像データPb,Pcは、車車間通信により車両Vb,Vcから自動運転車Vaへ提供されてもよく、又は、所定のサーバ(図示せず)を介して車両Vb,Vcから自動運転車Vaへ提供されてもよい。
【0014】
例えば、車両Vb,Vcが映像データPb,Pcを通信により映像配信サーバ(図示せず)へ送信し、映像配信サーバが映像データPb,Pcを撮像位置及び撮像時間と共に登録する。映像配信サーバは、映像データPb,Pcの撮像位置及び撮像時間に基づいて、車両Vb,Vcの近隣を走行する自動運転車Vaへ映像データPb,Pcを通信により送信する。以下、映像データPb,Pcを他車映像データPb,Pcと称する。
【0015】
自動運転装置1は、自動運転制御部10と、映像データ受信部11と、映像比較部12と、映像加工検知部13と、映像流用検知部14と、判定部15と、自動運転解除処理部16と、保守部17とを備える。自動運転装置1の各機能は、自動運転装置1がCPU(Central Processing Unit:中央演算処理装置)及びメモリ等のコンピュータハードウェアを備え、CPUがメモリに格納されたコンピュータプログラムを実行することにより実現される。
【0016】
自動運転制御部10は、映像データ受信部11が自動運転装置1の外部の装置から受信した自車映像データPa(以下、受信映像データPa_Rと称する)に基づいて、自動運転車Vaの自動運転を行う。
【0017】
映像データ受信部11は、自車映像データPa及び他車映像データPb,Pcを受信する。映像データ受信部11は、自動運転車Vaに搭載された撮像装置が撮像した自車映像データPaを、自動運転装置1の外部の装置である例えばドライブレコーダ等の映像記録装置から受信する。そのドライブレコーダ等の映像記録装置に記録された自車映像データPaに対して改ざん等の攻撃が加えられると、映像データ受信部11が受信した受信映像データPa_Rは、元の自車映像データPaとは異なるものとなって、自動運転制御部10による自動運転性能を十分に発揮することができなくなる可能性が生じる。このため、本実施形態では、受信映像データPa_Rの信憑性を判定することにより、自動運転制御部10による自動運転車の円滑な自動運転を図る。
【0018】
映像比較部12は、受信映像データPa_Rと他車映像データPb,Pcとの比較により、受信映像データPa_Rと他車映像データPb,Pcとの違いの有無を判定する。また、映像比較部12は、現実の情報に基づいて、受信映像データPa_Rが現実の情報と異なる情報を有するか否かを判定する。以下、他車映像データPb,Pcを特に区別しないときは「他車映像データPS」と称する。
【0019】
図2は、本実施形態に係る映像比較部の構成例を示すブロック図である。図2において、映像比較部12は、領域分割部120と、物体識別部121と、輝度分析部122と、走行路推定部123と、天候状態推定部124と、時刻推定部125と、推定結果比較部126と、車両データ比較部127とを備える。
【0020】
領域分割部120は、受信映像データPa_Rと他車映像データPSとをそれぞれ対象にして、映像内の所定サイズの各領域を道路や歩道や建物等のカテゴリに分類し、映像内の所定サイズの各領域をカテゴリで区別する。
【0021】
物体識別部121は、受信映像データPa_Rと他車映像データPSとをそれぞれ対象にして、映像に含まれる物体を標識や信号や車両や人や雨粒等の物体の種別で識別する。
【0022】
輝度分析部122は、受信映像データPa_Rと他車映像データPSとをそれぞれ対象にして、映像の明るさ(輝度)を推定する。
【0023】
走行路推定部123は、領域分割部120による映像内の各領域のカテゴリ分類結果と、物体識別部121による物体種別識別結果(標識および信号の識別結果ならびにランドマーク等の他の周囲の物体の識別結果)とに基づいて、自動運転車Vaや車両Vb,Vcがそれぞれ走行している道路の種別を推定する。道路の種別は、一般道路、高速道路、トンネル道路、細街路などである。
【0024】
天候状態推定部124は、物体種別識別結果(雨粒や傘や太陽等の識別結果)に基づいて、自動運転車Vaや車両Vb,Vcがそれぞれ走行している時の天候状態を推定する。
【0025】
時刻推定部125は、物体種別識別結果(街灯や店の明かりや空や太陽の識別結果)と、輝度分析部122による輝度分析結果とに基づいて、街灯や店の明かりの点灯の有無、空の明るさ又は太陽の位置を判断し、当該判断の結果に基づいて、自動運転車Vaや車両Vb,Vcがそれぞれ走行している時刻を推定する。
【0026】
推定結果比較部126は、走行路推定部123による道路種別推定結果と、天候状態推定部124による天候状態推定結果と、時刻推定部125による時刻推定結果とについて、自動運転車Vaと車両Vb,Vcとの間でそれそれ比較し、違いの有無を判定する。推定結果比較部126は、当該違いの有無の判定結果に基づいて、比較対象の2つの映像データ(受信映像データPa_Rと他車映像データPS)における一定の期間の映像において違いが有るフレームが連続する場合に、当該比較対象の2つの映像データ(受信映像データPa_Rと他車映像データPS)は異なる「異映像」であると判定する。
【0027】
車両データ比較部127は、受信映像データPa_Rについて、走行路推定部123による道路種別推定結果と走行位置付近の地図データとを比較する。また、車両データ比較部127は、受信映像データPa_Rについて、天候状態推定部124による天候状態推定結果と、車両データに含まれるワイパーのオン(ON)/オフ(OFF)情報や雨量センサ情報や走行位置付近の気象情報とを比較する。また、車両データ比較部127は、受信映像データPa_Rについて、時刻推定部125による時刻推定結果と、時刻情報や車両データに含まれるワイパーのオン(ON)/オフ(OFF)情報とを比較する。車両データ比較部127は、それら比較の結果に基づいて、比較対象の両者の違いの有無を判定する。車両データ比較部127は、当該判定の結果に基づいて、比較対象の各推定結果において違いが有る推定結果が一定の期間続く場合に、当該推定結果の基である受信映像データPa_Rが現実とは違う(受信映像データPa_Rが現実の情報と異なる情報を有する「非現実映像」である)と判定する。なお、車両データ、地図データ、時刻情報及び気象情報は、自動運転車Vaに保持されるものが自動運転装置1へ入力される。
【0028】
説明を図1に戻す。
映像加工検知部13は、受信映像データPa_Rを対象にして、映像データに加工箇所があることを検知し、映像加工の有無を示す加工判定結果を出力する。
【0029】
図3は、本実施形態に係る映像加工検知部の構成例を示すブロック図である。図3において、映像加工検知部13は、影検出部130と、影向き推定部131と、つぎはぎ検出部132と、その他加工検出部133とを備える。
【0030】
影検出部130は、受信映像データPa_Rを対象にして、映像の中の影領域を検出する。
【0031】
影向き推定部131は、影検出部130が検出した複数の影領域から影の向き(影向き)を推定する。
【0032】
つぎはぎ検出部132は、影向き推定部131が推定した複数の影向きについて、影向きの違いから映像のつぎはぎの有無を検出する。また、つぎはぎ検出部132は、受信映像データPa_Rと他車映像データPSとをそれぞれ対象にして、高コントラスト処理やハイパスフィルター処理などを施すことにより、映像のつぎはぎの有無を検出してもよい。
【0033】
その他加工検出部133は、受信映像データPa_Rを対象にして、映像加工の有無を検出する検出処理を実行する。例えば、その他加工検出部133は、映像加工の有無を検出するように深層学習された深層学習モデルを利用することにより、映像加工の有無を検出してもよい。また、その他加工検出部133は、ノイズ分布やエッジなどの画像ピクセル情報を分析することにより、映像加工の有無を検出してもよい。また、その他加工検出部133は、映像加工履歴が記録されているメタデータ領域を分析することにより、映像加工の有無を検出してもよい。
【0034】
映像加工検知部13は、加工判定結果として、つぎはぎ検出部132による受信映像データPa_Rの映像のつぎはぎの有無の検出結果を出力する。また、映像加工検知部13は、加工判定結果として、その他加工検出部133による受信映像データPa_Rの映像加工の有無の検出結果を出力する。
【0035】
説明を図1に戻す。
映像流用検知部14は、受信映像データPa_Rが過去に撮像された映像データが流用されたものであるか否かを検知する。
【0036】
図4は、本実施形態に係る映像流用検知部の構成例を示すブロック図である。図4において、映像流用検知部14は、特徴量抽出部140と、類似度判定部141と、特徴量蓄積管理部142と、特徴量蓄積部143とを備える。
【0037】
特徴量抽出部140は、受信映像データPa_Rから特徴量を抽出する。特徴量は、例えば、SIFT(Scale-Invariant Feature Transform)特徴量や特徴点などである。特徴量抽出部140は、受信映像データPa_Rから抽出した特徴量(以下、第1特徴量と称する)を出力する。
【0038】
類似度判定部141は、特徴量抽出部140から出力された第1特徴量と、特徴量蓄積部143に格納された特徴量(以下、第2特徴量と称する)とを使用して、ハミング距離等の距離を計算する。類似度判定部141は、一定の期間(数秒)において、計算結果の距離が継続して所定の閾値以下である場合に、第1特徴量の抽出元の受信映像データPa_Rが過去に撮像された映像データが流用されたものであると判定する。
【0039】
特徴量蓄積管理部142は、第1特徴量の抽出元の受信映像データPa_Rが流用されたものであると判定された場合に、当該第1特徴量を特徴量蓄積部143に格納すると共に当該判定に使用された第2特徴量についての特徴量蓄積部143内の流用回数を1増やす。一方、特徴量蓄積管理部142は、第1特徴量の抽出元の受信映像データPa_Rが流用されたものでないと判定された場合に、当該第1特徴量を特徴量蓄積部143に格納する。第1特徴量の抽出元の受信映像データPa_Rが流用されたものでないと判定された場合、当該判定に使用された第2特徴量についての特徴量蓄積部143内の流用回数は変更されない。また、第1特徴量についての特徴量蓄積部143内の流用回数の初期値は0に設定される。特徴量蓄積管理部142は、一定の期間において、流用回数が0のままである特徴量を、特徴量蓄積部143から削除する。
【0040】
特徴量蓄積部143は、特徴量、特徴量が特徴量蓄積部143に格納された時刻(登録時刻)及び流用回数を格納する。
【0041】
説明を図1に戻す。
判定部15は、映像比較部12(推定結果比較部126)による「異映像」の判定結果「異映像であるか否か」、映像比較部12(車両データ比較部127)による「非現実映像」の判定結果「非現実映像であるか否か」、映像加工検知部13による加工判定結果「映像加工ありか否か」、及び映像流用検知部14による流用判定結果「流用であるか否か」に基づいて、受信映像データPa_Rの信憑性を判定する。信憑性判定方法の例を以下に挙げる。
【0042】
(信憑性判定方法の例1)
「異映像である」、「非現実映像である」、「映像加工あり」及び「流用である」のうち少なくとも一つが成立した場合、判定部15は、受信映像データPa_Rの信憑性を否定する。そうではない場合、判定部15は、受信映像データPa_Rの信憑性を肯定する。
【0043】
(信憑性判定方法の例2)
「異映像である」、「非現実映像である」、「映像加工あり」及び「流用である」のうち、いずれか複数又は全てが成立した場合、判定部15は、受信映像データPa_Rの信憑性を否定する。そうではない場合、判定部15は、受信映像データPa_Rの信憑性を肯定する。
【0044】
(信憑性判定方法の例3)
「異映像である」、「非現実映像である」、「映像加工あり」及び「流用である」のうち少なくとも所定の判定結果が成立した場合、判定部15は、受信映像データPa_Rの信憑性を否定する。そうではない場合、判定部15は、受信映像データPa_Rの信憑性を肯定する。例えば、少なくとも「異映像である」が成立した場合、他の判定結果に関わらず、判定部15は、受信映像データPa_Rの信憑性を否定し、そうではない場合、判定部15は、受信映像データPa_Rの信憑性を肯定する。例えば、少なくとも「非現実映像である」と「映像加工あり」とが成立した場合、他の判定結果に関わらず、判定部15は、受信映像データPa_Rの信憑性を否定し、そうではない場合、判定部15は、受信映像データPa_Rの信憑性を肯定する。
【0045】
自動運転解除処理部16は、判定部15が受信映像データPa_Rの信憑性を否定した場合、受信映像データPa_Rに基づく自動運転車Vaの自動運転を解除させるための自動運転解除処理を実行する。自動運転解除処理部16は、判定部15が受信映像データPa_Rの信憑性を肯定した場合には、当該自動運転解除処理を実行しない。自動運転解除処理の例を以下に示す。
【0046】
(自動運転解除処理の例1)
自動運転解除処理部16は、自動運転車Vaの運転者に対して、自動運転から手動運転へ切り替えることを促す通知を行う。当該通知は、自動運転車Vaの表示画面に通知メッセージが表示されてもよく、又は、自動運転車Vaのスピーカから通知メッセージが音声再生されてもよい。自動運転車Vaの運転者は、当該通知に応じて、自動運転車Vaを自動運転から手動運転へ切り替える。なお、自動運転解除処理部16は、自動運転車Vaの運転者に対して自動運転から手動運転へ切り替えることを促す通知を行ってから一定の期間が経過しても、自動運転から手動運転へ切り替わらない場合、自動運転制御部10へ停車を指示してもよい。自動運転制御部10は、当該停車の指示に応じて、自動運転車Vaを停車させる。
【0047】
(自動運転解除処理の例2)
自動運転解除処理部16は、自動運転制御部10に対して、受信映像データPa_Rの信憑性を否定することを通知する。自動運転制御部10は、当該通知に応じて、受信映像データPa_Rに基づく自動運転を解除するように、自動運転制御処理に対して所定の手順変更を行う。例えば、受信映像データPa_Rに基づく判断の重要度を最低に下げたり、又は、当該判断を採用しないように、自動運転制御処理に対して所定の手順変更を行う。
【0048】
保守部17は、判定部15が受信映像データPa_Rの信憑性を否定した場合、所定の保守サーバ(図示せず)へ、改ざん等の攻撃への対処を依頼する。保守サーバは、当該対処の依頼に応じて、自動運転車Vaに対して遠隔でマルウェア等の攻撃ソフトウェアの駆除や正規ソフトウェアの再インストール等の保守作業を適切な保守タイミングで実施する。
【0049】
図5は、本実施形態に係る自動運転方法の手順の例を示すフローチャートである。図5を参照して本実施形態に係る自動運転方法を説明する。
【0050】
(ステップS1) 自動運転装置1は、自車映像データPaを受信する。また、自動運転装置1は、他車映像データPSを受信する。
【0051】
(ステップS2) 自動運転装置1は、受信した自車映像データPa(受信映像データPa_R)の信憑性を判定する。
【0052】
(ステップS3) ステップS2の判定の結果、受信映像データPa_Rの信憑性が肯定された場合、ステップS4に進む。一方、受信映像データPa_Rの信憑性が否定された場合、ステップS5に進む。
【0053】
(ステップS4) 自動運転車Vaの自動運転を継続する。
【0054】
(ステップS5) 自動運転装置1は、自動運転解除処理を実行する。
【0055】
本実施形態によれば、自車映像データPaを使用して自動運転を行う自動運転車Vaにおいて、自動運転装置1が自己の外部の装置から受信した自車映像データPa(受信映像データPa_R)の信憑性を判定し、当該受信映像データの信憑性の判定結果に基づいて受信映像データPa_Rに基づく自動運転車Vaの自動運転を解除させるための自動運転解除処理を実行する。これにより、自車映像データPaを使用して自動運転を行う自動運転車Vaの円滑な自動運転を図ることができる。
【0056】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【0057】
また、上述した各装置の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、DVD(Digital Versatile Disc)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【0058】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
【符号の説明】
【0059】
1…自動運転装置、Va…自動運転車、10…自動運転制御部、11…映像データ受信部、12…映像比較部、13…映像加工検知部、14…映像流用検知部、15…判定部、16…自動運転解除処理部、17…保守部、120…領域分割部、121…物体識別部、122…輝度分析部、123…走行路推定部、124…天候状態推定部、125…時刻推定部、126…推定結果比較部、127…車両データ比較部、130…影検出部、131…影向き推定部、132…つぎはぎ検出部、133…その他加工検出部、140…特徴量抽出部、141…類似度判定部、142…特徴量蓄積管理部、143…特徴量蓄積部
図1
図2
図3
図4
図5