特表-19116423IP Force 特許公報掲載プロジェクト 2015.5.11 β版

▶ 本田技研工業株式会社の特許一覧
<>
  • 再表WO2019116423-教師データ生成装置 図000003
  • 再表WO2019116423-教師データ生成装置 図000004
  • 再表WO2019116423-教師データ生成装置 図000005
  • 再表WO2019116423-教師データ生成装置 図000006
  • 再表WO2019116423-教師データ生成装置 図000007
  • 再表WO2019116423-教師データ生成装置 図000008
< >
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2019年6月20日
【発行日】2020年11月26日
(54)【発明の名称】教師データ生成装置
(51)【国際特許分類】
   G08G 1/16 20060101AFI20201030BHJP
   G08G 1/00 20060101ALI20201030BHJP
【FI】
   G08G1/16 A
   G08G1/00 A
【審査請求】有
【予備審査請求】未請求
【全頁数】20
【出願番号】特願2019-559428(P2019-559428)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2017年12月11日
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(74)【代理人】
【識別番号】100076428
【弁理士】
【氏名又は名称】大塚 康徳
(74)【代理人】
【識別番号】100115071
【弁理士】
【氏名又は名称】大塚 康弘
(74)【代理人】
【識別番号】100112508
【弁理士】
【氏名又は名称】高柳 司郎
(74)【代理人】
【識別番号】100116894
【弁理士】
【氏名又は名称】木村 秀二
(74)【代理人】
【識別番号】100130409
【弁理士】
【氏名又は名称】下山 治
(74)【代理人】
【識別番号】100134175
【弁理士】
【氏名又は名称】永川 行光
(74)【代理人】
【識別番号】100166648
【弁理士】
【氏名又は名称】鎗田 伸宜
(72)【発明者】
【氏名】岩▲崎▼ 瞬
【テーマコード(参考)】
5H181
【Fターム(参考)】
5H181AA01
5H181BB04
5H181CC03
5H181CC04
5H181CC12
5H181CC14
5H181CC24
5H181EE02
5H181EE13
5H181FF04
5H181FF05
5H181FF14
5H181FF22
5H181LL01
5H181LL02
5H181LL04
5H181LL07
5H181LL08
5H181LL09
(57)【要約】
車両に搭載したカメラ等で収集した外部環境情報を外部環境情報取得部302により取得し、ラベリング処理部304によりラベルを付与する。その際に、ラベリング対象の情報を取得した時点で車両が回避動作をすることなく通行できれば付与するラベルは通過可能を示すラベルである。一方、回避動作をした場合には、外部環境情報にラベルを付与し無くともよいし、通過不可の旨のラベルを付与してもよい。
【特許請求の範囲】
【請求項1】
自動走行のためのデータ生成装置であって、
外部環境情報を取得する取得手段と、
前記取得手段により取得した外部環境情報に含まれた着目情報に、前記外部環境情報が収集された位置を車両が通行したことに応じたラベルを付与するラベリング手段と
を有することを特徴とするデータ収集装置。
【請求項2】
請求項1に記載のデータ生成装置であって、
前記取得手段は、車両に搭載した検知手段により検知した前記外部環境情報を取得することを特徴とするデータ生成装置。
【請求項3】
請求項2に記載のデータ生成装置であって、
前記ラベリング手段は、前記着目情報を取得した位置から所定距離走行した位置で取得した前記外部環境情報に基づいて前記車両の通過位置を特定し、前記着目情報において前記通過位置に対応する位置に、通過可能のラベルを付与することを特徴とするデータ生成装置。
【請求項4】
請求項3に記載のデータ生成装置であって、
前記外部環境情報には、カメラで撮影された、フレームを単位とする画像情報が含まれており、
前記ラベリング手段は、前記フレームを前記着目情報として前記ラベルを付与することを特徴とするデータ生成装置。
【請求項5】
請求項4に記載のデータ生成装置であって、
前記所定距離は、予め定めたフレームの間隔に相当する距離であることを特徴とするデータ生成装置。
【請求項6】
請求項4乃至5のいずれか一項に記載のデータ生成装置であって、
前記ラベリング手段は、所定数のフレームおきにラベルを付与することを特徴とするデータ生成装置。
【請求項7】
請求項3乃至6のいずれか一項に記載のデータ生成装置であって、
前記ラベリング手段は、前記着目フレームにおいて通行しなかった領域について通行不可と判定し、前記着目情報に通行不可のラベルを付与することを特徴とするデータ生成装置。
【請求項8】
請求項1乃至7のいずれか一項に記載のデータ生成装置であって、
前記ラベリング手段により前記ラベルが付された前記外部環境情報に、オペレータの操作に応じてアノテーションをさらに付加し、教師データを生成する手段をさらに有することを特徴とするデータ生成装置。
【請求項9】
請求項8に記載のデータ生成装置であって、
前記教師データを用いた機械学習を行って自動運転モデルを生成する学習手段をさらに有することを特徴とするデータ生成装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば自動運転のための機械学習用教師データを収集する教師データ収集装置に関する。
【背景技術】
【0002】
車両の自動運転技術において、走行中の様々な状況における運転操作を機械学習により学習させた人工知能による車両制御が提案されている。人工知能による車両制御では、カメラやレーダ等の車載センサによる検知データを入力とし、たとえば入力データから抽出した特徴量に応じた出力によって、ブレーキなどの制動制御、ステアリングを行う操舵制御、エンジン等の動力の駆動制御、照明等の周辺機器の周辺制御などの走行制御が行われる。機械学習のための技術のひとつに教師あり学習がある。教師あり学習では、予め入力されるデータにアノテーション(ラベルあるいはタグなどとも呼ばれる)を付与した教師データを用意しておき、その教師データを入力として人工知能に学習させる。アノテーションは、たとえば画像データを入力データとした場合、その画像データ中で認識されるべき障害や白線、標識、信号等を示した情報として付与される。たとえば特許文献1にはそのような機械学習を利用したシステムの一例が記載されている。それによれば、入力画像を複数のブロックに分割し、予めユーザの指示によりクラスが指定された学習用データで学習させた装置により、それらブロックを、各ブロックに通路領域が含まれる可能性に応じたクラスへと分類する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2011−150627号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、自動運転の教師データとして収集する情報は膨大であり、収集した情報に機械学習のためのアノテーションを付与する作業もまた膨大な作業となり、多大な労力と経費、時間を要する作業となる。
【0005】
本発明は上記従来例に鑑みて成されたもので、機械学習のために要する労力、経費、時間等を軽減することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するために本発明は以下の構成を有する。
【0007】
すなわち、本発明の一側面によれば、自動走行のためのデータ生成装置であって、
外部環境情報を取得する取得手段と、
前記取得手段により取得した外部環境情報に含まれた着目情報に、前記外部環境情報が収集された位置を車両が通過したことに応じたラベルを付与するラベリング手段とを有する。
【発明の効果】
【0008】
本発明によれば、外部環境情報に対するラベリングの少なくとも一部を自動化でき、教師データ生成作業の労力削減、時間短縮、コスト削減を実現できる。
【0009】
本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
【図面の簡単な説明】
【0010】
添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
図1図1は車両システムの構成を示した説明図である。
図2図2はサーバの構成を示すブロック図である。
図3図3は外部環境情報に基づいて自動運転モデルを生成するための構成を示すブロック図である。
図4図4は自動運転モデルを用いた車両の自動運転制御のためのブロック図である。
図5図5は取得した外部環境情報にラベリングする手順を示すフローチャートである。
図6図6は走行中におけるラベリングの具体例を示す図である。
【発明を実施するための形態】
【0011】
[第一実施形態]
●車両用制御装置の構成
図1は、本発明の一実施形態に係る車両用制御装置のブロック図である。図1において、車両1はその概略が平面図と側面図とで示されている。車両1は一例としてセダンタイプの四輪の乗用車である。本実施形態において、車両1は自動運転モデルを生成するためのデータ収集車であると同時に、生成された自動運転モデルを用いた自動運転を実施可能な車両である。なお本実施形態における自動運転モデルとは、入力となる各種情報に出力となる車両の制御パラメータを対応付けたデータの集積であり本例ではベースとなる人工知能に学習させることで生成される。車両1は、データ収集車として稼働する際には、基本的に手動運転モードで運転者により運転され、各センサは教師データの基となるデータを収集するために利用される。一方、自動運転車両として稼働する際には、車両1は自動運転モードで走行し、各センサは外部或いは自車両の状態を示すデータを収集して、該データは自動運転の制御のための入力として利用される。なおデータ収集のためのモードをデータ収集モードと呼ぶことにする。データ収集モードでは、種々のセンサで車両1の外部環境の状態を示す外部環境情報と、自車両の状態を示す自車状態情報とを取得し、それら情報をサーバ(教師データ生成サーバと呼ぶ。)に送信する。教師データ生成サーバでは、収集したデータに対して機械的に分類するラベリング処理と、さらにマニュアル処理でアノテーションを付与するアノテーション処理とを施して機械学習のための教師データとする。なおラベリング処理をアノテーション処理に含めてもよいが、本実施形態ではアノテーション処理の一部を自動化しており、その自動化された工程をラベリング処理と呼んで区別している。
【0012】
図1の制御装置は、制御ユニット2を含む。制御ユニット2は車内ネットワークにより通信可能に接続された複数のECU20〜29を含む。各ECUは、CPUに代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインタフェース等を含む。記憶デバイスにはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。各ECUはプロセッサ、記憶デバイスおよびインタフェース等を複数備えていてもよい。
【0013】
以下、各ECU20〜29が担当する機能等について説明する。なお、ECUの数や、担当する機能については適宜設計可能であり、本実施形態よりも細分化したり、あるいは、統合したりすることが可能である。
【0014】
ECU20は、車両1の自動運転に関わる制御を実行する。自動運転においては、車両1の操舵と、加減速の少なくともいずれか一方を自動制御する。また自動運転は、図3に示した構成により生成された自動運転モデルに基づいて行ってもよい。また、ECU20は、自動運転モデルを生成する際に用いる機械学習のための教師データの収集に関わる制御も実行する。自動運転とデータ収集のいずれを実行するかは、本例ではたとえば運転者が設定したモード(自動運転モードまたはデータ収集モード)に従う。
【0015】
ECU21は、電動パワーステアリング装置3を制御する。電動パワーステアリング装置3は、ステアリングホイール31に対する運転者の運転操作(操舵操作)に応じて前輪を操舵する機構を含む。また、電動パワーステアリング装置3は操舵操作をアシストしたり、あるいは、前輪を自動操舵するための駆動力を発揮するモータや、操舵角を検知するセンサ等を含む。車両1の運転状態が自動運転の場合、ECU21は、ECU20からの指示に対応して電動パワーステアリング装置3を自動制御し、車両1の進行方向を制御する。センサで検知された操舵角は、データ収集モードにおいては収集の対象である自車状態情報の一部とされて教師データ生成サーバに送信されてもよい。
【0016】
ECU22および23は、車両の周囲状況を検知する検知ユニット41〜43の制御および検知結果の情報処理を行う。検知ユニット41は、車両1の前方を撮影するカメラであり(以下、カメラ41と表記する場合がある。)、本実施形態の場合、車両1のルーフ前部に2つ設けられている。カメラ41が撮影した画像の解析により、物標の輪郭抽出や、道路上の車線の区画線(白線等)を抽出可能である。カメラ41で撮影されたフレームを単位とする映像は、データ収集モードにおいては収集の対象である外部環境情報の一部とされて教師データ生成サーバに送信されてもよい。この場合送信の対象は全フレームであることが望ましいが、データ量を削減するために間引きされていてもよい。フレームの間引きを行う場合には、間引き後のフレームの間隔が図5等で説明するラベリング処理の時間間隔を超えないような間引き率を設定することが望ましい。
【0017】
検知ユニット42は、ライダ(light detection and ranging:レーザレーダとも呼ぶ)であり(以下、ライダ42と表記する場合がある)、車両1の周囲の物標を検知したり、物標との距離を測距する。本実施形態の場合、ライダ42は5つ設けられており、車両1の前部の各隅部に1つずつ、後部中央に1つ、後部各側方に1つずつ設けられている。検知ユニット43は、ミリ波レーダであり(以下、レーダ43と表記する場合がある)、車両1の周囲の物標を検知したり、物標との距離を測距する。本実施形態の場合、レーダ43は5つ設けられており、車両1の前部中央に1つ、前部各隅部に1つずつ、後部各隅部に1つずつ設けられている。データ収集モードにおいては、ライダ42やレーダ43で検知されたデータも、外部環境情報の一部として教師データ生成サーバに送信されてよい。
【0018】
ECU22は、一方のカメラ41と、各ライダ42の制御および検知結果の情報処理を行う。ECU23は、他方のカメラ41と、各レーダ43の制御および検知結果の情報処理を行う。車両の周囲状況を検知する装置を二組備えたことで、検知結果の信頼性を向上でき、また、カメラ、ライダ、レーダといった種類の異なる検知ユニットを備えたことで、車両の周辺環境の解析を多面的に行うことができる。これら検知ユニット41,42,43(カメラ41,ライダ42,レーダ43)を車両外部のセンサ(外界センサ)と呼ぶことがある。なお、外界センサには、このほか外気温センサなど、他の外部環境を特定するためのセンサを含めてもよい。そのセンサの検知結果についても、やはりECU22やECU23によって処理されてよい。外界センサによる検知結果は、他のECU例えばECU20等によって、走行環境を特定するために利用することができる。
【0019】
ECU24は、ジャイロセンサ5、GPSセンサ24b、通信装置24cの制御および検知結果あるいは通信結果の情報処理を行う。ジャイロセンサ5は車両1の回転運動、たとえば車両1の前後軸周りの角速度、或いはそれに加えて上下軸および左右軸周りの角速度を検知する。ジャイロセンサ5の検知結果からECU24は車両1のヨーレート(ヨー角速度)を取得することもできる。ジャイロセンサ5の検知結果や、車輪速等により車両1の進路を判定することができる。GPSセンサ24bは、車両1の現在位置を検知する。通信装置24cは、地図情報や交通情報を提供するサーバと無線通信を行い、これらの情報を取得する。さらに、通信装置24cを介して気象情報や路面状態に関する路面情報などの外部情報を取得できる。気象情報や路面情報は車両の現在位置付近に関する情報のみならず、走行経路が設定されている場合には、その経路に沿った地域に関する情報を取得することもできる。さらに通信装置24cは図2に示すサーバ(教師データ収集サーバとも呼ぶ。)と無線通信を行い、種々の車載センサ、たとえばカメラにより取得した外部環境情報の全部または一部を教師データ収集サーバに送信することができる。ECU24は、記憶デバイスに構築された地図情報のデータベース24aにアクセス可能であり、ECU24は現在地から目的地へのルート探索等を行う。ECU24はこのほか、車両1の左右及び前後方向(あるいはさらに上下方向)の加速度を検知する加速度センサや、それら軸周りの角加速度センサの出力信号の処理を行ってもよい。これらセンサはジャイロセンサ5と同じセンサユニットに設けてもよい。これらのセンサおよび後述する車輪速センサ7cなどは車両1自身の状態を検知する車両内部のセンサであり、内界センサとも総称される。またこれらセンサから得られたヨーレートや加速度は、他のECU例えばECU20にバスを介して引き渡され、走行環境の特定のために利用することができる。またデータ収集モードにおいては、内界センサで得られた情報も自車状態情報として教師データ収集サーバへ送信されてよい。
【0020】
ECU25は、車車間通信用の通信装置25aを備える。通信装置25aは、周辺の他車両と無線通信を行い、車両間での情報交換を行う。上述した外部情報を取得するために、通信装置25aを用いることもできる。
【0021】
ECU26は、パワープラント6を制御する。パワープラント6は車両1の駆動輪を回転させる駆動力を出力する機構であり、例えば、エンジンと変速機とを含む。ECU26は、例えば、アクセルペダル7Aに設けた操作検知センサ7aにより検知した運転者の運転操作(アクセル操作あるいは加速操作)に対応してエンジンの出力を制御したり、車輪速センサ7cが検知した車速等の情報に基づいて変速機の変速段を切り替える。車両1の運転状態が自動運転の場合、ECU26は、ECU20からの指示に対応してパワープラント6を自動制御し、車両1の加減速を制御する。上述したように車輪速センサ7cの信号から得られた車輪速(あるいは他の検知信号から得られた情報)および操作検知センサ7aにより検知した運転者の運転操作の状態は、他のECU例えばECU20による走行環境の特定の処理のために用いられてもよいし、自車状態情報の一部として教師データ収集サーバへと送信されてもよい。
【0022】
ECU27は、方向指示器8(ウィンカ)を含む灯火器(ヘッドライト、テールライト等)を制御する。図1の例の場合、方向指示器8は車両1の前部、ドアミラーおよび後部に設けられている。
【0023】
ECU28は、入出力装置9の制御を行う。入出力装置9は運転者に対する情報の出力と、運転者からの情報の入力の受け付けを行う。音声出力装置91は運転者に対して音声により情報を報知する。表示装置92は運転者に対して画像の表示により情報を報知する。表示装置92は例えば運転席表面に配置され、インストルメントパネル等を構成する。なお、ここでは、音声と表示を例示したが振動や光により情報を報知してもよい。また、音声、表示、振動または光のうちの複数を組み合わせて情報を報知してもよい。更に、報知すべき情報のレベル(例えば緊急度)に応じて、組み合わせを異ならせたり、報知態様を異ならせたりしてもよい。
【0024】
入力装置93は運転者が操作可能な位置に配置され、車両1に対する指示を行うスイッチ群あるいはタッチパネル等であるが、音声入力装置も含まれてもよい。
【0025】
ECU29は、ブレーキ装置10やパーキングブレーキ(不図示)を制御する。ブレーキ装置10は例えばディスクブレーキ装置であり、車両1の各車輪に設けられ、車輪の回転に抵抗を加えることで車両1を減速あるいは停止させる。ECU29は、例えば、ブレーキペダル7Bに設けた操作検知センサ7bにより検知した運転者の運転操作(ブレーキ操作)に対応してブレーキ装置10の作動を制御する。車両1の運転状態が自動運転の場合、ECU29は、ECU20からの指示に対応してブレーキ装置10を自動制御し、車両1の減速および停止を制御する。ブレーキ装置10やパーキングブレーキは車両1の停止状態を維持するために作動することもできる。また、パワープラント6の変速機がパーキングロック機構を備える場合、これを車両1の停止状態を維持するために作動することもできる。さらにデータ収集モードでは、操作検知センサ7bにより検知した運転者の運転操作状態を自車状態情報の一部として教師データ収集サーバに送信してもよい。また制動や前述した操舵角を示す情報は、所定の程度以上の状態の変化を示す情報であってもよく、状態の変化を示す情報には状態の変化が生じた時刻を示す自刻情報が付加されていてもよい。制動や操舵の状態を示す情報を時刻と関連付けておくことで、状態の変化が生じた時刻を特定でき、その時刻を車両1全体で同期させておくことで、他のセンサによる検知データとの同期をとることができる。もちろんこれは収集したデータ間の同期をとる方法の一例に過ぎない。
【0026】
●教師データ収集サーバ
図2に教師データ収集サーバ200のハードウェア構成をしめす。教師データ収集サーバ200は、基本的には汎用コンピュータの構成を有する。CPU211はメモリ212にロードしたプログラムを実行して例えば図3に示したような機能構成を実現し、また図5に示した手順を実行する。メモリ212にはプログラムや処理対象のデータ等を格納する。ユーザインタフェース部216は、オペレータに対して画像データ等を表示し、また、オペレータによる入力を受け付ける。たとえば、映像データから抽出されたフレームを表示して、アノテーションの入力を受け付けることができる。ファイルストレージ213には、車両1から受信した、あるいは蓄積媒体を介して入力されたデータファイルやプログラムファイルを格納する。データファイルには、車両1により収集された外部環境情報や自車状態情報等が含まれる。ネットワークインターフェース214は、たとえば車両1の通信部24cと無線通信して、車両1により収集した外部環境情報や自車状態情報を受信する。なお教師データ収集サーバ200は、収集したデータから教師データを生成し、さらにそこから人工知能による実現される自動運転モデルを生成することから、データ生成装置とも呼ぶことができる。
【0027】
図3に教師データ収集サーバ200が、収集した教師データに基づいて自動運転モデルを生成するための機能ブロック図の一例を示す。外部環境情報取得部302は、ファイルストレージ213に格納した外部環境情報を取り出してラベリング処理部304に入力する。ここで外部環境情報取得部302は、ファイルストレージ213に格納した外部環境情報のすべてを取得するとは限らず、その一部を抽出することもある。外部環境情報にはカメラで撮影した映像データや、ライダやレーダで取得した障害物データなどが含まれる。これらのデータはたとえば時間的に離散したデータであり、取得したタイミングにおける車両外部の状態を示すデータと言える。たとえば映像データは所定時間間隔でキャプチャしたフレームから構成されており、各フレームはそれを撮影した時点における、カメラ41の撮影範囲内の画像である。これは他のセンサで取得したデータに関しても同様である。そしてこのある時点におけるデータ、たとえば映像であればフレームが本実施形態におけるラベリング処理の対象となる。キャプチャした全てのフレームをラベリング対象としてもよいが、たとえばフレームレートが自動運転の制御の精度をこえて高いなど、全フレームを対象としなくともよい場合などには、連続するフレーム群から間引きしたフレームを取得してもよい。
【0028】
ラベリング処理部304は、入力された外部環境情報を着目情報として、所定の基準にしたがって着目情報にラベルを付与する。たとえば、外部環境情報として映像を用いる場合、外部環境情報302はフレームを単位としてラベリング処理部304に外部環境情報を入力する。ラベリング処理部304は入力されたフレームを着目情報としてそれにラベルを付与する。ラベルの付与はタグ付けと呼ぶこともある。またラベルはアノテーションの一部であると考えてもよい。ラベリング処理の詳細については図5を参照して後述する。ラベリング処理部304は、ラベルを付与した着目情報をデータ格納部306にいったん格納する。ラベリング処理部304が付与するラベルは、車両が通過可能であった場所等を示すラベルである。ラベルの付与の仕方については、図5を参照して、後でより詳しく説明する。
【0029】
アノテーション処理部308はデータ格納部306からラベリング処理済みの外部環境情報、たとえば映像のフレームを取り出して、アノテーション入力部310から入力されたアノテーションを付加する。ただし、ラベリング処理部304により付与済みのラベルについてはアノテーションとして付加しなくともよい。すなわち本実施形態では、アノテーション処理部308により、通過可能な領域を示す情報をアノテーションとして改めて付与しなくともよい。アノテーションはオペレータにより入力された情報であり、生成されるはずの運転モデルが、外部環境情報を入力に応じて出力すべき情報を示す。例えば映像中の障害物や白線などを認識する際には、認識結果となるべきフレーム画像中の障害物や白線等の位置や領域を示す情報などであってよい。この場合、走行制御用のパラメータは直接的には出力されないが、たとえば認識した障害物や白線等を入力として走行制御用のパラメータを出力するための学習を行って自動運転モデルを生成してもよい。もちろんこれは一例であって、入力された外部環境情報の種類に応じて、さらに外部環境情報を入力として出力すべき情報に応じて、適切なアノテーションが付加される。またラベルやアノテーションは、着目情報そのものではなく、着目情報から抽出された特徴情報に関連付けられてもよい。
【0030】
学習部312は、アノテーション処理部308によりアノテーションを付加された外部環境情報を教師データとしてベースとなる人工知能に入力し、学習をさせる。学習部312は、学習により自動運転モデル314を生成して出力する。本実施形態の自動運転モデル314は、アノテーション付きの外部環境情報を入力とし、入力に応じた走行制御パラメータを出力とするデータの集積であるが、出力が画像認識の認識結果であってもよいし、その他の出力であってもよい。たとえば、画像中において車両が通過可能な位置を出力として得てもよい。この特定される位置とは、たとえば車両からの距離と方向とで特定される地図上の位置であることが望ましい。この自動運転モデルを形成するデータの集積は、たとえば入力された外部環境情報をパラメータとして重み付けし、その重み付け済みパラメータを演算して最終的な出力へとマッピングする変換表とみなすこともできる。自動運転モデル314に内包された重みは、例えばパラメータ間の関連の強さ或いはパラメータの影響力の強さを示す値と考えることもでき、学習とは、教師データとして与えられた入力および出力の対応から、その重み付けを修正あるいは決定する過程であるということもできる。なお学習の手法については既存の方法を採用すればよい。なお図3では入力をアノテーション付きの外部環境情報に限ったが、これに限らずたとえばさらに自車状態情報をも入力して自動運転モデルを生成してもよい。
【0031】
生成され出力された自動運転モデルは、自動運転の走行制御を実現する車両1に搭載されて自動運転のために供用される。図4は車両1が自動運転で走行するための構成を示し、例えばECU20がプログラムを実行することで実現される。図4では外部環境情報のみならず、自車状態情報も入力として走行制御を行う例を説明する。外部環境情報取得部402は、車両1が備えるカメラ41、ライダ42、レーダ43などの各センサの出力を取得して自動運転制御部406に入力する。自車状態情報取得部404は、車両1が備えるセンサで検知した操舵角や制動力(ブレーキ踏力)、アクセル開度などを取得して自動運転制御部406に入力する。自動運転制御部406は、教師データ収集サーバ200が生成した自動運転モデル408を用いて、入力に対応する制御パラメータを出力して走行制御を実現する。この例では、制御対象は操舵(ステアリング)、制動(ブレーキ)、駆動(エンジン或いはモータ)であり、それぞれのための出力は、動作制御部410、制動制御部412、駆動制御部414に引き渡される。各制御部は、入力された制御パラメータに応じてそれぞれの制御を実施する。もちろん制御対象はこのほかにあってもよくたとえば照明などを含めてもよい。ここで、操舵制御部410、制動制御部412、駆動制御部414は、自動運転制御部406から入力される制御情報に応じて制御される。たとえば、自動運転制御部406が自動運転モデル408の出力として、実時間で取得中の映像フレームにおいて通行可能な位置を得るものとする。この場合には自動運転制御部406は、得られた通行可能な位置を走行すべく、操舵、制動、駆動を制御する。
【0032】
図5に外部環境情報取得部302およびラベリング処理部304によるラベリング処理の手順を示す。ハードウェア上の実行主体はCPU211である。ラベリング処理とは、本例ではたとえば映像(あるいは動画)を構成するフレームに着目し、そのフレームにラベルを関連付ける処理である。直観的に言えば、本実施形態のラベリング処理は、車両が通過した経路を、カメラ41で撮影した映像のフレーム中にマークしていく処理といえる。そこでまず外部環境情報を取得し(S501)、その中からラベリングのために使用する参照データを抽出する(S503)。これにより、映像データのフレームレートおよび車両の速度によっては、フレーム間における車両の進行距離が過度に短く、処理負担が過大になってしまうことを防止することができる。この参照データの中にラベリング対象とするラベリング対象データ(あるいは単に対象データ、対象情報または対象フレームとも呼ぶ)も含まれる。取得した外部環境情報全体(すなわち映像の全フレーム)を使用する場合には、すでに必要なデータは抽出済みといえるので、ステップS503は行わなくともよい。
【0033】
ここで本実施形態では、たとえば以下の方法でフレームの抽出を行う。本実施形態では、カメラ41は2台車幅方向に並列に配置されている(図1参照)。そこで、ステップS501では、これら2台のカメラ41により撮影された、同期した映像を取得する。ステップS503では視点の異なる同期した2つのフレームの視差からフレーム内の特定のオブジェクトまでの距離を推定し、連続するフレーム間において車両が進行した距離を推定する。そして、フレーム間での進行距離が概ね一定になるよう、フレームを抽出する。距離の推定は全フレームについて行わず、一定のフレームおきにおこなってもよい。一般公道を走行する車両の加速度は、通常それほど過大なものではないと期待できるからである。ステップS503で抽出したフレームが、ラベリングのために参照されるフレームであり、そのうちの少なくとも一部がラベリング対象フレームとなる。全フレームを用いてラベリングを行う場合には、ステップS503での抽出を行わなくともよい。
【0034】
次にステップS505では、ステップS503で抽出されたフレームのうち適当なフレーム、たとえば最も古い走行シーンを特定し、そのうちの先頭のフレームに着目する。着目したフレームがラベリング対象フレームであり、これを着目フレームと呼ぶ。なお走行シーンは、前述したフレーム間の進行距離が所定値を超えるシーンとして特定してよい。閾値となる所定値としては、0あるいはそれより大きな値を選択すればよい。また着目フレームの次のラベリング対象フレームもここで特定する。このフレームを参照ラベリング対象フレームと呼ぶことにする。着目フレームと参照ラベリング対象フレームとの間にフレームがある場合もあるが、これらのフレームと参照ラベリング対象フレームとを併せて参照フレームと呼ぶことにする。ここで、たとえばおおよそ車両の進行距離にしておよそ距離Lおきのフレームにラベリングしたいものとする。ステップS503で説明した要領で映像から推定されたフレーム間の車両の進行距離がD(フレームが間引かれている場合には間引き率で除した値)であれば、距離Lはフレーム数に換算してL/D(フレーム)となる。ステップS505ではたとえば、先頭のラベリング対象フレームからL/Dフレームおいたフレームを参照ラベリング対象フレームとして特定すればよい。なおラベリング対象フレームは、2つのカメラのうち、いずれか一方のみで撮影した映像のものでよい。フレーム間の進行距離を推定する方法は他の方法であってもよく、たとえば映像に同期した速度情報や、同じく映像に同期した加速度情報を参照してもよい。
【0035】
ラベリング対象フレームに着目したなら、ステップS507において、その着目フレームにおける自車両の通過位置を特定し、その位置が通過可能であった旨のマーク(「通行可能」ラベル)を付与する。そのためにたとえば、着目フレームの後の参照フレームを参照して、参照フレームにおいてまさに通過している領域を特定する。そして、その領域を着目フレーム上に対応付け、そこを通過可能な領域であるとしてラベルを付与する。カメラ42を、車幅方向について中央に、その視線が車両の直進方向に並行となるように設置しておけば、フレームの中心がフレーム撮影時の車両の進行方向となる。そのためフレームの下辺中央部における車両サイズ相当の領域がまさに通過中の領域である。カメラ41は車両に対して固定されているので、車両がまさに通過中の領域は、フレーム外であっても特定できる。その領域を着目フレーム上にマッピングする。たとえは参照フレームと着目フレームの画像とを認識してそれぞれの画像を対応付けることで、このマッピングは行える。参照フレームが複数ある場合には、着目フレーム中の複数の領域に対して通行可能のラベルが付与される。もちろん、マッピングの結果着目フレーム外となった領域は、ラベリングの対象外である。領域の特定は、たとえばフレーム内における座標やベクトルなどで行ってよい。
【0036】
ステップS507でラベルを付与したラベリング済みフレームは、ステップS509において、データ格納部306に格納する。これがアノテーション処理の対象となる。ステップS511においては、ラベリング処理すべき未処理フレームがあるか判定し、なければ処理を終了する。一方未処理フレームがあれば次のラベリング対象フレームを特定して着目する。これは現在の参照ラベリング対象フレームを新たな着目フレームとし、新たな参照ラベリング対象フレームを、ステップS505で説明した要領で特定すればよい。そしてステップS507へと分岐してラベリング処理を反復する。
【0037】
図6に、映像フレームとフレーム内の特定の領域に付与されるラベルの例を示す。もちろんこの例は視覚化のために模式的に示したものである。フレーム610にはオブジェクト611が含まれている。このフレームをラベリング対象フレームとし、フレーム620及びフレーム630を参照フレームとして図5の処理を実行する。なおフレーム620とフレーム630とは異なる状況を例として示すために提示されており、両立するものではない。さて、参照フレーム620においては、矢印622が速度ベクトルを示す。そしてまさに通過している領域が領域A'で示される。これをフレーム610にマッピングすると、領域Aが通過可能な領域であり、領域Aを特定した上で、通行可能を示すラベルが付与される。なおたとえば、領域A'にオブジェクト611が含まれており、オブジェクト611が画像上で既に特定されているのであれば、そのオブジェクト611について通行可能のラベルを付与してもよい。この場合には、領域A'に対するラベルを併せて付してもよいし、オブジェクトのみにラベルを付与してもよい。同様に、参照フレーム630においても、矢印632の下方に通過領域B'が」特定される。そしてこれがフレーム610にマッピングされて、マッピングされた領域Bに対して通行可能ラベルが付与される。
【0038】
以上のようにして本実施形態によれば、外部環境情報に対して、機械的に、あるいは自動的に、ラベルを付与することができる。付与されたラベルに関してはアノテーションをつける必要がないので、アノテーション処理のための労力や時間、コストを軽減することができる。また、ラベルの付与は本実施形態では、実際に車両が通行できた実績に基づいていることから、信頼性の高いラベリングを実現できる。
【0039】
なお、本実施形態ではラベリング処理部304を教師データ生成サーバ200に備えるものとして説明したが、ラベリング処理部304を車両1に設け、カメラ41等から収集したデータに対して車両でラベリング処理を施した後で教師データ生成サーバに送信してもよい。その場合には、車両が通過した位置は、例えばカメラ41で取得した映像(フレーム)と、走行速度等を含む自車状態情報とから実時間で特定できるので、その位置に対して「通過可能」のラベルを付せばよい。また、車両1が収集したデータを教師データ生成サーバ200に引き渡す媒体は無線通信のみならず、いったん蓄積型媒体に収集したデータを蓄積しておき、それを媒体ごと教師データ生成サーバ200に移してもよいし、有線通信で送信してもよい。また図6で例示したように、「通過可能」のラベルについても、ラベリング処理部304で付与してよい。付与する場合には図5のステップS507でラベリングが行われる。またラベリングの対象は画像データに限らず、教師データとするデータであれば他のデータであってもよい。また付与するラベルも通過可能か否かに限らず、機械的に付与できるラベルであれば他の意味を持つラベルであってもよい。
【0040】
●実施形態のまとめ
以上説明した本実施形態をまとめると以下のとおりである。
(1)本実施形態の第一の態様は、
自動走行のためのデータ生成装置であって、
外部環境情報を取得する取得手段と、
前記取得手段により取得した外部環境情報に含まれた着目情報に、前記外部環境情報が収集された位置を車両が通行したことに応じたラベルを付与するラベリング手段と
を有することを特徴とするデータ収集装置にある。
この構成により、外部環境情報に対するラベリングの少なくとも一部を自動化でき、教師データ生成作業の労力削減、時間短縮、コスト削減を実現できる。
【0041】
(2)本実施形態の第二の態様は、第一の態様に加えて、前記取得手段は、車両に搭載した検知手段により検知した前記外部環境情報を取得することを特徴とするデータ生成装置にある。
この構成により、外部環境情報は車両搭載型の検知手段により取得でき、より効率的に、またより高信頼度で教師データを生成できる。
【0042】
(3)本実施形態の第三の態様は、第二の態様に加えて、前記ラベリング手段は、前記着目情報を取得した位置から所定距離走行した位置で取得した前記外部環境情報に基づいて前記車両の通過位置を特定し、前記着目情報において前記通過位置に対応する位置に、通過可能のラベルを付与することを特徴とするデータ生成装置にある。
この構成により、特に車両が通過可能であることを示すラベルの付与を効率的に行うことができる。
【0043】
(4)本実施形態の第四の態様は、第三の態様に加えて、前記外部環境情報には、カメラで撮影された、フレームを単位とする画像情報が含まれており、
前記ラベリング手段は、前記フレームを前記着目情報として前記ラベルを付与することを特徴とするデータ生成装置にある。
この構成により、画像情報のフレームを外部環境情報としてラベリングでき、画像データからの教師データの生成を効率化できる。
【0044】
(5)本実施形態の第五の態様は、第四の態様に加えて、前記所定距離は、予め定めたフレームの間隔に相当する距離であることを特徴とするデータ生成装置にある。
この構成により、ラベリング処理を、予め定めたフレーム数相当の遅延で行うことができ、処理の迅速化を図ることができ、フレームをバファリングしておくメモリを節約できる。
【0045】
(6)本実施形態の第六の態様は、第四乃至第五の態様に加えて、前記ラベリング手段は、所定数のフレームおきにラベルを付与することを特徴とするデータ生成装置にある。
この構成により、ラベリング対象フレームを間引くことができ、処理負荷の軽減を図ることができる。
【0046】
(7)本実施形態の第七の態様は、第三乃至第六の態様に加えて、前記ラベリング手段は、前記着目フレームにおいて通行しなかった領域について通行不可と判定し、前記着目情報に通行不可のラベルを付与することを特徴とするデータ生成装置にある。
この構成により、通過可能の場合のみならず、通行不可の場合にもラベルを付与することができる。
【0047】
(8)本実施形態の第八の態様は、第一乃至第七の態様に加えて、前記ラベリング手段により前記ラベルが付された前記外部環境情報に、オペレータの操作に応じてアノテーションをさらに付加し、教師データを生成する手段をさらに有することを特徴とするデータ生成装置にある。
この構成により、ラベリング済みの外部環境情報に基づいてさらにアノテーションを付加した教師データを生成できる。
【0048】
(9)本実施形態の第九の態様は、第八の態様に加えて、前記教師データを用いた機械学習を行って自動運転モデルを生成する学習手段をさらに有することを特徴とするデータ生成装置にある。
この構成により、自動的にラベリングした外部環境情報を基に、車両の自動運転に供する自動運手モデルを生成できる。
【0049】
さらに本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
図1
図2
図3
図4
図5
図6

【手続補正書】
【提出日】2020年6月2日
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0001
【補正方法】変更
【補正の内容】
【0001】
本発明は、例えば自動運転のための機械学習用教師データを収集する教師データ生成装置に関する。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0025
【補正方法】変更
【補正の内容】
【0025】
ECU29は、ブレーキ装置10やパーキングブレーキ(不図示)を制御する。ブレーキ装置10は例えばディスクブレーキ装置であり、車両1の各車輪に設けられ、車輪の回転に抵抗を加えることで車両1を減速あるいは停止させる。ECU29は、例えば、ブレーキペダル7Bに設けた操作検知センサ7bにより検知した運転者の運転操作(ブレーキ操作)に対応してブレーキ装置10の作動を制御する。車両1の運転状態が自動運転の場合、ECU29は、ECU20からの指示に対応してブレーキ装置10を自動制御し、車両1の減速および停止を制御する。ブレーキ装置10やパーキングブレーキは車両1の停止状態を維持するために作動することもできる。また、パワープラント6の変速機がパーキングロック機構を備える場合、これを車両1の停止状態を維持するために作動することもできる。さらにデータ収集モードでは、操作検知センサ7bにより検知した運転者の運転操作状態を自車状態情報の一部として教師データ収集サーバに送信してもよい。また制動や前述した操舵角を示す情報は、所定の程度以上の状態の変化を示す情報であってもよく、状態の変化を示す情報には状態の変化が生じた時刻を示す時刻情報が付加されていてもよい。制動や操舵の状態を示す情報を時刻と関連付けておくことで、状態の変化が生じた時刻を特定でき、その時刻を車両1全体で同期させておくことで、他のセンサによる検知データとの同期をとることができる。もちろんこれは収集したデータ間の同期をとる方法の一例に過ぎない。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0026
【補正方法】変更
【補正の内容】
【0026】
●教師データ収集サーバ
図2に教師データ収集サーバ200のハードウェア構成をしめす。教師データ収集サーバ200は、基本的には汎用コンピュータの構成を有する。CPU211はメモリ212にロードしたプログラムを実行して例えば図3に示したような機能構成を実現し、また図5に示した手順を実行する。メモリ212にはプログラムや処理対象のデータ等を格納する。ユーザインタフェース部216は、オペレータに対して画像データ等を表示し、また、オペレータによる入力を受け付ける。たとえば、映像データから抽出されたフレームを表示して、アノテーションの入力を受け付けることができる。ファイルストレージ213には、車両1から受信した、あるいは蓄積媒体を介して入力されたデータファイルやプログラムファイルを格納する。データファイルには、車両1により収集された外部環境情報や自車状態情報等が含まれる。ネットワークインターフェース214は、たとえば車両1の通信装置24cと無線通信して、車両1により収集した外部環境情報や自車状態情報を受信する。なお教師データ収集サーバ200は、収集したデータから教師データを生成し、さらにそこから人工知能による実現される自動運転モデルを生成することから、データ生成装置とも呼ぶことができる。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0028
【補正方法】変更
【補正の内容】
【0028】
ラベリング処理部304は、入力された外部環境情報を着目情報として、所定の基準にしたがって着目情報にラベルを付与する。たとえば、外部環境情報として映像を用いる場合、外部環境情報取得部302はフレームを単位としてラベリング処理部304に外部環境情報を入力する。ラベリング処理部304は入力されたフレームを着目情報としてそれにラベルを付与する。ラベルの付与はタグ付けと呼ぶこともある。またラベルはアノテーションの一部であると考えてもよい。ラベリング処理の詳細については図5を参照して後述する。ラベリング処理部304は、ラベルを付与した着目情報をデータ格納部306にいったん格納する。ラベリング処理部304が付与するラベルは、車両が通過可能であった場所等を示すラベルである。ラベルの付与の仕方については、図5を参照して、後でより詳しく説明する。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】0031
【補正方法】変更
【補正の内容】
【0031】
生成され出力された自動運転モデルは、自動運転の走行制御を実現する車両1に搭載されて自動運転のために供用される。図4は車両1が自動運転で走行するための構成を示し、例えばECU20がプログラムを実行することで実現される。図4では外部環境情報のみならず、自車状態情報も入力として走行制御を行う例を説明する。外部環境情報取得部402は、車両1が備えるカメラ41、ライダ42、レーダ43などの各センサの出力を取得して自動運転制御部406に入力する。自車状態情報取得部404は、車両1が備えるセンサで検知した操舵角や制動力(ブレーキ踏力)、アクセル開度などを取得して自動運転制御部406に入力する。自動運転制御部406は、教師データ収集サーバ200が生成した自動運転モデル408を用いて、入力に対応する制御パラメータを出力して走行制御を実現する。この例では、制御対象は操舵(ステアリング)、制動(ブレーキ)、駆動(エンジン或いはモータ)であり、それぞれのための出力は、操舵制御部410、制動制御部412、駆動制御部414に引き渡される。各制御部は、入力された制御パラメータに応じてそれぞれの制御を実施する。もちろん制御対象はこのほかにあってもよくたとえば照明などを含めてもよい。ここで、操舵制御部410、制動制御部412、駆動制御部414は、自動運転制御部406から入力される制御情報に応じて制御される。たとえば、自動運転制御部406が自動運転モデル408の出力として、実時間で取得中の映像フレームにおいて通行可能な位置を得るものとする。この場合には自動運転制御部406は、得られた通行可能な位置を走行すべく、操舵、制動、駆動を制御する。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】0037
【補正方法】変更
【補正の内容】
【0037】
図6に、映像フレームとフレーム内の特定の領域に付与されるラベルの例を示す。もちろんこの例は視覚化のために模式的に示したものである。フレーム610にはオブジェクト611が含まれている。このフレームをラベリング対象フレームとし、フレーム620及びフレーム630を参照フレームとして図5の処理を実行する。なおフレーム620とフレーム630とは異なる状況を例として示すために提示されており、両立するものではない。さて、参照フレーム620においては、矢印622が速度ベクトルを示す。そしてまさに通過している領域が領域A'で示される。これをフレーム610にマッピングすると、領域Aが通過可能な領域であり、領域Aを特定した上で、通行可能を示すラベルが付与される。なおたとえば、領域A'にオブジェクト611が含まれており、オブジェクト611が画像上で既に特定されているのであれば、そのオブジェクト611について通行可能のラベルを付与してもよい。この場合には、領域A'に対するラベルを併せて付してもよいし、オブジェクトのみにラベルを付与してもよい。同様に、参照フレーム630においても、矢印623の下方に通過領域B'が」特定される。そしてこれがフレーム610にマッピングされて、マッピングされた領域Bに対して通行可能ラベルが付与される。
【手続補正8】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項1
【補正方法】変更
【補正の内容】
【請求項1】
自動走行のためのデータ生成装置であって、
外部環境情報を取得する取得手段と、
前記取得手段により取得した外部環境情報に含まれた着目情報に、前記外部環境情報が収集された位置を車両が通行したことに応じたラベルを付与するラベリング手段と
を有することを特徴とするデータ生成装置。
【手続補正9】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項7
【補正方法】変更
【補正の内容】
【請求項7】
請求項3乃至6のいずれか一項に記載のデータ生成装置であって、
前記ラベリング手段は、前記着目情報において通行しなかった領域について通行不可と判定し、前記着目情報に通行不可のラベルを付与することを特徴とするデータ生成装置。
【国際調査報告】