特許 6986685 情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6986685

(24)【登録日】2021年12月2日

(45)【発行日】2021年12月22日

(54)【発明の名称】情報処理装置

(51)【国際特許分類】

   G07C 5/00 20060101AFI20211213BHJP

   G08G 1/00 20060101ALI20211213BHJP

   G08G 1/09 20060101ALI20211213BHJP

   B60R 16/02 20060101ALI20211213BHJP

【ＦＩ】

   G07C5/00 Z

   G08G1/00 D

   G08G1/09 F

   B60R16/02 640Z

【請求項の数】10

【全頁数】19

(21)【出願番号】特願2018-44229(P2018-44229)

(22)【出願日】2018年3月12日

(65)【公開番号】特開2019-159659(P2019-159659A)

(43)【公開日】2019年9月19日

【審査請求日】2020年9月18日

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】高橋 正樹

(72)【発明者】

【氏名】石川 和史

(72)【発明者】

【氏名】山口 拓也

【審査官】 中村 泰二郎

(56)【参考文献】

【文献】 国際公開第２０１４／１８８６６１（ＷＯ，Ａ１）

【文献】 特開２０１８−０２２２２０（ＪＰ，Ａ）

【文献】 特開２０１７−１３８２８２（ＪＰ，Ａ）

【文献】 特開２０１６−２１８８７３（ＪＰ，Ａ）

【文献】 特開２００８−０４７９９１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０７Ｃ ５／００− ５／１２

Ｇ０８Ｇ １／００− １／１６

Ｂ６０Ｗ ３０／００−３０／２０

Ｂ６０Ｒ １１／００−１１／０６，

１６／００−１６／０８

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

自動運転車に搭載される情報処理装置であって、
第１認識器によってセンシング情報を入力として、物体検出処理である第１認識処理を実行し、
前記第１認識器と能力条件が異なる認識器である第２認識器によって、前記センシング情報を入力として、物体検出処理である第２認識処理を実行する制御部と、
前記第１認識処理の結果である第１認識結果と前記第２認識処理の結果である第２認識結果との差異に応じて、前記センシング情報の送信要否又は送信の優先順位を決定する決定部と、
前記決定された送信要否又は優先順位に基づいて前記センシング情報をサーバ装置へ送信する通信部と、
を備える情報処理装置。

【請求項2】

前記第２認識器は、前記第１認識器よりも使用計算リソースが多い、
請求項１に記載の情報処理装置。

【請求項3】

前記決定部は、前記第１認識結果と前記第２認識結果との数値的な差異に応じて前記送信要否または送信の優先順位を決定する、
請求項１又は２に記載の情報処理装置。

【請求項4】

前記決定部は、前記第１認識結果と前記第２認識結果とのタイプの差異に応じて前記送信要否または送信の優先順位を決定する、
請求項１又は２に記載の情報処理装置。

【請求項5】

前記情報処理装置が搭載される車両において計算リソースに所定量以上の余裕があるかを判定する判定部をさらに備え、
前記制御部は、前記車両において計算リソースに所定量以上の余裕があると前記判定部により判定されると、前記第２認識器に認識処理を実行させる、
請求項１〜４のいずれか１項に記載の情報処理装置。

【請求項6】

前記情報処理装置が搭載される車両において使用可能な計算リソース、又は前記第１認識器のための学習目的に応じた前記第２認識器が前記第２認識処理に用いられる、
請求項１〜５のいずれか１項に記載の情報処理装置。

【請求項7】

前記第２認識器は、前記サーバ装置から通信を介して取得される、
請求項１〜６のいずれか１項に記載の情報処理装置。

【請求項8】

前記制御部は、前記センシング情報のうち、所定の条件を満たすセンシング情報に対して他のセンシング情報よりも優先して前記第２認識器に前記第２認識処理を実行させる、
請求項１〜７のいずれか１項に記載の情報処理装置。

【請求項9】

前記制御部は、前記センシング情報のうち、生成された時刻を示す時間情報、前記情報処理装置が搭載される車両の走行のための制御の内容を示す走行制御情報、又は前記車両の外部環境を示す外部環境情報に関する条件を満たすセンシング情報を前記所定の条件を満たすセンシング情報と決定する、
請求項８に記載の情報処理装置。

【請求項10】

サーバ装置と通信可能に接続される自動運転車に搭載される情報処理装置が備えるプロセッサによって実行されるプログラムであって、前記プロセッサに、
第１認識器によるセンシング情報を入力として、物体検出処理である第１認識処理と、
前記第１認識器と能力条件が異なる認識器である第２認識器による、前記センシング情報を入力として、物体検出処理である第２認識処理と、
前記第１認識処理の結果である第１認識結果と前記第２認識処理の結果である第２認識結果との差異に応じて、前記センシング情報の送信要否又は送信の優先順位の決定と、
前記決定された送信要否又は優先順位に基づいての、前記センシング情報のサーバ装置への送信と、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自動運転車における制御機能更新のためのデータ送信に関する。より詳しくは、自動運転車が具備するセンサから取得した情報データを、ネットワークを介し、サーバ装置にアップロードするデータ送信に関する。

【背景技術】

【0002】

近年、運転手の代わりに機械が運転する自動運転車（ロボットカー等の他の呼称もある）の研究や商品化が多数行われている。自動運転車には、構成要素としてニューラルネットワークなどの人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、以降、ＡＩと表記）を使用したリアルタイム物体検出器を備えるものがある。しかしながら、自動運転車の出荷当初のリアルタイム物体では、誤検出、検出漏れなどの不具合を生じる可能性がある。したがって、そのような不具合の発生を減らすために、追加で学習することが考えられる。この追加の学習のための学習用データは、車両に搭載されたカメラなどのセンサで取得され、ネットワークを介して、学習処理を行う装置（例えばサーバ装置）などに集められる。

【0003】

これに対し、取得されたデータのうちの一部のみをサーバ装置へ送信する技術がある。例えば、特許文献１には、車両のドライブレコーダで録画して取得された走行映像のデータの全てをサーバ装置に送信するのではなく、取得された走行映像のデータに対して付与されたランク値に基づいて、送信することが決定された取得走行映像のデータだけをサーバ装置に送信する技術が提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１６−９１２６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１に提案される技術では、学習用データを効率よく集めることが困難である。

【0006】

そこで本発明は、自動運転のための認識モデルを得るための学習用データの効率的な収集を可能にする情報処理装置を提供する。

【課題を解決するための手段】

【0007】

本発明の一態様に係る情報処理装置は、自動運転車に搭載される情報処理装置であって、第１認識器によってセンシング情報を入力として、物体検出処理である第１認識処理を実行し、前記第１認識器と能力条件が異なる認識器である第２認識器によって、前記センシング情報を入力として、物体検出処理である第２認識処理を実行する制御部と、前記第１認識処理の結果である第１認識結果と前記第２認識処理の結果である第２認識結果との差異に応じて、前記センシング情報の送信要否又は送信の優先順位を決定する決定部と、前記決定された送信要否又は優先順位に基づいて前記センシング情報をサーバ装置へ送信する通信部を備える。

【0008】

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0009】

上記態様により、自動運転のための認識モデルを得るための学習用データを効率よく集めることができる。

【図面の簡単な説明】

【0010】

【図1】図１は、実施の形態における、自動運転車とサーバ装置の構成の一例を示すブロック図である。

【図2】図２は、実施の形態における、自動運転車が備える情報処理装置の機能構成の一例を示すブロック図である。

【図3A】図３Ａは、実施の形態における、検出結果データの構成の一例を示す図である。

【図3B】図３Ｂは、実施の形態における、優先順位付き検出結果データの構成の一例を示す図である。

【図4】図４は、実施の形態における、情報処理装置による処理の動作手順例を示すフロー図である。

【図5】図５は、実施の形態の変形例における、選別用検出器の構成の一例を示すブロック図である。

【図6】図６は、実施の形態の変形例における、選別用検出器による処理の動作手順例を示すフロー図である。

【図7】図７は、実施の形態における、選別用検出器の構成の一例を示すブロック図である。

【図8】図８は、実施の形態の変形例における、選別用検出器による処理の動作手順例を示すフロー図である。

【図9】図９は、実施の形態における、選別用検出器の構成の一例を示すブロック図である。

【図10】図１０は、実施の形態の変形例における、選別用検出器による処理の動作手順例を示すフロー図である。

【図11】図１１は、実施の形態における、検出結果データの構成の他の例を示す図である。

【発明を実施するための形態】

【0011】

（本発明の基礎となった知見）
自動運転車では、リアルタイム物体検出で使用されているＡＩ機能の更新のための以下の構成が想定され得る。

【0012】

自動運転車から、例えばカメラの光学センサで取得された画像データなどが、通信網を介してサーバ装置にアップロードされる。サーバ装置が具備する学習システムでは、この画像データを学習データとして用いて再学習処理が実行されることによって再学習済みのＡＩデータ(認識モデル)が生成される。自動運転車は再学習済みのＡＩデータをダウンロードして取得し、リアルタイム物体検出のためのＡＩデータを入れ替えることでＡＩ機能を更新する。これにより、リアルタイム物体検出のための検出器がバージョンアップされる。

【0013】

しかしながら、自動運転車からサーバ装置へのアップロード対象の画像データの量は膨大であるため、その全てを送信しようとすればネットワーク帯域を圧迫し、送信の完了までに長時間を要する。そのために、蓄積済みの画像データを、自動運転車が使用されていない時間帯などのデータが新たに蓄積されない時間内に送信しきれない状況が生じ得る。また、送信するデータ量の多さ、またはトラフィックの集中が原因で送信に時間がかかれば、より多くの電力を消費するため、車両が充電されない状況では車両のバッテリーを大きく消耗させてしまう。場合によっては、次にユーザが自動運転車を使用したいときに、自動運転車はバッテリーが消耗しきって走行不可になっているといった事態も招き得る。

【0014】

このような場合には、自動運転車でせっかく取得された画像データのサーバ装置での再学習での利用が遅れる、または利用ができない、つまり学習用データが効率よく集められないという問題がある。

【0015】

このような課題を解決するために、本発明の一態様に係る情報処理装置は、第１認識器によってセンシング情報を入力として第１認識処理を実行し、前記第１認識器と能力条件が異なる認識器である第２認識器によって、前記センシング情報を入力として第２認識処理を実行する制御部と、前記第１認識処理の結果である第１認識結果と前記第２認識処理の結果である第２認識結果との差異に応じて、前記センシング情報の送信要否又は送信の優先順位を決定する決定部と、前記決定された送信要否又は優先順位に基づいて前記センシング情報をサーバ装置へ送信する通信部を備える。

【0016】

この構成により、蓄積された走行中の画像データのサイズが膨大であっても、ネットワーク帯域や消費電力の問題が原因で再学習に有効な画像データを、再学習処理を行うためのサーバ装置に送信できない事態の発生を抑制することができる。言い換えると、限られたネットワーク帯域及び送信時間の中で、ＡＩを進化させるために有用な画像データが優先的にサーバ装置に送信されることで、学習用データが学習システムに効率的に収集される。それにより、ＡＩの進化をより確実に実施でき、自動運転車におけるＡＩ更新サイクルは加速し、より安全で快適な自動運転車を早期にユーザに提供できる。

【0017】

また、前記第２認識器は、前記第１認識器よりも使用計算リソースが多くてもよい。

【0018】

例えば駐車中のように、自動運転中には自動運転に必要な他の処理に用いられている使用計算リソースを物体検出に転用することができる時間がある。このような時間に、第１認識器よりも認識の精度は高いが多くの使用計算リソースを要する第２認識器に処理を実行させることで、第１認識結果と差異のある可能性の高い第２認識結果を得ることができる。

【0019】

また、前記決定部は、前記第１認識結果と前記第２認識結果との数値的な差異に応じて前記送信要否または送信の優先順位を決定してもよい。または、前記決定部は、前記第１認識結果と前記第２認識結果とのタイプの差異に応じて前記送信要否または送信の優先順位を決定してもよい。

【0020】

このような差異に基づいて送信の要否又は優先順位を決定することで、再学習に有用である可能性の高い学習用データが優先的にサーバ装置に送信される。つまり、学習用データが効率的に収集される。

【0021】

また、前記情報処理装置が搭載される車両において計算リソースに所定量以上の余裕があるかを判定する判定部をさらに備え、前記制御部は、前記車両において計算リソースに所定量以上の余裕があると前記判定部により判定されると、前記第２認識器に認識処理を実行させてもよい。

【0022】

これにより、より精度の高い第２認識器による処理の実行が可能な時間に処理が行われ、その一方で、この処理のためにユーザによる自動運転車の使用が妨げられる状況の発生を抑えるができる。

【0023】

また、前記情報処理装置が搭載される車両において使用可能な計算リソース、又は前記第１認識器のための学習目的に応じた前記第２認識器が前記第２認識処理に用いられてもよい。

【0024】

つまり、多様な第２認識器を用い得ることで、例えば利用可能な計算リソースの多少に応じた第２認識処理が実行可能である。これにより、自動運転車上のリソースの有効な活用が図られる。また例えば、将来的に新機能を提供するための新たな対象の認識の実現に適した学習用データの収集のための第２認識処理が実行可能である。これにより、より安全で快適な自動運転車のユーザへの提供が促される。

【0025】

また、前記第２認識器は、前記サーバ装置から通信を介して取得されてもよい。

【0026】

これにより、自動運転車に実装される第２認識器の更新が可能になり、また、高い多様性が得られる。

【0027】

また、前記制御部は、前記センシング情報のうち、所定の条件を満たすセンシング情報に対して他のセンシング情報よりも優先して前記第２認識器に前記第２認識処理を実行させてもよい。

【0028】

このように、条件を用いてフィルタリングすることで、例えば学習用データが相対的に少ない走行状況の学習用データが効率的に収集される。このように収集された学習用データを用いて学習がされることで、物体認識の精度は、可能性に拘わらず起こり得る走行状況に対して万遍なく一定レベル以上に引き上げることができる。したがって、より安全で快適な自動運転車を早期にユーザに提供できる。

【0029】

また、本発明の一態様に係る、サーバ装置と通信可能に接続される自動車に搭載される情報処理装置が備えるプロセッサによって実行されるプログラムは、前記プロセッサに、第１認識器によるセンシング情報を入力として第１認識処理と、前記第１認識器と能力条件が異なる認識器である第２認識器による、前記センシング情報を入力として第２認識処理と、前記第１認識処理の結果である第１認識結果と前記第２認識処理の結果である第２認識結果との差異に応じて、前記センシング情報の送信要否又は送信の優先順位の決定と、前記決定された送信要否又は優先順位に基づいての、前記センシング情報のサーバ装置への送信とを実行させる。

【0030】

これにより、蓄積された走行中の画像データのサイズが膨大であっても、ネットワーク帯域や消費電力の問題が原因で再学習に有効な画像データを、再学習処理を行うためのサーバ装置に送信できない事態の発生を抑制することができる。言い換えると、限られたネットワーク帯域及び送信時間の中で、ＡＩを進化させるために有用な画像データが優先的にサーバ装置に送信されることで、学習用データが学習システムに効率的に収集される。それにより、ＡＩの進化をより確実に実施でき、自動運転車におけるＡＩ更新サイクルは加速し、より安全で快適な自動運転車を早期にユーザに提供できる。

【0031】

なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本発明を限定する趣旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また実施の形態及びその変形例の各々の内容を、矛盾の生じない限りにおいて組み合わせることもできる。

【0032】

（実施の形態）
ここでは、本実施の形態に係る、自動運転車における情報処理装置について図１から図４を用いて説明する。

【0033】

［構成］
図１は、本実施の形態における、自動運転車とサーバ装置の構成の一例を示すブロック図である。図１に示すように、自動運転車１０１は、通信網であるネットワーク１０２を介してサーバ装置１０３と通信可能に接続している。

【0034】

本実施の形態におけるサーバ装置１０３は、画像データを含む情報データを用いてする、物体検出のためのＡＩの再学習機能を具備してもかまわないし、このような情報データを一時的に蓄積する機能だけを具備する構成でもかまわない。後者の場合は、情報データは再学習機能を具備する他の情報処理システムにさらに入力される。ただし、以下の説明では、サーバ装置１０３が上記の再学習機能を具備する場合を例に用いている。

【0035】

この再学習に用いられる情報データは、自動運転車１０１からサーバ装置１０３へネットワーク１０２を介して提供される。

【0036】

図２は、本実施の形態において、自動運転車１０１が備える情報処理装置２００の機能構成の一例を示すブロック図である。

【0037】

自動運転の際、自動運転車１０１では、カメラやＬＩＤＡＲ（Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）などの光学センサ、超音波センサ、又はミリ波等の電波センサなどの、物体検出に利用可能なセンサ２０２から出力された画像データを含む情報データを用いて、自動運転に必要なリアルタイムの物体検出が情報処理装置２００において実行される。情報処理装置２００は、例えば車載のＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）が備えるマイクロコントローラで実現される。

【0038】

情報処理装置２００は、機能的構成要素として、物体検出器２０３、検出結果蓄積器２０４、検出結果送信可否確認器２０５、優先順位付き検出結果蓄積器２０６、優先順位付き検出結果選択器２０７及び検出結果送信器２０８を備える。各機能的構成要素は、情報処理装置２００に備えられるマイクロコントローラにおいて、所定のプログラムがプロセッサで実行され、又はこのプログラムの実行結果がメモリに保存若しくは出力ポートを通じて外部に出力されることで実現される。また、ここでのプロセッサは本実施の形態における制御部の例である。

【0039】

物体検出器２０３は、センサ２０２が出力した情報データが示す情報（以下、センシング情報という）に基づいてリアルタイムに物体を検出する認識モデルである。検出結果蓄積器２０４には、その検出の結果のデータが蓄積される。図３Ａは、検出結果蓄積器２０４に蓄積される、物体検出器２０３による物体検出の結果を含むデータの構成の一例である検出結果データ３０１を示す。

【0040】

この例における検出結果データ３０１は、検出結果データを一意に示すシーンＩＤ３０２、画像データのパス（又はファイル名）３０３、検出結果３０４、撮影時刻を示す時間情報３０５などを含む。また、検出結果データの構成要素には、さらに撮影時の車両の速度、加速度、ブレーキの有無などの走行のための制御の内容を示す走行制御情報の一例である制動状況３０６を含んでもかまわない。また、検出結果３０４は検出した物体のタイプ、撮影画像におけるその物体の画像の範囲、信頼度などで構成される。

【0041】

なお、自動運転において結果が利用される物体の認識は、物体検出器２０３が実行する物体検出によるものである。

【0042】

このような物体検出器２０３は、本実施の形態における第１認識器の例である。また、センシング情報を入力として物体検出器２０３が実行する上記の物体検出の処理は、本実施の形態における第１認識処理の例である。また、検出結果蓄積器２０４に蓄積される、検出結果データ３０１に含まれる検出結果３０４は、本実施の形態における第１認識結果の例である。

【0043】

選別用検出器２０１は、センシング情報に基づいて物体を検出する認識モデルである検出器を備える。ただし、選別用検出器２０１による物体検出は物体検出器２０３による物体検出に比べて、例えばよりサイズの大きな、つまり解像度の高い入力画像を用いる、又はより大きなビット数での並列演算で実行される等、機能又は性能の条件（以下、能力条件という）が異なる。物体検出器２０３及び選別用検出器２０１のそれぞれで処理される解像度の異なる入力画像とは、例えば自動運転車１０１上の記憶装置（図示なし）にいったん記憶された画像データを異なる解像度でダウンコンバートしたものである。

【0044】

このような選別用検出器２０１による物体検出はリアルタイムではなく、例えば、１時間分の画像データに基づく物体検出の処理を３０分かけて実行し、物体検出器２０３よりも正確な結果を出す。つまり、選別用検出器２０１と物体検出器２０３とでは、同じ場面を撮影した画像に基づく物体検出であっても結果が異なる場合がある。選別用検出器２０１は、実行した物体検出の結果と、検出結果蓄積器２０４に蓄積されている検出結果データ３０１が示す検出結果とを比較し、その差異に応じた優先順位を決定し、決定した優先順位の情報を、物体検出の結果を含むデータに付した優先順位付き検出結果データを生成して、優先順位付き検出結果蓄積器２０６に蓄積する。図３Ｂは、優先順位付き検出結果蓄積器２０６に蓄積される、優先順位付き検出結果データの構成の一例である優先順位付き検出結果データ３２１を示す。図３Ｂの例では、優先順位付き検出結果データ３２１における優先順位３２２が、選別用検出器２０１によって決定された上記の優先順位である。

【0045】

上記の物体検出の結果の差異とは、例えば数値的な差異であり、具体的な例を挙げると、同一のシーンの画像で検出された物体若しくはこの物体の像を示す枠の個数、当該像若しくは枠内の領域の、シーン全体の画像における位置若しくはこの画像に占める割合の差異である。選別用検出器２０１は、このような差異が大きいほど、対応するセンシング情報がより優先的にサーバ装置１０３に送信されるよう優先順位を決定する。物体検出の結果の差異の他の例としては、検出された物体の種類（タイプ）、例えば検出されたのが歩行者、自転車、オートバイ、自動車、障害物、又は標識のいずれであるかの差異である。選別用検出器２０１は、物体検出の結果にこのような差異がある場合に、対応するセンシング情報がより優先的にサーバ装置１０３に送信されるよう優先順位を決定する。

【0046】

なお、優先順位は、差異の大きさに応じた事前の設定値に基づいても決定されてもよいし、例えば物体検出の結果について算出されるｍｅａｎ Ａｖｅｒａｇｅ Ｐｒｅｃｉｓｉｏｎ（ｍＡＰ）のような指標値を用いて決定されてもよい。

【0047】

このような選別用検出器２０１は、本実施の形態における第２認識器及び決定部の例である。また、センシング情報を入力として選別用検出器２０１が実行する上記の物体検出の処理は、本実施の形態における第２認識処理の例である。また、優先順位付き検出結果データ３２１に含まれる検出結果３２４は、本実施の形態における第２認識結果の例である。

【0048】

また、前記第２認識器は、前記第１認識器よりも使用計算リソースが多くてもよい。

【0049】

例えば駐車中のように、自動運転中には自動運転に必要な他の処理に用いられている使用計算リソースを物体検出に転用することができる時間がある。このような時間に、第１認識器よりも認識の精度は高いが多くの使用計算リソースを要する第２認識器に処理を実行させることで、第１認識結果と差異のある可能性の高い第２認識結果を得ることができる。

【0050】

また、前記決定部は、前記第１認識結果と前記第２認識結果との数値的な差異に応じて前記送信要否または送信の優先順位を決定してもよい。または、前記決定部は、前記第１認識結果と前記第２認識結果とのタイプの差異に応じて前記送信要否または送信の優先順位を決定してもよい。

【0051】

このような差異に基づいて送信の要否又は優先順位を決定することで、再学習に有用である可能性の高い学習用データが優先的にサーバ装置に送信される。つまり、学習用データが効率的に収集される。

【0052】

また、前記情報処理装置が搭載される車両において計算リソースに所定量以上の余裕があるかを判定する判定部をさらに備え、前記制御部は、前記車両において計算リソースに所定量以上の余裕があると前記判定部により判定されると、前記第２認識器に認識処理を実行させてもよい。

【0053】

これにより、より精度の高い第２認識器による処理の実行が可能な時間に処理が行われ、その一方で、この処理のためにユーザによる自動運転車の使用が妨げられる状況の発生を抑えるができる。

【0054】

また、前記情報処理装置が搭載される車両において使用可能な計算リソース、又は前記第１認識器のための学習目的に応じた前記第２認識器が前記第２認識処理に用いられてもよい。

【0055】

つまり、多様な第２認識器を用い得ることで、例えば利用可能な計算リソースの多少に応じた第２認識処理が実行可能である。これにより、自動運転車上のリソースの有効な活用が図られる。また例えば、将来的に新機能を提供するための新たな対象の認識の実現に適した学習用データの収集のための第２認識処理が実行可能である。これにより、より安全で快適な自動運転車のユーザへの提供が促される。

【0056】

また、前記第２認識器は、前記サーバ装置から通信を介して取得されてもよい。

【0057】

これにより、自動運転車に実装される第２認識器の更新が可能になり、また、高い多様性が得られる。

【0058】

また、前記制御部は、前記センシング情報のうち、所定の条件を満たすセンシング情報に対して他のセンシング情報よりも優先して前記第２認識器に前記第２認識処理を実行させてもよい。

【0059】

このように、条件を用いてフィルタリングすることで、例えば学習用データが相対的に少ない走行状況の学習用データが効率的に収集される。このように収集された学習用データを用いて学習がされることで、物体認識の精度は、可能性に拘わらず起こり得る走行状況に対して万遍なく一定レベル以上に引き上げることができる。したがって、より安全で快適な自動運転車を早期にユーザに提供できる。

【0060】

また、本発明の一態様に係る、サーバ装置と通信可能に接続される自動車に搭載される情報処理装置が備えるプロセッサによって実行されるプログラムは、前記プロセッサに、第１認識器によるセンシング情報を入力として第１認識処理と、前記第１認識器と能力条件が異なる認識器である第２認識器による、前記センシング情報を入力として第２認識処理と、前記第１認識処理の結果である第１認識結果と前記第２認識処理の結果である第２認識結果との差異に応じて、前記センシング情報の送信要否又は送信の優先順位の決定と、前記決定された送信要否又は優先順位に基づいての、前記センシング情報のサーバ装置への送信とを実行させる。

【0061】

これにより、蓄積された走行中の画像データのサイズが膨大であっても、ネットワーク帯域や消費電力の問題が原因で再学習に有効な画像データを、再学習処理を行うためのサーバ装置に送信できない事態の発生を抑制することができる。言い換えると、限られたネットワーク帯域及び送信時間の中で、ＡＩを進化させるために有用な画像データが優先的にサーバ装置に送信されることで、学習用データが学習システムに効率的に収集される。それにより、ＡＩの進化をより確実に実施でき、自動運転車におけるＡＩ更新サイクルは加速し、より安全で快適な自動運転車を早期にユーザに提供できる。

【0062】

検出結果送信可否確認器２０５は、センシング情報のサーバ装置１０３への送信が可能な状況であるか否かを、所定の情報に基づいて判断する。この所定の情報とは、例えば当該自動運転車１０１が駐車状態にあるか否か、充電量が所定量以上であるか否か、又は充電が実行されているか否かに関する情報である。これらの情報は、選別用検出器２０１による、サーバ装置１０３に送信するセンシング情報の優先順位の決定までの処理が実行可能であるか否かに関する判断の要素である。つまり、検出結果送信可否確認器２０５は、選別用検出器２０１による処理に必要なプロセッサ、メモリ及びこれらで消費される電力などのリソース（以下、計算リソースという）の必要な量が利用可能な状態であるか否かに基づいて、センシング情報のサーバ装置１０３への送信が可能な状況であるか否かを判断する。このような検出結果送信可否確認器２０５は、本実施の形態における判定部の例である。

【0063】

なお、選別用検出器２０１は上述のとおり物体検出器２０３よりも正確な結果を出すものであることから、そのための処理により多くの計算リソースを要する場合がある。また、そのような処理をできるだけ短時間で完了できるように、選別用検出器２０１を実現するときのプロセッサが物体検出器２０３を実現するときよりも高い駆動周波数で動作してもよいため、同様により多くの計算リソースを要する場合がある。

【0064】

また例えば、上記の所定の情報には、所定の速度以上でデータ送信が可能な帯域幅のネットワークが利用可能であるか否かに関する情報が含まれてもよい。この情報は、決定された優先順位に基づいての、センシング情報のサーバ装置１０３への送信が実行可能であるか否かに関する判断の要素である。

【0065】

検出結果送信可否確認器２０５は、これらの情報を、例えば情報処理装置２００上で実行されている何らかのプログラムによる処理の結果として出力されるデータ、又は情報処理装置２００が接続されている車載のネットワーク（図示なし）を経由して他のＥＣＵから取得するデータに基づいて取得する。送信が可能であると判断した場合、検出結果送信可否確認器２０５は、選別用検出器２０１及び優先順位付き検出結果選択器２０７を起動する。

【0066】

優先順位付き検出結果選択器２０７は、優先順位付き検出結果蓄積器２０６に蓄積された優先順位付き検出結果データ３２１に含まれる優先順位３２２に基づいて最優先の検出結果のデータを選択する。

【0067】

検出結果送信器２０８は、優先順位付き検出結果選択器２０７が選択した検出結果のデータに対応するセンシング情報、より具体的には、優先順位付き検出結果データ３２１に含まれる画像データの情報が示す画像データを、ネットワーク１０２を介してサーバ装置１０３に送信する。優先順位付き検出結果選択器２０７及び検出結果送信器２０８は、本実施の形態における通信部の例である。

【0068】

なお、画像データがある程度の時間長にわたる映像である場合には、送信されるセンシング情報は、優先順位付き検出結果データ３２１に示される画像データ全体ではなく、同じ優先順位付き検出結果データ３２１に含まれる時刻の情報からさらに特定可能な、当該画像データの一部分であってもよい。

【0069】

上記のように構成される情報処理装置２００では、能力条件が異なる検出器による物体検出の結果に数値的な差異が大きい、又はタイプの差異があるシーンの画像データが優先的にサーバ装置１０３へ送信される。サーバ装置１０３では、情報処理装置２００から提供された画像データを用いて、リアルタイムの物体検出の精度を向上させるための再学習が行われる。しかしながら、情報処理装置２００からは、データ量、計算リソース、又は通信速度等が原因で、すべての画像データがサーバ装置１０３に送信できるとは限らない。そのような場合でも、リアルタイムの物体検出処理とリアルタイムではないがより正確な物体検出処理とで結果に差がある、又は結果の差が大きいシーンの画像データが優先的にサーバ装置１０３に送信されることで、サーバ装置１０３での上記の再学習が、より効率的又は効果的に実行される。

【0070】

［動作］
次に、上記のように構成される情報処理装置２００の動作について説明する。図４は、情報処理装置２００の動作手順を示すフロー図である。なお、この一連の手順より前に、物体検出器２０３によるリアルタイムの物体検出処理、つまり第１認識処理は実行され、その第１認識結果を含む検出結果データが検出結果蓄積器２０４に蓄積されている。また、センサ２０２が出力して物体検出器２０３による物体検出に用いられたセンシング情報が自動運転車１０１上の記憶装置に保存されている。

【0071】

まずは、検出結果送信可否確認器２０５が、センシング情報のサーバ装置１０３への送信が可能な状況であるか否かを、駐車状態にあるか否か等の上述の所定の情報に基づいて判断する（ステップＳ４０１）。

【0072】

送信が可能な状況ではない場合（ステップＳ４０１でＮＯ）、後ほどステップＳ４０１は再度実行される。

【0073】

送信が可能な状況である場合（ステップＳ４０１でＹＥＳ）、検出結果送信可否確認器２０５は、制御部に選別用検出器２０１及び優先順位付き検出結果選択器２０７を起動させる（ステップＳ４０２）。

【0074】

次に、起動された選別用検出器２０１が、センシング情報を入力として第２認識処理を実行する（ステップＳ４０３）。ここで入力されるセンシング情報は、検出結果データにおいて一のＩＤで識別される各シーンに対応するセンシング情報である。

【0075】

次に選別用検出器２０１は、同一のＩＤで識別されるシーンのセンシング情報に対する第１認識処理の結果である第１認識結果と第２認識処理の結果である第２認識結果との差異を取得し、この差異に応じて、当該シーンのセンシング情報の送信の優先順位を決定する（ステップＳ４０４）。決定された優先順位は、第２認識結果とともに優先順位付き検出結果データの一部として、優先順位付き検出結果蓄積器２０６に蓄積される（ステップＳ４０５）。

【0076】

その次は、優先順位付き検出結果選択器２０７が、優先順位付き検出結果蓄積器２０６の稼働を確認すると（ステップＳ４０６でＹＥＳ）、優先順位付き検出結果蓄積器２０６に蓄積される優先順位付き検出結果データのうち、最も高い優先順位を示すものを選択する（ステップＳ４０７）。

【0077】

次に、その選択結果に基づいたセンシング情報が、具体的には、選択された優先順位付き検出結果データに示される画像データ又はその一部が、検出結果送信器２０８からネットワーク１０２を介してサーバ装置１０３に送信される（ステップＳ４０８）。

【0078】

以降、送信対象のセンシング情報のうち、未送信のものが優先順位の高い方から送信される（ステップＳ４０９でＹＥＳでステップＳ４０７から繰り返し）。

【0079】

優先順位付き検出結果蓄積器２０６が稼働していない場合（ステップＳ４０６でＮＯ）、または送信対象のセンシング情報が全てサーバ装置１０３に送信された場合（ステップＳ４０９でＮＯ）には、一連の手順は終了する。

【0080】

このように動作することで、情報処理装置２００は、物体検出器２０３で実行されるリアルタイムでの物体検出の精度を向上させるためにサーバ装置１０３で行われる再学習が、より効率的になるようなセンシング情報から優先的にサーバ装置１０３に提供する。

【0081】

（変形例）
上述の実施の形態に係る情報処理装置の変形例について、図５から図１０を用いて説明する。

【0082】

実施の形態における選別用検出器２０１は、センシング情報に基づいて物体検出を実行し、物体検出器２０３とは能力条件が異なって、リアルタイムではないがより正確な結果を出すものとして記載されているが、これに限定されない。以下、選別用検出器２０１に関する変形例を説明する。

【0083】

図５は上記の実施の形態に係る情報処理装置が備え得る選別用検出器の他の一例である選別用検出器２０１Ａの機能的構成を説明するためのブロック図である。図６は、この例における選別用検出器２０１Ａの動作手順を示すフロー図である。

【0084】

選別用検出器２０１Ａは、検出器選択部５０１と、複数の検出器５０２、検出器５０３及び検出器５０４とを含む。

【0085】

検出器５０２、５０３及び５０４は互いに異なる能力条件で物体検出を行う。より具体的には、例えば物体検出の処理を行う画像のサイズ又は解像度が異なる。または、各々が互いに異なるタイプに特化した物体検出を行うものであってもよい。また、能力条件が異なる結果、物体検出の動作に使用する計算リソースもさらに異なる場合もある。

【0086】

検出器選択部５０１は、ステップＳ４０３で物体検出を行う選別用検出器２０１Ａとして機能する検出器を、検出器５０２〜５０４から選択する（ステップＳ６０１）。この選択は、例えばサーバ装置１０３からこの時点までに受けた要求に応じてなされる。サーバ装置１０３からの要求とは、例えば「歩行者」のように物体検出の対象のタイプを指定する要求である。

【0087】

検出器選択部５０１によって選択された検出器が物体検出を実行（ステップＳ６０２）することで、選別用検出器２０１Ａによる物体検出が実行される（ステップＳ４０３）。

【0088】

なお、選択されて物体検出を実行する検出器は複数であってもよく、複数選択された検出器による物体検出は、逐次に実行されても並列で実行されてもよい。

【0089】

図７は上記の実施の形態に係る情報処理装置が備え得る選別用検出器の他の一例である選別用検出器２０１Ｂの機能的構成を説明するためのブロック図である。図８は、この例における選別用検出器２０１Ｂの動作手順を示すフロー図である。

【0090】

選別用検出器２０１Ｂは、検出器生成部７０１と検出器７０２とを含む。

【0091】

検出器生成部７０１は、物体検出器２０３を基に検出器５０２を生成する（ステップＳ８０１）。物体検出器２０３を基にする検出器５０２の生成とは、物体検出器２０３の能力条件の変更、例えば物体検出器２０３の動作時よりも大きな（高解像度）の入力画像を使用させたり、プロセッサの並列演算のビット数を増加させたり、又は駆動周波数を上昇させたりすることによって、物体検出器２０３よりも認識性能又は処理性能を向上させた検出器を実現させることである。また、自動運転中には使用できない計算リソース、例えば、制御系アプリケーションが自動運転中に使用する演算能力若しくはメモリなどのハードウェアリソース又は消費電力などを追加的に使用して認識性能又は処理性能を向上させた検出器を実現させることであってもよい。

【0092】

検出器生成部７０１によって生成された検出器５０２が物体検出を実行（ステップＳ８０２）することで、選別用検出器２０１Ｂによる物体検出が実行される（ステップＳ４０３）。

【0093】

図９は上記の実施の形態に係る情報処理装置で物体検出を実行する選別用検出器のさらに他の一例である選別用検出器２０１Ｃを説明するためのブロック図である。図１０は、この例における情報処理装置２００の動作手順を示すフロー図である。

【0094】

選別用検出器２０１Ｃは、検出器取得部９０１を備える。

【0095】

検出器取得部９０１は、検出器９０２として用いられる認識モデル（又はニューラルネットワークデータなどの部品データ）を、ネットワーク１０２を介して例えばサーバ装置１０３に要求して取得する（ステップＳ１００１）。情報処理装置２００では、取得されたこの認識モデルを、プロセッサが用いて物体検出を行う（ステップＳ１００２）ことによって、選別用検出器２０１Ｃによる物体検出が実行される（ステップＳ４０３）。または、ニューラルネットワークなどの部品データが取得される構成の場合は、そのニューラルネットワークなどの部品データを認識モデルのパラメタとして物体検出器２０３が読み込んで動作することで検出器９０２が実現されてもよい。

【0096】

なお、上記の態様は組み合わせられてもよい。例えば、複数の検出器が生成されてもよいし、複数の検出器が定期不定期に入れ替えられるようにサーバ装置１０３から提供されてもよい。また、サーバ装置１０３から提供される検出器による物体検出と検出器生成部７０１による物体検出とが、逐次に又は並列に実行されてもよい。

【0097】

変形例におけるこれらのいずれの態様によっても、使用する選別用検出器の能力条件を、情報処理装置２００を備える車両の状況、又は意図される再学習の目的に応じて柔軟に変えて第２認識処理を行うことができる。その結果、物体検出器２０３の精度向上のためのサーバ装置１０３での再学習がより効率的に実行できるようになる。

【0098】

また、選別用検出器２０１Ｃのように、サーバ装置１０３から検出器が提供される態様では、例えば新たなタイプの物体を検出する検出器が提供されてもよい。これにより、将来的な機能拡張の学習に利用するセンシング情報をサーバ装置１０３へ効率的に送信することができる。

【0099】

（その他）
以上、本発明に係る情報処理装置について、実施の形態及びその変形例に基づいて上述のとおり説明したが、本発明は、上述の説明に限定されるものではない。

【0100】

例えば、本発明に係る情報処理装置の動作手順は、図４のフロー図の内容に限定されない。図４のフロー図にブロックで示される各ステップは、矛盾のない限りにおいて順序を入れ替えたり、複数を並行させたりして実行されてもよい。また、一部が省略されてもよいし、追加のステップがあってもよい。例えば、ステップＳ４０６でＹＥＳの直後又はステップＳ４０９の直前に、センシング情報の送信が可能であるか否かについて、車両の充電状況又は利用可能な通信帯域に基づいて検出結果送信可否確認器２０５によって再度判断されてもよい。送信が可能でない場合には、一連の手順が終了してもよいし、またはいったん保留して、一定時間をおいて送信が可能であるかについて再確認がされてもよい。

【0101】

また、図４のフロー図の一連の処理の実行中にユーザが自動運転車の使用を開始する場合は、当該処理は中断若しくは終了し、すぐに自動運転可能な状態に戻る。しかしながら、ユーザにとって有益な場合（自宅の車庫入れのための処理など）は、インストルメントパネル上のダイアログメッセージ又は音声メッセージ等を通じてユーザに画像データ転送処理の継続の了解を求め、ユーザの明示の指示がある場合、この指示に従って当該処理が中断又は終了されてもよい。

【0102】

また、送信対象となるのはセンシング情報の一部であってもよい。例えば第１認識結果と第２認識結果とが同一であるか又は数値的な差異が所定の大きさより小さいセンシング情報は、サーバ装置１０３への送信対象外としてもよい。または、第１認識結果と第２認識結果とのタイプの差異が特定のタイプ間の差異である場合のみ送信対象とされてもよい。つまり、ステップＳ４０４における優先順位の決定に代えて、又は加えてセンシング情報の送信の要否が決定されてもよい。

【0103】

また、複数の検出結果データに対して同じ優先順位が決定されてもよい。この場合には、さらに事前に設定された他の基準、例えば時刻順、検出された物体のタイプ間の所定の順序、信頼度の降順又は昇順等、検出結果データに含まれる他の情報、又は送信するデータのサイズに基づいてセンシング情報の送信順序が決定されて送信されてもよい。上述のようにセンシング情報の送信の要否のみが決定された場合も、送信対象のセンシング情報の送信順はこのような手法で決定されてもよい。

【0104】

また、所定の条件を満たすセンシング情報に対しては、他のセンシング情報よりも優先して選別用検出器による物体検出、又はサーバ装置１０３への送信の対象とされてもよい。この所定の条件の例としては、センシング情報が生成された時刻に関する条件が挙げられる。これにより、例えば特定の時間帯での走行時に生成されたセンシング情報が優先的に処理される。別の例としては、センシング情報が生成された時の、情報処理装置２００が搭載される車両の走行のための制御の内容に関する条件であってもよい。例えば急制動等の制御が運転者又は自動運転システムによって行われた時に生成されたセンシング情報が優先的に処理されてもよい。また別の例としては、その車両の外部環境に関する条件であってもよい。例えば雨天時、路面状況、又はトンネルの中など、車両が特定の天候下又は場所におかれている時に生成されたセンシング情報が優先的に処理されてもよい。

【0105】

これにより、例えば学習用のデータが集まりにくい状況、認識精度を特に強化したい状況のセンシング情報をより確実に集めることができ、リアルタイムの物体検出の精度を向上させるための再学習を促進することができる。

【0106】

このように所定の条件で優先順位を付けてセンシング情報の処理をするためには、検出結果データにより詳細な情報が含められてもよい。図１１は、検出結果データの他の例を示す図である。図１１に示される検出結果データ１３０１には、制動状況１３０６として、具体的な走行制御に関する情報１１０１及び外部環境に関する情報（以下、外部環境情報ともいう）１１０２が含まれている。走行制御情報１１０１及び外部環境情報１１０２は、例えば自動運転車１０１が備える各種のセンサで測定されて、情報処理装置２００は、接続される車載ネットワークに接続される他のＥＣＵ等からこれらの情報を受信して検出結果３０４とあわせて検出結果データ１３０１に含めてもよい。なお、図１１の例では、走行制御情報１１０１及び外部環境情報１１０２は制動状況１３０６のサブ項目であるが、検出結果データの構造はこれに限定されない。例えば制動状況１３０６の情報はフットブレーキの操作の有無、押圧、操作時間等を含み、走行制御情報１１０１及び外部環境情報１１０２は、制動状況１３０６と同レベルの項目であってもよい。

【0107】

例えば選別用検出器２０１は、これらの情報を参照して対応するセンシング情報に対して優先的に物体検出を実行してもよい。またこのような検出結果データ１３０１に対応するセンシング情報の優先的な送信は、選別用検出器２０１が物体検出器２０３による検出の結果との差異の有無又は大きさに拘わらず高い優先順位を適用してもよいし、優先順位付き検出結果選択器２０７がこのような情報を参照して検出結果送信器２０８から優先的に送信させてもよい。

【0108】

また、第１認識結果と第２認識結果との差異に応じて決定された送信要否又は優先順位に基づいてセンシング情報の送信をするために用いられるデータの構造は、検出結果データ３０１又は優先順位付き検出結果データ３２１の構造に限定されない。例えば優先順位は、優先順位付き検出結果データ３２１に代えて、シーンＩＤとともに他のテーブルで管理されてもよい。その他の情報のデータについても、関連付けて管理されていればよく、その構造は限定されない。

【0109】

また、各実施の形態で説明した各構成要素は、ソフトウェアとして実現されてもよいし、典型的には、集積回路であるＬＳＩとして実現されてもよい。これらは、個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて構成要素の集積化を行ってもよい。

【0110】

また、本発明の一態様としては、コンピュータプログラム又はこのコンピュータプログラムを含むデータを示すデジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリ等に記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしても良い。

【0111】

また、本発明の一態様としては、コンピュータプログラム又はデジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。

【0112】

また、本発明の一態様としては、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、上記コンピュータプログラムを記録しており、マイクロプロセッサは、コンピュータプログラムに従って動作するとしてもよい。上述の情報処理装置はこのようなコンピュータシステムの一例である。

【0113】

また、プログラム若しくは前記デジタル信号を前記記録媒体に記録して移送することにより、又は、前記プログラム若しくは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。

【0114】

上記実施の形態及び上記変形例で示した各構成要素及び機能を任意に組み合わせることで実現される形態も本発明の範囲に含まれる。

【産業上の利用可能性】

【0115】

本発明は、リアルタイム物体検出器を備える自動運転車で用いられる認識モデルを、自動運転車から遠隔で強化するための仕組みの効率的な運用に利用可能である。

【符号の説明】

【0116】

１０１ 自動運転車
１０２ ネットワーク
１０３ サーバ装置
２００ 情報処理装置
２０１、２０１Ａ、２０１Ｂ、２０１Ｃ 選別用検出器（第２認識器、決定部）
２０２ センサ
２０３ 物体検出器（第１認識器）
２０４ 検出結果蓄積器
２０５ 検出結果送信可否確認器
２０６ 優先順位付き検出結果蓄積器
２０７ 優先順位付き検出結果選択器（通信部）
２０８ 検出結果送信器（通信部）
５０１ 検出器選択部
５０２、５０３、５０４、７０２、９０２ 検出器
７０１ 検出器生成部
９０１ 検出器取得部

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】