特許 7528927 情報処理装置および情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-29

(45)【発行日】2024-08-06

(54)【発明の名称】情報処理装置および情報処理方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240730BHJP

   G06N 20/00 20190101ALI20240730BHJP

   G06V 10/778 20220101ALI20240730BHJP

   G06V 20/56 20220101ALI20240730BHJP

【ＦＩ】

G06T7/00 350B

G06N20/00 160

G06V10/778

G06V20/56

【請求項の数】 12

(21)【出願番号】P 2021511391

(86)(22)【出願日】2020-03-17

(86)【国際出願番号】 JP2020011600

(87)【国際公開番号】W WO2020203240

(87)【国際公開日】2020-10-08

【審査請求日】2023-01-19

(31)【優先権主張番号】P 2019068492

(32)【優先日】2019-03-29

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】山本 祐輝

(72)【発明者】

【氏名】佐藤 竜太

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２０１７－１７４２９８（ＪＰ，Ａ）

【文献】特開２０１８－２０７２２２（ＪＰ，Ａ）

【文献】特開２０１６－０５７７０１（ＪＰ，Ａ）

【文献】特開２０１６－１７３６８２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｎ ２０／００

Ｇ０６Ｖ １０／００－１０／９８

Ｇ０６Ｖ ２０／００－２０／９０

(57)【特許請求の範囲】

【請求項1】

所定個数の端末において画像認識を行い、教師なし学習を実行することにより更新されるモデルが、それぞれ設定され、所定個数の前記端末において画像認識が行われた画像を対象として画像認識を行う所定個数の認識部と、
所定個数の前記認識部における認識結果を評価し、前記認識部ごとの評価値を算出する評価値算出部と、
所定個数の前記認識部における認識結果が統合された統合認識結果を求める統合部と
を備え、
前記評価値算出部は、所定個数の前記認識部における認識結果と、前記統合認識結果とを用いて、個々の前記認識部の評価値を算出する
情報処理装置。

【請求項2】

前記学習は、所定個数の端末において前記画像が取得される所定間隔のタイミングごとに行われ、
前記評価値算出部は、前記所定間隔よりも長い一定期間ごとに前記評価値を算出する
請求項１に記載の情報処理装置。

【請求項3】

所定個数の前記認識部は、所定個数の前記端末において画像認識が行われた全ての画像を対象として画像認識を行う
請求項１に記載の情報処理装置。

【請求項4】

所定個数の前記認識部は、所定の前記端末の前記画像を、その端末から送信されてくる付加情報によって重み付けした画像に対する画像認識を行う
請求項３に記載の情報処理装置。

【請求項5】

所定個数の前記端末から送信されてくる前記画像、前記モデル、および前記付加情報を受信する受信部をさらに備え、
前記受信部は、所定個数の前記端末の前記モデルを、それぞれ対応する所定個数の前記認識部に設定し、所定枚数の前記画像および所定個数の前記付加情報を所定個数の前記認識部の全てに供給する
請求項４に記載の情報処理装置。

【請求項6】

前記評価値算出部により算出された所定個数の前記認識部に設定された前記モデルに対する評価値を、それぞれ対応する所定個数の前記端末に送信する送信部
をさらに備える請求項１に記載の情報処理装置。

【請求項7】

情報処理装置が、
所定個数の端末において画像認識を行い、教師なし学習を実行することにより更新されるモデルが、それぞれ設定される所定個数の認識部において、所定個数の前記端末において画像認識が行われた画像を対象として画像認識を行うことと、
所定個数の前記認識部における認識結果を評価し、前記認識部ごとの評価値を算出することと、
所定個数の前記認識部における認識結果が統合された統合認識結果を求めることと
を含み、
所定個数の前記認識部における認識結果と、前記統合認識結果とを用いて、個々の前記認識部の評価値を算出する
情報処理方法。

【請求項8】

画像に対する画像認識を行う認識器のモデルに対する教師なし学習を実行する実行部と、
前記実行部での学習により更新された前記モデルについて、それぞれ異なる所定個数のモデルにおいて画像認識が行われた認識結果を用いて求められる評価値に基づいて、正しく学習が行われたか否かを判定する判定部と
を備え、
前記評価値は、所定個数の前記モデルにおける認識結果と、所定個数の前記モデルにおける認識結果が統合された統合認識結果とを用いて、個々の前記モデルについて算出されたものであり、
前記実行部は、前記判定部において正しく学習が行われていないと判定された場合、その学習が行われる前のモデルに戻す
情報処理装置。

【請求項9】

前記実行部は、前記画像が取得される所定間隔のタイミングごとに前記学習を実行し、
前記評価値は、前記所定間隔よりも長い一定期間ごとに求められる
請求項８に記載の情報処理装置。

【請求項10】

前記評価値が求められるタイミングで、前記モデルおよび前記画像とともに、所定の付加情報を送信する送信部
をさらに備える請求項８に記載の情報処理装置。

【請求項11】

前記実行部により更新された最新の前記モデルを認識器に設定して、前記画像に対する認識処理を行い、その認識結果を用いた所定の処理を行う処理部に認識結果を出力する認識処理部
をさらに備える請求項８に記載の情報処理装置。

【請求項12】

情報処理装置が、
画像に対する画像認識を行う認識器のモデルに対する教師なし学習を実行することと、
その学習により更新された前記モデルについて、それぞれ異なる所定個数のモデルにおいて画像認識が行われた認識結果を用いて求められる評価値に基づいて、正しく学習が行われたか否かを判定することと
を含み、
前記評価値は、所定個数の前記モデルにおける認識結果と、所定個数の前記モデルにおける認識結果が統合された統合認識結果とを用いて、個々の前記モデルについて算出されたものであり、
正しく学習が行われていないと判定された場合、その学習が行われる前のモデルに戻す
情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置および情報処理方法に関し、特に、より認識性能の向上を図ることができるようにした情報処理装置および情報処理方法に関する。

【背景技術】

【0002】

従来、例えば、Deep Learning（深層学習）におけるCNN（Convolutional Neural Network：畳み込みニューラルネットワーク）による画像認識では、一般的に、教師データを用いた学習が行われる。

【0003】

また、特許文献１には、例えば、複数の端末装置において学習することによって得られた重みパラメータを管理装置が受信し、最適な重みパラメータが選択されるニューラルネットワークシステムが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－１７４２９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、従来の画像認識を行う学習では、教師データを用意するのにコストを要するだけでなく、教師データと分布の異なるデータが入力された場合には、そのデータに対する認識性能が低下してしまっていた。

【0006】

本開示は、このような状況に鑑みてなされたものであり、より認識性能の向上を図ることができるようにするものである。

【課題を解決するための手段】

【0007】

本開示の第１の側面の情報処理装置は、所定個数の端末において画像認識を行い、教師なし学習を実行することにより更新されるモデルが、それぞれ設定され、所定個数の前記端末において画像認識が行われた画像を対象として画像認識を行う所定個数の認識部と、所定個数の前記認識部における認識結果を評価し、前記認識部ごとの評価値を算出する評価値算出部と、所定個数の前記認識部における認識結果が統合された統合認識結果を求める統合部とを備え、前記評価値算出部は、所定個数の前記認識部における認識結果と、前記統合認識結果とを用いて、個々の前記認識部の評価値を算出する。

【0008】

本開示の第１の側面の情報処理方法は、情報処理装置が、所定個数の端末において画像認識を行い、教師なし学習を実行することにより更新されるモデルが、それぞれ設定される所定個数の認識部において、所定個数の前記端末において画像認識が行われた画像を対象として画像認識を行うことと、所定個数の前記認識部における認識結果を評価し、前記認識部ごとの評価値を算出することと、所定個数の前記認識部における認識結果が統合された統合認識結果を求めることとを含み、所定個数の前記認識部における認識結果と、前記統合認識結果とを用いて、個々の前記認識部の評価値を算出する。

【0009】

本開示の第１の側面においては、所定個数の端末において画像認識を行い、教師なし学習を実行することにより更新されるモデルが、それぞれ設定される所定個数の認識部において、所定個数の端末において画像認識が行われた画像を対象として画像認識が行われ、所定個数の認識部における認識結果を評価し、認識部ごとの評価値が算出され、所定個数の認識部における認識結果が統合された統合認識結果が求められる。そして、所定個数の認識部における認識結果と、統合認識結果とを用いて、個々の認識部の評価値が算出れる。

【0010】

本開示の第２の側面の情報処理装置は、画像に対する画像認識を行う認識器のモデルに対する教師なし学習を実行する実行部と、前記実行部での学習により更新された前記モデルについて、それぞれ異なる所定個数のモデルにおいて画像認識が行われた認識結果を用いて求められる評価値に基づいて、正しく学習が行われたか否かを判定する判定部とを備え、前記評価値は、所定個数の前記モデルにおける認識結果と、所定個数の前記モデルにおける認識結果が統合された統合認識結果とを用いて、個々の前記モデルについて算出されたものであり、前記実行部は、前記判定部において正しく学習が行われていないと判定された場合、その学習が行われる前のモデルに戻す。

【0011】

本開示の第２の側面の情報処理方法は、情報処理装置が、画像に対する画像認識を行う認識器のモデルに対する教師なし学習を実行することと、その学習により更新された前記モデルについて、それぞれ異なる所定個数のモデルにおいて画像認識が行われた認識結果を用いて求められる評価値に基づいて、正しく学習が行われたか否かを判定することとを含み、前記評価値は、所定個数の前記モデルにおける認識結果と、所定個数の前記モデルにおける認識結果が統合された統合認識結果とを用いて、個々の前記モデルについて算出されたものであり、正しく学習が行われていないと判定された場合、その学習が行われる前のモデルに戻す。

【0012】

本開示の第２の側面においては、画像に対する画像認識を行う認識器のモデルに対する教師なし学習が実行され、その学習により更新されたモデルについて、それぞれ異なる所定個数のモデルにおいて画像認識が行われた認識結果を用いて求められる評価値に基づいて、正しく学習が行われたか否かが判定される。そして、評価値は、所定個数のモデルにおける認識結果と、所定個数のモデルにおける認識結果が統合された統合認識結果とを用いて、個々のモデルについて算出されたものであり、正しく学習が行われていないと判定された場合、その学習が行われる前のモデルに戻される。

【図面の簡単な説明】

【0013】

【図1】従来の学習処理について説明する図である。

【図2】本技術を適用した学習処理について説明する図である。

【図3】本技術を適用した学習処理について説明する図である。

【図4】本技術を適用した学習システムの一実施の形態の構成例を示すブロック図である。

【図5】車両側の情報処理装置の構成例を示すブロック図である。

【図6】ドメイン適応処理実行部の構成例を示すブロック図である。

【図7】サーバ側の情報処理装置の構成例を示すブロック図である。

【図8】車両側で実行される情報処理を説明するフローチャートである。

【図9】ドメイン適応処理を説明するフローチャートである。

【図10】サーバ側で実行される情報処理を説明するフローチャートである。

【図11】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

【図12】車両制御システムの概略的な構成の一例を示すブロック図である。

【図13】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

【発明を実施するための形態】

【0014】

以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

【0015】

＜学習処理について＞
まず、図１乃至図３を参照して、学習処理について説明する。

【0016】

図１は、従来の学習処理における処理の流れを模式的に示す図である。

【0017】

図１に示すように、従来の学習処理では、深層学習を利用して画像認識を行う認識器CNNが用いられ、認識器CNNには、画像に写されている複数の被写体を分類するラベルが予め作成されているラベルあり画像が入力される。

【0018】

例えば、認識器CNNは、ラベルあり画像に対する画像認識を行って、そのラベルあり画像に写されている複数の被写体を認識し、それぞれの被写体を分類した認識結果を出力する。そして、認識器CNNから出力される認識結果と、ラベルあり画像についての正解ラベルとの比較が行われ、認識結果を正解ラベルに近づけるように認識器CNNに対するフィードバックが行われる。

【0019】

このように、従来の学習処理では、正解ラベルを用いて、認識器CNNが、より正確な画像認識を行うことができるようにする学習が行われる。

【0020】

そこで、図２および図３を参照して説明するように、正解ラベルを用いずに正確な画像認識を行うことができるようにする。

【0021】

図２および図３は、本技術を適用した学習処理における処理の流れを模式的に示す図である。以下では、説明を理解しやすくするために、まず、正解ラベルが用意されている画像（以下、ラベルあり画像と称する）と、正解ラベルが必ずしも用意されていない画像（以下、ラベルなし画像と称する）との２種類の画像を例示するが、図２および図３に示すように、本技術を適用した学習処理では、正解ラベルは不要である。即ち、本技術を適用した学習処理で用いられる２種類の入力画像には、一切、正解ラベルが用意されておらず、そのような画像を用いて学習処理が行われる。

【0022】

図２および図３に示すように、本技術を適用した学習処理では、２台の認識器CNN1およびCNN2が用いられ、認識器CNN1へ入力される画像に対応する正解ラベルは存在しなくてもよい。

【0023】

例えば、図２に示す学習処理では、認識器CNN1は、ラベルなし画像に対する画像認識を行って、そのラベルなし画像に写されている複数の被写体を分類した認識結果（ラベルなし）を出力する。さらに、この認識結果が認識器CNN2に入力され、認識器CNN2が、認識結果（ラベルあり）と認識結果（ラベルなし）とを見分けることができるようにする学習が、正解値（ラベルあり／ラベルなし）を用いて行われる。

【0024】

そして、認識器CNN2における学習の結果を認識器CNN1にフィードバックすることで、ラベルなし画像に対する認識器CNN1の認識結果を、ラベルありの認識結果に近づけることができるようになる。これにより、認識器CNN1は、ラベルなし画像の被写体を正確に分類できていなかった個所について、図２に示す例では、認識結果の右側の車道と歩道との境界について、正確に分類を行うことができるようになる。

【0025】

また、図３に示す学習処理では、それぞれ異なる環境で撮像された２枚の画像（第１の環境の画像および第２の環境の画像）が用いられる。

【0026】

即ち、認識器CNN1は、第２の環境の画像に対する画像認識を行って、その第２の環境の画像に写されている複数の被写体を分類した認識結果（第２の環境）を出力する。さらに、この認識結果が認識器CNN2に入力され、認識器CNN2が、認識結果（第１の環境）と認識結果（第２の環境）とを見分けることができるようにする学習が、正解値（第１の環境／第２の環境）を用いて行われる。

【0027】

そして、認識器CNN2における学習の結果を認識器CNN1にフィードバックすることで、第２の環境の画像に対する認識器CNN1の認識結果を、第１の環境の認識結果に近づけることができるようになる。これにより、認識器CNN1は、第２の環境の画像の被写体を正確に分類できていなかった個所について、図２に示す例と同様に、正確に分類を行うことができるようなる。従って、正解ラベルが存在しない第１の環境の画像および第２の環境の画像を用いて、画像認識を正確に行えるような学習処理が行われる。

【0028】

このように、本技術を適用した学習処理では、正解ラベルを用意しなくても、認識器CNN1が正確に画像認識を行うことを可能とし、ラベルなし画像に対して正確な画像認識を行うこと、即ち、認識性能の向上を図ることができる。

【0029】

なお、図２および図３を参照して説明したように、正解ラベルが必ずしも用意されていない画像を用いて、教師なしで行われる学習処理を、以下、ドメイン適応処理と称する。

【0030】

＜学習システムの構成例＞
図４は、本技術を適用した学習システムの一実施の形態の構成例を示すブロック図である。

【0031】

図４に示す学習システム１１は、ネットワーク１２を介して、Ｎ台の車両１３－１乃至１３－Ｎとサーバ１４とが接続されて構成され、車両１３－１乃至１３－Ｎそれぞれが、認識器を有している。なお、車両１３－１乃至１３－Ｎは、同様に構成されており、以下、それぞれを区別する必要がない場合、単に、車両１３とも称する。

【0032】

学習システム１１では、車両１３－１乃至１３－Ｎにおいて撮像された画像に対し、車両１３－１乃至１３－Ｎそれぞれの内部においてリアルタイム（例えば、フレームレートレベル）でドメイン適応処理の学習が行われる。そして、学習システム１１では、ネットワーク１２を介して、車両１３－１乃至１３－Ｎにおいて撮像されたＮ枚の画像と、Ｎ個の認識器のモデルとがサーバ１４にアップロードされる。

【0033】

これにより、学習システム１１では、サーバ１４において、車両１３－１乃至１３－Ｎから集積されたＮ枚の画像が、車両１３－１乃至１３－Ｎそれぞれのモデルによって構成されるＮ個の認識器の全てに入力される。そして、サーバ１４において、Ｎ個の認識器による認識結果が統合された統合認識結果を算出し、その統合認識結果と、Ｎ個の認識器それぞれの認識結果とを用いて、個々の認識結果が評価される。例えば、この認識結果を評価する評価値の算出は、車両１３において画像が撮像されるフレームレートよりも長い一定期間ごとに行われる。

【0034】

その後、学習システム１１では、それらの認識結果に対する評価を表す評価値が一定値以下であった場合、その認識結果が得られたモデルの認識器を有する車両１３に対してサーバ１４からフィードバックが行われる。これに応じ、その車両１３では、その時点でのモデルから学習前の状態にロールバックするとともに、その学習に使用していた入力データの破棄が行われる。

【0035】

ここで、学習システム１１では、車両１３－１乃至１３－Ｎが有する認識器は、それぞれ同様に構成されており、その認識器には、それぞれの車両１３で撮像された画像が入力され、その画像に対する画像認識を行った認識結果が出力される。また、サーバ１４において、評価およびフィードバックが常に動作するのではなく、例えば、数時間に１回程度、車両１３－１乃至１３－Ｎにおけるドメイン適応処理に対する検証を行うときのみ動作する。即ち、学習システム１１において、車両１３－１乃至１３－Ｎでは、高い頻度で学習処理が行われ、サーバ１４では、低い頻度で評価およびフィードバックが行われる。

【0036】

図５は、車両１３が備える情報処理装置２１の構成例を示すブロック図である。

【0037】

図５に示すように、情報処理装置２１は、画像取得部３１、記憶部３２、ドメイン適応処理実行部３３、送信部３４、受信部３５、判定部３６、および認識処理部３７を備えて構成される。

【0038】

画像取得部３１は、車両１３に搭載されている撮像装置（図示せず）において撮像された画像を取得して、ドメイン適応処理実行部３３および認識処理部３７に供給する。

【0039】

記憶部３２は、情報処理装置２１において画像認識を行う認識器のモデルを記憶する。例えば、記憶部３２は、初期状態として設定されているモデルである初期モデルや、ドメイン適応処理実行部３３においいて更新された最新のモデル、その更新される直前のモデルなどを記憶する。

【0040】

ドメイン適応処理実行部３３は、記憶部３２からロードしたモデルを認識器に設定し、画像取得部３１から供給される画像を対象としてドメイン適応処理を実行する。そして、ドメイン適応処理実行部３３は、例えば、サーバ１４において評価およびフィードバックが行われるタイミングで、認識器に設定されているモデルと、画像認識に用いた画像とを送信部３４に供給する。また、ドメイン適応処理実行部３３は、認識器のモデルが正しく学習されている場合、そのモデルを記憶部３２に供給してモデルの更新を行うことができる。なお、ドメイン適応処理実行部３３の詳細な構成については、図６を参照して後述する。

【0041】

送信部３４は、ドメイン適応処理実行部３３から供給される画像およびモデルとともに、図示しない上位の制御装置から付加情報（例えば、車両１３の位置情報や、車種情報、撮像機材情報、撮像条件情報など）を取得して、図１のネットワーク１２を介してサーバ１４に送信する。

【0042】

受信部３５は、サーバ１４からネットワーク１２を介して送信されてくる評価値を受信して、判定部３６に供給する。

【0043】

判定部３６は、サーバ１４において求められた評価値を所定の評価値閾値と比較し、ドメイン適応処理実行部３３において正しく学習が行われたか否かを判定して、その判定結果をドメイン適応処理実行部３３に通知する。

【0044】

認識処理部３７は、記憶部３２から最新のモデルを読み出して、そのモデルを設定した認識器を用いて、画像取得部３１から供給される画像に対する認識処理を行い、その認識処理により得られる認識結果を出力する。例えば、認識処理部３７による認識結果は、車両１３の自動運転システムに入力され、認識結果を用いて車両１３の自動運転が制御される。従って、認識処理部３７が、ドメイン適応処理実行部３３において正しく学習されたモデルを用いることで、認識処理部３７の認識性能が向上し、より安全な自動運転を実現することができる。

【0045】

図６は、図５のドメイン適応処理実行部３３の構成例を示すブロック図である。

【0046】

図６に示すように、ドメイン適応処理実行部３３は、環境特徴量計算部４１、ドメイン判別部４２、および更新値計算部４３を備えて構成され、例えば、環境特徴量計算部４１およびドメイン判別部４２により認識器が構成される。

【0047】

環境特徴量計算部４１は、図５の画像取得部３１から供給される画像から、その画像の１画素ごとの特徴を表す環境特徴量を所定の係数を用いて計算して、ドメイン判別部４２に供給する。

【0048】

ドメイン判別部４２は、環境特徴量計算部４１から供給される環境特徴量を所定の閾値に従って分類し、その閾値で分類される環境特徴量を示す画素からなる領域を１つのドメインとして判別するドメイン判別を行う。そして、ドメイン判別部４２は、ドメイン判別を行った結果得られるドメイン判別結果を、例えば、図２および図３に示したように画像に写されている被写体ごとに分類を行った認識結果を、更新値計算部４３に供給する。

【0049】

更新値計算部４３は、ドメイン判別部４２から供給されるドメイン判別結果に従って、環境特徴量計算部４１における環境特徴量の計算に用いられる係数を更新する環境特徴量計算更新値、および、ドメイン判別部４２におけるドメイン判別に用いられる閾値を更新するドメイン判別更新値を計算する。そして、更新値計算部４３は、環境特徴量計算更新値を環境特徴量計算部４１にフィードバックするとともに、ドメイン判別更新値をドメイン判別部４２にフィードバックする。

【0050】

さらに、更新値計算部４３は、環境特徴量計算部４１における環境特徴量の計算に用いられる係数、および、ドメイン判別部４２におけるドメイン判別に用いられる閾値を、認識器のモデルとして、図５の送信部３４に供給する。

【0051】

図７は、サーバ１４が備える情報処理装置２２の構成例を示すブロック図である。

【0052】

図７に示すように、情報処理装置２２は、受信部５１、Ｎ個の認識部５２－１乃至５２－Ｎ、統合部５３、評価算出部５４、および送信部５５を備えて構成される。

【0053】

受信部５１は、Ｎ台の車両１３－１乃至１３－Ｎから送信されてくる画像、モデル、および付加情報を受信する。そして、受信部５１は、Ｎ台の車両１３－１乃至１３－Ｎにおける認識器のモデルを、それぞれ対応する認識部５２－１乃至５２－Ｎに供給する。その後、受信部５１は、Ｎ枚の画像およびＮ個の付加情報それぞれを、認識部５２－１乃至５２－Ｎの全てに供給する。

【0054】

認識部５２－１乃至５２－Ｎは、それぞれＮ台の車両１３－１乃至１３－Ｎのモデルを設定する。そして、認識部５２－１乃至５２－Ｎは、モデルに対して付加情報によって重み付けされた画像を入力し、画像認識を行った認識結果を統合部５３および評価算出部５４に供給する。

【0055】

統合部５３は、認識部５２－１乃至５２－Ｎから供給されるＮ個の認識結果を集計し、例えば、それらの加重平均を算出することで統合認識結果を求め、評価算出部５４に供給する。

【0056】

評価算出部５４は、統合部５３から供給される統合認識結果と、認識部５２－１乃至５２－Ｎから供給される認識結果とを用いて、認識部５２－１乃至５２－Ｎそれぞれに設定されているモデルを個別に評価する評価値を算出し、送信部５５に供給する。

【0057】

送信部５５は、評価算出部５４から供給される個々の認識器のモデルに対する評価値を、Ｎ台の車両１３－１乃至１３－Ｎのうちの、それぞれ対応する車両１３へ送信する。

【0058】

ここで、統合部５３および評価算出部５４によるモデルの評価について説明する。例えば、距離を用いた荷重平均値を使用して閾値処理が行われる。

【0059】

即ち、統合部５３および評価算出部５４は、評価対象の画像認識結果の画素値Ｉ_ｎ，ｉｊ、参照する画像認識結果の画素値Ｒ_ｉｊ、車両１３のインデックス集合Ｎ、画像の幅のインデックス集合Ｗ、画像の高さのインデックス集合Ｈ、付加情報を用いて算出したドメイン間距離ｄ_ｎを用いて、次の式（１）を演算することによって、統合認識結果Ｒ_ｉｊおよび評価値Ｄ_ｎを算出することができる。

【0060】

【数1】

【0061】

また、ドメイン間距離ｄ_ｎの計算には、ルールベースに基づいて求めたり、付加情報でクラスタリングした後における中心との距離などを用いたりすることができる。

【0062】

例えば、ルールベースに基づいたドメイン間距離ｄ_ｎは、定数ａ（＞０）、開始地点からの直線距離ｄ、および、予め車種ごとに定義されている差分ｂ_ｃａｒを用いて、次の式（２）を演算することによって求めることができる。ここで、差分ｂ_ｃａｒとしては、車体の高さや、撮像装置の取り付け位置および姿勢、撮像装置の種類（解像度および画角）などから総合的に設定することができる。

【0063】

【数2】

【0064】

その他、ルールベースに基づいたドメイン間距離ｄ_ｎは、定数ａ（＞０）、境界の数ｋ、および、予め車種ごとに定義されている差分ｂ_ｃａｒを用いて、次の式（３）を演算することによって求めることができる。ここで、境界の数ｋにおける境界とは、例えば、跨いだ市や県、州などのように独自の分類を設けることができる。

【0065】

【数3】

【0066】

なお、式（２）および式（３）の右辺は、すべてｎに依存するが、説明を簡略化するために省略した。

【0067】

また、付加情報でクラスタリングした後における中心との距離は、例えば、k-means法などにより、過去に取得した様々な車両１３や環境などでの付加情報をクラスタリングし、そのクラスタの中心（セントロイド）を計算しておく。そして、入力画像に対応する付加情報ａ_ｉ、および、各認識器に対応する付加情報が属するクラスタの中心ｃ_ｎを用いて、次の式（４）を演算することによって求められる。

【0068】

【数4】

【0069】

そして、このように求められたドメイン間距離ｄ_ｎが、上述の式（１）に用いられ、統合認識結果Ｒ_ｉｊおよび評価値Ｄ_ｎが算出される。

【0070】

また、評価値Ｄ_ｎが、サーバ１４から車両１３－１乃至１３－Ｎそれぞれへ送信され、上述したように判定部３６において、評価値Ｄ_ｎと評価値閾値Ｄ_{ｔｈｒｅｓｈ，ｎ}とが比較される。そして、評価値Ｄ_ｎが評価値閾値Ｄ_{ｔｈｒｅｓｈ，ｎ}以上であれば、正しく学習が行われたと判定される。

【0071】

＜情報処理＞
図８は、情報処理装置２１が実行する車両１３側の情報処理を説明するフローチャートである。

【0072】

例えば、車両１３の運転が開始され、車両１３が備える撮像装置（図示せず）による撮像が始まると処理が開始され、ステップＳ１１において、ドメイン適応処理実行部３３は、記憶部３２から初期モデルをロードして、認識器に設定する。

【0073】

ステップＳ１２において、画像取得部３１は、撮像装置により撮像された画像を取得して、ドメイン適応処理実行部３３に供給する。

【0074】

ステップＳ１３において、ドメイン適応処理実行部３３は、ステップＳ１２で画像取得部３１から供給される画像を対象としてドメイン適応処理（図９のフローチャート参照）を実行し、認識器に設定されているモデルを更新する。

【0075】

ステップＳ１４において、サーバ１４で評価およびフィードバックが行われるタイミングになると、ドメイン適応処理実行部３３は、画像およびモデルを送信部３４に供給し、送信部３４は、画像、モデル、および付加情報をサーバ１４へ送信する。

【0076】

ステップＳ１５において、受信部３５は、サーバ１４において情報処理（図１０のフローチャート参照）が行われた結果として送信されてくる評価値Ｄ_ｎを受信し、判定部３６に供給する。

【0077】

ステップＳ１６において、判定部３６は、ステップＳ１５で受信部３５から供給された評価値Ｄ_ｎを評価値閾値Ｄ_{ｔｈｒｅｓｈ，ｎ}と比較し、ドメイン適応処理実行部３３において正しく学習が行われたか否かを判定する。例えば、判定部３６は、評価値Ｄ_ｎが評価値閾値Ｄ_{ｔｈｒｅｓｈ，ｎ}以上（Ｄ_ｎ≧Ｄ_{ｔｈｒｅｓｈ，ｎ}）であれば正しく学習が行われたと判定し、評価値Ｄ_ｎが評価値閾値Ｄ_{ｔｈｒｅｓｈ，ｎ}未満（Ｄ_ｎ＜Ｄ_{ｔｈｒｅｓｈ，ｎ}）であれば正しく学習が行われなかったと判定する。

【0078】

ステップＳ１６において、判定部３６が、ドメイン適応処理実行部３３において正しく学習が行われなかったと判定した場合、処理はステップＳ１７に進む。

【0079】

ステップＳ１７において、判定部３６は、その判定結果をドメイン適応処理実行部３３に通知し、ドメイン適応処理実行部３３は、認識器に設定されているモデルを、更新される前の元のモデルに戻す。その後、処理はステップＳ１２に戻り、以下、同様の処理が繰り返して行われる。

【0080】

一方、ステップＳ１６において、判定部３６が、ドメイン適応処理実行部３３において正しく学習が行われたと判定した場合、処理はステップＳ１８に進む。

【0081】

ステップＳ１８において、ドメイン適応処理実行部３３は、認識器のモデルを更新する情報処理を継続するか否かを判定する。

【0082】

ステップＳ１８において、ドメイン適応処理実行部３３が、認識器のモデルを更新する情報処理を継続すると判定した場合、処理はステップＳ１２に戻り、以下、同様の処理が繰り返して行われる。一方、ステップＳ１８において、ドメイン適応処理実行部３３が、認識器のモデルを更新する情報処理を継続しないと判定した場合、処理は終了される。

【0083】

以上のように、情報処理装置２１では、ドメイン適応処理が行われることで更新された認識器のモデルが正しく学習されているか否かを、サーバ１４からの評価値に基づいて判定することができる。これにより、情報処理装置２１が単独で正しく学習が行われているか否かを判定するよりも、より正確な判定を行うことができ、認識性能を向上させることができる。

【0084】

図９は、図８のステップＳ１３で行われるドメイン適応処理を説明するフローチャートである。

【0085】

ステップＳ２１において、ドメイン適応処理実行部３３は、画像取得部３１からの画像を取得することができたか否かを判定し、画像が取得することができていないと判定した場合には、処理を終了する。そして、ステップＳ２１において、画像が取得することができたと判定された場合、処理はステップＳ２２に進む。

【0086】

ステップＳ２２において、環境特徴量計算部４１は、その取得した画像から、１画素ごとの特徴を表す環境特徴量を所定の係数を用いて計算して、ドメイン判別部４２に供給する。

【0087】

ステップＳ２３において、ドメイン判別部４２は、ステップＳ２２で環境特徴量計算部４１から供給される環境特徴量を所定の閾値に従って分類し、その閾値で分類される環境特徴量を示す画素からなる領域を１つのドメインとして判別するドメイン判別を行い、その結果得られるドメイン判別結果を、更新値計算部４３に供給する。

【0088】

ステップＳ２４において、更新値計算部４３は、ステップＳ２３でドメイン判別部４２から供給されるドメイン判別結果に従って、環境特徴量計算部４１における環境特徴量の計算に用いられる係数を更新する環境特徴量計算更新値、および、ドメイン判別部４２におけるドメイン判別に用いられる閾値を更新するドメイン判別更新値を計算する。

【0089】

ステップＳ２５において、更新値計算部４３は、環境特徴量計算更新値を環境特徴量計算部４１にフィードバックするとともに、ドメイン判別更新値をドメイン判別部４２にフィードバックする。これにより、環境特徴量計算部４１およびドメイン判別部４２により構成される認識器のモデルが更新された後、処理は終了される。

【0090】

図１０は、情報処理装置２２が実行するサーバ１４側の情報処理を説明するフローチャートである。

【0091】

ステップＳ３１において、受信部５１は、Ｎ台の車両１３－１乃至１３－Ｎにおいて図８のステップＳ１４で送信してくる画像、モデル、および付加情報を受信する。そして、受信部５１は、Ｎ台の車両１３－１乃至１３－Ｎにおける認識器のモデルを、それぞれ対応する認識部５２－１乃至５２－Ｎに供給し、Ｎ枚の画像およびＮ個の付加情報それぞれを、認識部５２－１乃至５２－Ｎの全てに供給する。

【0092】

ステップＳ３２において、認識部５２－１乃至５２－Ｎは、それぞれＮ台の車両１３－１乃至１３－Ｎのモデルを設定し、付加情報によって重み付けされた画像を対象として画像認識を行う。そして、認識部５２－１乃至５２－Ｎは、画像認識を行った認識結果を、統合部５３および評価算出部５４に供給する。

【0093】

ステップＳ３３において、統合部５３は、ステップＳ３２で認識部５２－１乃至５２－Ｎから供給されるＮ個の認識結果から統合認識結果Ｒ_ｉｊを求め、評価算出部５４に供給する。

【0094】

ステップＳ３４において、評価算出部５４は、ステップＳ３３で統合部５３から供給される統合認識結果Ｒ_ｉｊと、ステップＳ３２で認識部５２－１乃至５２－Ｎから供給される認識結果とを用いて、認識部５２－１乃至５２－Ｎそれぞれに設定されているモデルを個別に評価する評価値Ｄ_ｎを算出する。そして、評価算出部５４は、評価値Ｄ_ｎを送信部５５に供給する。

【0095】

ステップＳ３５において、送信部５５は、ステップＳ３４で評価算出部５４から供給される評価値Ｄ_ｎを、Ｎ台の車両１３－１乃至１３－Ｎのうちの対応する車両１３－ｎへ送信する。そして、送信部５５が、Ｎ台の車両１３－１乃至１３－Ｎそれぞれに評価値Ｄ_ｎを送信した後、処理は終了される。

【0096】

以上のように、情報処理装置２２では、認識部５２－１乃至５２－Ｎにおける認識結果を統合した統合認識結果を用いることで、認識部５２－１乃至５２－Ｎそれぞれに設定されているモデルを総合的に評価することができる。

【0097】

＜コンピュータの構成例＞
次に、上述した一連の処理（情報処理方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

【0098】

図１１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。

【0099】

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。

【0100】

あるいはまた、プログラムは、ドライブ１０９によって駆動されるリムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウェアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

【0101】

なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

【0102】

コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。

【0103】

CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。

【0104】

これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。

【0105】

なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

【0106】

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

【0107】

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

【0108】

さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

【0109】

また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

【0110】

また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0111】

また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

【0112】

また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

【0113】

なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

【0114】

なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

【0115】

＜応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

【0116】

図１２は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１２に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

【0117】

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１２では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

【0118】

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

【0119】

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

【0120】

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

【0121】

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

【0122】

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

【0123】

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

【0124】

ここで、図１３は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

【0125】

なお、図１３には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

【0126】

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

【0127】

図１２に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

【0128】

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

【0129】

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

【0130】

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

【0131】

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

【0132】

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global System of Mobile communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long Term Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

【0133】

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

【0134】

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

【0135】

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

【0136】

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

【0137】

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

【0138】

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

【0139】

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

【0140】

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１２の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

【0141】

なお、図１２に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

【0142】

なお、図５を用いて説明した本実施形態に係る情報処理装置２１の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

【0143】

以上説明した車両制御システム７０００において、図５を用いて説明した本実施形態に係る情報処理装置２１は、図１２に示した応用例の統合制御ユニット７６００に適用することができる。例えば、情報処理装置２１の画像取得部３１、ドメイン適応処理実行部３３、判定部３６、および認識処理部３７は、統合制御ユニット７６００のマイクロコンピュータ７６１０に相当する。また、例えば、情報処理装置２１の記憶部３２は、統合制御ユニット７６００の記憶部７６９０に相当し、情報処理装置２１の送信部３４および受信部３５は、統合制御ユニット７６００の車載ネットワークＩ／Ｆ７６８０に相当する。例えば、統合制御ユニット７６００がドメイン適応処理を実行することにより、認識器のモデルを更新することができる。

【0144】

また、図５を用いて説明した情報処理装置２１の少なくとも一部の構成要素は、図１２に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図５を用いて説明した情報処理装置２１、図１２に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。

【0145】

＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
所定個数の端末において画像認識を行い、教師なし学習を実行することにより更新されるモデルが、それぞれ設定され、所定個数の前記端末において画像認識が行われた画像を対象として画像認識を行う所定個数の認識部と、
所定個数の前記認識部における認識結果を評価し、前記認識部ごとの評価値を算出する評価値算出部と
を備える情報処理装置。
（２）
前記学習は、所定個数の端末において前記画像が取得される所定間隔のタイミングごとに行われ、
前記評価値算出部は、前記所定間隔よりも長い一定期間ごとに前記評価値を算出する
上記（１）に記載の情報処理装置。
（３）
所定個数の前記認識部における認識結果が統合された統合認識結果を求める統合部をさらに備え、
前記評価値算出部は、所定個数の前記認識部における認識結果と、前記統合認識結果とを用いて、個々の前記認識部の評価値を算出する
上記（１）または（２）に記載の情報処理装置。
（４）
所定個数の前記認識部は、所定個数の前記端末において画像認識が行われた全ての画像を対象として画像認識を行う
上記（１）から（３）までのいずれかに記載の情報処理装置。
（５）
所定個数の前記認識部は、所定の前記端末の前記画像を、その端末から送信されてくる付加情報によって重み付けした画像に対する画像認識を行う
上記（４）に記載の情報処理装置。
（６）
所定個数の前記端末から送信されてくる前記画像、前記モデル、および前記付加情報を受信する受信部をさらに備え、
前記受信部は、所定個数の前記端末の前記モデルを、それぞれ対応する所定個数の前記認識部に設定し、所定枚数の前記画像および所定個数の前記付加情報を所定個数の前記認識部の全てに供給する
上記（５）に記載の情報処理装置。
（７）
前記評価値算出部により算出された所定個数の前記認識部に設定された前記モデルに対する評価値を、それぞれ対応する所定個数の前記端末に送信する送信部
をさらに備える上記（１）から（６）までのいずれかに記載の情報処理装置。
（８）
情報処理装置が、
所定個数の端末において画像認識を行い、教師なし学習を実行することにより更新されるモデルが、それぞれ設定される所定個数の認識部において、所定個数の前記端末において画像認識が行われた画像を対象として画像認識を行うことと、
所定個数の前記認識部における認識結果を評価し、前記認識部ごとの評価値を算出することと
を含む情報処理方法。
（９）
画像に対する画像認識を行う認識器のモデルに対する教師なし学習を実行する実行部と、
前記実行部での学習により更新された前記モデルについて、それぞれ異なる所定個数のモデルにおいて画像認識が行われた認識結果を用いて求められる評価値に基づいて、正しく学習が行われたか否かを判定する判定部と
を備え、
前記実行部は、前記判定部において正しく学習が行われていないと判定された場合、その学習が行われる前のモデルに戻す
情報処理装置。
（１０）
前記実行部は、前記画像が取得される所定間隔のタイミングごとに前記学習を実行し、
前記評価値は、前記所定間隔よりも長い一定期間ごとに求められる
上記（９）に記載の情報処理装置。
（１１）
前記評価値が求められるタイミングで、前記モデルおよび前記画像とともに、所定の付加情報を送信する送信部
をさらに備える上記（９）または（１０）に記載の情報処理装置。
（１２）
前記実行部により更新された最新の前記モデルを認識器に設定して、前記画像に対する認識処理を行い、その認識結果を用いた所定の処理を行う処理部に認識結果を出力する認識処理部
をさらに備える上記（９）から（１１）までのいずれかに記載の情報処理装置。
（１３）
情報処理装置が、
画像に対する画像認識を行う認識器のモデルに対する教師なし学習を実行することと、
その学習により更新された前記モデルについて、それぞれ異なる所定個数のモデルにおいて画像認識が行われた認識結果を用いて求められる評価値に基づいて、正しく学習が行われたか否かを判定することと
を含み、
正しく学習が行われていないと判定された場合、その学習が行われる前のモデルに戻す
情報処理方法。
（１４）
所定個数の端末において画像認識を行い、教師なし学習を実行することにより更新されるモデルが、それぞれ設定され、所定個数の前記端末において画像認識が行われた画像を対象として画像認識を行う所定個数の認識部と、
所定個数の前記認識部における認識結果を評価し、前記認識部ごとの評価値を算出する評価値算出部と
を有する第１の情報処理装置と、
画像に対する画像認識を行う認識器のモデルに対する教師なし学習を実行する実行部と、
前記実行部での学習により更新された前記モデルについて、それぞれ異なる所定個数のモデルにおいて画像認識が行われた認識結果を用いて求められる評価値に基づいて、正しく学習が行われたか否かを判定する判定部と
を有し、
前記実行部は、前記判定部において正しく学習が行われていないと判定された場合、その学習が行われる前のモデルに戻す
第２の情報処理装置と
を備えるシステム。

【0146】

なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

【符号の説明】

【0147】

１１ 学習システム， １２ ネットワーク， １３ 車両， １４ サーバ， ２１および２２ 情報処理装置， ３１ 画像取得部， ３２ 記憶部， ３３ ドメイン適応処理実行部， ３４ 送信部， ３５ 受信部， ３６ 判定部， ３７ 認識処理部， ４１ 環境特徴量計算部， ４２ ドメイン判別部， ４３ 更新値計算部， ５１ 受信部， ５２ 認識部， ５３ 統合部， ５４ 評価算出部， ５５ 送信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】