特開 2024-159333 情報処理装置、情報処理方法、及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024159333

(43)【公開日】2024-11-08

(54)【発明の名称】情報処理装置、情報処理方法、及び情報処理プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241031BHJP

   G06N 20/00 20190101ALI20241031BHJP

   G06V 10/80 20220101ALI20241031BHJP

【ＦＩ】

G06T7/00 350B

G06N20/00

G06V10/80

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023075266

(22)【出願日】2023-04-28

(71)【出願人】

【識別番号】000003609

【氏名又は名称】株式会社豊田中央研究所

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】福島 光瑠

(72)【発明者】

【氏名】高井 勇

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096CA02

5L096DA01

5L096DA02

5L096FA66

5L096HA11

5L096KA04

(57)【要約】

【課題】既存の学習済みモデルを用いて実行される定められた処理の実行結果の精度の低下を抑制することができる情報処理装置、情報処理方法、及び情報処理プログラムを得る。
【解決手段】情報処理装置は、センサから出力された第１のデータを取得し、データ変換器に対して第１のデータを入力することによって第１のデータを変換した第２のデータを生成し、前記センサとは数、仕様、設定パラメータ、及び種類の少なくとも１つが異なるセンサから出力されたデータを入力データとして学習されたデータ処理器に対して第２のデータを入力することによって定められた処理を実行し、データ変換器は、データ処理器の出力及び正解データに基づく誤差が小さくなるように学習されている。
【選択図】図８

【特許請求の範囲】

【請求項1】

周辺環境の物理量を測定する１つ以上のセンサから出力された第１のデータを取得する取得部と、
入力データを変換したデータを出力とする学習済みモデルであるデータ変換器に対して前記第１のデータを入力することによって前記第１のデータを変換した第２のデータを生成する生成部と、
入力データに対して定められた処理を実行し、かつ実行結果を出力する学習済みモデルであって、前記１つ以上のセンサとは数、仕様、設定パラメータ、及び種類の少なくとも１つが異なるセンサから出力されたデータを入力データとして学習されたデータ処理器に対して前記第２のデータを入力することによって前記定められた処理を実行する実行部と、
を含み、
前記データ変換器は、前記データ処理器の出力及び正解データに基づいて導出される誤差が小さくなるように学習されている
情報処理装置。

【請求項2】

前記第１のデータは、第１のカメラにより撮影された２次元の第１の画像データであり、
前記データ処理器は、前記第１のカメラとは数、仕様、設定パラメータ、及び種類の少なくとも１つが異なる第２のカメラにより撮影された２次元の第２の画像データに対して、前記定められた処理として物体検出処理を実行する学習済みモデルである
請求項１に記載の情報処理装置。

【請求項3】

前記第１の画像データは、遠赤外カメラにより撮影された２次元の遠赤外画像データであり、
前記第２の画像データは、可視光カメラにより撮影された２次元の可視光画像データである
請求項２に記載の情報処理装置。

【請求項4】

周辺環境の物理量を測定する１つ以上のセンサから出力された第１のデータを取得し、
入力データを変換したデータを出力とする学習済みモデルであるデータ変換器に対して前記第１のデータを入力することによって前記第１のデータを変換した第２のデータを生成し、
入力データに対して定められた処理を実行し、かつ実行結果を出力する学習済みモデルであって、前記１つ以上のセンサとは数、仕様、設定パラメータ、及び種類の少なくとも１つが異なるセンサから出力されたデータを入力データとして学習されたデータ処理器に対して前記第２のデータを入力することによって前記定められた処理を実行する
処理をコンピュータが実行する情報処理方法であって、
前記データ変換器は、前記データ処理器の出力及び正解データに基づいて導出される誤差が小さくなるように学習されている
情報処理方法。

【請求項5】

周辺環境の物理量を測定する１つ以上のセンサから出力された第１のデータを取得し、
入力データを変換したデータを出力とする学習済みモデルであるデータ変換器に対して前記第１のデータを入力することによって前記第１のデータを変換した第２のデータを生成し、
入力データに対して定められた処理を実行し、かつ実行結果を出力する学習済みモデルであって、前記１つ以上のセンサとは数、仕様、設定パラメータ、及び種類の少なくとも１つが異なるセンサから出力されたデータを入力データとして学習されたデータ処理器に対して前記第２のデータを入力することによって前記定められた処理を実行する
処理をコンピュータに実行させるための情報処理プログラムであって、
前記データ変換器は、前記データ処理器の出力及び正解データに基づいて導出される誤差が小さくなるように学習されている
情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。

【背景技術】

【0002】

特許文献１には、遠赤外画像データ及び遠赤外画像データを階調変換した変換画像データの各々に対し、学習データを用いて予め学習された結果に基づく物体識別処理を行う技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１６３２２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

近年、可視光カメラにより撮影された可視光画像データに対して物体検出処理を行う学習済みモデル等の入力データに対して定められた処理を行う学習済みモデルが開発されている。このような既存の学習済みモデルを利用することができると、開発コストを低減することができる。しかしながら、既存の学習済みモデルでは、例えば学習時に使用したセンサとは異なる仕様のセンサから得られたデータを使用する際に、定められた処理の実行結果の精度が低下してしまう場合がある。

【0005】

この場合、既存の学習済みモデルによる実行結果の精度の低下を抑制するために、既存の学習済みモデルを再学習させることは、開発コスト及び開発期間等の面で難しい場合がある。

【0006】

本開示は、以上の事情を鑑みてなされたものであり、既存の学習済みモデルを用いて実行される定められた処理の実行結果の精度の低下を抑制することができる情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

第１の態様の情報処理装置は、周辺環境の物理量を測定する１つ以上のセンサから出力された第１のデータを取得する取得部と、入力データを変換したデータを出力とする学習済みモデルであるデータ変換器に対して前記第１のデータを入力することによって前記第１のデータを変換した第２のデータを生成する生成部と、入力データに対して定められた処理を実行し、かつ実行結果を出力する学習済みモデルであって、前記１つ以上のセンサとは数、仕様、設定パラメータ、及び種類の少なくとも１つが異なるセンサから出力されたデータを入力データとして学習されたデータ処理器に対して前記第２のデータを入力することによって前記定められた処理を実行する実行部と、を含み、前記データ変換器は、前記データ処理器の出力及び正解データに基づいて導出される誤差が小さくなるように学習されている。

【0008】

第１の態様の情報処理装置によれば、データ変換器に入力するデータと、データ処理器の学習の際に用いられた入力データとが、数、仕様、設定パラメータ、及び種類の少なくとも１つが異なるセンサにより得られるものである。また、第１の態様の情報処理装置によれば、データ変換器は、データ処理器の出力及び正解データに基づいて導出される誤差が小さくなるように学習されている。従って、既存の学習済みモデルを用いて実行される定められた処理の実行結果の精度の低下を抑制することができる。

【0009】

第２の態様の情報処理装置は、第１の態様の情報処理装置において、前記第１のデータは、第１のカメラにより撮影された２次元の第１の画像データであり、前記データ処理器は、前記第１のカメラとは数、仕様、設定パラメータ、及び種類の少なくとも１つが異なる第２のカメラにより撮影された２次元の第２の画像データに対して、前記定められた処理として物体検出処理を実行する学習済みモデルである。

【0010】

第２の態様の情報処理装置によれば、画像データに対する物体検出処理の実行結果の精度の低下を抑制することができる。

【0011】

第３の態様の情報処理装置は、前記第１の画像データは、遠赤外カメラにより撮影された２次元の遠赤外画像データであり、前記第２の画像データは、可視光カメラにより撮影された２次元の可視光画像データである。

【0012】

第３の態様の情報処理装置によれば、画像データに対する物体検出処理の実行結果の精度の低下を抑制することができる。

【0013】

第４の態様の情報処理方法は、周辺環境の物理量を測定する１つ以上のセンサから出力された第１のデータを取得し、入力データを変換したデータを出力とする学習済みモデルであるデータ変換器に対して前記第１のデータを入力することによって前記第１のデータを変換した第２のデータを生成し、入力データに対して定められた処理を実行し、かつ実行結果を出力する学習済みモデルであって、前記１つ以上のセンサとは数、仕様、設定パラメータ、及び種類の少なくとも１つが異なるセンサから出力されたデータを入力データとして学習されたデータ処理器に対して前記第２のデータを入力することによって前記定められた処理を実行する処理をコンピュータが実行する情報処理方法であって、前記データ変換器は、前記データ処理器の出力及び正解データに基づいて導出される誤差が小さくなるように学習されているものである。

【0014】

第５の態様の情報処理プログラムは、周辺環境の物理量を測定する１つ以上のセンサから出力された第１のデータを取得し、入力データを変換したデータを出力とする学習済みモデルであるデータ変換器に対して前記第１のデータを入力することによって前記第１のデータを変換した第２のデータを生成し、入力データに対して定められた処理を実行し、かつ実行結果を出力する学習済みモデルであって、前記１つ以上のセンサとは数、仕様、設定パラメータ、及び種類の少なくとも１つが異なるセンサから出力されたデータを入力データとして学習されたデータ処理器に対して前記第２のデータを入力することによって前記定められた処理を実行する処理をコンピュータに実行させるための情報処理プログラムであって、前記データ変換器は、前記データ処理器の出力及び正解データに基づいて導出される誤差が小さくなるように学習されているものである。

【発明の効果】

【0015】

本開示によれば、既存の学習済みモデルを用いて実行される定められた処理の実行結果の精度の低下を抑制することができる。

【図面の簡単な説明】

【0016】

【図1】情報処理装置のハードウェア構成の一例を示すブロック図である。

【図2】データ変換器を説明するための図である。

【図3】物体検出器を説明するための図である。

【図4】学習フェーズにおける情報処理装置の機能的な構成の一例を示すブロック図である。

【図5】学習処理を説明するための図である。

【図6】学習処理の一例を示すフローチャートである。

【図7】運用フェーズにおける情報処理装置の機能的な構成の一例を示すブロック図である。

【図8】物体検出処理を説明するための図である。

【図9】物体検出処理の一例を示すフローチャートである。

【図10】変形例に係る物体検出処理を説明するための図である。

【図11】変形例に係る物体検出処理を説明するための図である。

【図12】変形例に係る物体検出処理を説明するための図である。

【図13】変形例に係るデータ変換器を説明するための図である。

【発明を実施するための形態】

【0017】

以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。

【0018】

図１を参照して、本実施形態に係る情報処理装置１０のハードウェア構成を説明する。図１に示すように、情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２２、及び通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）２３を含む。ＣＰＵ２０、ＲＯＭ２１、ＲＡＭ２２、及び通信Ｉ／Ｆ２３は、バス２７を介して相互に通信可能に接続される。情報処理装置１０の例としては、後述する運用フェーズにおいては、車載のＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）等のコンピュータが挙げられる。また、情報処理装置１０の例としては、後述する学習フェーズにおいては、パーソナルコンピュータ又はサーバコンピュータ等のコンピュータが挙げられる。

【0019】

ＣＰＵ２０は、プロセッサの一例であり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ２０は、ＲＯＭ２１からプログラムを読み出し、ＲＡＭ２２を作業領域としてプログラムを実行する。

【0020】

記憶部としてのＲＯＭ２１には、情報処理プログラム３０、データ変換器３２、及び物体検出器３４が記憶される。ＲＡＭ２２は、作業領域として一時的にプログラム及びデータを記憶する。通信Ｉ／Ｆ２３は、外部装置と通信するためのインタフェースである。

【0021】

通信Ｉ／Ｆ２３には、カメラ１１が接続される。カメラ１１は、例えば、車載のカメラである。カメラ１１は、例えば、車室内のリアビューミラーの位置に前向きに設置され、車両の周辺環境の一例としての車両の前方の画像を撮影する。後述する学習フェーズにおいては、通信Ｉ／Ｆ２３にカメラ１１が接続されていなくてもよい。

【0022】

カメラ１１は、周辺環境の物理量を測定し、２次元のデータを出力するセンサの一例として、遠赤外線を検出するイメージセンサを備える遠赤外カメラである。カメラ１１は、車両の前方の画像を撮影して得られた２次元の遠赤外画像データを、通信Ｉ／Ｆ２３を介してＣＰＵ２０に対して出力する。カメラ１１から出力される２次元の遠赤外画像データは、開示の技術に係る第１のデータ及び第１の画像データの一例である。

【0023】

データ変換器３２は、入力データを変換したデータを出力とする学習済みモデルである。図２に示すように、本実施形態に係るデータ変換器３２は、２次元の遠赤外画像データを入力とし、入力の遠赤外画像データを物体検出器３４に対して入力する２次元の画像データに変換する。データ変換器３２は、例えば、ディープニューラルネットワークにより構成される。データ変換器３２は、後述する学習フェーズにおいて学習される。

【0024】

物体検出器３４は、入力データに対して定められた処理を実行し、かつ実行結果を出力する学習済みモデルである。図３に示すように、本実施形態に係る物体検出器３４は、可視光カメラにより撮影された可視光画像データを入力データとして予め学習された学習済みモデルである。可視光画像データは、カメラ１１が備えるセンサとは種類が異なるセンサから出力されたデータの一例である。このセンサの例としては、可視光を検出するイメージセンサが挙げられる。すなわち、可視光画像データは、第１のカメラ１１とは種類の異なる第２のカメラにより撮影された２次元の第２の画像データの一例である。

【0025】

物体検出器３４は、例えば、ディープニューラルネットワークにより構成される。物体検出器３４は、入力の可視光画像データに対して、定められた処理として物体検出処理を行い、実行結果として物体の検出結果を出力する。物体の検出結果の例としては、物体の検出数、物体の位置、物体のサイズ、種類及び信頼度等が挙げられる。図３の例における破線の矩形は、物体検出器３４が検出した物体の輪郭に接する矩形を示している。物体検出器３４は、学習用データを用いた機械学習によって内部パラメータが予め設定されたものである。

【0026】

次に、図４及び図５を参照して、本実施形態に係る学習フェーズにおける情報処理装置１０の機能的な構成について説明する。図４に示すように、学習フェーズにおける情報処理装置１０は、取得部４０、生成部４２、実行部４４、及び学習部４６を含む。ＣＰＵ２０が情報処理プログラム３０を実行することにより、取得部４０、生成部４２、実行部４４、及び学習部４６として機能する。

【0027】

取得部４０は、学習用データを取得する。本実施形態に係る学習用データは、遠赤外画像データと、その遠赤外画像データ内に存在する物体の位置、サイズ、及び種類等を表す正解データとの組である。取得部４０は、学習用データを外部システムから取得してもよいし、ＲＯＭ２１等の記憶装置から取得してもよい。

【0028】

図５に示すように、生成部４２は、取得部４０により取得された遠赤外画像データをデータ変換器３２に対して入力することによって遠赤外画像データを変換した画像データを生成する。図５の例では、この画像データが、「変換後画像」と表記されている。

【0029】

図５に示すように、実行部４４は、生成部４２により生成された画像データを物体検出器３４に入力することによって物体検出処理を実行する。

【0030】

図５に示すように、学習部４６は、実行部４４による物体検出処理の実行により物体検出器３４から出力された物体の検出結果及び取得部４０により取得された正解データに基づいて導出される誤差が小さくなるようにデータ変換器３２を学習させる。具体的には、学習部４６は、物体検出器３４から出力された物体の検出結果及び取得部４０により取得された正解データを誤差関数に入力することによって誤差を導出する。そして、学習部４６は、導出した誤差が最小化されるようにデータ変換器３２を学習させる。誤差関数の例としては、交差クロスエントロピー誤差関数、平均二乗誤差関数、又は平均絶対誤差関数等が挙げられる。

【0031】

次に、図６を参照して、本実施形態に係る学習フェーズにおける情報処理装置１０の作用を説明する。図６に示す学習処理は、例えば、ユーザにより実行開始の指示が入力された場合等に実行される。

【0032】

図６のステップＳ１０で、取得部４０は、学習用データを取得する。ステップＳ１２で、生成部４２は、ステップＳ１０で取得された遠赤外画像データをデータ変換器３２に対して入力することによって遠赤外画像データを変換した画像データを生成する。

【0033】

ステップＳ１４で、実行部４４は、ステップＳ１２で生成された画像データを物体検出器３４に入力することによって物体検出処理を実行する。ステップＳ１６で、学習部４６は、前述したように、ステップＳ１４の実行により物体検出器３４から出力された物体の検出結果及びステップＳ１０で取得された正解データに基づいて導出される誤差が小さくなるようにデータ変換器３２のパラメータを更新させる。ステップＳ１６の処理が終了すると、データ学習処理が完了する。以上の学習処理が、異なる複数の学習用データを用いて実行され、全ての学習用データを用いた学習処理が完了した後に同じ学習用データを用いて所定回数学習処理が繰り返される。ＣＰＵ２０は、以上の学習処理を、物体検出器３４の内部パラメータを固定した状態、すなわち、物体検出器３４の内部パラメータを更新せずに実行する。

【0034】

次に、図７及び図８を参照して、本実施形態に係る運用フェーズにおける情報処理装置１０の機能的な構成について説明する。図７に示すように、運用フェーズにおける情報処理装置１０は、取得部５０、生成部５２、実行部５４、及び出力部５６を含む。ＣＰＵ２０が情報処理プログラム３０を実行することにより、取得部５０、生成部５２、実行部５４、及び出力部５６として機能する。

【0035】

取得部５０は、カメラ１１により撮影された遠赤外画像データを、通信Ｉ／Ｆ２３を介してカメラ１１から取得する。

【0036】

図８に示すように、生成部５２は、取得部５０により取得された遠赤外画像データをデータ変換器３２に対して入力することによって遠赤外画像データを変換した画像データを生成する。図８の例では、この画像データが、「変換後画像」と表記されている。この変換した画像データは、開示の技術に係る第２のデータ及び第２の画像データの一例である。

【0037】

図８に示すように、実行部５４は、生成部５２により生成された画像データを物体検出器３４に入力することによって物体検出処理を実行する。

【0038】

出力部５６は、実行部５４による物体検出処理の実行により物体検出器３４から出力された物体の検出結果を、通信Ｉ／Ｆ２３を介して外部装置に出力する。この物体の検出結果は、例えば、車両の自動運転の制御等に用いられる。

【0039】

次に、図９を参照して、本実施形態に係る運用フェーズにおける情報処理装置１０の作用を説明する。図９に示す物体検出処理は、例えば、車両のイグニッションスイッチがオン状態とされた場合、又は自動運転の開始時等に実行される。

【0040】

図９のステップＳ２０で、取得部５０は、カメラ１１により撮影された遠赤外画像データを、通信Ｉ／Ｆ２３を介してカメラ１１から取得する。ステップＳ２２で、生成部５２は、ステップＳ２０で取得された遠赤外画像データをデータ変換器３２に対して入力することによって遠赤外画像データを変換した画像データを生成する。

【0041】

ステップＳ２４で、実行部５４は、ステップＳ２２で生成された画像データを物体検出器３４に入力することによって物体検出処理を実行する。ステップＳ２６で、出力部５６は、ステップＳ２４の実行により物体検出器３４から出力された物体の検出結果を、通信Ｉ／Ｆ２３を介して外部装置に出力する。ステップＳ２６の処理が終了すると、物体検出処理が終了する。ＣＰＵ２０は、以上の物体検出処理を、物体検出器３４の内部パラメータを固定した状態、すなわち、物体検出器３４の内部パラメータを更新せずに実行する。

【0042】

以上説明したように、本実施形態によれば、データ変換器３２が遠赤外画像データを変換し、変換後の画像データが物体検出器３４へ入力されることによって物体の検出処理が実行される。従って、物体検出器３４の学習に用いられた可視光画像データを撮影したカメラとは異なる種類のカメラにより撮影された遠赤外画像データを用いた場合においても、物体の検出結果の精度の低下を抑制することができる。

【0043】

なお、上記実施形態では、物体検出器３４の入力データとして、カメラ１１とは異なる種類のセンサから出力された可視光画像データを適用した例を説明したが、開示の技術はこの態様に限定されない。物体検出器３４の入力データとして、取得部５０が取得対象とするセンサとは数、仕様、設定パラメータ、及び種類の少なくとも１つが異なるセンサから出力されたデータを適用する形態としてもよい。

【0044】

例えば、図１０に示すように、物体検出器３４の入力データが可視光画像データであり、カメラ１１がグレースケール画像データを出力するグレースケールカメラであってもよい。また、例えば、カメラ１１が可視光カメラである場合、カメラ１１と、物体検出器３４の学習に用いられた可視光画像データを撮影したカメラとは、装着レンズの焦点距離等の仕様が異なっていてもよいし、解像度又は感度などの設定パラメータが異なっていてもよい。

【0045】

また、上記実施形態において、カメラ１１に代えて、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）を用いてもよい。この場合、ＬｉＤＡＲは、２次元の距離マップ、反射率マップ、又は明暗画像データ等を出力する。

【0046】

また、図１１に示すように、データ変換器３２の入力データの数と物体検出器３４の入力データの数とが異なっていてもよい。すなわち、取得部５０がデータの取得対象とするセンサの数と、物体検出器３４の学習に用いられる入力データを取得するセンサの数とが異なっていてもよい。図１１では、カメラ１１Ａが可視光カメラであり、カメラ１１Ｂが遠赤外カメラである例を示している。この場合、可視光カメラを備えるシステムに対して遠赤外カメラが追加された場合に、物体検出器３４を再学習させることなく、物体検出処理の精度を向上させることができる。

【0047】

また、図１２に示すように、物体検出器３４の入力データの数が、データ変換器３２の入力データの数よりも多くてもよい。図１２では、カメラ１１Ａが可視光カメラであり、カメラ１１Ｂが遠赤外カメラである例を示している。また、図１２では、物体検出器３４の入力データが、可視光画像データ、遠赤外画像データ、及び距離マップの３つの異なる種類のセンサにより出力されたデータである例を示している。この場合、可視光カメラ、遠赤外カメラ、及びＬｉＤＡＲを備えるシステムにおいて、ＬｉＤＡＲが使用できなくなった場合に、物体検出器３４を再学習させることなく、物体検出処理の精度の低下を抑制することができる。

【0048】

また、上記実施形態では、入力データに対して定められた処理を実行するデータ処理器として、物体検出処理を実行する物体検出器３４を適用した例を説明したが、開示の技術はこの態様に限定されない。例えば、データ処理器として、入力データである可視光画像データから、その画像データに存在している物体を識別する物体識別器を適用する形態としてもよい。また、例えば、データ処理器として、入力データである可視光画像データに対してキャプションを付与する画像キャプション器を適用する形態としてもよい。例えば、データ処理器として、入力データである可視光画像データに対してセグメンテーション処理を行うセグメンテーション装置を適用する形態としてもよい。

【0049】

また、上記実施形態では、データ変換器３２の入力データが２次元データである例を説明したが、開示の技術はこの態様に限定されない。例えば、図１３に示すように、データ変換器３２の入力データが音声データ等の１次元データであってもよい。この場合、カメラ１１に代えて、１次元の音声データを出力するマイクロフォン等の音声入力装置１２が用いられる。また、この場合、物体検出器３４に代えて、入力データに対して音声認識処理を実行し、実行結果を出力する音声認識器３６が用いられる。この場合、例えば、音声入力装置１２が異なる種類のものに変更された場合でも、音声認識器３６を再学習させることなく、音声認識処理の精度の低下を抑制することができる。

【0050】

また、上記実施形態において、情報処理装置１０の各種の処理を実行する機能部をＣＰＵ以外のプロセッサにより実現してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、情報処理装置１０の各機能部を、これらの各種のプロセッサのうちの１つで実現してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実現してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【0051】

また、上記実施形態では、情報処理プログラム３０がＲＯＭ２１に予め記憶（インストール）されている態様を説明したが、これに限定されない。情報処理プログラム３０は、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の記録媒体に記録された形態で提供されてもよい。また、情報処理プログラム３０は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【符号の説明】

【0052】

１０ 情報処理装置
１１ カメラ
１２ 音声入力装置
２０ ＣＰＵ
３０ 情報処理プログラム
３２ データ変換器
３４ 物体検出器
３６ 音声認識器
４０、５０ 取得部
４２、５２ 生成部
４４、５４ 実行部
４６ 学習部
５６ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】