特許7576765 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

青山学院大学 (神奈川県相模原市中央区淵野辺)

▶ パナソニックＩＰマネジメント株式会社の特許一覧

特許7576765情報処理方法、および情報処理システム

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-24

(45)【発行日】2024-11-01

(54)【発明の名称】情報処理方法、および情報処理システム

(51)【国際特許分類】

G06N 20/00 20190101AFI20241025BHJP

【ＦＩ】

G06N20/00 130

【請求項の数】 18

(21)【出願番号】P 2022534938

(86)(22)【出願日】2021-05-24

(86)【国際出願番号】 JP2021019554

(87)【国際公開番号】W WO2022009543

(87)【国際公開日】2022-01-13

【審査請求日】2024-03-01

(31)【優先権主張番号】P 2020119086

(32)【優先日】2020-07-10

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂伸一

(72)【発明者】

【氏名】中田洋平

(72)【発明者】

【氏名】石井育規

【審査官】今城朋彬

(56)【参考文献】

【文献】特開平１０－６３６３２（ＪＰ，Ａ）

【文献】特開２０１９－１３９４７９（ＪＰ，Ａ）

【文献】BOCK, Sebastian, et al.，"A MULTI-MODEL APPROACH TO BEAT TRACKING CONSIDERING HETEROGENEOUS MUSIC STYLES"，Proceedings of the 15th International Society for Music Information Retrieval Conference (ISMIR 2014，[online]，2014年10月31日，Pages 603-608，Retrieved from the Internet: <URL: https://www.ismir.net/conferences/> and <URL: https://www.ismir.net/conferences/ismir2014.html> and <URL: https://archives.ismir.net/ismir2014/paper/000367.pdf>.

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ２０／００

(57)【特許請求の範囲】

【請求項1】

プロセッサがメモリを用いて実行する情報処理方法であって、
センシングデータを第１推論モデルに入力することにより、前記センシングデータに対する第１推論結果を前記第１推論モデルから取得し、
前記第１推論結果を第３推論モデルに入力することにより、複数の第２推論モデルのうちから選択される少なくとも１つの第２推論モデルを示すモデル選択情報を前記第３推論モデルから取得し、
前記モデル選択情報が示す前記少なくとも１つの第２推論モデルに前記第１推論結果を入力することにより、前記第１推論結果に対する少なくとも１つの第２推論結果を前記第２推論モデルから取得し、
前記少なくとも１つの第２推論結果を出力する
情報処理方法。

【請求項2】

前記第３推論モデルは、
訓練用センシングデータを前記第１推論モデルに入力することにより、前記訓練用センシングデータに対する訓練用第１推論結果を前記第１推論モデルから取得し、
前記複数の第２推論モデルのうちの少なくとも１つの第２推論モデルの選択パターン毎における、選択される少なくとも１つの第２推論モデルに前記訓練用第１推論結果を入力することで得られる少なくとも１つの訓練用第２推論結果と、前記訓練用第１推論結果を前記第３推論モデルに入力することにより取得される前記モデル選択情報である訓練用モデル選択情報とに基づいて、機械学習を用いて訓練されたモデルである
請求項１に記載の情報処理方法。

【請求項3】

前記第３推論モデルの訓練は、前記少なくとも１つの訓練用第２推論結果に基づいて前記モデル選択情報の形式にしたがって生成されるデータをリファレンスデータとし、前記訓練用モデル選択情報を出力データとした機械学習を用いた訓練を含む
請求項２に記載の情報処理方法。

【請求項4】

前記モデル選択情報は、第２推論モデルが実行するタスクに対応する第１情報を含み、
前記モデル選択情報が示す前記少なくとも１つの第２推論モデルは、前記第１情報に対応するタスクを実行し、
前記少なくとも１つの訓練用第２推論結果に貢献したタスクを実行する第２推論モデルが、前記訓練用モデル選択情報が示す少なくとも１つの第２推論モデルに優先的に含まれるように、前記リファレンスデータを生成する
請求項３に記載の情報処理方法。

【請求項5】

前記リファレンスデータの生成は、
前記少なくとも１つの訓練用第２推論結果に基づくスコアが閾値よりも高いタスクセットに属するタスクを実行する第２推論モデルが、前記訓練用モデル選択情報が示す少なくとも１つの第２推論モデルに優先的に含まれるように、前記リファレンスデータを生成することを含む
請求項４に記載の情報処理方法。

【請求項6】

前記モデル選択情報は、前記第２推論モデルの性能に対応する第２情報を含み、
前記モデル選択情報が示す少なくとも１つの第２推論モデルは、前記第２情報に対応する性能を有し、
前記リファレンスデータの生成は、
前記少なくとも１つの訓練用第２推論結果における性能要件を満たす第２推論モデルが、前記訓練用モデル選択情報が示す少なくとも１つの第２推論モデルに優先的に含まれるように、前記リファレンスデータを生成することを含む
請求項３～５のいずれか１項に記載の情報処理方法。

【請求項7】

前記第２情報は、前記第２推論モデルの処理の難易度を含み、
リファレンスデータの生成は、
前記難易度に応じた性能を有する第２推論モデルが、前記訓練用モデル選択情報が示す少なくとも１つの第２推論モデルに優先的に含まれるように、前記リファレンスデータを生成することを含む
請求項６に記載の情報処理方法。

【請求項8】

前記第２推論モデルは、ニューラルネットワークモデルを含み、
前記第２情報は、前記第２推論モデルの性能として、前記ニューラルネットワークモデルのサイズを示すサイズ情報を含み、
リファレンスデータの生成は、
前記第２情報に含まれる前記サイズ情報を有する第２推論モデルが、前記訓練用モデル選択情報が示す少なくとも１つの第２推論モデルに優先的に含まれるように、前記リファレンスデータを生成することを含む
請求項６に記載の情報処理方法。

【請求項9】

プロセッサがメモリを用いて実行する情報処理方法であって、
センシングデータを第１推論モデルに入力することにより、前記センシングデータに対する第１推論結果と、複数の第２推論モデルのうちから選択される少なくとも１つの第２推論モデルを示すモデル選択情報とを前記第１推論モデルから取得し、
前記モデル選択情報が示す前記少なくとも１つの第２推論モデルに前記第１推論結果を入力することにより、前記第１推論結果に対する少なくとも１つの第２推論結果を前記第２推論モデルから取得し、
前記少なくとも１つの第２推論結果を出力する
情報処理方法。

【請求項10】

前記第１推論モデルは、
訓練用センシングデータを前記第１推論モデルに入力することにより、前記訓練用センシングデータに対する訓練用第１推論結果と、訓練用モデル選択情報とを前記第１推論モデルから取得し、
前記複数の第２推論モデルのうちの少なくとも１つの第２推論モデルの選択パターン毎における、選択される少なくとも１つの第２推論モデルに前記訓練用第１推論結果を入力することで得られる少なくとも１つの訓練用第２推論結果と、前記訓練用モデル選択情報とに基づいて、機械学習を用いて訓練されたモデルである
請求項９に記載の情報処理方法。

【請求項11】

前記第１推論モデルの訓練は、前記少なくとも１つの訓練用第２推論結果に基づいて前記モデル選択情報の形式にしたがって生成されるデータをリファレンスデータとし、前記訓練用モデル選択情報を出力データとした機械学習を用いた訓練を含む
請求項１０に記載の情報処理方法。

【請求項12】

【請求項13】

前記リファレンスデータの生成は、
前記少なくとも１つの訓練用第２推論結果に基づくスコアが閾値よりも高いタスクセットに属するタスクを実行する第２推論モデルが、前記訓練用モデル選択情報が示す少なくとも１つの第２推論モデルに優先的に含まれるように、前記リファレンスデータを生成することを含む
請求項１２に記載の情報処理方法。

【請求項14】

前記モデル選択情報は、前記第２推論モデルの性能に対応する第２情報を含み、
前記モデル選択情報が示す少なくとも１つの第２推論モデルは、前記第２情報に対応する性能を有し、
前記リファレンスデータの生成は、
前記少なくとも１つの訓練用第２推論結果における性能要件を満たす第２推論モデルが、前記訓練用モデル選択情報が示す少なくとも１つの第２推論モデルに優先的に含まれるように、前記リファレンスデータを生成することを含む
請求項１１～１３のいずれか１項に記載の情報処理方法。

【請求項15】

前記第２情報は、前記第２推論モデルの処理の難易度を含み、
リファレンスデータの生成は、
前記難易度に応じた性能を有する第２推論モデルが、前記訓練用モデル選択情報が示す少なくとも１つの第２推論モデルに優先的に含まれるように、前記リファレンスデータを生成することを含む
請求項１４に記載の情報処理方法。

【請求項16】

【請求項17】

センシングデータを第１推論モデルに入力することにより、前記センシングデータに対する第１推論結果を前記第１推論モデルから取得する第１取得部と、
前記第１推論結果を第３推論モデルに入力することにより、複数の第２推論モデルのうちから選択される少なくとも１つの第２推論モデルを示すモデル選択情報を前記第３推論モデルから取得する第２取得部と、
前記モデル選択情報が示す前記少なくとも１つの第２推論モデルに前記第１推論結果を入力することにより、前記第１推論結果に対する少なくとも１つの第２推論結果を前記第２推論モデルから取得する第３取得部と、
前記少なくとも１つの第２推論結果を出力する出力部と、を備える
情報処理システム。

【請求項18】

センシングデータを第１推論モデルに入力することにより、前記センシングデータに対する第１推論結果と、複数の第２推論モデルのうちから選択される少なくとも１つの第２推論モデルを示すモデル選択情報とを前記第１推論モデルから取得する第１取得部と、
前記モデル選択情報が示す前記少なくとも１つの第２推論モデルに前記第１推論結果を入力することにより、前記第１推論結果に対する少なくとも１つの第２推論結果を前記第２推論モデルから取得する第２取得部と、
前記少なくとも１つの第２推論結果を出力する出力部と、を備える
情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理方法、および情報処理システムに関する。

【背景技術】

【0002】

デバイスから取得したデータに基づいて推論処理を実行する技術がある（特許文献１参照）。この文献では、デバイスの置かれた環境又は条件に基づいて推論処理を実行する推論モデルを選択することが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１８／１７３１２１号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記文献の技術では、デバイスから取得されるデータに対して間接的な情報に基づいて推論モデルが選択されるため、推論処理対象のデータ（言い換えると推論モデルの入力データ）に適した推論モデルが選択されないことがある。

【0005】

そこで、本発明は、推論処理対象のデータに適した推論モデルが選択される可能性を向上させることができる情報処理方法などを提供する。

【課題を解決するための手段】

【0006】

本発明の一態様に係る情報処理方法は、プロセッサがメモリを用いて実行する情報処理方法であって、センシングデータを第１推論モデルに入力することにより、前記センシングデータに対する第１推論結果を前記第１推論モデルから取得し、前記第１推論結果を第３推論モデルに入力することにより、複数の第２推論モデルのうちから選択される少なくとも１つの第２推論モデルを示すモデル選択情報を前記第３推論モデルから取得し、前記モデル選択情報が示す前記少なくとも１つの第２推論モデルに前記第１推論結果を入力することにより、前記第１推論結果に対する少なくとも１つの第２推論結果を前記第２推論モデルから取得し、前記少なくとも１つの第２推論結果を出力する情報処理方法である。

【0007】

なお、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0008】

本発明の情報処理方法は、推論処理対象のデータに適した推論モデルが選択される可能性を向上させることができる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施の形態１における学習システムの機能構成を示すブロック図である。

【図2】図２は、実施の形態１における学習システムに入力される画像の一例を示す説明図である。

【図3】図３は、実施の形態１におけるタスク評価情報の一例を示す説明図である。

【図4】図４は、実施の形態１における訓練データの例を示す説明図である。

【図5】図５は、実施の形態１における学習システムが実行する処理を示すフロー図である。

【図6】図６は、実施の形態１における推論システムの機能構成を示すブロック図である。

【図7】図７は、実施の形態１における推論システムが実行する処理を示すフロー図である。

【図8】図８は、実施の形態２における訓練システムの機能構成を示すブロック図である。

【図9】図９は、実施の形態２における訓練データの例を示す説明図である。

【図10】図１０は、実施の形態２における訓練システムが実行する処理を示すフロー図である。

【図11】図１１は、実施の形態２における推論システムの機能構成を示すブロック図である。

【図12】図１２は、実施の形態２における推論システムが実行する処理を示すフロー図である。

【図13】図１３は、実施の形態３における訓練システムの機能構成を示すブロック図である。

【図14】図１４は、実施の形態３における訓練システムが実行する処理を示すフロー図である。

【図15】図１５は、実施の形態３における推論システムの機能構成を示すブロック図である。

【図16】図１６は、実施の形態３における推論システムが実行する処理を示すフロー図である。

【図17】図１７は、実施の形態４における訓練システムの機能構成を示すブロック図である。

【図18】図１８は、実施の形態４における訓練システムが実行する処理を示すフロー図である。

【図19】図１９は、実施の形態４における推論システムの機能構成を示すブロック図である。

【図20】図２０は、実施の形態４における推論システムが実行する処理を示すフロー図である。

【発明を実施するための形態】

【0010】

（本発明の基礎となった知見）
近年、機械学習などを用いた推論処理技術の向上に伴い、推論処理が適用されるケースが拡大している。例えば、宅内での人の行動認識に推論処理が用いられる。他方で、行動認識においては、様々な種類又は認識難易度の物体又はシーンが認識対象として存在する。また、宅内での行動認識のためには認識処理を行う装置の小型化・低コスト化が求められ、装置の計算リソースは限られてくる。そのため、宅内の行動認識においては、様々な認識対象について、限られた計算リソース（例えば、プロセッサ、メモリ）下で認識することが求められる。なお、これは行動認識に限らず、他の推論処理においても同様であると推測される。

【0011】

しかし、様々な種類の認識対象に対応するためには、多種類の行動認識モデルを用いて認識処理を実行することになるため、計算コストが膨大になる。また、様々な認識難易度の認識対象に対応するためには、巨大な行動認識モデルを用いて認識処理を実行することになるため、計算コスト（例えば、計算量、計算時間、計算リソースの占有量、消費電力）が膨大になる。

【0012】

また、従来技術としては、デバイスの置かれた環境又は条件に基づいて推論処理を実行する推論モデルを選択する技術がある。

【0013】

しかし、上記技術では、デバイスから取得されるデータに対して間接的な情報に基づいて推論モデルが選択されるため、推論処理対象のデータに適した推論モデルが選択されないことがある。また、推論モデルの選択処理と推論処理とが独立して実行されるため、計算コストがかかる。

【0014】

そこで、本発明の一態様に係る情報処理方法は、プロセッサがメモリを用いて実行する情報処理方法であって、センシングデータを第１推論モデルに入力することにより、前記センシングデータに対する第１推論結果を前記第１推論モデルから取得し、前記第１推論結果を第３推論モデルに入力することにより、複数の第２推論モデルのうちから選択される少なくとも１つの第２推論モデルを示すモデル選択情報を前記第３推論モデルから取得し、前記モデル選択情報が示す前記少なくとも１つの第２推論モデルに前記第１推論結果を入力することにより、前記第１推論結果に対する少なくとも１つの第２推論結果を前記第２推論モデルから取得し、前記少なくとも１つの第２推論結果を出力する情報処理方法である。

【0015】

上記態様によれば、複数の第２推論モデルのうちから選択される少なくとも１つの第２推論モデルを用いて第２推論結果を取得するので、第２推論結果を取得するに際して、複数の第２推論モデルのうちの選択されない第２推論モデルが稼働しない。そのため、選択されない第２推論モデルの稼働に要する計算リソースまたは電力を削減できる。このように、上記情報処理方法は、様々な推論対象に対する推論処理を可能にしながら当該推論処理にかかる計算コストを抑制することができる。また、センシングデータを入力することにより得られる第１推論結果に基づいて第２推論モデルが選択されるため、実質的に当該センシングデータの特徴に基づいて第２推論モデルが選択されることになる。したがって、推論処理対象のデータに適した推論モデルが選択される可能性を向上させることができる。

【0016】

例えば、前記第３推論モデルは、訓練用センシングデータを前記第１推論モデルに入力することにより、前記訓練用センシングデータに対する訓練用第１推論結果を前記第１推論モデルから取得し、前記複数の第２推論モデルのうちの少なくとも１つの第２推論モデルの選択パターン毎における、選択される少なくとも１つの第２推論モデルに前記訓練用第１推論結果を入力することで得られる少なくとも１つの訓練用第２推論結果と、前記訓練用第１推論結果を前記第３推論モデルに入力することにより取得される前記モデル選択情報である訓練用モデル選択情報とに基づいて、機械学習を用いて訓練されたモデルであってもよい。

【0017】

上記態様によれば、機械学習を用いることで、センシングデータの特徴から第２推論モデルを選択するという複雑な推論処理を行う第３推論モデルを他の手法よりも容易に生成することができる。

【0018】

例えば、前記第３推論モデルの訓練は、前記少なくとも１つの訓練用第２推論結果に基づいて前記モデル選択情報の形式にしたがって生成されるデータをリファレンスデータとし、前記訓練用モデル選択情報を出力データとした機械学習を用いた訓練を含んでもよい。

【0019】

上記態様によれば、訓練用第２推論結果からモデル選択情報の形式に従うデータを生成することにより、訓練用第２推論結果の形式の制約を受けることなく第３推論モデルを訓練することができる。言い換えると、様々な第２推論結果を出力する多様な第２推論モデルを本開示の実施の形態に適用することができる。

【0020】

例えば、前記モデル選択情報は、第２推論モデルが実行するタスクに対応する第１情報を含み、前記モデル選択情報が示す前記少なくとも１つの第２推論モデルは、前記第１情報に対応するタスクを実行し、前記少なくとも１つの訓練用第２推論結果に貢献したタスクを実行する第２推論モデルが、前記訓練用モデル選択情報が示す少なくとも１つの第２推論モデルに優先的に含まれるように、前記リファレンスデータを生成してもよい。

【0021】

上記態様によれば、少なくとも１つの第２推論結果に貢献したタスクを実行する第２推論モデルが、機械学習の際のリファレンスデータとしての訓練用モデル選択情報に優先的に含まれるので、当該貢献したタスクを実行する第２推論モデルが選択されるモデル選択情報を出力する第３推論モデルを自動的に生成することができる。また、リファレンスデータに含まれる、第３推論モデルの訓練に有効なデータがより多くなり、訓練の効率が向上する。

【0022】

例えば、前記リファレンスデータの生成は、前記少なくとも１つの訓練用第２推論結果に基づくスコアが閾値よりも高いタスクセットに属するタスクを実行する第２推論モデルが、前記訓練用モデル選択情報が示す少なくとも１つの第２推論モデルに優先的に含まれるように、前記リファレンスデータを生成することを含んでもよい。

【0023】

上記態様によれば、スコアが閾値よりも高いタスクセットに属するタスクを実行する第２推論モデルが機械学習の際のリファレンスデータとしての訓練用モデル選択情報に優先的に含まれるので、第３推論モデルが実質的に選択する第２推論モデルによる第２推論結果の精度又は正確性等のレベルを所定の基準に近づけることができる。

【0024】

例えば、前記モデル選択情報は、前記第２推論モデルの性能に対応する第２情報を含み、前記モデル選択情報が示す少なくとも１つの第２推論モデルは、前記第２情報に対応する性能を有し、前記リファレンスデータの生成は、前記少なくとも１つの訓練用第２推論結果における性能要件を満たす第２推論モデルが、前記訓練用モデル選択情報が示す少なくとも１つの第２推論モデルに優先的に含まれるように、前記リファレンスデータを生成することを含んでもよい。

【0025】

上記態様によれば、性能要件を満たす第２推論モデルが、機械学習の際のリファレンスデータとしての訓練用モデル選択情報に優先的に含まれるので、当該性能要件を満たす第２推論モデルが選択されるモデル選択情報を出力する第３推論モデルを自動的に生成することができる。また、リファレンスデータに含まれる、第３推論モデルの訓練に有効なデータがより多くなり、訓練の効率が向上する。

【0026】

例えば、前記第２情報は、前記第２推論モデルの処理の難易度を含み、リファレンスデータの生成は、前記難易度に応じた性能を有する第２推論モデルが、前記訓練用モデル選択情報が示す少なくとも１つの第２推論モデルに優先的に含まれるように、前記リファレンスデータを生成することを含んでもよい。

【0027】

上記態様によれば、難易度に応じた性能を有する第２推論モデルが、機械学習の際のリファレンスデータとしての訓練用モデル選択情報に優先的に含まれるので、第３推論モデルが実質的に選択する第２推論モデルによる推論処理の処理性能（言い換えると計算コスト）を要求されるレベルに近づけることができる。

【0028】

例えば、前記第２推論モデルは、ニューラルネットワークモデルを含み、前記第２情報は、前記第２推論モデルの性能として、前記ニューラルネットワークモデルのサイズを示すサイズ情報を含み、リファレンスデータの生成は、前記第２情報に含まれる前記サイズ情報を有する第２推論モデルが、前記訓練用モデル選択情報が示す少なくとも１つの第２推論モデルに優先的に含まれるように、前記リファレンスデータを生成することを含んでもよい。

【0029】

上記態様によれば、第２推論モデルの性能として、ニューラルネットワークのサイズ情報を用いるので、より容易に、第２推論モデルの性能が調整され得る。

【0030】

また、本発明の一態様に係る情報処理方法は、プロセッサがメモリを用いて実行する情報処理方法であって、センシングデータを第１推論モデルに入力することにより、前記センシングデータに対する第１推論結果と、複数の第２推論モデルのうちから選択される少なくとも１つの第２推論モデルを示すモデル選択情報とを前記第１推論モデルから取得し、前記モデル選択情報が示す前記少なくとも１つの第２推論モデルに前記第１推論結果を入力することにより、前記第１推論結果に対する少なくとも１つの第２推論結果を前記第２推論モデルから取得し、前記少なくとも１つの第２推論結果を出力する情報処理方法である。

【0031】

上記態様によれば、複数の第２推論モデルのうちから選択される少なくとも１つの第２推論モデルを用いて第２推論結果を取得するので、第２推論結果を取得するに際して、複数の第２推論モデルのうちの選択されない第２推論モデルが稼働しない。そのため、選択されない第２推論モデルの稼働に要する計算リソースまたは電力を削減できる。このように、上記情報処理方法は、様々な推論対象に対する推論処理を可能にしながら当該推論処理にかかる計算コストを抑制することができる。また、実質的にセンシングデータに基づいて第２推論モデルが選択されるため、推論処理対象のデータに適した推論モデルが選択される可能性を向上させることができる。

【0032】

例えば、前記第１推論モデルは、訓練用センシングデータを前記第１推論モデルに入力することにより、前記訓練用センシングデータに対する訓練用第１推論結果と、訓練用モデル選択情報とを前記第１推論モデルから取得し、前記複数の第２推論モデルのうちの少なくとも１つの第２推論モデルの選択パターン毎における、選択される少なくとも１つの第２推論モデルに前記訓練用第１推論結果を入力することで得られる少なくとも１つの訓練用第２推論結果と、前記訓練用モデル選択情報とに基づいて、機械学習を用いて訓練されたモデルであってもよい。

【0033】

上記態様によれば、機械学習を用いることで、センシングデータの特徴から第２推論モデルを選択するという複雑な推論処理を行う推論モデルを、第１推論モデルとして、他の手法よりも容易に生成することができる。

【0034】

例えば、前記第１推論モデルの訓練は、前記少なくとも１つの訓練用第２推論結果に基づいて前記モデル選択情報の形式にしたがって生成されるデータをリファレンスデータとし、前記訓練用モデル選択情報を出力データとした機械学習を用いた訓練を含んでもよい。

【0035】

上記態様によれば、訓練用第２推論結果からモデル選択情報の形式に従うデータを生成することにより、訓練用第２推論結果の形式の制約を受けることなく第１推論モデルを訓練することができる。言い換えると、様々な第２推論結果を出力する多様な第２推論モデルを本開示の実施の形態に適用することができる。

【0036】

【0037】

上記態様によれば、少なくとも１つの第２推論結果に貢献したタスクを実行する第２推論モデルが、機械学習の際のリファレンスデータとしての訓練用モデル選択情報に優先的に含まれるので、当該貢献したタスクを実行する第２推論モデルが選択されるモデル選択情報を出力する第１推論モデルを自動的に生成することができる。また、リファレンスデータに含まれる、第１推論モデルの訓練に有効なデータがより多くなり、訓練の効率が向上する。

【0038】

【0039】

上記態様によれば、スコアが閾値よりも高いタスクセットに属するタスクを実行する第２推論モデルが機械学習の際のリファレンスデータとしての訓練用モデル選択情報に優先的に含まれるので、第１推論モデルが実質的に選択する第２推論モデルによる第２推論結果の精度又は正確性等のレベルを所定の基準に近づけることができる。

【0040】

【0041】

上記態様によれば、性能要件を満たす第２推論モデルが、機械学習の際のリファレンスデータとしての訓練用モデル選択情報に優先的に含まれるので、当該性能要件を満たす第２推論モデルが選択されるモデル選択情報を出力する第１推論モデルを自動的に生成することができる。また、リファレンスデータに含まれる、第１推論モデルの訓練に有効なデータがより多くなり、訓練の効率が向上する。

【0042】

【0043】

上記態様によれば、難易度に応じた性能を有する第２推論モデルが、機械学習の際のリファレンスデータとしての訓練用モデル選択情報に優先的に含まれるので、第１推論モデルが実質的に選択する第２推論モデルによる推論処理の処理性能（言い換えると計算コスト）を要求されるレベルに近づけることができる。

【0044】

【0045】

【0046】

また、本発明の一態様に係る情報処理装置は、センシングデータを第１推論モデルに入力することにより、前記センシングデータに対する第１推論結果を前記第１推論モデルから取得する第１取得部と、前記第１推論結果を第３推論モデルに入力することにより、複数の第２推論モデルのうちから選択される少なくとも１つの第２推論モデルを示すモデル選択情報を前記第３推論モデルから取得する第２取得部と、前記モデル選択情報が示す前記少なくとも１つの第２推論モデルに前記第１推論結果を入力することにより、前記第１推論結果に対する少なくとも１つの第２推論結果を前記第２推論モデルから取得する第３取得部と、前記少なくとも１つの第２推論結果を出力する出力部と、を備える情報処理システムである。

【0047】

上記態様によれば、上記情報処理方法と同様の効果を奏する。

【0048】

また、本発明の一態様に係る情報処理装置は、センシングデータを第１推論モデルに入力することにより、前記センシングデータに対する第１推論結果と、複数の第２推論モデルのうちから選択される少なくとも１つの第２推論モデルを示すモデル選択情報とを前記第１推論モデルから取得する第１取得部と、前記モデル選択情報が示す前記少なくとも１つの第２推論モデルに前記第１推論結果を入力することにより、前記第１推論結果に対する少なくとも１つの第２推論結果を前記第２推論モデルから取得する第２取得部と、前記少なくとも１つの第２推論結果を出力する出力部と、を備える情報処理システムである。

【0049】

上記態様によれば、上記情報処理方法と同様の効果を奏する。

【0050】

なお、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

【0051】

以下、実施の形態について、図面を参照しながら具体的に説明する。

【0052】

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

【0053】

（実施の形態１）
本実施の形態において、推論モデルを効率よく稼働させる情報処理方法および情報処理システムについて説明する。以降において、情報処理方法を単に処理方法ともいい、情報処理システムを単に処理システムともいう。

【0054】

本実施の形態において、訓練システム１および推論システム２について説明する。訓練システム１は、入力されたセンシングデータに対する推論処理に用いる推論モデルを選択する選択モデルを機械学習によって訓練する処理システムである。推論システム２は、入力されたセンシングデータに応じて、訓練システム１によって学習したタスク選択モデルを用いて選択される推論モデルを用いて、上記センシングデータに対する推論処理を実行する処理システムである。以降において、訓練システム１および推論システム２について順に説明する。

【0055】

（１－１）訓練システム１
図１は、本実施の形態における処理システムである訓練システム１の構成を示すブロック図である。

【0056】

図１に示されるように、訓練システム１は、入力されたセンシングデータ１０に基づいて、センシングデータ１０に対する推論処理を実行する推論モデルを選択する推論モデル（タスク選択モデルＭ１）を出力する。

【0057】

訓練システム１は、特徴量抽出部１０１と、推論制御部１０２と、統合部１０３と、タスク選択正解生成部１０４と、タスク選択モデル訓練部１０５と、モデルライブラリ３０と、を備える。訓練システム１が備える各機能部は、プロセッサ（例えばＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ））（不図示）が、メモリを用いて所定のプログラムを実行することで実現され得る。なお、訓練システム１は、１つの装置として実現されてもよいし、互いに通信可能な複数の装置によって実現されてもよい。

【0058】

特徴量抽出部１０１は、特徴量抽出モデルＬ１（第１推論モデル）を用いてセンシングデータ１０の特徴量（第１推論結果）を抽出する機能部である。特徴量抽出部１０１は、具体的には、入力されたセンシングデータ１０を特徴量抽出モデルＬ１に入力することで、センシングデータ１０の特徴量を抽出する。例えば、特徴量は、特徴マップであってよい。生成した特徴マップは、推論制御部１０２に提供される。特徴量抽出モデルは、例えば、入力されたデータの特徴マップを出力するように訓練されたニューラルネットワークモデルである。

【0059】

センシングデータ１０は、例えば画像データである。なお、以降では、センシングデータ１０が、画像データである場合を例として説明するが、これに限られない。センシングデータ１０は、上記の他に、マイクロフォンから出力される音声データ、ＬｉＤＡＲ（ＬｉｇｈｔＤｅｔｅｃｔｉｏｎａｎｄＲａｎｇｉｎｇ）等のレーダから出力される点群データ、圧力センサから出力される圧力データ、温度センサ又は湿度センサから出力される温度データ又は湿度データ、または、香りセンサから出力される香りデータなどのような、正解データが取得可能なセンシングデータ１０が用いられ得る。

【0060】

推論制御部１０２は、１以上のタスク用推論モデル（第２推論モデル）を用いた特徴マップを入力とする推論処理による推論を制御する機能部である。タスク用推論モデルは、入力された特徴マップに基づいて、当該特徴マップに係るセンシングデータ１０である画像に含まれている物体または人などについての情報を推論するモデルであり、例えば、ニューラルネットワークモデルである。

【0061】

推論制御部１０２は、特徴量抽出部１０１から特徴マップを取得する。また、推論制御部１０２は、モデルライブラリ３０が保有している複数のタスク用推論モデルを用いて推論処理を実行する。複数のタスク用推論モデルは、さまざまなタスクを実行するタスク用推論モデルを含む。ここでは、複数のタスクが、物体検出のタスクＡ、姿勢推定のタスクＢ、および属性判定のタスクＣを含むとして説明するが、これに限定されない。

【0062】

例えば、物体検出のタスクＡは、入力されたセンシングデータ１０である画像に映っている物体（例えば、照明装置、棚、引き出し、バッグなど。人が含まれてよい）を検出するタスクである。例えば、姿勢推定のタスクＢは、上記画像に映っている人の姿勢（例えば、立っている、背伸びをしている、座っているなど）を推定するタスクである。例えば、属性判定のタスクＣは、上記画像に映っている状況の属性（例えば、場所がキッチンである、時間帯が朝であるなど）を判定するタスクである。

【0063】

推論制御部１０２は、複数のタスクのうちから選択される１以上のタスク（タスクセットともいう）を決定する。推論制御部１０２は、また、上記タスクセットとは少なくとも一部が異なる新たなタスクセットを、複数のタスクのうちから選択して決定する。このようにして推論制御部１０２は、複数のタスクセットを決定する。推論制御部１０２は、上記複数のタスクセットとして、複数のタスクから選択され得るすべてのタスクセットを決定してもよい。

【0064】

推論制御部１０２は、決定した複数のタスクセットから選択したタスクセットに含まれるタスクそれぞれを実行するタスク用推論モデルそれぞれに特徴マップを入力して推論処理を実行する。推論制御部１０２は、上記タスク用推論モデルそれぞれが出力する推論結果（第２推論結果）を統合部１０３によって統合することで、統合情報を取得する。推論制御部１０２は、決定した複数のタスクセットについて統合情報を取得する。

【0065】

統合部１０３は、１以上の推論結果に基づいて統合処理を実行し、統合情報を出力する機能部である。言い換えると、統合部１０３は、１以上の推論結果が入力された場合に、入力された１以上の推論結果を統合した１つの統合情報を生成する。統合部１０３は、１以上の推論結果として、モデルライブラリ３０が保有している１以上のタスク用推論モデルによって推論された結果を取得する。統合情報には、タスクセットと、センシングデータ１０から推定される状況（又は行動）及びその状況の推定の尤度を示すスコアの組と、が含まれる。状況が複数存在する場合には、統合情報には、状況及びスコアの組が複数含まれる。なお、タスクセットに含まれるタスクが１つのみである場合には、統合部１０３は、その１つのタスクを実行するタスク用推論モデルが出力する推論結果を含む統合情報を生成する。統合部１０３は、ニューラルネットワークモデルで実現され得る。具体的には、統合部１０３は、入力された１以上の推論結果が入力されると、タスクセットと、状況及びスコアの組とを示す統合情報を出力するように訓練されたニューラルネットワークモデルにより実現され得る。推論制御部１０２は、生成した統合情報を、タスク選択正解生成部１０４に提供する。なお、ここでは、統合部１０３の統合処理が分類問題を解く処理である（言い換えると統合情報に含まれる状況が分類結果である）例について説明するがこれに限定されない。例えば、統合部１０３の処理は、後述する回帰問題、物体検出問題等を解く処理であってもよい。また、統合部１０３が単一の状況についてのみ処理する場合は、統合情報は、状況を含まなくてもよい。なお、統合部１０３における統合処理は、機械学習モデルによってなされてもよい。

【0066】

ここで、図２を用いて統合情報の生成について具体的に説明する。図２は、本実施の形態における訓練システム１に入力される画像の一例を示す説明図である。

【0067】

図２に示されるように、訓練システム１に入力される画像２０は、人が作業をしている光景を映した画像である。

【0068】

具体的には、画像２０は、住居内のシステムキッチンにおいて人が立っている光景を映した画像である。システムキッチンの天井付近には扉を有する棚がある。システムキッチンのワークトップには、バッグが置かれている。人は、台所の天井近くの棚の扉を開いて、その棚に物品を収納しようとしている。

【0069】

例えば、画像２０に対して物体検出のタスクＡによる検出処理を実行すると、人、棚、ドアなどが検出され得る。画像２０に対して姿勢推定のタスクＢによる推定処理を実行すると、人が立っていること、又は、人が背伸びをしていることなどが推定され得る。画像２０に対して属性判定のタスクＣによる判定処理を実行すると、場所がキッチンであることなどが判定され得る。

【0070】

上記のようなタスクＡ、Ｂ及びＣの処理結果が統合される場合、例えば、タスクＡ、Ｂ及びＣのセットと、「キッチンで人が背伸びをして物を取り出そうとしている」という状況と、その状況に対応付けられるスコア９０とを含む統合情報が生成される。また、上記のようなタスクＡ、Ｂの処理結果が統合される場合、タスクＡ及びＢのセットと、「人が立ち上がって棚に物を収納しようとしている」という状況と、その状況に対応付けられるスコア６０とを含む統合情報が生成される。

【0071】

タスク選択正解生成部１０４は、タスク選択モデルの訓練に用いられる正解データ（以下、タスク選択正解データ又は上位概念としてモデル選択情報の正解データとも称する）を生成する機能部である。タスク選択正解データは、モデルライブラリ３０が保有しているモデルに係る複数のタスクのうちの特徴量抽出部１０１に入力されたセンシングデータ１０に対して実行されるべきタスクが選択されるようにタスク選択モデルを訓練するための正解データ（リファレンスデータ）である。タスク選択正解生成部１０４は、推論制御部１０２から統合情報を取得し、取得した統合情報に基づいてタスク選択正解データを生成する。具体的には、タスク選択正解生成部１０４は、統合情報に含まれるタスクセットとスコアに基づいてタスク選択正解データを生成する。統合情報に複数の状況が含まれる場合は、タスクセットと、同じ状況に対応付けられるスコアと（以下、タスクセットとスコアの組とも称する）を統合情報それぞれから取得し、取得した複数のタスクセットとスコアの組に基づいてタスク選択正解データが生成される。統合情報に単一の状況が含まれる場合は、複数の統合情報それぞれに含まれるタスクセットとスコアの組に基づいてタスク選択正解データが生成される。

【0072】

タスク選択正解データは、例えば、少なくとも１つの第２推論結果に貢献したタスクを実行するタスク用推論モデルが、訓練用モデル選択情報が示す少なくとも１つのタスク用推論モデルに優先的に含まれるように、生成される。より具体的には、タスク選択正解データは、少なくとも１つのタスク用推論モデルの推論結果に基づくスコアが閾値よりも高いタスクセットに属するタスクを実行するタスク用推論モデルが、上記少なくとも１つのタスク用推論モデルに優先的に含まれるように、生成される。

【0073】

図３は、本実施の形態におけるタスクセットとスコアの組の一例を示す説明図である。図３は、特定の状況に対応付けられるタスクセットとスコアの組が取得される場合を例示する。

【0074】

図３に示される一番上の組は、タスクセットＡ、ＢおよびＣと、当該タスクセットに含まれるタスクそれぞれを実行するタスク用推論モデルに特徴マップを入力することにより出力された推論結果を統合部１０３で統合することにより得られる状況に対するスコア９０と、を示している。

【0075】

同様に、図３に示される上から二番目の組は、タスクセットＡおよびＢと、当該タスクセットについての状況に対するスコア８５と、を示している。

【0076】

同様に、図３に示される上から三番目の組は、タスクセットＡと、当該タスクセットについての所定の状況に対するスコア６０と、を示している。

【0077】

タスク選択正解生成部１０４は、上記のような複数のタスクセットとスコアとの組の中から、スコアの高さにしたがって（すなわち第２推論結果への貢献度にしたがって）組を選択し、選択された組のタスクセットに基づいてタスク選択正解データを生成する。

【0078】

例えば、図３に示される、スコアが８０以上である一番上と上から二番目の組のタスクセットが選択され、共通するタスクＡおよびＢが選択されるべきタスクであることを示すタスク選択正解データが生成される。

【0079】

なお、さらに、統合情報に複数の状況が含まれる場合は、センシングデータ１０に対して予め定義される状況（すなわち状況の正解データ）と一致する状況に対応付けられるタスクセットスコアの組に基づいてタスク選択正解データが生成されてもよい。例えば、タスクＡ、ＢおよびＣそれぞれによる推論結果を統合して「キッチンで人が背伸びをして物を取り出そうとしている」という状況とスコア９０の組合せが得られ、タスクＡ、およびＢそれぞれによる推論結果を統合して「人が立ち上がって棚に物を収納しようとしている」という状況とスコア６０の組合せとが得られた場合、センシングデータ１０に対して予め定義される状況が「キッチンで人が背伸びをして物を取り出そうとしている」であるときには、タスクＡ、ＢおよびＣを含むタスクセットと、スコア９０と、の組が取得される。

【0080】

タスク選択正解データは、タスク選択モデルの出力形式にしたがって生成される。言い換えると、タスク選択正解データは、タスク選択モデルが出力するモデル選択情報の形式にしたがって生成される。

【0081】

モデル選択情報は、特徴マップを入力して推論処理を実行させる少なくとも１つのタスク用推論モデルを示す情報である。モデル選択情報は、タスク用推論モデルを特定するための情報であり、タスクに対応する第１情報を含む。例えば、第１情報は、タスクを示す情報であってよく、第１情報が示すタスクを実行するモデルが特定される。

【0082】

タスク選択正解生成部１０４は、生成したタスク選択正解データとセンシングデータとの組を訓練データとして、タスク選択モデル訓練部１０５に提供する。

【0083】

図４は、本実施の形態における訓練データの第一例を示す説明図である。図４に示される訓練データは、センシングデータと、図３に示されるタスクセットとスコアの組に基づいて生成されるタスク選択正解データと、を含む。

【0084】

図４に示されるように、訓練データには、センシングデータとモデル選択情報の正解データであるタスク選択正解データとが対応付けて含まれている。センシングデータは、例えば訓練システム１に入力された画像２０であり、モデル選択情報の正解データが生成される際に使用されたセンシングデータである。モデル選択情報の正解データは、上記センシングデータを用いてタスク選択正解生成部１０４により生成された正解データである。

【0085】

具体的には、図４には、センシングデータとしての画像２０と、モデル選択情報の正解データとしての情報「Ａ：１Ｂ：１Ｃ：０」が対応付けて含まれている。これは、画像２０に対する処理をするタスクにタスクＡおよびＢが含まれ、かつ、タスクＣが含まれないことを意味している。ここでは、モデル選択情報は、画像２０に対する処理をするタスクに含まれるタスクを「１」で表現し、画像２０に対する処理をするタスクに含まれないタスクを「０」で表現するという形式で表現されている。当然ながらモデル選択情報の形式はこれに限定されない。

【0086】

タスク選択モデル訓練部１０５は、タスク選択モデルＭ１を訓練する機能部である。タスク選択モデル訓練部１０５は、タスク選択正解生成部１０４が生成した訓練データを取得し、また、訓練データに含まれるセンシングデータの特徴量として特徴量抽出部１０１から特徴マップを取得する。タスク選択モデル訓練部１０５は、取得した特徴マップをタスク選択モデルＭ１に入力して訓練用モデル選択情報としてモデル選択情報を取得する。そして、タスク選択モデル訓練部１０５は、タスク選択正解データをリファレンスデータとし、モデル選択情報を出力データとした機械学習によってタスク選択モデルＭ１を訓練し、出力する。

【0087】

タスク選択モデルＭ１は、モデルライブラリ３０が保有している複数のタスク用推論モデルのうちの少なくとも１つのタスク用推論モデルに、特徴マップを入力することで得られる少なくとも１つの推論結果と、タスク選択モデルＭ１に、特徴マップを入力することで得られるモデル選択情報と、に基づいて、機械学習を用いて訓練されたモデルである。タスク選択モデルＭ１は、例えばニューラルネットワークモデルであり、第３推論モデルの一例である。

【0088】

具体的には、タスク選択モデル訓練部１０５は、図４に示される訓練データを用いて、訓練データに含まれるセンシングデータが訓練システム１に入力されたときに、訓練データにおいて当該センシングデータに対応付けられたモデル選択情報の正解データをタスク選択モデルＭ１が出力するように、タスク選択モデルＭ１を訓練する。例えば、タスク選択モデルＭ１の訓練は、センシングデータから特徴量抽出部１０１で抽出された特徴マップをタスク選択モデルＭ１に入力した場合に出力されるモデル選択情報と、訓練データに含まれるモデル選択情報の正解データとの差分を損失関数によって算出し、その差分を小さくするようにタスク選択モデルＭ１に含まれるパラメータを調整することによってなされ得る。

【0089】

以上のように訓練システム１によって訓練されたタスク選択モデルＭ１は推論システム２に提供され、センシングデータの推論処理に用いられる。

【0090】

以上のように構成された訓練システム１が実行する処理を以降で説明する。

【0091】

図５は、本実施の形態における訓練システム１が実行する処理を示すフロー図である。

【0092】

ステップＳ１００１において、特徴量抽出部１０１は、センシングデータ１０を取得する。

【0093】

ステップＳ１００２において、特徴量抽出部１０１は、ステップＳ１００１で取得したセンシングデータ１０の特徴量を抽出する処理を行うことで、センシングデータ１０の特徴マップを取得する。

【0094】

ステップＳ１００３において、推論制御部１０２は、ステップＳ１００２で取得された特徴マップに対する推論処理を実行するタスクセットを決定する。このとき、推論制御部１０２は、少なくとも一部が異なる複数のタスクセットを決定する。

【0095】

ステップＳ１００４において、推論制御部１０２は、ステップＳ１００３で決定した複数のタスクセットそれぞれに属するタスクを実行するモデルを用いて推論処理を実行する。

【0096】

ステップＳ１００５において、統合部１０３は、ステップＳ１００４で複数のタスクセットそれぞれに属するタスクを実行するモデルを用いて実行した推論処理の結果を示す推論結果を統合することで統合情報を生成する。

【0097】

ステップＳ１００６において、タスク選択正解生成部１０４は、ステップＳ１００５で生成された統合情報に基づいて、タスク選択正解データを生成する。

【0098】

ステップＳ１００７において、タスク選択モデル訓練部１０５は、ステップＳ１００６で生成したタスク選択正解データを用いて機械学習を行うことでタスク選択モデルＭ１を訓練する。

【0099】

図５に示される一連の処理により、訓練システム１は、タスク選択モデルＭ１を訓練する。訓練システム１は、訓練したタスク選択モデルＭ１を推論システム２に提供する。

【0100】

（１－２）推論システム２
次に、推論システム２について説明する。なお、訓練システム１における構成と実質的に同一である構成については説明を簡略する。

【0101】

図６は、本実施の形態における推論システム２の機能構成を示すブロック図である。

【0102】

図６に示されるように、推論システム２は、入力されたセンシングデータ１０に基づいて推論モデルを選択し、選択された推論モデルによってセンシングデータ１０に対する推論処理を実行する。

【0103】

図６に示されるように、推論システム２は、特徴量抽出部２０１と、推論制御部２０２と、タスク選択部２０８と、モデル選択部２１０と、モデルライブラリ３０とを備える。

【0104】

特徴量抽出部２０１は、特徴量抽出モデルＬ１を用いてセンシングデータ１０の特徴量を抽出する機能部である。特徴量抽出部２０１は、訓練システム１が備える特徴量抽出部１０１と同じ機能部である。特徴量抽出部２０１は、入力されたセンシングデータ１０の特徴を示す特徴マップを生成し、生成した特徴マップを推論制御部２０２、タスク選択部２０８に提供する。

【0105】

推論制御部２０２は、特徴量抽出部２０１から特徴マップを取得し、取得した特徴マップに対して、モデル選択部２１０によって選択されたタスク用推論モデルによって推論処理を実行する機能部である。推論制御部２０２は、上記推論処理の結果を示す結果情報５０を出力する。推論制御部２０２は、上記推論処理を実行する前に、モデル選択部２１０によって選択されたタスク用推論モデルを稼働させ、稼働させたタスク用推論モデルを用いて上記推論処理を実行する。推論制御部２０２は、上記推論処理を実行する際には、保持されるタスク用推論モデルのうち、モデル選択部２１０によって選択されたタスク用推論モデルのみを稼働させる。モデル選択部２１０によって選択されていないタスク用推論モデルは稼働させられない。結果情報５０は、第２推論結果に相当する。

【0106】

タスク選択部２０８は、推論制御部２０２が推論処理の実行に使用するタスク用推論モデルのタスクを選択する機能部である。タスク選択部２０８は、訓練システム１が訓練したタスク選択モデルＭ１を取得し、保有している。タスク選択部２０８は、特徴量抽出部２０１から特徴マップを取得し、タスク選択モデルＭ１を用いて、当該特徴マップに対して実行されるべきタスクを実行するモデルを特定するモデル選択情報を生成し、モデル選択情報をモデル選択部２１０に提供する。

【0107】

モデル選択部２１０は、推論制御部２０２が推論処理の実行に使用するタスク用推論モデルを選択する機能部である。

【0108】

モデル選択部２１０は、タスク選択部２０８が生成したモデル選択情報を取得する。そして、モデル選択部２１０は、取得した上記モデル選択情報にしたがってタスク用推論モデルをモデルライブラリ３０から選択して、推論制御部２０２に提供する。具体的には、モデル選択部２１０は、モデル選択情報に含まれる第１情報からタスクを特定し、特定したタスクを実行するタスク用推論モデルを選択する。

【0109】

なお、モデル選択部２１０は、さらに推論システム２を稼働させているハードウェア、特に、推論制御部２０２を稼働させているハードウェアのデバイス情報４０を取得し、取得したデバイス情報４０を上記モデル選択情報と併せて考慮して、モデルライブラリ３０からタスク用推論モデルを選択してもよい。デバイス情報４０は、静的な計算リソースの量、現在または将来の計算リソースの空き状況などを含む情報である。例えば、推論制御部２０２を稼働させているハードウェアが備えるＣＰＵまたはメモリのスペックが比較的低い場合には、モデル選択情報に示されるタスク用推論モデルの性能より低い性能を有するタスク用推論モデルをモデルライブラリ３０から取得してもよい。

【0110】

モデル選択部２１０は、デバイス情報４０を考慮してタスク用推論モデルを選択する場合には、稼動条件としてのタスク用推論モデルの性能を示す情報とデバイス情報４０とに基づいて、稼働可能なタスク用推論モデルの計算量の上限を決定する。そして、モデル選択部２１０は、モデル選択情報にしたがって特定されるタスクを実行するタスク用推論モデルのうち、上記計算量が上限以下となるタスク用推論モデルを選択する。

【0111】

モデルライブラリ３０は、推論制御部２０２が推論処理の実行に使用し得るタスク用推論モデルを保有しているライブラリである。

【0112】

なお、特徴量抽出部２０１は、センシングデータを第１推論モデルに入力することにより、センシングデータに対する第１推論結果を前記第１推論モデルから取得する第１取得部に相当する。

【0113】

タスク選択部２０８は、第１推論結果を第３推論モデルに入力することにより、複数の第２推論モデルのうちから選択される少なくとも１つの第２推論モデルを示すモデル選択情報を第３推論モデルから取得する第２取得部に相当する。

【0114】

推論制御部２０２は、モデル選択情報が示す少なくとも１つの第２推論モデルに第１推論結果を入力することにより、第１推論結果に対する少なくとも１つの第２推論結果を第２推論モデルから取得する第３取得部と、少なくとも１つの第２推論結果を出力する出力部とに相当する。

【0115】

以上のように構成された推論システム２が実行する処理を以降で説明する。

【0116】

図７は、実施の形態における推論システム２が実行する処理を示すフロー図である。

【0117】

ステップＳ２００１において、特徴量抽出部２０１は、センシングデータ１０を取得する。

【0118】

ステップＳ２００２において、特徴量抽出部２０１は、ステップＳ２００１で取得したセンシングデータ１０の特徴量を抽出する処理を行うことで、センシングデータ１０の特徴マップを取得する。

【0119】

ステップＳ２００３において、タスク選択部２０８は、ステップＳ２００２で取得された特徴マップを取得し、取得した特徴マップをタスク選択モデルＭ１に入力することで出力されるモデル選択情報を取得する。

【0120】

ステップＳ２００４において、モデル選択部２１０は、モデルライブラリ３０が保有しているタスク用推論モデルのうち、ステップＳ２００３で生成されたモデル選択情報により示されるタスク用推論モデルを選択し、推論制御部１０２に提供する。

【0121】

ステップＳ２００５において、推論制御部２０２は、モデル選択部２１０から提供されたタスク用推論モデルに、特徴量抽出部２０１から提供された特徴マップを入力することで、推論処理を実行し、推論結果を取得する。推論制御部２０２は、取得した推論結果を出力する。

【0122】

図７に示される一連の処理により、推論システム２は、センシングデータ１０に対する推論処理に適した推論モデルを稼働させて推論処理を実行することができる。このとき、推論システム２は、センシングデータ１０に対する推論処理に適した推論モデル以外の推論モデルを稼働させることがないので、使用する計算リソースまたは消費電力を削減することができる。

【0123】

（実施の形態２）
本実施の形態では、実施の形態１におけるタスク選択モデルの代わりに、性能選択モデルが訓練され、性能選択モデルの出力結果を用いてセンシングデータについての推論処理に用いられる推論モデルが選択される。なお、実施の形態１の構成と実質的に同一である構成については説明を簡略する。

【0124】

（２－１）訓練システム１
図８は、本実施の形態における処理システムである訓練システム１の構成を示すブロック図である。

【0125】

図８に示されるように、訓練システム１は、入力されたセンシングデータ１０に基づいて、センシングデータ１０に対する推論処理を実行する推論モデルを選択する推論モデル（性能選択モデルＭ２）を出力する。

【0126】

訓練システム１は、特徴量抽出部３０１と、推論制御部３０２と、統合部３０３、性能選択正解生成部３０６と、性能選択モデル訓練部３０７と、モデルライブラリ３０と、を備える。

【0127】

特徴量抽出部３０１は、特徴量抽出モデルＬ３を用いて、センシングデータ１０に基づいて特徴マップを生成する。

【0128】

推論制御部３０２は、生成された特徴マップに基づいて、モデルライブラリ３０で管理されるタスク用推論モデルを用いた推論処理を制御する。モデルライブラリ３０が有する複数のタスク用推論モデルは、さまざまなタスクを実行するタスク用推論モデルを含み、また、さまざまな性能を有するモデルを含む。例えば、同一タスクを実行し互いに性能が異なるタスク用推論モデルが含まれる。例えば、「モデルＡ１」は、タスクＡを実行するモデルであって、性能が相対的に低いモデルである。また、「モデルＢ２」は、タスクＢを実行するモデルであって、性能が相対的に中程度であるモデルである。ここでは、タスク用推論モデルの性能を、１（低い）、２（中程度）、および、３（高い）の３段階で表現するが、これに限定されない。

【0129】

推論制御部３０２は、性能の異なるタスク用推論モデルの少なくとも１つにそれぞれ特徴マップを入力して推論処理を実行する。例えば、推論制御部３０２は、物体検出のタスクを実行するタスク用推論モデルＡ１～Ａ３、Ｂ１～Ｂ３およびＣ１～Ｃ３にそれぞれ特徴マップを入力し、推論結果を取得する。推論結果はそれぞれ、例えば、物体の位置、大きさ、尤度などが異なり得る。なお、異なる性能のタスク用推論モデルのうちの特定の性能の１つのみ（例えば性能が中程度のタスク用推論モデルのみ）について推論処理が実行されてもよいし、異なる性能のタスク用推論モデルのうちの全てについて推論処理が実行されてもよい。

【0130】

統合部３０３は、各タスクについての１以上の推論結果に基づいて統合情報を生成する。本実施の形態では、実施の形態１と異なりタスクが選択されないため、統合情報は、状況及びスコアの組を含む。統合部３０３は、各タスクについて、異なる性能のタスク用推論モデルの推論結果のうちの１つを選択し、選択した推論結果に基づいて統合情報を生成する。統合情報の生成については実施の形態１と同様である。なお、異なる性能のタスク用推論モデルの推論結果のうちの特定の性能の１つのみについて統合情報が生成されてもよいし、異なる性能のタスク用推論モデルの推論結果のうちの全てについて統合情報が生成されてもよい。後者の場合、統合情報には、性能の組合せ（以下、性能セット）が含まれる。また、タスクが１つである場合は、統合情報には、状況の代わりに推論結果が含まれてもよい。

【0131】

性能選択正解生成部３０６は、性能選択モデルＭ２の訓練に用いられる正解データ（以下、性能選択正解データ又は上位概念としてモデル選択情報の正解データとも称する）を生成する機能部である。性能選択正解データは、特徴量抽出部３０１に入力されたセンシングデータ１０に対する推論処理を実行するモデルとして適切な性能を有するモデルが選択されるように性能選択モデルＭ２を訓練するための正解データ（リファレンスデータ）である。性能選択正解生成部３０６は、統合部３０３から統合情報を取得し、取得した統合情報に基づいて、推論処理に要求される性能を特定するデータを、性能選択正解データとして生成する。

【0132】

具体的には、性能選択正解生成部３０６は、統合情報が良好であるほど低い性能を特定する性能選択正解データを生成し、統合情報が悪いほど高い性能を特定する性能選択正解データを生成する。統合情報が良好であるか否かの評価は、統合情報の正解データ（例えば、センシングデータ１０に対して予め定義される正解データ）との比較に基づいて行われてもよく、統合情報の内容に基づいて行われてもよい。詳細については後述する。性能選択正解生成部３０６は、生成した性能選択正解データを、性能選択モデル訓練部３０７に提供する。

【0133】

性能選択正解データは、例えば、少なくとも１つの第２推論結果における性能要件を満たすタスク用推論モデルが、訓練用モデル選択情報が示す少なくとも１つのタスク用推論モデルに優先的に含まれるように、生成される。より具体的には、性能選択正解データは、タスク用推論モデルの処理の難易度に応じた性能を有するタスク用推論モデルが、訓練用モデル選択情報が示す少なくとも１つのタスク用推論モデルに優先的に含まれるように、性能選択正解データを生成する。

【0134】

性能選択正解データは、性能選択モデルＭ２の出力所定の形式にしたがって生成される。言い換えると、性能選択正解データは、性能選択モデルＭ２が出力するモデル選択情報の形式にしたがって生成される。

【0135】

モデル選択情報は、特徴マップを入力して推論処理を実行させる少なくとも１つのタスク用推論モデルを示す情報である。モデル選択情報は、タスク用推論モデルを特定するための情報であり、タスク用推論モデルの性能に対応する第２情報を含む。第２情報は、例えば、タスク用推論モデルの性能を示す情報である。具体的には、性能を示す情報は、タスク用推論モデルの処理の精度、若しくは、モデルの処理の速度を示す情報、又はこれらの少なくとも１つのスコアであってもよい。また、性能を示す情報は、ニューラルネットワークモデルのサイズを示すサイズ情報を含んでもよい。サイズ情報は、ニューラルネットワークモデルの、ノードの数、枝の数、または層の数などを含んでもよい。

【0136】

また、第２情報は、例えば、タスク用推論モデルの処理の難易度を示す情報であってもよい。当該難易度にしたがって、後述するモデル選択部４１０により、当該難易度に応じた性能のタスク用推論モデルが選択される。難易度を示す情報は、処理の難しさ又は容易さの度合いを示す情報である。ここで、「処理が難しい」とは、当該処理に要求される精度が高いこと、または、当該処理に要求される計算量が多いことなどを意味する。難易度は、離散値（０または１等）で表現してもよいし、連続値（０～１等）で表現してもよい。

【0137】

ここで、性能選択正解データの生成について詳細に説明する。なお、統合情報が推論結果を含む場合は、統合処理は推論処理に置き換えて解釈される。

【0138】

例えば、統合処理が分類問題を解く処理である場合には、分類を間違えた（すなわち分類結果が正解データと一致しない）ときに難易度が高いと設定されてもよいし、複数クラスの尤度の少なくとも一部が互いに近いときに難易度が高いと設定されてもよい。なお、後者では正解データは用いられない。

【0139】

また、統合処理が回帰問題を解く処理である場合には、統合情報と正解データとの差分にしたがって難易度が設定されてもよいし、上記差分がそのまま難易度として設定されてもよい。また、上記差分が一定の閾値を超えた場合に難易度が高いと設定されてもよい。なお、上記差分は単に減算によって算出されてもよいし、減算結果を入力とする任意の関数によって算出されてもよい。

【0140】

また、統合処理が物体検出問題、すなわち、ある検出枠に対する分類問題（枠を分類する問題）と、回帰問題（枠の座標を決定する問題）との組合せの問題を解く処理である場合には、難易度は、上述した「分類問題」と「回帰問題」における設定方法が組み合わされて用いられてよい。このとき、回帰問題部分は、正解枠と検出枠との重なり率（ＩｏＵ：ＩｎｔｅｒｓｅｃｔｉｏｎｏｖｅｒＵｎｉｏｎ）を１から引いた値（１－ＩｏＵ）が難易度とされてもよい。また、物体検出問題の難易度は、分類問題の難易度と回帰問題の難易度とを一次結合したもの、または、乗算したものであってもよい。

【0141】

なお、統合情報が複数である場合には、性能選択正解生成部３０６は、各統合情報の難易度を算出し、算出した難易度それぞれを統合して１つの難易度を設定してもよい。例えば、統合情報に含まれる状況が、センシングデータ１０に対して予め定義される状況（すなわち状況の正解データ）と一致する場合にカウントし、カウント数の大きさに応じて難易度が設定されてもよい。例えば、カウント数が多い（すなわち一致数が多い）ほど、難易度が低い（すなわち性能が低い）ことを示す性能選択正解データが生成されてよい。また、カウント数が少ない（すなわち一致数が少ない）ほど、難易度が高い（すなわち性能が高い）ことを示す性能選択正解データが生成されてよい。

【0142】

性能選択正解生成部３０６は、生成した性能選択正解データとセンシングデータとの組を訓練データとして、性能選択モデル訓練部３０７に提供する。

【0143】

図９は、本実施の形態における訓練データの例を示す説明図である。図９に示される訓練データは、センシングデータと、推論結果に基づいて生成される性能選択正解データと、を含む。

【0144】

具体的には、図９には、センシングデータとしての画像２０と、モデル選択情報の正解データとしての情報「３」が対応付けて含まれている。これは、画像２０に対する処理をするタスク用推論モデルの性能が「高い」ことが要求されることを意味している。ここでは、モデル選択情報は、画像２０に対する処理をするタスク用推論モデルに要求される性能（又は難易度）を、１（低い）、２（中程度）、３（高い）の３段階で表現するという形式で表現されている。当然ながらモデル選択情報の形式はこれに限定されない。

【0145】

性能選択モデル訓練部３０７は、性能選択モデルＭ２を生成する機能部である。性能選択モデル訓練部３０７は、性能選択正解生成部３０６が生成した性能選択正解データを取得し、また、訓練データに含まれるセンシングデータの特徴量として特徴量抽出部３０１から特徴マップを取得する。性能選択モデル訓練部３０７は、取得した特徴マップを性能選択モデルＭ２に入力して訓練用モデル選択情報としてモデル選択情報を取得する。そして、性能選択モデル訓練部３０７は、性能選択正解データをリファレンスデータとし、モデル選択情報を出力データとした機械学習によって性能選択モデルＭ２を訓練し、出力する。性能選択モデルＭ２は、第３推論モデルの一例である。

【0146】

性能選択モデル訓練部３０７は、図９に示される訓練データを用いて、訓練データに含まれるセンシングデータが訓練システム１に入力されたときに、訓練データにおいて当該センシングデータに対応付けられたモデル選択情報の正解データを性能選択モデルＭ２が出力するように、性能選択モデルＭ２を訓練する。性能選択モデルＭ２の訓練は、センシングデータから特徴量抽出部３０１で抽出された特徴マップを性能選択モデルＭ２に入力した場合に出力されるモデル選択情報と、訓練データに含まれるモデル選択情報の正解データとの差分を損失関数によって算出し、その差分を小さくするように性能選択モデルＭ２に含まれるパラメータを調整することによってなされ得る。

【0147】

以上のように訓練システム１によって訓練された性能選択モデルＭ２は推論システム２に提供され、センシングデータの推論処理に用いられる。

【0148】

以上のように構成された訓練システム１が実行する処理を以降で説明する。

【0149】

図１０は、本実施の形態における訓練システム１が実行する処理を示すフロー図である。

【0150】

ステップＳ３００１において、特徴量抽出部３０１は、センシングデータ１０を取得する。

【0151】

ステップＳ３００２において、特徴量抽出部３０１は、ステップＳ３００１で取得したセンシングデータ１０の特徴量を抽出する処理を行うことで、センシングデータ１０の特徴マップを取得する。

【0152】

ステップＳ３００３において、推論制御部３０２は、モデルライブラリ３０が保有するそれぞれ性能が異なるタスク用推論モデルにセンシングデータ１０を入力して推論処理を実行する。

【0153】

ステップＳ３００４において、性能選択正解生成部３０６は、ステップＳ３００３で出力された推論結果に基づいて、性能選択正解データを生成する。

【0154】

ステップＳ３００５において、性能選択モデル訓練部３０７は、ステップＳ３００４で生成された性能選択正解データを用いて機械学習を行うことで性能選択モデルＭ２を訓練する。

【0155】

図１０に示される一連の処理により、訓練システム１は、性能選択モデルＭ２を訓練する。訓練システム１は、訓練した性能選択モデルＭ２を推論システム２に提供する。

【0156】

（２－２）推論システム２
次に、推論システム２について説明する。

【0157】

図１１は、本実施の形態における推論システム２の機能構成を示すブロック図である。

【0158】

図１１に示されるように、推論システム２は、特徴量抽出部４０１と、推論制御部４０２と、性能選択部４０９と、モデル選択部４１０と、モデルライブラリ３０とを備える。

【0159】

特徴量抽出部４０１は、入力されたセンシングデータ１０の特徴を示す特徴マップを、特徴量抽出モデルＬ３を用いて生成し、生成した特徴マップを推論制御部４０２、性能選択部４０９に提供する。

【0160】

性能選択部４０９は、推論制御部４０２が推論処理の実行に使用するタスク用推論モデルの性能を選択する機能部である。性能選択部４０９は、訓練システム１が訓練した性能選択モデルＭ２を取得し、保有している。性能選択部４０９は、特徴量抽出部４０１から特徴マップを取得し、性能選択モデルＭ２を用いて、当該特徴マップに対する推論処理に用いるべきタスク用推論モデルの性能を特定するモデル選択情報を生成し、モデル選択部４１０に提供する。

【0161】

モデル選択部４１０は、性能選択部４０９が生成したモデル選択情報を取得する。そして、モデル選択部４１０は、取得した上記モデル選択情報にしたがってタスク用推論モデルをモデルライブラリ３０から選択して、推論制御部４０２に提供する。具体的には、モデル選択部４１０は、モデル選択情報に含まれる第２情報から性能を特定し、特定した性能を有するタスク用推論モデルを選択する。

【0162】

なお、モデル選択部４１０は、さらにデバイス情報４０を上記モデル選択情報と併せて考慮して、モデルライブラリ３０からタスク用推論モデルを選択してもよい。

【0163】

モデル選択部４１０は、デバイス情報４０を考慮してタスク用推論モデルを選択する場合には、稼動条件としてのタスク用推論モデルの性能を示す情報とデバイス情報４０とに基づいて、稼働可能なタスク用推論モデルの計算量の上限を決定する。そして、モデル選択部４１０は、モデル選択情報にしたがって特定される性能を有するタスク用推論モデルのうち、上記計算量が上限以下となるタスク用推論モデルを選択する。

【0164】

以上のように構成された推論システム２が実行する処理を以降で説明する。

【0165】

図１２は、実施の形態における推論システム２が実行する処理を示すフロー図である。

【0166】

ステップＳ４００１において、特徴量抽出部４０１は、センシングデータ１０を取得する。

【0167】

ステップＳ４００２において、特徴量抽出部４０１は、ステップＳ４００１で取得したセンシングデータ１０の特徴量を抽出する処理を行うことで、センシングデータ１０の特徴マップを取得する。

【0168】

ステップＳ４００３において、性能選択部４０９は、ステップＳ４００２で取得された特徴マップを取得し、取得した特徴マップを性能選択モデルＭ２に入力することで出力されるモデル選択情報を取得する。

【0169】

ステップＳ４００４において、モデル選択部４１０は、モデルライブラリ３０が保有しているタスク用推論モデルのうち、ステップＳ４００３で生成されたモデル選択情報により示されるタスク用推論モデルを選択し、推論制御部４０２に提供する。

【0170】

ステップＳ４００５において、推論制御部４０２は、モデル選択部４１０から提供されたタスク用推論モデルに、特徴量抽出部４０１から提供された特徴マップを入力することで、推論処理を実行し、推論結果を取得する。推論制御部４０２は、取得した推論結果を出力する。

【0171】

図１２に示される一連の処理により、推論システム２は、センシングデータ１０に対する推論処理に適した推論モデルを稼働させて推論処理を実行することができる。このとき、推論システム２は、センシングデータ１０に対する推論処理に適した推論モデル以外の推論モデルを稼働させることがないので、使用する計算リソースまたは消費電力を削減することができる。

【0172】

（実施の形態３）
本実施の形態では、実施の形態１のタスク選択モデル及び実施の形態２の性能選択モデルの両方が訓練され、タスク選択モデル及び性能選択モデルの出力結果を用いてセンシングデータについての推論処理に用いられる推論モデルが選択される。なお、実施の形態１又は２の構成と実質的に同一である構成については説明を簡略する。

【0173】

（３－１）訓練システム１
図１３は、本実施の形態における処理システムである訓練システム１の構成を示すブロック図である。

【0174】

図１３に示されるように、訓練システム１は、入力されたセンシングデータ１０に基づいて、センシングデータ１０に対する推論処理を実行する推論モデルを選択する推論モデル（タスク選択モデルＭ１および性能選択モデルＭ２）を出力する。

【0175】

訓練システム１は、特徴量抽出部５０１と、推論制御部５０２と、統合部５０３と、タスク選択正解生成部５０４と、タスク選択モデル訓練部５０５と、性能選択正解生成部５０６と、性能選択モデル訓練部５０７とを備える。

【0176】

特徴量抽出部５０１は、特徴量抽出モデルＬ５を用いて、センシングデータ１０に基づいて特徴マップを生成する。

【0177】

推論制御部５０２は、決定した複数のタスクセットから選択したタスクセットに含まれるタスクそれぞれを実行するタスク用推論モデルであって、性能の異なるタスク用推論モデルの少なくとも１つにそれぞれに特徴マップを入力して推論処理を実行する。

【0178】

統合部５０３は、上記タスク用推論モデルそれぞれが出力する推論結果（第２推論結果）に基づいて統合情報を取得する。統合情報には、タスクセットと、センシングデータ１０から推定される状況及びその状況の推定の尤度を示すスコアの組と、が含まれる。なお、統合情報には性能セットが含まれてもよい。

【0179】

タスク選択正解生成部５０４は、生成された統合情報に基づいてタスク選択正解データを生成する。また、タスク選択正解生成部５０４は、生成したタスク選択正解データに基づいてタスク選択モデルＭ１の訓練データを生成する。

【0180】

タスク選択モデル訓練部５０５は、生成された訓練データを用いてタスク選択モデルＭ１を訓練する。

【0181】

性能選択正解生成部５０６は、生成された統合情報に基づいて性能選択正解データを生成する。具体的には、性能選択正解生成部５０６は、生成されたタスク選択正解データが示すタスクセットについての統合情報に基づいて性能選択正解データを生成する。例えば、タスク選択正解データが示すタスクセットがタスクＡ、Ｂ及びＣである場合、性能が２（中程度）である統合情報が生成されるときは、モデルＡ２、モデルＢ２及びモデルＣ２の推論結果それぞれが統合された結果である状況と、状況の正解データとが比較される。例えば、状況が正解データと一致しない場合、性能が高いタスク用推論モデルが要求される（言い換えると難易度が高い）として、３（高い）を示す性能選択正解データが生成される。また、性能選択正解生成部５０６は、生成した性能選択正解データに基づいて性能選択モデルＭ２の訓練データを生成する。なお、上記では、性能選択正解データの生成に用いる統合情報が、生成されたタスク選択正解データが示すタスクセットについての統合情報であるとしたが、これに限定されず、生成された全ての統合情報であってもよい。

【0182】

性能選択モデル訓練部５０７は、生成された訓練データを用いて性能選択モデルＭ２を訓練する。

【0183】

以上のように訓練システム１によって訓練されたタスク選択モデルＭ１及び性能選択モデルＭ２は推論システム２に提供され、センシングデータの推論処理に用いられる。

【0184】

以上のように構成された訓練システム１が実行する処理を以降で説明する。

【0185】

図１４は、本実施の形態における訓練システム１が実行する処理を示すフロー図である。

【0186】

ステップＳ５００１において、特徴量抽出部５０１は、センシングデータ１０を取得する。

【0187】

ステップＳ５００２において、特徴量抽出部５０１は、ステップＳ５００１で取得したセンシングデータ１０の特徴量を抽出する処理を行うことで、センシングデータ１０の特徴マップを取得する。

【0188】

ステップＳ５００３において、推論制御部５０２は、ステップＳ５００２で取得された特徴マップに対する推論処理を実行するタスクセットを決定する。このとき、推論制御部５０２は、少なくとも一部が異なる複数のタスクセットを決定する。

【0189】

ステップＳ５００４において、推論制御部５０２は、ステップＳ５００３で決定した複数のタスクセットそれぞれに属するタスクを実行するモデルを用いて推論処理を実行する。

【0190】

ステップＳ５００５において、統合部５０３は、ステップＳ５００４で複数のタスクセットそれぞれに属するタスクを実行するモデルを用いて実行した推論処理の結果を示す推論結果を統合することで統合情報を生成する。

【0191】

ステップＳ５００６において、タスク選択正解生成部５０４は、ステップＳ５００５で生成された統合情報に基づいて、タスク選択正解データを生成する。

【0192】

ステップＳ５００７において、タスク選択モデル訓練部１０５は、ステップＳ５００６で生成したタスク選択正解データを用いて機械学習を行うことでタスク選択モデルＭ１を訓練する。

【0193】

ステップＳ５００８において、性能選択正解生成部５０６は、ステップＳ５００５で生成された統合情報とステップＳ５００６において生成されたタスク選択正解データとに基づいて、性能選択正解データを生成する。

【0194】

ステップＳ５００９において、性能選択モデル訓練部５０７は、ステップＳ５００８で生成された性能選択正解データを用いて機械学習を行うことで性能選択モデルＭ２を訓練する。

【0195】

図１４に示される一連の処理により、訓練システム１は、タスク選択モデルＭ１及び性能選択モデルＭ２を訓練する。訓練システム１は、訓練したタスク選択モデルＭ１及び性能選択モデルＭ２を推論システム２に提供する。

【0196】

（３－２）推論システム２
次に、推論システム２について説明する。なお、訓練システム１における構成と実質的に同一である構成については説明を簡略する。

【0197】

図１５は、本実施の形態における推論システム２の機能構成を示すブロック図である。

【0198】

図１５に示されるように、推論システム２は、特徴量抽出部６０１と、推論制御部６０２と、タスク選択部６０８と、性能選択部６０９と、モデル選択部６１０と、モデルライブラリ３０とを備える。

【0199】

特徴量抽出部６０１は、入力されたセンシングデータ１０の特徴を示す特徴マップを、特徴量抽出モデルＬ５を用いて生成し、生成した特徴マップを推論制御部６０２、タスク選択部６０８、性能選択部６０９に提供する。

【0200】

モデル選択部６１０は、タスク選択部６０８が生成したモデル選択情報（以下、モデル選択情報１）と、性能選択部６０９が生成したモデル選択情報（以下、モデル選択情報２）とを取得する。そして、モデル選択部６１０は、取得した上記２つのモデル選択情報にしたがってタスク用推論モデルをモデルライブラリ３０から選択して、推論制御部６０２に提供する。具体的には、モデル選択部６１０は、モデル選択情報１に含まれる第１情報からタスクを特定し、モデル選択情報２に含まれる第２情報から性能を特定する。モデル選択部６１０は、特定したタスクを実行する特定した性能のタスク用推論モデルを選択する。なお、モデル選択情報は１つであってもよく、その場合、当該１つのモデル選択情報に第１情報及び第２情報が含まれてもよい。

【0201】

なお、モデル選択部６１０は、さらにデバイス情報４０を上記２つのモデル選択情報と併せて考慮して、モデルライブラリ３０からタスク用推論モデルを選択してもよい。

【0202】

モデル選択部６１０は、デバイス情報４０を考慮してタスク用推論モデルを選択する場合には、稼動条件としてのタスク用推論モデルの性能を示す情報とデバイス情報４０とに基づいて、稼働可能なタスク用推論モデルの計算量の上限を決定する。そして、モデル選択部６１０は、モデル選択情報１にしたがって特定されるタスクを実行しモデル選択情報２にしたがって特定される性能を有するタスク用推論モデルのうち、上記計算量が上限以下となるタスク用推論モデルを選択する。

【0203】

なお、モデル選択部６１０が、タスク用推論モデルを選択する際に、モデル選択情報１、モデル選択情報２、およびデバイス情報４０のどれを優先するかについては、さまざまなパターンがあり得る。例えば、デバイス情報４０、モデル選択情報１、モデル選択情報２の順に優先してタスク用推論モデルを選択してもよい。

【0204】

しかし、優先順は、上記に限定されず、例えば、モデル選択情報２、モデル選択情報１、デバイス情報４０の順であってもよく、モデル選択情報１、モデル選択情報２、デバイス情報４０の順であってもよい。

【0205】

以上のように構成された推論システム２が実行する処理を以降で説明する。

【0206】

図１６は、実施の形態における推論システム２が実行する処理を示すフロー図である。

【0207】

ステップＳ６００１において、特徴量抽出部６０１は、センシングデータ１０を取得する。

【0208】

ステップＳ６００２において、特徴量抽出部６０１は、ステップＳ６００１で取得したセンシングデータ１０の特徴量を抽出する処理を行うことで、センシングデータ１０の特徴マップを取得する。

【0209】

ステップＳ６００３において、タスク選択部６０８は、ステップＳ６００２で取得された特徴マップを取得し、取得した特徴マップをタスク選択モデルＭ１に入力することで出力されるモデル選択情報１を取得する。

【0210】

ステップＳ６００４において、性能選択部６０９は、ステップＳ６００２で取得された特徴マップを取得し、取得した特徴マップを性能選択モデルＭ２に入力することで出力されるモデル選択情報２を取得する。

【0211】

ステップＳ６００５において、モデル選択部６１０は、モデルライブラリ３０が保有しているタスク用推論モデルのうち、ステップＳ６００３で生成されたモデル選択情報１及びステップＳ６００４で生成されたモデル選択情報２により示されるタスク用推論モデルを選択し、推論制御部６０２に提供する。

【0212】

ステップＳ６００６において、推論制御部６０２は、モデル選択部６１０から提供されたタスク用推論モデルに、特徴量抽出部６０１から提供された特徴マップを入力することで推論処理を実行し、推論結果を取得する。推論制御部６０２は、取得した推論結果を出力する。

【0213】

なお、ステップＳ６００３及びステップＳ６００４の処理の実行順は反対であってもよいし、同時並行であってもよい。

【0214】

図１６に示される一連の処理により、推論システム２は、センシングデータ１０に対する推論処理に適した推論モデルを稼働させて推論処理を実行することができる。このとき、推論システム２は、センシングデータ１０に対する推論処理に適した推論モデル以外の推論モデルを稼働させることがないので、使用する計算リソースまたは消費電力を削減することができる。

【0215】

（実施の形態４）
本実施の形態では、タスク選択モデル及び性能選択モデルの代わりに、特徴量抽出モデルの出力結果を用いてセンシングデータについての推論処理に用いられる推論モデルが選択される。なお、本実施の形態では、タスク及び性能の両方の観点で推論モデルが選択される例を説明するが、実施の形態１又は２のように、タスクのみ又は性能のみの観点で推論モデルが選択されてもよい。

【0216】

（４－１）訓練システム１
図１７は、本実施の形態における処理システムである訓練システム１の構成を示すブロック図である。

【0217】

図１７に示されるように、訓練システム１は、特徴量抽出部７０１と、推論制御部７０２と、統合部７０３と、タスク選択正解生成部７０４と、性能選択正解生成部７０６と、訓練部７１１とを備える。

【0218】

本実施の形態における訓練システム１は、実施の形態３におけるタスク選択モデル訓練部５０５と性能選択モデル訓練部５０７とを備えず、その代わりに訓練部７１１を備える点で、実施の形態３における訓練システム１と異なる。

【0219】

また、特徴量抽出部７０１は、センシングデータに基づいて特徴量を抽出する点では、各実施の形態と同一であるが、特徴量の抽出に用いられる特徴量抽出モデルが異なる。本実施の形態における特徴量抽出モデルＭ３は、センシングデータを入力することで、特徴量とモデル選択情報を出力する。なお、特徴量抽出モデルＭ３の詳細については後述する。

【0220】

以下、訓練部７１１を中心に説明する。

【0221】

訓練部７１１は、特徴量抽出モデルＭ３を訓練する機能部である。訓練部７１１は、タスク選択正解生成部７０４が生成したタスク選択正解データと、性能選択正解生成部７０６が生成した性能選択正解データとを取得し、また、センシングデータ１０を取得する。訓練部７１１は、取得したセンシングデータ１０を特徴量抽出モデルＭ３に入力して訓練用モデル選択情報としてモデル選択情報を取得する。そして、訓練部７１１は、タスク選択正解データおよび性能選択正解データをリファレンスデータとし、モデル選択情報を出力データとした機械学習によって特徴量抽出モデルＭ３を訓練し、出力する。ここで、タスク選択正解データおよび性能選択正解データについては、実施の形態３におけるものと同じである。

【0222】

本実施の形態におけるモデル選択情報は、第１情報及び第２情報を含む。上述したように、第１情報は、タスクに対応する情報であり、タスクを特定するための情報又はタスクを実行するタスク用推論モデルを特定するための情報である。また、第２情報は、性能に対応する情報であり、性能を特定するための情報又は性能を有するモデルを特定するための情報である。

【0223】

特徴量抽出モデルＭ３は、モデルライブラリ３０が保有している複数のタスク用推論モデルのうちの少なくとも１つのタスク用推論モデルに、特徴量抽出モデルＭ３が出力する特徴マップを入力することで得られる少なくとも１つの推論結果（第２推論結果）と、特徴量抽出モデルＭ３にセンシングデータ１０を入力することで得られるモデル選択情報と、に基づいて、機械学習を用いて訓練されたモデルである。なお、特徴量抽出モデルＭ３は、第１推論モデルの一例である。

【0224】

特徴量抽出モデルＭ３は、センシングデータ１０が入力されると、特徴量とモデル選択情報とを出力する。具体的には、特徴量抽出モデルＭ３は、特徴量を抽出する部分と、抽出された特徴量が入力されるとモデル選択情報を出力する部分と、を備える。例えば、モデル選択情報を出力する部分に、モデル外部へ出力される特徴量と同一の特徴量が入力されてもよく、モデル外部へ出力されない中間生成物である特徴量（例えば特徴量を抽出する部分の最終層ではなく中間層が出力する特徴量）が入力されてもよい。

【0225】

訓練部７１１は、タスク選択正解データ及び性能選択正解データを用いた特徴量抽出モデルＭ３の訓練では、特徴量を抽出する部分は訓練の対象外とし、モデル選択情報を出力する部分のみを訓練の対象とする。例えば、訓練部７１１は、特徴量を抽出する部分のパラメータを固定し、モデル選択情報を出力する部分のみパラメータを更新する。なお、特徴量を抽出する部分の訓練時において、同時にモデル選択情報を出力する部分を訓練する場合は、両方を訓練の対象としてパラメータが更新されてもよい。

【0226】

以上のように構成された訓練システム１が実行する処理を以降で説明する。

【0227】

図１８は、本実施の形態における訓練システム１が実行する処理を示すフロー図である。

【0228】

訓練システム１が実行する処理のうち、上記実施の形態３の訓練システム１が実行する処理と異なる部分を主に説明する。

【0229】

図１８に示されるステップＳ７００１からＳ７００７までの処理は、上記実施の形態３の訓練システム１が実行するステップＳ５００１からＳ５００６までの処理、および、ステップＳ５００８の処理（図１４参照）と同じである。

【0230】

ステップＳ７００８において、訓練部７１１は、ステップＳ７００６で生成されたタスク選択正解データと、ステップＳ７００７で生成された性能選択正解データと、を用いて機械学習を行うことで特徴量抽出モデルＭ３を訓練する。

【0231】

図１８に示される一連の処理により、訓練システム１は、特徴量抽出モデルＭ３を訓練する。訓練システム１は、訓練した特徴量抽出モデルＭ３を、推論システム２に提供する。

【0232】

（４－２）推論システム２
図１９は、本実施の形態における推論システム２の機能構成を示すブロック図である。

【0233】

図１９に示されるように、推論システム２は、特徴量抽出部８０１と、推論制御部８０２と、モデル選択部８１０と、モデルライブラリ３０と、を備える。

【0234】

特徴量抽出部８０１は、センシングデータ１０に基づいて特徴量とモデル選択情報を出力する機能部である。具体的には、特徴量抽出部８０１は、特徴量抽出モデルＭ３にセンシングデータ１０を入力することで、特徴量とモデル選択情報を生成する。モデル選択情報は、タスク及び性能が特定される情報を含む。特徴量抽出部８０１は、生成した特徴量（特徴マップ）を推論制御部８０２に提供し、生成したモデル選択情報をモデル選択部８１０に提供する。したがって、特徴量抽出部８０１は、実施の形態３の特徴量抽出部６０１とタスク選択部６０８と性能選択部６０９の機能をあわせもつ機能部であるともいえる。

【0235】

推論制御部８０２は、実施の形態３の推論制御部８０２と同様に、特徴量抽出部８０１から特徴マップを取得し、取得した特徴マップを、モデル選択部８１０によって選択されたタスク用推論モデルに入力することで推論処理を実行し、結果情報５０（第２推論結果に相当）を出力する。

【0236】

なお、特徴量抽出部８０１は、センシングデータを第１推論モデルに入力することにより、センシングデータに対する第１推論結果と、複数の第２推論モデルのうちから選択される少なくとも１つの第２推論モデルを示すモデル選択情報とを第１推論モデルから取得する第１取得部に相当する。

【0237】

推論制御部８０２は、モデル選択情報が示す少なくとも１つの第２推論モデルに第１推論結果を入力することにより、第１推論結果に対する少なくとも１つの第２推論結果を第２推論モデルから取得する第２取得部と、少なくとも１つの第２推論結果を出力する出力部とに相当する。

【0238】

以上のように構成された推論システム２が実行する処理を以降で説明する。

【0239】

図２０は、本実施の形態における推論システム２が実行する処理を示すフロー図である。

【0240】

推論システム２が実行する処理のうち、上記実施の形態３の推論システム２が実行する処理と異なる部分を主に説明する。

【0241】

図２０に示されるステップＳ８００１の処理は、上記実施の形態３の推論システム２が実行するステップＳ６００１の処理（図１６参照）と同じである。

【0242】

ステップＳ８００２において、特徴量抽出部８０１は、ステップＳ８００１で取得されたセンシングデータ１０を特徴量抽出モデルＭ３に入力することで特徴マップ及びモデル選択情報を生成する。

【0243】

ステップＳ８００３において、モデル選択部８１０は、モデルライブラリ３０が保有しているタスク用推論モデルのうち、ステップＳ８００３で生成されたモデル選択情報により示されるタスク用推論モデルを選択し、推論制御部８０２に提供する。

【0244】

ステップＳ８００４において、推論制御部８０２は、モデル選択部８１０から提供されたタスク用推論モデルに、特徴量抽出部８０１から提供された特徴マップを入力することで、推論処理を実行し、推論結果を取得する。推論制御部８０２は、取得した推論結果を出力する。

【0245】

図２０に示される一連の処理により、推論システム２は、センシングデータ１０に対する推論処理に適した推論モデルを稼働させて推論処理を実行することができる。そのため、本実施の形態の推論システム２は、上記実施の形態３の推論システム２と同様の効果を奏する。

【0246】

（まとめ）
以上のように、上記実施の形態１から４にかかる情報処理方法によれば、複数の第２推論モデルのうちから選択される少なくとも１つの第２推論モデルを用いて第２推論結果を取得するので、第２推論結果を取得するに際して、複数の第２推論モデルのうちの選択されない第２推論モデルが稼働しない。そのため、選択されない第２推論モデルの稼働に要する計算リソースまたは電力を削減できる。このように、上記情報処理方法は、様々な推論対象に対する推論処理を可能にしながら当該推論処理にかかる計算コストを抑制することができる。また、センシングデータを入力することにより得られる第１推論結果に基づいて第２推論モデルが選択されるため、実質的に当該センシングデータの特徴に基づいて第２推論モデルが選択されることになる。したがって、推論処理対象のデータに適した推論モデルが選択される可能性を向上させることができる。

【0247】

また、機械学習を用いることで、センシングデータの特徴から第２推論モデルを選択するという複雑な推論処理を行う第３推論モデルを他の手法よりも容易に生成することができる。

【0248】

また、訓練用第２推論結果からモデル選択情報の形式に従うデータを生成することにより、訓練用第２推論結果の形式の制約を受けることなく第３推論モデルを訓練することができる。言い換えると、様々な第２推論結果を出力する多様な第２推論モデルを本開示の実施の形態に適用することができる。

【0249】

また、少なくとも１つの第２推論結果に貢献したタスクを実行する第２推論モデルが、機械学習の際のリファレンスデータとしての訓練用モデル選択情報に優先的に含まれるので、当該貢献したタスクを実行する第２推論モデルが選択されるモデル選択情報を出力する第３推論モデルを自動的に生成することができる。また、リファレンスデータに含まれる、第３推論モデルの訓練に有効なデータがより多くなり、訓練の効率が向上する。

【0250】

また、スコアが閾値よりも高いタスクセットに属するタスクを実行する第２推論モデルが機械学習の際のリファレンスデータとしての訓練用モデル選択情報に優先的に含まれるので、第３推論モデルが実質的に選択する第２推論モデルによる第２推論結果の精度又は正確性等のレベルを所定の基準に近づけることができる。

【0251】

また、性能要件を満たす第２推論モデルが、機械学習の際のリファレンスデータとしての訓練用モデル選択情報に優先的に含まれるので、当該性能要件を満たす第２推論モデルが選択されるモデル選択情報を出力する第３推論モデルを自動的に生成することができる。また、リファレンスデータに含まれる、第３推論モデルの訓練に有効なデータがより多くなり、訓練の効率が向上する。

【0252】

また、難易度に応じた性能を有する第２推論モデルが、機械学習の際のリファレンスデータとしての訓練用モデル選択情報に優先的に含まれるので、第３推論モデルが実質的に選択する第２推論モデルによる推論処理の処理性能（言い換えると計算コスト）を要求されるレベルに近づけることができる。

【0253】

また、第２推論モデルの性能として、ニューラルネットワークのサイズ情報を用いるので、より容易に、第２推論モデルの性能が調整され得る。

【0254】

また、複数の第２推論モデルのうちから選択される少なくとも１つの第２推論モデルを用いて第２推論結果を取得するので、第２推論結果を取得するに際して、複数の第２推論モデルのうちの選択されない第２推論モデルが稼働しない。そのため、選択されない第２推論モデルの稼働に要する計算リソースまたは電力を削減できる。このように、上記情報処理方法は、様々な推論対象に対する推論処理を可能にしながら当該推論処理にかかる計算コストを抑制することができる。また、実質的にセンシングデータに基づいて第２推論モデルが選択されるため、推論処理対象のデータに適した推論モデルが選択される可能性を向上させることができる。

【0255】

また、機械学習を用いることで、センシングデータの特徴から第２推論モデルを選択するという複雑な推論処理を行う推論モデルを、第１推論モデルとして、他の手法よりも容易に生成することができる。

【0256】

また、訓練用第２推論結果からモデル選択情報の形式に従うデータを生成することにより、訓練用第２推論結果の形式の制約を受けることなく第１推論モデルを訓練することができる。言い換えると、様々な第２推論結果を出力する多様な第２推論モデルを本開示の実施の形態に適用することができる。

【0257】

また、少なくとも１つの第２推論結果に貢献したタスクを実行する第２推論モデルが、機械学習の際のリファレンスデータとしての訓練用モデル選択情報に優先的に含まれるので、当該貢献したタスクを実行する第２推論モデルが選択されるモデル選択情報を出力する第１推論モデルを自動的に生成することができる。また、リファレンスデータに含まれる、第１推論モデルの訓練に有効なデータがより多くなり、訓練の効率が向上する。

【0258】

また、スコアが閾値よりも高いタスクセットに属するタスクを実行する第２推論モデルが機械学習の際のリファレンスデータとしての訓練用モデル選択情報に優先的に含まれるので、第１推論モデルが実質的に選択する第２推論モデルによる第２推論結果の精度又は正確性等のレベルを所定の基準に近づけることができる。

【0259】

また、性能要件を満たす第２推論モデルが、機械学習の際のリファレンスデータとしての訓練用モデル選択情報に優先的に含まれるので、当該性能要件を満たす第２推論モデルが選択されるモデル選択情報を出力する第１推論モデルを自動的に生成することができる。また、リファレンスデータに含まれる、第１推論モデルの訓練に有効なデータがより多くなり、訓練の効率が向上する。

【0260】

また、難易度に応じた性能を有する第２推論モデルが、機械学習の際のリファレンスデータとしての訓練用モデル選択情報に優先的に含まれるので、第１推論モデルが実質的に選択する第２推論モデルによる推論処理の処理性能（言い換えると計算コスト）を要求されるレベルに近づけることができる。

【0261】

また、第２推論モデルの性能として、ニューラルネットワークのサイズ情報を用いるので、より容易に、第２推論モデルの性能が調整され得る。

【0262】

なお、上記実施の形態および上記変形例において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態および上記変形例の情報処理装置などを実現するソフトウェアは、次のようなプログラムである。

【0263】

すなわち、このプログラムは、コンピュータに、プロセッサがメモリを用いて実行する情報処理方法であって、センシングデータを第１推論モデルに入力することにより、前記センシングデータに対する第１推論結果を前記第１推論モデルから取得し、前記第１推論結果を第３推論モデルに入力することにより、複数の第２推論モデルのうちから選択される少なくとも１つの第２推論モデルを示すモデル選択情報を前記第３推論モデルから取得し、前記モデル選択情報が示す前記少なくとも１つの第２推論モデルに前記第１推論結果を入力することにより、前記第１推論結果に対する少なくとも１つの第２推論結果を前記第２推論モデルから取得し、前記少なくとも１つの第２推論結果を出力する情報処理方法を実行させるプログラムである。

【0264】

また、このプログラムは、コンピュータに、プロセッサがメモリを用いて実行する情報処理方法であって、センシングデータを第１推論モデルに入力することにより、前記センシングデータに対する第１推論結果と、複数の第２推論モデルのうちから選択される少なくとも１つの第２推論モデルを示すモデル選択情報とを前記第１推論モデルから取得し、前記モデル選択情報が示す前記少なくとも１つの第２推論モデルに前記第１推論結果を入力することにより、前記第１推論結果に対する少なくとも１つの第２推論結果を前記第２推論モデルから取得し、前記少なくとも１つの第２推論結果を出力する情報処理方法を実行させるプログラムである。

【0265】

以上、一つまたは複数の態様に係る情報処理装置などについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

【0266】

例えば、上記各実施の形態では、推論処理は、物体検出、姿勢推定、属性判定である例を説明したがこれに限らず、シーン推定、セグメンテーション又は物体までの距離の推定等であってもよい。

【0267】

また、例えば、上記各実施の形態では、主に、第１情報がタスクを示す情報である例を説明したが、第１情報は第２推論モデルを示す情報であってもよい。具体的には、少なくとも１つの訓練用第２推論結果に貢献したタスクを示す情報の代わりに、当該タスクを実行する第２推論モデルを示す情報がモデル選択情報に含まれてよい。また、少なくとも１つの訓練用第２推論結果に貢献した第２推論結果を出力した第２推論モデルを示す情報がモデル選択情報に含まれてもよい。

【産業上の利用可能性】

【0268】

本発明は、行動認識をするシステムに利用可能である。

【符号の説明】

【0269】

１訓練システム
２推論システム
１０センシングデータ
２０画像
３０モデルライブラリ
４０デバイス情報
５０結果情報
１０１、２０１、３０１、４０１、５０１、６０１、７０１、８０１特徴量抽出部
１０２、２０２、３０２、４０２、５０２、６０２、７０２、８０２推論制御部
１０３、３０３、５０３、７０３統合部
１０４、５０４、７０４タスク選択正解生成部
１０５、５０５タスク選択モデル訓練部
２０８、６０８タスク選択部
２１０、４１０、６１０、８１０モデル選択部
３０６、５０６、７０６性能選択正解生成部
３０７、５０７性能選択モデル訓練部
４０９、６０９性能選択部
７１１訓練部
Ｌ１、Ｌ３、Ｌ５、Ｍ３特徴量抽出モデル
Ｍ１タスク選択モデル
Ｍ２性能選択モデル

【図1】