特開 2022-168599 推論装置、推論方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022168599

(43)【公開日】2022-11-08

(54)【発明の名称】推論装置、推論方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221031BHJP

【ＦＩ】

G06T7/00 300F

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021074174

(22)【出願日】2021-04-26

(71)【出願人】

【識別番号】000005234

【氏名又は名称】富士電機株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】大秋 大輔

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096FA69

5L096GA51

5L096HA09

5L096HA11

5L096JA11

5L096JA16

5L096KA04

5L096KA15

(57)【要約】

【課題】推論時の状況に応じて複数のモデルの中から適切なモデルを動的に選択すること。
【解決手段】一実施形態に係る推論装置は、複数のデータの各々に対して所定のタスクの推論を繰り返し実行する推論装置であって、複数のモデルの中から選択されたモデルを示す選択モデルにより、前記データに対して前記タスクの推論を実行する推論部と、前記推論の結果に基づいて、次の繰り返しにおける推論を実行する選択モデルを前記複数のモデルの中から選択する選択部と、を有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

複数のデータの各々に対して所定のタスクの推論を繰り返し実行する推論装置であって、
複数のモデルの中から選択されたモデルを示す選択モデルにより、前記データに対して前記タスクの推論を実行する推論部と、
前記推論の結果に基づいて、次の繰り返しにおける推論を実行する選択モデルを前記複数のモデルの中から選択する選択部と、
を有する推論装置。

【請求項2】

前記推論の結果には、前記データの１以上の特徴の各々に対する認識結果と、前記認識結果の確からしさを表す認識率とが含まれ、
前記選択部は、
前記認識率が所定の閾値未満である場合、前記１以上の特徴を認識可能な汎用モデルを前記選択モデルとして選択する、請求項１に記載の推論装置。

【請求項3】

前記選択部は、
前記認識率が前記閾値以上である場合、前記１以上の特徴の各々に対する認識結果のパターンに応じて、特定の特徴を認識可能な軽量モデルを前記選択モデルとして選択する、請求項２に記載の推論装置。

【請求項4】

前記１以上の特徴の各々に対する認識結果のパターンは、前記１以上の特徴の各々の変化の大小の組み合わせで表されるパターンである、請求項３に記載の推論装置。

【請求項5】

前記タスクは、画像認識タスクであり、
前記１以上の特徴には、前記データが表す画像中の物体の種類と、前記画像中における前記物体の位置との少なくとも一方が含まれる、請求項２乃至４の何れか一項に記載の推論装置。

【請求項6】

複数のデータの各々に対して所定のタスクの推論を繰り返し実行する推論装置であって、
複数のモデルの中から選択されたモデルを示す選択モデルにより、前記データに対して前記タスクの推論を実行する推論手順と、
前記推論の結果に基づいて、次の繰り返しにおける推論を実行する選択モデルを前記複数のモデルの中から選択する選択手順と、
をコンピュータが実行する推論方法。

【請求項7】

複数のデータの各々に対して所定のタスクの推論を繰り返し実行する推論装置であって、
複数のモデルの中から選択されたモデルを示す選択モデルにより、前記データに対して前記タスクの推論を実行する推論手順と、
前記推論の結果に基づいて、次の繰り返しにおける推論を実行する選択モデルを前記複数のモデルの中から選択する選択手順と、
をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、推論装置、推論方法、及びプログラムに関する。

【背景技術】

【0002】

画像認識等といった様々なタスクを機械学習モデルにより実行することが従来から行われている。また、或るタスクを実行する際に、複数の機械学習モデルの中から適切な機械学習モデルを選択することも従来から行われている。例えば、特許文献１には、複数のＣＮＮ（Convolutional Neural Network）モデルの中からデータベースに適するＣＮＮモデルを選択する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－９２６１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、ＣＮＮモデルは、ＲＡＭ（Random Access Memory）等といったハードウェアリソースの使用量が多いことが一般的である。このため、特許文献１では、複数のＣＮＮモデルの中からどのＣＮＮモデルを選んだとしても、ハードウェアリソースの使用量を大きく削減させることは期待できないと考えられる。また、特許文献１では、推論を実行する前にＣＮＮモデルを選択しており、推論時に動的にＣＮＮモデルを変更することはできない。

【0005】

一方で、推論時の状況によっては、ＣＮＮモデル等の汎用的な機械学習モデルだけでなく、より軽量で特定の状況に特化した機械学習モデルを適用可能な場合がある。このため、推論時の状況が特定の状況のときには、当該状況に特化した軽量な機械学習モデルにより推論を行うことで、ハードウェアリソースの使用量を大きく削減できると考えられる。また、推論時の状況は刻々と変化し得るため、推論に使用する機械学習モデルを動的に変更できることが好ましいと考えられる。

【0006】

本発明の一実施形態は、上記の点に鑑みてなされたもので、推論時の状況に応じて複数のモデルの中から適切なモデルを動的に選択することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するため、一実施形態に係る推論装置は、複数のデータの各々に対して所定のタスクの推論を繰り返し実行する推論装置であって、複数のモデルの中から選択されたモデルを示す選択モデルにより、前記データに対して前記タスクの推論を実行する推論部と、前記推論の結果に基づいて、次の繰り返しにおける推論を実行する選択モデルを前記複数のモデルの中から選択する選択部と、を有する。

【発明の効果】

【0008】

推論時の状況に応じて複数のモデルの中から適切なモデルを動的に選択することができる。

【図面の簡単な説明】

【0009】

【図1】本実施形態に係る動的モデル切替推論装置のハードウェア構成の一例を示す図である。

【図2】本実施形態に係る動的モデル切替推論装置の機能構成の一例を示す図である。

【図3】認識状態パターン情報の一例を示す図である。

【図4】モデル種類情報の一例を示す図である。

【図5】動的モデル切替推論処理の流れの一例を示すフローチャートである。

【図6】モデル選択処理の流れの一例を示すフローチャートである。

【図7】時刻ｔ－１と時刻ｔにおける状態変数値の一例を示す図である。

【図8】時刻ｔ－１に対する時刻ｔにおける状態変数値の変化の一例を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明の一実施形態について説明する。本実施形態では、画像中の物体の種類とその位置を認識する画像認識タスクを対象として、当該タスクの推論時の状況に応じて複数のモデルの中から適切なモデルを動的に選択した上で、この選択したモデルに切り替えて推論を行うことが可能な動的モデル切替推論装置１０について説明する。なお、本実施形態では、モデルとは、画像認識タスクに適用可能な機械学習モデル（画像認識モデル）又は画像認識手法のことを意味する。

【0011】

ここで、本実施形態では、各モデルは、画像中の物体の種類（物体種類）とその物体の画像中の位置（画像中位置）とを認識すると共に、その認識率を算出するものとする。言い換えれば、各モデルは、認識率と、物体種類と、画像中位置とを出力するものとする。認識率とはモデルによる特徴の認識精度を表す指標値であり、例えば、モデルによって出力された物体種類及び画像中位置の確からしさを表している。

【0012】

なお、物体種類や画像中位置はモデルによって認識される画像中の特徴であるため、以下では、物体種類及び画像中位置をそれぞれ「特徴」ともいう。また、認識率、物体種類及び画像中位置はモデルの認識状態を表す変数であるため、認識率、物体種類、及び画像中位置をそれぞれ「状態変数」ともいう。

【0013】

ただし、認識率、物体種類、画像中位置以外にも、画像認識タスクにおけるモデルの認識状態を表す様々な変数を状態変数としてもよい。例えば、撮像装置から物体までの距離、画像認識の認識率に影響を与える条件（例えば、撮影環境における照明条件、１日における時刻等）といったものを表す変数を状態変数としてもよい。

【0014】

＜動的モデル切替推論装置１０のハードウェア構成＞
まず、本実施形態に係る動的モデル切替推論装置１０のハードウェア構成について、図１を参照しながら説明する。図１は、本実施形態に係る動的モデル切替推論装置１０のハードウェア構成の一例を示す図である。

【0015】

図１に示すように、本実施形態に係る動的モデル切替推論装置１０は一般的なコンピュータ又はコンピュータシステムで実現され、入力装置１０１と、表示装置１０２と、外部Ｉ／Ｆ１０３と、通信Ｉ／Ｆ１０４と、プロセッサ１０５と、メモリ装置１０６とを有する。これら各ハードウェアは、それぞれがバス１０７を介して通信可能に接続されている。

【0016】

入力装置１０１は、例えば、キーボードやマウス、タッチパネル等である。表示装置１０２は、例えば、ディスプレイ等である。なお、動的モデル切替推論装置１０は、入力装置１０１及び表示装置１０２のうちの少なくとも一方を有していなくてもよい。

【0017】

外部Ｉ／Ｆ１０３は、記録媒体１０３ａ等の外部装置とのインタフェースである。動的モデル切替推論装置１０は、外部Ｉ／Ｆ１０３を介して、記録媒体１０３ａの読み取りや書き込み等を行うことができる。なお、記録媒体１０３ａとしては、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等がある。

【0018】

通信Ｉ／Ｆ１０４は、動的モデル切替推論装置１０を通信ネットワークに接続するためのインタフェースである。プロセッサ１０５は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等の各種演算装置である。メモリ装置１０６は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＲＡＭ、ＲＯＭ（Read Only Memory）、フラッシュメモリ等の各種記憶装置である。

【0019】

本実施形態に係る動的モデル切替推論装置１０は、図１に示すハードウェア構成を有することにより、後述する動的モデル切替推論処理を実現することができる。なお、図１に示すハードウェア構成は一例であって、動的モデル切替推論装置１０は、他のハードウェア構成を有していてもよい。例えば、動的モデル切替推論装置１０は、複数のプロセッサ１０５を有していてもよいし、複数のメモリ装置１０６を有していてもよい。

【0020】

また、本実施形態に係る動的モデル切替推論装置１０は、例えば、一般的なコンピュータ又はコンピュータシステムと比べてハードウェアリソースに制約がある組み込み機器等であってもよい。

【0021】

＜動的モデル切替推論装置１０の機能構成＞
次に、本実施形態に係る動的モデル切替推論装置１０の機能構成について、図２を参照しながら説明する。図２は、本実施形態に係る動的モデル切替推論装置１０の機能構成の一例を示す図である。

【0022】

図２に示すように、本実施形態に係る動的モデル切替推論装置１０は、推論部２０１と、状態変数取得部２０２と、認識状態パターン判定部２０３と、モデル選択部２０４とを有する。これら各部は、例えば、動的モデル切替推論装置１０にインストールされた１以上のプログラムが、プロセッサ１０５に実行させる処理により実現される。

【0023】

また、本実施形態に係る動的モデル切替推論装置１０は、記憶部２０５を有する。記憶部２０５は、例えば、メモリ装置１０６により実現される。なお、記憶部２０５は、例えば、動的モデル切替推論装置１０と通信ネットワークを介して接続されるデータベースサーバ等により実現されてもよい。

【0024】

推論部２０１は、画像データを入力として、モデル選択部２０４により選択されたモデル（以下、選択モデルともいう。）により推論処理を行って、当該画像データが表す画像中の物体種類と画像中位置とを認識すると共に、その認識率を算出する。

【0025】

状態変数取得部２０２は、推論部２０１による推論結果（つまり、認識率、物体種類、画像中位置）を表す状態変数値を取得する。

【0026】

認識状態パターン判定部２０３は、記憶部２０５に記憶されている認識状態パターン情報を参照して、状態変数取得部２０２により取得された状態変数値（及びその変化）から現在の認識状態パターンを判定する。ここで、認識状態パターンとは推論時の状況を表すパターンのことであり、後述するように、例えば、認識率が高い／低い、物体種類の変化が大きい／小さい、画像中位置の変化が大きい／小さいの組み合わせによって定義される。なお、認識状態パターン情報の詳細については後述する。

【0027】

モデル選択部２０４は、記憶部２０５に記憶されているモデル種類情報を参照して、認識状態パターン判定部２０３により判定された認識状態パターンから選択モデルを決定する。ここで、モデル種類情報とは、認識状態パターン毎に、その認識状態パターンに対して適切なモデルが定義された情報である。適切なモデルとは、例えば、該当の認識状態パターンにおいて、高い精度で、かつ、軽量に画像認識が可能なモデルのこと（つまり、当該認識状態パターンに特化した軽量なモデルのこと）である。なお、モデル種類情報の詳細については後述する。

【0028】

記憶部２０５は、各種情報（例えば、認識状態パターン情報やモデル種類情報、各モデルのモデルデータ等）を記憶する。なお、記憶部２０５には、認識状態パターン情報やモデル種類情報、モデルデータ以外にも、後述する動的モデル切替推論処理の実行に必要な様々な情報が記憶される。

【0029】

≪認識状態パターン情報≫
次に、記憶部２０５に記憶されている認識状態パターン情報の一例について、図３を参照しながら説明する。図３は、認識状態パターン情報の一例を示す図である。

【0030】

図３に示す認識状態パターン情報には、認識率と物体種類の変化と画像中位置の変化との組み合わせに応じた５つの認識状態パターンが定義されている。ここで、物体種類の変化とは、現在の時刻と１つ前の時刻との間における物体種類の値の変化のことである。同様に、画像中位置の変化とは、現在の時刻と１つ前の時刻との間における画像中位置の値の変化のことである。なお、図３中における「×」は認識率が低い、物体種類の変化が大きい、画像中位置の変化が大きいことを表し、「〇」は認識率が高い、物体種類の変化が小さい、画像中位置の大きいことを表す。また、「－」は定義されないことを意味する。

【0031】

認識状態パターン１は、認識率が「×」である場合を表す認識状態パターンである。この場合、物体種類の変化と画像中位置の変化は定義されない。これは、認識率が低い場合は、物体種類及び画像中位置が正しくない可能性が高いためである。

【0032】

認識状態パターン２は、認識率が「〇」、物体種類の変化が「×」、画像中位置の変化が「×」である場合を表す認識状態パターンである。認識状態パターン３は、認識率が「〇」、物体種類の変化が「×」、画像中位置の変化が「〇」である場合を表す認識状態パターンである。認識状態パターン４は、認識率が「〇」、物体種類の変化が「〇」、画像中位置の変化が「×」である場合を表す認識状態パターンである。認識状態パターン５は、認識率が「〇」、物体種類の変化が「〇」、画像中位置の変化が「〇」である場合を表す認識状態パターンである。

【0033】

なお、図３に示す例では、認識率が「×」の場合は認識状態パターン１のみとしたが、この認識状態パターン１は更に細分化されてもよい。すなわち、認識率「×」、物体種類の変化「×」、画像中位置の変化「×」である認識状態パターン１－１、認識率「×」、物体種類の変化「〇」、画像中位置の変化「×」である認識状態パターン１－２、認識率「×」、物体種類の変化「〇」、画像中位置の変化「×」である認識状態パターン１－３、認識率「×」、物体種類の変化「〇」、画像中位置の変化「〇」である認識状態パターン１－４と細分化されてもよい。

【0034】

また、図３に示す例では、認識率が高い／低い、物体種類の変化と画像中位置の変化が大きい／小さいの組み合わせとしたが、更に細分化されてもよい。すなわち、例えば、認識率が高い／中程度／低いと３つに細分化されてもよい。同様に、物体種類の変化と画像中位置の変化の少なくとも一方が大きい／中程度／小さいと３つに細分化されてもよい。ただし、３つに細分化することは一例であって、更に細かく細分化（つまり、４つ以上に細分化）されてもよい。

【0035】

また、図３に示す例は、認識率、物体種類及び画像中位置の３つが状態変数である場合の認識状態パターンの一例であり、状態変数の数が増えれば認識状態パターン数も増加し得る。

【0036】

≪モデル種類情報≫
次に、記憶部２０５に記憶されているモデル種類情報の一例について、図４を参照しながら説明する。図４は、モデル種類情報の一例を示す図である。

【0037】

図４に示すモデル種類情報には、認識状態パターン１～認識状態パターン５の各々に対して適切なモデルＡ～モデルＥが定義されている。

【0038】

認識状態パターン１は、認識率が低い認識状態パターンである。このため、認識状態パターン１に対しては、複数の特徴（物体種類と画像中位置）を高い精度で認識可能な汎用的なモデルＡを適切なモデルとする。ここで、モデルＡとしては、例えば、特徴量を自動で抽出するようなモデルと、着目する特徴量を手動で選定又は選択して、複数の特徴量を組み合わせるモデルとが存在する。前者のモデルとしては、例えば、ＣＮＮモデル等が挙げられる。一方で、後者のモデルとしては、ＳＩＦＴ（Scale-Invariant Feature Transform）特徴量やＨＯＧ（Histgram Of Gradient）特徴量等といった複数の特徴量を組み合わせたモデル等が挙げられる。なお、認識状態パターン１ではＣＮＮモデル等の汎用的なモデルＡが用いられるため、ハードウェアリソースの使用量削減の効果は期待できない。これは、認識状態パターン１ではハードウェアリソースの使用量削減よりも、認識性能の向上を優先すべきためである。

【0039】

認識状態パターン２～認識状態パターン４は、認識率は高い一方で、特定の特徴の変化が大きい認識状態パターンである。

【0040】

認識状態パターン２は、物体種類と画像中位置の両方の変化が大きいため、これら両方の特徴を軽量に認識可能なモデルＢを適切なモデルとする。モデルＢとしては、例えば、ＳＩＦＴ特徴量を使用した画像認識モデル又は画像認識手法、ＳＵＲＦ（Speeded-Up Robust Features）特徴量を使用した画像認識モデル又は画像認識手法等が挙げられる。ただし、認識状態パターン２は物体種類と画像中位置の両方の変化が大きいため、ＣＮＮモデルをモデルＢとしてもよいし、ＣＮＮモデルと同等の認識性能を持つ画像認識モデル等をモデルＢとしてもよい。

【0041】

認識状態パターン３は、物体種類の変化が大きいため、物体種類を軽量に認識可能なモデルＣを適切なモデルとする。モデルＣとしては、例えば、ＳＩＦＴ特徴量を使用した画像認識モデル又は画像認識手法、ＨＯＧ特徴量を使用した画像認識モデル又は画像認識手法等が挙げられる。

【0042】

なお、ＳＩＦＴ特徴量を使用した画像認識モデル又は画像認識手法は細かな特徴の把握に優れていることが知られている一方で、ＨＯＧ特徴量を使用した画像認識モデル又は画像認識手法は大まかな特徴の把握に優れていることが知られている。このため、例えば、同一物品の物体における種類を認識する場合（例えば、カップにおける絵柄の種類を認識する場合等）はＳＩＦＴ特徴量を使用した画像認識モデル又は画像認識手法が優れている。一方で、例えば、物体の物品種類を認識する場合（例えば、物品がカップか否かを認識する場合等）はＨＯＧ特徴量を使用した画像認識モデル又は画像認識手法が優れている。

【0043】

認識状態パターン４は、画像中位置の変化が大きいため、画像中位置を軽量に認識可能なモデルＤを適切なモデルとする。ここで、軽量に認識可能なモデル（以下、軽量モデルともいう。）とは、特定の特徴量の認識に特化し、省リソースで画像認識が可能なモデルのことをいう。モデルＤとしては、例えば、ＳＵＲＦ特徴量を使用した画像認識モデル又は画像認識手法、ＨＯＧ特徴量を使用した画像認識モデル又は画像認識手法等が挙げられる。

【0044】

認識状態パターン５は、認識率が高く、かつ、各特徴の変化も小さい認識状態パターンである。この場合は、最も軽量なモデルＥを適切なモデルとする。モデルＥとしては、例えば、ＳＵＲＦ特徴量を使用した画像認識モデル又は画像認識手法等が挙げられる。ただし、これ以外に、軽量な画像認識モデル又は画像認識手法をモデルＥとしてもよい。

【0045】

なお、モデルＡ～モデルＥの全てが異なるモデルである必要はなく、一部のモデルが同一のモデルであってもよい。例えば、モデルＤとモデルＥが共にＳＵＲＦ特徴量を使用した画像認識モデル又は画像認識手法であってもよい。

【0046】

また、上記の各モデルの具体例は一例であって、上述したＳＩＦＴ特徴量、ＳＵＲＦ特徴量又はＨＯＧ特徴量を使用した画像認識モデル又は画像認識手法以外にも、様々な画像認識モデル又は画像認識手法を用いることが可能である。例えば、Ｈａａｒ－ｌｉｋｅ特徴量、テンプレートマッチング等といった画像認識手法が用いられてもよい。

【0047】

＜動的モデル切替推論処理＞
次に、本実施形態に係る動的モデル切替処理について、図５を参照しながら説明する。図５は、動的モデル切替推論処理の流れの一例を示すフローチャートである。なお、以下では、時刻を表すインデックスをｔとして、或る時刻ｔにおける動的モデル切替処理について説明する。

【0048】

まず、推論部２０１は、時刻ｔの画像データを取得する（ステップＳ１０１）。なお、推論部２０１は、動的モデル切替推論装置１０と接続される他の装置又は機器（例えば、撮像装置等）から画像データを取得してもよいし、記憶部２０５から画像データを取得してもよい。

【0049】

次に、推論部２０１は、上記のステップＳ１０１で取得した画像データを入力として、現在の選択モデルにより推論処理を行って、認識率と物体種類と画像中位置とを表す状態変数値を出力する（ステップＳ１０２）。この状態変数値は、時刻ｔにおける推論結果として記憶部２０５に格納される。なお、ｔ＝１のとき（つまり、最初に推論処理を行うとき）は予め決められたモデル（例えば、ＣＮＮモデル等の汎用的なモデル）を選択モデルとすればよい。

【0050】

次に、状態変数取得部２０２は、上記のステップＳ１０２で出力された状態変数値（つまり、時刻ｔにおける状態変数値）と、１つ前の時刻の状態変数値（つまり、時刻ｔ－１における状態変数値）とを取得する（ステップＳ１０３）。

【0051】

次に、動的モデル切替推論装置１０は、モデル選択処理を実行する（ステップＳ１０４）。このモデル選択処理では、時刻ｔにおける状態変数値、又は、時刻ｔにおける状態変数値と時刻ｔ－１における状態変数値の両方に基づいて、次の時刻ｔ＋１の推論処理で用いる選択モデルを決定する。なお、モデル選択処理の詳細については後述する。

【0052】

次に、推論部２０１は、次の画像データがあるか否かを判定する（ステップＳ１０５）。そして、次の画像データがある場合は、時刻ｔをｔ＋１に更新した上で（ステップＳ１０６）、推論部２０１は、上記のステップＳ１０１に戻る。これにより、各時刻ｔに対して上記のステップＳ１０１～ステップＳ１０４が繰り返し実行される。一方で、次の画像データが無い場合は、推論部２０１は、動的モデル切替推論処理を終了する。

【0053】

≪モデル選択処理≫
次に、上記のステップＳ１０４におけるモデル選択処理について、図６を参照しながら説明する。図６は、モデル選択処理の流れの一例を示すフローチャートである。

【0054】

まず、認識状態パターン判定部２０３は、時刻ｔにおける状態変数値に含まれる認識率が所定の閾値ｔｈ_１以上であるか否かを判定する（ステップＳ２０１）。当該認識率が閾値ｔｈ_１以上である場合は認識率が高いと判定される一方で、閾値ｔｈ_１未満である場合は認識率が低いと判定される。ただし、例えば、閾値ｔｈ_１１と閾値ｔｈ_１２とを準備し、当該認識率が閾値ｔｈ_１１以上の場合は認識率が高いと判定し、閾値ｔｈ_１２未満の場合は認識率が低いと判定し、閾値ｔｈ_１２以上かつ閾値ｔｈ_１１未満の場合は時刻ｔ－１における本ステップの判定結果と同じとしてもよい。

【0055】

なお、閾値ｔｈ_１（又は、閾値ｔｈ_１１と閾値ｔｈ_１２）は予め設定した固定値としてもよいが、過去の認識率に応じた可変値としてもよい。例えば、時刻ｔ－ΔＴ（ただし、ΔＴは予め決められた時間幅）から時刻ｔまでの各時刻における認識率の平均値μ_１と分散σ_１を算出した上で、ｔｈ_１１＝μ_１＋σ_１，ｔｈ_１２＝μ_１－σ_１としてもよい。ただし、ｔｈ_１１が低くなり過ぎることを防止するため、例えば、予め決めたチューニング値をＲ'（例えば、Ｒ'＝７０％等）として、ｔｈ_１１＝ｍａｘ（μ_１＋σ_１，Ｒ'）としてもよい。

【0056】

上記のステップＳ２０１で認識率が低いと判定された場合、認識状態パターン判定部２０３は、図３に示す認識状態パターン情報を参照して、現在の認識状態パターンを「認識状態パターン１」であると判定する（ステップＳ２０２）。

【0057】

そして、モデル選択部２０４は、図４に示すモデル種類情報を参照して、認識状態パターン１に対応するモデルＡを選択モデルとして選択する（ステップＳ２０３）。

【0058】

一方で、上記のステップＳ２０１で認識率が高いと判定された場合、認識状態パターン判定部２０３は、時刻ｔ－１に対する時刻ｔにおける状態変数値（ただし、認識率を除く）の変化を算出する（ステップＳ２０４）。なお、認識率を除く理由は、上記のステップＳ２０１で認識率の高い／低いが判定済なためである。

【0059】

ここで、状態変数値（ただし、認識率を除く）の変化の算出方法の一例について説明する。例えば、図７の上図に示すように、時刻ｔ－１における画像データを入力として或る選択モデルにより推論処理を行った結果を表す状態変数値が、認識率「８０％」、物体種類「０：カップ」、画像中位置「Ｘ＝１００，Ｙ＝１５０」であったものとする。また、例えば、図７の下図に示すように、時刻ｔにおける画像データを入力として或る選択モデルにより推論処理を行った結果を表す状態変数値が、認識率「８５％」、物体種類「０：カップ」、画像中位置「Ｘ＝１５０，Ｙ＝１００」であったものとする。なお、認識率は０以上１００以下の値を取り得るものとし、物体種類は物体の種類を表すカテゴリ値を取り得るものとする。また、画像中位置は画像データが表す画像の左上を原点として、右方向をＸ軸の正の方向、下方向をＹ軸の正の方向とするＸＹ座標値を取り得るものとする。

【0060】

このとき、認識状態パターン判定部２０３は、例えば、時刻ｔにおける物体種類と時刻ｔ－１における物体種類が同一の場合はその変化を「０」、異なる場合はその変化を「１」とする。また、認識状態パターン判定部２０３は、例えば、時刻ｔにおける画像中位置のＸ座標値及びＹ座標値から、時刻ｔ－１における画像中位置のＸ座標値及びＹ座標値をそれぞれ減算することで、画像中位置の変化を算出する。これにより、物体種類の変化と画像中位置の変化は、図８のようになる。すなわち、時刻ｔ－１に対する時刻ｔにおける物体種類の変化は「０」、時刻ｔ－１に対する時刻ｔにおける画像中位置の変化は「Ｘ＝５０，Ｙ＝０」となる。

【0061】

次に、認識状態パターン判定部２０３は、認識率以外の状態変数値の変化に対する閾値判定を行って、その変化が大きい又は小さいのいずれであるかを判定する（ステップＳ２０５）。すなわち、認識状態パターン判定部２０３は、物体種類の変化が大きい又は小さいのいずれかであるか、画像中位置の変化が大きい又は小さいのいずれであるかをそれぞれ判定する。以下、物体種類の変化と画像中位置の変化のそれぞれが大きい又は小さいのいずれであるかを判定する場合の詳細について説明する。

【0062】

・物体種類の変化が大きい／小さいを判定する場合
例えば、認識状態パターン判定部２０３は、物体種類の変化率Ｒｖを算出した上で、この変化率Ｒｖが所定の閾値ｔｈ_２以上である場合は物体種類の変化が大きいと判定し、閾値ｔｈ_２未満である場合は物体種類の変化が小さいと判定する。ここで、物体種類の変化率Ｒｖは、例えば、時刻ｔ－ΔＴから時刻ｔまでの間における物体種類の変化回数をｎ、時間幅ΔＴに含まれる時刻インデックス数をＮとして、Ｒｖ＝（ｎ／Ｎ）×１００で算出される。

【0063】

ただし、例えば、閾値ｔｈ_２１と閾値ｔｈ_２２とを準備し、物体種類の変化率Ｒｖが閾値ｔｈ_２１以上の場合は物体種類の変化が大きいと判定し、閾値ｔｈ_２２未満の場合は物体種類の変化が小さいと判定し、閾値ｔｈ_２１未満かつ閾値ｔｈ_２２以上の場合は時刻ｔ－１における本ステップの判定結果（又は、時刻ｔ－１で本ステップが実行されていない場合は、それ以前の時刻における本ステップの最新の判定結果）と同じとしてもよい。

【0064】

なお、閾値ｔｈ_２（又は、閾値ｔｈ_２１と閾値ｔｈ_２２）は予め設定した固定値としてもよいが、過去の変化率Ｒｖに応じた可変値としてもよい。例えば、時刻ｔ－ΔＴから時刻ｔまでの各時刻における物体種類の変化率Ｒｖの平均値μ_２と分散σ_２を算出した上で、ｔｈ_２１＝μ_２＋σ_２，ｔｈ_２２＝μ_２－σ_２としてもよい。ただし、ｔｈ_２１が低くなり過ぎることを防止するため、例えば、予め決めたチューニング値をＲｖ'（例えば、Ｒｖ'＝３０％等）として、ｔｈ_２１＝ｍａｘ（μ_２＋σ_２，Ｒｖ'）としてもよい。

【0065】

・画像中位置の変化が大きい／小さいを判定する場合
例えば、認識状態パターン判定部２０３は、画像中位置の変化率Ｒｄを算出した上で、この変化率Ｒｄが所定の閾値ｔｈ_３以上である場合は画像中位置の変化が大きいと判定し、閾値ｔｈ_３未満である場合は画像中位置の変化が小さいと判定する。ここで、画像中位置の変化率Ｒｄは、例えば、時刻ｔ－ΔＴから時刻ｔまでの間におけるＸ軸方向の変化率Ｒｄｘと、時刻ｔ－ΔＴから時刻ｔまでの間におけるＹ軸方向の変化率Ｒｄｙとのいずれか高い方とする（つまり、Ｒｄ＝ｍａｘ（Ｒｄｘ，Ｒｄｙ））。また、Ｒｄｘは、例えば、時刻ｔ－ΔＴから時刻ｔまでの間におけるＸ軸方向の移動量をｄｘ、画像データが表す画像のＸ軸方向の総画素数をＰｘとして、Ｒｄｘ＝（ｄｘ／Ｐｘ）×１００で算出される。同様に、Ｒｄｙは、例えば、時刻ｔ－ΔＴから時刻ｔまでの間におけるＹ軸方向の移動量をｄｙ、画像データが表す画像のＹ軸方向の総画素数をＰｙとして、Ｐｄｙ＝（ｄｙ／Ｐｙ）×１００で算出される。

【0066】

ただし、例えば、閾値ｔｈ_３１と閾値ｔｈ_３２とを準備し、画像中位置の変化率Ｒｄが閾値ｔｈ_３１以上の場合は画像中位置の変化が大きいと判定し、閾値ｔｈ_３２未満の場合は画像中位置の変化が小さいと判定し、閾値ｔｈ_３１未満かつ閾値ｔｈ_３２以上の場合は時刻ｔ－１における本ステップの判定結果（又は、時刻ｔ－１で本ステップが実行されていない場合は、それ以前の時刻における本ステップの最新の判定結果）と同じとしてもよい。

【0067】

なお、閾値ｔｈ_３（又は、閾値ｔｈ_３１と閾値ｔｈ_３２）は予め設定した固定値としてもよいが、過去の変化率Ｒｄに応じた可変値としてもよい。例えば、時刻ｔ－ΔＴから時刻ｔまでの各時刻における画像中位置の変化率Ｒｄの平均値μ_３と分散σ_３を算出した上で、ｔｈ_３１＝μ_３＋σ_３，ｔｈ_３２＝μ_３－σ_３としてもよい。ただし、ｔｈ_３１が低くなり過ぎることを防止するため、例えば、予め決めたチューニング値をＲｄ'（例えば、Ｒｄ'＝２００％等）として、ｔｈ_３１＝ｍａｘ（μ_３＋σ_３，Ｒｄ'）としてもよい。

【0068】

次に、認識状態パターン判定部２０３は、図３に示す認識状態パターン情報を参照して、現在の認識状態パターンが、認識状態パターン１～認識状態パターン５のいずれであるかを判定する（ステップＳ２０６）。すなわち、認識状態パターン判定部２０３は、物体種類の変化が大きく、かつ、画像中位置の変化も大きい場合は「認識状態パターン２」、物体種類の変化が大きく、かつ、画像中位置の変化は小さい場合は「認識状態パターン３」、物体種類の変化は小さく、かつ、画像中位置の変化が大きい場合は「認識状態パターン４」、物体種類の変化が小さく、かつ、画像中位置の変化も小さい場合は「認識状態パターン５」と判定する。

【0069】

次に、モデル選択部２０４は、図４に示すモデル種類情報を参照して、上記のステップＳ２０６で判定した認識状態パターンに対応するモデルを選択モデルとして選択する（ステップＳ２０７）。すなわち、モデル選択部２０４は、上記のステップＳ２０６で「認識状態パターン２」と判定された場合はモデルＢ、「認識状態パターン３」と判定された場合はモデルＣ、「認識状態パターン４」と判定された場合はモデルＤ、「認識状態パターン５」と判定された場合はモデルＥを選択モデルとして選択する。

【0070】

そして、上記のステップＳ２０３又はステップＳ２０７に続いて、モデル選択部２０４は、選択モデルのモデルデータを記憶部２０５から読み込む（ステップＳ２０８）。これにより、次の時刻ｔ＋１における推論処理では、当該選択モデルが用いられることになる。

【0071】

＜まとめ＞
以上のように、本実施形態に係る動的モデル切替推論装置１０は、画像認識タスクを対象として、現在の選択モデルにより推論処理を行った結果及びその変化のパターンを表す認識状態パターンに応じて、当該パターンに対応するモデルに選択モデルを動的に切り替えることができる。これにより、例えば、認識率が低い場合はより認識率が高い汎用モデルを選択モデルとしたり、或る特徴の変化が大きい場合はその特徴の認識に特化した軽量モデルを選択モデルとしたりすることができる。このため、特に、或る一定以上の認識率が得られている状況下では、特定の特徴の認識に特化した軽量モデルにより推論処理を行うことができるため、常に汎用モデルにより推論処理を行う場合と比べて、ハードウェアリソースの使用量を削減させることが可能となる。

【0072】

なお、本実施形態では画像認識タスクを対象としたが、これは一例であって、データを入力としてモデルにより推論処理を繰り返し実行する様々なタスクに対して適用可能である。例えば、データ分類、回帰、予測、異常検知等といった様々なタスクに対して適用可能である。

【0073】

本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。

【符号の説明】

【0074】

１０ 動的モデル切替推論装置
１０１ 入力装置
１０２ 表示装置
１０３ 外部Ｉ／Ｆ
１０３ａ 記録媒体
１０４ 通信Ｉ／Ｆ
１０５ プロセッサ
１０６ メモリ装置
１０７ バス
２０１ 推論部
２０２ 状態変数取得部
２０３ 認識状態パターン判定部
２０４ モデル選択部
２０５ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】