特開 2022-54916 認識処理実行プログラム及び認識処理実行装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022054916

(43)【公開日】2022-04-07

(54)【発明の名称】認識処理実行プログラム及び認識処理実行装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220331BHJP

【ＦＩ】

G06T7/00 350B

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2020162189

(22)【出願日】2020-09-28

(71)【出願人】

【識別番号】517048278

【氏名又は名称】ＬｅａｐＭｉｎｄ株式会社

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100161506

【弁理士】

【氏名又は名称】川渕 健一

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100207789

【弁理士】

【氏名又は名称】石田 良平

(72)【発明者】

【氏名】多治見 剛

(72)【発明者】

【氏名】鈴木 貴広

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA05

5L096GA51

5L096HA11

5L096KA01

5L096KA04

(57)【要約】      （修正有）

【課題】組み込み機器が備える限られた性能の下であっても、より高度な処理を組み込み機器に実行させることができる認識処理実行プログラム及び認識処理実行装置を提供する。
【解決手段】認識処理実行システムにおいて、認識処理実行装置の認識処理実行プログラムは、第一画像を示す第一画像データを第一学習済モデルに入力し、第一学習済モデルに、第一画像が描出している対象を認識する第一認識処理を実行させ、第一認識処理の結果の確度を示す第一確度データを出力させ、第一確度データにより示される確度を判定し、判定機能による判定結果に基づいて、第一画像データと異なる第二画像を示す第二画像データを第二学習済モデルに入力し、第一認識処理の処理負荷以上の処理負荷を有し、第一画像及び第二画像が描出している対象を認識する第二認識処理を第二学習済モデルに実行させる。
【選択図】図４

【特許請求の範囲】

【請求項1】

第一画像を示す第一画像データを第一学習済モデルに入力し、前記第一画像が描出している対象を認識する第一認識処理を前記第一学習済モデルに実行させ、前記第一認識処理の結果の確度を示す第一確度データを前記第一学習済モデルに出力させる第一認識処理実行機能と、
前記第一確度データにより示される確度を判定する判定機能と、
前記判定機能による判定結果に基づいて、前記第一画像データと異なる第二画像を示す第二画像データを第二学習済モデルに入力し、前記第一認識処理の処理負荷以上の処理負荷を有し、前記第一画像及び前記第二画像が描出している前記対象を認識する第二認識処理を前記第二学習済モデルに実行させる第二認識処理実行機能と、
をコンピュータに実現させる認識処理実行プログラム。

【請求項2】

前記第二認識処理実行機能は、前記第一確度データにより示される確度が所定の閾値未満であると前記判定機能により判定された場合、前記第一画像の解像度を高くした前記第二画像を示す前記第二画像データを前記第二学習済モデルに入力する、
請求項１に記載の認識処理実行プログラム。

【請求項3】

前記第一認識処理実行機能は、複数の前記第一画像データを前記第一学習済モデルに入力し、前記第一認識処理を前記第一学習済モデルに実行させ、前記第一確度データを前記第一学習済モデルに出力させ、
前記判定機能は、出力される前記第一確度データに対して、前記第一確度データにより示される確度が所定の閾値未満であるか否かを判定する、
請求項１又は請求項２に記載の認識処理実行プログラム。

【請求項4】

前記第二認識処理実行機能は、前記第一確度データにより示される確度が所定の閾値未満であると所定の回数を超えて前記判定機能により判定された場合、前記第一学習済モデルと異なる学習済モデルである前記第二学習済モデルに前記第一画像データを入力する、
請求項１から請求項３のいずれか一つに記載の認識処理実行プログラム。

【請求項5】

前記第二認識処理実行機能は、前記第一確度データにより示される確度が所定の閾値未満であると所定の回数を超えて前記判定機能により判定された場合、前記第一学習済モデルと同じ学習済モデルである前記第二学習済モデルに前記第二画像データを入力する、
請求項１から請求項３のいずれか一つに記載の認識処理実行プログラム。

【請求項6】

前記第二認識処理実行機能は、前記第一確度データにより示される確度が所定の閾値未満であると所定の回数を超えて前記判定機能により判定された場合、前記第一学習済モデルと異なる学習済モデルである前記第二学習済モデルに前記第二画像データを入力する、
請求項１から請求項３のいずれか一つに記載の認識処理実行プログラム。

【請求項7】

前記第一確度データにより示される確度が所定の閾値未満であると所定の回数を超えて前記判定機能により判定された場合、前記第一画像の単位時間当たりの数を減らす動画像調整機能を前記コンピュータに更に実現させる、
請求項１から請求項６のいずれか一つに記載の認識処理実行プログラム。

【請求項8】

前記第一認識処理実行機能は、前記第二認識処理実行機能が前記第二画像データを前記第二学習済モデルに入力した場合、前記第二認識処理が実行される前記第二画像が生成される元となる前記第一画像である元画像を示す元画像データを取得して前記第一学習済モデルに入力し、前記元画像が描出している前記対象を認識する追加認識処理を前記第一学習済モデルに実行させ、前記追加認識処理の結果の確度を示す追加確度データを前記第一学習済モデルに出力させ、
前記判定機能は、出力される前記追加確度データに対し、前記追加確度データにより示される確度が所定の条件を満たしているか否かを更に判定し、
前記追加確度データにより示される確度が前記所定の条件が満たされていると前記第二認識処理及び前記追加認識処理が開始してから所定の回数を超えて判定された場合、前記第二認識処理及び前記追加認識処理を停止させ、前記第一認識処理を開始させる制御機能を前記コンピュータに更に実行させる、
請求項１から請求項６のいずれか一つに記載の認識処理実行プログラム。

【請求項9】

前記第一確度データにより示される確度が所定の閾値未満であると所定の回数を超えて前記判定機能により判定された場合、前記第一画像の単位時間当たりの枚数を減らす動画像調整機能を前記コンピュータに更に実現させる、
請求項８に記載の認識処理実行プログラム。

【請求項10】

前記動画像調整機能は、前記第一画像の単位時間当たりの枚数を減らしており、かつ、前記追加確度データにより示される確度が前記所定の条件が満たされていると前記第二認識処理及び前記追加認識処理が開始してから所定の回数を超えて判定された場合、前記第一画像の単位時間当たりの枚数を増やす、
請求項９に記載の認識処理実行プログラム。

【請求項11】

前記第二認識処理実行機能は前記第二認識処理の結果の確度を示す第二確度データを
前記第二学習済モデルに出力させ、
前記判定機能は、前記第二確度データにより示される確度と、前記追加確度データにより示される確度との差が所定の閾値未満であるか否かを判定する、
請求項８から請求項１０のいずれか一つに記載の認識処理実行プログラム。

【請求項12】

前記第一認識処理実行機能は、前記第一画像が描出している前記対象に付したラベルの確度と、前記第一画像が描出している前記対象を指し示す第一図形の大きさ及び位置の確度の少なくとも一方を示す前記第一確度データを前記第一学習済モデルに出力させ、
請求項１から請求項１１のいずれか一つに記載の認識処理実行プログラム。

【請求項13】

第一画像を示す第一画像データを第一学習済モデルに入力し、前記第一画像が描出している対象を認識する第一認識処理を前記第一学習済モデルに実行させ、前記第一認識処理の結果の確度を示す第一確度データを前記第一学習済モデルに出力させる第一認識処理実行部と、
前記第一確度データにより示される確度を判定する判定部と、
前記判定部による判定結果に基づいて、前記第一画像データと異なる第二画像を示す第二画像データを第二学習済モデルに入力し、前記第一認識処理の処理負荷以上の処理負荷を有し、前記第一画像及び前記第二画像が描出している前記対象を認識する第二認識処理を前記第二学習済モデルに実行させる第二認識処理実行部と、
を備える認識処理実行装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、認識処理実行プログラム及び認識処理実行装置に関する。

【背景技術】

【0002】

現在、人工知能の普及が進展しており、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）等が実装された組み込み機器を使用して動画像をリアルタイムに処理する技術が注目されている。ただし、組み込み機器は、演算能力、使用可能な電力量等が限られているため、一定以上の性能を有する畳み込みニューラルネットワーク等を使用する場合、何らかの工夫を必要とする。このような工夫が施された組み込み機器の一例として、例えば、特許文献１に開示されている撮影装置が挙げられる。

【0003】

この撮影装置は、測光センサと、推定手段と、設定手段と、撮像手段とを備える。測光センサは、被写界を測光する。推定手段は、測光センサより出力される測光データに基づいて被写界内の被写体の分類を推定する。設定手段は、推定された分類に基づいて撮影条件を設定する。撮像手段は、設定された撮影条件で被写体を撮像する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１７－１３９６４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、上述した撮影装置は、一定以上の性能を有する畳み込みニューラルネットワーク等にとって必ずしも最適とは言えない撮影条件を設定してしまうことがある。また、上述した撮影装置は、特に、高い解像度を有する画像に描出されている比較的小さな対象を認識する処理を実行する場合、このような設定条件を設定してしまうことが多くなる。

【0006】

本発明は、上述した事情に鑑みてなされたものであり、組み込み機器が備える限られた性能の下であっても、より高度な処理を組み込み機器に実行させることができる認識処理実行プログラム及び認識処理実行装置を提供するものである。

【課題を解決するための手段】

【0007】

本発明の一態様は、第一画像を示す第一画像データを第一学習済モデルに入力し、前記第一画像が描出している対象を認識する第一認識処理を前記第一学習済モデルに実行させ、前記第一認識処理の結果の確度を示す第一確度データを前記第一学習済モデルに出力させる第一認識処理実行機能と、前記第一確度データにより示される確度を判定する判定機能と、前記判定機能による判定結果に基づいて、前記第一画像データと異なる第二画像を示す第二画像データを第二学習済モデルに入力し、前記第一認識処理の処理負荷以上の処理負荷を有し、前記第一画像及び前記第二画像が描出している前記対象を認識する第二認識処理を前記第二学習済モデルに実行させる第二認識処理実行機能と、をコンピュータに実現させる認識処理実行プログラムである。

【0008】

また、上述した認識処理実行プログラムにおいて、前記第二認識処理実行機能は、前記第一確度データにより示される確度が所定の閾値未満であると前記判定機能により判定された場合、前記第一画像の解像度を高くした前記第二画像を示す前記第二画像データを前記第二学習済モデルに入力してもよい。

【0009】

また、上述した認識処理実行プログラムにおいて、前記第一認識処理実行機能は、複数の前記第一画像データを前記第一学習済モデルに入力し、前記第一認識処理を前記第一学習済モデルに実行させ、前記第一確度データを前記第一学習済モデルに出力させ、前記判定機能は、出力される前記第一確度データに対して、前記第一確度データにより示される確度が所定の閾値未満であるか否かを判定してもよい。

【0010】

また、上述した認識処理実行プログラムにおいて、前記第二認識処理実行機能は、前記第一確度データにより示される確度が所定の閾値未満であると所定の回数を超えて前記判定機能により判定された場合、前記第一学習済モデルと異なる学習済モデルである前記第二学習済モデルに前記第一画像データを入力してもよい。

【0011】

また、上述した認識処理実行プログラムにおいて、前記第二認識処理実行機能は、前記第一確度データにより示される確度が所定の閾値未満であると所定の回数を超えて前記判定機能により判定された場合、前記第一学習済モデルと同じ学習済モデルである前記第二学習済モデルに前記第二画像データを入力してもよい。

【0012】

また、上述した認識処理実行プログラムにおいて、前記第二認識処理実行機能は、前記第一確度データにより示される確度が所定の閾値未満であると所定の回数を超えて前記判定機能により判定された場合、前記第一学習済モデルと異なる学習済モデルである前記第二学習済モデルに前記第二画像データを入力してもよい。

【0013】

また、上述した認識処理実行プログラムは、前記第一確度データにより示される確度が所定の閾値未満であると所定の回数を超えて前記判定機能により判定された場合、前記第一画像の単位時間当たりの数を減らす動画像調整機能を前記コンピュータに更に実現させてもよい。

【0014】

また、上述した認識処理実行プログラムにおいて、前記第一認識処理実行機能は、前記第二認識処理実行機能が前記第二画像データを前記第二学習済モデルに入力した場合、前記第二認識処理が実行される前記第二画像が生成される元となる前記第一画像である元画像を示す元画像データを取得して前記第一学習済モデルに入力し、前記元画像が描出している前記対象を認識する追加認識処理を前記第一学習済モデルに実行させ、前記追加認識処理の結果の確度を示す追加確度データを前記第一学習済モデルに出力させ、前記判定機能は、出力される前記追加確度データに対し、前記追加確度データにより示される確度が所定の条件を満たしているか否かを更に判定し、前記追加確度データにより示される確度が前記所定の条件が満たされていると前記第二認識処理及び前記追加認識処理が開始してから所定の回数を超えて判定された場合、前記第二認識処理及び前記追加認識処理を停止させ、前記第一認識処理を開始させる制御機能を前記コンピュータに更に実行させてもよい。

【0015】

また、上述した認識処理実行プログラムは、前記第一確度データにより示される確度が所定の閾値未満であると所定の回数を超えて前記判定機能により判定された場合、前記第一画像の単位時間当たりの枚数を減らす動画像調整機能を前記コンピュータに更に実現させてもよい。

【0016】

また、上述した認識処理実行プログラムにおいて、前記動画像調整機能は、前記第一画像の単位時間当たりの枚数を減らしており、かつ、前記追加確度データにより示される確度が前記所定の条件が満たされていると前記第二認識処理及び前記追加認識処理が開始してから所定の回数を超えて判定された場合、前記第一画像の単位時間当たりの枚数を増やしてもよい。

【0017】

また、上述した認識処理実行プログラムにおいて、前記第二認識処理実行機能は前記第二認識処理の結果の確度を示す第二確度データを前記第二学習済モデルに出力させ、前記判定機能は、前記第二確度データにより示される確度と、前記追加確度データにより示される確度との差が所定の閾値未満であるか否かを判定してもよい。

【0018】

また、上述した認識処理実行プログラムにおいて、前記第一認識処理実行機能は、前記第一画像が描出している前記対象に付したラベルの確度と、前記第一画像が描出している前記対象を指し示す第一図形の大きさ及び位置の確度の少なくとも一方を示す前記第一確度データを前記第一学習済モデルに出力させてもよい。

【0019】

本発明の一態様は、第一画像を示す第一画像データを第一学習済モデルに入力し、前記第一画像が描出している対象を認識する第一認識処理を前記第一学習済モデルに実行させ、前記第一認識処理の結果の確度を示す第一確度データを前記第一学習済モデルに出力させる第一認識処理実行部と、前記第一確度データにより示される確度を判定する判定部と、前記判定部による判定結果に基づいて、前記第一画像データと異なる第二画像を示す第二画像データを第二学習済モデルに入力し、前記第一認識処理の処理負荷以上の処理負荷を有し、前記第一画像及び前記第二画像が描出している前記対象を認識する第二認識処理を前記第二学習済モデルに実行させる第二認識処理実行部と、を備える認識処理実行装置である。

【発明の効果】

【0020】

本発明によれば、組み込み機器が備える限られた性能の下であっても、より高度な処理を組み込み機器に実行させることができる。

【図面の簡単な説明】

【0021】

【図1】実施形態に係る認識処理実行システムの一例を示す図である。

【図2】実施形態に係る認識処理実行プログラムの機能的な構成の一例を示す図である。

【図3】実施形態に係る認識処理実行プログラムがドライブレコーダ上で動作する場合の一例を示す図である。

【図4】実施形態に係る認識処理実行プログラムが実行する処理の一例を示すフローチャートである。

【図5】実施形態に係る認識処理実行プログラムが実行する処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0022】

［実施形態］
まず、図１を参照しながら実施形態に係る認識処理実行システムについて説明する。図１は、認識処理実行システムの一例を示す図である。認識処理実行システム１は、図１に示すように、認識処理実行装置１０と、撮影装置２０－１、…及び撮影装置２０－ｋ（ｋ：１以上の整数）と、サーバ３０と、記憶装置４０とを備える。

【0023】

図１に示すように、認識処理実行装置１０は、ドライブレコーダ、防犯用監視装置等の組み込み機器である。また、認識処理実行装置１０は、プロセッサ１１と、主記憶装置１２と、通信インターフェース１３と、補助記憶装置１４と、入出力装置１５と、バス１６とを備える。

【0024】

なお、認識処理実行装置１０が設けられるエッジデバイスとして、バッテリー等で駆動する携帯電話等の通信機器、パーソナルコンピュータ等のスマートデバイス、デジタルカメラ、ゲーム機器、ロボット製品などのモバイル機器なども想定されているが、これに限られるものではない。パワーオーバイーサネット（ＰｏＥ：Power over Ethernet）等で供給可能なピーク電力制限、製品発熱の低減又は長時間駆動の要請が高い製品に利用することでも他の先行例にない効果を得ることができる。例えば、車両や船舶等に搭載されるカメラ、公共施設や路上等に設けられる監視カメラ等に適用することで長時間の撮影を実現できるだけでなく、軽量化や高耐久化にも寄与する。また、テレビやディスプレイ等の表示デバイス、医療カメラや手術ロボット等の医療機器、製造現場や建築現場で使用される作業ロボットなどにも適用することで同様の効果を奏することができる。

【0025】

プロセッサ１１は、例えば、ＣＰＵ（Central Processing Unit）であり、後述する認識処理実行プログラム１００を読み出して実行し、認識処理実行プログラム１００が有する各機能を実現させる。また、プロセッサ１１は、認識処理実行プログラム１００以外のプログラムを読み出して実行し、認識処理実行プログラム１００が有する各機能を実現させる上で必要な機能を実現させてもよい。さらに、プロセッサ１１は、認識処理実行装置１０の全体を制御するだけでなく、撮影装置２０－１、…及び撮影装置２０－ｋの少なくとも一つを制御する様に構成されていてもよい。

【0026】

主記憶装置１２は、例えば、ＲＡＭ（Random Access Memory）であり、プロセッサ１１により読み出されて実行される認識処理実行プログラム１００その他プログラムを予め記憶している。

【0027】

通信インターフェース１３は、図１に示した通信ネットワークＮＷを介してサーバ３０又は記憶装置４０と通信を実行するためのインターフェース回路である。また、通信ネットワークＮＷは、例えば、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、インターネット、イントラネットである。通信インターフェース１３は、例えば、認識処理実行装置１０に搭載されている主記憶装置１２及び補助記憶装置１４の少なくとも一方の容量を節約する目的で認識処理実行プログラム１００により出力又は生成されたデータを記憶装置４０に送信する場合に使用される。

【0028】

補助記憶装置１４は、例えば、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）、ソリッドステートドライブ（ＳＳＤ：Solid State Drive）、フラッシュメモリ（Flash Memory）、ＲＯＭ（Read Only Memory）である。補助記憶装置１４は、例えば、認識処理実行プログラム１００に必要とされるデータ、認識処理実行プログラム１００により出力又は生成されたデータ、サーバ３０又は記憶装置４０と通信するデータ等を格納する。

【0029】

入出力装置１５は、例えば、入出力ポート（Input/Output Port）である。入出力装置１５は、例えば、撮影装置、入力装置、出力装置が接続される。

【0030】

撮影装置は、例えば、図１に示した撮影装置２０－１、…及び撮影装置２０－ｋである。撮影装置２０－１、…及び撮影装置２０－ｋは、互いに解像度や画角が異なっていてもよい。また、撮影装置２０－１、…及び撮影装置２０－ｋの少なくとも一つが接続されていなくてもよい。複数の撮影装置を設ける場合において、広角レンズ等を備えた撮影装置の一部の画角を切り出すことで、複数の撮影装置を仮想的に設けるようにしてもよい。入力装置は、例えば、マウス、キーボード、スイッチ、タッチパネル、スマートフォンである。また、ここで言うスマートフォンは、認識処理実行装置１０を操作するためのリモートコントローラとして使用可能であってもよい。入力装置は、例えば、画像の取得に関する設定を変更する指示、画像の撮影を開始又は停止する指示、サーバ３０等との通信を開始又は停止する指示、撮影装置又は認識処理実行装置１０に関する各種設定を変更する指示の入力に使用される。また、ここで言う画像の取得に関する設定は、例えば、画像の解像度、動画像のフレームレート、画像の圧縮率に関する設定等を含む。出力装置は、例えば、ディスプレイ、スピーカである。

【0031】

バス１６は、プロセッサ１１、主記憶装置１２、通信インターフェース１３、補助記憶装置１４及び入出力装置１５を互いにデータの送受信が可能なように接続している。なお、本実施形態において、複数の撮影装置２０－１、…及び撮影装置２０－ｋが認識処理実行装置１０に接続されている例を示したが、実施形態としてこれに限られるものではなく、例えば、撮影装置ごとに認識処理実行装置１０を内蔵する形態としてもよいし、複数の認識処理実行装置１０がルーター等の通信装置を介してネット接続されている形態としてもよい。また、リアルタイムでの処理の必要が無い場合には、撮影装置が出力する画像を保存する記憶装置であるメモリ又はサーバを入力としてもよい。

【0032】

図１に示すように、サーバ３０は、プロセッサ３１と、主記憶装置３２と、通信インターフェース３３と、補助記憶装置３４と、バス３６とを備える。

【0033】

プロセッサ３１は、例えば、ＣＰＵであり、サーバ３０を動作させるために必要なプログラム１００を読み出して実行する。主記憶装置３２は、例えば、ＲＡＭであり、プロセッサ３１により読み出されて実行されるプログラムを予め記憶している。通信インターフェース３３は、図１に示した通信ネットワークＮＷを介して認識処理実行装置１０又は記憶装置４０と通信を実行するためのインターフェース回路である。補助記憶装置１４は、例えば、ハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリ、ＲＯＭである。バス１６は、プロセッサ３１、主記憶装置３２、通信インターフェース１３及び補助記憶装置１４を互いにデータの送受信が可能なように接続している。

【0034】

例えば、サーバ３０は、認識処理実行装置１０により生成されたデータを使用し、認識処理実行装置１０とは異なる処理又は追加処理を実行する。一例として、物体認識、セマンティックセグメンテーション（Semantic Segmentation）等の認識処理、各撮影装置が取得した画像のノイズ低減処理や先鋭化処理等を実行する。また、例えば、サーバ３０は、認識処理実行装置１０が自身にインストールされているプログラムをアップデートする目的で使用するアップデートファイルを認識処理実行装置１０に送信するための通信を実行する。また、例えば、サーバ３０は、後述する第一認識処理、第二認識処理及び追加認識処理の少なくとも一つで使用される画像以外に関するデータを認識処理実行装置１０に送信する。このようなデータとしては、例えば、認識処理実行装置１０の現在位置をＧＰＳ（Global Positioning System）で特定した結果を示すデータ、認識処理実行装置１０が搭載されている自動車と他の自動車との間の距離を示すデータ、天候を示すデータ、時刻を示すデータ、渋滞情報を示すデータ、車両又は船舶を自動的に識別するために使用されるデータ等が挙げられる。

【0035】

記憶装置４０は、例えば、認識処理実行装置１０により出力又は生成されたデータを記憶する装置である。

【0036】

次に、図２を参照しながら実施形態に係る認識処理実行プログラムについて説明する。図２は、実施形態に係る認識処理実行プログラムの機能的な構成の一例を示す図である。図２に示すように、認識処理実行プログラム１００は、第一認識処理実行機能１０１と、判定機能１０２と、第二認識処理実行機能１０３と、動画像調整機能１０４と、制御機能１０５とを備える。これら五つの機能は、いずれも主記憶装置１２に格納された認識処理実行プログラム１００をプロセッサ１１が読み出して実行することにより実現される。また、これら五つの機能は、例えば、認識処理実行装置１０がドライブレコーダである場合、当該ドライブレコーダが搭載されている自動車のエンジンの始動をトリガーとして動作を開始し、当該エンジンが停止をトリガーとして動作を停止するようにしてもよい。

【0037】

第一認識処理実行機能１０１は、動画像を構成する第一画像が生成されたか否かを判定する。この動画像は、例えば、図１に示されている撮影装置２０－１、又は撮影装置２０－ｋにより撮影される。また、第一画像は、撮影装置２０－１、又は撮影装置２０－ｋにより撮影される。さらに、第一画像は、撮影装置２０－１、又は撮影装置２０－ｋにより生成された第一画像データにより示されている。

【0038】

そして、第一認識処理実行機能１０１は、動画像を構成する第一画像が生成される度に又は所定の間隔で、第一画像データを取得して第一学習済モデルに入力する。これにより、第一学習済モデルは、第一画像が描出している対象を認識する第一認識処理を実行し、対象の認識結果に加えて第一認識処理の結果の確度を示す第一確度データを出力する。

【0039】

第一学習済モデルは、例えば、畳み込みニューラルネットワークを含み、第一認識処理として、物体認識又はセマンティックセグメンテーションを実行する。また、第一学習済モデルは、学習フェーズにおいて、第一学習用画像を示す第一学習用画像データを問題とし、当該第一学習用画像に描出されている対象を一定以上の精度で認識した結果を示す第一学習用認識データを答えとする教師データに基づいて学習する。具体的には、第一学習済モデルは、当該第一学習用画像に基づいて出力される第一認識処理の結果が第一学習用認識データにより示される認識処理の結果に出来る限り近くなるように各シナプスの重みの大きさを調整する。そして、第一学習済モデルは、各シナプスの重みを調整後の各シナプスの重みに更新する。これらの動作を所定の回数繰り返すことで、認識精度を十分に向上させることができる。

【0040】

第一確度データにより示される確度は、例えば、第一認識処理が物体認識である場合、画像が描出している対象に付したラベルの確度と、画像が描出している対象を指し示す第一図形の大きさ及び位置の確度の少なくとも一方を含んでいる。また、第一図形は、例えば、バウンディングボックスである。或いは、第一確度データにより示される確度は、第一認識処理がセマンティックセグメンテーションである場合、各領域に付したラベルの確度と、各領域の確度の少なくとも一方を含んでいる。

【0041】

判定機能１０２は、第一確度データが出力される度に、第一確度データにより示される確度が所定の閾値未満であるか否かを判定する。この所定の閾値は、任意の値に設定され得る。また、判定機能１０２は、第一確度データにより示される確度が所定の閾値未満であると判定された回数が動画像の開始から所定の回数を超えているか否かを判定する。この所定の回数は、１以上の任意の回数に設定され得る。

【0042】

第二認識処理実行機能１０３は、第一確度データにより示される確度が所定の閾値未満であると所定の回数を超えて判定された場合、第一画像データ又は第二画像データを取得して第二学習済モデルに入力する。この所定の回数は、任意の回数に設定され得る。また、このように判定された回数の計数は、動画像が開始した時点から開始されてもよいし、動画像が開始してから所定の時間が経過した後に開始されてもよい。第二画像データは、第一画像と異なる画像、例えば、第一画像の解像度を高くした第二画像を示すデータである。また、第二画像データは、第一画像を撮影した撮影装置２０－１、…又は撮影装置２０－ｋにより撮影する際の条件やパラメータを変更して生成されてもよいし、第二認識処理実行機能１０３により生成されてもよい。また、第二画像データとして、第一画像の解像度を高くした画像を例に挙げているが、これに限られるものではない。例えば、第二画像データは、第一画像データよりもデータサイズが大きな第二画像を示していてもよい。例えば、第二画像データと第一画像データとで、ビット精度、圧縮率、圧縮方式、データフォーマット等が異なっていてもよい。

【0043】

例えば、第二認識処理実行機能１０３は、第一確度データにより示される確度が所定の閾値未満であると所定の回数を超えて判定された場合、第一学習済モデルと異なる学習済モデルである第二学習済モデルに第一画像データを入力する。また、この場合、第二学習済モデルは、第一学習済モデルとネットワーク構造が異なる学習済モデルであってもよいし、第一学習済モデルとパラメータの少なくとも一部が異なる同じネットワーク構造を有する学習済モデルであってもよい。

【0044】

或いは、第二認識処理実行機能１０３は、第一確度データにより示される確度が所定の閾値未満であると所定の回数を超えて判定された場合、第二画像データを取得し、第一学習済モデルと同じ学習済モデルである第二学習済モデルに第二画像データを入力する。また、この場合、第二学習済モデルは、ネットワーク構造だけではなく、各種パラメータも第一学習済モデルと同じ学習済モデルである。

【0045】

或いは、第二認識処理実行機能１０３は、第一確度データにより示される確度が所定の閾値未満であると所定の回数を超えて判定された場合、第二画像データを取得し、第一学習済モデルと異なる学習済モデルである第二学習済モデルに第二画像データを入力する。また、この場合、第二学習済モデルは、第一学習済モデルとネットワーク構造が異なる学習済モデルであってもよいし、第一学習済モデルとパラメータの少なくとも一部が異なる同じネットワーク構造を有する学習済モデルであってもよい。

【0046】

第二学習済モデルは、第一画像データ及び第二画像データの少なくとも一方が入力されることにより、第一画像又は第二画像が描出している対象を認識する第二認識処理を実行し、対象の認識結果に加えて第二認識処理の結果の確度を示す第二確度データを出力する。また、第二認識処理は、第一認識処理の処理負荷以上の処理負荷を有している認識処理である。ここで、処理負荷とは入力データに対して所定の出力結果を出力するまでに要する演算量や演算ステップ数で表すことができるが、これ以外にも処理時間、消費電力量、必要クロック数、必要な演算コア数、メモリアクセス数、ＣＰＵ等の占有率等でも表すことができる。

【0047】

また、第二学習済モデルは、例えば、畳み込みニューラルネットワークを含み、第二認識処理として、物体認識又はセマンティックセグメンテーションを実行する。また、第二学習済モデルは、学習フェーズにおいて、第二学習用画像を示す第二学習用画像データを問題とし、当該第二学習用画像に描出されている対象を一定以上の精度で認識した結果を示す第二学習用認識データを答えとする教師データに基づいて学習する。具体的には、第二学習済モデルは、当該第二学習用画像に基づいて出力される第二認識処理の結果が第二学習用認識データにより示される認識処理の結果に出来る限り近くなるように各シナプスの重みの大きさを調整する。そして、第二学習済モデルは、各シナプスの重みを調整後の各シナプスの重みに更新する。これらの動作を所定の回数繰り返すことで、認識精度を十分に向上させることができる。

【0048】

第二確度データにより示される確度は、例えば、第二認識処理が物体認識である場合、第二画像が描出している対象に付したラベルの確度と、第二画像が描出している対象を指し示す第二図形の大きさ及び位置の確度の少なくとも一方を含んでいる。また、第二図形は、例えば、バウンディングボックスである。或いは、第二確度データにより示される確度は、第二認識処理がセマンティックセグメンテーションである場合、各領域に付したラベルの確度と、各領域の確度の少なくとも一方を含んでいる。

【0049】

動画像調整機能１０４は、第一確度データにより示される確度が所定の閾値未満であると１以上の所定の回数を超えて判定された場合、動画像を構成する第一画像の単位時間当たりの枚数を減らす処理を実行する。例えば、動画像調整機能１０４は、このような場合、撮影装置２０―１、…又は撮影装置２０－ｋの少なくとも一部を制御して動画像のフレームレートを低下させる。ただし、この処理は、必須の処理ではない。なお、フレームレートの低下以外にも、出力画像のサイズ、撮影装置とのインターフェースにおけるチャンネル数の変更、圧縮率の変更などのデータレートの低下を伴う制御であってもよい。また、複数の第一画像を合成することで、第二画像を取得してもよい。例えば、二枚の第一画像を加算平均することで、入力画像の画質を向上させつつフレームレートを半分に低下させることができる。

【0050】

また、第一認識処理実行機能１０１は、第二認識処理実行機能が第二画像データを第二学習済モデルに入力した場合、第二認識処理が実行される第二画像が生成される元となる第一画像である元画像を示す元画像データを取得して第一学習済モデルに入力してもよい。これにより、第一学習済モデルは、元画像が描出している対象を認識する追加認識処理を実行し、追加認識処理の結果の確度を示す追加確度データを出力する。追加認識処理は、上述した第一認識処理と同じ処理である。

【0051】

この場合、判定機能１０２は、追加認識処理が実行された場合、第二確度データ及び追加確度データが出力される度に又は所定の間隔で、追加確度データにより示される確度が所定の条件を満たしているか否かを更に判定する。この所定の条件は、例えば、第二確度データにより示される確度と、追加確度データにより示される確度との差が所定の閾値未満であるという条件である。そして、制御機能１０５は、追加確度データにより示される確度が所定の条件が満たされていると第二認識処理及び追加認識処理が開始してから１以上の所定の回数を超えて判定された場合、第二認識処理及び追加認識処理を停止させ、第一認識処理を開始させる。なお、追加認識処理は、第二画像データを必要とする処理であるため、第二認識処理が停止すると同時に停止する。

【0052】

なお、第一確度データにより示される確度、第二確度データにより示される確度及び追加確度データにより示される確度各々に対する閾値はそれぞれ異なるが、いずれかを一致させるように制御してもよい。また、判定に使用される所定の回数も条件に合わせて都度変更すことが好ましい。例えば、閾値については頻繁な状態の遷移を避けるために、ヒステリシスを持たせるようにしてもよいし、当該所定の回数と合わせて天候、時刻、周辺照度等の環境情報、速度、加速度等の物理量、検出対象に応じて制御されることが好ましい。

【0053】

また、上記以外にも入力されるデータは、エッジデバイスに搭載され得る、光センサ、温度計、ＧＰＳ（Global Positioning System）計測器、角速度計測器、風速計などの物理量測定器における測定結果を示すデータが組み合わせられたデータであってもよい。また、周辺機器から有線又は無線通信経由で受信する基地局情報を示すデータ、車両、船舶等の情報を示すデータ、天候情報を示すデータ、混雑状況に関する情報を示すデータ等の周辺情報を示すデータや金融情報を示すデータや個人情報を示すデータ等の異なるデータを組み合わせてもよい。

【0054】

動画像調整機能１０４は、動画像を構成する第一画像の単位時間当たりの枚数を減らしており、かつ、追加確度データにより示される確度が所定の条件が満たされていると第二認識処理及び追加認識処理が開始してから１以上の所定の回数を超えて判定された場合、動画像を構成する第一画像の単位時間当たりの枚数を増やす。例えば、動画像調整機能１０４は、このような場合、撮影装置２０―１、…又は撮影装置２０－ｋを制御して動画像のフレームレートを上昇させる。ただし、この処理は、必須の処理ではない。

【0055】

次に、図３を参照しながら実施形態に係る認識処理実行プログラムがドライブレコーダ上で動作する場合の一例を説明する。図３は、実施形態に係る認識処理実行プログラムがドライブレコーダ上で動作する場合の一例を示す図である。図３に示した期間Ｔ１１、期間Ｔ１２、期間Ｔ１３、期間Ｔ２１、期間Ｔ２２、期間Ｔ２３、期間Ｔ３１、期間Ｔ３２及び期間Ｔ３３は、いずれも一枚の第一画像が取得される単位時間である。

【0056】

期間Ｔ１１には、図３で示すように、円Ｐ１１で示されるタイミング、実線Ｘ１１で示される期間及び正方形Ｑ１１で示されるタイミングが含まれている。同様に、期間Ｔ１２には、円Ｐ１２で示されるタイミング、実線Ｘ１２で示される期間及び正方形Ｑ１２で示されるタイミングが含まれている。また、期間Ｔ１３には、円Ｐ１３で示されるタイミング、実線Ｘ１３で示される期間及び正方形Ｑ１３で示されるタイミングが含まれている。

【0057】

円Ｐ１１で示されるタイミング、円Ｐ１２で示されるタイミング及び円Ｐ１３で示されるタイミングでは、第一認識処理実行機能が第一画像データを取得して第一学習済モデルに入力する。また、円Ｐ１１で示されるタイミングでは、第一確度データにより示される確度が所定の閾値未満であると判定された回数の計数が開始される。実線Ｘ１１で示される期間、実線Ｘ１２で示される期間及び実線Ｘ１３で示される期間では、第一学習済モデルが第一認識処理を実行する。

【0058】

正方形Ｑ１１で示されるタイミング、正方形Ｑ１２で示されるタイミング及び正方形Ｑ１３で示されるタイミングでは、判定機能１０２が第一確度データにより示される確度が所定の閾値未満であるか否かを判定し、更に、第一確度データにより示される確度が所定の閾値未満であると判定された回数が動画像の開始から所定の回数を超えているか否かを判定する。

【0059】

また、正方形Ｑ１１で示されるタイミング及び正方形Ｑ１２で示されるタイミングでは、判定機能１０２は、第一確度データにより示される確度が所定の閾値未満であると判定された回数が動画像の開始から所定の回数を超えていないと判定している。

【0060】

一方、正方形Ｑ１３で示されるタイミングでは、判定機能１０２は、第一確度データにより示される確度が所定の閾値未満であると判定された回数が動画像の開始から所定の回数を超えていると判定している。したがって、正方形Ｑ１３で示されるタイミングでは、制御機能１０５が第二認識処理実行機能に第二認識処理の実行を開始させ、第一認識処理実行機能に追加認識処理の実行を開始させ、第一認識処理実行機能に第一認識処理の実行を停止させる。

【0061】

期間Ｔ２１には、図３で示すように、円Ｐ２１１で示されるタイミング、破線Ｘ２１１で示される期間、円Ｐ２１２で示されるタイミング、点線Ｘ２１２で示される期間及び正方形Ｑ２１で示されるタイミングが含まれている。同様に、期間Ｔ２２には、円Ｐ２２１で示されるタイミング、破線Ｘ２２１で示される期間、円Ｐ２２２で示されるタイミング、点線Ｘ２２２で示される期間及び正方形Ｑ２２で示されるタイミングが含まれている。また、期間Ｔ２３には、円Ｐ２３１で示されるタイミング、破線Ｘ２３１で示される期間、円Ｐ２３２で示されるタイミング、点線Ｘ２３２で示される期間及び正方形Ｑ２３で示されるタイミングが含まれている。

【0062】

円Ｐ２１１で示されるタイミング、円Ｐ２２１で示されるタイミング及び円Ｐ２３１で示されるタイミングでは、第二認識処理実行機能１０３が第二画像データを取得して第二学習済モデルに入力する。また、円Ｐ２１１で示されるタイミングでは、第一確度データにより示される確度が所定の閾値未満であると判定された回数の計数が開始される。破線Ｘ２１１で示される期間、破線Ｘ２２１で示される期間及び破線Ｘ２３１で示される期間では、第二学習済モデルが第二認識処理を実行する。

【0063】

円Ｐ２１２で示されるタイミング、円Ｐ２２２で示されるタイミング及び円Ｐ２３２で示されるタイミングでは、第一認識処理実行機能１０１が元画像データを取得して第一学習済モデルに入力する。点線Ｘ２１２で示される期間、点線Ｘ２２２で示される期間及び点線Ｘ２３２で示される期間では、第一学習済モデルが追加認識処理を実行する。

【0064】

正方形Ｑ２１で示されるタイミング、正方形Ｑ２２で示されるタイミング及び正方形Ｑ２３で示されるタイミングでは、判定機能１０２が追加確度データにより示される確度が所定の条件を満たしているか否かを判定し、更に、追加確度データにより示される確度が所定の条件が満たされていると第二認識処理及び追加認識処理が開始されてから所定の回数を超えているか否かを判定する。

【0065】

また、正方形Ｑ２１で示されるタイミング及び正方形Ｑ２２で示されるタイミングでは、判定機能１０２は、追加確度データにより示される確度が所定の条件が満たされていると第二認識処理及び追加認識処理が開始されてから所定の回数を超えていないと判定している。

【0066】

一方、正方形Ｑ２３で示されるタイミングでは、判定機能１０２は、追加確度データにより示される確度が所定の条件が満たされていると第二認識処理及び追加認識処理が開始されてから所定の回数を超えていると判定している。したがって、正方形Ｑ２３で示されるタイミングでは、制御機能が第二認識処理実行機能１０３に第二認識処理の実行を停止させ、第一認識処理実行機能１０１に追加認識処理の実行を停止させ、第一認識処理実行機能１０１に第一認識処理の実行を開始させる。

【0067】

なお、図３では、第二認識処理が実行された後に、追加認識処理が実行される場合を例に挙げたが、これに限定されない。第二認識処理が実行される期間の少なくとも一部と追加認識処理が実行される期間の少なくとも一部とが重複していてもよい。また、図３では、第二画像データが取得されて第二学習済モデルに入力されるタイミングと、元画像データが取得されて第一学習済モデルに入力されるタイミングとが異なっている場合を例に挙げたが、これに限定されない。これら二つのタイミングは、一致していてもよい。

【0068】

期間Ｔ３１には、図３で示すように、円Ｐ３１で示されるタイミング、実線Ｘ３１で示される期間及び正方形Ｑ３１で示されるタイミングが含まれている。同様に、期間Ｔ３２には、円Ｐ３２で示されるタイミング、実線Ｘ３２で示される期間及び正方形Ｑ３２で示されるタイミングが含まれている。また、期間Ｔ３３には、円Ｐ３３で示されるタイミング、実線Ｘ３３で示される期間及び正方形Ｑ３３で示されるタイミングが含まれている。

【0069】

円Ｐ３１で示されるタイミング、円Ｐ３２で示されるタイミング及び円Ｐ３３で示されるタイミングでは、第一認識処理実行機能が第一画像データを取得して第一学習済モデルに入力する。また、円Ｐ３１で示されるタイミングでは、第一確度データにより示される確度が所定の閾値未満であると判定された回数の計数が開始される。実線Ｘ３１で示される期間、実線Ｘ３２で示される期間及び実線Ｘ３３で示される期間では、第一学習済モデルが第一認識処理を実行する。

【0070】

正方形Ｑ３１で示されるタイミング、正方形Ｑ３２で示されるタイミング及び正方形Ｑ３３で示されるタイミングでは、判定機能１０２が第一確度データにより示される確度が所定の閾値未満であるか否かを判定し、更に、第一確度データにより示される確度が所定の閾値未満であると判定された回数が動画像の開始から所定の回数を超えているか否かを判定する。

【0071】

また、本実施形態においては、第二認識処理実行機能１０３における第二認識処理の実行は、第一認識処理実行機能１０１における第一認識処理の実行よりも高い処理負荷がかかり、そのためにフレームレートを引き下げる例を挙げた。しかし、これに限定されるものではなく、例えば、消費電力量又は消費電流量を期間Ｔ２１から期間Ｔ２３の間に増加させる制御をこない、一時的に単位時間当たりに演算量を上げることも可能である。この際には必要クロック数や必要な演算コア数が増加したり、ＣＰＵ等の占有率等も増加したりする。

【0072】

また、図３では、第二認識処理実行機能１０３における第二認識処理の実行は、第一認識処理実行機能１０１における第一認識処理の実行に連続して実行する動作を例に挙げたがこれに限られるものではない。例えば、第一確度データにより示される確度が所定の閾値未満であると判定された場合、第一画像データに対してフラグ等を付与して補助記憶装置１４等に記憶させる制御を行ってもよい。そして、撮影が停止している期間等、プロセッサ１１の処理に余裕があるタイミングにおいて、フラグ等が付与された第一の画像データを補助記憶装置１４から読み出して第二認識処理実行機能１０３における第二認識処理を実行してもよい。

【0073】

これにより、認識処理実行プログラム１００は、第二認識処理よりも処理負荷が低い第一認識処理の結果が一定以上である場合、演算能力等を節約し易い第一認識処理のみを認識処理実行装置１０に実行させることができる。そして、第一認識処理では十分な確度が得られない場合において第二認識処理を実行することで、全体の処理負荷を低減することができる。

【0074】

次に、図４及び図５を参照しながら実施形態に係る認識処理実行プログラム１００が実行する処理の一例を説明する。図４及び図５は、実施形態に係る認識処理実行プログラムが実行する処理の一例を示すフローチャートである。

【0075】

ステップＳ１０１において、第一認識処理実行機能１０１は、動画像を構成する第一画像が生成されたか否かを判定する。第一認識処理実行機能１０１は、動画像を構成する第一画像が生成されたと判定した場合（ステップＳ１０１：ＹＥＳ）、処理をステップＳ１０２に進める。一方、第一認識処理実行機能１０１は、動画像を構成する第一画像が生成されていないと判定した場合（ステップＳ１０１：ＮＯ）、動画像を構成する第一画像が生成されたと判定するまで待機する。

【0076】

ステップＳ１０２において、第一認識処理実行機能１０１は、第一画像を示す第一画像データを取得して第一学習済モデルに入力し、第一画像が描出している対象を認識する第一認識処理を第一学習済モデルに実行させ、第一認識処理の結果の確度を示す第一確度データを第一学習済モデルに出力させる。

【0077】

ステップＳ１０３において、判定機能１０２は、第一確度データにより示される確度が所定の閾値未満であるか否かを判定する。判定機能１０２は、第一確度データにより示される確度が所定の閾値未満であると判定した場合（ステップＳ１０３：ＹＥＳ）、処理をステップＳ１０４に進める。一方、判定機能１０２は、第一確度データにより示される確度が所定の閾値以上であると判定した場合（ステップＳ１０３：ＮＯ）、処理をステップＳ１０１に戻す。

【0078】

ステップＳ１０４において、判定機能１０２は、第一確度データにより示される確度が所定の閾値未満であると判定された回数が動画像の開始から所定の回数を超えているか否かを判定する。判定機能１０２は、第一確度データにより示される確度が所定の閾値未満であると判定された回数が動画像の開始から所定の回数を超えていると判定した場合（ステップＳ１０４：ＹＥＳ）、処理をステップＳ１０５に進める。判定機能１０２は、第一確度データにより示される確度が所定の閾値未満であると判定された回数が動画像の開始から所定の回数以下であると判定した場合（ステップＳ１０４：ＮＯ）、処理をステップＳ１０１に戻す。

【0079】

ステップＳ１０５において、動画像調整機能１０４は、動画像を構成する第一画像の単位時間当たりの枚数を減らし、第一画像の解像度を高くした第二画像を示す第二画像データを取得する。

【0080】

ステップＳ１０６において、第一認識処理実行機能１０１は、動画像を構成する第一画像が生成されたか否かを判定する。第一認識処理実行機能１０１は、動画像を構成する第一画像が生成されたと判定した場合（ステップＳ１０６：ＹＥＳ）、処理をステップＳ１０７に進める。一方、第一認識処理実行機能１０１は、動画像を構成する第一画像が生成されていないと判定した場合（ステップＳ１０６：ＮＯ）、動画像を構成する第一画像が生成されたと判定するまで待機する。

【0081】

ステップＳ１０７において、第一認識処理実行機能１０１は、元画像を示す元画像データを取得して第一学習済モデルに入力し、元画像が描出している対象を認識する追加認識処理を第一学習済モデルに実行させ、追加認識処理の結果の確度を示す追加確度データを第一学習済モデルに出力させる。

【0082】

ステップＳ１０８において、第二認識処理実行機能１０３は、第二画像データを取得して第二学習済モデルに入力し、第二画像が描出している対象を認識する第二認識処理を第二学習済モデルに実行させ、第二認識処理の結果の確度を示す第二確度データを第二学習済モデルに出力させる。

【0083】

ステップＳ１０９において、判定機能１０２は、追加確度データにより示される確度が
所定の条件を満たしているか否かを判定する。判定機能１０２は、追加確度データにより示される確度が所定の条件を満たしていると判定した場合（ステップＳ１０９：ＹＥＳ）、処理をステップＳ１１０に進める。一方、判定機能１０２は、追加確度データにより示される確度が所定の条件を満たしていないと判定した場合（ステップＳ１０９：ＮＯ）、処理をステップＳ１０６に戻す。

【0084】

ステップＳ１１０において、判定機能１０２は、追加確度データにより示される確度が所定の条件を満たしていると判定された回数が所定の回数を超えているか否かを判定する。判定機能１０２は、追加確度データにより示される確度が所定の条件を満たしていると判定された回数が所定の回数を超えていると判定した場合（ステップＳ１１０：ＹＥＳ）、処理をステップＳ１１１に進める。一方、判定機能１０２は、追加確度データにより示される確度が所定の条件を満たしていると判定された回数が所定の回数以下であると判定した場合（ステップＳ１１０：ＮＯ）、処理をステップＳ１０６に戻す。

【0085】

ステップＳ１１１において、動画像調整機能１０４は、動画像を構成している単位時間当たりの第一画像の数を増やし、第二認識処理及び追加認識処理を停止させ、第一認識処理を開始させる。

【0086】

なお、図５におけるステップＳ１０９及びステップＳ１１０にて、追加確度データではなく第二確度データを使用して又は組み合わせて判定してもよい。

【0087】

以上、実施形態に係る認識処理実行プログラム１００について説明した。認識処理実行プログラム１００は、第一認識処理実行機能１０１と、判定機能１０２と、第二認識処理実行機能１０３と、動画像調整機能１０４と、制御機能１０５とを備える。

【0088】

第一認識処理実行機能１０１は、動画像を構成する第一画像が生成される度に又は所定の間隔で、第一画像を示す第一画像データを取得して第一学習済モデルに入力し、第一画像が描出している対象を認識する第一認識処理を第一学習済モデルに実行させ、第一認識処理の結果の確度を示す第一確度データを第一学習済モデルに出力させる。判定機能１０２は、第一確度データが出力される度に又は所定の間隔で、第一確度データにより示される確度が所定の閾値未満であるか否かを判定する。

【0089】

第二認識処理実行機能１０３は、第一確度データにより示される確度が所定の閾値未満であると所定の回数を超えて判定された場合、第一画像データ又は第二画像データを取得して第二学習済モデルに入力する。これにより、第二認識処理実行機能１０３は、第二学習済モデルに、第一認識処理の処理負荷以上の処理負荷を有しており、第一画像又は第二画像が描出している対象を認識する第二認識処理を実行させ、第二認識処理の結果の確度を示す第二確度データを出力させる。なお、第一確度データ及び第二確度データのいずれかにおいて、所定の回数が１よりも大きい場合、動画像の開始から積算するのではなく、所定の期間内に所定の回数を超えたか否かで判定するようにしてもよい。

【0090】

つまり、認識処理実行プログラム１００は、第一認識処理の結果が一定以上の水準に達しておらず、処理負荷が第一認識処理よりも高い第二認識処理が必要な場合にのみ第二認識処理を実行する。したがって、認識処理実行プログラム１００は、認識処理実行装置１０が備える限られた性能の下であっても、より高度な処理を組み込み機器に実行させることができる。

【0091】

また、認識処理実行プログラム１００は、第一確度データにより示される確度が所定の閾値未満であると所定の回数を超えて判定された場合、第一学習済モデルと異なる学習済モデルである第二学習済モデルに第一画像データを入力する。

【0092】

これにより、認識処理実行プログラム１００は、第一画像を撮影した撮影装置２０－１、…又は撮影装置２０－ｋを制御し得ない等の理由により第二画像データを取得し得ない場合であっても、認識処理実行装置１０が備える限られた性能の下で第二認識処理を実行することができる。

【0093】

また、認識処理実行プログラム１００は、第一確度データにより示される確度が所定の閾値未満であると所定の回数を超えて判定された場合、第二画像データを取得し、第一学習済モデルと同じ学習済モデルである第二学習済モデルに第二画像データを入力する。

【0094】

これにより、認識処理実行プログラム１００は、認識処理実行装置１０の性能が限られていることにより、第一学習済モデルと異なる第二学習済モデルが実装され得ない場合であっても第一認識処理よりも処理負荷が高い第二認識処理を実行することができる。

【0095】

また、認識処理実行プログラム１００は、第一確度データにより示される確度が所定の閾値未満であると所定の回数を超えて判定された場合、第二画像データを取得し、第一学習済モデルと異なる学習済モデルである第二学習済モデルに第二画像データを入力する。

【0096】

これにより、認識処理実行プログラム１００は、第一画像よりも解像度が高い第二画像と、第一学習済モデルよりも精度が高い認識処理を実行可能な第二学習済モデルとを使用して更に精度が高い認識処理を実行することができる。

【0097】

また、認識処理実行プログラム１００は、第二認識処理実行機能が第二画像データを第二学習済モデルに入力した場合、第二認識処理が実行される第二画像が生成される元となる第一画像である元画像を示す元画像データを取得して第一学習済モデルに入力する。次に、認識処理実行プログラム１００は、元画像が描出している対象を認識する追加認識処理を第一学習済モデルに実行させ、追加認識処理の結果の確度を示す追加確度データを第一学習済モデルに出力させる。そして、認識処理実行プログラム１００は、追加確度データにより示される確度が所定の条件が満たされていると第二認識処理及び追加認識処理が開始してから所定の回数を超えて判定された場合、第二認識処理及び追加認識処理を停止させ、第一認識処理を開始させる。

【0098】

これにより、認識処理実行プログラム１００は、第二認識処理よりも処理負荷が低く、第一認識処理と同じ処理である追加認識処理の結果が一定以上である場合、演算能力等を節約し易い第一認識処理のみを認識処理実行装置１０に実行させることができる。

【0099】

また、認識処理実行プログラム１００は、第一確度データにより示される確度が所定の閾値未満であると所定の回数を超えて判定された場合、動画像を構成する第一画像の単位時間当たりの枚数を減らす。

【0100】

これにより、認識処理実行プログラム１００は、認識処理実行装置１０の演算能力を節約させ、上述した効果を更に奏し易くすることができる。

【0101】

また、認識処理実行プログラム１００は、動画像を構成する第一画像の単位時間当たりの枚数を減らしており、かつ、追加確度データにより示される確度が所定の条件が満たされていると第二認識処理及び追加認識処理が開始してから所定の回数を超えて判定された場合、動画像を構成する第一画像の単位時間当たりの枚数を増やす。

【0102】

これにより、認識処理実行プログラム１００は、第二認識処理を実行する必要が無くなり、認識処理実行装置１０の演算能力等に余裕が出た場合、動画像を構成する第一画像の単位時間当たりの枚数を増やし、認識処理実行装置１０のリアルタイム性を向上させることができる。

【0103】

また、認識処理実行プログラム１００は、第二確度データにより示される確度と、追加確度データにより示される確度との差が所定の閾値未満であるか否かを判定する。そして、認識処理実行プログラム１００は、第二確度データにより示される確度と、追加確度データにより示される確度との差が所定の閾値未満である場合、第二認識処理及び追加認識処理を停止させ、第一認識処理を開始させる。

【0104】

これにより、認識処理実行プログラム１００は、第二認識処理よりも確度が小さくなり易い第一認識処理の確度が一定の水準を超えて第二認識処理の確度に近づいていることを確認した上で、演算能力等を節約し易い第一認識処理のみを組み込み機器に実行させることができる。

【0105】

また、認識処理実行プログラム１００は、第一画像が描出している対象に付したラベルの確度と、第一画像が描出している対象を指し示す第一図形の大きさ及び位置の確度の少なくとも一方を示す第一確度データを第一学習済モデルに出力させる。さらに、認識処理実行プログラム１００は、第二画像が描出している対象に付したラベルの確度と、第二画像が描出している対象を指し示す第二図形の大きさ及び位置の確度の少なくとも一方を示す第二確度データを第二学習済モデルに出力させる。

【0106】

これにより、認識処理実行プログラム１００は、第一認識処理及び第二認識処理において特に重視している事項に関する確度について上述した効果を奏することができる。

【0107】

なお、上述した実施形態では、認識処理実行プログラム１００が動画像を構成する第一画像各々の全体について上述した処理を実行する場合を例に挙げて説明したが、これに限定されない。認識処理実行プログラム１００は、動画像を構成する第一画像各々の中の特定の領域のみを上述した第一画像と認識して、上述した処理を実行してもよい。この場合、認識処理実行プログラム１００は、動画像を構成する第一画像各々の一部についてのみ上述した処理を実行すればよいため、認識処理実行装置１０の演算能力等を節約することができる。

【0108】

また、上述した実施形態に記載の認識処理実行装置１０に入力されるデータは単一の形式に限定されず、静止画像、動画像、音声、文字、数値及びこれらの組み合わせで構成することも可能である。

【0109】

また、認識処理実行プログラム１００が有する機能の少なくとも一部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等の回路部（circuitry）を含むハードウェアにより実現されてもよい。

【0110】

また、上述した実施形態における認識処理実行装置１０が備える各機能の少なくとも一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここで言うコンピュータシステムは、ＯＳや周辺機器等のハードウェアを含むものとする。

【0111】

また、コンピュータ読み取り可能な記録媒体は、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらにコンピュータ読み取り可能な記録媒体は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また、上述したプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるものであってもよい。

【0112】

以上、本発明の実施形態について図面を参照しながら詳述した。ただし、本発明の実施形態の具体的な構成は、上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲内において種々の組み合わせ、変形、置換及び設計変更の少なくとも一つを上述した実施形態に加えたものであってもよい。

【符号の説明】

【0113】

１…認識処理実行システム、１０…認識処理実行装置、１１…プロセッサ、１２…主記憶装置、１３…通信インターフェース、１４…補助記憶装置、１５…入出力装置、２０－１，…，２０－ｋ…撮影装置、３０…サーバ、３１…プロセッサ、３２…主記憶装置、３３…通信インターフェース、３４…補助記憶装置、４０…記憶装置、ＮＷ…ネットワーク、１００…認識処理実行プログラム、１０１…第一認識処理実行機能、１０２…判定機能、１０３…第二認識処理実行機能、１０４…動画像調整機能、１０５…制御機能

【図1】

【図2】

【図3】

【図4】

【図5】