(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024032105
(43)【公開日】2024-03-12
(54)【発明の名称】画像処理装置、画像処理方法およびプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240305BHJP
G06V 10/70 20220101ALI20240305BHJP
【FI】
G06T7/00 350B
G06V10/70
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022135564
(22)【出願日】2022-08-29
(71)【出願人】
【識別番号】000006208
【氏名又は名称】三菱重工業株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100162868
【弁理士】
【氏名又は名称】伊藤 英輔
(74)【代理人】
【識別番号】100161702
【弁理士】
【氏名又は名称】橋本 宏之
(74)【代理人】
【識別番号】100189348
【弁理士】
【氏名又は名称】古都 智
(74)【代理人】
【識別番号】100196689
【弁理士】
【氏名又は名称】鎌田 康一郎
(72)【発明者】
【氏名】松蔭 瞭
(72)【発明者】
【氏名】松本 知浩
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096EA03
5L096GA19
5L096GA51
5L096HA08
5L096KA04
(57)【要約】
【課題】機械学習モデルを適切に機械学習する。
【解決手段】画像処理装置は、撮影画像を縮小した縮小画像全体を検出対象として全体画像用学習済み機械学習モデルを用いて対象物の検出処理を行う全体画像処理部と、検出結果を表す情報を連続的に出力する出力部と、撮影画像を分割した各一部画像を検出対象として一部画像用学習済み機械学習モデルを用いて対象物の検出処理を、全体画像処理部による検出処理と並列して行う一部画像処理部と、全体画像処理部の検出結果と一部画像処理部の検出結果とを照合する照合部と、全体画像処理部の検出結果と一部画像処理部の検出結果とが不一致の場合、対応する縮小画像と一部画像処理部の検出結果との組を正解データとして含むデータセットを用いて全体画像用学習済み機械学習モデルを再学習するモデル再学習部とを備え、運用中の全体画像用学習済み機械学習モデルが補正される。
【選択図】
図1
【特許請求の範囲】
【請求項1】
処理対象の撮影画像を連続的に取得する画像取得部と、
前記撮影画像を縮小して縮小画像を作成する画像縮小部と、
前記縮小画像全体を検出対象として全体画像用学習済み機械学習モデルを用いて対象物の検出処理を行う全体画像処理部と、
前記全体画像処理部による検出結果を表す情報を連続的に出力する出力部と、
前記撮影画像を複数の一部画像に分割する画像分割部と、
各前記一部画像を検出対象として一部画像用学習済み機械学習モデルを用いて前記対象物の検出処理を、前記全体画像処理部による前記検出処理と並列して行う一部画像処理部と、
前記全体画像処理部の検出結果と前記一部画像処理部の検出結果とを照合する照合部と、
照合の結果、前記全体画像処理部の検出結果と前記一部画像処理部の検出結果とが不一致の場合、対応する前記縮小画像と前記一部画像処理部の検出結果との組を正解データとして含むデータセットを用いて、前記全体画像用学習済み機械学習モデルを再学習するモデル再学習部と、
を備え、
前記再学習の結果に基づき運用中の前記全体画像用学習済み機械学習モデルが補正される
画像処理装置。
【請求項2】
前記照合の結果、前記全体画像処理部の検出結果と前記一部画像処理部の検出結果とが不一致の場合、対応する前記縮小画像と前記一部画像処理部の検出結果との組を蓄積する蓄積部を
さらに備える
請求項1に記載の画像処理装置。
【請求項3】
前記一部画像処理部は、1つの前記撮影画像を分割した各前記一部画像に対する検出処理が終了した場合、他の前記撮影画像を分割した各前記一部画像に対する検出処理を開始する
請求項2に記載の画像処理装置。
【請求項4】
前記モデル再学習部は、再学習した前記全体画像用学習済み機械学習モデルを用いた前記検出処理による前記照合の結果が不一致となった前記縮小画像に対する新たな検出結果が、前記一部画像処理部の検出結果と一致するまで、同一の前記データセットを用いて前記全体画像用学習済み機械学習モデルを繰り返し再学習する
請求項3に記載の画像処理装置。
【請求項5】
前記検出処理は、前記対象物の種類と個数と位置と大きさとを検出する処理であり、
前記照合部は、前記種類と前記個数が一致し、かつ、前記位置と前記大きさが所定の誤差範囲内で一致した場合に、前記検出結果が一致したと判定する
請求項4に記載の画像処理装置。
【請求項6】
少なくとも、前記画像取得部と、前記画像縮小部と、前記全体画像処理部とがエッジ側システムに含まれ、
前記出力部と、前記画像分割部と、前記一部画像処理部と、前記照合部と、前記モデル再学習部とが、前記エッジ側システムと無線通信にて接続された基地側システムに含まれている
請求項5に記載の画像処理装置。
【請求項7】
処理対象の撮影画像を連続的に取得するステップと、
前記撮影画像を縮小して縮小画像を作成するステップと、
前記縮小画像全体を検出対象として全体画像用学習済み機械学習モデルを用いて対象物の検出処理を行うステップと、
前記縮小画像全体を検出対象とした前記検出処理の検出結果を表す情報を連続的に出力するステップと、
前記撮影画像を複数の一部画像に分割するステップと、
各前記一部画像を検出対象として一部画像用学習済み機械学習モデルを用いて前記対象物の検出処理を、前記縮小画像全体を検出対象とした前記検出処理と並列して行うステップと、
前記縮小画像全体を検出対象とした前記検出処理の検出結果と各前記一部画像を検出対象とした前記検出処理の検出結果とを照合するステップと、
照合の結果、前記縮小画像全体を検出対象とした前記検出処理の検出結果と各前記一部画像を検出対象とした前記検出処理の検出結果とが不一致の場合、対応する前記縮小画像と各前記一部画像を検出対象とした前記検出処理の検出結果との組を正解データとして含むデータセットを用いて、前記全体画像用学習済み機械学習モデルを再学習するステップと、
前記再学習の結果に基づき運用中の前記全体画像用学習済み機械学習モデルを補正するステップと
を含む画像処理方法。
【請求項8】
処理対象の撮影画像を連続的に取得するステップと、
前記撮影画像を縮小して縮小画像を作成するステップと、
前記縮小画像全体を検出対象として全体画像用学習済み機械学習モデルを用いて対象物の検出処理を行うステップと、
前記縮小画像全体を検出対象とした前記検出処理の検出結果を表す情報を連続的に出力するステップと、
前記撮影画像を複数の一部画像に分割するステップと、
各前記一部画像を検出対象として一部画像用学習済み機械学習モデルを用いて前記対象物の検出処理を、前記縮小画像全体を検出対象とした前記検出処理と並列して行うステップと、
前記縮小画像全体を検出対象とした前記検出処理の検出結果と各前記一部画像を検出対象とした前記検出処理の検出結果とを照合するステップと、
照合の結果、前記縮小画像全体を検出対象とした前記検出処理の検出結果と各前記一部画像を検出対象とした前記検出処理の検出結果とが不一致の場合、対応する前記縮小画像と各前記一部画像を検出対象とした前記検出処理の検出結果との組を正解データとして含むデータセットを用いて、前記全体画像用学習済み機械学習モデルを再学習するステップと、
前記再学習の結果に基づき運用中の前記全体画像用学習済み機械学習モデルを補正するステップと
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【0002】
特許文献1には、画像認識による2種類の人数推定手法を組み合わせることで、画像に含まれている人数を推定する画像処理装置が記載されている。特許文献1に記載されている画像処理装置では、例えば、人数が既知である大量の画像をデータセットとして用いて機械学習された学習済み機械学習モデルを用いて画像に含まれている人数が推定される。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載されているような学習済み機械学習モデルを用いた画像認識処理において認識精度を向上させるには、例えば機械学習モデルを適切に機械学習する必要があるという課題がある。
【0005】
本開示は、上記事情に鑑みてなされたものであり、画像認識に用いる機械学習モデルを適切に機械学習させることができる画像処理装置、画像処理方法およびプログラムを適用することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本開示に係る画像処理装置は、処理対象の撮影画像を連続的に取得する画像取得部と、前記撮影画像を縮小して縮小画像を作成する画像縮小部と、前記縮小画像全体を検出対象として全体画像用学習済み機械学習モデルを用いて対象物の検出処理を行う全体画像処理部と、前記全体画像処理部による検出結果を表す情報を連続的に出力する出力部と、前記撮影画像を複数の一部画像に分割する画像分割部と、各前記一部画像を検出対象として一部画像用学習済み機械学習モデルを用いて前記対象物の検出処理を、前記全体画像処理部による前記検出処理と並列して行う一部画像処理部と、前記全体画像処理部の検出結果と前記一部画像処理部の検出結果とを照合する照合部と、照合の結果、前記全体画像処理部の検出結果と前記一部画像処理部の検出結果とが不一致の場合、対応する前記縮小画像と前記一部画像処理部の検出結果との組を正解データとして含むデータセットを用いて、前記全体画像用学習済み機械学習モデルを再学習するモデル再学習部と、を備え、前記再学習の結果に基づき運用中の前記全体画像用学習済み機械学習モデルが補正される。
【0007】
本開示に係る画像処理方法は、処理対象の撮影画像を連続的に取得するステップと、前記撮影画像を縮小して縮小画像を作成するステップと、前記縮小画像全体を検出対象として全体画像用学習済み機械学習モデルを用いて対象物の検出処理を行うステップと、前記縮小画像全体を検出対象とした前記検出処理の検出結果を表す情報を連続的に出力するステップと、前記撮影画像を複数の一部画像に分割するステップと、各前記一部画像を検出対象として一部画像用学習済み機械学習モデルを用いて前記対象物の検出処理を、前記縮小画像全体を検出対象とした前記検出処理と並列して行うステップと、前記縮小画像全体を検出対象とした前記検出処理の検出結果と各前記一部画像を検出対象とした前記検出処理の検出結果とを照合するステップと、照合の結果、前記縮小画像全体を検出対象とした前記検出処理の検出結果と各前記一部画像を検出対象とした前記検出処理の検出結果とが不一致の場合、対応する前記縮小画像と各前記一部画像を検出対象とした前記検出処理の検出結果との組を正解データとして含むデータセットを用いて、前記全体画像用学習済み機械学習モデルを再学習するステップと、前記再学習の結果に基づき運用中の前記全体画像用学習済み機械学習モデルを補正するステップとを含む。
【0008】
本開示に係るプログラムは、処理対象の撮影画像を連続的に取得するステップと、前記撮影画像を縮小して縮小画像を作成するステップと、前記縮小画像全体を検出対象として全体画像用学習済み機械学習モデルを用いて対象物の検出処理を行うステップと、前記縮小画像全体を検出対象とした前記検出処理の検出結果を表す情報を連続的に出力するステップと、前記撮影画像を複数の一部画像に分割するステップと、各前記一部画像を検出対象として一部画像用学習済み機械学習モデルを用いて前記対象物の検出処理を、前記縮小画像全体を検出対象とした前記検出処理と並列して行うステップと、前記縮小画像全体を検出対象とした前記検出処理の検出結果と各前記一部画像を検出対象とした前記検出処理の検出結果とを照合するステップと、照合の結果、前記縮小画像全体を検出対象とした前記検出処理の検出結果と各前記一部画像を検出対象とした前記検出処理の検出結果とが不一致の場合、対応する前記縮小画像と各前記一部画像を検出対象とした前記検出処理の検出結果との組を正解データとして含むデータセットを用いて、前記全体画像用学習済み機械学習モデルを再学習するステップと、前記再学習の結果に基づき運用中の前記全体画像用学習済み機械学習モデルを補正するステップとをコンピュータに実行させる。
【発明の効果】
【0009】
本開示の画像処理装置、画像処理方法およびプログラムによれば、画像認識に用いる機械学習モデルを適切に機械学習させることができる。
【図面の簡単な説明】
【0010】
【
図1】本開示の実施形態に係る画像処理装置の構成例を示すブロック図である。
【
図2】本開示の実施形態に係る全体画像処理の例を示すフローチャートである。
【
図3】本開示の実施形態に係る一部画像処理の例を示すフローチャートである。
【
図4】本開示の実施形態に係る再学習処理の例を示すフローチャートである。
【
図5】本開示の実施形態に係る画像処理装置の動作例を説明するための模式図である。
【
図6】本開示の実施形態に係る画像処理装置の動作例を説明するためのタイミングチャートである。
【
図7】本開示の実施形態に係る画像処理装置の実装例を説明するための模式図である。
【
図8】本開示の実施形態に係るコンピュータの構成を示す概略ブロック図である。
【発明を実施するための形態】
【0011】
以下、本開示の実施形態に係る画像処理装置、画像処理方法およびプログラムについて、
図1~
図8を参照して説明する。
図1は、本開示の実施形態に係る画像処理装置の構成例を示すブロック図である。
図2は、本開示の実施形態に係る全体画像処理の例を示すフローチャートである。
図3は、本開示の実施形態に係る一部画像処理の例を示すフローチャートである。
図4は、本開示の実施形態に係る再学習処理の例を示すフローチャートである。
図5は、本開示の実施形態に係る画像処理装置の動作例を説明するための模式図である。
図6は、本開示の実施形態に係る画像処理装置の動作例を説明するためのタイミングチャートである。
図7は、本開示の実施形態に係る画像処理装置の実装例を説明するための模式図である。
図8は、本開示の実施形態に係るコンピュータの構成を示す概略ブロック図である。なお、各図において同一または対応する構成には同一の符号を用いて説明を適宜省略する。
【0012】
[用語の定義]
まず、本実施形態で用いる一部の用語の定義について説明する。「暫定補正」:運用中の数分で再学習を終えるために、限られたデータセットにて短時間で再学習を行うことによる、学習済み機械学習モデルの補正である。「恒久補正」:新しく蓄積したデータセットも含めた大規模なデータセットを用いて長時間の再学習を行うことによる、学習済み機械学習モデルの補正である。「DNN」:深層ネットワーク(Deep Neural Networks)の略語である。「全体画像処理」:高解像度画像を縮小して画像全体を検出対象とする検出処理(高速だが小物体の検出性能は低い)を意味する。「一部画像処理」:高解像度画像を分割することで切り出し画像に対する検出処理(切り分けた高精細画像をすべて処理するため処理時間はかかるが、小物体の検出性能は高い)を意味する。「GPU(Graphics Processing Unit)」:画像処理に特化した演算装置である。膨大な並列演算を短時間で実行できるため、DNN(深層ネットワーク)の実装に用いられる。
【0013】
[画像処理装置の構成]
図1は本実施形態に係る画像処理装置1の構成例を示す。画像処理装置1は、GPU、CPU(Central Processing Unit)等のプロセッサを備えるサーバ等の1または複数のコンピュータを用いて構成することができ、コンピュータ、周辺装置等のハードウェアと、コンピュータが実行するプログラム等のソフトウェアとの組み合わせ等から構成される機能的構成として次の各部を備える。すなわち、画像処理装置1は、機能的構成として、画像取得部10、画像縮小部11、記憶部12、全体画像処理部13、出力部14、画像分割部15、一部画像処理部16、照合部17、モデル再学習部18、モデル補正部19および蓄積部20を備える。また、全体画像処理部13は、全体画像用学習済み機械学習モデル131を含む。一部画像処理部16は、一部画像用学習済み機械学習モデル161を含む。
【0014】
画像取得部10は、処理対象の撮影画像を連続的に取得する。連続的に取得するとは、周期的に繰り返し取得するという意味である。画像取得部10は、取得した撮影画像を記憶部12に記憶する。なお、画像取得部10は、カメラを含むものであってもよいし、カメラを含まずに例えばカメラが撮影した画像データを取り込むインタフェース等を含むものであってもよい。なお、処理対象の撮影画像を撮影するカメラは、例えばドローン等に搭載されたカメラ、例えば工場、港湾、河川、イベント会場等に設置された固定カメラ等である。また、カメラは、映像データとして撮影画像を表す画像データを出力するものであってもよいし、静止画像データとして出力するものであってもよい。
【0015】
画像縮小部11は、画像取得部10が取得した撮影画像を縮小して縮小画像を作成する。画像縮小部11は、作成した縮小画像を例えば記憶部12に記憶する。例えば、画像縮小部11は、画素数が2,304×2,304pixelの撮影画像を縮小して、768×768pixelの縮小画像を作成する。
【0016】
記憶部12は、撮影画像、縮小画像、後述する検出結果等を一時的に記憶する。なお、記憶部12は、例えば分散配置された複数の記憶装置を含んでいたり、クラウド上等に構成されていたりしてもよい。
【0017】
全体画像処理部13は、縮小画像全体を検出対象として全体画像用学習済み機械学習モデル131を用いて対象物の検出処理を行う。全体画像用学習済み機械学習モデル131は、各縮小画像が含む検出対象物の情報がラベル付けされた複数の縮小画像を学習用データセットとして予め教師あり機械学習された学習済み機械学習モデルである。全体画像用学習済み機械学習モデル131は、縮小画像を表す画像データを入力し、その縮小画像が含む1または複数の対象物の種類、個数、位置(例えば対象物を含む矩形の1頂点の画素座標値を表す情報)、および、サイズ(例えば対象物を含む矩形の2辺の大きさや対角線を特定する情報)を表す情報を出力する。全体画像用学習済み機械学習モデル131は、例えばニューラルネットワークを要素とする学習済みモデルであり、入力される多数のデータに対して求める解が出力されるよう、機械学習によりニューラルネットワークの各層のニューロン間の重み付け係数が最適化されている。全体画像用学習済み機械学習モデル131は、例えば、入力から出力までの演算を行うプログラムと当該演算に用いられる重み付け係数(パラメータ)の組合せで構成される。全体画像処理部13は、対象物の検出処理の検出結果として、縮小画像毎に、検出した対象物の種類、個数、位置、サイズ等を表す情報を出力し、例えば記憶部12に記憶する。
【0018】
出力部14は、全体画像処理部13による検出結果を表す情報を連続的に出力する。出力部14は、例えば、表示装置を含み、表示装置の画面上に縮小画像または撮影画像を表示するとともに、全体画像処理部13による検出結果を表す情報を重畳させて表示する。監視者は、出力部14が出力した情報に基づいて撮像画像が含む対象物についての情報をほぼリアルタイムで確認することができる。
【0019】
画像分割部15は、撮影画像を複数の一部画像に分割する。画像分割部15は、作成した一部画像を例えば記憶部12に記憶する。画像分割部15は、例えば、画素数が2,304×2,304pixelの撮影画像を分割して、768×768pixelの9枚の一部画像を作成する。
【0020】
一部画像処理部16は、各一部画像を検出対象として一部画像用学習済み機械学習モデル161を用いて対象物の検出処理を、全体画像処理部13による検出処理と並列して行う。一部画像用学習済み機械学習モデル161は、全体画像用学習済み機械学習モデル131と同様の学習済み機械学習モデルであり、一部画像を表す画像データを入力し、その一部画像が含む1または複数の対象物の種類、個数、位置、およびサイズを表す情報を出力する。一部画像処理部16は、対象物の検出処理の検出結果として、一部画像毎に得られた検出した対象物の種類、個数、位置、サイズ等を表す情報を、1枚の撮影画像(またはその縮小画像)に対応する情報となるように統合して出力し、例えば記憶部12に記憶する。
【0021】
照合部17は、全体画像処理部13の検出結果と一部画像処理部16の検出結果とを照合する。照合部17は、全体画像処理部13の検出結果と、対応する一部画像処理部16の検出結果とを比較し、内容が一致しているか否かを判定する。照合部17は、例えば、各検出結果における、検出された対象物の種類と個数と位置と大きさとを比較し、種類と個数が一致し、かつ、位置と大きさが所定の誤差範囲内で一致した場合に、検出結果が一致したと判定する。
【0022】
モデル再学習部18は、照合部17による照合の結果、全体画像処理部13の検出結果と一部画像処理部16の検出結果とが不一致の場合、対応する縮小画像と一部画像処理部16の検出結果との組を正解データとして含むデータセットを用いて、全体画像用学習済み機械学習モデル131を再学習する。ここで、対応する縮小画像とは、一部画像処理部16が検出対象とした各一部画像の分割前の撮影画像を縮小した縮小画像である。また、再学習で用いるデータセットは、例えば、対応する縮小画像に一部画像処理部16の検出結果をラベル付けしたデータセットと、全体画像用学習済み機械学習モデル131を学習する際に用いたデータセットの中から選択した一部のデータセット(例えば典型的なデータセット等)とを含む。なお、再学習する全体画像用学習済み機械学習モデル131は、運用中のモデルと同一の状態に設定されたモデルである。
【0023】
なお、モデル再学習部18は、再学習した全体画像用学習済み機械学習モデル131を用いた検出処理による照合の結果が不一致となった縮小画像に対する新たな検出結果が、一部画像処理部16の検出結果と一致するまで、同一のデータセットを用いて全体画像用学習済み機械学習モデル131を繰り返し再学習することができる。この場合、全体画像用学習済み機械学習モデル131は、少なくとも不一致となった縮小画像に対して一部画像処理部16の検出結果と同一の検出結果を出力することができるようになる。
【0024】
モデル補正部19は、モデル再学習部18による再学習の結果に基づき運用中の全体画像用学習済み機械学習モデル131を補正する。この補正が「暫定補正」である。
【0025】
蓄積部20は、照合部17による照合の結果、全体画像処理部13の検出結果と一部画像処理部16の検出結果とが不一致の場合、対応する縮小画像と一部画像処理部16の検出結果との組を蓄積する。例えばオペレータの判断の下、蓄積部20に蓄積されているデータセットを用いて全体画像用学習済み機械学習モデル131を「恒久補正」することができる。
【0026】
[画像処理装置の動作例]
図1を参照して説明した画像処理装置1は、
図2に示す全体画像処理と
図3に示す一部画像処理とを並列して実行する。また、全体画像処理の検出結果と一部画像処理の検出結果とが一致しなかった場合には、画像処理装置1は
図4に示す再学習処理を、全体画像処理および一部画像処理と並列して実行する。
図5および
図6は、全体画像処理、一部画像処理および再学習処理の実行例を模式的に示す。なお、
図5に示す画像の例は、海と山と空と、海上を航行している対象物である2隻の船を含んでいる。
【0027】
[全体画像処理]
図2は、全体画像処理の例を示す。
図2に示す全体画像処理では、まず、画像取得部10が含む(あるいは外部の)カメラが撮影画像を撮影する(ステップS10)。次に、画像取得部10が、撮影画像を記憶部12に記憶する(ステップS11)。次に、画像縮小部11が、撮影画像を縮小して縮小画像を作成し、例えば記憶部12に記憶する(ステップS12)。次に、全体画像処理部13が、縮小画像に対して全体画像用学習済み機械学習モデル131を用いて対象物の検出処理を行い、検出結果を例えば記憶部12に記憶する(ステップS13)。次に、出力部14が、検出結果と例えば処理対象とした縮小画像とを出力する(ステップS14)。以降、ステップS10~S14の処理が繰り返し実行される。全体画像処理では、
図5に示すように、1回の処理対象は、黒枠で示す縮小画像全体である。ただし、縮小画像は、撮影画像に対して例えば解像度が1/3(総画素数が1/9)に低下した画像である。
図6に示す例では、全体画像処理では、1枚の縮小画像(I1)に対する処理が60ミリ秒で実行され、処理が終了すると次の縮小画像(I2)の処理が開始される。
【0028】
[一部画像処理]
図3は、一部画像処理の例を示す。
図3に示す一部画像処理では、まず、画像分割部15が最新の撮影画像を例えば記憶部12から読み込み(ステップS20)、複数の一部画像に分割して、例えば記憶部12に記憶する(ステップS21)。この場合、画像分割部15は、1枚の撮影画像を9枚の一部画像(一部画像1~9とする)に分割したとする。
【0029】
次に、一部画像処理部16が、分割した一部画像1~9に対して順次、検出処理を実行する(ステップS22~30)。次に、一部画像処理部16が、検出結果を統合する(ステップS31)。次に、照合部17が、対応する全体画像処理の検出結果を例えば記憶部12から読み込み(ステップS32)、全体画像処理の検出結果と一部画像処理の検出結果を照合する(ステップS33)。
【0030】
照合部17は、全体画像処理と一部画像処理の検出結果が同一か否かを判定し(ステップS34)、同一の場合(ステップS34:YES)、処理をステップS20へ戻す。一方、同一でなかった場合(ステップS34:NO)、照合部17は、一部画像処理の結果を例えば記憶部12に記憶し(ステップS35)、再学習のループをスタートさせる(ステップS36)。なお、ステップS36では例えば再学習処理を開始せよとのフラグを立てるだけで、再学習の処理は実行されない。次に、照合部17は、処理をステップS20へ戻す。以後、ステップS20以降の処理が繰り返し実行される。
【0031】
一部画像処理では、
図5に示す例では、1回の処理対象は、黒枠で示す9枚の一部画像のうちの1枚の一部画像である。また、
図6に示すように、一部画像処理では、1枚の縮小画像(I1)に対応する9枚の一部画像(I1)に対する処理が180ミリ秒で実行され、処理が終了すると次の縮小画像(I4)に対する9枚の一部画像(I4)に対する処理が開始される。
【0032】
[再学習処理]
図4は、再学習処理の例を示す。
図4に示す再学習処理では、まずモデル再学習部18が、再学習が必要か否かを繰り返し判定する(ステップS40:NOの繰り返し)。
図3のステップS36で例えば再学習処理を開始せよとのフラグが立てられた場合、モデル再学習部18は、再学習が必要であると判定し(ステップS40:YES)、一部画像処理の結果を読み込み(ステップS41)、全体画像用学習済み機械学習モデル131を再学習する(ステップS42)。次に、モデル再学習部18は、再学習した全体画像用学習済み機械学習モデル131に、結果が不一致となった縮小画像を入力し、検出結果を求める(ステップS43)。次に、モデル再学習部18は、一部画像処理の検出結果と、再学習した全体画像用学習済み機械学習モデル131が出力した検出結果とを比較し(ステップS44)、一致しなかった場合(ステップS44:NO)、再学習を再度実行する(ステップS42)。一方、一致した場合(ステップS44:YES)、モデル補正部19が運用中の全体画像用学習済み機械学習モデル131へ再学習の結果を反映する(ステップS45)。また、一部画像処理の結果が恒久補正時のデータセットとして蓄積部20に蓄積される(ステップS46)。
【0033】
図5および
図6に示すように、一部画像(I1)に対する一部画像処理が終了した時点(タイミングAとする)で、「全体画像処理で検出できず、一部画像処理で検出できる物体A」があった場合、一部画像処理結果を用いて、全体画像用学習済み機械学習モデルの再学習が開始される。そして、
図6に示す例では3分間で再学習が完了し、運用中の全体画像用学習済み機械学習モデル131が補正されている(タイミングBとする)。
図5および
図6に示すように、タイミングBで再学習完了後は、全体画像処理にて物体Aが検出できるようになる。
【0034】
[実装例]
図7は、
図1を参照して説明した画像処理装置1の実装例を示す。
図7に示す例では、例えばドローン上の搭載されたエッジ側システム101が、カメラ102と全体画像処理用のGPUサーバ103とを備える。また、基地側システム201は、破線の下または右に示す、一部画像処理用のGPUサーバ202と、データ保存用サーバ203と、全体画像処理の暫定補正用のGPUサーバ204と、出力先となるモニタを備えた端末205とを備える。なお、通信線301は、有線または無線の通信線あるいは通信回線である。
【0035】
図7に示す例では、例えば、画像取得部10と、画像縮小部11と、全体画像処理部13とがエッジ側システム101に含まれ、出力部14と、画像分割部15と、一部画像処理部16と、照合部17と、モデル再学習部18とが、エッジ側システム101と無線通信にて接続された基地側システム201に含まれている。なお、データ保存用サーバ203は、例えば、記憶部12と蓄積部20に対応する。
【0036】
[実施形態の作用・効果]
低解像度画像が対象の「縮小画像に対する検出処理」(全体画像処理)は高速に処理できる反面、検出精度が低く単独では学習(精度向上)も困難だが、並行して処理する「切り出し画像に対する検出処理」(一部画像処理)での検出結果を学習することで、未知の物体に対しても高速に検出することが可能になる。また、「切り出し画像に対する検出処理」の結果を恒久補正時のデータセットとして蓄積するため、システムの中長期的な性能向上が可能である。すなわち、本実施形態によれば、画像認識に用いる機械学習モデルを適切に機械学習させることができる。
【0037】
(その他の実施形態)
以上、本開示の実施の形態について図面を参照して詳述したが、具体的な構成はこの実施の形態に限られるものではなく、本開示の要旨を逸脱しない範囲の設計変更等も含まれる。
【0038】
[コンピュータ構成]
図8は、少なくとも1つの実施形態に係るコンピュータの構成を示す概略ブロック図を示す。
コンピュータ90は、プロセッサ91、メインメモリ92、ストレージ93、および、インタフェース94を備える。
上述の画像処理装置1は、コンピュータ90に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ93に記憶されている。プロセッサ91は、プログラムをストレージ93から読み出してメインメモリ92に展開し、当該プログラムに従って上記処理を実行する。また、プロセッサ91は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ92に確保する。
【0039】
プログラムは、コンピュータ90に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージに既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、コンピュータは、上記構成に加えて、または上記構成に代えてPLD(Programmable Logic Device)などのカスタムLSI(Large Scale Integrated Circuit)を備えてもよい。PLDの例としては、PAL(Programmable Array Logic)、GAL(Generic Array Logic)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array)等が挙げられる。この場合、プロセッサによって実現される機能の一部または全部が当該集積回路によって実現されてよい。
【0040】
ストレージ93の例としては、HDD(Hard Disk Drive)、SSD(Solid State Drive)、磁気ディスク、光磁気ディスク、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(Digital Versatile Disc Read Only Memory)、半導体メモリ等が挙げられる。ストレージ93は、コンピュータ90のバスに直接接続された内部メディアであってもよいし、インタフェース94または通信回線を介してコンピュータ90に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ90に配信される場合、配信を受けたコンピュータ90が当該プログラムをメインメモリ92に展開し、上記処理を実行してもよい。少なくとも1つの実施形態において、ストレージ93は、一時的でない有形の記憶媒体である。
【0041】
<付記>
実施形態に記載の画像処理装置1は、例えば以下のように把握される。
【0042】
(1)第1の態様に係る画像処理装置1は、処理対象の撮影画像を連続的に取得する画像取得部10と、前記撮影画像を縮小して縮小画像を作成する画像縮小部11と、前記縮小画像全体を検出対象として全体画像用学習済み機械学習モデル131を用いて対象物の検出処理を行う全体画像処理部13と、前記全体画像処理部による検出結果を表す情報を連続的に出力する出力部14と、前記撮影画像を複数の一部画像に分割する画像分割部15と、各前記一部画像を検出対象として一部画像用学習済み機械学習モデル161を用いて前記対象物の検出処理を、前記全体画像処理部による前記検出処理と並列して行う一部画像処理部16と、前記全体画像処理部の検出結果と前記一部画像処理部の検出結果とを照合する照合部17と、照合の結果、前記全体画像処理部の検出結果と前記一部画像処理部の検出結果とが不一致の場合、対応する前記縮小画像と前記一部画像処理部の検出結果との組を正解データとして含むデータセットを用いて、前記全体画像用学習済み機械学習モデルを再学習するモデル再学習部18と、を備え、前記再学習の結果に基づき運用中の前記全体画像用学習済み機械学習モデル131が補正される。本態様および以下の各態様によれば、画像認識に用いる機械学習モデルを適切に機械学習させることができる。
【0043】
(2)第2の態様に係る画像処理装置1は、(1)の画像処理装置1であって、前記照合の結果、前記全体画像処理部の検出結果と前記一部画像処理部の検出結果とが不一致の場合、対応する前記縮小画像と前記一部画像処理部の検出結果との組を蓄積する蓄積部20をさらに備える。本態様によれば、システムの中長期的な性能向上が図れる。
【0044】
(3)第3の態様に係る画像処理装置1は、(1)または(2)の画像処理装置1であって、前記一部画像処理部16は、1つの前記撮影画像を分割した各前記一部画像に対する検出処理が終了した場合、他の前記撮影画像を分割した各前記一部画像に対する検出処理を開始する。
【0045】
(4)第4の態様に係る画像処理装置1は、(1)~(3)の画像処理装置1であって、前記モデル再学習部18は、再学習した前記全体画像用学習済み機械学習モデル131を用いた前記検出処理による前記照合の結果が不一致となった前記縮小画像に対する新たな検出結果が、前記一部画像処理部16の検出結果と一致するまで、同一の前記データセットを用いて前記全体画像用学習済み機械学習モデル131を繰り返し再学習する。
【0046】
(5)第5の態様に係る画像処理装置1は、(1)~(4)の画像処理装置1であって、前記検出処理は、前記対象物の種類と個数と位置と大きさとを検出する処理であり、前記照合部17は、前記種類と前記個数が一致し、かつ、前記位置と前記大きさが所定の誤差範囲内で一致した場合に、前記検出結果が一致したと判定する。
【0047】
(6)第6の態様に係る画像処理装置1は、(1)~(5)の画像処理装置1であって、少なくとも、前記画像取得部10と、前記画像縮小部11と、前記全体画像処理部13とがエッジ側システム101に含まれ、前記出力部14と、前記画像分割部15と、前記一部画像処理部16と、前記照合部17と、前記モデル再学習部18とが、前記エッジ側システム101と無線通信にて接続された基地側システム201に含まれている。
【符号の説明】
【0048】
1…画像処理装置
10…画像取得部
11…画像縮小部
12…記憶部
13…全体画像処理部
14…出力部
15…画像分割部
16…一部画像処理部
17…照合部
18…モデル再学習部
19…モデル補正部
20…蓄積部
101…エッジ側システム
131…全体画像用学習済み機械学習モデル
161…一部画像用学習済み機械学習モデル
201…基地側システム