特開 2024-27258 分類器生成装置、分類器生成方法、分類器生成プログラム、および画像分類装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024027258

(43)【公開日】2024-03-01

(54)【発明の名称】分類器生成装置、分類器生成方法、分類器生成プログラム、および画像分類装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240222BHJP

   G06T 7/11 20170101ALI20240222BHJP

   G06V 10/764 20220101ALI20240222BHJP

【ＦＩ】

G06T7/00 350B

G06T7/11

G06V10/764

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2022129914

(22)【出願日】2022-08-17

(71)【出願人】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(71)【出願人】

【識別番号】301063496

【氏名又は名称】東芝デジタルソリューションズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】大平 英貴

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096CA02

5L096DA02

5L096FA02

5L096FA32

5L096GA19

5L096GA51

5L096HA11

5L096JA22

5L096KA04

(57)【要約】

【課題】領域分類器を容易に生成する。
【解決手段】分類器生成装置１０は、パッチ画像取得部４０Ａと、パッチ分類器生成部４０Ｂと、領域分類結果画像生成部４０Ｃと、領域分類器生成部４０Ｆと、を備える。パッチ画像取得部４０Ａは、状態可変の対象物２０の画像である教師画像における複数画素からなる部分領域をパッチ画像として取得する。パッチ分類器生成部４０Ｂは、パッチ画像を入力とし、パッチ画像に写り込んだ対象物の状態の分類結果を出力とするパッチ分類器を生成する。領域分類結果画像生成部４０Ｃは、パッチ分類器を用いて、画像を構成する要素であってパッチ画像より小さい領域である要素ごとに分類結果を規定した領域分類結果画像を生成する。領域分類器生成部４０Ｆは、教師画像と領域分類結果画像との対からなる学習データを用いて、画像を入力とし領域分類結果画像である領域分類結果を出力とする領域分類器を生成する。
【選択図】図２

【特許請求の範囲】

【請求項1】

状態可変の対象物の画像である教師画像における複数画素からなる部分領域をパッチ画像として取得するパッチ画像取得部と、
前記パッチ画像を入力とし、前記パッチ画像に写り込んだ前記対象物の状態の分類結果を出力とするパッチ分類器を生成するパッチ分類器生成部と、
前記パッチ分類器を用いて、前記画像を構成する要素であって前記パッチ画像より小さい領域である前記要素ごとに前記分類結果を規定した領域分類結果画像を生成する領域分類結果画像生成部と、
前記教師画像と前記領域分類結果画像との対からなる学習データを用いて、前記画像を入力とし前記領域分類結果画像である領域分類結果を出力とする領域分類器を生成する領域分類器生成部と、
を備える分類器生成装置。

【請求項2】

前記領域分類結果画像生成部は、
前記パッチ画像の画像枠の位置を前記教師画像内で前記パッチ画像のサイズより小さいスライド幅でスライドさせ、スライドさせた各位置の前記画像枠内の枠内画像を前記パッチ分類器へ入力し、前記パッチ分類器から出力された前記枠内画像ごとの前記分類結果を用いて、前記領域分類結果画像を生成する、
請求項１に記載の分類器生成装置。

【請求項3】

前記領域分類結果画像から、前記領域分類結果画像における位置および前記教師画像における対応する画素位置の画素値が類似する複数の前記要素からなる要素群を特定する特定部と、
特定した前記要素群ごとに、前記要素群に含まれる複数の前記要素の各々に規定された前記分類結果を、前記要素群に含まれる前記要素に規定された最大数の前記分類結果に補正した、補正領域分類結果画像を生成する補正部と、
を備え、
前記領域分類器生成部は、
前記教師画像と前記領域分類結果画像を補正した前記補正領域分類結果画像との対からなる前記学習データを用いて、前記画像を入力とし前記補正領域分類結果画像である前記領域分類結果を出力とする前記領域分類器を生成する、
請求項１に記載の分類器生成装置。

【請求項4】

前記パッチ分類器生成部は、
前記パッチ画像から、前記パッチ画像を複数領域に分割した分割領域ごとに前記パッチ画像に写り込んだ前記対象物の状態の前記分類結果を出力する前記パッチ分類器を生成する、
請求項１に記載の分類器生成装置。

【請求項5】

前記パッチ分類器生成部は、
前記パッチ画像から、前記パッチ画像を前記要素ごとに分割した前記分割領域ごとに前記分類結果を出力する前記パッチ分類器を生成する、
請求項４に記載の分類器生成装置。

【請求項6】

前記パッチ分類器生成部は、
前記パッチ画像から、前記パッチ画像を前記画像に写り込んだ構造物の構造物領域と前記対象物の対象物領域とに分割した前記分割領域ごとに前記分類結果を出力する、前記パッチ分類器を生成する、
請求項４に記載の分類器生成装置。

【請求項7】

前記パッチ分類器生成部は、
前記パッチ画像、および前記パッチ画像を前記パッチ画像に写り込んだ構造物の構造物領域と前記対象物の対象物領域とに分割した分割結果から、前記パッチ画像を複数領域に分割した前記分割領域ごとの前記分類結果を出力する、前記パッチ分類器を生成する、
請求項４に記載の分類器生成装置。

【請求項8】

前記パッチ分類器生成部は、
取得した前記パッチ画像の内、１種類のみの前記状態の前記対象物が写り込んだ前記パッチ画像を用いて前記パッチ分類器を生成する、
請求項１に記載の分類器生成装置。

【請求項9】

前記パッチ分類器生成部は、
前記対象物に対する操作を行うための操作機構の動き情報を取得し、
前記教師画像の撮影時の前記操作機構の動き情報に基づいて、前記教師画像から切り出された前記パッチ画像に前記分類結果を教示し、
前記パッチ画像を入力とし、教示した前記分類結果を出力とする前記パッチ分類器を生成する、
請求項１に記載の分類器生成装置。

【請求項10】

前記パッチ分類器生成部は、
取得した前記パッチ画像の内、前記対象物に対する操作を行うための操作機構が写り込んだ前記パッチ画像を、前記パッチ分類器の生成に用いる前記パッチ画像の対象外とする、
請求項１に記載の分類器生成装置。

【請求項11】

前記パッチ画像取得部は、
取得済の前記パッチ画像とは異なる前記パッチ画像を新たな前記パッチ画像として優先的に取得する、
請求項１に記載の分類器生成装置。

【請求項12】

前記領域分類結果画像を、
三次元空間における任意の視点方向から視認した視点変換画像に変換する、視点変換画像生成部、
を備える請求項１に記載の分類器生成装置。

【請求項13】

状態可変の対象物の画像である教師画像における複数画素からなる部分領域をパッチ画像として取得するステップと、
前記パッチ画像を入力とし、前記パッチ画像に写り込んだ前記対象物の状態の分類結果を出力とするパッチ分類器を生成するステップと、
前記パッチ分類器を用いて、前記画像を構成する要素であって前記パッチ画像より小さい領域である前記要素ごとに前記分類結果を規定した領域分類結果画像を生成するステップと、
前記教師画像と前記領域分類結果画像との対からなる学習データを用いて、前記画像を入力とし前記領域分類結果画像である領域分類結果を出力とする領域分類器を生成するステップと、
を含む分類器生成方法。

【請求項14】

状態可変の対象物の画像である教師画像における複数画素からなる部分領域をパッチ画像として取得するステップと、
前記パッチ画像を入力とし、前記パッチ画像に写り込んだ前記対象物の状態の分類結果を出力とするパッチ分類器を生成するステップと、
前記パッチ分類器を用いて、前記画像を構成する要素であって前記パッチ画像より小さい領域である前記要素ごとに前記分類結果を規定した領域分類結果画像を生成するステップと、
前記教師画像と前記領域分類結果画像との対からなる学習データを用いて、前記画像を入力とし前記領域分類結果画像である領域分類結果を出力とする領域分類器を生成するステップと、
をコンピュータに実行させるための分類器生成プログラム。

【請求項15】

請求項１に記載の分類器生成装置によって生成された前記領域分類器を用いて画像を分類する画像分類装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、分類器生成装置、分類器生成方法、分類器生成プログラム、および画像分類装置に関する。

【背景技術】

【0002】

画像中の全ての画素の各々に対して正解クラスを教示した学習データを用いて、画像から分類結果を画素ごとに規定した領域分類結果を出力する領域分類器を生成する方法が開示されている（例えば、特許文献１、特許文献２、および特許文献３等参照）。また、画像中に写り込んだ対象の種類の教示、または画像中に写り込んだ対象の領域を矩形枠で囲む教示を行うことで、領域分類器を生成する方法が開示されている（例えば、非特許文献１、非特許文献２、および非特許文献３参照）。また、画像中の一部の画素に対して正解クラスを教示した学習データを用いて、領域分類器を生成する方法が開示されている（非特許文献４等参照）。

【0003】

しかし、画像中の全ての画素の各々に対して正解クラスを教示する方法は、教示作業を行うユーザの作業負荷が高い。また、互いに異なる分類結果を表す複数の領域が混在した対象物が画像中に写り込んでいる場合、領域の境界付近の画素の正解クラスをユーザが教示することは困難となる場合があった。また、画像中に写り込んだ対象の種類を教示する方法では、領域分類器の生成のために、様々な種類の対象が写り込んだ画像を大量に用意する必要があった。また、画像中に写り込んだ対象の領域を矩形枠で囲む教示を行う方法では、互いに異なる分類結果を表す複数の領域間の境界が明確な画像を用意する必要があった。また、画像中の一部の画素に対して正解クラスを教示する方法では、領域分類器の生成のために、様々な種類の対象が様々な位置に写り込んだ画像を大量に用意する必要があった。すなわち、従来技術では、領域分類器を容易に生成することは困難であった。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第６３０９６６３号公報

【特許文献2】特表２０２１－５０９７１３号公報

【特許文献3】特許第６８００９０１号公報

【非特許文献】

【0005】

【非特許文献1】Ｇｕｏｌｅｉ Ｓｕｎ， Ｗｅｎｇｕａｎ Ｗａｎｇ， Ｊｉｆｅｎｇ Ｄａｉ， ａｎｄ Ｌｕｃ Ｖａｎ Ｇｏｏｌ． Ｍｉｎｉｎｇ ｃｒｏｓｓ－ｉｍａｇｅ ｓｅｍａｎｔｉｃｓ ｆｏｒ ｗｅａｋｌｙ ｓｕｐｅｒｖｉｓｅｄ ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ． Ｉｎ ＥＣＣＶ， ２０２０．

【非特許文献2】Ａｈｎ， Ｊ．， Ｃｈｏ， Ｓ．， Ｋｗａｋ， Ｓ．： Ｗｅａｋｌｙ ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ ｏｆ ｉｎｓｔａｎｃｅ ｓｅｇｍｅｎｔａｔｉｏｎ ｗｉｔｈ ｉｎｔｅｒ－ｐｉｘｅｌ ｒｅｌａｔｉｏｎｓ． Ｉｎ： ＣＶＰＲ （２０１９）

【非特許文献3】Ａ． Ｋｈｏｒｅｖａ， Ｒ． Ｂｅｎｅｎｓｏｎ， Ｊ． Ｈｏｓａｎｇ， Ｍ． Ｈｅｉｎ， ａｎｄ Ｂ． Ｓｃｈｉｅｌｅ． Ｓｉｍｐｌｅ ｄｏｅｓ ｉｔ： Ｗｅａｋｌｙ ｓｕｐｅｒｖｉｓｅｄ ｉｎｓｔａｎｃｅ ａｎｄ ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ． Ｉｎ ＣＶＰＲ， ２０１７．

【非特許文献4】Ｄ． Ｌｉｎ， Ｊ． Ｄａｉ， Ｊ． Ｊｉａ， Ｋ． Ｈｅ， ａｎｄ Ｊ． Ｓｕｎ． Ｓｃｒｉｂｂｌｅｓｕｐ： Ｓｃｒｉｂｂｌｅ－ｓｕｐｅｒｖｉｓｅｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ． Ｉｎ （ＣＶＰＲ）， ２０１６．

【非特許文献5】Ｏ． Ｒｏｎｎｅｂｅｒｇｅｒ， Ｐ． Ｆｉｓｃｈｅｒ， ａｎｄ Ｔ． Ｂｒｏｘ， “Ｕ－Ｎｅｔ： Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｂｉｏｍｅｄｉｃａｌ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ，” ｉｎ ＭＩＣＣＡＩ． Ｓｐｒｉｎｇｅｒ， ２０１５， ｐｐ． ２３４－２４１．

【非特許文献6】Ｃｈａｎｇｑｉａｎ Ｙｕ， Ｊｉｎｇｂｏ Ｗａｎｇ， Ｃｈａｏ Ｐｅｎｇ， Ｃｈａｎｇｘｉｎ Ｇａｏ，Ｇａｎｇ Ｙｕ， ａｎｄ Ｎｏｎｇ Ｓａｎｇ． Ｂｉｓｅｎｅｔ： Ｂｉｌａｔｅｒａｌ ｓｅｇｍｅｎｔａｔｉｏｎ ｎｅｔｗｏｒｋ ｆｏｒ ｒｅａｌ－ｔｉｍｅ ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ． Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＥＣＣＶ）， ｐａｇｅｓ ３２５－３４１， ２０１８．

【非特許文献7】Ｐ． Ｋｒａｈｅｎｂ ¨ ｕｈｌ ａｎｄ Ｖ． Ｋｏｌｔｕｎ， “Ｅｆｆｉｃｉｅｎｔ ｉｎｆｅｒｅｎｃｅ ｉｎ ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｃｒｆｓ ｗｉｔｈ ｇａｕｓｓｉａｎ ｅｄｇｅ ｐｏｔｅｎｔｉａｌｓ，” ｉｎ ＮＩＰＳ， ２０１１．

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、上記に鑑みてなされたものであって、領域分類器を容易に生成することができる、分類器生成装置、分類器生成方法、分類器生成プログラム、および画像分類装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

実施形態の分類器生成装置は、パッチ画像取得部と、パッチ分類器生成部と、領域分類結果画像生成部と、領域分類器生成部と、を備える。パッチ画像取得部は、状態可変の対象物の画像である教師画像における複数画素からなる部分領域をパッチ画像として取得する。パッチ分類器生成部は、前記パッチ画像を入力とし、前記パッチ画像に写り込んだ前記対象物の状態の分類結果を出力とするパッチ分類器を生成する。領域分類結果画像生成部は、前記パッチ分類器を用いて、前記画像を構成する要素であって前記パッチ画像より小さい領域である前記要素ごとに前記分類結果を規定した領域分類結果画像を生成する。領域分類器生成部は、前記教師画像と前記領域分類結果画像との対からなる学習データを用いて、前記画像を入力とし前記領域分類結果画像である領域分類結果を出力とする領域分類器を生成する。

【図面の簡単な説明】

【0008】

【図1】図１は、生成システムの全体構成の一例を示す模式図である。

【図2】図２は、生成システムの機能的構成の一例を示すブロック図である。

【図3】図３は、パッチ画像の取得の一例の説明図である。

【図4】図４は、パッチ画像の一例を示す模式図である。

【図5】図５は、パッチ分類器の生成の一例の説明図である。

【図6A】図６Ａは、領域分類結果画像の生成の一例の説明図である。

【図6B】図６Ｂは、領域分類結果画像の生成の一例の説明図である。

【図7】図７は、領域分類器の生成の一例の説明図である。

【図8】図８は、情報処理の流れの一例を示すフローチャートである。

【図9A】図９Ａは、パッチ分類器の生成の一例の説明図である。

【図9B】図９Ｂは、パッチ分類器の生成の一例の説明図である。

【図9C】図９Ｃは、パッチ分類器の生成の一例の説明図である。

【図10】図１０は、分類器生成装置の一例のハードウェア構成図である。

【発明を実施するための形態】

【0009】

以下に添付図面を参照して、分類器生成装置、分類器生成方法、分類器生成プログラム、および画像分類装置を詳細に説明する。

【0010】

（第１の実施形態）
図１は、本実施形態の生成システム１の全体構成の一例を示す模式図である。本実施形態では、生成システム１を、ゴミを貯留する設備に適用した例を一例として説明する。なお、生成システム１の適用対象は、ゴミを貯留する設備に限定されない。

【0011】

生成システム１は、分類器生成装置１０と、撮影部１２と、操作機構１４と、を備える。分類器生成装置１０、撮影部１２、および操作機構１４は、通信可能に接続されている。

【0012】

分類器生成装置１０は、対象物２０の画像を入力とし、対象物２０の領域分類結果を出力とする領域分類器を生成する情報処理装置である。領域分類結果および領域分類器の詳細は後述する。

【0013】

対象物２０とは、領域分類の対象となる物である。対象物２０は、状態可変の物である。対象物２０は、外部から力が加わることによって状態が変化する物、内側から力が加わることによって状態が変化する物、および、自律的に状態が変化する物、の何れであってもよい。対象物２０は、例えば、ゴミ、汚泥、土、砂利、鉱物、木材、剪定枝、液体などの流動物、人、車、動物、などである。

【0014】

本実施形態では、対象物２０が、ゴミである形態を一例として説明する。ゴミは、複数の物質の集合体であり、外部から力が加わることによって、物質の撹拌状態、物質の位置関係、物質の種類、等の状態が変化する。

【0015】

本実施形態では、対象物２０は、構造物２２内に収容されている。

【0016】

構造物２２とは、実空間において少なくとも一部の領域に対象物２０が接触配置された物である。構造物２２は、形状および位置固定の物である。なお、構造物２２は、一部の領域の形状が可変であってもよい。

【0017】

構造物２２は、例えば、対象物２０を保持または支持する箱状部材である。本実施形態では、構造物２２が、ゴミである対象物２０を内側に貯留する貯留槽である形態を一例として説明する。ゴミを貯留する貯留槽は、ゴミピットと称される場合がある。本実施形態では、構造物２２は、ゴミを焼却する焼却施設等に設置されたゴミピットである場合を想定して説明する。また、本実施形態では、構造物２２の形状が、略直方体形状である場合を一例として説明する。なお、構造物２２の形状は、直方体形状に限定されない。

【0018】

ゴミピットである構造物２２は、内側の底部に対象物２０を貯留する。構造物２２の壁部には、例えば、ゴミである対象物２０を搬入するための搬入口２２Ａ、対象物２０を焼却炉などに排出するための排出口２２Ｄなどが設けられている。構造物２２の内壁の搬入口２２Ａの下部には、対象物２０を構造物２２の底部へと導くためのスロープ２２Ｂが設けられている。搬入口２２Ａを介して構造物２２内に搬入された対象物２０は、スロープ２２Ｂを介して構造物２２内の底部へと貯留される。スロープ２２Ｂには、例えば、対象物２０の飛散を防止し底部へ案内するための防止部材２２Ｃが設けられている。対象物２０は、防止部材２２Ｃによって飛散を抑制されながらスロープ２２Ｂの傾斜に沿って構造物２２の底部へと流れ、底部に貯留される。なお、構造物２２は、対象物２０を保持または支持する箱状部材であればよく、上記構成に限定されない。

【0019】

撮影部１２は、撮影によって撮影画像データを出力する。撮影部１２は、例えば、ビデオカメラ、ネットワークカメラ、一眼レフカメラ、スマートフォンに搭載されたカメラ、などである。撮影部１２は、対象物２０および構造物２２を撮影可能な位置に配置されている。撮影部１２は、撮影によって対象物２０および構造物２２を含む撮影画像データを取得する。以下では、撮影画像データを単に画像と称して説明する。

【0020】

撮影部１２によって撮影された画像には、少なくとも対象物２０が写り込んでいる。画像は、カラー画像、グレースケール画像、の何れであってもよい。

【0021】

操作機構１４は、実空間における対象物２０に対して操作を行う機構である。対象物２０に対する操作は、対象物２０の全体に対する操作、対象物２０の一部に対する操作、の何れであってもよい。操作機構１４は、対象物２０に物理的に接触して操作を行う機構、対象物２０に対して光や液体などにより物理的に非接触で操作を行う機構、の何れであってもよい。対象物２０に対して物理的に接触して操作を行う機構は、例えば、対象物２０の把持、撹拌、移動、把持からの解放、引っ掛け、などを行うクレーン、対象物２０に対して穴あけ等を行うドリル、対象物２０に対して掘削などを行うショベル、などである。対象物２０に対して非接触で操作を行う機構は、例えば、光を照射する機構、液体を噴射する機構、などである。対象物２０が磁性を示す場合、操作機構１４は、磁力によって対象物２０を保持または開放する機構であってもよい。

【0022】

本実施形態では、操作機構１４が、対象物２０の把持、撹拌、移動、把持からの解放、引っ掛け、などの操作を行うクレーンである形態を一例として説明する。

【0023】

操作機構１４は、構造物２２に固定された支持部１６によって支持されている。支持部１６は、鉛直方向（矢印Ｙ方向）、鉛直方向に対して直交する方向（矢印Ｘ方向、矢印Ｚ方向）に操作機構１４を移動可能に支持する。矢印Ｙ方向は、鉛直方向に一致する方向である。矢印Ｙ方向、矢印Ｘ方向、および矢印Ｚ方向は、互いに直交する方向である。鉛直方向である矢印Ｙ方向をＹ軸またはＹ軸方向、矢印Ｘ方向をＸ軸またはＸ軸方向、矢印Ｘ方向をＺ軸またはＺ軸方向と称して説明する場合がある。

【0024】

Ｘ軸方向、Ｙ軸方向、およびＺ軸方向に移動可能に支持されることで、操作機構１４は、構造物２２内の空間における様々な位置で対象物２０を操作可能に構成されている。また、操作機構１４の先端は、例えば、駆動可能な爪部として構成されており、爪部の駆動によって対象物２０の把持、および把持からの解放などの操作が行われる。また、操作機構１４は、支持部１６によって移動可能に支持され、且つ、駆動する爪部を備えることで、対象物２０に対して撹拌および移動などの操作可能に構成されている。

【0025】

分類器生成装置１０は、撮影部１２で撮影された対象物２０を含む画像を用いて、領域分類器を生成する。

【0026】

図２は、生成システム１の機能的構成の一例を示すブロック図である。図２には、説明の観点から、対象物２０および構造物２２の一部を合わせて示す。

【0027】

分類器生成装置１０は、記憶部３０と、ＵＩ（ユーザ・インターフェース）部３２と、通信部３４と、制御部４０と、を備える。記憶部３０、ＵＩ部３２、通信部３４、および制御部４０は、バス３６などを介して通信可能に接続されている。

【0028】

記憶部３０は、各種のデータを記憶する。記憶部３０は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。なお、記憶部３０は、分類器生成装置１０の外部に設けられた記憶装置であってもよい。

【0029】

通信部３４は、撮影部１２および操作機構１４と通信する通信インターフェースである。通信部３４は、ネットワーク等を介して外部の情報処理装置と更に通信してもよい。

【0030】

ＵＩ部３２は、ユーザによる操作入力を受付ける受付機能、および、各種の情報を表示する表示機能を有する。受付機能は、例えば、マウスなどのポインティングデバイスやキーボードなどによって実現される。表示機能は、例えば、ディスプレイによって実現される。ＵＩ部３２は、受付機能と表示機能を一体的に構成したタッチパネルであってよい。

【0031】

制御部４０は、分類器生成装置１０において各種の情報処理を実行する。

【0032】

制御部４０は、パッチ画像取得部４０Ａと、パッチ分類器生成部４０Ｂと、領域分類結果画像生成部４０Ｃと、特定部４０Ｄと、補正部４０Ｅと、領域分類器生成部４０Ｆと、視点変換画像生成部４０Ｇと、を備える。

【0033】

パッチ画像取得部４０Ａ、パッチ分類器生成部４０Ｂ、領域分類結果画像生成部４０Ｃ、特定部４０Ｄ、補正部４０Ｅ、領域分類器生成部４０Ｆ、および視点変換画像生成部４０Ｇは、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣなどのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。また、上記各部の少なくとも１つを、通信部３４およびネットワーク等を介して制御部４０に接続された外部の情報処理装置に搭載した構成としてもよい。

【0034】

パッチ画像取得部４０Ａは、対象物２０の画像である教師画像における、複数画素からなる部分領域をパッチ画像として取得する。

【0035】

図３は、パッチ画像５４の取得の一例の説明図である。図３には、撮影部１２で撮影された画像５０を教師画像５２として示す。教師画像５２とは、撮影部１２で撮影された画像５０の内、後述するパッチ分類器および後述する領域分類器の学習に用いられる画像５０である。

【0036】

パッチ画像５４とは、教師画像５２における複数画素からなる部分領域の画像である。言い換えると、パッチ画像５４は、教師画像５２における任意の位置で教師画像５２の一部の部分の部分領域を切り出した画像である。図３には、教師画像５２における任意の位置に配置した画像枠５６内を切り出した領域をパッチ画像５４として示す。また、パッチ画像５４は、複数画素の群からなる領域である。パッチ画像５４のサイズは、教師画像５２より小さいサイズであり、教師画像５２を構成する１画素分のサイズより大きいサイズであり、且つ、複数の画素群に相当するサイズである。パッチ画像５４のサイズは、上記条件を満たすサイズであればよいが、パッチ画像５４内に写り込んだ対象物２０の状態をユーザが明確に識別可能なサイズであることが好ましい。

【0037】

パッチ画像５４の形状は限定されない。パッチ画像５４の形状は、矩形状、円形状、矩形状および円形状以外の任意の形状、の何れであってもよい。本実施形態では、パッチ画像５４の形状が矩形状である場合を一例として説明する。

【0038】

図２に戻り説明を続ける。パッチ画像取得部４０Ａは、撮影部１２で撮影された対象物２０の画像５０を、教師画像５２として取得する。

【0039】

例えば、パッチ画像取得部４０Ａは、撮影部１２で新たな画像５０が撮影されるごとに、撮影された画像５０を教師画像５２として撮影部１２から取得する。

【0040】

また、パッチ画像取得部４０Ａは、記憶部３０から画像５０を取得することで、教師画像５２を取得してもよい。この場合、制御部４０は、撮影部１２で撮影された１または複数の画像５０を記憶部３０に記憶すればよい。そして、パッチ画像取得部４０Ａは、記憶部３０に記憶されている画像５０を教師画像５２として取得すればよい。

【0041】

パッチ画像取得部４０Ａは、教師画像５２中の任意の位置で、パッチ画像５４の外枠である画像枠５６内の領域を切り出すことで、切り出した該領域をパッチ画像５４として取得する。パッチ画像取得部４０Ａは、１つの教師画像５２における異なる複数の位置の各々から画像枠５６内の領域を切り出すことで、複数のパッチ画像５４を取得する。また、パッチ画像取得部４０Ａは、複数の教師画像５２の各々から１または複数のパッチ画像５４を切り出すことでパッチ画像５４を取得してもよい。

【0042】

図４は、教師画像５２から切り出されたパッチ画像５４の一例を示す模式図である。例えば、パッチ画像取得部４０Ａは、教師画像５２における任意の位置の各々の画像枠５６内の領域を切り出すことで、複数のパッチ画像５４（例えば、パッチ画像５４Ａ～パッチ画像５４Ｅ）を取得する。

【0043】

図２に戻り説明を続ける。

【0044】

パッチ分類器生成部４０Ｂは、パッチ分類器を生成する。

【0045】

図５は、パッチ分類器６０の生成の一例の説明図である。パッチ分類器６０とは、パッチ画像５４を入力とし、パッチ画像５４に写り込んだ対象物２０の状態の分類結果５８を出力とする分類器である。

【0046】

分類結果５８とは、対象物２０の状態の分類結果を表す情報である。分類結果５８は、正解ラベル、教示データ、等と称される場合がある。対象物２０がゴミである場合、対象物２０の状態は、例えば、対象物２０を構成する物質の種類、対象物２０を構成する物質の撹拌度合い、等によって表される。対象物２０の状態には、対象物２０の状態を予め定めた分類規則に沿って複数の種類に分類した、各種類を用いればよい。対象物２０の状態には、対象物２０ではないことを表す情報が含まれていてもよい。本実施形態では、分類結果５８が、撹拌済み、未撹拌、汚泥、剪定枝、構造物、の何れかの状態を表す形態を一例として説明する。構造物は、構造物２２に相当する。なお、分類結果５８は、対象物２０の種類、および対象物２０の状態の分類規則などに応じて定めればよく、撹拌済み、未撹拌、汚泥、剪定枝、構造物、等に限定されない。

【0047】

図４を用いて説明する。パッチ分類器生成部４０Ｂは、パッチ画像取得部４０Ａで取得したパッチ画像５４と、パッチ画像５４に対して教示された分類結果５８と、の対を複数取得する。

【0048】

例えば、ユーザは、ＵＩ部３２を操作することで、パッチ画像取得部４０Ａが取得したパッチ画像５４に対して、正解ラベルである分類結果５８を教示する。詳細には、パッチ分類器生成部４０Ｂは、パッチ画像取得部４０Ａで取得したパッチ画像５４の一覧をＵＩ部３２へ表示する。ユーザは、ＵＩ部３２を操作することで、ＵＩ部３２に表示されたパッチ画像５４の各々に対して、正解ラベルである分類結果５８を教示する。

【0049】

図４には、パッチ画像５４Ａ～パッチ画像５４Ｅの各々に対して、それぞれ、撹拌済み、未撹拌、汚泥、剪定枝、構造物が分類結果５８（分類結果５８Ａ～分類結果５８Ｅ）として教示された場面を一例として示す。

【0050】

上述したように、パッチ画像５４は、教師画像５２における任意の位置で教師画像５２の一部の部分の部分領域を切り出した画像であり、複数画素の群からなる領域である。このため、ユーザは、教師画像５２を構成する画素の各々に対して画素ごとに分類結果５８を教示する場合に比べて、容易且つ高精度にパッチ画像５４ごとに分類結果５８を教示することができる。また、ユーザは、パッチ画像５４ごとに分類結果５８を教示することで、画素ごとに分類結果５８を教示する場合に比べて、教示作業の作業負荷の低減を図ることができる。

【0051】

なお、パッチ分類器生成部４０Ｂは、生成済のパッチ分類器６０にパッチ画像５４を入力することで、パッチ分類器６０からの出力として分類結果５８を取得してもよい。そして、パッチ分類器生成部４０Ｂは、パッチ分類器６０に入力したパッチ画像５４に対して、パッチ分類器６０から出力された分類結果５８を教示してもよい。

【0052】

図５を用いて説明する。

【0053】

パッチ分類器生成部４０Ｂは、パッチ画像５４と該パッチ画像５４に対して教示された分類結果５８との対を第１学習データとし、複数の第１学習データを用いた機械学習によりパッチ分類器６０を学習する。この学習処理によって、パッチ分類器生成部４０Ｂは、パッチ画像５４を入力とし分類結果５８を出力とするパッチ分類器６０を生成する。機械学習には、ディープラーニングなどを用いればよい。

【0054】

なお、パッチ分類器生成部４０Ｂは、パッチ画像取得部４０Ａで取得したパッチ画像５４の内、１種類のみの状態の対象物２０が写り込んだパッチ画像５４を用いて、パッチ分類器６０を生成することが好ましい。

【0055】

１種類の状態のみの対象物２０が写り込んだパッチ画像５４とは、複数種類の状態が混在していないパッチ画像５４であることを意味する。言い換えると、１つのパッチ画像５４内に、１つの分類結果５８によって表される状態のみの対象物２０が写り込んだパッチ画像５４であることを意味する。具体的には、１種類の状態のみの対象物２０が写り込んだパッチ画像５４とは、１つのパッチ画像５４内に、撹拌済み、未撹拌、汚泥、剪定枝、および構造物の内の２種類以上の分類結果５８によって表される状態が混在しておらず、１種類の状態のみが写り込んだパッチ画像５４を意味する。

【0056】

この場合、パッチ分類器生成部４０Ｂは、例えば、パッチ画像取得部４０Ａで取得したパッチ画像５４の一覧をＵＩ部３２へ表示する。ユーザは、ＵＩ部３２を操作することで、ＵＩ部３２に表示されたパッチ画像５４の一覧の内、１種類のみの状態の対象物２０が写り込んだパッチ画像５４に対して、分類結果５８を教示する。例えば、ユーザは、パッチ画像５４の全領域に渡って”撹拌済み”の状態の対象物２０が写り込んだパッチ画像５４に対して、分類結果５８として”撹拌済み”を教示する。一方、ユーザは、パッチ画像５４内に、”撹拌済み”および”未撹拌”の２つの状態の対象物２０写り込んだパッチ画像５４に対しては、分類結果５８を教示しない。

【0057】

そして、パッチ分類器生成部４０Ｂは、分類結果５８を教示されたパッチ画像５４と該分類結果５８との対を第１学習データとし、複数の第１学習データを用いた機械学習によりパッチ分類器６０を学習することで、パッチ分類器６０を生成すればよい。

【0058】

パッチ分類器生成部４０Ｂが、１種類のみの状態の対象物２０が写り込んだパッチ画像５４を用いてパッチ分類器６０を生成することで、入力されたパッチ画像５４に対してより正確な分類結果５８を出力可能なパッチ分類器６０を生成することができる。また、ユーザは、複数種類の状態の対象物２０が混在して写り込んだパッチ画像５４に対して、分類結果５８を教示する教示作業を行う必要がない。このため、ユーザによる教示作業負荷の低減を図ることができる。

【0059】

また、パッチ分類器生成部４０Ｂは、パッチ画像取得部４０Ａで取得したパッチ画像５４を生成済の後述する領域分類器に入力し、領域分類器から出力された画像を構成する画素ごとに規定された分類結果５８がパッチ画像５４内で同一であるパッチ画像５４を、１種類のみの状態の対象物２０が写り込んだパッチ画像５４として特定してもよい。そして、パッチ分類器生成部４０Ｂは、特定したパッチ画像５４と、該パッチ画像５４内の画素ごとに規定された同一の分類結果５８と、の対を第１学習データとして用いてもよい。

【0060】

ここで、上述したように操作機構１４は、対象物２０の把持、撹拌、移動、把持からの解放、引っ掛け、などの操作を行うクレーンなどの機構である。このため、操作機構１４の動きによって、対象物２０の状態は変化する。

【0061】

そこで、パッチ分類器生成部４０Ｂは、操作機構１４の動き情報に応じた分類結果５８をパッチ画像５４に教示してもよい。動き情報は、操作機構１４の対象物２０に対する操作に関する動きを表す情報である。例えば、動き情報は、対象物２０の撹拌、対象物２０の移動、対象物２０の投入、等を表す情報である。

【0062】

この場合、パッチ分類器生成部４０Ｂは、対象物２０に対する操作を行うための操作機構１４の動き情報を取得する。パッチ分類器生成部４０Ｂは、通信部３４を介して操作機構１４から、操作機構１４の動きを表す動き情報と、該動き情報によって表される動きを行った動き日時情報と、を取得する。そして、パッチ分類器生成部４０Ｂは、パッチ画像取得部４０Ａで取得したパッチ画像５４と、該パッチ画像５４の切り出し元である教師画像５２の撮影日時を表す撮影日時情報と、を取得する。

【0063】

パッチ分類器生成部４０Ｂは、撮影日時情報に一致する動き日時情報に対応する動き情報を、該撮影日時情報によって表される撮影日時に撮影された教師画像５２から切り出されたパッチ画像５４に対応する、操作機構１４の動き情報として特定する。

【0064】

そして、パッチ分類器生成部４０Ｂは、特定した動き情報に対応する分類結果５８を記憶部３０から読み取ることで、ユーザによる操作指示を受け付けることなく、パッチ画像５４に分類結果５８を自動教示すればよい。なお、記憶部３０には、操作機構１４の動き情報と、動き情報によって表される動きを操作機構１４が行った場合の対象物２０の状態を表す分類結果５８と、を予め対応付けて記憶しておけばよい。

【0065】

更に、教師画像５２には、操作機構１４が写り込む場合がある。上述したように操作機構１４は、対象物２０に対する操作を行うクレーンなどの機構である。このため、操作機構１４が対象物２０に対して操作を行っている期間に撮影された画像５０には、操作機構１４が写り込んでいる場合がある。

【0066】

このため、パッチ分類器生成部４０Ｂは、パッチ画像取得部４０Ａが取得したパッチ画像５４の内、操作機構１４が写り込んだパッチ画像５４を、パッチ分類器６０の生成に用いるパッチ画像５４の対象外とすることが好ましい。

【0067】

詳細には、例えば、パッチ分類器生成部４０Ｂは、パッチ画像取得部４０Ａで取得したパッチ画像５４の一覧をＵＩ部３２へ表示する。ユーザは、ＵＩ部３２を操作することで、ＵＩ部３２に表示されたパッチ画像５４の一覧の内、操作機構１４が写り込んだパッチ画像５４には分類結果５８を教示しない。そして、パッチ分類器生成部４０Ｂは、分類結果５８を教示されたパッチ画像５４と、該分類結果５８と、の対を第１学習データとして用いて学習することで、パッチ分類器６０を生成すればよい。

【0068】

また、パッチ分類器生成部４０Ｂは、パッチ画像取得部４０Ａで取得したパッチ画像５４を生成済の後述する領域分類器に入力し、領域分類器から出力された画像を取得する。そして、パッチ分類器生成部４０Ｂは、該画像構成する画素ごとに規定された分類結果５８に、操作機構１４を表す分類結果５８が含まれる場合、該パッチ画像５４をパッチ分類器６０の第１学習データの対象外とすればよい。

【0069】

パッチ分類器生成部４０Ｂが、操作機構１４の映り込んだパッチ画像５４をパッチ分類器６０の生成に用いるパッチ画像５４の対象外とすることで、高精度な分類結果５８をパッチ画像５４ごとに出力可能なパッチ分類器６０を生成することができる。

【0070】

図２に戻り説明を続ける。

【0071】

領域分類結果画像生成部４０Ｃは、パッチ分類器生成部４０Ｂで生成されたパッチ分類器６０を用いて、画像５０を構成する要素ごとに分類結果５８を規定した領域分類結果画像を生成する。

【0072】

要素とは、画像５０を構成する要素であって、パッチ画像５４より小さい領域である。詳細には、要素は、１または複数の画素群からなる領域であり、且つ、パッチ画像５４より小さい領域である。本実施形態では、１要素が１画素に相当する形態を一例として説明する。このため、本実施形態では、領域分類結果画像が、画素ごとに分類結果５８を規定した画像である形態を一例として説明する。

【0073】

図６Ａおよび図６Ｂは、領域分類結果画像６２の生成の一例の説明図である。

【0074】

図６Ａに示すように、領域分類結果画像生成部４０Ｃは、パッチ画像５４の画像枠５６の位置を、教師画像５２内で該パッチ画像５４のサイズより小さいスライド幅でスライドさせる。スライド幅は、パッチ画像５４のサイズより小さい幅であればよい。例えば、スライド幅は、１または複数画素に相当する幅である。

【0075】

そして、領域分類結果画像生成部４０Ｃは、スライドさせた各位置の画像枠５６内の枠内画像を、パッチ分類器６０へ入力する。領域分類結果画像生成部４０Ｃは、パッチ分類器６０から出力された枠内画像ごとの分類結果５８を用いて、領域分類結果画像６２を生成する。

【0076】

なお、領域分類結果画像生成部４０Ｃは、画像枠５６を１回スライドさせるごとに、スライドさせた位置の画像枠５６内の枠内画像をパッチ分類器６０へ入力し、該枠内画像の分類結果５８を取得してよい。そして、領域分類結果画像生成部４０Ｃは、前回のスライド位置で切り出した枠内画像の分類結果５８のスコア（確信度）に応じて、前回のスライド位置に対してより近い位置またはより離れた位置を、次回の枠内画像の切り出し位置として設定し、上記処理を繰り返してよい。

【0077】

詳細には、前回のスライド位置で切り出した枠内画像の分類結果５８のスコアが閾値以上である場合、または、パッチ分類器６０から出力された複数の種類の状態の各々のスコアの内、最も高い種類のスコアと次に高い種類のスコアとの差が所定差以上である場合がある。この場合、領域分類結果画像生成部４０Ｃは、前回のスライド位置に対して、予め定めたスライド幅より大きいスライド幅分スライドした位置を、次回の枠内画像の切り出し位置として設定すればよい。これらの閾値および所定差は、予め定めればよい。また、これらの閾値および所定差は、ユーザによるＵＩ部３２の操作指示などによって適宜変更可能としてもよい。

【0078】

また、前回のスライド位置で切り出した枠内画像の分類結果５８のスコアが閾値未満である場合、または、パッチ分類器６０から出力された複数の種類の状態の各々のスコアの内、最も高い種類のスコアと次に高い種類のスコアとの差が所定差未満である場合がある。この場合、領域分類結果画像生成部４０Ｃは、前回のスライド位置に対して、予め定めたスライド幅より小さいスライド幅分スライドした位置を、次回の枠内画像の切り出し位置として設定すればよい。これらの閾値および所定差は、予め定めればよい。また、これらの閾値および所定差は、ユーザによるＵＩ部３２の操作指示などによって適宜変更可能としてもよい。

【0079】

上記処理によって、領域分類結果画像生成部４０Ｃは、教師画像５２内におけるスライドさせた位置の画像枠５６内の画像領域ごとに、分類結果５８を得る。そして、領域分類結果画像生成部４０Ｃは、教師画像５２を構成する要素ごとに、該要素の位置に対して重複する複数の画像枠５６の各々の分類結果５８を特定する。更に、領域分類結果画像生成部４０Ｃは、要素ごとに特定した複数の分類結果５８の各々によって表される、複数種類の状態の各々のスコアを用いて、スコアの平均値またはスコアの最大値を状態の種類ごとに算出する。そして、領域分類結果画像生成部４０Ｃは、状態の種類の各々毎に算出したスコアの平均値またはスコアの最大値の内、最も大きい値の状態の種類を、該要素に対する分類結果５８として規定する。領域分類結果画像生成部４０Ｃは、教師画像５２を構成する要素ごとにこれらの処理を実行することで、要素ごとに分類結果５８を規定した領域分類結果画像６２を生成する。

【0080】

図６Ｂは、領域分類結果画像６２の一例の模式図である。図６Ｂに示すように、領域分類結果画像生成部４０Ｃは、要素ごとに分類結果５８Ａ～分類結果５８Ｅの何れかの分類結果５８を規定した領域分類結果画像６２を生成する。

【0081】

図２に戻り説明を続ける。

【0082】

特定部４０Ｄは、領域分類結果画像生成部４０Ｃで生成された領域分類結果画像６２から、領域分類結果画像６２における位置および該領域分類結果画像６２の生成に用いた教師画像５２における対応する画素位置の画素値が類似する、複数の要素からなる要素群を特定する。

【0083】

領域分類結果画像６２における位置とは、領域分類結果画像６２における画素位置を意味する。領域分類結果画像６２における位置が類似する要素群とは、領域分類結果画像６２における画素位置が隣接して配列された予め定めた所定数の要素の群を意味する。この所定数は、予め設定すればよい。また、この所定数は、ユーザによるＵＩ部３２の操作指示などによって適宜変更可能としてもよい。

【0084】

領域分類結果画像６２の生成に用いた教師画像５２とは、領域分類結果画像６２の生成時に画像枠５６をスライドさせた教師画像５２である。教師画像５２における対応する画素位置の画素値が類似するとは、領域分類結果画像６２における位置が類似する要素群の内、含まれる要素の間の画素値の差が予め定めた所定範囲内の差であることを意味する。画素値には、例えば、輝度値、色値、等を用いればよい。この所定範囲は、予め設定すればよい。また、この所定範囲は、ユーザによるＵＩ部３２の操作指示などによって適宜変更可能としてもよい。

【0085】

補正部４０Ｅは、特定部４０Ｄが特定した要素群ごとに、要素群に含まれる複数の要素の各々に規定された分類結果５８を、該要素群に含まれる要素に規定された最大数の分類結果５８に補正する。具体的には、例えば、特定部４０Ｄが特定した要素群が、１０個の要素から構成される要素群である場合を想定する。そして、１０個の要素からなる要素群に含まれる要素の内、７個の要素に分類結果５８”撹拌済み”が規定され、３個の要素に分類結果５８”構造物”が規定されている場合を想定する。この場合、補正部４０Ｅは、該要素群を構成する要素の各々に規定されている分類結果５８を、最大数の分類結果５８である”撹拌済み”に補正する。

【0086】

そして、補正部４０Ｅは、特定部４０Ｄが特定した要素群ごとに上記補正処理を行うことで、領域分類結果画像６２を補正した補正領域分類結果画像を生成する。

【0087】

次に、領域分類器生成部４０Ｆについて説明する。

【0088】

領域分類器生成部４０Ｆは、教師画像５２と領域分類結果画像６２との対からなる学習データを用いて、画像５０を入力とし領域分類結果画像６２を出力とする領域分類器を生成する。

【0089】

図７は、領域分類器６４の生成の一例の説明図である。

【0090】

領域分類器生成部４０Ｆは、教師画像５２と領域分類結果画像６２との対を第２学習データとし、複数の第２学習データを用いた機械学習により領域分類器６４を学習する。この機械学習には、ディープラーニングなどを用いればよい。例えば、機械学習には、ディープラーニングのアルゴリズムであるセマンティック セグメンテーションを用いればよい。この学習処理によって、領域分類器生成部４０Ｆは、画像５０を入力とし、領域分類結果画像６２である領域分類結果６８を出力とする、領域分類器６４を生成する。

【0091】

上述したように、領域分類結果画像６２は、要素ごと、すなわち画素ごとに分類結果５８を規定した画像である。このため、領域分類器生成部４０Ｆは、学習によって領域分類器６４を生成することで、画像５０から、画像５０に含まれる画素ごとに分類結果５８を規定した領域分類結果６８を得るための領域分類器６４を生成することができる。

【0092】

また、領域分類器生成部４０Ｆは、領域分類結果画像６２に替えて、領域分類結果画像６２を補正した補正領域分類結果画像６６を用いた機械学習により領域分類器６４を学習してもよい。この場合、領域分類器生成部４０Ｆは、教師画像５２と、特定部４０Ｄおよび補正部４０Ｅによって補正された補正領域分類結果画像６６と、の対を第２学習データとし、複数の第２学習データを用いた機械学習により領域分類器６４を学習する。この学習処理によって、領域分類器生成部４０Ｆは、画像５０を入力とし、補正領域分類結果画像６６である領域分類結果６８を出力とする、領域分類器６４を生成する。

【0093】

補正領域分類結果画像６６を用いた機械学習により領域分類器６４を学習することで、領域分類器生成部４０Ｆは、画像５０に含まれる状態の異なる領域間の境界を構成する要素の分類結果５８として、より正解に近いまたは正解の分類結果５８を規定した領域分類結果６８を出力する、領域分類器６４を生成することができる。すなわち、領域分類器生成部４０Ｆは、より高精度な領域分類器６４を生成することができる。

【0094】

図２に戻り説明を続ける。制御部４０は、領域分類器生成部４０Ｆで生成した領域分類器６４を、記憶部３０へ記憶する。また、制御部４０は、領域分類器生成部４０Ｆで生成した領域分類器６４を、通信部３４を介して外部の情報処理装置へ送信してもよい。領域分類器６４を受信した情報処理装置では、受信した領域分類器６４へ画像５０を入力することで、画像５０の領域分類結果６８を容易に得ることができる。

【0095】

また、パッチ分類器生成部４０Ｂおよび領域分類器生成部４０Ｆは、パッチ分類器６０を生成する学習処理および領域分類器６４を生成する学習処理の各々を、繰り返し実行してよい。例えば、パッチ画像取得部４０Ａは、新たな教師画像５２から新たなパッチ画像５４を取得する。そして、パッチ分類器生成部４０Ｂは、パッチ画像取得部４０Ａで新たに取得したパッチ画像５４を用いて、パッチ分類器６０を学習する上記処理を実行すればよい。また、領域分類器生成部４０Ｆは、新たにパッチ分類器６０が学習されるごとに、領域分類器６４Ｂを生成する上記学習処理を実行すればよい。

【0096】

パッチ分類器生成部４０Ｂおよび領域分類器生成部４０Ｆが学習処理を繰り返すことで、領域分類器生成部４０Ｆは、より高精度なパッチ分類器６０を生成することができる。

【0097】

学習処理の繰り返し実行時には、パッチ画像取得部４０Ａは、取得済のパッチ画像５４とは異なるパッチ画像５４を新たなパッチ画像５４として優先的に取得することが好ましい。

【0098】

例えば、パッチ画像取得部４０Ａは、取得済すなわち学習に用いたパッチ画像５４に対して、画像としての差分が閾値以上の他のパッチ画像５４を、新たなパッチ画像５４として優先的に取得する。画像としての差分には、例えば、画像を構成する画素値のばらつき、画素値の平均値の差、画素値の最大値または最小値の差、撮影日時の差、等を用いればよい。また、例えば、パッチ画像取得部４０Ａは、新たな取得対象の画像５０を生成済のパッチ分類器６０に入力し、パッチ分類器６０におけるニューロンの発火パタンが取得済のパッチ画像５４とは異なるパッチ画像５４を、新たなパッチ画像５４として優先的に取得してもよい。

【0099】

パッチ画像取得部４０Ａが取得済のパッチ画像５４とは異なるパッチ画像５４を新たな学習に用いるパッチ画像５４として優先的に取得することで、学習処理の繰り返しにより、より様々な状態の対象物２０が写り込んだ画像５０から高精度な領域分類結果６８を出力可能な、領域分類器６４を生成することができる。

【0100】

次に、視点変換画像生成部４０Ｇについて説明する。分類器生成装置１０は、視点変換画像生成部４０Ｇを備えた構成であってよい。

【0101】

視点変換画像生成部４０Ｇは、画像５０を領域分類器６４へ入力することで、該領域分類器６４からの出力として得られた領域分類結果画像６２または補正領域分類結果画像６６である領域分類結果６８を、視点変換画像に変換する。

【0102】

詳細には、視点変換画像生成部４０Ｇは、領域分類結果６８を３次元空間における任意の視点方向から視認した視点変換画像に変換する。任意の視点方向は、予め設定されていればよい。また、任意の視点方向は、ユーザによるＵＩ部３２の操作指示などによって適宜変更可能としてもよい。視点変換画像生成部４０Ｇは、対象物２０が存在する実空間の三次元情報を他の情報処理装置または記憶部３０などから取得する。そして、視点変換画像生成部４０Ｇは、取得した三次元情報および領域分類結果６８を用いて、公知の視点変換処理により、該領域分類結果６８を任意の視点方向から視認した視点変換画像に変換すればよい。

【0103】

視点変換画像生成部４０Ｇは、生成した視点変換画像をＵＩ部３２へ出力する。また、視点変換画像生成部４０Ｇは、通信部３４を介して外部の情報処理装置へ視点変換画像を送信してもよい。

【0104】

視点変換画像生成部４０Ｇが視点変換画像をＵＩ部３２へ出力することで、ユーザに対して領域分類結果６８をユーザの任意の視点方向から視認した表示形態で提供することが可能となる。

【0105】

次に、本実施形態の分類器生成装置１０で実行する情報処理の流れの一例を説明する。

【0106】

図８は、本実施形態の分類器生成装置１０で実行する情報処理の流れの一例を示すフローチャートである。

【0107】

パッチ画像取得部４０Ａは、教師画像５２における部分領域をパッチ画像５４として取得する（ステップＳ１００）。

【0108】

パッチ分類器生成部４０Ｂは、ステップＳ１００で取得したパッチ画像５４と、パッチ画像５４に対して教示された分類結果５８と、の対を第１学習データとし、複数の第１学習データを用いた機械学習によりパッチ分類器６０を学習することで、パッチ分類器６０を生成する（ステップＳ１０２）。

【0109】

領域分類結果画像生成部４０Ｃは、ステップＳ１０２で生成されたパッチ分類器６０を用いて、画像５０を構成する要素ごとに分類結果５８を規定した領域分類結果画像６２を生成する（ステップＳ１０４）。

【0110】

特定部４０Ｄは、ステップＳ１０４で生成された領域分類結果画像６２から、領域分類結果画像６２における位置および該領域分類結果画像６２の生成に用いた教師画像５２における対応する画素位置の画素値が類似する、複数の要素からなる要素群を特定する（ステップＳ１０８）。

【0111】

補正部４０Ｅは、ステップＳ１０６で特定した要素群ごとに補正処理を行うことで、領域分類結果画像６２を補正した補正領域分類結果画像６６を生成する（ステップＳ１０８）。

【0112】

領域分類器生成部４０Ｆは、領域分類器６４を生成する（ステップＳ１１０）。領域分類器生成部４０Ｆは、教師画像５２と補正領域分類結果画像６６との対を第２学習データとし、複数の第２学習データを用いた機械学習により領域分類器６４を学習することで、領域分類器６４を生成する。そして、本ルーチンを終了する。

【0113】

以上説明したように、本実施形態の分類器生成装置１０は、パッチ画像取得部４０Ａと、パッチ分類器生成部４０Ｂと、領域分類結果画像生成部４０Ｃと、領域分類器生成部４０Ｆと、を備える。パッチ画像取得部４０Ａは、状態可変の対象物２０の画像５０である教師画像５２における複数画素からなる部分領域をパッチ画像５４として取得する。パッチ分類器生成部４０Ｂは、パッチ画像５４を入力とし、パッチ画像５４に写り込んだ対象物２０の状態の分類結果５８を出力とするパッチ分類器６０を生成する。領域分類結果画像生成部４０Ｃは、パッチ分類器６０を用いて、画像５０を構成する要素であってパッチ画像５４より小さい領域である要素ごとに分類結果５８を規定した領域分類結果画像６２を生成する。領域分類器生成部４０Ｆは、教師画像５２と領域分類結果画像６２との対からなる第２学習データを用いて、画像５０を入力とし領域分類結果画像６２である領域分類結果６８を出力とする領域分類器６４を生成する。

【0114】

ここで、従来技術では、画像５０中の全ての画素の各々に対して人手で正解クラスを教示することで領域分類器を生成しており、教示作業を行うユーザの作業負荷が高かった。また、従来技術では、互いに異なる分類結果５８を表す複数の領域が混在した対象物２０が画像５０中に写り込んでいる場合、領域の境界付近の画素の正解クラスをユーザが教示することは困難となる場合があった。また、画像５０中に写り込んだ対象の種類を教示する従来方法では、領域分類器の生成のために、様々な種類の対象が写り込んだ画像５０を大量に用意する必要があった。また、画像５０中に写り込んだ対象の領域を矩形枠で囲む教示を行う従来方法では、複数の領域間の境界が明確な画像５０を用意する必要があった。また、画像５０中の一部の画素に対して正解クラスを教示する従来方法では、領域分類器の生成のために、様々な種類の対象が様々な位置に写り込んだ画像を大量に用意する必要があった。このように、従来技術では、領域分類器を容易に生成することは困難であった。

【0115】

一方、本実施形態の分類器生成装置１０では、教師画像５２における複数画素からなる部分領域であるパッチ画像５４を用いてパッチ分類器６０を生成し、生成したパッチ分類器６０を用いて、画像５０から要素ごとに分類結果５８を規定した領域分類結果６８を出力するための領域分類器６４を生成する。

【0116】

このように、本実施形態の分類器生成装置１０では、領域分類器６４の生成に画素ごとの画素領域ではなく、複数画素からなる部分領域であるパッチ画像５４を用いて領域分類器６４を生成する。このため、本実施形態の分類器生成装置１０は、教示作業の負荷軽減、および教示精度の向上を図ることができる。また、本実施形態の分類器生成装置１０では、大量の教師画像５２を容易することなく、領域分類器６４を生成することができる。

【0117】

従って、本実施形態の分類器生成装置１０は、領域分類器６４を容易に生成することができる。

【0118】

（第２の実施形態）
本実施形態では、上記実施形態とは異なる方法でパッチ分類器６０を生成する形態を説明する。本実施形態において上記実施形態と同じ構成部分には、同一の符号を付与し詳細な説明を省略する。

【0119】

図２は、本実施形態の生成システム１Ｂの機能的構成の一例を示すブロック図である。生成システム１Ｂは、分類器生成装置１０に替えて分類器生成装置１０Ｂを備える点以外は、上記実施形態の生成システム１と同様である。分類器生成装置１０Ｂは、パッチ分類器生成部４０Ｂに替えてパッチ分類器生成部４１Ｂを備える点以外は、上記実施形態の分類器生成装置１０と同様である。

【0120】

パッチ分類器生成部４１Ｂは、上記実施形態のパッチ分類器生成部４０Ｂと同様に、パッチ画像５４を入力とし、パッチ画像５４に写り込んだ対象物２０の状態の分類結果５８を出力とするパッチ分類器６０を生成する。

【0121】

本実施形態では、パッチ分類器生成部４１Ｂは、パッチ画像５４から、パッチ画像５４を複数領域に分割した分割領域ごとに、パッチ画像５４に写り込んだ対象物２０の状態の分類結果５８を出力する、パッチ分類器６０を生成する。

【0122】

図９Ａは、パッチ分類器生成部４１Ｂによるパッチ分類器６１Ａの生成の一例の説明図である。パッチ分類器６１Ａは、パッチ分類器６０の一例である。図９Ａには、パッチ画像５４Ｆを一例として示す。パッチ画像５４Ｆはパッチ画像５４の一例である。

【0123】

例えば、パッチ分類器生成部４１Ｂは、パッチ画像５４を複数領域に分割した分割領域Ｐとして、要素を用いる。要素とは、上記実施形態で説明したように、パッチ画像５４より小さい領域であり、且つ、１または複数の画素群からなる領域である。本実施形態においても、１要素が１画素に相当する形態を一例として説明する。

【0124】

そして、パッチ分類器生成部４１Ｂは、パッチ画像５４を入力とし、パッチ画像５４を要素Ｐ１ごとすなわち画素ごとに分割した分割領域Ｐごとの分類結果５８を出力するパッチ分類器６１Ａを学習する。図９Ａには、パッチ画像５４Ｆから、パッチ画像５４Ｆに含まれる要素Ｐ１ごとに分類結果５８Ｆ１～分類結果５８Ｆｎの各々を分類結果５８として出力するパッチ分類器６１Ａを一例として示す。ｎは、パッチ画像５４Ｆを構成する要素数を表す。

【0125】

パッチ分類器生成部４１Ｂは、例えば、Ｇｒａｄ－ＣＡＭ（Ｇｒａｄｉｅｎｔ－ｗｅｉｇｈｔｅｄ Ｃｌａｓｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐｐｉｎｇ）等の手法を用いて、パッチ画像５４から、パッチ画像５４を要素Ｐ１ごとに分割した分割領域Ｐごとに分類結果５８を出力する、パッチ分類器６１Ａを生成すればよい。

【0126】

詳細には、例えば、パッチ分類器生成部４０Ｂは、Ｇｒａｄ－ＣＡＭ等の手法を用いて、パッチ画像５４の各要素Ｐ１に分類結果５８を教示する。

【0127】

そして、パッチ分類器生成部４１Ｂは、パッチ画像５４と該パッチ画像５４に対して要素Ｐ１ごとに教示した分類結果５８との対を第１学習データとし、複数の第１学習データを用いた機械学習によりパッチ分類器６１Ｂを学習する。この学習処理によって、パッチ分類器生成部４１Ｂは、パッチ画像５４を入力とし分割領域Ｐである要素Ｐ１ごとの分類結果５８を出力とするパッチ分類器６１Ａを生成する。

【0128】

領域分類結果画像生成部４０Ｃは、パッチ分類器生成部４１Ｂで生成されたパッチ分類器６１Ａを用いて上記実施形態と同様にして領域分類結果画像６２を生成することで、より高精度な領域分類結果画像６２を生成することができる。そして、より高精度な領域分類結果画像６２または領域分類結果画像６２を補正した補正領域分類結果画像６６を用いる事で、領域分類器生成部４０Ｆは、より高精度な領域分類器６４を生成することが可能となる。

【0129】

なお、パッチ分類器生成部４１Ｂは、パッチ画像５４から、パッチ画像５４を複数領域に分割した分割領域Ｐごとの分類結果５８を出力するパッチ分類器６０を生成すればよい。このため、分割領域Ｐは、要素Ｐ１に限定されない。

【0130】

例えば、パッチ分類器生成部４１Ｂは、画像５０に写り込んだ対象物２０以外の構造物２２の構造物領域と、対象物２０の対象物領域と、に分割した分割領域Ｐごとに、分類結果５８を出力するパッチ分類器６０を生成してもよい。

【0131】

図９Ｂは、パッチ分類器生成部４１Ｂによるパッチ分類器６１Ｂの生成の一例の説明図である。パッチ分類器６１Ｂは、パッチ分類器６０の一例である。図９Ｂには、パッチ画像５４Ｇを一例として示す。パッチ画像５４Ｇはパッチ画像５４の一例である。

【0132】

例えば、パッチ分類器生成部４１Ｂは、パッチ画像５４に写り込んだ対象物２０の領域である対象物領域と、パッチ画像５４写り込んだ対象物２０以外の領域として構造物２２の写り込んだ領域である構造物領域と、の各々を分割領域Ｐとして用いる。そして、パッチ分類器生成部４１Ｂは、パッチ画像５４から、パッチ画像５４を対象物領域Ｐ２Ａと構造物領域Ｐ２Ｂとに分割した分割領域Ｐごとに分類結果５８を出力する、パッチ分類器６１Ｂを生成する。

【0133】

この場合、パッチ分類器生成部４１Ｂは、パッチ画像５４を切り出した元画像である教師画像５２と、該教師画像５２の撮影画角内に対象物２０が写り込まない状態で撮影された画像５０と、の画素ごとの画素値の差分を計算する。そして、パッチ分類器生成部４１Ｂは、計算結果に基づいて、画素ごとの差分が閾値以上の領域を、該教師画像５２における対象物２０の対象物領域として特定する。また、パッチ分類器生成部４１Ｂは、該教師画像５２における特定した対象物領域以外の領域を、構造物領域として特定する。そして、パッチ分類器生成部４１Ｂは、該教師画像５２における該パッチ画像５４の各画素の位置が対象物領域Ｐ２Ａおよび構造物領域Ｐ２Ｂの何れに対応するか特定する。この特定処理により、パッチ分類器生成部４１Ｂは、パッチ画像５４の各画素に対象物領域Ｐ２Ａまたは構造物領域Ｐ２Ｂを教示する。

【0134】

そして、パッチ分類器生成部４１Ｂは、パッチ画像５４と該パッチ画像５４に対して分割領域Ｐごとに教示した分類結果５８との対を第１学習データとし、複数の第１学習データを用いた機械学習によりパッチ分類器６１Ｂを学習する。この学習処理によって、パッチ分類器生成部４１Ｂは、パッチ画像５４を入力とし分割領域Ｐごとの分類結果５８を出力とするパッチ分類器６１Ｂを生成する。

【0135】

領域分類結果画像生成部４０Ｃは、パッチ分類器生成部４１Ｂで生成されたパッチ分類器６１Ｂを用いて上記実施形態と同様にして領域分類結果画像６２を生成することで、より高精度な領域分類結果画像６２を生成することができる。そして、より高精度な領域分類結果画像６２または領域分類結果画像６２を補正した補正領域分類結果画像６６を用いる事で、領域分類器生成部４０Ｆは、より高精度な領域分類器６４を生成することが可能となる。

【0136】

なお、パッチ分類器生成部４１Ｂは、パッチ画像５４、およびパッチ画像５４を対象物領域Ｐ２Ａと構造物領域Ｐ２Ｂとに分割した分割結果から、パッチ画像５４を複数領域に分割した分割領域Ｐごとの分類結果５８を出力するパッチ分類器６０を生成してもよい。

【0137】

図９Ｃは、パッチ分類器生成部４１Ｂによるパッチ分類器６１Ｃの生成の一例の説明図である。パッチ分類器６１Ｃは、パッチ分類器６０の一例である。図９Ｃには、パッチ画像５４Ｆを一例として示す。パッチ画像５４Ｆはパッチ画像５４の一例である。

【0138】

例えば、パッチ分類器生成部４１Ｂは、パッチ画像５４と、パッチ画像５４を対象物領域Ｐ２Ａと構造物領域Ｐ２Ｂとに分割した領域分類結果６８と、を取得する。図９Ｃには、パッチ画像５４Ｆの領域分類結果６８として、領域分類結果６８Ｆを一例として示す。パッチ分類器生成部４１Ｂは、教師画像５２と該教師画像５２の撮影画角内に対象物２０が写り込まない状態で撮影された画像５０との画素ごとの画素値の差分を用いて、上記と同様の処理を行うことで、パッチ画像５４Ｆの領域分類結果６８を算出すればよい。

【0139】

また、パッチ分類器生成部４１Ｂは、パッチ画像５４および領域分類結果６８から、Ｇｒａｄ－ＣＡＭ等の手法を用いて、パッチ画像５４の各要素Ｐ１に分類結果５８を教示する。

【0140】

そして、パッチ分類器生成部４１Ｂは、パッチ画像５４および領域分類結果６８と、該パッチ画像５４に対して要素Ｐ１ごとに教示した分類結果５８との対を第１学習データとし、複数の第１学習データを用いた機械学習によりパッチ分類器６１Ｃを学習する。この学習処理によって、パッチ分類器生成部４１Ｂは、パッチ画像５４および領域分類結果６８を入力とし、分割領域Ｐである要素Ｐ１ごとの分類結果５８を出力とするパッチ分類器６１Ｃを生成する。このため、パッチ分類器生成部４１Ｂは、対象物領域Ｐ２Ａを構成する要素Ｐ１が選択的に分類結果５８に寄与するパッチ分類器６１Ｃを生成することができる。

【0141】

領域分類結果画像生成部４０Ｃは、パッチ分類器生成部４１Ｂで生成されたパッチ分類器６１Ｃを用いて上記実施形態と同様にして領域分類結果画像６２を生成することで、より高精度な領域分類結果画像６２を生成することができる。そして、より高精度な領域分類結果画像６２または領域分類結果画像６２を補正した補正領域分類結果画像６６を用いる事で、領域分類器生成部４０Ｆは、より高精度な領域分類器６４を生成することが可能となる。

【0142】

なお、本実施形態における制御部４１で実行される情報処理の流れは、パッチ分類器生成部４０Ｂに替えてパッチ分類器生成部４１Ｂがパッチ分類器６０を生成する処理を行う点以外は、上記実施形態と同様である。

【0143】

以上説明したように、本実施形態の分類器生成装置１０Ｂでは、パッチ分類器生成部４１Ｂが、パッチ画像５４から、パッチ画像５４を複数領域に分割した分割領域Ｐごとに、パッチ画像５４に写り込んだ対象物２０の状態の分類結果５８を出力するパッチ分類器６０（６１Ａ、６１Ｂ、６１Ｃ）を生成する。

【0144】

このため、本実施形態の分類器生成装置１０Ｂでは、上記実施形態の効果に加えて、更に高精度な領域分類器６４を生成することができる。

【0145】

（変形例１）
上記実施形態の分類器生成装置１０または分類器生成装置１０Ｂで生成された領域分類器６４は、任意の画像から領域分類結果を出力する画像分類装置に好適に適用することができる。画像分類装置は、画像から領域分類結果を導出する情報処理装置であればよい。

【0146】

例えば、画像分類装置は、上記実施形態の分類器生成装置１０または分類器生成装置１０Ｂで生成された領域分類器６４を用いて、該領域分類器６４に所望の画像を入力することで、該領域分類器６４からの出力として該画像の領域分類結果を導出すればよい。

【0147】

次に、上記実施形態の分類器生成装置１０および分類器生成装置１０Ｂのハードウェア構成を説明する。

【0148】

図１０は、上記実施形態の分類器生成装置１０および分類器生成装置１０Ｂの一例のハードウェア構成図である。

【0149】

上記実施形態の分類器生成装置１０および分類器生成装置１０Ｂは、ＣＰＵ９１などの制御装置と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９２やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ９４と、各部を接続するバス９５と、を備える。

【0150】

上記実施形態の分類器生成装置１０および分類器生成装置１０Ｂで実行されるプログラムは、ＲＯＭ９２等に予め組み込まれて提供される。

【0151】

上記実施形態の分類器生成装置１０および分類器生成装置１０Ｂで実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。

【0152】

さらに、上記実施形態の分類器生成装置１０および分類器生成装置１０Ｂで実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上記実施形態の分類器生成装置１０および分類器生成装置１０Ｂで実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

【0153】

上記実施形態の分類器生成装置１０および分類器生成装置１０Ｂで実行されるプログラムは、コンピュータを、本実施形態の分類器生成装置１０の各部として機能させうる。このコンピュータは、ＣＰＵ９１がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。なお、画像分類装置についても、分類器生成装置１０および分類器生成装置１０Ｂと同様のハードウェア構成とすればよい。

【0154】

上記には、本発明の実施形態を説明したが、本実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。本実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0155】

１０、１０Ｂ 分類器生成装置
１４ 操作機構
２０ 対象物
２２ 構造物
４０Ａ パッチ画像取得部
４０Ｂ、４１Ｂ パッチ分類器生成部
４０Ｃ 領域分類結果画像生成部
４０Ｄ 特定部
４０Ｅ 補正部
４０Ｆ 領域分類器生成部
４０Ｇ 視点変換画像生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9A】

【図9B】

【図9C】

【図10】