特許 7537027 学習済みモデル生成方法、学習済みモデル生成装置、及び学習済みモデル生成システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-09

(45)【発行日】2024-08-20

(54)【発明の名称】学習済みモデル生成方法、学習済みモデル生成装置、及び学習済みモデル生成システム

(51)【国際特許分類】

   G06V 10/778 20220101AFI20240813BHJP

   G06T 7/00 20170101ALI20240813BHJP

【ＦＩ】

G06V10/778

G06T7/00 350B

【請求項の数】 17

(21)【出願番号】P 2023538568

(86)(22)【出願日】2022-07-26

(86)【国際出願番号】 JP2022028834

(87)【国際公開番号】W WO2023008446

(87)【国際公開日】2023-02-02

【審査請求日】2024-01-16

(31)【優先権主張番号】P 2021121958

(32)【優先日】2021-07-26

(33)【優先権主張国・地域又は機関】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100132045

【弁理士】

【氏名又は名称】坪内 伸

(74)【代理人】

【識別番号】100195534

【弁理士】

【氏名又は名称】内海 一成

(72)【発明者】

【氏名】石田 敬之

(72)【発明者】

【氏名】宮村 博昭

(72)【発明者】

【氏名】グラシア フィデリア

(72)【発明者】

【氏名】森口 航平

(72)【発明者】

【氏名】中村 匡芳

【審査官】合田 幸裕

(56)【参考文献】

【文献】特開２０１４－１９９５８４（ＪＰ，Ａ）

【文献】国際公開第２０２１／０１４８７８（ＷＯ，Ａ１）

【文献】国際公開第２０１３／１７５７９２（ＷＯ，Ａ１）

【文献】特開２０１６－００６６２７（ＪＰ，Ａ）

【文献】特開２０２１－０４７７１５（ＪＰ，Ａ）

【文献】特開２０１９－０３２６９４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０１９３３２８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ １０／７０ － １０／８６

Ｇ０６Ｔ ７／００

ＩＥＥＥ Ｘｐｌｏｒｅ

ＪＳＴＰｌｕｓ（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

学習済みモデル生成方法であって、
第１環境における推定対象を示す第１画像データを学習データとして、前記推定対象に関する学習処理を行った第１モデルを取得することと、
推定を実行する第２環境において前記推定対象を示す第２画像データを取得することと、
前記第２画像データを学習データとして、前記第１モデルに基づいて第２モデルを生成することと、
を含み、
前記第２画像データは、前記第２環境に関するユーザ環境情報に基づいて、前記第２環境における前記推定対象の見え方を想定した画像を含み、
前記第１環境は、前記第２環境と比較して、前記推定対象を撮影した画像又は前記推定対象の見え方を想定した画像に対して、少なくとも光源の位置に起因して生じる影が及ぼす影響を低減させる環境である、
学習済みモデル生成方法。

【請求項2】

前記ユーザ環境情報として、前記第２環境において前記第２画像データに生じるノイズの要因を特定する情報を取得することを更に含む、請求項１に記載の学習済みモデル生成方法。

【請求項3】

前記ユーザ環境情報として、前記第１画像データと前記第２画像データの差分を生ずる要因を特定する情報を取得することを更に含む、請求項１に記載の学習済みモデル生成方法。

【請求項4】

前記ユーザ環境情報として、前記第２環境における光源の位置、前記光源から照射される光の強さ、及び、光源が点光源系であるか散乱光系であるかを特定する光源種類の情報を取得することを更に含む、請求項１に記載の学習済みモデル生成方法。

【請求項5】

前記ユーザ環境情報として、前記第２環境における、前記推定対象が配置される台の光学的性質の情報を取得することを更に含む、請求項１に記載の学習済みモデル生成方法。

【請求項6】

前記ユーザ環境情報として、前記第２環境における、前記推定対象の認識に用いる撮影手段の撮影パラメータの情報を取得することを更に含む、請求項１に記載の学習済みモデル生成方法。

【請求項7】

前記ユーザ環境情報として、前記第２環境における、前記推定対象の認識に用いる撮影手段の振動に関する情報を取得することを更に含む、請求項１に記載の学習済みモデル生成方法。

【請求項8】

前記ユーザ環境情報の各パラメータを所定の範囲で変化させた複数の拡張環境情報を生成することと、前記複数の拡張環境情報のそれぞれにおける前記第２画像データを生成することとを更に含む、請求項１から７までのいずれか一項に記載の学習済みモデル生成方法。

【請求項9】

前記第２環境において所定の物体を撮影した画像データに基づいて前記第２環境を推定した結果を、前記第２環境に関するユーザ環境情報として出力することを含む、請求項１に記載の学習済みモデル生成方法。

【請求項10】

前記第２環境において前記所定の物体として前記推定対象とは異なる物体を撮影した画像データに基づいて前記第２環境を推定することを更に含む、請求項９に記載の学習済みモデル生成方法。

【請求項11】

前記第２環境において前記所定の物体として前記推定対象を撮影した画像データに基づいて前記第２環境を推定することを更に含む、請求項９に記載の学習済みモデル生成方法。

【請求項12】

複数の方向それぞれから前記所定の物体を撮影した画像データに基づいて前記第２環境を推定することを更に含む、請求項９に記載の学習済みモデル生成方法。

【請求項13】

前記画像データは、前記所定の物体の複数の面のうち少なくとも２つの面を撮影した画像、又は、前記所定の物体を少なくとも２つの方向から前記所定の物体の異なる２つの面をそれぞれ撮影した画像を含む、請求項９から１２までのいずれか一項に記載の学習済みモデル生成方法。

【請求項14】

学習済みモデル生成方法であって、
第１環境における推定対象を示す第１画像データを学習データとして、前記推定対象に関する学習処理を行った第１モデルを取得することと、
推定を実行する第２環境において前記推定対象を示す第２画像データを取得することと、
前記第２画像データを学習データとして、前記第１モデルに基づいて第２モデルを生成することと、
を含み、
前記第２画像データは、前記第２環境に関するユーザ環境情報に基づいて、前記第２環境における前記推定対象の見え方を想定した画像を含み、
前記第１画像データは、前記第２画像データと比較して、前記推定対象の撮影又は前記推定対象の見え方における、少なくとも光源の位置に起因して生じる影が及ぼす影響が低減されているデータである、学習済みモデル生成方法。

【請求項15】

制御部を備え、
前記制御部は、
第１環境における推定対象を示す第１画像データを学習データとして、前記推定対象に関する学習処理を行った第１モデルを取得し、
推定を実行する第２環境において前記推定対象を示す第２画像データを取得し、
前記第２画像データを学習データとして、前記第１モデルに基づいて第２モデルを生成し、
前記第２画像データは、前記第２環境に関するユーザ環境情報に基づいて、前記第２環境における前記推定対象の見え方を想定した画像を含み、
前記第１環境は、前記第２環境と比較して、前記推定対象を撮影した画像又は前記推定対象の見え方を想定した画像に対して、少なくとも光源の位置に起因して生じる影が及ぼす影響を低減させる環境である、
学習済みモデル生成装置。

【請求項16】

請求項１５に記載の学習済みモデル生成装置と、ユーザ環境推定装置とを備え、
前記ユーザ環境推定装置は、推定対象のデータを取得する環境であるユーザ環境を推定する制御部を備え、
前記制御部は、前記ユーザ環境において所定の物体を撮影した画像データに基づいて前記ユーザ環境を推定した結果を、前記ユーザ環境に関するユーザ環境情報として出力し、
前記学習済みモデル生成装置は、前記ユーザ環境推定装置から、前記ユーザ環境推定装置が推定したユーザ環境を取得する、学習済みモデル生成システム。

【請求項17】

制御部を備え、
前記制御部は、
第１環境における推定対象を示す第１画像データを学習データとして、前記推定対象に関する学習処理を行った第１モデルを取得し、
推定を実行する第２環境において前記推定対象を示す第２画像データを取得し、
前記第２画像データを学習データとして、前記第１モデルに基づいて第２モデルを生成し、
前記第２画像データは、前記第２環境に関するユーザ環境情報に基づいて、前記第２環境における前記推定対象の見え方を想定した画像を含み、
前記第１画像データは、前記第２画像データと比較して、前記推定対象の撮影又は前記推定対象の見え方における、少なくとも光源の位置に起因して生じる影が及ぼす影響が低減されているデータである、学習済みモデル生成装置。

【発明の詳細な説明】

【関連出願へのクロスリファレンス】

【0001】

本出願は、日本国特許出願２０２１－１２１９５８号（２０２１年７月２６日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。

【技術分野】

【0002】

本開示は、学習済みモデル生成方法、ユーザ環境推定方法、学習済みモデル生成装置、ユーザ環境推定装置、及び学習済みモデル生成システムに関する。

【背景技術】

【0003】

従来、部品を撮像して部品の画像認識する際に使用する学習済みモデルを作成するシステムが知られている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０１９／１５５５９３号

【発明の概要】

【0005】

本開示の一実施形態に係る学習済みモデル生成方法は、第１環境における推定対象を示す第１画像データを学習データとして、前記推定対象に関する学習処理を行った第１モデルを取得することと、推定を実行する第２環境において前記推定対象を示す第２画像データを取得することと、前記第２画像データを学習データとして、前記第１モデルに基づいて第２モデルを生成することと、前記第２モデルに基づいて、学習済みモデルを出力することとを含む。前記第２画像データは、前記第２環境に関するユーザ環境情報に基づいて、前記第２環境における前記推定対象の見え方を想定した画像を含む、

【0006】

本開示の一実施形態に係るユーザ環境推定方法は、推定対象のデータを取得する環境であるユーザ環境を推定する。前記ユーザ環境推定方法は、前記ユーザ環境において所定の物体を撮影した画像データに基づいて前記ユーザ環境を推定した結果を、前記ユーザ環境に関するユーザ環境情報として出力することを含む。

【0007】

本開示の一実施形態に係る学習済みモデル生成装置は、制御部を備える。前記制御部は、第１環境における推定対象を示す第１画像データを学習データとして、前記推定対象に関する学習処理を行った第１モデルを取得する。前記制御部は、推定を実行する第２環境において前記推定対象を示す第２画像データを取得する。前記制御部は、前記第２画像データを学習データとして、前記第１モデルに基づいて第２モデルを生成する。前記制御部は、前記第２モデルに基づいて、学習済みモデルを出力する。前記第２画像データは、前記第２環境に関するユーザ環境情報に基づいて、前記第２環境における前記推定対象の見え方を想定した画像を含む。

【0008】

本開示の一実施形態に係るユーザ環境推定装置は、推定対象のデータを取得する環境であるユーザ環境を推定する制御部を備える。前記制御部は、前記ユーザ環境において所定の物体を撮影した画像データに基づいて前記ユーザ環境を推定した結果を、前記ユーザ環境に関するユーザ環境情報として出力する。

【0009】

本開示の一実施形態に係る学習済みモデル生成システムは、前記学習済みモデル生成方法を実行する学習済みモデル生成装置と、前記ユーザ環境推定方法を実行するユーザ環境推定装置とを備える。前記学習済みモデル生成装置は、前記ユーザ環境推定装置から前記ユーザ環境を取得する。

【図面の簡単な説明】

【0010】

【図1】一実施形態に係る学習済みモデル生成システムの構成例を示すブロック図である。

【図2】一実施形態に係る学習済みモデル生成システムの機能別のブロックの構成例を示すブロック図である。

【図3】標準環境としての第１環境の構成例を示す模式図である。

【図4】ユーザ環境としての第２環境の構成例を示す模式図である。

【図5】第２環境においてマーカを撮影する構成例を示す模式図である。

【図6】一実施形態に係る学習済みモデル生成方法の手順例を示すフローチャートである。

【図7】ユーザ環境情報に基づき第２画像データを生成する手順例を示すフローチャートである。

【図8】マーカが並行光で照らされる構成例を示す模式図である。

【図9A】並行光で照らした三角錐のマーカを写した画像例である。

【図9B】並行光で照らした四角錐のマーカを写した画像例である。

【図9C】並行光で照らした四角柱のマーカを写した画像例である。

【図10】マーカがスポットライトで照らされる構成例を示す模式図である。

【図11】スポットライトで照らした三角錐のマーカを写した画像例である。

【図12】マーカがスポットライトで２方向から照らされる構成例を示す模式図である。

【図13】スポットライトで２方向から照らした三角錐のマーカを写した画像例である。

【発明を実施するための形態】

【0011】

学習済みモデルを認識に用いる環境が学習済みモデルを作成した環境と異なる場合、認識精度が低下し得る。つまり、認識に用いる学習済みモデルのロバスト性が低下し得る。本開示の一実施形態に係る学習済みモデル生成方法、及びユーザ環境推定方法によれば、認識に用いる学習済みモデルのロバスト性が向上され得る。

【0012】

（学習済みモデル生成システム１の構成）
図１に示されるように、一実施形態に係る学習済みモデル生成システム１は、第１学習済みモデル生成装置１１０と、第２学習済みモデル生成装置２１０とを備える。学習済みモデル生成システム１は、必須ではないがユーザ環境推定装置３１０を更に備える。学習済みモデル生成システム１は、必須ではないが撮像装置４０を更に備える。第１学習済みモデル生成装置１１０及び第２学習済みモデル生成装置２１０は、推定対象の推定に用いる学習済みモデルを生成する。学習済みモデルは、組み込まれた学習済みパラメータを適用することによって入力に対して特定の演算処理を行い、演算結果を出力可能に構成される推論アルゴリズムである。なお、学習済みモデルは、推定対象の推定に用いられる。学習済みモデルは、例えば、認識対象の認識又は把持対象の把持位置推定に用いられたりする。

【0013】

この学習済みモデルは、例えば協働ロボットなどのロボットを制御するロボットコントローラなどに設定、選好又はダウンロードされてロボットが作業対象物を認識したりする際に使用される。具体的には、学習済みモデルは、ロボットが作業を行なう際に、例えば、作業環境にある物体を撮影し、撮影した画像に基づき、撮影した物体が、認識対象又は把持対象などである作業対象物か否かを判定したり、把持対象の把持位置を推定したりすることができる。そして、その判定結果に応じて、ロボットを制御することができる。

【0014】

第１学習済みモデル生成装置１１０は、第１環境における認識対象を撮影した画像又は標準環境における認識対象の見え方を想定した画像を教師データとした学習による第１の学習済みモデルを生成する。なお、本開示では、第１環境は、標準環境とも称される。すなわち、以下の記載では、「標準環境」という言葉は、「第１環境」という言葉に言い換えることが可能である。第１学習済みモデル生成装置１１０は、標準環境における認識対象を撮影した画像を撮像装置４０から取得してよい。標準環境は、認識対象を撮影した画像又は認識対象の見え方を想定した画像に対して及ぼす影響を低減させる環境であってよい。言い換えれば、標準環境は、後述するユーザ環境よりもノイズが少ない環境であってよい。また、標準環境は、学習済みモデルが搭載されたロボットなどの機器をユーザが使用する際に、使用場所ごとに変動し得る要因が、後述するユーザ環境に比較して小さくなっていてもよい。言い換えれば、環境情報は、認識を実行する環境ごとに変動し得る要因が小さい環境ともいえる。

【0015】

第２学習済みモデル生成装置２１０は、第１学習済みモデル生成装置１１０から第１の学習済みモデルを取得する。第２学習済みモデル生成装置２１０は、認識を実行する第２環境における認識対象の見え方を想定した画像を教師データとした学習によって第１の学習済みモデルを更新して第２の学習済みモデルを生成する。なお、本開示では、第２環境は、ユーザ環境とも称される。すなわち、以下の記載では、「ユーザ環境」という言葉は、「第２環境」という言葉に言い換えることが可能である。なお、認識を実行する環境とは、例えば、最終的な得られた学習済みモデルが搭載されたロボットなどの機器が使用される場所などであればよい。

【0016】

ユーザ環境は、標準環境と異なる環境である。本実施形態において、標準環境における認識対象の見え方が標準的な見え方であるとする。ユーザ環境における認識対象の見え方は、標準的な見え方と異なる。標準的な見え方に対する差異は、見え方にノイズが生じているといえる。したがって、ユーザ環境と標準環境との差異は、認識対象の見え方にノイズを発生させるといえる。

【0017】

本実施形態に係る学習済みモデル生成システム１は、各環境における認識対象の見え方の違いに基づいて学習することによって、各環境における認識対象の認識精度を向上できる。つまり、環境の違いに対して高いロバスト性を有するモデルが生成され得る。以下、学習済みモデル生成システム１の構成例が説明される。

【0018】

＜第１学習済みモデル生成装置１１０及び第２学習済みモデル生成装置２１０並びにユーザ環境推定装置３１０＞
図１に示されるように、第１学習済みモデル生成装置１１０は、第１制御部１２０と、第１記憶部１３０とを備える。図２に示されるように、第１制御部１２０は、標準環境対象物データ生成部１２１と、標準環境対象物認識部１２２とを備える。第１記憶部１３０は、第１データ保持部１３１を備える。

【0019】

図１に示されるように、第２学習済みモデル生成装置２１０は、第２制御部２２０と、第２記憶部２３０とを備える。図２に示されるように、第２制御部２２０は、ユーザ環境対象物データ生成部２２３と、ユーザ環境対象物認識部２２４とを備える。第２記憶部２３０は、第２データ保持部２３２を備える。

【0020】

図１に示されるように、ユーザ環境推定装置３１０は、第３制御部３２０と、第３記憶部３３０とを備える。図２に示されるように、第３制御部３２０は、ユーザ環境取得部３２５と、ユーザ環境推定部３２６とを備える。第３記憶部３３０は、第３データ保持部３３３と、第４データ保持部３３４とを備える。

【0021】

第１学習済みモデル生成装置１１０と第２学習済みモデル生成装置２１０とは、一体の装置として構成されてもよい。ユーザ環境推定装置３１０は、第１学習済みモデル生成装置１１０又は第２学習済みモデル生成装置２１０と一体の装置として構成されてもよい。

【0022】

標準環境対象物データ生成部１２１は、標準環境における認識対象を示す画像を含む第１画像データを生成する。標準環境対象物データ生成部１２１は、標準環境における認識対象の画像として撮像装置４０から標準環境において認識対象を撮影した画像を取得し、第１画像データとしてもよい。また、標準環境対象物データ生成部１２１は、標準環境における認識対象の見え方を想定した画像を第１画像データとして生成してよい。すなわち、標準環境対象物データ生成部１２１は、ＣＡＤ（Computer-Aided Design）データ又は図面などを含む設計データなどに基づき、標準環境の状態を加味して第１画像データを合成してもよい。標準環境対象物データ生成部１２１は、第１画像データを標準環境対象物認識部１２２に出力する。標準環境対象物データ生成部１２１は、第１画像データを第１データ保持部１３１に格納してよい。

【0023】

標準環境対象物認識部１２２は、標準環境対象物データ生成部１２１から第１画像データを取得する。標準環境対象物認識部１２２は、第１データ保持部１３１から第１画像データを取得してもよい。標準環境対象物認識部１２２は、第１画像データを教師データとして、標準環境における認識の学習を実行し、第１の学習済みモデルを生成する。第１の学習済みモデルは、第１モデルとも称される。標準環境対象物認識部１２２は、第１画像データを教師データとする学習によって生成した第１モデルを、第１データ保持部１３１に格納する。

【0024】

ユーザ環境対象物データ生成部２２３は、ユーザ環境における認識対象を示す画像を含む第２画像データを生成する。ユーザ環境対象物データ生成部２２３は、ユーザ環境における認識対象の見え方を想定した画像を第２画像データとして生成してよい。ユーザ環境対象物データ生成部２２３は、後述するユーザ環境取得部３２５及びユーザ環境推定部３２６によって生成されたユーザ環境に関する情報を取得する。ユーザ環境に関する情報は、ユーザ環境情報とも称される。ユーザ環境対象物データ生成部２２３は、ユーザ環境情報に基づいて、第２画像データを生成する。すなわち、ユーザ環境対象物データ生成部２２３は、ＣＡＤデータ又は図面などを含む設計データなどに基づき、ユーザ環境の状態を加味して第２画像データを合成してもよい。ユーザ環境対象物データ生成部２２３は、第２画像データをユーザ環境対象物認識部２２４に出力する。ユーザ環境対象物データ生成部２２３は、第２画像データを第２データ保持部２３２に格納してよい。なお、ユーザ環境対象物データ生成部２２３は、ユーザ環境において認識対象を撮影した画像を取得し、第２画像データとしてもよい。

【0025】

ユーザ環境対象物認識部２２４は、ユーザ環境対象物データ生成部２２３から第２画像データを取得する。また、ユーザ環境対象物認識部２２４は、第１データ保持部１３１から第１モデルを取得する。ユーザ環境対象物認識部２２４は、第２画像データを教師データとして学習を実行し、第１モデルに基づいて第２モデルを生成する。本実施形態では、ユーザ環境対象物認識部２２４は、第１モデルを更新して第２モデルを生成している。標準環境対象物認識部１２２によって生成されて第１データ保持部１３１に格納された第１モデルは、第２データ保持部２３２に格納されているとする。ユーザ環境対象物認識部２２４は、第２データ保持部２３２に格納されている第１モデルに対する読み書きを実行することによって第１モデルを更新し、第２の学習済みモデルを生成し、第２データ保持部２３２に格納する。第２の学習済みモデルは、第２モデルとも称される。ユーザ環境対象物認識部２２４は、第２モデルを学習済みモデルとして出力する。言い換えれば、ユーザ環境対象物認識部２２４は、第２モデルに基づいて学習済みモデルを出力してよい。さらに、ユーザ環境での撮影画像で学習が実行されてもよい。

【0026】

第１モデルは、第１データ保持部１３１に格納されていてもよい。ユーザ環境対象物認識部２２４は、第１データ保持部１３１に格納されている第１モデルに対する読み書きを実行することによって第１モデルを更新し、第２モデルを生成し、第１データ保持部１３１に格納してよい。第１データ保持部１３１と第２データ保持部２３２とは、互いに区別されないように構成されてもよいし、一体として構成されてもよい。

【0027】

なお、上記では、第１モデルを更新することによって第２モデルを生成する例を説明しているが、第２モデルの生成方法はこれに限られない。例えば、第１モデルとは異なり、ユーザ環境に関する学習処理が行われた付加的学習済みモデルを第１モデルに接続することによって第２モデルが生成されてもよい。なお、付加的学習済みモデルは、例えばアダプタモジュールとも称される。

【0028】

ユーザ環境取得部３２５は、ユーザ環境を推定するために用いられる情報を取得する。ユーザ環境を推定するために用いられる情報は、ユーザ環境データとも称される。ユーザ環境データは、ユーザ環境において撮影した画像を含んでよい。具体的には、ユーザ環境データは、例えば、ユーザ環境において認識対象を撮影した画像、ユーザ環境において認識対象の周囲を撮影した画像、またはユーザ環境における認識対象を配置していない状態を撮影した画像などを含んでいればよい。ユーザ環境データは、ユーザ環境における照明条件等の既知の情報を含んでもよい。ユーザ環境取得部３２５は、ユーザ環境データをユーザ環境推定部３２６に出力する。ユーザ環境取得部３２５は、ユーザ環境データを第３データ保持部３３３に格納してもよい。

【0029】

ユーザ環境推定部３２６は、ユーザ環境データに基づいて、ユーザ環境を推定する。ユーザ環境推定部３２６は、ユーザ環境データを、ユーザ環境取得部３２５から取得してもよいし、第３データ保持部３３３から取得してもよい。ユーザ環境は、例えば照明条件によって特定されてよい。照明条件は、例えば照明の位置若しくは数、光源の種類、照明の明るさ、輝度若しくは照度、照明の色温度、又は、照明のフリッカ等を含んでよい。光源の種類は、並行光であるか散乱光であるかによって特定されてよい。光源の種類は、点光源、平面光源又はリング光源として特定されてよい。ユーザ環境は、例えば認識が実行される際に使用される撮像装置４０の仕様又は設定によって特定されてよい。ユーザ環境は、認識対象が置かれている台、又は、認識対象が置かれている部屋の壁若しくは天井等の認識対象以外に存在する物体の条件によって特定されてよい。ユーザ環境は、認識対象自体、又は認識対象以外に存在する物体の表面状態若しくは反射率等によって特定されてよい。ユーザ環境は、認識が実行される際に、認識対象が置かれる部屋の窓の有無又はブラインドの有無によって特定されてよい。ユーザ環境は、認識が実行される際に、認識対象が置かれる場所に差し込む太陽の光の時系列の変化によって特定されてよい。

【0030】

ユーザ環境推定部３２６は、ユーザ環境の推定結果をユーザ環境情報としてユーザ環境対象物データ生成部２２３に出力する。ユーザ環境取得部３２５は、ユーザ環境情報を第４データ保持部３３４に格納してもよい。ユーザ環境対象物データ生成部２２３は、上述したように、ユーザ環境情報に基づいて第２画像データを生成してよい。ユーザ環境対象物データ生成部２２３は、ユーザ環境情報を、ユーザ環境推定部３２６から取得してもよいし、第４データ保持部３３４から取得してもよい。ユーザ環境推定部３２６は、ユーザ環境を推定するために用いられる情報が照明条件等のユーザ環境を特定可能な情報を含む場合、ユーザ環境を特定可能な情報そのものをユーザ環境情報として出力してもよい。

【0031】

第１制御部１２０、第２制御部２２０及び第３制御部３２０は、標準環境対象物データ生成部１２１等の各構成部の機能を実現するために、少なくとも１つのプロセッサを含んで構成されてよい。プロセッサは、各構成部の機能を実現するプログラムを実行しうる。プロセッサは、各構成部の機能を実現する回路として実現されよい。プロセッサは、複数の構成部の機能をまとめて実現する回路として実現されてよい。プロセッサは、単一の集積回路として実現されてよい。集積回路は、ＩＣ（Integrated Circuit）とも称される。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、ＣＰＵ（Central Processing Unit）を含んで構成されてよい。プロセッサは、ＤＳＰ（Digital Signal Processor）又はＧＰＵ（Graphics Processing Unit）を含んで構成されてもよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。

【0032】

第１記憶部１３０、第２記憶部２３０及び第３記憶部３３０は、磁気ディスク等の電磁記憶媒体を含んで構成されてよいし、半導体メモリ又は磁気メモリ等のメモリを含んで構成されてもよい。第１記憶部１３０、第２記憶部２３０及び第３記憶部３３０は、ＨＤＤ（Hard Disk Drive）として構成されてもよいしＳＳＤ（Solid State Drive）として構成されてもよい。第１記憶部１３０、第２記憶部２３０及び第３記憶部３３０は、第１データ保持部１３１等の各構成部に分けてデータを保持するように、各構成部に対応する電磁記憶媒体又はメモリ等を含んで構成されてよい。第１記憶部１３０、第２記憶部２３０及び第３記憶部３３０は、複数の構成部のデータを１つの電磁記憶媒体又はメモリ等に保持するように構成されてもよい。第１記憶部１３０、第２記憶部２３０及び第３記憶部３３０は、各種情報並びに第１制御部１２０、第２制御部２２０及び第３制御部３２０で実行されるプログラム等を格納する。第１記憶部１３０、第２記憶部２３０及び第３記憶部３３０はそれぞれ、第１制御部１２０、第２制御部２２０及び第３制御部３２０のワークメモリとして機能してよい。第１制御部１２０、第２制御部２２０及び第３制御部３２０が第１記憶部１３０、第２記憶部２３０及び第３記憶部３３０の少なくとも一部を含んで構成されてもよい。

【0033】

＜撮像装置４０＞
撮像装置４０は、認識対象又は認識対象以外の物体を撮影可能に構成される。撮像装置４０は、撮像素子を備えてよい。撮像装置４０は、レンズ又はミラー等を含む光学系を備えてよい。撮像装置４０の仕様は、解像度又は感度によって特定されてよい。撮像装置４０は、認識対象又は認識対象以外の物体を撮影する際の解像度又は感度を変更可能に構成されてよい。撮像装置４０の仕様は、シャッタースピード又は絞りによって特定されてよい。撮像装置４０は、認識対象又は認識対象以外の物体を撮影する際のシャッタースピード又は絞りを変更可能に構成されてよい。

【0034】

第１学習済みモデル生成装置１１０、第２学習済みモデル生成装置２１０又はユーザ環境推定装置３１０と撮像装置４０とは、有線又は無線で互いに通信可能に構成されてよい。第１学習済みモデル生成装置１１０、第２学習済みモデル生成装置２１０、ユーザ環境推定装置３１０及び撮像装置４０は、通信デバイスを備えてもよい。通信デバイスは、種々の通信規格に基づく通信方式で通信可能に構成されてよい。通信デバイスは、既知の通信技術により構成することができる。通信デバイスのハードウェア等の詳細な説明は省略される。通信デバイスの機能は、１つのインタフェースによって実現されてもよいし、接続先別にそれぞれ別体のインタフェースによって実現されてもよい。

【0035】

（学習済みモデル生成システム１の動作例）
第１学習済みモデル生成装置１１０は、標準環境における認識対象の画像を含む第１画像データに基づく学習によって第１モデルを生成する。第２学習済みモデル生成装置２１０は、ユーザ環境における認識対象の画像を含む第２画像データに基づく学習によって第１モデルを更新して第２モデルを生成し、学習済みモデルとして出力する。

【0036】

以下、第１モデルの生成例、及び、第２モデルの生成例がそれぞれ説明される。

【0037】

＜第１モデルの生成例＞
第１学習済みモデル生成装置１１０の第１制御部１２０は、標準環境における認識対象の画像を含む第１画像データを生成する。標準環境は、第１モデルを生成する学習に用いる教師データとなる画像を生成する環境である。第１制御部１２０は、標準環境において認識対象の画像を撮影した画像を取得し、取得した画像を含む第１画像データを生成してよい。第１制御部１２０は、標準環境における認識対象の見え方を想定した画像を生成し、生成した画像を含む第１画像データを生成してよい。標準環境は、認識対象を撮影した画像又は認識対象の見え方を想定した画像に対して、少なくとも光源の位置に起因して生じる影が及ぼす影響を低減させる環境であってよい。

【0038】

標準環境は、例えば第１環境１００として図３に示されるように、認識対象であるコップ５０を標準照明４１で照らす環境であるとする。標準照明４１は、認識対象の影ができないように構成されてよい。標準照明４１は、例えば認識対象を全方位から均一に照らす光を射出するように構成されてもよい。標準照明４１は、例えばパネル型の照明デバイスを含んで構成されてよい。標準照明４１は、複数の照明デバイスを含んで構成されてもよい。標準環境は、実在の環境であってもよいし、仮想的に設定された環境であってもよい。

【0039】

第１制御部１２０は、第１画像データを教師データとして、標準環境における認識の学習を実行し、第１の学習済みモデルを生成する。

【0040】

＜第２モデルの生成＞
第２学習済みモデル生成装置２１０の第２制御部２２０は、ユーザ環境情報に基づいてユーザ環境における認識対象の画像を含む第２画像データを生成する。ユーザ環境は、学習済みモデルを用いて認識対象を実際に認識する環境である。第２制御部２２０は、ユーザ環境における認識対象の見え方を想定した画像を生成し、生成した画像を含む第２画像データを生成する。

【0041】

ユーザ環境は、例えば第２環境２００として図４に示されるように、テーブル５２の上に置かれているコップ５０を認識対象として撮像装置４０で撮影して認識する環境であるとする。図４の例において、コップ５０の影５０Ｓがテーブル５２の上に現れている。第２制御部２２０は、コップ５０及び影５０Ｓ並びにテーブル５２を写した画像、つまりユーザ環境におけるコップ５０の見え方を特定する画像を取得し、取得した画像を含む第２画像データを生成してよい。第２制御部２２０は、後述するようにユーザ環境情報を取得し、ユーザ環境情報に基づいてユーザ環境におけるコップ５０の見え方を想定した画像を生成し、生成した画像を含む第２画像データを生成してよい。

【0042】

ユーザ照明４２は、例えばリング型の照明デバイスを含んで構成されてよい。ユーザ照明４２は、種々の照明デバイスを含んで構成されてよい。ユーザ照明４２は、複数の照明デバイスを含んで構成されてもよい。ユーザ環境は、実在の環境であってもよいし、仮想的に設定された環境であってもよい。

【0043】

第２制御部２２０は、第２画像データを教師データとして学習することによって第１モデルを更新し、第２モデルを生成する。第１モデルが更新されることによって生成された第２モデルは、ユーザ環境における認識精度を向上できる。第２制御部２２０は、第２モデルを学習済みモデルとして出力する。

【0044】

＜ユーザ環境の推定＞
ユーザ環境推定装置３１０の第３制御部３２０は、ユーザ環境情報を推定することによって生成してよい。第３制御部３２０は、例えば図４に示されるように認識対象であるコップ５０及び影５０Ｓを写した画像に基づいてユーザ環境情報を推定できる。また、第３制御部３２０は、例えば図５に示されるように、第２環境２００に配置されたマーカ５１及び影５１Ｓを写した画像に基づいてユーザ環境情報を推定できる。マーカ５１は、認識対象である物体を含んでよいし、認識対象でない物体を含んでもよい。

【0045】

マーカ５１は、少なくとも２つの可視できる面を有している。マーカ５１は、２つの面に対するユーザ照明４２からの照明光の入射角が互いに異なるように配置される。また、マーカ５１は、照明光の入射角が互いに異なる２つの面が撮像装置４０によって１枚の画像として撮影されるように配置される。また、図５において、撮像装置４０は、第１撮像装置４０Ａ及び第２撮像装置４０Ｂを含んでよい。つまり、撮像装置４０は、マーカ５１を２つの方向から撮影するように構成されてもよい。各方向から撮影した画像にマーカ５１の異なる面が写るように、マーカ５１が配置されてよい。

【0046】

具体的に、第３制御部３２０は、マーカ５１を撮影した画像に基づいて、ユーザ環境を特定する種々の条件を推定する。第３制御部３２０は、例えば照明条件又は撮像装置４０の仕様等を推定してよい。第３制御部３２０は、マーカ５１が置かれているテーブル５２等の認識対象以外に存在する物体に関する情報を推定してよい。第３制御部３２０は、ユーザ環境を特定する条件をユーザ環境情報として生成したり取得したりする。

【0047】

第３制御部３２０は、ユーザ環境情報として、ユーザ環境において第２画像データに生じるノイズの要因を特定する情報を生成したり取得したりしてよい。第３制御部３２０は、ユーザ環境情報として、第１画像データと第２画像データの差分を生ずる要因を特定する情報を生成したり取得したりしてよい。第３制御部３２０は、ユーザ環境情報として、ユーザ環境における光源の位置、光源から照射される光の強さ、及び、光源が点光源系であるか散乱光系であるかを特定する光源種類の情報を生成したり取得したりしてよい。第３制御部３２０は、ユーザ環境情報として、ユーザ環境における、認識対象が配置される台（例えばテーブル５２等）、又は、認識対象が配置される部屋の壁若しくは天井の光学的性質の情報を、生成したり取得したりしてよい。第３制御部３２０は、ユーザ環境情報として、ユーザ環境における、認識対象の認識に用いる撮影手段の撮影パラメータの情報、又は、撮影手段の振動に関する情報を生成したり取得したりしてよい。撮影手段は、撮像装置４０を含んでよい。

【0048】

＜学習済みモデル生成方法の手順例＞
第１学習済みモデル生成装置１１０の第１制御部１２０及び第２学習済みモデル生成装置２１０の第２制御部２２０は、図６及び図７に例示されるフローチャートの手順を含む学習済みモデル生成方法を実行してもよい。学習済みモデル生成方法は、第１制御部１２０及び第２制御部２２０を構成するプロセッサに実行させる学習済みモデル生成プログラムとして実現されてもよい。学習済みモデル生成プログラムは、非一時的なコンピュータ読み取り可能な媒体に格納されてよい。

【0049】

第１制御部１２０及び第２制御部２２０は、図６に例示されるフローチャートの手順を実行することによって、学習済みモデルを生成する。第１制御部１２０は、標準環境における第１画像データを生成する（ステップＳ１）。第１制御部１２０は、第１画像データを学習データとして、第１学習データに示された認識対象物を教師データとする学習処理によって第１モデルを生成する（ステップＳ２）。第２制御部２２０は、ユーザ環境における第２画像データを生成する（ステップＳ３）。第２制御部２２０は、第２画像データを学習データとして、第２学習データに示された認識対象物を教師データとする学習処理によって第１モデルを更新し、第２モデルを生成する（ステップＳ４）。第２制御部２２０は、第２モデルを学習済みモデルとして出力する。第１制御部１２０及び第２制御部２２０は、ステップＳ４の手順の実行後、図６のフローチャートの手順の実行を終了する。

【0050】

また、第３制御部３２０は、図６のステップＳ３の手順における第２画像データの生成を、ユーザ環境情報に基づいて実行してよい。第３制御部３２０は、図７に例示されるフローチャートの手順を実行することによって、ユーザ環境情報を生成し、ユーザ環境情報に基づいて第２画像データを生成してよい。第３制御部３２０は、ユーザ環境データを取得する（ステップＳ１１）。第３制御部３２０は、ユーザ環境データに基づいてユーザ環境情報を生成する（ステップＳ１２）。第３制御部３２０は、ユーザ環境情報に基づいて第２画像データを生成する（ステップＳ１３）。第３制御部３２０は、ステップＳ１３の手順の実行後、図７のフローチャートの手順の実行を終了し、図６のステップＳ４の手順に進む。

【0051】

＜小括＞
以上述べてきたように、本実施形態に係る学習済みモデル生成システム１並びに第１学習済みモデル生成装置１１０及び第２学習済みモデル生成装置２１０は、第１モデルと第２モデルとを分けて生成し、ユーザ環境情報に基づいて第１モデルを更新することによって第２モデルを生成する。第１学習済みモデル生成装置１１０及び第２学習済みモデル生成装置２１０は、ユーザ環境情報に基づいて第１モデルを更新して第２モデルを生成することによって、第２モデルとして生成した学習済みモデルのロバスト性を向上できる。

【0052】

また、第１学習済みモデル生成装置１１０及び第２学習済みモデル生成装置２１０は、複数のユーザ環境に適用する学習済みモデルとして第２モデルを生成するために、標準環境において各ユーザ環境に共通する第１モデルを生成してよい。第１学習済みモデル生成装置１１０及び第２学習済みモデル生成装置２１０は、第１モデルを生成した後、各ユーザ環境に適用する第２モデルを生成するために、各ユーザ環境に関する情報に基づく学習によって第１モデルを更新して第２モデルを生成できる。つまり、第１モデルは、複数のユーザ環境それぞれに対応する第２モデルを生成するための共通のモデルである。第１モデルを生成するための学習が共通化されることによって、各ユーザ環境に適用する第２モデルを生成するための学習の演算負荷が低減され得る。また、第１モデルの共通化によって、第１モデルの汎用性が高められ得る。

【0053】

また、学習済みモデル生成システム１は、第３学習済みモデル生成装置を有していてもよい。そして、第２モデルとは異なるユーザ環境に関する第３モデルを生成してもよい。なお、第３学習済みモデル生成装置は、第２学習済みモデル生成装置２１０と同様の構成を有してよい。第３モデルは第２モデルと同様の方法で生成されてもよい。また、第２モデルおよび第３モデルなどの各ユーザ環境に適用する学習済みモデルを生成するために、標準環境において各ユーザ環境に共通する第１モデルが生成されてよい。第２学習済みモデル生成装置２１０および第３学習済みモデル生成装置は、第１モデルを生成した後、各ユーザ環境に適用する第２モデルおよび第３モデルを生成するために、各ユーザ環境に関する情報に基づく学習によって第１モデルを更新して第２モデルおよび第３モデルを生成できる。つまり、第１モデルは、複数のユーザ環境それぞれに対応する第２モデルおよび第３モデルを生成するための共通のモデルである。第１モデルを生成するための学習が共通化されることによって、各ユーザ環境に適用する第２モデルおよび第３モデルを生成するための学習の演算負荷が低減され得る。また、第１モデルの共通化によって、第１モデルの汎用性が高められ得る。なお、第３モデルは、例えば、都度生成されればよい。第３モデルは、第２モデルと同時に生成されなくてもよい。また、第３モデルを生成するために、第２モデルを第１モデルの更新によって生成した場合でも、第１モデルは、第１モデルのまま記憶されていてもよい。また、学習済みモデル生成システム１は、ユーザ環境と同数の学習済みモデル生成装置を有していてもよく、ユーザ環境と同数の学習済みモデルを生成してもよい。

【0054】

また、学習済みモデル生成システム１は、第４学習済みモデル生成装置を有していてもよい。そして、第２モデルに基づいて第４モデルが生成されてもよい。例えば、第４学習済みモデル生成装置の制御部は、ユーザ環境を撮影した撮影画像を取得し、取得したユーザ環境での撮影画像に基づき、第２モデルに追加の学習処理を行ない第４モデルを生成してもよい。なお、第２モデルにとは異なり、ユーザ環境での撮影画像に関する学習処理が行われた付加的学習済みモデルを第２モデルに接続することによって第４モデルが生成されてもよい。

【0055】

本実施形態に係る学習済みモデル生成システム１並びに第１学習済みモデル生成装置１１０及び第２学習済みモデル生成装置２１０によれば、学習済みモデルの汎用性とロバスト性とが確保され得る。

【0056】

（他の実施形態）
以下、他の実施形態が説明される。

【0057】

＜認識対象の見え方の例＞
ユーザ環境における照明条件は、ユーザ環境におけるマーカ５１等の物体の見え方に影響を及ぼす。以下、異なる照明条件におけるマーカ５１の見え方の違いが説明される。

【0058】

＜＜並行光で照らされたマーカ５１の見え方の例＞＞
図８に示されるように、マーカ５１が太陽光４３を光源とする並行光で照らされるとする。マーカ５１は、三角錐であり、第１面５１１と第２面５１２と第３面５１３と第４面５１４とを有するとする。また、図８において撮像装置４０は、紙面の手前側に位置し、紙面の奥側に向いてマーカ５１を撮影する。

【0059】

図９Ａに示される画像に、マーカ５１の第１面５１１（図８参照）と第２面５１２（図８参照）とが写っている。照明の方に位置する第１面５１１の輝度は、第２面５１２の輝度よりも高い。並行光で照らされることによって、マーカ５１の影５１Ｓがテーブル５２の上に生じている。ユーザ環境推定装置３１０の第３制御部３２０は、図９Ａに示される画像に基づいて、マーカ５１を照らす照明条件を推定してよい。第３制御部３２０は、影５１Ｓの形、又は、影５１Ｓの濃さに基づいて照明条件を推定してよい。第３制御部３２０は、照明条件だけでなく、撮像装置４０の特性、又は、テーブル５２若しくは床等の認識対象以外の物体に関する情報を推定してよい。第３制御部３２０は、推定結果をユーザ環境情報として生成したり取得したりしてよい。

【0060】

他の形状のマーカ５１として、図９Ｂに、四角錐のマーカ５１を写した画像が例示される。また、図９Ｃに、四角柱のマーカ５１を写した画像が例示される。第３制御部３２０は、種々のマーカ５１を写した画像に基づいてユーザ環境情報を生成したり取得したりしてよい。

【0061】

＜＜スポットライト４４で照らされたマーカ５１の見え方の例＞＞
図１０に示されるように、マーカ５１がスポットライト４４を光源として放射状に広がる照明光でマーカ５１の周囲だけ照らされるとする。マーカ５１は、三角錐であり、第１面５１１と第２面５１２と第３面５１３と第４面５１４とを有するとする。また、図１０において撮像装置４０は、紙面の手前側に位置し、紙面の奥側に向いてマーカ５１を撮影する。

【0062】

図１１に示される画像に、マーカ５１の第１面５１１（図１０参照）と第２面５１２（図１０参照）とが写っている。照明の方に位置する第１面５１１の輝度は、第２面５１２の輝度よりも高い。マーカ５１が照明光で照らされることによって、マーカ５１の影がテーブル５２の上に生じている。また、放射状の照明光でマーカ５１の周囲だけ照らされることによって、テーブル５２は、マーカ５１の近傍だけ明るくなっている。また、影が照明光の回折によって二重に見えている。

【0063】

第３制御部３２０は、図１１に示される画像に基づいて、マーカ５１を照らす照明条件を推定してよい。第３制御部３２０は、マーカ５１の影の形、又は、マーカ５１の影の濃さに基づいて照明条件を推定してよい。第３制御部３２０は、照明条件だけでなく、撮像装置４０の特性、又は、テーブル５２若しくは床等の認識対象以外の物体に関する情報を推定してよい。第３制御部３２０は、推定結果をユーザ環境情報として生成したり取得したりしてよい。

【0064】

＜＜スポットライト４４で２方向から照らされたマーカ５１の見え方の例＞＞
図１２に示されるように、マーカ５１が第１スポットライト４４Ａ及び第２スポットライト４４Ｂを光源とした照明光で２方向から照らされるとする。マーカ５１は、三角錐であり、第１面５１１と第２面５１２と第３面５１３と第４面５１４とを有するとする。また、図１２において撮像装置４０は、紙面の手前側に位置し、紙面の奥側に向いてマーカ５１を撮影する。

【0065】

図１３に示される画像に、マーカ５１の第１面５１１（図１２参照）と第２面５１２（図１２参照）とが写っている。照明の方に位置する第１面５１１の輝度は、第２面５１２の輝度よりも高い。マーカ５１が照明光で照らされることによって、マーカ５１の影が３方向に延びるようにテーブル５２の上に生じている。具体的には、第１スポットライト４４Ａによる照明光に対応する影と、第２スポットライト４４Ｂに対応する影と、これら２つの影を合成した影とがテーブル５２の上に生じている。

【0066】

第３制御部３２０は、図１３に示される画像に基づいて、マーカ５１を照らす照明条件を推定してよい。第３制御部３２０は、マーカ５１の影の形、又は、マーカ５１の影の濃さに基づいて照明条件を推定してよい。第３制御部３２０は、照明条件だけでなく、撮像装置４０の特性、又は、テーブル５２若しくは床等の認識対象以外の物体に関する情報を推定してよい。第３制御部３２０は、推定結果をユーザ環境情報として生成したり取得したりしてよい。

【0067】

＜＜小括＞＞
第３制御部３２０は、マーカ５１を写した画像に基づいて、種々のユーザ環境における照明条件等を推定できる。第３制御部３２０は、推定結果に基づいてユーザ環境情報を生成したり取得したりできる。マーカ５１は、撮像装置４０によって少なくとも２つの面を撮影されるように配置されてよい。また、撮像装置４０は、少なくとも２方向からマーカ５１を撮影するように構成されてもよい。

【0068】

＜拡張環境情報＞
第２学習済みモデル生成装置２１０の第２制御部２２０又はユーザ環境推定装置３１０の第３制御部３２０は、上述してきたように、ユーザ環境情報に基づいて第２画像データを生成する。第２制御部２２０又は第３制御部３２０は、ユーザ環境情報の各パラメータを所定の範囲で変化させた情報を生成してよい。所定の範囲は、例えばユーザ環境において、第２モデルによる認識が実行される時間帯で環境情報が変化する範囲に設定されてよい。ユーザ環境情報の複数のパラメータのうち少なくとも１つのパラメータを変化させた情報は、拡張環境情報とも称される。第２制御部２２０又は第３制御部３２０は、複数の拡張環境情報を生成し、各拡張環境情報における認識対象の見え方を想定した画像を含む第２画像データを生成してよい。拡張環境情報における認識対象の見え方を想定した画像を教師データとして学習することによって、学習済みモデルのロバスト性が向上し得る。

【0069】

＜ユーザ環境推定装置３１０＞
ユーザ環境推定装置３１０は、ユーザ環境において所定の物体を撮影した画像データを取得する。所定の物体は、認識対象そのものを含んでよいし、マーカ５１等の認識対象と異なる物体を含んでよい。ユーザ環境推定装置３１０は、撮像手段によって画像データを取得してよいし、外部から画像データを取得してもよい。ユーザ環境推定装置３１０は、画像データに基づいてユーザ環境を推定する。

【0070】

ユーザ環境推定装置３１０は、所定の物体を複数の方向それぞれから撮影した画像データに基づいて、ユーザ環境を推定してもよい。また、ユーザ環境推定装置３１０は、所定の物体の複数の面のうち少なくとも２つの面を撮影した画像に基づいてユーザ環境を推定してもよい。また、ユーザ環境推定装置３１０は、少なくとも２つの方向から前記所定の物体の異なる２つの面をそれぞれ撮影した画像に基づいてユーザ環境を推定してもよい。

【0071】

ユーザ環境推定装置３１０がユーザ環境情報を生成できることによって、ユーザ環境情報が収集されやすくなる。

【0072】

ユーザ環境推定装置３１０の機能は、ユーザ環境推定装置３１０が実行するユーザ環境推定方法として実現されてもよい。ユーザ環境推定装置３１０の機能は、ユーザ環境推定装置３１０が備えるプロセッサによって実行されるユーザ環境推定プログラムとして実現されてもよい。例えば、ユーザ環境推定プログラムによって、ユーザ環境データと、予め定義された基本環境を示す参照データとを比較することによって、ユーザ環境を推定することができる。なお、ユーザ環境推定プログラムおよび参照データは、第３データ保持部３３３または第４データ保持部３３４に保存されていてもよい。

【0073】

＜ノイズの要因の例＞
上述してきたように、本実施形態に係る学習済みモデル生成システム１は、認識対象の標準的な見え方に対してユーザ環境における見え方に生じるノイズを考慮した学習済みモデルを生成する。以下、ノイズを生じさせる要因の例として、画像データを取得する構成が説明される。

【0074】

光学的な対象物画像をデジタルデータで取得する画像データ取得構成において、照明の光源が対象物にあたり、その反射光をカメラ（撮像装置４０等）の光センサ（撮像素子等）で光電気信号へ変換し、その電気信号をデジタルデータに変換することによって、画像データが取得される。このため、画像データは、光学的又は電気的な様々なバラツキ及びノイズの影響を受ける。

【0075】

画像データのノイズは、カメラに起因するノイズを含む。カメラに起因するノイズは、例えば、光センサのＩＳＯ感度による色バラツキ及びノイズ、又は、輝度バラツキ及びノイズを含む。カメラは、撮影時において、光の入力状態に基づいて光センサのＩＳＯ感度（増幅率）を変えてダイナミックレンジを確保している。光センサの感度の増大は、ノイズを増大させ得る。カメラのシャッタースピード及び絞りは、光の入力状態を変化させるパラメータであり、ＩＳＯ感度に関連するパラメータである。これらのパラメータは、画像データにＥｘｉｆ（Exchangeable Image File Format）のデータとして埋め込まれることで容易に参照可能となる。また、カメラに起因するノイズは、光センサの色再現範囲制約に伴う色再現性バラツキ及びノイズを含む。カメラに起因するノイズは、光学レンズ等の光学系における歪バラツキ及びノイズ、又は、周辺減光バラツキ及びノイズを含む。また、カメラに起因するノイズは、カメラの保持態様に基づくノイズ、例えば周辺振動影響に伴うカメラ保持部材とカメラのブレ（振動）ノイズを含む。

【0076】

画像データのノイズは、照明に起因するノイズを含む。照明に起因するノイズは、例えば、照明位置（照明の座標）に伴う対象物の影ノイズを含む。照明に起因するノイズは、光源種類（並行光又は散乱光等）による対象物のコントラストバラツキ及びノイズ、又は、対象物の影ノイズを含む。照明に起因するノイズは、照度（輝度）による対象物のコントラストバラツキ及びノイズ、又は、対象物の影ノイズを含む。照明に起因するノイズは、照明の色温度による色ずれバラツキ及びノイズを含む。照明に起因するノイズは、照明の種類又は明るさ調整等に伴う光明暗フリッカのバラツキ及びノイズを含む。

【0077】

画像データのノイズは、テーブル５２等の作業台に起因するノイズを含む。作業台に起因するノイズは、作業台の表面状態による反射率のバラツキ又は作業台の表面の反射光によるノイズを含む。作業台に起因するノイズは、作業台の色による対象物との分離不良ノイズを含む。

【0078】

画像データのノイズは、対象物に起因するノイズを含む。対象物に起因するノイズは、対象物の表面状態による反射率のバラツキ、又は反射光によるノイズを含む。

【0079】

第２学習済みモデル生成装置２１０の第２制御部２２０又はユーザ環境推定装置３１０の第３制御部３２０は、以上述べてきた画像データのノイズの各要因を、ユーザ環境データに基づいて推定し、ユーザ環境情報を生成してよい。第２制御部２２０又は第３制御部３２０は、画像データのノイズの複数の要因の一部を推定してもよいし、全部を推定してもよい。つまり、第２制御部２２０又は第３制御部３２０は、画像データのノイズの複数の要因の少なくとも一部を推定してよい。以上述べてきた各要因によって生じるノイズは、対象物の認識に対して大きく影響する。本実施形態に係る学習済みモデル生成システム１は、これらのノイズを考慮した教師データを用いた学習によって学習済みモデルを生成できる。その結果、学習済みモデルのロバスト性が向上し得る。

【0080】

＜マーカ５１の構造の例＞
上述してきたように、本実施形態に係る学習済みモデル生成システム１は、ユーザ環境情報に基づいて各ユーザ環境に合わせた学習済みモデルを生成できる。ユーザ環境情報は、ユーザ環境においてマーカ５１を撮影した画像に基づいて生成され得る。以下、マーカ５１の構造の例が説明される。

【0081】

対象物画像をデジタルデータで取得する場合において、ユーザの画像取得環境が光学的又は電気的に様々なバラツキ及びノイズの影響を及ぼす。したがって、ユーザ環境を取得することがロバスト性を高める上で必要である。

【0082】

ユーザ環境を取得するために、例えば以下の立体構造を有するマーカ５１が用いられ得る。マーカ５１は、多面体構造で、少なくとも３面を有してよい。マーカ５１は、照明で照らされた場合に、各面に生じる影の濃淡を判別できる構造を有してよい。具体的に、マーカ５１は、各面の境界が明確になるような稜線を有してよい。マーカ５１は、各面における光の反射率を判別できる構造を有してよい。マーカ５１は、その大きさが分かる構造として、例えば規定サイズを表す目印又は寸法の目盛り等を有してよい。マーカ５１は、撮影手段の光学系の歪み等の特性を判別できるように、格子状の模様等を有してよい。マーカ５１は、例えばグレースケールの１８％等の既知の濃度となっている部分を有してよい。マーカ５１は、白色点となっている部分を有してよい。

【0083】

また、マーカ５１は、撮影手段によって少なくとも２面を撮影されるように配置されてよい。また、マーカ５１は、少なくとも２つ以上の異なった角度の方向から撮影されるように配置されてよい。

【0084】

第２学習済みモデル生成装置２１０の第２制御部２２０又はユーザ環境推定装置３１０の第３制御部３２０は、マーカ５１を写した画像データに基づいて、ユーザ環境における照明条件として、例えば照明位置、照明の明るさ、輝度若しくは照度、又は、光源の種類を推定してよい。また、第２制御部２２０又は第３制御部３２０は、マーカ５１又はその周囲に存在する作業台等の物体の反射率を推定してもよい。第２制御部２２０又は第３制御部３２０は、マーカ５１の大きさ及び影に基づいて照明位置を推定してよい。第２制御部２２０又は第３制御部３２０は、マーカ５１を写した画像の濃度と、カメラのＩＳＯ感度、シャッタースピード又は絞りとに基づいて、照明の明るさを推定してよい。第２制御部２２０又は第３制御部３２０は、マーカ５１のエッジ部の画像データと、影のエッジ部の画像データとに基づいてコントラストを推定し、照明の光源種類（並行光又は散乱光等）等の照明条件を推定してよい。第２制御部２２０又は第３制御部３２０は、マーカ５１のエッジ部と影のエッジ部とのそれぞれの画素濃度の分布に基づいて、照明条件を推定してもよい。第２制御部２２０又は第３制御部３２０は、マーカ５１の反射画像に基づいて、マーカ５１の反射率を推定してよい。第２制御部２２０又は第３制御部３２０は、マーカ５１の反射画像に基づいて、マーカ５１に映り込む周囲の物体に関する情報を推定してよい。第２制御部２２０又は第３制御部３２０は、マーカ５１の白色点の画像に基づいて、照明の色温度又はスペクトルを推定してよい。第２制御部２２０又は第３制御部３２０は、マーカ５１の格子状模様の画像に基づいて撮影手段の光学系の歪みを推定してもよい。

【0085】

＜他の構成例＞
以下、本実施形態に係る学習済みモデル生成システム１の特徴として採用され得る構成が説明される。学習済みモデル生成システム１は、対象物を認識する対象物認識において、標準環境で対象物を認識する第１の認識と、ユーザ環境で対象物を認識する第２の認識で構成し、第１の認識で対象物を認識させたのち、第２の認識で対象物を認識させることで、第１の認識の対象物の認識を高め、第２の認識でユーザ環境における認識のロバスト性を高めるように構成され得る。また、学習済みモデル生成システム１は、第１の認識において、少なくとも対象物認識のアルゴリズム、若しくは対象物認識のアルゴリズムと対象物データセットを保存してよい。また、学習済みモデル生成システム１において、第１の認識の標準環境対象物データ生成手段は、照明とそれを保持する照明保持部材、対象物と対象物を保持するための部材、並びに対象物をデータ化する画像変換システムで構成されてよい。また、第１の認識の標準環境対象物データ生成手段の照明は、２つ以上の照明で構成されてよい。また、第１の認識の標準環境対象物データ生成手段の照明は、照明の色温度を調整できるように構成されてよい。また、第１の認識の標準環境対象物データ生成手段の対象物をデータ化する画像変換システムは、２次元のカラー画像、若しくは３次元のカラー画像と距離データとに基づいてデータを生成するように構成されてよい。また、第１の認識の標準環境対象物データ生成手段は、仮想環境で構成されてよい。また、第２の認識において、第１の認識で十分に対象物認識の学習が行われ、保持された対象物認識のアルゴリズム、若しくは対象物認識のアルゴリズムと対象物データセットを、第２の認識の認識学習の初期にコピーするように構成されてよい。また、第２の認識ユーザ環境対象物データ生成手段は、ユーザ環境を推定した結果に基づきユーザ環境を構成し、認識を行うように構成されてよい。また、第２認識ユーザ環境対象物データ生成手段でユーザ環境を推定した結果に基づいたユーザ環境は、照明とそれを保持する照明保持部材、対象物と対象物を保持するための部材、並びに対象物をデータ化する画像変換システムで構成されてよい。また、第２の認識のユーザ環境対象物データ生成手段の照明は、２つ以上の照明で構成されてよい。また、第２の認識のユーザ環境対象物データ生成手段の照明は、照明の色温度を調整できるように構成されてよい。また、第２の認識のユーザ環境対象物データ生成手段の対象物をデータ化する画像変換システムは、２次元のカラー画像、若しくは３次元のカラー画像と距離データとに基づいてデータを生成するように構成されてよい。また、第２の認識において、ユーザ環境を推定した結果に基づき仮想のユーザ環境が構成されることによって対象物が認識されるように構成されてよい。

【0086】

また、第１の認識と第２の認識とにおいて、標準環境とユーザ環境とは共通する環境要素を有していてもよい。すなわち、例えば、標準環境を加味して第１画像データを生成する際に、環境要素として照明も含めて生成する場合には、ユーザ環境を加味して第２画像データを生成する際にも、環境要素として照明も含めて生成してもよい。なお、標準環境とユーザ環境を示すデータは、同じデータ型を有していてもよい。この場合、例えば、標準環境又はユーザ環境を同様のソフトウェアに使用することができる。

【0087】

ユーザ環境は、ユーザ環境を測定する手段と、そこから得られた情報からユーザ環境を推定する手段とを有してよい。ユーザ環境を測定する手段は、立体物体を持ち、その立体物の物理的情報（サイズ、濃度、反射）と、２点以上の異なった角度から立体物の画像データなどのユーザ環境データを取得するように構成されてよい。また、ユーザ環境データから環境推定手段で照明位置、照明数、明るさ、光源種類、又は反射率などのユーザ環境情報が推定されるように構成されてよい。また、ユーザ環境データからユーザ環境を推定する手段は、２つの画像データから幾何学的にユーザ環境を推定するように構成されてよい。また、ユーザ環境を測定するための立体物は、白色物を立体物に有してよい。立体物の近傍に白色物が配置されてもよい。また、ユーザ環境を測定するための立体物は、グレースケール濃度物を立体物に有してよい。立体物の近傍にグレースケール濃度物が配置されてもよい。グレースケール濃度物の反射率は１８％であってよい。立体物の画像データは、２次元のカラー画像、若しくは３次元のカラー画像と距離データとを含んでよい。

【0088】

学習済みモデル生成システム１は、ユーザ環境データを保存又は蓄積するように構成されてよい。また、学習済みモデル生成システム１は、ユーザ環境情報を保存又は蓄積するように構成されてよい。

【0089】

学習済みモデル生成システム１において、ユーザ環境対象物認識部２２４と標準環境対象物認識部１２２とは同一又は類似に構成されてよい。ユーザ環境対象物認識部２２４と標準環境対象物認識部１２２とは同一であっても、入力される標準環境又はユーザ環境のデータによって学習結果が異なり得る。

【0090】

第１学習済みモデル生成装置１１０と第２学習済みモデル生成装置２１０とが同一の装置として構成されてもよい。第１学習済みモデル生成装置１１０が第１の学習を実行して第１モデルを生成する時間的なタイミングと、第２学習済みモデル生成装置２１０が第２の学習を実行して第２モデルを生成する時間的なタイミングとは、別々のタイミングであってよい。

【0091】

標準環境対象物データ生成部１２１及びユーザ環境対象物データ生成部２２３は、共通の対象物データ生成部として構成されてもよい。標準環境対象物データ生成部１２１として機能する対象物データ生成部は、標準環境情報を読み込むことによって標準環境対象物データを生成する。ユーザ環境対象物データ生成部２２３として機能する対象物データ生成部は、ユーザ環境情報を読み込むことによってユーザ環境対象物データを生成する。

【0092】

ユーザ環境推定装置３１０の第３制御部３２０のユーザ環境推定部３２６の機能は、第２学習済みモデル生成装置２１０の第２制御部２２０によって実現されてもよい。この場合、ユーザ環境推定装置３１０の第３記憶部３３０の第４データ保持部３３４の機能は、第２学習済みモデル生成装置２１０の第２記憶部２３０によって実現される。ここで、第２学習済みモデル生成装置２１０が学習済みモデルを提供するベンダによって所有されるとする。また、ユーザ環境推定装置３１０が学習済みモデルを用いて認識を実行するユーザによって所有されるとする。この場合、ユーザ環境推定部３２６の機能が第２学習済みモデル生成装置２１０によって実現されることによって、ベンダの側でユーザ環境が推定される。つまり、ユーザの側でユーザ環境が推定される必要が無くなる。ユーザの利便性が向上する。

【0093】

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。従って、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。

【0094】

本開示に記載された構成要件の全て、及び／又は、開示された全ての方法、又は、処理の全てのステップについては、これらの特徴が相互に排他的である組合せを除き、任意の組合せで組み合わせることができる。また、本開示に記載された特徴の各々は、明示的に否定されない限り、同一の目的、同等の目的、または類似する目的のために働く代替の特徴に置換することができる。したがって、明示的に否定されない限り、開示された特徴の各々は、包括的な一連の同一、又は、均等となる特徴の一例にすぎない。

【0095】

さらに、本開示に係る実施形態は、上述した実施形態のいずれの具体的構成にも制限されるものではない。本開示に係る実施形態は、本開示に記載された全ての新規な特徴、又は、それらの組合せ、あるいは記載された全ての新規な方法、又は、処理のステップ、又は、それらの組合せに拡張することができる。

【0096】

本開示に係る方法の一部は、人間による手動で実行され得る。例えば、学習モデル生成の作業開始指示が手動で実行され得る。また、学習用データセットが保存されたフォルダの指定が手動で実行され得る。本開示に係る学習済みモデル生成システム１、第１学習済みモデル生成装置１１０又は第２学習済みモデル生成装置２１０などの学習済みモデル生成装置、あるいは、ユーザ環境推定装置３１０は、人間が手動で実行しようとする内容についての入力を受け付けるように構成されてよい。例えば、学習済みモデル生成システム１は、学習済みモデル生成装置又はユーザ環境推定装置３１０などに通信可能に接続されるとともに、ユーザの入力を受け付ける入力装置を有していてもよい。また、学習済みモデル生成装置又はユーザ環境推定装置３１０などは、ユーザの入力を受け付ける入力部を有していてもよい。その結果、学習済みモデル生成システム１などは、例えば、ユーザの作業開始指示の入力を受け付けたり、学習処理時の学習データの保存先を指定するユーザ入力を受け付けたりすることができる。なお、入力装置又は入力部は、例えば、タッチパネル若しくはタッチセンサ、又はマウス等のポインティングデバイスを含んで構成されてよい。入力装置又は入力部は、物理キーを含んで構成されてもよいし、マイク等の音声入力デバイスを含んで構成されてもよい。

【0097】

また、本開示は、学習済みモデル生成装置としても実現することができる。具体的には、一実施形態における学習済みモデル生成装置は、
（１）制御部を備え、
前記制御部は、
第１環境における推定対象を示す第１画像データを学習データとして、前記推定対象に関する学習処理を行った第１モデルを取得し、
推定を実行する第２環境において前記推定対象を示す第２画像データを取得し、
前記第２画像データを学習データとして、前記第１モデルに基づいて第２モデルを生成し、
前記第２モデルに基づいて、学習済みモデルを出力し、
前記第２画像データは、前記第２環境に関するユーザ環境情報に基づいて、前記第２環境における前記推定対象の見え方を想定した画像を含む。

【0098】

（２）上記（１）の学習済みモデル生成装置において、前記第１環境は、前記推定対象を撮影した画像又は前記推定対象の見え方を想定した画像に対して、少なくとも光源の位置に起因して生じる影が及ぼす影響を低減させる環境であってよい。

【0099】

（３）上記（１）又は（２）の学習済みモデル生成装置において、前記制御部は、前記ユーザ環境情報として、前記第２環境において前記第２画像データに生じるノイズの要因を特定する情報を取得してよい。

【0100】

（４）上記（１）から（３）までのいずれか１つの学習済みモデル生成装置において、前記制御部は、前記ユーザ環境情報として、前記第１画像データと前記第２画像データの差分を生ずる要因を特定する情報を取得してよい。

【0101】

（５）上記（１）から（４）までのいずれか１つの学習済みモデル生成装置において、前記制御部は、前記ユーザ環境情報として、前記第２環境における光源の位置、前記光源から照射される光の強さ、及び、光源が点光源系であるか散乱光系であるかを特定する光源種類の情報を取得してよい。

【0102】

（６）上記（１）から（５）までのいずれか１つの学習済みモデル生成装置において、前記制御部は、前記ユーザ環境情報として、前記第２環境における、前記推定対象が配置される台の光学的性質の情報を取得してよい。

【0103】

（７）上記（１）から（６）までのいずれか１つの学習済みモデル生成装置において、前記制御部は、制御部は、前記ユーザ環境情報として、前記第２環境における、前記推定対象の認識に用いる撮影手段の撮影パラメータの情報を取得してよい。

【0104】

（８）上記（１）から（７）までのいずれか１つの学習済みモデル生成装置において、前記制御部は、前記ユーザ環境情報として、前記第２環境における、前記推定対象の認識に用いる撮影手段の振動に関する情報を取得してよい。

【0105】

（９）上記（１）から（８）までのいずれか１つの学習済みモデル生成装置において、前記制御部は、前記ユーザ環境情報の各パラメータを所定の範囲で変化させた複数の拡張環境情報を生成することと、前記各拡張環境情報における前記第２画像データを生成してよい。

【0106】

また、本開示は、ユーザ環境推定装置としても実現することができる。具体的には、一実施形態におけるユーザ環境推定装置は、
（１０）推定対象のデータを取得する環境であるユーザ環境を推定する制御部を備え、
前記制御部は、前記ユーザ環境において所定の物体を撮影した画像データに基づいて前記ユーザ環境を推定した結果を、前記ユーザ環境に関するユーザ環境情報として出力する。

【0107】

（１１）上記（１０）のユーザ環境推定装置において、前記制御部は、前記ユーザ環境において前記所定の物体として前記推定対象とは異なる物体を撮影した画像データに基づいて前記ユーザ環境を推定してよい。

【0108】

（１２）上記（１０）又は（１１）のユーザ環境推定装置において、前記制御部は、前記ユーザ環境において前記所定の物体として前記推定対象を撮影した画像データに基づいて前記ユーザ環境を推定してよい。

【0109】

（１３）上記（１０）から（１２）までのいずれか１つのユーザ環境推定装置において、前記制御部は、複数の方向それぞれから前記所定の物体を撮影した画像データに基づいて前記ユーザ環境を推定してよい。

【0110】

（１４）上記（１０）から（１３）までのいずれか１つのユーザ環境推定装置において、前記画像データは、前記所定の物体の複数の面のうち少なくとも２つの面を撮影した画像、又は、前記所定の物体を少なくとも２つの方向から前記所定の物体の異なる２つの面をそれぞれ撮影した画像を含んでよい。

【0111】

また、本開示は、学習済みモデル生成プログラムとしても実現することができる。具体的には、一実施形態における学習済みモデル生成プログラムは、
（１５）第１環境における推定対象を示す第１画像データを学習データとして、前記推定対象に関する学習処理を行った第１モデルを取得することと、
推定を実行する第２環境において前記推定対象を示す第２画像データを取得することと、
前記第２画像データを学習データとして、前記第１モデルに基づいて第２モデルを生成することと、
前記第２モデルに基づいて、学習済みモデルを出力することと
を学習済みモデル生成装置に実行させ、
前記第２画像データは、前記第２環境に関するユーザ環境情報に基づいて、前記第２環境における前記推定対象の見え方を想定した画像を含む。

【0112】

また、本開示は、ユーザ環境推定プログラムとしても実現することができる。具体的には、一実施形態におけるユーザ環境推定プログラムは、
（１６）前記ユーザ環境において所定の物体を撮影した画像データに基づいて前記ユーザ環境を推定した結果を、前記ユーザ環境に関するユーザ環境情報として出力することを含む。

【0113】

また、本開示は、学習済みモデル生成システムとしても実現することができる。具体的には、一実施形態における学習済みモデル生成システムは、
（１７）上記（１）から（９）までのいずれか１つに記載の学習済みモデル生成装置と、上記（１０）から（１４）までのいずれか１つに記載のユーザ環境推定装置とを備える。前記学習済みモデル生成装置は、前記ユーザ環境推定装置から、前記ユーザ環境推定装置が推定したユーザ環境情報を取得する。

【符号の説明】

【0114】

１ 学習済みモデル生成システム
４０ 撮像装置（４０Ａ：第１撮像装置、４０Ｂ：第２撮像装置）
４１ 標準照明
４２ ユーザ照明
４３ 太陽光
４４ スポットライト（４４Ａ：第１スポットライト、４４Ｂ：第２スポットライト）
５０ コップ（５０Ｓ：コップの影）
５１ マーカ（５１Ｓ：マーカの影、５１１～５１４：第１～第４面）
５２ テーブル
１００ 第１環境（標準環境）
１１０ 第１学習済みモデル生成装置（１２０：第１制御部、１２１：標準環境対象物データ生成部、１２２：標準環境対象物認識部、１３０：第１記憶部、１３１：第１データ保持部）
２００ 第２環境（ユーザ環境）
２１０ 第２学習済みモデル生成装置（２２０：第２制御部、２２３：ユーザ環境対象物データ生成部、２２４：ユーザ環境対象物認識部、２３０：第２記憶部、２３２：第２データ保持部）
３１０ ユーザ環境推定装置（３２０：第３制御部、３２５：ユーザ環境取得部、３２６：ユーザ環境推定部、３３０：第３記憶部、３３３：第３データ保持部、３３４：第４データ保持部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図9C】

【図10】

【図11】

【図12】

【図13】