ホーム > 特許ランキング > ソフトバンク株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-04-09
(45)【発行日】2024-04-17
(54)【発明の名称】情報処理プログラム、情報処理装置および情報処理方法
(51)【国際特許分類】
G06V 10/774 20220101AFI20240410BHJP
G06Q 50/02 20240101ALI20240410BHJP
G06T 7/00 20170101ALI20240410BHJP
G06T 15/50 20110101ALI20240410BHJP
G06T 19/00 20110101ALI20240410BHJP
G06V 10/77 20220101ALI20240410BHJP
G06V 20/05 20220101ALI20240410BHJP
【ＦＩ】
G06V10/774
G06Q50/02
G06T7/00 350B
G06T15/50
G06T19/00 A
G06V10/77
G06V20/05
【請求項の数】
9
(21)【出願番号】P 2022205943
(22)【出願日】2022-12-22
【審査請求日】2023-12-08
(73)【特許権者】
【識別番号】501440684
【氏名又は名称】ソフトバンク株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】石若 裕子
【審査官】新井 則和
(56)【参考文献】
【文献】特開２０２２－０５５１４０（ＪＰ，Ａ）
【文献】特許第６７８７４７１（ＪＰ，Ｂ１）
【文献】上野 延典 外，ハイブリッド深層学習モデルを用いた果物画像からの糖度推定アプリケーションに関する検討，情報処理学会研究報告 ２０２２－ＤＣＣ－０３２ Ｎｏ．１４，2022年11月11日，１頁－８頁
【文献】星 将仁 外，画像分類における各種ＧＡＮの教師データ拡張性能の比較，ＦＩＴ２０２０ 第１９回情報科学技術フォーラム 講演論文集 第３分冊，2020年08月18日，pp. 149-150
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｖ １０／７７４
Ｇ０６Ｑ ５０／０２
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ １５／５０
Ｇ０６Ｔ １９／００
Ｇ０６Ｖ １０／７７
Ｇ０６Ｖ ２０／０５
(57)【特許請求の範囲】
【請求項1】
推定対象の所定の魚が撮影された画像であって前記所定の魚に対する評価値が付与された画像である実画像を基にした機械学習により、前記評価値に応じた特徴を有する前記所定の魚が再現された画像データを生成する第１の生成手順と、前記画像データに基づいて、前記所定の魚がコンピュータグラフィックスにより再現されたＣＧ（Computer Graphics）画像を生成する第２の生成手順と、
前記ＣＧ画像と、前記ＣＧ画像で再現される前記所定の魚の特徴が示唆する前記評価値との組を学習データとして学習されたモデルに基づいて、入力画像に映された前記所定の魚の評価値を推定する推定手順と
をコンピュータに実行させる情報処理プログラム。
【請求項2】
前記第１の生成手順は、前記実画像に写される前記所定の魚に対する評価値に応じた特徴として、前記所定の魚の色合い、形状、サイズ、重さ、または、脂肪率のいずれかとの差分を最小化するように特徴を学習したモデルに基づき前記画像データを生成することを特徴とする請求項１に記載の情報処理プログラム。
【請求項3】
前記第２の生成手順は、前記画像データを基にした前記所定の魚の３次元モデルに対して、水中での見え方がシミュレーションされた結果が、コンピュータグラフィックスにより再現されたＣＧ画像を生成することを特徴とする請求項２に記載の情報処理プログラム。
【請求項4】
前記第２の生成手順は、パラメータ情報に基づき前記所定の魚が水中に存在する場合の映像をシミュレーションした結果が、コンピュータグラフィックスにより再現されたＣＧ画像を生成することを特徴とする請求項３に記載の情報処理プログラム。
【請求項5】
前記パラメータ情報は、水深に応じた光の減衰率が考慮された前記所定の魚の色合い、または、前記所定の魚に対する光の反射具合であることを特徴とする請求項４に記載の情報処理プログラム。
【請求項6】
前記推定手順は、前記入力画像として、前記所定の魚が水中を泳ぐ様子が撮影された水中画像を前記モデルに入力し、前記モデルによる出力情報に基づいて、前記水中画像に含まれる前記所定の魚それぞれの評価値を推定することを特徴とする請求項１に記載の情報処理プログラム。
【請求項7】
前記評価値は、前記所定の魚の旨味が数値化された評価結果であることを特徴とする請求項１に記載の情報処理プログラム。
【請求項8】
推定対象の所定の魚が撮影された画像であって前記所定の魚に対する評価値が付与された画像である実画像を基にした機械学習により、前記評価値に応じた特徴を有する前記所定の魚が再現された画像データを生成する第１の生成部と、前記画像データに基づいて、前記所定の魚がコンピュータグラフィックスにより再現されたＣＧ（Computer Graphics）画像を生成する第２の生成部と、
前記ＣＧ画像と、前記ＣＧ画像で再現される前記所定の魚の特徴が示唆する前記評価値との組を学習データとして学習されたモデルに基づいて、入力画像に映された前記所定の魚の評価値を推定する推定部と
を有することを特徴とする情報処理装置。
【請求項9】
コンピュータが実行する情報処理方法であって、推定対象の所定の魚が撮影された画像であって前記所定の魚に対する評価値が付与された画像である実画像を基にした機械学習により、前記評価値に応じた特徴を有する前記所定の魚が再現された画像データを生成する第１の生成工程と、
前記画像データに基づいて、前記所定の魚がコンピュータグラフィックスにより再現されたＣＧ（Computer Graphics）画像を生成する第２の生成工程と、
前記ＣＧ画像と、前記ＣＧ画像で再現される前記所定の魚の特徴が示唆する前記評価値との組を学習データとして学習されたモデルに基づいて、入力画像に映された前記所定の魚の評価値を推定する推定工程と
を含むことを特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理プログラム、情報処理装置および情報処理方法に関する。
【背景技術】
【0002】
従来、魚の養殖技術を向上させるための様々な技術が知られている。例えば、生簀内の魚が撮影された撮影画像から、魚の数（尾数ともいう）に応じて変化する予め定められた特徴量を抽出する。そして、機械学習による特徴量と尾数との関係データである学習モデルに、抽出された特徴量を照合することにより、学習モデルから尾数を検知する技術が知られている。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第６７８７４７１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記の従来技術では、生簀内の尾数を検知するにすぎないため、必ずしも魚の価値を適切に判断することができるとは限らない。
【課題を解決するための手段】
【0005】
上記の課題を解決するために、本発明に係る一形態の情報処理プログラムは、推定対象の所定の魚が撮影された画像であって前記所定の魚に対する評価値が付与された画像である実画像を基にした機械学習により、前記評価値に応じた特徴を有する前記所定の魚が再現された画像データを生成する第１の生成手順と、前記画像データに基づいて、前記所定の魚がコンピュータグラフィックスにより再現されたＣＧ（Computer Graphics）画像を生成する第２の生成手順と、前記ＣＧ画像と、前記ＣＧ画像で再現される前記所定の魚の特徴が示唆する前記評価値との組を学習データとして学習されたモデルに基づいて、入力画像に映された前記所定の魚の評価値を推定する推定手順とをコンピュータに実行させる。
【図面の簡単な説明】
【0006】
【発明を実施するための形態】
【0007】
以下に、本発明の実施形態について図面に基づいて詳細に説明する。なお、この実施形態により本開示に係る情報処理プログラム、情報処理装置および情報処理方法が限定されるものではない。また、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【0008】
（実施形態）
〔１．はじめに〕
現状、水揚げされた魚に対して、ヒト（例えば、職人）が勘と経験を頼りに特徴を判断し、判断結果に応じた価格を選定している。例えば、形、サイズ、重さ、あるいは、脂肪率等の特徴が目視によって判断され、その判断結果を基にヒトが価格選定を行っており（すなわち、目利き）、価格選定の基準があいまいという問題がある。
〔１．はじめに〕
現状、水揚げされた魚に対して、ヒト（例えば、職人）が勘と経験を頼りに特徴を判断し、判断結果に応じた価格を選定している。例えば、形、サイズ、重さ、あるいは、脂肪率等の特徴が目視によって判断され、その判断結果を基にヒトが価格選定を行っており（すなわち、目利き）、価格選定の基準があいまいという問題がある。
【0009】
特に、漁業的価値があり養殖が盛んに行われている一般に高級魚とされる魚（例えば、タイ、ブリ、マクロ等）において、目利きで価格選定されることは好ましくない。
【0010】
また、魚を水揚げしてからの価格選定は、より価値の高い状態まで魚を育て上げることを目的とする養殖現場には適さないという問題もある。
【0011】
そこで、本発明では、ヒトの勘や経験に頼ることなく、魚の価値を適切に判断する手法を提案する。例えば、本発明では、魚が水中（例えば、生簀の中）に居る状態でも価値を適切に判断することができる手法を提案する。
【0012】
例えば、本発明の提案技術では、ＡＩ（Artificial Intelligence）技術を活用することで、魚の評価値が映像（例えば、水中映像）から自動判定される。このような本発明の提案技術によれば、例えば、養殖業者は、生簀の中に居る魚が現状どれくらいの評価値が得られる程度まで成長しているかを容易に把握できるため、漁獲高を推定したり、給餌を最適化するための検討を適切に行ったりすることができるようになる。
【0013】
すなわち、本発明の提案技術によれば、養殖業の効率化に貢献できるようになる。また、本発明の提案技術によれば、ヒトの勘や経験に頼ることのない、魚の価値の新たな判断指標を創り上げることができると考えられる。
【0014】
以下では、本発明の提案技術（「実施形態に係る情報処理」と表記する）について図面を用いて詳細に説明する。また、実施形態に係る情報処理においては、魚に対する評価値を「旨味度」（美味しさ度ともいえる）として説明する。
【0015】
また、実施形態に係る情報処理は、養殖対象の魚に限らず、河川や海に生息するあらゆる種別の生物に適用可能であるが、一定水準以上の価値を有するが（例えば、食材として人気が高い）、その価値の判断基準が明確に定まっていないような生物に適用されることが好ましい。
【0016】
【0017】
まず、システム１は、所定の機械学習アルゴリズムを用いて、魚Ｆの擬似的な画像データ（以下、「魚画像擬似データ」と表記する）ＦＧを生成する（ステップＳ１１）。ここでいう所定の機械学習アルゴリズムは、擬似的な画像データを生成する生成モデルを含む機械学習ネットワークすなわちＧＡＮｓ（Generative adversarial networks）であってよい。
【0018】
そこで、ステップＳ１１では、魚Ｆが撮影された画像データ（以下、「魚画像実データ」と表記する）ＴＧを学習データとしてＧＡＮｓの学習が行われる。ここで、魚画像実データＴＧには、目利きによって推定された魚Ｆの旨味度がメタ情報として付与されている。そこで、ＧＡＮｓでは、例えば、魚画像実データＴＧに写される魚Ｆに対する旨味度に応じた特徴（例えば、魚Ｆの色合い、形状、サイズ、重さ、または、脂肪率等）との差分を最小化するように特徴の学習が行われ、ＧＡＮｓが更新されてゆく。
【0019】
例えば、学習データの特性である強い特徴表現を学習したＧＡＮｓを得ることが理想的な結果であり、このような結果が得られるまで更新されたＧＡＮｓを用いて、システム１は、魚画像擬似データＦＧを生成する。この結果、魚画像実データＴＧから、多数の魚画像擬似データＦＧが生成されるため、魚Ｆの画像データが増幅されることになる。なお、魚画像擬似データＦＧは、旨味度が付与された魚画像実データＴＧから生成されることから、魚画像擬似データＦＧにも旨味度がメタ情報として付与されてよい。
【0020】
次に、システム１は、魚画像擬似データＦＧに基づいて、魚Ｆがコンピュータグラフィックスにより再現されたＣＧ（Computer Graphics）画像ＳＩを生成する（ステップＳ１２）。例えば、システム１は、魚Ｆの水中画像（水中映像）がシミュレーションされた結果が再現されたＣＧ画像ＳＩを生成する。このようなことから、ＣＧ画像ＳＩは、魚Ｆのシミュレーション画像ともいえる。
【0021】
例えば、システム１は、魚画像擬似データＦＧに基づいて、魚Ｆの３次元モデルを生成し、生成した３次元モデルに対して所定のシミュレーションを行うことで、シミュレーション結果が、コンピュータグラフィックスにより再現されたＣＧ画像ＳＩを生成してよい。
【0022】
例えば、システム１は、尾数の異なるＢｏｉｄｓ（ボイズ）による群行動のシミュレーション（ボイズシミュレーション）を行ってよい。ここで、Ｂｏｉｄｓ（ボイズ）とは、魚の群れのような動きを行う魚の個体を示すオブジェクト（Ｂｏｉｄ、ボイド）の集合体を意味する。また、Ｂｏｉｄｓ（ボイズ）は、結合（cohesion）、分離（separation）、整列（alignment）という３つのルールを設定するだけで群れの動きをシミュレーションできるプログラムの名称でもある。
【0023】
Ｂｏｉｄｓ（ボイズ）における３つのルールのうち、「結合」は個体同士がばらばらにならないように近付こうとする力、「分離」は個体同士が衝突を避けるため離れようとする力、「整列」は群れとして動く方向を揃えようとする力を指す。これら３つの力の合計で個体の動きが決まる。３つの力は、それぞれ、力の大きさ、力が及ぶ範囲、および角度をパラメータ（以下、ボイズパラメータともいう）として設定できる。例えば、ボイズパラメータは、群れがいる空間の大きさ、個体の大きさ、および個体の密集度によって決定される。
【0024】
ここで、システム１は、水深に応じた光の減衰率が考慮された魚Ｆの色合い、あるいは、水深に応じた光の減衰率に伴う魚Ｆに対する光の反射具合等をパラメータとしてさらに用いることで、魚Ｆの群れの水中での見え方をシミュレーションしてよい。より具体的には、システム１は、魚Ｆの群れの水中画像としての見え方をシミュレーションしてよい。
【0025】
この点について一例を示す。例えば、水揚げされたタイは、陸上では鮮やかな桜色に見えるが、水中カメラ等で水中の様子を撮影した場合の映像では、少なくとも桜色は消失してしまう場合がある（例えば、黒っぽく見えてしまう場合がある）。そこで、システム１は、魚画像擬似データＦＧに基づき生成した魚Ｆの３次元モデルに対して、上記各種のパラメータを適用して魚Ｆの群れの水中画像としての見え方をシミュレーションする。そして、システム１は、魚Ｆの群れの水中画像のシミュレーション結果を、コンピュータグラフィックスで再現することにより、係る水中画像のＣＧ画像ＳＩを生成する。
【0026】
このように、ＣＧ画像ＳＩは、旨味度が付与された魚画像擬似データＦＧから生成される。このため、システム１は、ＣＧ画像ＳＩを生成する際に、ＣＧ画像ＳＩに含まれる各魚Ｆ（例えば、３次元モデルベースの魚Ｆ）に対して、旨味度をメタ情報として付与しておいてよい。
【0027】
この結果、次に、システム１は、ＣＧ画像ＳＩが示す水中のシミュレーション画像に含まれる魚ＦそれぞれのＣＧ画像ＳＩに、当該魚Ｆの特徴が示唆する旨味度（ステップＳ１２でメタ情報として付与された旨味度）をラベル情報として付加することで、学習データＬＤを生成する（ステップＳ１３）。例えば、システム１は、１の魚ＦのＣＧ画像ＳＩと、当該魚Ｆの特徴が示唆する旨味度を正解とするラベル情報との組を１つの学習データＬＤとして、全ての魚Ｆに対応する学習データＬＤ群を生成してよい。
【0028】
次に、システム１は、ステップＳ１３で生成した学習データＬＤに基づいて、魚Ｆの旨味度を推定するためのモデルＭを生成する（ステップＳ１４）。例えば、システム１は、魚Ｆの水中画像から魚Ｆの旨味度を推定するようにモデルＭを学習させる。
【0029】
例えば、システム１は、学習データＬＤとする機械学習（教師あり学習）をＤＮＮ（ディープニューラルネットワーク）において行う。具体的には、システム１は、入力画像がＤＮＮ（モデルＭ）に入力された場合に、入力画像に含まれる魚Ｆの旨味度がＤＮＮ（モデルＭ）から出力されるようＤＮＮ（モデルＭ）を学習させることで、学習済みのＤＮＮ（モデルＭ）を生成する。ここでいう入力画像は、魚Ｆが水中を泳ぐ様子が撮影された水中画像であってよい。
【0030】
例えば、システム１は、図１に示すように、旨味度が未知の魚Ｆの水中画像ＷＦが与えられた場合には、水中画像ＷＦを学習済みのモデルＭに入力し、モデルＭによる出力情報に基づいて、水中画像ＷＧに含まれる魚Ｆの旨味度を推定する（ステップＳ１５）。例えば、システム１は、水中画像ＷＧから魚Ｆの画像データを抽出し、抽出した画像データごとに旨味度を推定してよい。
【0031】
そして、システム１は、魚Ｆの旨味度の推定結果をデバイスＤＶに出力する（ステップＳ１６）。例えば、システム１は、水中画像ＷＧに含まれる魚Ｆごとに、推定結果としての旨味度が一覧表示されたリストを出力してよい。他の例として、システム１は、推定結果としての旨味度を集計し、旨味度の分布を出力してもよい。例えば、システム１は、水中画像ＷＧにおいて、旨味度「０．０」～「１．０未満」の魚Ｆは「２％」、旨味度「１．０」～「２．１未満」の魚Ｆは「６％」・・・旨味度「４．０以上」の魚Ｆは「８０％」といった形で割合分布を出力することができる。
【0032】
さて、これまで図１を用いて、実施形態に係る情報処理の全体的像を説明した。例えば、ヒトは水揚げされた魚Ｆに対する目利きによって旨味度を推定することができるが、水中の魚Ｆに対して旨味度を推定することは困難である。このため、図１で説明した魚画像実データＴＧを学習データとして用いる手法が考えられるが、係る手法では、学習データの数が不十分であり、モデルの推定精度を高める点で改善の余地がある。一方で、実施形態に係る情報処理によれば、魚画像実データＴＧを基にして、魚Ｆの画像データが増幅され、さらにシミュレーションによって、魚Ｆが水中に居る際の様子が捉えられた画像データまでも増幅できるようになる。このため、実施形態に係る情報処理では、推定精度の高いモデルＭを生成することができるため、ヒトの勘や経験に頼ることなく自動かつ正確に旨味度を推定することができる。また、この結果、魚の価値の新たな判断指標が得られるため、例えば、養殖業界において貢献することができる。
【0033】
〔３．システム構成〕
続いて、システム１の構成を説明する。図２は、実施形態に係るシステム１の構成例を示す図である。図２に示すように、システム１は、第１の学習装置１０と、第２の学習装置２０と、情報処理装置１００とを含んでよい。また、第１の学習装置１０と、第２の学習装置２０と、情報処理装置１００とは、ネットワークＮを介して、有線または無線により通信可能に接続されてよい。
続いて、システム１の構成を説明する。図２は、実施形態に係るシステム１の構成例を示す図である。図２に示すように、システム１は、第１の学習装置１０と、第２の学習装置２０と、情報処理装置１００とを含んでよい。また、第１の学習装置１０と、第２の学習装置２０と、情報処理装置１００とは、ネットワークＮを介して、有線または無線により通信可能に接続されてよい。
【0034】
第１の学習装置１０は、魚Ｆの旨味度が推定された魚画像実データＴＧを基にした機械学習を行う。すなわち、第１の学習装置１０は、魚画像実データＴＧが示す魚Ｆに対する目利き結果としての旨味度に応じた特徴（例えば、魚Ｆの色合い、形状、サイズ、重さ、または、脂肪率等）との差分を最小化するように特徴を学習させることで、ＧＡＮｓを更新する。
【0035】
第２の学習装置２０は、学習データＬＤに基づいて、魚Ｆの旨味度を推定するためのモデルＭを生成する。例えば、第２の学習装置２０は、学習データＬＤとする機械学習（教師あり学習）をＣＮＮ型のＤＮＮであるモデルＭに行うことで、入力画像に含まれる魚Ｆの旨味度を推定するためのモデルＭを生成する。
【0036】
情報処理装置１００は、実施形態に係る情報処理プログラムに応じて動作するクラウドコンピュータ（サーバ）である。例えば、情報処理装置１００は、第１の学習装置１０により更新されたＧＡＮｓを用いて、魚画像擬似データＦＧを生成する。また、情報処理装置１００は、魚画像擬似データＦＧに基づいて、魚Ｆが再現されたＣＧ画像ＳＩを生成する。
【0037】
ＣＧ画像ＳＩを基にした学習データＬＤの生成、および、学習データＬＤを用いたモデルＭの生成は、第２の学習装置２０によって行われる。そこで、情報処理装置１００は、旨味度が未知の魚Ｆの水中画像ＷＦを学習済みのモデルＭに入力し、モデルＭによる出力情報に基づいて、水中画像ＷＧに含まれる魚Ｆの旨味度を推定する。
【0038】
なお、本実施形態では、魚Ｆの画像データを増幅するための機械学習モデルとして、ＧＡＮｓを例に挙げるが、例えば、擬似的な画像データを生成可能なモデルであれば、ＧＡＮｓに限定されない。
【0039】
また、モデルＭは、魚Ｆの水中画像から魚Ｆの旨味度を推定するように学習されるだけでなく、水から出された状態での魚Ｆの画像データから魚Ｆの旨味度を推定するように学習されてもよい。係る場合、学習データＬＤには、目利きによって魚Ｆの旨味度が推定された魚画像実データＴＧがさらに用いられてよい。
【0040】
〔４．機能構成〕
ここからは、第１の学習装置１０、第１の学習装置３０および情報処理装置１００の構成例について説明する。
ここからは、第１の学習装置１０、第１の学習装置３０および情報処理装置１００の構成例について説明する。
【0041】
〔４－１．第１の学習装置〕
まず、第１の学習装置１０の構成例を説明する。図３は、第１の学習装置１０の構成例を示す図である。図３に示すように、第１の学習装置１０は、通信部１１と、記憶部１２と、制御部１３とを有する。
まず、第１の学習装置１０の構成例を説明する。図３は、第１の学習装置１０の構成例を示す図である。図３に示すように、第１の学習装置１０は、通信部１１と、記憶部１２と、制御部１３とを有する。
【0042】
（通信部１１）
通信部１１は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１は、ネットワークＮと有線または無線で接続され、例えば、第２の学習装置２０や情報処理装置１００との間で情報の送受信を行う。
通信部１１は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１は、ネットワークＮと有線または無線で接続され、例えば、第２の学習装置２０や情報処理装置１００との間で情報の送受信を行う。
【0043】
（記憶部１２）
記憶部１２は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ等の半導体メモリ素子またはハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２は、例えば、実施形態に係る情報処理に関するデータやプログラムが記憶されてよい。また、図３の例によれば、記憶部１２は、実データ記憶部１２ａと、モデルデータ記憶部１２ｂとを有してよい。
記憶部１２は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ等の半導体メモリ素子またはハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２は、例えば、実施形態に係る情報処理に関するデータやプログラムが記憶されてよい。また、図３の例によれば、記憶部１２は、実データ記憶部１２ａと、モデルデータ記憶部１２ｂとを有してよい。
【0044】
（実データ記憶部１２ａ）
実データ記憶部１２ａは、目利きによって旨味度が推定された魚Ｆが撮影された魚画像実データＴＧを記憶する。魚画像実データＴＧには、旨味度がメタ情報として付与されていてよい。
実データ記憶部１２ａは、目利きによって旨味度が推定された魚Ｆが撮影された魚画像実データＴＧを記憶する。魚画像実データＴＧには、旨味度がメタ情報として付与されていてよい。
【0045】
（モデルデータ記憶部１２ｂ）
モデルデータ記憶部１２ｂは、魚画像実データＴＧに写される魚Ｆに対する旨味度に応じた特徴（例えば、魚Ｆの色合い、形状、サイズ、重さ、または、脂肪率等）との差分を最小化するように特徴の学習が行われ、更新された機械学習アルゴリズム（例えば、ＧＡＮｓ）の情報を記憶する。
モデルデータ記憶部１２ｂは、魚画像実データＴＧに写される魚Ｆに対する旨味度に応じた特徴（例えば、魚Ｆの色合い、形状、サイズ、重さ、または、脂肪率等）との差分を最小化するように特徴の学習が行われ、更新された機械学習アルゴリズム（例えば、ＧＡＮｓ）の情報を記憶する。
【0046】
（制御部１３について）
制御部１３は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、第１の学習装置１０内部の記憶装置に記憶されている各種プログラム（例えば、実施形態に係る情報処理プログラム）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。
制御部１３は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、第１の学習装置１０内部の記憶装置に記憶されている各種プログラム（例えば、実施形態に係る情報処理プログラム）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。
【0047】
図３に示すように、制御部１３は、取得部１３ａと、学習部１３ｂと、送信部１３ｃとを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１３が有する各処理部の接続関係は、図３に示した接続関係に限られず、他の接続関係であってもよい。
【0048】
（取得部１３ａ）
取得部１３ａは、魚画像実データＴＧを取得する。例えば、取得部１３ａは、利用者が有するデバイスＤＶ（図１）によって送信された魚画像実データＴＧを取得し、実データ記憶部１２ａに格納してよい。
取得部１３ａは、魚画像実データＴＧを取得する。例えば、取得部１３ａは、利用者が有するデバイスＤＶ（図１）によって送信された魚画像実データＴＧを取得し、実データ記憶部１２ａに格納してよい。
【0049】
なお、デバイスＤＶは、利用者によって利用される情報処理端末である。デバイスＤＶは、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等により実現される。また、ここでいう利用者とは、魚Ｆの生産者すなわち養殖業者であってよい。
【0050】
（学習部１３ｂ）
学習部１３ｂは、魚画像実データＴＧを学習データとしてＧＡＮｓの学習を行う。学習部１３ｂによる学習では、魚画像実データＴＧに写される魚Ｆに対する旨味度に応じた特徴（例えば、魚Ｆの色合い、形状、サイズ、重さ、または、脂肪率等）との差分を最小化するように特徴の学習が行われ、ＧＡＮｓが更新されてゆく。魚画像実データＴＧが示す魚の特性である強い特徴表現を学習したＧＡＮｓを得ることが理想的な結果であり、このような結果が得られるまで更新されたＧＡＮｓは、モデルデータ記憶部１２ｂに格納される。
学習部１３ｂは、魚画像実データＴＧを学習データとしてＧＡＮｓの学習を行う。学習部１３ｂによる学習では、魚画像実データＴＧに写される魚Ｆに対する旨味度に応じた特徴（例えば、魚Ｆの色合い、形状、サイズ、重さ、または、脂肪率等）との差分を最小化するように特徴の学習が行われ、ＧＡＮｓが更新されてゆく。魚画像実データＴＧが示す魚の特性である強い特徴表現を学習したＧＡＮｓを得ることが理想的な結果であり、このような結果が得られるまで更新されたＧＡＮｓは、モデルデータ記憶部１２ｂに格納される。
【0051】
（送信部１３ｃ）
送信部１３ｃは、更新後のＧＡＮｓを情報処理装置１００に送信する。学習部１３ｂによるＧＡＮｓの更新は定期的に行われてよいため、送信部１３ｃは、更新のたびに最新のＧＡＮｓを情報処理装置１００に送信してよい。
送信部１３ｃは、更新後のＧＡＮｓを情報処理装置１００に送信する。学習部１３ｂによるＧＡＮｓの更新は定期的に行われてよいため、送信部１３ｃは、更新のたびに最新のＧＡＮｓを情報処理装置１００に送信してよい。
【0052】
〔４－２．第２の学習装置〕
次に、第２の学習装置２０の構成例を説明する。図４は、第２の学習装置２０の構成例を示す図である。図４に示すように、第２の学習装置２０は、通信部２１と、記憶部２２と、制御部２３とを有する。
次に、第２の学習装置２０の構成例を説明する。図４は、第２の学習装置２０の構成例を示す図である。図４に示すように、第２の学習装置２０は、通信部２１と、記憶部２２と、制御部２３とを有する。
【0053】
（通信部２１）
通信部２１は、例えば、ＮＩＣ等によって実現される。そして、通信部１１は、ネットワークＮと有線または無線で接続され、例えば、第１の学習装置１０や情報処理装置１００との間で情報の送受信を行う。
通信部２１は、例えば、ＮＩＣ等によって実現される。そして、通信部１１は、ネットワークＮと有線または無線で接続され、例えば、第１の学習装置１０や情報処理装置１００との間で情報の送受信を行う。
【0054】
（記憶部２２）
記憶部２２は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子またはハードディスク、光ディスク等の記憶装置によって実現される。記憶部２２は、例えば、実施形態に係る情報処理に関するデータやプログラムが記憶されてよい。また、図４の例によれば、記憶部２２は、学習データ記憶部２２ａと、モデルデータ記憶部２２ｂとを有してよい。
記憶部２２は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子またはハードディスク、光ディスク等の記憶装置によって実現される。記憶部２２は、例えば、実施形態に係る情報処理に関するデータやプログラムが記憶されてよい。また、図４の例によれば、記憶部２２は、学習データ記憶部２２ａと、モデルデータ記憶部２２ｂとを有してよい。
【0055】
（学習データ記憶部２２ａ）
学習データ記憶部２２ａは、情報処理装置１００により生成されたＣＧ画像ＳＩと、ＣＧ画像ＳＩで再現される魚Ｆの特徴が示唆する評価値との組を学習データＬＤとして記憶する。
学習データ記憶部２２ａは、情報処理装置１００により生成されたＣＧ画像ＳＩと、ＣＧ画像ＳＩで再現される魚Ｆの特徴が示唆する評価値との組を学習データＬＤとして記憶する。
【0056】
（モデルデータ記憶部２２ｂ）
モデルデータ記憶部２２ｂは、学習データＬＤに基づき生成された、魚Ｆの旨味度を推定するためのモデルＭを記憶する。
モデルデータ記憶部２２ｂは、学習データＬＤに基づき生成された、魚Ｆの旨味度を推定するためのモデルＭを記憶する。
【0057】
（制御部２３について）
制御部２３は、ＣＰＵやＭＰＵ等によって、第２の学習装置２０内部の記憶装置に記憶されている各種プログラム（例えば、実施形態に係る情報処理プログラム）がＲＡＭを作業領域として実行されることにより実現される。また、制御部２３は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。
制御部２３は、ＣＰＵやＭＰＵ等によって、第２の学習装置２０内部の記憶装置に記憶されている各種プログラム（例えば、実施形態に係る情報処理プログラム）がＲＡＭを作業領域として実行されることにより実現される。また、制御部２３は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。
【0058】
図４に示すように、制御部２３は、取得部２３ａと、学習部２３ｂと、送信部２３ｃとを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部２３の内部構成は、図４に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部２３が有する各処理部の接続関係は、図４に示した接続関係に限られず、他の接続関係であってもよい。
【0059】
（取得部２３ａ）
取得部２３ａは、ＣＧ画像ＳＩを取得する。例えば、取得部２３ａは、情報処理装置１００によって送信されたＣＧ画像ＳＩを取得し、学習データ記憶部２２ａに格納してよい。
取得部２３ａは、ＣＧ画像ＳＩを取得する。例えば、取得部２３ａは、情報処理装置１００によって送信されたＣＧ画像ＳＩを取得し、学習データ記憶部２２ａに格納してよい。
【0060】
（学習部２３ｂ）
学習部２３ｂは、学習データＬＤに基づいて、魚Ｆの旨味度を推定するためのモデルＭを生成する。例えば、学習部２３ｂは、魚Ｆの水中画像が入力として与えられた場合に水中画像に含まれる魚Ｆの旨味度を推定するように、学習データＬＤに基づきモデルＭを学習させる。
学習部２３ｂは、学習データＬＤに基づいて、魚Ｆの旨味度を推定するためのモデルＭを生成する。例えば、学習部２３ｂは、魚Ｆの水中画像が入力として与えられた場合に水中画像に含まれる魚Ｆの旨味度を推定するように、学習データＬＤに基づきモデルＭを学習させる。
【0061】
（送信部２３ｃ）
送信部２３ｃは、学習済みのモデルＭを情報処理装置１００に送信する。学習部２３ｂによるモデルＭの更新は定期的に行われてよいため、送信部２３ｃは、更新のたびに最新のモデルＭを情報処理装置１００に送信してよい。
送信部２３ｃは、学習済みのモデルＭを情報処理装置１００に送信する。学習部２３ｂによるモデルＭの更新は定期的に行われてよいため、送信部２３ｃは、更新のたびに最新のモデルＭを情報処理装置１００に送信してよい。
【0062】
〔４－３．情報処理装置〕
次に、情報処理装置１００の構成例を説明する。図５は、情報処理装置１００の構成例を示す図である。図５に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。
次に、情報処理装置１００の構成例を説明する。図５は、情報処理装置１００の構成例を示す図である。図５に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。
【0063】
（通信部１１０）
通信部１１０は、例えば、ＮＩＣ等によって実現される。そして、通信部１１０は、ネットワークＮと有線または無線で接続され、例えば、第１の学習装置１０や第２の学習装置２０との間で情報の送受信を行う。
通信部１１０は、例えば、ＮＩＣ等によって実現される。そして、通信部１１０は、ネットワークＮと有線または無線で接続され、例えば、第１の学習装置１０や第２の学習装置２０との間で情報の送受信を行う。
【0064】
（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子またはハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２０は、例えば、実施形態に係る情報処理に関するデータやプログラムが記憶されてよい。また、図５の例によれば、記憶部１２０は、擬似データ記憶部１２１と、ＣＧ画像データ記憶部１２２と、モデルデータ記憶部１２３とを有してよい。
記憶部１２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子またはハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２０は、例えば、実施形態に係る情報処理に関するデータやプログラムが記憶されてよい。また、図５の例によれば、記憶部１２０は、擬似データ記憶部１２１と、ＣＧ画像データ記憶部１２２と、モデルデータ記憶部１２３とを有してよい。
【0065】
（擬似データ記憶部１２１）
擬似データ記憶部１２１は、魚画像実データＴＧに基づき更新されたＧＡＮｓを用いて生成された魚画像擬似データＦＧを記憶する。
擬似データ記憶部１２１は、魚画像実データＴＧに基づき更新されたＧＡＮｓを用いて生成された魚画像擬似データＦＧを記憶する。
【0066】
（ＣＧ画像データ記憶部１２２）
ＣＧ画像データ記憶部１２２は、魚画像擬似データＦＧに基づき魚Ｆがコンピュータグラフィックスにより再現されたＣＧ画像ＳＩを記憶する。
ＣＧ画像データ記憶部１２２は、魚画像擬似データＦＧに基づき魚Ｆがコンピュータグラフィックスにより再現されたＣＧ画像ＳＩを記憶する。
【0067】
（制御部１３０について）
制御部１３０は、ＣＰＵやＭＰＵ等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（例えば、実施形態に係る情報処理プログラム）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。
制御部１３０は、ＣＰＵやＭＰＵ等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（例えば、実施形態に係る情報処理プログラム）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。
【0068】
図５に示すように、制御部１３０は、受付部１３１と、第１の生成部１３２と、第２の生成部１３３と、推定部１３４と、出力制御部１３５とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図５に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各処理部の接続関係は、図５に示した接続関係に限られず、他の接続関係であってもよい。
【0069】
（受付部１３１）
受付部１３１は、機会学習の結果に関する情報を受け付ける。例えば、受付部１３１は、第１の学習装置１０が送信したＧＡＮｓを受け付けモデルデータ記憶部１２３に格納してよい。また、受付部１３１は、第２の学習装置２０が送信したモデルＭを受け付けモデルデータ記憶部１２３に格納してよい。
受付部１３１は、機会学習の結果に関する情報を受け付ける。例えば、受付部１３１は、第１の学習装置１０が送信したＧＡＮｓを受け付けモデルデータ記憶部１２３に格納してよい。また、受付部１３１は、第２の学習装置２０が送信したモデルＭを受け付けモデルデータ記憶部１２３に格納してよい。
【0070】
（第１の生成部１３２）
第１の生成部１３２は、推定対象の魚Ｆが撮影された画像であって魚Ｆに対する評価値が付与された画像である魚画実データＴＧを基にした機械学習の結果（すなわちＧＡＮｓ）を用いて、評価値に応じた特徴を有する魚Ｆが再現された魚画像擬似データＦＧを生成する。これまで説明した通り、ＧＡＮｓは、魚画実データＴＧに写される魚Ｆに対する評価値に応じた特徴として、魚Ｆの色合い、形状、サイズ、重さ、または、脂肪率のいずれかとの差分を最小化するように特徴を学習したモデルである。
第１の生成部１３２は、推定対象の魚Ｆが撮影された画像であって魚Ｆに対する評価値が付与された画像である魚画実データＴＧを基にした機械学習の結果（すなわちＧＡＮｓ）を用いて、評価値に応じた特徴を有する魚Ｆが再現された魚画像擬似データＦＧを生成する。これまで説明した通り、ＧＡＮｓは、魚画実データＴＧに写される魚Ｆに対する評価値に応じた特徴として、魚Ｆの色合い、形状、サイズ、重さ、または、脂肪率のいずれかとの差分を最小化するように特徴を学習したモデルである。
【0071】
（第２の生成部１３３）
第２の生成部１３３は、魚画像擬似データＦＧに基づいて、魚Ｆがコンピュータグラフィックスにより再現されたＣＧ画像ＳＩを生成する。例えば、第２の生成部１３３は、魚画像擬似データＦＧを基にした魚Ｆの３次元モデルに対して、水中での見え方（水中画像としての見え方）がシミュレーションされた結果が、コンピュータグラフィックスにより再現されたＣＧ画像ＳＩを生成する。より具体的には、第２の生成部１３３は、パラメータ情報に基づき魚Ｆが水中に存在する場合の映像をシミュレーションした結果が、コンピュータグラフィックスにより再現されたＣＧ画像ＳＩを生成する。ここで、パラメータ情報は、水深に応じた光の減衰率が考慮された魚Ｆの色合い、または、魚Ｆに対する光の反射具合であってよい。
第２の生成部１３３は、魚画像擬似データＦＧに基づいて、魚Ｆがコンピュータグラフィックスにより再現されたＣＧ画像ＳＩを生成する。例えば、第２の生成部１３３は、魚画像擬似データＦＧを基にした魚Ｆの３次元モデルに対して、水中での見え方（水中画像としての見え方）がシミュレーションされた結果が、コンピュータグラフィックスにより再現されたＣＧ画像ＳＩを生成する。より具体的には、第２の生成部１３３は、パラメータ情報に基づき魚Ｆが水中に存在する場合の映像をシミュレーションした結果が、コンピュータグラフィックスにより再現されたＣＧ画像ＳＩを生成する。ここで、パラメータ情報は、水深に応じた光の減衰率が考慮された魚Ｆの色合い、または、魚Ｆに対する光の反射具合であってよい。
【0072】
（推定部１３４）
推定部１３４は、ＣＧ画像ＳＩと、ＣＧ画像ＳＩで再現される魚Ｆの特徴が示唆する評価値との組を学習データＬＤとして学習されたモデルＭに基づいて、入力画像に映された魚Ｆの評価値を推定する。例えば、推定部１３４は、入力画像として、魚Ｆが水中を泳ぐ様子が撮影された水中画像ＷＧをモデルＭに入力し、モデルＭによる出力情報に基づいて、水中画像ＷＧに含まれる魚Ｆそれぞれの評価値を推定する。
推定部１３４は、ＣＧ画像ＳＩと、ＣＧ画像ＳＩで再現される魚Ｆの特徴が示唆する評価値との組を学習データＬＤとして学習されたモデルＭに基づいて、入力画像に映された魚Ｆの評価値を推定する。例えば、推定部１３４は、入力画像として、魚Ｆが水中を泳ぐ様子が撮影された水中画像ＷＧをモデルＭに入力し、モデルＭによる出力情報に基づいて、水中画像ＷＧに含まれる魚Ｆそれぞれの評価値を推定する。
【0073】
（出力制御部１３５）
出力制御部１３５は、推定部１３４により推定された旨味度をデバイスＤＶに出力する。例えば、出力制御部１３５は、水中画像ＷＧに含まれる魚Ｆごとに、旨味度が一覧表示されたリストを出力してよい。他の例として、出力制御部１３５は、旨味度の分布情報を出力してもよい。
出力制御部１３５は、推定部１３４により推定された旨味度をデバイスＤＶに出力する。例えば、出力制御部１３５は、水中画像ＷＧに含まれる魚Ｆごとに、旨味度が一覧表示されたリストを出力してよい。他の例として、出力制御部１３５は、旨味度の分布情報を出力してもよい。
【0074】
〔５．推定手法〕
続いて、システム１で実現される旨味度の推定手法を説明する。図６は、旨味度の推定に係る情報処置手順を示すシーケンス図である。
続いて、システム１で実現される旨味度の推定手法を説明する。図６は、旨味度の推定に係る情報処置手順を示すシーケンス図である。
【0075】
まず、第１の学習装置１０の取得部１３ａは、魚画像実データＴＧを取得する（ステップＳ６０１）。例えば、取得部１３ａは、デバイスＤＶによって送信された魚画像実データＴＧを取得してよい。
【0076】
学習部１３ｂは、魚画像実データＴＧを学習データとする機械学習を生成モデル（以下、「ＧＡＮｓ」とする）に行わせることで、理想的な値が得られるまでＧＡＮｓを更新する（ステップＳ６０２）。
【0077】
ここで、図７を用いて、学習部１３ｂの動作例を説明する。図７は、学習部１３ｂの動作例を示す図である。図７では、学習部１３ｂがＧＡＮｓに学習させることで画像生成する方法を説明する。ＧＡＮｓは、深層学習ネットワークの一種であり、入力された実データに類似した特性を有する画像データの生成を実現する。
【0078】
図７に示すように、ＧＡＮｓは、ジェネレーター（Generator）Ｇと、ディスククリミネーター（Discriminator）Ｄという２つのネットワークで構成される。
【0079】
ジェネレーターＧは、乱数値（潜在入力）のベクトル（Random Vectors）が入力として与えられると、学習データ（Training Data）に類似する構造の画像データを生成する。本実施形態では、魚画像実データＴＧが学習データとして与えられる。図７には、複数の魚画像実データＴＧとして、魚画像実データＴＧ１，・・・，魚画像実データＴＧｎが与えられる例が示される。また、図７の例によれば、魚画像実データＴＧ１には旨味度「２．８」がメタ情報として付与され、魚画像実データＴＧｎには旨味度「４．１」がメタ情報として付与されている例が示される。
【0080】
ディスクリミネーターＤは、魚画像実データＴＧ（学習データ）とジェネレーターＧにより生成された画像データとの両方の観測値を含むデータ（Predict Labels）が与えられると、この観測値が「real」（真）であるのか「generated」（偽）かの分類を試みる。
【0081】
例えば、学習部１３ｂは、ジェネレーターＧに対して乱数値のベクトルを入力として与えることで、ジェネレーターＧおよびディスクリミネーターＤの両方のネットワークの学習を同時に行わせることで、両方のネットワークの性能を最大化させる。
【0082】
具体的には、学習部１３ｂは、ジェネレーターＧに学習させて、ディスクリミネーターＤを騙す画像データを生成させる。また、学習部１３ｂは、ディスクリミネーターＤに学習させて、魚画像実データＴＧと、ジェネレーターＧにより生成された生成データとを区別させる。
【0083】
ここで、ジェネレーターＧの性能を最適化するために、ジェネレーターＧによる生成データが与えられた場合にディスクリミネーターＤの損失が最大化される。つまり、ジェネレーターＧの目的はディスクリミネーターＤが「real」と分類するような画像データを生成することである。一方、ディスクリミネーターＤの性能を最適化するために、魚画像実データＴＧおよび生成データの両方が与えられた場合にディスクリミネーターＤの損失が最小化される。つまり、ディスクリミネーターＤの目的はジェネレーターＧに「騙されない」ことである。このように本物らしい画像データを生成するジェネレーターＧと、学習データの特性である強い特徴表現を学習したディスクリミネーターＤを得ることがＧＡＮｓの学習における理想的な結果といえる。
【0084】
図６に戻り、理想的な結果が得られるまで更新された生成モデル（ＧＡＮｓ）は、送信部１３ｃによって情報処理装置１００に送信される（ステップＳ６０３）。
【0085】
情報処理装置１００の受付部１３１は、送信部１３ｃが送信した生成モデル（ＧＡＮｓ）を受け付ける（ステップＳ６０４）。
【0086】
そして、第１の生成部１３２は、生成モデル（ＧＡＮｓ）を用いて、魚画像擬似データＦＧを生成する（ステップＳ６０５）。なお、魚画像擬似データＦＧは、魚画像実データＴＧに付与される旨味度が得られるように特徴を学習したＧＡＮｓから生成される。このため、魚画像擬似データＦＧには、基となった魚画像実データＴＧに付与される旨味度と同様の旨味度がメタ情報として付与されてよい。
【0087】
次に、第２の生成部１３３は、魚画像擬似データＦＧに基づいて、魚Ｆがコンピュータグラフィックスにより再現されたＣＧ画像ＳＩを生成する（ステップＳ６０６）。例えば、第２の生成部１３３は、魚Ｆの水中画像がシミュレーションされた結果が再現されたＣＧ画像ＳＩを生成する。
【0088】
例えば、第２の生成部１３３は、魚画像擬似データＦＧに基づいて、魚Ｆの３次元モデルを生成し、生成した３次元モデルに対して、所定のパラメータ情報を適用したシミュレーションを行う。例えば、第２の生成部１３３は、魚Ｆが水中を泳ぐ様子の水中画像では、魚Ｆがどのような見え方になるか所定のパラメータ情報を用いてシミュレーションを行う。そして、第２の生成部１３３は、シミュレーション結果が、コンピュータグラフィックスにより再現されたＣＧ画像ＳＩを生成する。
【0089】
図８を用いて、第２の生成部１３３によって行われるシミュレーションについて説明する。図８は、実施形態に係るシミュレーション手法の一例を示す図である。図８では、魚画像擬似データＦＧに基づき生成された魚Ｆの３次元モデルＦＭＧに対して、所定のパラメータ情報を適用したシミュレーションが行われる場面を示す。ここで、所定のパラメータ情報は、水深に応じた光の減衰率に伴う魚Ｆの色合い、および、水深に応じた光の減衰率に伴う魚Ｆに対する光の反射具合であるものとする。
【0090】
図８には、魚Ｆが水中を泳ぐ様子の水中画像の一例として、水中画像ＥＸが示され、魚Ｆ（ａ）と魚Ｆ（ｂ）とがピックアップされている。魚Ｆ（ａ）と魚Ｆ（ｂ）とでは、水深が異なるため、光の減衰率も異なる。このため、水中画像ＥＸに示すように、魚Ｆ（ａ）と魚Ｆ（ｂ）との間では、色合いや光の反射具合が異なる。そこで、第２の生成部１３３は、魚Ｆの３次元モデルＦＭＧを用いて、魚Ｆが水中を泳ぐ様子の水中画像ＥＸでは、魚Ｆは水深に応じてどのような色合いになるか、魚Ｆは水深に応じてどのような光の反射具合になるかになるかをシミュレーションする。
【0091】
すなわち、第２の生成部１３３は、特定の水深に応じた光の減衰率に基づいて、係る水深での水中画像ＥＸでは魚Ｆの陸上での色合いがどのように変化するかをシミュレーションし、また、係る水深での水中画像ＥＸでは魚Ｆに対する光の反射具合がどのように変化するかをシミュレーションする。図８には、第２の生成部１３３が、シミュレーション結果に基づいて、ＣＧ画像ＳＩの一例として、ＣＧ画像ＳＩ１を生成した例が示される。また、第２の生成部１３３は、ＣＧ画像ＳＩ１を基にして、魚Ｆのポーズや魚Ｆの向きを変えた様々なＣＧ画像ＳＩも生成してよい。図８には、第２の生成部１３３が、ＣＧ画像ＳＩ１を基にして、異なる向きから魚Ｆを捉えたＣＧ画像ＳＩ２をさらに生成した例が示される。
【0092】
また、第２の生成部１３３は、ＣＧ画像ＳＩ１やＣＧ画像ＳＩ２に対して、データ拡張（Data Augmentation）を行うことで、ＣＧ画像ＳＩの数をさらに増幅させてよい。また、第２の生成部１３３は、旨味度が付与された魚画像擬似データＦＧからＣＧ画像ＳＩを生成するため、ＣＧ画像ＳＩを生成する際に、ＣＧ画像ＳＩに含まれる各魚Ｆに対しても旨味度をメタ情報として付与しておいてよい。
【0093】
図６に戻り、ＣＧ画像ＳＩは、第２の生成部１３３によって第２の学習装置２０に送信される（ステップＳ６０７）。
【0094】
第２の学習装置２０の取得部２３ａは、ＣＧ画像ＳＩを取得する（ステップＳ６０８）。具体的には、取得部２３ａは、情報処理装置１００よって送信されたＣＧ画像ＳＩを取得する。
【0095】
学習部２３ｂは、ＣＧ画像ＳＩから学習データＬＤを生成する（ステップＳ６０９）。例えば、学習部２３ｂは、ＣＧ画像ＳＩが示す水中のシミュレーション画像に含まれる魚ＦそれぞれのＣＧ画像ＳＩに、当該魚Ｆの特徴が示唆する旨味度（メタ情報として付与された旨味度）をラベル情報として付加することで、学習データＬＤを生成してよい。例えば、学習部２３ｂは、１の魚ＦのＣＧ画像ＳＩと、当該魚Ｆの特徴が示唆する旨味度を正解とするラベル情報との組を１つの学習データＬＤとして、全ての魚Ｆに対応する学習データＬＤ群を生成してよい。
【0096】
また、学習部２３ｂは、学習データＬＤに基づいて、魚Ｆの旨味度を推定するためのモデルＭを生成する（ステップＳ６１０）。例えば、学習部２３ｂは、学習データＬＤに基づいて、魚Ｆの水中画像から魚Ｆの旨味度を推定するようにモデルＭを学習させる。
【0097】
図９を用いて、モデルＭの学習手法について説明する。図９は、旨味度の推定モデル生成に係る学習手法の一例を示す図である。図９では、旨味度が正解ラベルとして付加されたｎ個のＣＧ画像ＳＩを学習データＬＤとして用いた学習によりモデルＭが生成される場面を示す。
【0098】
図９に示すように、モデルＭは、学習データＬＤとする機械学習（教師あり学習）を行うＤＮＮ（ディープニューラルネットワーク）であってよく、ＣＧ画像ＳＩが示す魚Ｆの特徴と正解ラベルとの関係性を学習する。この結果、モデルＭでは、入力画像に含まれる魚Ｆの旨味度を推定するように学習が行われる。
【0099】
図９には、旨味度「１．０」が正解ラベルとして付加されたＣＧ画像ＳＩ１と、旨味度「３．１」が正解ラベルとして付加されたＣＧ画像ＳＩ２と、旨味度「４．０」が正解ラベルとして付加されたＣＧ画像ＳＩ３と、旨味度「２．７」が正解ラベルとして付加されたＣＧ画像ＳＩ４と，・・・，旨味度「５．０」が正解ラベルとして付加されたＣＧ画像ＳＩｎとで構成される学習データＬＤ群がモデルＭに入力されている。係る場合、モデルＭでは、入力画像（例えば、魚Ｆが水中を泳ぐ様子が撮影された水中画像）が与えられた場合に、入力画像に含まれる魚Ｆに対して、旨味度「１．０」、旨味度「３．１」、旨味度「４．０」、旨味度「２．７」，・・・，旨味度「５．０」等を推定するように関係性が学習される。
【0100】
図６に戻り、学習済みのモデルＭは、送信部２３ｃによって情報処理装置１００に送信される（ステップＳ６１１）。
【0101】
受付部１３１は、送信部２３ｃが送信したモデルＭを受け付ける（ステップＳ６１２）。
【0102】
このような状態において、推定部１３４は、魚Ｆの水中画像ＷＧが受け付けられたか否かを判定する（ステップＳ６１３）。推定部１３４は、水中画像ＷＧが受け付けられていない間は（ステップＳ６１３；Ｎｏ）、水中画像ＷＧが受け付けられたと判定されるまで待機する。
【0103】
一方、推定部１３４は、水中画像ＷＧが受け付けられた場合には（ステップＳ６１３；Ｙｅｓ）、水中画像ＷＦを学習済みのモデルＭに入力し、モデルＭによる出力情報に基づいて、水中画像ＷＧに含まれる魚Ｆの旨味度を推定する（ステップＳ６１４）。
【0104】
出力制御部１３５は、旨味度の推定結果に関する情報がデバイスＤＶに出力させるよう制御する（ステップＳ６１５）。例えば、出力制御部１３５は、水中画像ＷＧに含まれる魚Ｆごとに、推定結果としての旨味度が一覧表示されたリストＬＴを生成し、リストＬＴをデバイスＤＶに出力させてよい。
【0105】
【0106】
図１０の例によれば、水中画像ＷＧがモデルＭに入力されると、水中画像ＷＧに含まれる魚Ｆが識別され、識別された個体ごとに旨味度が推定される。図１０には、水中画像ＷＧに含まれる魚Ｆとして９匹の魚Ｆ（すなわち魚Ｆａ～魚Ｆｉ）が識別され、魚Ｆについて旨味度が推定される。この場合、出力制御部１３５は、図１０に示すように、魚Ｆａ～魚Ｆｉそれぞれに対して、推定結果の旨味度が対応付けられたリストＬＴを生成してよい。
【0107】
また、係る例に限らず、出力制御部１３５は、魚Ｆａ～魚Ｆｉそれぞれの旨味度に基づいて、旨味度「０．０」～「１．０未満」の魚Ｆは「２％」、旨味度「１．０」～「２．１未満」の魚Ｆは「６％」・・・旨味度「４．０以上」の魚Ｆは「８０％」といった形で割合分布の情報を生成し、これを出力してもよい。
【0108】
〔６．限定解除〕
上記実施形態では、第１の学習装置１０と、第２の学習装置２０と、情報処理装置１００とで構成されるシステム１で実施形態に係る情報処理が実現される例を示した。しかしながら、第１の学習装置１０と、第２の学習装置２０と、情報処理装置１００とは、運用に合わせて任意に組み合わされてよい。
上記実施形態では、第１の学習装置１０と、第２の学習装置２０と、情報処理装置１００とで構成されるシステム１で実施形態に係る情報処理が実現される例を示した。しかしながら、第１の学習装置１０と、第２の学習装置２０と、情報処理装置１００とは、運用に合わせて任意に組み合わされてよい。
【0109】
例えば、第１の学習装置１０と、第２の学習装置２０と、情報処理装置１００とを組み合わせた１の装置が、実施形態に係る情報処理装置として構成されてもよい。他の例として、第１の学習装置１０と、情報処理装置１００とが一体化された装置が、実施形態に係る情報処理装置として構成されてもよい。さらに他の例として、第２の学習装置２０と、情報処理装置１００とが一体化された装置が、実施形態に係る情報処理装置として構成されてもよい。また、第１の学習装置１０と、第２の学習装置２０とが一体化されてもよい。
【0110】
〔７．ハードウェア構成〕
また、上記実施形態に係る情報処理装置１００は、例えば図１１に示すような構成のコンピュータ１０００によって実現される。図１１は、情報処理装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。
また、上記実施形態に係る情報処理装置１００は、例えば図１１に示すような構成のコンピュータ１０００によって実現される。図１１は、情報処理装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。
【0111】
ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
【0112】
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、および、係るプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、通信網５０を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを、通信網５０を介して他の機器へ送信する。
【0113】
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを、入出力インターフェイス１６００を介して出力装置へ出力する。
【0114】
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラム又はデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、係るプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0115】
例えば、コンピュータ１０００が実施形態に係る情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。また、ＨＤＤ１４００には、記憶部１２０内のデータが格納される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを、記録媒体１８００から読み取って実行するが、他の例として、他の装置から、通信網５０を介してこれらのプログラムを取得してもよい。
【0116】
〔８．その他〕
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0117】
〔９．まとめ〕
以上、本願の実施形態をいくつかの図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
以上、本願の実施形態をいくつかの図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【符号の説明】
【0118】
１ システム
１０ 第１の学習装置
１３ａ 取得部
１３ｂ 学習部
１３ｃ 送信部
２０ 第２の学習装置
２３ａ 取得部
２３ｂ 学習部
２３ｃ 送信部
１００ 情報処理装置
１２０ 記憶部
１２１ 擬似データ記憶部
１２２ ＣＧ画像データ記憶部
１２３ モデルデータ記憶部
１３０ 制御部
１３１ 受付部
１３２ 第１の生成部
１３３ 第２の生成部
１３４ 推定部
１３５ 出力制御部
１０ 第１の学習装置
１３ａ 取得部
１３ｂ 学習部
１３ｃ 送信部
２０ 第２の学習装置
２３ａ 取得部
２３ｂ 学習部
２３ｃ 送信部
１００ 情報処理装置
１２０ 記憶部
１２１ 擬似データ記憶部
１２２ ＣＧ画像データ記憶部
１２３ モデルデータ記憶部
１３０ 制御部
１３１ 受付部
１３２ 第１の生成部
１３３ 第２の生成部
１３４ 推定部
１３５ 出力制御部
【要約】
【課題】魚の価値を適切に判断すること。
【解決手段】本願に係る情報処理プログラムは、推定対象の所定の魚が撮影された画像であって前記所定の魚に対する評価値が付与された画像である実画像を基にした機械学習により、前記評価値に応じた特徴を有する前記所定の魚が再現された画像データを生成する第１の生成手順と、前記画像データに基づいて、前記所定の魚がコンピュータグラフィックスにより再現されたＣＧ（Computer Graphics）画像を生成する第２の生成手順と、前記ＣＧ画像と、前記ＣＧ画像で再現される前記所定の魚の特徴が示唆する前記評価値との組を学習データとして学習されたモデルに基づいて、入力画像に映された前記所定の魚の評価値を推定する推定手順とをコンピュータに実行させる。
【選択図】図５
【解決手段】本願に係る情報処理プログラムは、推定対象の所定の魚が撮影された画像であって前記所定の魚に対する評価値が付与された画像である実画像を基にした機械学習により、前記評価値に応じた特徴を有する前記所定の魚が再現された画像データを生成する第１の生成手順と、前記画像データに基づいて、前記所定の魚がコンピュータグラフィックスにより再現されたＣＧ（Computer Graphics）画像を生成する第２の生成手順と、前記ＣＧ画像と、前記ＣＧ画像で再現される前記所定の魚の特徴が示唆する前記評価値との組を学習データとして学習されたモデルに基づいて、入力画像に映された前記所定の魚の評価値を推定する推定手順とをコンピュータに実行させる。
【選択図】図５
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】