特許 7239121 生物の成長予測装置、方法およびプログラム並びに３次元画像生成表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-03-06

(45)【発行日】2023-03-14

(54)【発明の名称】生物の成長予測装置、方法およびプログラム並びに３次元画像生成表示システム

(51)【国際特許分類】

   A01K 61/95 20170101AFI20230307BHJP

   G06Q 50/02 20120101ALI20230307BHJP

   G06T 7/00 20170101ALI20230307BHJP

   G06V 10/54 20220101ALI20230307BHJP

   G06V 10/70 20220101ALI20230307BHJP

   G06V 20/64 20220101ALI20230307BHJP

【ＦＩ】

A01K61/95

G06Q50/02

G06T7/00 350B

G06V10/54

G06V10/70

G06V20/64

【請求項の数】 7

(21)【出願番号】P 2022122841

(22)【出願日】2022-08-01

【審査請求日】2022-08-19

【早期審査対象出願】

(73)【特許権者】

【識別番号】520339253

【氏名又は名称】三信トレーディング株式会社

(74)【代理人】

【識別番号】100128451

【弁理士】

【氏名又は名称】安田 隆一

(72)【発明者】

【氏名】范 軍

【審査官】櫻井 健太

(56)【参考文献】

【文献】特許第７００８９５８（ＪＰ，Ｂ１）

【文献】特許第７００８９５７（ＪＰ，Ｂ１）

【文献】特許第６６５０９８４（ＪＰ，Ｂ１）

【文献】特表２０２０－５１５９５２（ＪＰ，Ａ）

【文献】特開２０１６－１９４８９２（ＪＰ，Ａ）

【文献】中国特許出願公開第１０６９８０８７３（ＣＮ，Ａ）

【文献】株式会社メビウス，養鯉業におけるＡＩ活用の取り組み，スマート農林水産業オンライン研修会発表資料，2021年02月08日，インターネット ＜https://www.mob.co.jp/1463/＞

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ０１Ｋ ６１／００ － ６１／６５

Ａ０１Ｋ ６１／８０ － ６３／１０

Ｇ０６Ｑ ５０／０２

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／５４

Ｇ０６Ｖ １０／７０ － １０／８６

Ｇ０６Ｖ ２０／６４

(57)【特許請求の範囲】

【請求項1】

成長予測対象の観賞魚を撮影した撮影画像を取得する撮影画像取得部と、
前記撮影画像から観賞魚の模様を抽出する模様抽出部と、
前記撮影画像に基づいて、任意の年齢の観賞魚の３次元画像を予測して生成する成長予測部とを備え、
前記成長予測部が、複数の年齢と該各年齢の観賞魚の撮影画像との関係を機械学習させた３次元画像生成用学習済モデルに対して、前記撮影画像取得部によって取得された撮影画像、該撮影画像の撮影時点における観賞魚の年齢および前記任意の年齢を入力することによって、前記任意の年齢の観賞魚の３次元画像を予測して生成し、
複数の年齢と該各年齢の観賞魚の模様との関係を機械学習させた模様予測用学習済モデルに対して、前記模様抽出部によって撮影画像から抽出された観賞魚の模様、前記撮影画像の撮影時点における観賞魚の年齢および前記任意の年齢を入力することによって、前記任意の年齢の観賞魚の模様を予測して模様画像を生成し、
前記任意の年齢の観賞魚の３次元画像の形状に合わせて前記模様画像を変形し、該変形後の模様画像を前記３次元画像の表面に貼り付けることによって、任意の年齢の観賞魚の模様付き３次元画像を生成する生物の成長予測装置。

【請求項2】

前記成長予測対象の生物が錦鯉であり、
前記成長予測部が、前記錦鯉の種類毎の前記模様予測用学習済モデルを有する請求項１記載の生物の成長予測装置。

【請求項3】

前記成長予測部が、前記撮影画像が撮影された時点における前記観賞魚の３次元画像と、前記任意の年齢の前記観賞魚の３次元画像とを生成する請求項１記載の生物の成長予測装置。

【請求項4】

請求項１記載の生物の成長予測装置と、
前記生物の成長予測装置から出力された前記観賞魚の３次元画像を表示する端末装置とを備え、
前記端末装置が、前記観賞魚の３次元画像が動いている状態を表示する３次元画像生成表示システム。

【請求項5】

前記端末装置が、前記生物の３次元画像をＡＲ（Augmented Reality）表示する請求項４記載の３次元画像生成表示システム。

【請求項6】

成長予測対象の観賞魚を撮影した撮影画像を取得し、
前記撮影画像から観賞魚の模様を抽出し、
前記撮影画像に基づいて、任意の年齢の観賞魚の３次元画像を予測して生成する生物の成長予測方法において、
複数の年齢と該各年齢の観賞魚の撮影画像との関係を機械学習させた３次元画像生成用学習済モデルに対して、前記成長予測対象の観賞魚の撮影画像、該撮影画像の撮影時点における観賞魚の年齢および前記任意の年齢を入力することによって、前記任意の年齢の観賞魚の３次元画像を予測して生成し、
複数の年齢と該各年齢の観賞魚の模様との関係を機械学習させた模様予測用学習済モデルに対して、前記成長予測対象の観賞魚の撮影画像から抽出された観賞魚の模様、前記撮影画像の撮影時点における観賞魚の年齢および前記任意の年齢を入力することによって、前記任意の年齢の観賞魚の模様を予測して模様画像を生成し、
前記任意の年齢の観賞魚の３次元画像の形状に合わせて前記模様画像を変形し、該変形後の模様画像を前記３次元画像の表面に貼り付けることによって、任意の年齢の観賞魚の模様付き３次元画像を生成する生物の成長予測方法。

【請求項7】

成長予測対象の観賞魚を撮影した撮影画像を取得するステップと、
前記撮影画像から観賞魚の模様を抽出するステップと、
前記撮影画像に基づいて、任意の年齢の観賞魚の３次元画像を予測して生成するステップとをコンピュータに実行させる生物の成長予測プログラムであって、
前記任意の年齢の観賞魚の３次元画像を予測して生成するステップにおいて、
複数の年齢と該各年齢の観賞魚の撮影画像との関係を機械学習させた３次元画像生成用学習済モデルに対して、前記成長予測対象の観賞魚の撮影画像、該撮影画像の撮影時点における観賞魚の年齢および前記任意の年齢を入力することによって、前記任意の年齢の観賞魚の３次元画像を予測して生成するステップと、
複数の年齢と該各年齢の観賞魚の模様との関係を機械学習させた模様予測用学習済モデルに対して、前記成長予測対象の観賞魚の撮影画像から抽出された観賞魚の模様、前記撮影画像の撮影時点における観賞魚の年齢および前記任意の年齢を入力することによって、前記任意の年齢の観賞魚の模様を予測して模様画像を生成するステップと、
前記任意の年齢の観賞魚の３次元画像の形状に合わせて前記模様画像を変形し、該変形後の模様画像を前記３次元画像の表面に貼り付けることによって、任意の年齢の観賞魚の模様付き３次元画像を生成するステップとを前記コンピュータに実行させる生物の成長予測プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、生物を撮影した撮影画像からその生物の成長を予測する生物の成長予測装置、方法およびプログラム並びに３次元画像生成表示システムに関するものである。

【背景技術】

【0002】

従来、観賞魚として錦鯉が多く飼育されており、錦鯉の品質によっては非常に高額な値段で取引される場合もある。

【0003】

錦鯉の購入者は、錦鯉を購入する際、その体型、色および模様などを見て錦鯉を評価し、その値段に見合った価値を有する錦鯉であるか否かを判断する。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第６６５０９８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、錦鯉の体型、色および模様などはその成長によって変化する。錦鯉を評価する際、現時点での錦鯉を目視して評価することは可能であるが、その錦鯉が今後どのように成長していくかは不明であり、場合によっては、現時点では高い評価であるが、成長した結果、評価が下がるような錦鯉も存在する。

【0006】

現時点の錦鯉の姿を目視するだけでは、成長後の錦鯉の姿を想像するのは難しく、成長後の錦鯉の評価を予測することは非常に困難である。したがって、錦鯉の購入者が、高額で錦鯉を購入したにも関わらず、購入者の予測とおりに成長しない場合があり、損してしまうケースがある。

【0007】

また、錦鯉の生産者は、多数飼育する錦鯉の中から、将来、高い価値を有する錦鯉に成長すると予測される錦鯉を判断する。そして、その高い価値を有する錦鯉の血統だけを残して飼育する方が、より少ない投資で効率的に高い評価の錦鯉を生産することができる。

【0008】

しかしながら、錦鯉の生産者であっても、上述したように現時点での錦鯉を目視するだけでは、将来どのように成長するのかを予測することは非常に困難である。

【0009】

また、上述した錦鯉に限らず、金魚のなど観賞魚や観賞用の植物についても、その成長を予測したい場合がある。

【0010】

なお、特許文献１においては、錦鯉を撮影した画像に基づいて、錦鯉の個体識別を行う方法が提案されているが、錦鯉の評価については何も提案されていない。

【0011】

本発明は、上記事情に鑑み、成長後の将来の生物の姿を確認することができる生物の成長予測装置、方法およびプログラム並びに３次元画像生成表示システムを提供することを目的とする。

【課題を解決するための手段】

【0012】

本発明の生物の成長予測装置は、成長予測対象の生物を撮影した撮影画像を取得する撮影画像取得部と、撮影画像に基づいて、任意の年齢の生物の成長を予測する。

【0013】

本発明の生物の成長予測方法は、成長予測対象の生物を撮影した撮影画像を取得し、撮影画像に基づいて、任意の年齢の生物の成長を予測する。

【0014】

本発明の生物の成長予測プログラムは、成長予測対象の生物を撮影した撮影画像を取得するステップと、撮影画像に基づいて、任意の年齢の生物の成長を予測するステップとをコンピュータに実行させる。

【発明の効果】

【0015】

本発明の生物の成長予測装置および方法並びにプログラムによれば、成長予測対象の生物を撮影した撮影画像を取得し、その撮影画像に基づいて、任意の年齢の生物の成長を予測するようにしたので、成長後の将来の生物の姿を確認することができる。

【図面の簡単な説明】

【0016】

【図1】本発明の生物の成長予測装置の一実施形態を用いた錦鯉３次元画像生成表示システムの概略構成を示すブロック図

【図2】正面撮影画像の特徴ポイントの一例を示す図

【図3】模様結合画像の生成を説明するための図

【図4】模様付き３次元画像の生成を説明するための図

【図5】模様の成長予測のその他の実施形態を説明するための図

【図6】本発明の生物の成長予測装置の一実施形態を用いた錦鯉３次元画像生成表示システムの処理の流れを説明するためのフローチャート

【発明を実施するための形態】

【0017】

以下、図面を参照して本発明の生物の成長予測装置および３次元画像生成表示システムの一実施形態を用いた錦鯉３次元画像生成表示システムについて詳細に説明する。図１は、本実施形態の錦鯉３次元画像生成表示システムの概略構成図である。

【0018】

錦鯉３次元画像生成表示システムは、錦鯉を撮影した撮影画像を取得し、その撮影画像に基づいて、任意の成長年月数後の錦鯉の３次元画像を予測して生成する。そして、端末装置において、その予測生成された錦鯉の３次元画像を動かして表示させることによって、あたかも錦鯉が成長した未来の姿を確認することができるシステムである。なお、本実施形態においては、錦鯉が、本発明の成長予測対象の生物である。

【0019】

錦鯉３次元画像生成表示システム１は、成長予測装置１０と、端末装置２０とを備えている。成長予測装置１０と端末装置２０との間は通信回線で接続されており、たとえばインターネット回線やＬＡＮ（Local Area Network）によって接続されている。成長予測装置１０は、端末装置２０によって撮影された錦鯉の撮影画像を取得し、その取得した撮影画像に基づいて錦鯉の３次元画像を生成し、端末装置２０に送信する。端末装置２０は、成長予測装置１０から送信された錦鯉の３次元画像を受信し、これを表示する。以下、成長予測装置１０と端末装置２０について、具体的に説明する。

【0020】

成長予測装置１０は、図１に示すように、撮影画像取得部１１と、成長予測部１２と、模様抽出部１３とを備えている。

【0021】

撮影画像取得部１１は、端末装置２０によって撮影された錦鯉の撮影画像を取得する。具体的には、カメラ機能を有する端末装置２０によって錦鯉が撮影されるが、この際、錦鯉の真上（背びれ側）から撮影した撮影画像と、錦鯉の右側面から撮影した撮影画像と、錦鯉の左側面から撮影した撮影画像とが撮影される。

【0022】

そして、撮影画像取得部１１は、上述した鯉の真上（背びれ側）から撮影した撮影画像（以下、正面撮影画像という）と、錦鯉の右側面から撮影した撮影画像（以下、右側面撮影画像という）と、錦鯉の左側面から撮影した撮影画像（以下、左側面撮影画像という）とを取得する。

【0023】

成長予測部１２は、正面画像を用いて錦鯉の３次元形状を表す３次元画像を生成する。

【0024】

具体的には、成長予測部１２は、まず、正面撮影画像において、予め設定された２１カ所のポイントを特定する。２１カ所のポイントは、たとえば図２に黒丸で示すような位置とすることができる。具体的には、２１カ所のポイントは、頭部の先端のポイントＨと、尾鰭の先端のポイントＴと、右目周囲の３ポイント１Ｒ，ＥＲ，２Ｒと、左目周囲の３ポイント１Ｌ，ＥＬ，２Ｌと、右胸鰭周囲の３ポイント３Ｒ，８Ｒ，４Ｒと、右胸鰭周囲の３ポイント３Ｌ，８Ｌ，４Ｌと、背鰭の前側端部の幅を示す３ポイント５Ｒ，５Ｃ，５Ｌと、尾鰭の根元のポイント６と、尾鰭の根元のポイント６と背鰭の前側端部のポイント５Ｃとの間の中心の幅を示す３ポイント７Ｒ，７Ｃ，７Ｌとすることができる。以下、２１カ所のポイントを特徴ポイントという。特徴ポイントは、上述した２１カ所のポイントに限らず、適宜設定することができる。

【0025】

また、特徴ポイントの特定方法については、たとえば任意の複数の錦鯉を予め撮影した複数の正面撮影画像とその各正面撮影画像における特徴ポイントの位置情報との関係を予め機械学習して得られた特徴ポイント特定用学習済モデルに対して、今回撮影した正面撮影画像を入力することによって、上記正面撮影画像上における特徴ポイントの位置情報を取得する。特徴ポイント特定用学習済モデルとしては、たとえば畳み込みニューラルネットワーク(Convolutional Neural Network)を用いることができるが、機械学習の方法としては、これに限らず、その他の公知な手法を用いることができる。

【0026】

そして、成長予測部１２は、正面撮影画像について取得された特徴ポイントの位置情報に基づいて、錦鯉の３次元画像を生成する。具体的には、成長予測部１２は、正面撮影画像の特徴ポイントの位置情報を３次元画像生成用学習済モデルに入力することによって錦鯉の３次元画像を生成する。なお、本実施形態においては、３次元画像生成用学習済モデルが、本発明の成長予測用学習済モデルに相当する。

【0027】

３次元画像生成用学習済モデルは、撮影画像取得部１１によって取得された現時点での錦鯉の正面撮影画像に基づいて、現時点の錦鯉の３次元画像を生成する。また、３次元画像生成用学習済モデルは、現時点での錦鯉の正面撮影画像に基づいて、同じ鯉の任意の年齢の３次元画像を予測して生成する。

【0028】

３次元画像生成用学習済モデルは、任意の錦鯉を撮影した正面撮影画像の特徴ポイントおよびその錦鯉の年齢と、その錦鯉の３次元画像の３次元座標との関係を機械学習して生成されるものである。３次元画像生成用学習済モデルは、まず、基準となる錦鯉について、１年後、２年後、３年後といった各年齢のときに撮影された正面撮影画像の特徴ポイントと、その各年齢の錦鯉の３次元画像の３次元座標との関係を機械学習して生成される。そして、３次元画像生成用学習済モデルは、さらに任意の年齢の錦鯉の撮影画像の特徴ポイントと、その錦鯉の３次元画像の３次元座標との関係を機械学習する。

【0029】

より具体的には、本実施形態では、１歳から１０歳まで錦鯉の３年間以上の成長記録の撮影画像を１０００セット以上集めてそれらを機械学習させ、１０００以上の成長パターンをデータベース化する。これにより、将来性予測の信頼性を裏付けすることができる。

【0030】

そして、上述したようにして生成された３次元画像生成用学習済モデルに対して、現時点の錦鯉の年齢と、その錦鯉の正面撮影画像の特徴ポイントと、任意の年齢とを入力することによって、その入力された任意の年齢の錦鯉の３次元画像が３次元画像生成用学習済モデルから出力される。現時点の錦鯉の３次元画像を生成する場合には、現時点の錦鯉の年齢と任意の年齢とが同じ年齢が入力される。

【0031】

３次元画像生成用学習済モデルの機械学習の方法としては、公知な手法を用いることができ、ディープニューラルネットワーク（ＤＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、およびデノイジングスタックオートエンコーダ（ＤＳＡ）などを用いることができる。

【0032】

３次元画像生成用学習済モデルは、成長予測部１２が記憶するようにしてもよいし、その他のサーバ装置などに記憶された３次元画像生成用学習済モデルを用いるようにしてもよい。

【0033】

模様抽出部１３は、撮影画像取得部１１によって取得された３方向の撮影画像からそれぞれ錦鯉の模様を抽出する。錦鯉の模様については、たとえば予め設定された色（たとえば黒や朱色など）のパターンを模様として抽出するようにしてもよいし、予め設定された形状に類似するパターンを模様として抽出するようにしてもよい。また、錦鯉の模様を予め機械学習して得られた模様認識用学習済モデルを用いて錦鯉の模様を認識して抽出するようにしてもよい。

【0034】

そして、成長予測部１２は、３方向の撮影画像からそれぞれ抽出された３枚の模様画像を用いて、上述したようにして生成された錦鯉の３次元画像の表面に貼り付ける３次元模様画像を生成する。具体的には、成長予測部１２は、正面撮影画像から抽出された正面模様画像と、右側面撮影画像から抽出された右側面模様画像と、左側面撮影画像から抽出された左側面模様画像とを結合して３次元模様画像を生成する。

【0035】

正面模様画像と右側面模様画像と左側面模様画像とを結合する方法としては、たとえば右側面模様画像と左側面撮影画像とを模様のつなぎ目が連続するように結合する。そして、その結合した画像に対して正面模様画像を張り付けることによって、模様結合画像を生成する。この際、右側面模様画像と左側面撮影画像のつなぎ目と正面模様画像の背びれとが一致するように重ね合わせられる。このように、右側面模様画像と左側面模様画像を結合した模様と正面模様画像の模様とが一致するように結合させる。図３は、上述した模様結合画像の生成を説明するための図であり、図３Ａが、左側面撮影画像の一例を示し、図３Ｂが、右側面撮影画像の一例を示し、図３Ｃが、図３Ａの左側面撮影画像から抽出された左側面模様画像と、図３Ｂの右側面撮影画像から抽出された右側面模様画像とを用いて生成された模様結合画像の一例を示す図である。

【0036】

そして、成長予測部１２は、上述したように生成された模様結合画像を錦鯉の３次元画像の形状に合わせて３次元的に変形することによって３次元模様画像を生成し、その３次元模様画像を３次元画像の表面に貼り付ける。図４は、模様付き３次元画像の生成を説明するための図であり、図４Ａが、錦鯉の３次元画像の一例を示し、図４Ｂが、模様結合画像の一例を示し、図４Ｃが、図４Ａの３次元画像に対して図４Ｂの模様結合画像を変形した３次元模様画像を張り付けた模様付き３次元画像の一例を示す図である。

【0037】

３次元模様画像の生成方法としては、たとえば模様結合画像の結合線の位置と錦鯉の３次元画像の背びれの位置とを一致させ、模様結合画像の各画素を３次元画像の表面上に投影して生成するようにすればよい。

【0038】

また、成長予測部１２は、模様抽出部１３によって抽出された模様に基づいて、任意の年齢の錦鯉の模様を予測し、その任意の年齢の錦鯉の模様を、上述した任意の年齢の錦鯉の３次元画像に張り付けることによって、３次元画像上に任意の年齢の錦鯉の模様を表現する。

【0039】

任意の年齢の錦鯉の模様を予測する方法としては、たとえば複数の年齢とその各年齢の錦鯉の模様との関係を機械学習させた模様予測用学習済モデルを用いる。模様予測用学習済モデルは、成長予測部１２が記憶するようにしてもよいし、その他のサーバ装置などに記憶された模様予測用学習済モデルを用いるようにしてもよい。

【0040】

具体的には、成長予測部１２は、まず、予測された任意の年齢の錦鯉の３次元画像の形状に基づいて、現時点の結合模様画像の大きさを変形する。そして、成長予測部１２は、上述した模様予測用学習済モデルに対して、任意の年齢に合わせて大きさを変形させた結合模様画像と現時点の錦鯉の年齢と任意の年齢を入力することによって、その任意の年齢の錦鯉の模様から生成される結合模様画像を予測する。なお、予測後の結合模様画像では、大きさだけでなく、時間経過に伴う模様の色味の変化や模様自体の変化も反映される。

【0041】

模様予測用学習済モデルの機械学習の方法としては、公知な手法を用いることができ、ディープニューラルネットワーク（ＤＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、およびデノイジングスタックオートエンコーダ（ＤＳＡ）などを用いることができる。

【0042】

現時点の結合模様画像の大きさを変形する方法としては、たとえば、図５に示すように、成長予測前の錦鯉を幅方向に３等分した線（ｗ１：ｗ２＝１：１）を設定する。そして、成長予測後の錦鯉の模様としては、たとえば１年後の模様としてはｗ１：ｗ２＝１：１．１５とし、２年後の模様としてはｗ１：ｗ２＝１：１．２としたりして、錦鯉の腹側の模様の幅を次第に広くするようにしてもよい。なお、図５では、分かり易くするために３等分の線を直線としているが、実際には、錦鯉の輪郭に沿った曲線とし、錦鯉の頭から尾の根元までの模様の幅を変更することが望ましい。

【0043】

そして、成長予測部１２は、上述したように予測された模様結合画像を任意の年齢の錦鯉の３次元画像の形状に合わせて３次元的に変形することによって３次元模様画像を生成し、その３次元模様画像を任意の年齢の３次元画像の表面に貼り付ける。

【0044】

成長予測部１２は、上述したようにして現時点の錦鯉の模様付き３次元画像と任意の年齢の錦鯉の模様付き３次元画像を生成し、これらの模様付き３次元画像を端末装置２０からの要求に応じて出力する。

【0045】

成長予測装置１０は、コンピュータなどから構成され、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）などの半導体メモリ、ハードディスクなどのストレージ、並びに通信Ｉ／Ｆなどのハードウェアを備える。

【0046】

成長予測装置１０の半導体メモリまたはストレージには、本発明の生物の成長予測プログラムの一実施形態がインストールされている。この生物の成長予測プログラムがＣＰＵによって実行されることによって、上述した撮影画像取得部１１、成長予測部１２および模様抽出部１３が機能する。

【0047】

本実施形態においては、ＣＰＵによって成長予測プログラムを実行することによって成長予測装置１０の上述した各部を機能させるようにしたが、成長予測プログラムが実行する一部の機能または全部の機能をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）、その他の電気回路などのハードウェアから構成するようにしてもよい。

【0048】

次に、端末装置２０について説明する。端末装置２０は、たとえばカメラ機能付きのスマートフォンやカメラ機能付きのタブレット端末から構成される。ただし、これらに限らず、カメラ機能を有するコンピュータであれば、その他の端末装置でもよい。

【0049】

端末装置２０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）などの半導体メモリ、ハードディスクなどのストレージ、並びに通信Ｉ／Ｆなどのハードウェアを備える。

【0050】

端末装置２０の半導体メモリまたはストレージには、錦鯉３次元画像表示アプリケーションがインストールされている。そして、ユーザによって端末装置２０の錦鯉３次元画像表示アプリケーションが起動させることによって、成長予測装置１０において生成された現時点の錦鯉の模様付き３次元画像と任意の年齢の錦鯉の模様付き３次元画像が表示される。

【0051】

端末装置２０は、現時点の錦鯉の模様付き３次元画像と任意の年齢の錦鯉の模様付き３次元画像が泳いでいる状態を表示する。泳いでいる状態を表示させる方法としては、たとえば模様付き３次元画像の各画素の座標を予め設定された条件に基づいて移動させるようにすればよい。

【0052】

また、端末装置２０は、カメラ機能によって撮影された画像上に、上述した模様付き３次元画像をＡＲ（Augmented Reality）表示するようにしてもよい。具体的には、たとえば端末装置２０のカメラ機能によって池や水槽など鯉が泳ぐ環境を撮影し、その撮影した環境画像中に模様付き３次元画像をＡＲ表示するようにしてもよい。ＡＲ表示の方法としては、公知の手法を用いることができる。

【0053】

次に、本実施形態の錦鯉３次元画像生成表示システム１の処理の流れについて、図６に示すフローチャートを参照しながら説明する。

【0054】

まず、ユーザによって端末装置２０の錦鯉３次元画像表示アプリケーションが起動されると、カメラ機能が起動し、成長予測対象の錦鯉が撮影される（Ｓ１０）。この際、上述したように異なる３方向から撮影が行われる。

【0055】

そして、ユーザによって端末装置２０において、将来予測を希望する任意の年齢が設定入力された後（Ｓ１２）、その設定入力された年齢と３枚の撮影画像と３次元画像生成要求信号が端末装置２０から成長予測装置１０に送信される（Ｓ１４）。

【0056】

そして、成長予測装置１０の撮影画像取得部１１によって３枚の撮影画像が取得され（Ｓ１６）、成長予測部１２によって３枚の撮影画像に基づいて、上述したようにして現時点の錦鯉の模様付き３次元画像が生成される（Ｓ１８）。

【0057】

また、成長予測部１２は、端末装置２０において設定入力された年齢と現時点の錦鯉の年齢と撮影画像とを３次元画像生成用学習済モデルに入力することによって、設定入力された年齢の錦鯉の模様付き３次元画像（成長予測後の３次元画像）を生成する（Ｓ２０）。

【0058】

そして、成長予測部１２は、現時点の錦鯉の模様付き３次元画像と成長予測後の錦鯉の模様付き３次元画像を端末装置２０に送信する（Ｓ２２）。

【0059】

端末装置２０は、成長予測装置１０から送信された現時点の錦鯉の模様付き３次元画像と成長予測後の錦鯉の模様付き３次元画像を受信する（Ｓ２４）。そして、端末装置２０の錦鯉３次元画像表示アプリケーションによって、現時点の錦鯉の模様付き３次元画像と成長予測後の錦鯉の模様付き３次元画像が泳いだ状態で表示される（Ｓ２６）。

【0060】

本実施形態の錦鯉３次元画像生成表示システム１によれば、成長後の将来の錦鯉の姿を確認して評価することができる。

【0061】

また、錦鯉の模様についても成長予測するようにしたので、成長後の錦鯉をより現実の錦鯉に近づけることができる。

【0062】

また、現時点の錦鯉の模様付き３次元画像と成長後の錦鯉の模様付き３次元画像の両方を表示するようにしたので、これらを比較することができる。

【0063】

また、錦鯉の模様付き３次元画像が泳いでいる状態を表示させたり、ＡＲ表示させたりするようにしたので、よりリアリティを向上させることができる。

【0064】

また、上記実施形態の錦鯉３次元画像生成表示システム１においては、３次元画像生成用機械学習済モデルを用いて成長予測後の錦鯉の３次元画像を生成するようにしたが、これに限らず、たとえば予め取得された成長曲線を用いて、現時点の錦鯉の撮影画像の特特徴ポイントを移動させて３次元画像を生成することによって、成長予測後の錦鯉の３次元画像ようにしてもよい。
また、上記実施形態の錦鯉３次元画像生成表示システム１においては、錦鯉の撮影画像に基づいて、任意の年齢の錦鯉の３次元画像を生成するようにしたが、成長予測部１２における成長予測の方法としては、必ずしも３次元画像を生成しなくてもよい。たとえば成長後の錦鯉の２次元画像を生成するようにしてもよいし、もしくは、成長後の２次元画像に基づいて１年後、２年後および３年後などの錦鯉の体長を予測し、その予測した体長に基づいて、成長曲線を生成するようにしてもよい。

【0065】

また、上記実施形態の錦鯉３次元画像生成表示システム１においては、模様予測用学習済モデルを用いて成長予測後の模様を生成するようにしたが、錦鯉の模様は、錦鯉の種類によって異なるので、錦鯉の種類毎の模様予測用学習済モデルを用いるようにしてもよい。そして、端末装置２０または成長予測装置１０において、錦鯉の種類を受け付け、成長予測部１２が、その受け付けた錦鯉の種類に応じて模様予測用学習済モデルを選択して使用するようにしてもよい。

【0066】

また、上記実施形態については、成長予測対象の生物を錦鯉としたが、本発明の成長予測対象の生物は、錦鯉に限らず、たとえば金魚などの観賞魚や、盆栽などの観賞用の植物でもよい。観賞用の植物の成長予測を行う場合には、特徴ポイントとして、植物の輪郭を示す特徴ポイントの他、たとえば枝分かれしている箇所などを特徴ポイントとすればよい。

【0067】

本発明に関し、さらに以下の付記を開示する。
（付記）
本発明の生物の成長予測装置において、成長予測部は、任意の年齢の生物の３次元画像を予測して生成することができる。

【0068】

本発明の生物の成長予測装置において、成長予測部は、複数の年齢とその各年齢の生物の撮影画像との関係を機械学習させた成長予測用学習済モデルに対して、撮影画像取得部によって取得された撮影画像、その撮影画像の撮影時点における生物の年齢および任意の年齢を入力することによって、任意の年齢の生物の３次元画像を予測して生成することができる。

【0069】

本発明の生物成長予測装置においては、撮影画像から生物の模様を抽出する模様抽出部を備え、成長予測部は、任意の年齢の生物の模様を予測し、その予測した模様を任意の年齢の生物の３次元画像上に表現することができる。

【0070】

本発明の生物の成長予測装置において、成長予測部は、複数の年齢とその各年齢の生物の模様との関係を機械学習させた模様予測用学習済モデルに対して、撮影画像から抽出された生物の模様、撮影画像の撮影時点における生物の年齢および任意の年齢を入力することによって、任意の年齢の錦鯉の模様を予測することができる。

【0071】

本発明の生物の成長予測装置においては、成長予測対象の生物を錦鯉とし、成長予測部は、錦鯉の種類毎の模様予測用学習済モデルを有することができる。

【0072】

本発明の生物の成長予測装置において、成長予測部は、撮影画像が撮影された時点における生物の３次元画像と、任意の年齢の生物の３次元画像とを生成することができる。

【0073】

本発明の３次元画像生成表示システムは、上記本発明の成長予測装置と、成長予測装置から出力された生物の３次元画像を表示する端末装置とを備え、端末装置が、生物の３次元画像が動いている状態を表示する。

【0074】

本発明の３次元画像生成表示システムにおいて、端末装置は、生物の３次元画像をＡＲ（Augmented Reality）表示することができる。

【符号の説明】

【0075】

１ 錦鯉３次元画像生成表示システム
１０ 成長予測装置
１１ 撮影画像取得部
１２ 成長予測部
１３ 模様抽出部
２０ 端末装置

【要約】

【課題】成長後の将来の錦鯉の姿を確認することができる３次元画像を生成する成長予測装置、方法およびプログラム並びに３次元画像生成表示システムを提供する。
【解決手段】成長予測対象の生物を撮影した撮影画像を取得する撮影画像取得部１１と、撮影画像に基づいて、任意の年齢の生物の成長を予測する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】