(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023162785
(43)【公開日】2023-11-09
(54)【発明の名称】情報処理プログラム、情報処理装置及び情報処理方法
(51)【国際特許分類】
G01C 3/06 20060101AFI20231101BHJP
G01B 11/00 20060101ALI20231101BHJP
G01B 11/02 20060101ALI20231101BHJP
G01N 21/17 20060101ALI20231101BHJP
【FI】
G01C3/06 120R
G01B11/00 H
G01B11/02 H
G01N21/17 A
【審査請求】有
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2022073423
(22)【出願日】2022-04-27
(71)【出願人】
【識別番号】501440684
【氏名又は名称】ソフトバンク株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】石若 裕子
(72)【発明者】
【氏名】吉田 智博
【テーマコード(参考)】
2F065
2F112
2G059
【Fターム(参考)】
2F065AA06
2F065AA21
2F065BB15
2F065CC16
2F065FF04
2F065FF44
2F065GG21
2F065GG23
2F065JJ26
2F065QQ24
2F065QQ25
2F065QQ31
2F112AD03
2F112CA12
2F112DA22
2F112EA01
2F112FA03
2F112FA07
2F112FA41
2G059AA05
2G059AA10
2G059BB05
2G059BB12
2G059KK04
2G059MM09
2G059MM10
(57)【要約】
【課題】画像から水中の対象物に関する情報を精度よく推定することができる。
【解決手段】本願に係る情報処理プログラムは、光源の光を照射された水中の参照物体を含む参照画像であって、水中の撮像装置により撮像された参照画像のうち、参照物体が占める物体領域における輝度値である参照輝度値と、撮像装置から参照物体までの距離である参照距離との関係性を示す参照情報、および、光源の光を照射された水中の対象物を含む対象画像であって、水中の撮像装置により撮像された対象画像を取得する取得手順と、対象画像のうち、対象物が占める対象物領域における輝度値である対象輝度値と、参照情報との比較に基づいて、撮像装置から対象物までの距離である対象距離を推定する推定手順と、をコンピュータに実行させる。
【選択図】
図3
【特許請求の範囲】
【請求項1】
光源の光を照射された水中の参照物体を含む参照画像であって、前記水中の撮像装置により撮像された参照画像のうち、前記参照物体が占める物体領域における輝度値である参照輝度値と、前記撮像装置から前記参照物体までの距離である参照距離との関係性を示す参照情報、および、前記光源の光を照射された前記水中の対象物を含む対象画像であって、前記水中の前記撮像装置により撮像された対象画像を取得する取得手順と、
前記対象画像のうち、前記対象物が占める対象物領域における輝度値である対象輝度値と、前記参照情報との比較に基づいて、前記撮像装置から前記対象物までの距離である対象距離を推定する推定手順と、
をコンピュータに実行させる情報処理プログラム。
【請求項2】
前記推定手順は、
推定した前記対象距離に応じて、前記対象物の大きさを推定する、
請求項1に記載の情報処理プログラム。
【請求項3】
前記取得手順は、
複数の前記対象物を含む前記対象画像を取得し、
前記推定手順は、
前記対象画像のうち、複数の前記対象物それぞれが占める複数の前記対象物領域それぞれにおける前記対象輝度値と、前記参照情報との比較に基づいて、前記撮像装置から複数の前記対象物それぞれまでの前記対象距離を推定し、推定した前記撮像装置から複数の前記対象物それぞれまでの前記対象距離に応じて、複数の前記対象物それぞれを識別する、
請求項1に記載の情報処理プログラム。
【請求項4】
前記取得手順は、
前記対象物に応じた色に対応する波長の前記光を照射された前記参照物体を含む前記参照画像における前記参照輝度値と、前記参照距離との関係性を示す前記参照情報、および、前記対象物に応じた色に対応する波長の前記光を照射された前記対象物を含む前記対象画像を取得し、
前記推定手順は、
前記対象画像における前記対象輝度値と、前記参照情報との比較に基づいて、前記対象距離を推定する、
請求項1に記載の情報処理プログラム。
【請求項5】
前記取得手順は、
複数の異なる色それぞれに対応する複数の異なる波長の前記光それぞれを照射された前記参照物体をそれぞれ含む複数の異なる前記参照画像それぞれにおける前記参照輝度値と、前記参照距離との関係性を示す複数の異なる前記参照情報、および、所定時間内のそれぞれ異なる時間に前記複数の異なる波長の前記光それぞれを照射された前記対象物をそれぞれ含む複数の異なる前記対象画像を取得し、
前記推定手順は、
前記複数の異なる前記対象画像それぞれにおける前記対象輝度値と、前記複数の異なる前記参照情報それぞれとの比較に基づいて、前記対象距離を推定する、
請求項1に記載の情報処理プログラム。
【請求項6】
前記光源は、前記撮像装置の筐体の上部または下部に備えられる、
請求項1に記載の情報処理プログラム。
【請求項7】
前記参照物体は、特定の魚種の魚の鱗もしくは前記魚の鱗の模型、または、疑似皮、カラーチャートもしくはチェッカーボードで覆われた物体であり、
前記対象物は、前記特定の魚種の魚である、
請求項1に記載の情報処理プログラム。
【請求項8】
前記取得手順は、
前記光源の光を照射された水中の参照物体を含む透視度参照画像であって、前記水中の撮像装置により撮像された透視度参照画像のうち、前記参照物体が占める物体領域における輝度値である透視度参照輝度値と、前記水中の透視度との関係性を示す透視度参照情報、および、前記光源の光を照射された水中の対象物を含む対象画像であって、前記水中の前記撮像装置により撮像された対象画像を取得し、
前記推定手順は、
前記対象画像のうち、前記対象物が占める対象物領域における複数の色の輝度値のうち、少なくとも1つ以上の色の輝度値と、前記透視度参照情報との比較に基づいて、前記対象画像が撮像された際の水中の透視度を推定する、
請求項1に記載の情報処理プログラム。
【請求項9】
前記推定手順は、
推定された水中の透視度に基づいて、前記対象距離を推定する、
請求項8に記載の情報処理プログラム。
【請求項10】
光源の光を照射された水中の参照物体を含む透視度参照画像であって、前記水中の撮像装置により撮像された透視度参照画像のうち、前記参照物体が占める物体領域における輝度値である透視度参照輝度値と、前記水中の透視度との関係性を示す透視度参照情報、および、前記光源の光を照射された水中の対象物を含む対象画像であって、前記水中の前記撮像装置により撮像された対象画像を取得する取得手順と、
前記対象画像のうち、前記対象物が占める対象物領域における複数の色の輝度値のうち、少なくとも1つ以上の色の輝度値と、前記透視度参照情報との比較に基づいて、前記対象画像が撮像された際の水中の透視度を推定する推定手順と、
をコンピュータに実行させる情報処理プログラム。
【請求項11】
前記推定手順は、
前記対象画像が撮像された際の水中の透視度が第1透視度を超える場合、前記対象画像のうち、前記対象物が占める対象物領域における1色の輝度値と、前記透視度参照情報との比較に基づいて、前記対象画像が撮像された際の水中の透視度を推定する、
請求項10に記載の情報処理プログラム。
【請求項12】
前記推定手順は、
前記対象画像が撮像された際の水中の透明度が第1透視度以下である場合、前記対象画像のうち、前記対象物が占める対象物領域における複数の色の輝度値と、前記透視度参照情報との比較に基づいて、前記対象画像が撮像された際の水中の透視度を推定する、
請求項10に記載の情報処理プログラム。
【請求項13】
光源の光を照射された水中の参照物体を含む参照画像であって、前記水中の撮像装置により撮像された参照画像のうち、前記参照物体が占める物体領域における輝度値である参照輝度値と、前記撮像装置から前記参照物体までの距離である参照距離との関係性を示す参照情報、および、前記光源の光を照射された前記水中の対象物を含む対象画像であって、前記水中の前記撮像装置により撮像された対象画像を取得する取得部と、
前記対象画像のうち、前記対象物が占める対象物領域における輝度値である対象輝度値と、前記参照情報との比較に基づいて、前記撮像装置から前記対象物までの距離である対象距離を推定する推定部と、
を備える情報処理装置。
【請求項14】
光源の光を照射された水中の参照物体を含む透視度参照画像であって、前記水中の撮像装置により撮像された透視度参照画像のうち、前記参照物体が占める物体領域における輝度値である透視度参照輝度値と、前記水中の透視度との関係性を示す透視度参照情報、および、前記光源の光を照射された水中の対象物を含む対象画像であって、前記水中の前記撮像装置により撮像された対象画像を取得する取得部と、
前記対象画像のうち、前記対象物が占める対象物領域における複数の色の輝度値のうち、少なくとも1つ以上の色の輝度値と、前記透視度参照情報との比較に基づいて、前記対象画像が撮像された際の水中の透視度を推定する推定部と、
を備える情報処理装置。
【請求項15】
コンピュータが実行する情報処理方法であって、
光源の光を照射された水中の参照物体を含む参照画像であって、前記水中の撮像装置により撮像された参照画像のうち、前記参照物体が占める物体領域における輝度値である参照輝度値と、前記撮像装置から前記参照物体までの距離である参照距離との関係性を示す参照情報、および、前記光源の光を照射された前記水中の対象物を含む対象画像であって、前記水中の前記撮像装置により撮像された対象画像を取得する取得工程と、
前記対象画像のうち、前記対象物が占める対象物領域における輝度値である対象輝度値と、前記参照情報との比較に基づいて、前記撮像装置から前記対象物までの距離である対象距離を推定する推定工程と、
を含む情報処理方法。
【請求項16】
光源の光を照射された水中の参照物体を含む透視度参照画像であって、前記水中の撮像装置により撮像された透視度参照画像のうち、前記参照物体が占める物体領域における輝度値である透視度参照輝度値と、前記水中の透視度との関係性を示す透視度参照情報、および、前記光源の光を照射された水中の対象物を含む対象画像であって、前記水中の前記撮像装置により撮像された対象画像を取得する取得工程と、
前記対象画像のうち、前記対象物が占める対象物領域における複数の色の輝度値のうち、少なくとも1つ以上の色の輝度値と、前記透視度参照情報との比較に基づいて、前記対象画像が撮像された際の水中の透視度を推定する推定工程と、
を含む情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理プログラム、情報処理装置及び情報処理方法に関する。
【背景技術】
【0002】
従来、画像(静止画像または動画像)に写っている対象物を識別する画像認識技術が知られている。例えば、魚の養殖技術を向上させるために、生簀内の魚の画像をカメラによって撮像し、撮像された画像を解析することにより生簀内の魚の数(以下、尾数ともいう)を推定する技術が知られている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
画像から水中の対象物に関する情報を精度よく推定する技術が求められている。
【0005】
本願は、上記に鑑みてなされたものであって、画像から水中の対象物に関する情報を精度よく推定することができる情報処理プログラム、情報処理装置及び情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本願に係る情報処理プログラムは、光源の光を照射された水中の参照物体を含む参照画像であって、前記水中の撮像装置により撮像された参照画像のうち、前記参照物体が占める物体領域における輝度値である参照輝度値と、前記撮像装置から前記参照物体までの距離である参照距離との関係性を示す参照情報、および、前記光源の光を照射された前記水中の対象物を含む対象画像であって、前記水中の前記撮像装置により撮像された対象画像を取得する取得手順と、前記対象画像のうち、前記対象物が占める対象物領域における輝度値である対象輝度値と、前記参照情報との比較に基づいて、前記撮像装置から前記対象物までの距離である対象距離を推定する推定手順と、をコンピュータに実行させる。
【発明の効果】
【0007】
実施形態の一態様によれば、画像から水中の対象物に関する情報を精度よく推定することができるといった効果を奏する。
【図面の簡単な説明】
【0008】
【
図1】
図1は、水中における色の減衰率について説明するための図である。
【
図2】
図2は、実施形態に係る参照情報の取得方法について説明するための図である。
【
図3】
図3は、実施形態に係る参照情報の一例を示す図である。
【
図4】
図4は、実施形態に係る参照情報の取得に用いられる参照物体の形状について説明するための図である。
【
図5】
図5は、実施形態に係る情報処理装置の構成例を示す図である。
【
図6】
図6は、実施形態に係る対象画像の一例を示す図である。
【
図7】
図7は、変形例に係る情報処理の概要を示す図である。
【
図8】
図8は、変形例に係る情報処理の概要を示す図である。
【
図9】
図9は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【0009】
以下に、本願に係る情報処理プログラム、情報処理装置及び情報処理方法を実施するための形態(以下、「実施形態」と呼ぶ)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理プログラム、情報処理装置及び情報処理方法が限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【0010】
(実施形態)
〔1.はじめに〕
近年、魚の養殖は、地球の食糧問題を解決する手段として注目されている。魚の養殖によって高品質な魚を供給するには、給餌(魚に対する餌やり)と関わりが深い魚の数(尾数)や魚の大きさを正確に知ることが重要である。
【0011】
しかしながら、養殖場の水中という特殊な環境下では、地上のIT技術を活用することが難しい場合がある。そのため、従来は、人が網で一部の魚をすくい上げて魚の数(尾数)や魚の大きさを計量した後に、目視で尾数を数えていた。この方法は、魚への負担が大きいうえ、正確さに欠けるといった問題がある。
【0012】
そこで近年、コンピュータビジョンを用いて生簀内の魚の群れを撮像した画像から尾数や魚の大きさを自動で検出する方法が注目を浴びている。具体例には、画像から尾数や魚の大きさを推定するよう画像認識用の機械学習モデルを学習する方法である。しかしながら、機械学習モデルを用いて画像から尾数や魚の大きさを精度よく推定するには、質の高いトレーニングデータを大量に機械学習モデルに学習させる必要がある。例えば、機械学習モデルのトレーニングデータとして、生簀内の魚の群れなどの水中の魚を撮像した画像と、画像中の各魚の位置や大きさを示す正解データとの組が用いられる。この場合、トレーニングデータの質が高いことは、画像中の魚の位置や大きさを示す正解データの精度が高いことを指す。
【0013】
ここで、一般的に、水中を伝搬する光は、水による散乱や吸収により減衰を起こすため、遠くへ届かないことが知られている。例えば、可視光線(波長約380~780nm)のうち、特に赤色~橙色領域の波長に吸収帯があり、エネルギーが吸収されることが知られている。このため、赤色の光は、水深10mでは、ほぼ100%失われることが知られている。また、青色光でも、水深20mで約50%程度のエネルギーが吸収されてしまうことが知られている。このように、水中では赤色成分が早く失われるので、水は青色に見える。
【0014】
図1は、水中における色の減衰率について説明するための図である。
図1示すグラフは、水中における赤色、緑色および青色に対応する波長の光(以下、赤色の光、緑色の光および青色の光ともいう)の強度と、光の強度を計測する計測機器から光源までの距離との関係を示す。
図1に示すように、赤色の光、緑色の光および青色の光のいずれも、計測機器から光源までの距離が大きくなるほど光の強度が小さくなる様子がわかる。また、
図1のグラフから、緑色の光および青色の光と比べて、赤色の光(波長の長い光)は特に減衰しやすいことがわかる。
【0015】
上述したように、水中を伝搬する光は減衰しやすいため、一般的に、水中の対象物を撮像した画像は、空中の対象物を撮像した画像と比べると、対象物を視認しにくい。そのため、例えば、空気中の対象物を撮像した画像から、画像中の対象物の位置や大きさを認識することと比べると、水中の対象物を撮像した画像から、画像中の対象物の位置や大きさを推定することは困難である。特に、水中の対象物を撮像した画像から、画像中の対象物の奥行方向の位置(または、撮像装置から水中の対象物までの距離)を精度よく推定することは非常に困難である。これにより、水中の対象物を撮像した画像に対して、画像中の対象物の位置や大きさに関する質の高い正解データを付与することは難しい。したがって、質の高いトレーニングデータを得ることは難しい。
【0016】
そこで、画像に含まれる水中の魚の奥行方向の位置(または、撮像装置から水中の魚までの距離)を精度よく認識する技術が求められている。例えば、撮像装置外の他のセンサを用いて、水中の魚の奥行方向の位置を検出し、水中の魚の奥行方向の位置情報を補完する方法が考えられる。しかしながら、水中では、空気中で有用な手法のほとんどが使用できない。例えば、LiDAR(Light Detection And Ranging)センサの光は、空気中と比べて、水中ではほとんど届かない。また、超音波センサは、水中の魚の群れ(魚群ともいう)を見つけるには向いているが、魚群の尾数をカウントするには、解像度が低い。
【0017】
これに対し、実施形態に係る情報処理装置100は、水中に位置する、魚の体の表面を模した物体(以下、参照物体ともいう)を撮像した画像のうち、参照物体が撮像された物体領域における輝度値(以下、参照輝度値ともいう)と、画像が撮像された際の撮像装置から参照物体までの距離(以下、参照距離ともいう)との関係性を示す参照情報を取得する。また、情報処理装置100は、水中の魚を撮像した画像(以下、対象画像ともいう)を取得する。そして、情報処理装置100は、取得した対象画像のうち、魚が撮像された領域(以下、対象物領域ともいう)における輝度値(以下、対象輝度値ともいう)と、取得した参照情報との比較に基づいて、対象画像が撮像された際の撮像装置から魚までの距離(以下、対象距離ともいう)を推定する。具体的には、情報処理装置100は、参照情報に基づいて、対象輝度値と同じ参照輝度値に対応する参照距離を特定し、特定した参照距離を対象距離として推定する。
【0018】
これにより、情報処理装置100は、撮像装置から水中の魚までの距離を精度よく推定することができる。また、情報処理装置100は、撮像装置から水中の魚までの距離を精度よく推定することができるので、例えば、水中の魚を撮像した画像に対して、画像中の魚の位置や大きさに関する質の高い正解データを付与可能とすることができる。すなわち、情報処理装置100は、例えば、質の高い正解データを付与された質の高いトレーニングデータを得ることができる。さらに、情報処理装置100は、質の高いトレーニングデータを得ることができるので、例えば、質の高いトレーニングデータを用いて、画像から水中の魚に関する情報を推定する画像認識用の機械学習モデルの学習精度を向上させることができる。したがって、情報処理装置100は、画像から水中の魚に関する情報を精度よく推定することができる。
【0019】
なお、上記では、対象画像が、水中の魚を撮像した画像である場合について説明したが、対象画像の撮像対象(以下、対象物ともいう)は水中の魚に限られない。例えば、対象物は、魚以外の他の生物であってもよい。ここで、対象物が、魚以外の他の生物である場合、参照物体は、魚の体の表面を模した物体の代わりに、魚以外の他の生物の体の表面を模した物体に置き換えられる。また、対象物は、生物に限られない。例えば、対象物は、生物以外の物体であってもよい。ここで、対象物が、生物以外の物体である場合、参照物体は、生物の体の表面を模した物体の代わりに、生物以外の物体の表面を模した物体に置き換えられる。
【0020】
〔2.参照情報の取得方法〕
図2は、実施形態に係る参照情報の取得方法について説明するための図である。
図2では、参照物体O1、カメラC1(撮像装置の一例)および光源L1が、生簀などの水中に位置する様子を示す。光源L1は、水中の参照物体O1に対して光を照射する。カメラC1は、光源L1の光を照射された水中の参照物体O1の画像(参照画像)を撮像する。参照画像が撮像された際のカメラC1から水中の参照物体O1までの距離をzとすると、カメラC1はzの値を変えながら、光源L1の光を照射された水中の参照物体O1を撮像する。すなわち、カメラC1は、参照物体O1から遠ざかる方向へ移動しながら、光源L1の光を照射された水中の参照物体O1の画像(参照画像)を撮像する。
【0021】
また、一般的に、魚の鱗の種類によって、魚の表面による光の反射率が異なることが知られている。そのため、参照物体O1の表面には、対象となる魚の種類に応じた魚の鱗(鱗の模型または実物の鱗)が貼り付けられている。また、多くの魚の体は、左右に平たい形をしている。そのため、魚の表面による光の反射は、平面状の物体の表面による光の反射に類似すると考えられる。そこで、
図2に示す例では、参照物体O1が平面状(板状ともいう)であり、平面状の参照物体O1を横から見た様子を示す。
図2では、カメラC1が参照物体O1を仰ぐ向きは、参照物体O1の法線方向と一致する。すなわち、参照物体O1の面は、カメラC1の真正面に位置する。
【0022】
また、
図2では、光源L1は、カメラC1の筐体の下部に備えられる。なお、光源L1は、カメラC1の筐体の上部に備えられてもよい。また、光源L1は、光源L1が光を照射する向きが、カメラC1が参照物体O1を仰ぐ向きと一致するように設置される。
【0023】
また、一般的に、魚は、魚種によって好む光の色(あるいは嫌う光の色)が異なることが知られている。そのため、光源L1は、対象となる魚の種類に応じた色に対応する波長の光を照射する。具体的には、光源L1は、赤色、緑色、青色などの各種の色フィルタ付きのライトであってよい。
【0024】
図3は、実施形態に係る参照情報の一例を示す図である。
図3では、
図2に示す光源L1として、白ライト(白色光)、赤フィルタ付きライト(赤色光)、青フィルタ付きライト(青色光)、および、紫フィルタ付きライト(紫色光)をそれぞれ用いた場合に得られた4つの参照情報を示す。
【0025】
また、
図3に示す各グラフは、
図2に示した方法で取得した各参照情報に対応する。グラフの横軸は、参照画像が撮像された際のカメラC1から水中の参照物体O1までの距離(z)を示す。グラフの縦軸は、参照画像の輝度値を示す。より具体的には、グラフ中の実線がR(赤色)の輝度値を、破線がG(緑色)の輝度値を、太線がB(青色)の輝度値を示す。
図3に示す各グラフから、情報処理装置100は、例えば、対象画像のうち、魚が撮像された対象物領域における対象輝度値のRの輝度値がゼロに近い場合、対象画像が撮像された際の撮像装置から魚までの対象距離は、3m以上離れていると推定することができる。また、情報処理装置100は、対象画像が撮像された際の撮像装置から魚までの対象距離が1m~2mの間である場合には、例えば、赤フィルタ付きライト(赤色光)のグラフの実線で示されるR(赤色)の輝度値との比較に基づいて、対象距離を推定することができる。
【0026】
図4は、実施形態に係る参照情報の取得に用いられる参照物体の形状について説明するための図である。
図2では、簡単のため、参照物体O1が平面状である場合について説明したが、実際の参照物体O1は、
図4に示すような四角錐台の底面がない形状をしている。より具体的には、実際の参照物体O1は、面#1~面#5の5つの面で構成される。面#1を囲むようにして、面#2~面#5の4つの面が設けられる。
図2と同様に、各面の表面には、対象となる魚の種類に応じた魚の鱗(鱗の模型または実物の鱗、疑似皮(オーロラハゲ皮)や、カラーチャート、チェッカーボードなどの素材)が貼り付けられている。
図4に示す面#1は、
図2に示す参照物体O1に相当する。具体的には、面#1は、カメラC1から見て真正面に位置する面である。面#2~面#5の4つの面は、面#1に対して傾きをもって設置される。すなわち、面#2~面#5の4つの面は、カメラC1から見て真正面に位置する面#1とは異なる角度をそれぞれ有している。また、一般的に、光の反射率は、光が入射する面の角度に応じて異なる。例えば、撮像装置に対する魚の体の向きが真横である場合、魚の体の表面からの反射率は最も高くなる。このように、参照情報を取得する際に、
図4に示すような四角錐台の底面がない形状の参照物体O1を用いることで、カメラC1に対する角度が異なる面ごとの参照情報を取得することができる。これにより、情報処理装置100は、例えば、撮像装置に対する魚の体の向きが、真横以外の向きを向いている場合であっても、面#2~面#5の4つの面から得られた参照情報に基づいて、撮像装置から魚までの対象距離を推定することができる。
【0027】
〔3.情報処理装置の構成〕
図5は、実施形態に係る情報処理装置100の構成例を示す図である。情報処理装置100は、通信部110と、記憶部120と、入力部130と、出力部140と、制御部150とを有する。
【0028】
(通信部110)
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部110は、ネットワークと有線または無線で接続され、例えば、魚を管理する管理者によって利用される端末装置との間で情報の送受信を行う。
【0029】
(記憶部120)
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。例えば、記憶部120は、実施形態に係る情報処理プログラムを記憶する。
【0030】
(入力部130)
入力部130は、利用者から各種操作が入力される。例えば、入力部130は、タッチパネル機能により表示面(例えば出力部140)を介して利用者からの各種操作を受け付けてもよい。また、入力部130は、情報処理装置100に設けられたボタンや、情報処理装置100に接続されたキーボードやマウスからの各種操作を受け付けてもよい。
【0031】
(出力部140)
出力部140は、例えば、液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ等によって実現される表示画面であり、各種情報を表示するための表示装置である。出力部140は、制御部150の制御に従って、各種情報を表示する。なお、情報処理装置100にタッチパネルが採用される場合には、入力部130と出力部140とは一体化される。また、以下の説明では、出力部140を画面と記載する場合がある。
【0032】
(制御部150)
制御部150は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、情報処理装置100内部の記憶装置に記憶されている各種プログラム(情報処理プログラムの一例に相当)がRAMを作業領域として実行されることにより実現される。また、制御部150は、コントローラであり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
【0033】
制御部150は、取得部151と、推定部152と、出力制御部153を機能部として有し、以下に説明する情報処理の作用を実現または実行してよい。なお、制御部150の内部構成は、
図5に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、各機能部は、制御部150の機能を示したものであり、必ずしも物理的に区別されるものでなくともよい。
【0034】
(取得部151)
取得部151は、光源の光を照射された水中の参照物体を含む参照画像であって、水中の撮像装置により撮像された参照画像のうち、参照物体が占める物体領域における輝度値である参照輝度値と、撮像装置から参照物体までの距離である参照距離との関係性を示す参照情報を取得する。具体的には、取得部151は、魚種ごとに異なる魚に応じた色に対応する波長の光を照射された参照物体を含む参照画像における参照輝度値と、参照距離との関係性を示す参照情報を取得する。例えば、取得部151は、
図3に示す各グラフによって示される参照情報を取得する。例えば、取得部151は、実験により参照情報を取得した利用者が使用する端末装置から参照情報を取得する。
【0035】
また、取得部151は、光源の光を照射された水中の魚を含む対象画像であって、水中の撮像装置により撮像された対象画像を取得する。具体的には、取得部151は、魚種ごとに異なる魚に応じた色に対応する波長の光を照射された魚を含む対象画像を取得する。例えば、取得部151は、複数の魚を含む対象画像を取得する。
図6は、実施形態に係る対象画像の一例を示す図である。例えば、取得部151は、
図6に示すような複数の魚を含む対象画像G1を取得する。例えば、取得部151は、対象画像を撮像した撮像装置から対象画像を取得する。
【0036】
(推定部152)
推定部152は、対象画像のうち、魚が占める対象物領域における輝度値である対象輝度値と、参照情報との比較に基づいて、撮像装置から魚までの距離である対象距離を推定する。具体的には、推定部152は、参照情報に基づいて、対象輝度値と同じ参照輝度値に対応する参照距離を特定し、特定した参照距離を対象距離として推定する。
【0037】
また、推定部152は、推定した対象距離に応じて、魚の大きさを推定する。例えば、対象画像のうち、魚が占める対象物領域の大きさが同程度であって、対象物領域における輝度値が異なる2つの対象物領域を含む画像があるとする。このとき、推定部152は、対象物領域における輝度値が大きい(小さい)ほど、撮像装置から魚までの距離が近い(遠い)ので、輝度値が大きい対象物領域に対応する対象物の大きさよりも、輝度値が小さい対象物領域に対応する対象物の大きさの方が大きいと推定する。
【0038】
また、推定部152は、対象画像のうち、複数の魚それぞれが占める複数の対象物領域それぞれにおける対象輝度値と、参照情報との比較に基づいて、撮像装置から複数の魚それぞれまでの対象距離を推定し、推定した撮像装置から複数の魚それぞれまでの対象距離に応じて、複数の魚それぞれを識別する。例えば、異なる複数の魚が重なって写っており、複数の魚それぞれが占める対象物領域における輝度値が異なる2つの対象物領域を含む対象画像があるとする。このとき、推定部152は、対象物領域における輝度値が大きい(小さい)ほど、撮像装置から魚までの距離が近い(遠い)ので、輝度値が大きい対象物領域に対応する魚の位置の方が、輝度値が小さい対象物領域に対応する魚の位置よりも手前側に位置すると推定することができる。言い換えると、推定部152は、輝度値が大きい対象物領域に対応する魚の位置よりも、輝度値が小さい対象物領域に対応する魚の位置の方が奥側に位置すると推定することができる。また、形状や大きさがある程度わかっている魚(例えば、生簀内の魚など)の場合、3次元空間における位置が異なることは、異なる魚であることは自明である。したがって、推定部152は、撮像装置の近くにある対象物(例えば、所定の魚)と撮像装置の遠くにある対象物(例えば、所定の魚とは異なる他の魚)をそれぞれ精度よく識別することができる。
【0039】
(出力制御部153)
出力制御部153は、推定部152が推定した推定結果を画面に表示するよう制御する。例えば、出力制御部153は、推定部152が推定した対象距離を示す数値を対象物領域に重畳して表示するよう画面を制御してよい。
【0040】
〔4.変形例〕
上述した実施形態に係る情報処理装置100は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理装置100の他の実施形態について説明する。なお、実施形態と同一部分には、同一符号を付して説明を省略する。
【0041】
〔4-1.機械学習モデル〕
上述した実施形態では、推定部152が、対象画像のうち魚が占める対象物領域における輝度値と参照情報との比較に基づいて、撮像装置から魚までの距離を推定する場合について説明した。ここでは、実施形態に係る変形例として、推定部152が、機械学習モデルを用いて、対象画像のうち、魚が占める対象物領域における輝度値に基づいて、対象画像に含まれる魚の大きさおよび魚の数(すなわち、尾数)を推定する場合について説明する。
【0042】
図7は、変形例に係る情報処理の概要を示す図である。
図7では、推定部152は、魚を含む画像が機械学習モデルM1に入力された場合に、各魚の位置情報、大きさを示す情報、および(R、G、B)の各輝度値を出力するように学習された機械学習モデルM1を取得する。続いて、推定部152は、機械学習モデルM1を用いて、対象画像に含まれる魚の大きさおよび魚の数(すなわち、尾数)を推定する。
【0043】
図8は、変形例に係る情報処理の概要を示す図である。
図8では、推定部152は、魚を含む画像および魚を含む画像から生成したポイントクラウドが機械学習モデルM2に入力された場合に、各魚の位置情報、大きさを示す情報、(R、G、B)の各輝度値、およびポイントクラウドの各点の位置情報を出力するように学習された機械学習モデルM2を取得する。続いて、推定部152は、機械学習モデルM2を用いて、対象画像に含まれる魚の大きさおよび魚の数(すなわち、尾数)を推定する。
【0044】
〔4-2.フルカラーLEDを高速でON/OFFする光源〕
上述した実施形態では、光源が、対象となる魚の種類に応じた色に対応する波長の光を照射する場合について説明した。ここでは、光源が、フルカラーLEDを高速でON/OFFする光源である場合について説明する。すなわち、光源が、極短時間の間に、ほぼ同じタイミングで、複数の異なる波長の光(つまり、異なる色の光)を魚に照射する場合について説明する。具体的には、取得部151は、複数の異なる色それぞれに対応する複数の異なる波長の光それぞれを照射された参照物体をそれぞれ含む複数の異なる参照画像それぞれにおける参照輝度値と、参照距離との関係性を示す複数の異なる参照情報を取得する。また、取得部151は、所定時間内のそれぞれ異なる時間に複数の異なる波長の光それぞれを照射された対象物をそれぞれ含む複数の異なる対象画像を取得する。推定部152は、複数の異なる対象画像それぞれにおける対象輝度値と、複数の異なる参照情報それぞれとの比較に基づいて、対象距離を推定する。
【0045】
〔4-3.輝度値に基づく透視度の推定〕
上述した実施形態では、推定部152が、対象画像のうち魚が占める対象物領域における輝度値と参照情報との比較に基づいて、撮像装置から魚までの距離を推定する場合について説明した。ここでは、実施形態に係る変形例として、推定部152が、対象画像のうち白板が占める対象物領域における輝度値と参照情報との比較に基づいて、水中の透視度を推定する場合について説明する。
【0046】
まず、透視度について説明する。本明細書における透視度とは、水中で底面に対して水平方向に見ることのできる距離を指す。具体的には、水中の所定の深度(例えば、深度1mなど)に白色の平面状(板状ともいう)の物体(以下、白板と記載する)を沈める。例えば、白板は、直径30cmの円板であってよい。そして、水中の所定の深度(例えば、深度1mなど)に位置する人の目と白板との間の距離を、水中で底面に対して水平方向に徐々に大きくする。そして、人の目で白板が見えなくなったときの人の目と白板との間の距離をその水中における透視度と定義する。
【0047】
次に、透明度について説明する。本明細書における透明度とは、水面の上から水中を見たときに垂直方向に見ることのできる距離を指す。具体的には、上述した白板を水中に沈める。そして、水面と白板との間の距離を、水面に対して垂直方向に徐々に大きくする。そして、人の目で白板が見えなくなったときの水面と白板との間の距離をその水中における透明度と定義する。
【0048】
具体的には、本変形例では、
図2に示す参照物体O1が、上述した白板である。また、変形例では、
図2に示す参照物体O1である白板と、光源L1およびカメラC1との間の距離を、測定用の距離(例えば、1m)に固定した測定装置を用意する。また、各季節における様々な場所における海中(つまり、様々な透視度に対応する水中)に測定装置を沈める。そして、所定の深度(例えば、深度1mなど)に沈めた測定装置のカメラC1により、光源L1の光を照射された水中の白板を含む透視度参照画像を撮像する。また、透視度参照画像を撮像した際の水中の透視度を実験により測定する。このようにして、各季節における海中(つまり、様々な透視度に対応する水中)における各深度(例えば、深度1m、深度2m、深度3m、…等)に対応する透視度参照画像、および、透視度参照画像を撮像した際の水中の透視度を対応付けた透視度基礎情報を実験により取得する。
【0049】
また、取得部151は、透視度基礎情報を取得する。例えば、取得部151は、測定装置の利用者が使用する端末装置から透視度基礎情報を取得する。続いて、取得部151は、透視度基礎情報に基づいて、透視度参照画像のうち、白板が占める領域における輝度値である透視度参照輝度値と、透視度参照画像を撮像した際の水中の透視度との関係性を示す透視度参照情報を取得する。
【0050】
また、透視度を測定したい日(以下、測定日と記載する)の海中の所定の深度(例えば、深度1mなど)に上記の測定装置を沈める。そして、所定の深度(例えば、深度1mなど)に沈めた測定装置のカメラC1により、光源L1の光を照射された水中の白板を含む対象画像であって、水中のカメラC1により撮像された対象画像を撮像する。
【0051】
また、取得部151は、対象画像を取得する。例えば、取得部151は、測定装置の利用者が使用する端末装置から対象画像を取得する。また、推定部152は、取得部151が取得した対象画像のうち、白板が占める対象物領域における輝度値である対象輝度値と、透視度参照情報との比較に基づいて、測定日における透視度を推定する。推定部152は、所定の深度(例えば、深度1mなど)に対応する透視度参照情報に基づいて、測定日における透視度を推定する。これにより、情報処理装置100は、目視による測定によらずに、定量化された情報に基づいて、透視度を推定することができる。
【0052】
具体的には、推定部152は、対象画像のうち、対象輝度値として、白板が占める対象物領域におけるRの輝度値、Gの輝度値、および、Bの輝度値のうち、少なくとも1つ以上の色の輝度値と、透視度参照情報との比較に基づいて、測定日における透視度を推定する。ここで、透視度が高い水中では、R(赤色)、G(緑色)、B(青色)のうち、R(赤色)の光の減衰率が最も大きく、R(赤色)の光から減衰することが知られている。また、透視度が高い水中では、B(青色)の光の減衰率が最も小さく、B(青色)の光が最後まで残ることが知られている。そこで、推定部152は、測定日における透視度が第1透視度を超える場合、対象画像のうち、白板が占める対象物領域におけるR(赤色)の輝度値である対象輝度値と、透視度参照情報との比較に基づいて、測定日における透視度を推定する。例えば、推定部152は、透視度参照情報に基づいて、白板が占める対象物領域におけるR(赤色)の輝度値である対象輝度値と同じR(赤色)の透視度参照輝度値に対応する透視度を特定し、特定した透視度を測定日における透視度として推定する。
【0053】
また、推定部152は、測定日における透視度が第1透視度以下である場合、対象画像のうち、白板が占める対象物領域における複数の色の輝度値に基づいて、測定日における透視度を推定する。例えば、推定部152は、透視度参照情報に基づいて、白板が占める対象物領域におけるB(青色)の輝度値である対象輝度値と同じB(青色)の透視度参照輝度値に対応する透視度を特定する。ここで、透視度が低い原因として、水中の藻などの葉緑素が多いことが挙げられる。また、水中の藻などの葉緑素は、青色の光を吸収しやすい性質がある。そのため、藻などの葉緑素が多いため、透視度が低い水中では、B(青色)の光から減衰する。そのため、B(青色)の輝度値のみに基づいて推定された透視度は、実際にはありえない値をとる(例えば、200mなど、生け簀の大きさを超える透視度の値をとる)場合がある。このように、推定部152は、白板が占める対象物領域における一つの色の輝度値に基づいて特定された透視度が第1透視度以下である場合には、白板が占める対象物領域における他の色の輝度値に基づいて、測定日における透視度を推定する。例えば、推定部152は、透視度参照情報に基づいて、白板が占める対象物領域におけるR(赤色)の輝度値である対象輝度値と同じR(赤色)の透視度参照輝度値に対応する透視度を特定し、特定した透視度を測定日における透視度として推定する。
【0054】
また、推定部152は、対象画像のうち、対象輝度値として、白板が占める対象物領域における複数の色の輝度値の相関関係に基づいて、測定日における透視度を推定する。例えば、推定部152は、透視度参照情報に基づいて、各透視度における複数の色の輝度値の比率を算出する。例えば、推定部152は、Rの輝度値(以下、Rと略記する場合がある)と、Gの輝度値(以下、Gと略記する場合がある)と、Bの輝度値(以下、Bと略記する場合がある)との比率を各透視度について算出する。例えば、推定部152は、透視度参照情報に基づいて、透視度が30mの場合、R:G:B=1:2:3と算出する。また、推定部152は、透視度参照情報に基づいて、透視度が20mの場合、R:G:B=1:2:2と算出する。また、推定部152は、透視度参照情報に基づいて、透視度が10mの場合、R:G:B=1:1:1と算出する。また、推定部152は、透視度参照情報に基づく各透視度における複数の色の輝度値の比率と、対象画像のうち、白板が占める対象物領域における複数の色の輝度値の比率との比較に基づいて、測定日における透視度を推定する。例えば、推定部152は、対象画像のうち、白板が占める対象物領域におけるR:G:B=1:1:1と算出した場合、透視度参照情報に基づく各透視度におけるR:G:Bの比率との比較に基づいて、測定日における透視度を10mと推定する。
【0055】
また、上述した透視度基礎情報を実験により取得する際に、透視度と合わせて、その日の透明度を測定しておく。そして、透視度参照画像を撮像した際の水中の透視度と透明度とを対応付けた情報を実験により取得する。また、測定日における透明度を実験により測定する。
【0056】
また、取得部151は、水中の透視度と透明度とを対応付けた情報、および、測定日における透明度の情報を取得する。例えば、取得部151は、水中の透視度と透明度とを対応付けた情報、および、測定日における透明度の情報を測定装置の利用者が使用する端末装置から取得する。また、推定部152は、測定日における透明度から測定日における透視度を推定する。より具体的には、推定部152は、水中の透視度と透明度とを対応付けた情報に基づいて、測定日における透明度と同じ透明度に対応する透視度を特定し、特定した透視度を測定日における透視度として推定する。
【0057】
〔4-4.透視度に基づく対象距離の推定〕
上述した実施形態では、推定部152が、対象画像のうち魚が占める対象物領域における輝度値と参照情報との比較に基づいて、撮像装置から魚までの距離を推定する場合について説明した。ここでは、実施形態に係る変形例として、推定部152が、水中の透視度に基づいて、撮像装置から魚までの距離を推定する場合について説明する。
【0058】
一般的に、水中の浮遊物や、クロロフィル等の浮遊物の量により、水中における光の減衰率は異なる。すなわち、浮遊物量が少なく透視度が高い水中(例えば、透視度が20mなど)におけるRGBの各色の光の減衰率と、浮遊物量が多く透視度が低い水中(例えば、透視度が3mなど)におけるRGBの各色の光の減衰率は異なる。そのため、同じ魚種の魚が撮像装置から同じ距離に位置する場合であっても、浮遊物量が少なく透視度が高い水中における魚の見え方と、浮遊物量が多く透視度が低い水中における魚の見え方は異なる。そこで、あらかじめ、各透視度の水中におけるRGBの各色の減衰率マップ(以下、参照基礎情報ともいう)を用意する。
【0059】
具体的には、参照基礎情報として、各透視度の水中における各深度(例えば、深度1m、深度2m、深度3m、…等)について、撮像装置から鱗を貼り付けた参照物体(上述した
図2の参照物体O1)までの各距離における参照画像を撮像する。なお、参照基礎情報を取得するための参照画像は、魚種ごとに異なる鱗、あるいは疑似皮(オーロラハゲ皮)や、カラーチャート、チェッカーボードなどの素材を貼り付けた参照物体について撮像される。また、参照画像を撮像した際の透視度を実験により測定する。取得部151は、参照基礎情報として、参照画像を撮像した際の透視度と、参照画像を撮像した際の深度と、撮像装置から参照物体までの距離と、参照画像のうち、参照物体が占める領域におけるR、G、Bの各値とを対応付けた情報を取得する。
【0060】
なお、参照基礎情報にないデータは計算により補完する。例えば、透視度が1mの場合のRGBの各輝度値が(Rの輝度値、Gの輝度値、Bの輝度値)=(5、5、5)であり、透視度が2mの場合のRGBの各輝度値が(Rの輝度値、Gの輝度値、Bの輝度値)=(10、10、10)であるとする。また、透視度が1.5mのRGBの各輝度値のデータが存在しないとする。このとき、透視度が1mの場合のRGBの各輝度値と、透視度が2mの場合のRGBの各輝度値とに基づいて、透視度が1.5mのRGBの各輝度値を(Rの輝度値、Gの輝度値、Bの輝度値)=(7.5、7.5、7.5)であると推定してよい。なお、この例は線形の補完だが、非線形の補完もあり得る。
【0061】
また、撮像装置から魚までの距離を推定する日(以下、推定日と記載する)の生簀における透視度を測定する。なお、推定部152は、上記〔4-3.輝度値に基づく透視度の推定〕を用いて、推定日における透視度を推定してもよい。また、生簀で飼われている魚の魚種は既知とする。また、撮像装置の深度は既知とする。取得部151は、推定日における透視度に対応する参照基礎情報を取得する。また、取得部151は、推定日の生簀における対象画像を取得する。また、推定部152は、対象画像のうち、魚が占める対象物領域における輝度値である対象輝度値と、参照基礎情報との比較に基づいて、撮像装置から魚までの距離である対象距離を推定する。具体的には、推定部152は、対象物領域におけるRの輝度値、Gの輝度値、および、Bの輝度値のうち、少なくとも1つ以上の色の輝度値と、参照基礎情報との比較に基づいて、対象距離を推定する。例えば、推定部152は、推定日における透視度が第1透視度を超える場合、対象画像のうち、対象物領域におけるRの輝度値である対象輝度値と、参照基礎情報との比較に基づいて、対象距離を推定する。例えば、推定部152は、参照基礎情報に基づいて、対象物領域におけるRの輝度値である対象輝度値と同じRの輝度値に対応する撮像装置から参照物体までの距離を特定し、特定した距離を対象距離として推定する。また、推定部152は、推定日における透視度が第1透視度以下である場合、対象物領域における複数の色の輝度値に基づいて、対象距離を推定する。例えば、推定部152は、参照基礎情報に基づく各距離における複数の色の輝度値の比率と、対象画像のうち、対象物領域における複数の色の輝度値の比率との比較に基づいて、対象距離を推定する。このように、推定部152は、水中の透視度に基づいて、撮像装置から魚までの距離を推定してもよい。
【0062】
〔5.効果〕
上述したように、実施形態に係る情報処理装置100は、取得部151と推定部152を備える。取得部151は、光源の光を照射された水中の参照物体を含む参照画像であって、水中の撮像装置により撮像された参照画像のうち、参照物体が占める物体領域における輝度値である参照輝度値と、撮像装置から参照物体までの距離である参照距離との関係性を示す参照情報、および、光源の光を照射された水中の対象物を含む対象画像であって、水中の撮像装置により撮像された対象画像を取得する。推定部152は、対象画像のうち、対象物が占める対象物領域における輝度値である対象輝度値と、参照情報との比較に基づいて、撮像装置から対象物までの距離である対象距離を推定する。
【0063】
これにより、情報処理装置100は、撮像装置から水中の対象物までの距離を精度よく推定することができる。また、情報処理装置100は、撮像装置から水中の対象物までの距離を精度よく推定することができるので、例えば、水中の対象物を撮像した画像に対して、画像中の対象物の位置や大きさに関する質の高い正解データを付与可能とすることができる。すなわち、情報処理装置100は、例えば、質の高い正解データを付与された質の高いトレーニングデータを得ることができる。さらに、情報処理装置100は、質の高いトレーニングデータを得ることができるので、例えば、質の高いトレーニングデータを用いて、画像から水中の対象物に関する情報を推定する画像認識用の機械学習モデルの学習精度を向上させることができる。したがって、情報処理装置100は、画像から水中の対象物に関する情報を精度よく推定することができる。また、情報処理装置100は、画像から水中の対象物に関する情報を精度よく推定することができるため、持続可能な開発目標(SDGs)の目標9「産業と技術革新の基盤をつくろう」の達成に貢献できる。また、情報処理装置100は、例えば、画像から水中の魚に関する情報を精度よく推定することができるため、持続可能な開発目標(SDGs)の目標14「海の豊かさを守ろう」の達成に貢献できる。
【0064】
また、推定部152は、推定した対象距離に応じて、対象物の大きさを推定する。
【0065】
これにより、情報処理装置100は、画像から水中の対象物の大きさを精度よく推定することができる。例えば、画像のうち、対象物が占める対象物領域の大きさが同程度であって、対象物領域における輝度値が異なる2つの対象物領域を含む画像があるとする。このとき、情報処理装置100は、対象物領域における輝度値が大きい(小さい)ほど、撮像装置から対象物までの距離が近い(遠い)ので、輝度値が大きい対象物領域に対応する対象物の大きさよりも、輝度値が小さい対象物領域に対応する対象物の大きさの方が大きいと推定することができる。このように、情報処理装置100は、撮像装置の近くにある小さい対象物(例えば、所定の魚)の大きさと、撮像装置の遠くにある大きい対象物(例えば、所定の魚とは異なる他の魚)の大きさをそれぞれ精度よく推定することができる。
【0066】
また、取得部151は、複数の対象物を含む対象画像を取得する。推定部152は、対象画像のうち、複数の対象物それぞれが占める複数の対象物領域それぞれにおける対象輝度値と、参照情報との比較に基づいて、撮像装置から複数の対象物それぞれまでの対象距離を推定し、推定した撮像装置から複数の対象物それぞれまでの対象距離に応じて、複数の対象物それぞれを識別する。
【0067】
これにより、情報処理装置100は、画像から水中の複数の対象物を精度よく識別することができる。例えば、画像のうち、異なる複数の対象物が重なっており、複数の対象物それぞれが占める対象物領域における輝度値が異なる2つの対象物領域を含む画像があるとする。このとき、情報処理装置100は、対象物領域における輝度値が大きい(小さい)ほど、撮像装置から対象物までの距離が近い(遠い)ので、輝度値が大きい対象物領域に対応する対象物の位置の方が、輝度値が小さい対象物領域に対応する対象物の位置よりも手前側に位置すると推定することができる。言い換えると、情報処理装置100は、輝度値が大きい対象物領域に対応する対象物の位置よりも、輝度値が小さい対象物領域に対応する対象物の位置の方が奥側に位置すると推定することができる。このように、情報処理装置100は、撮像装置の近くにある対象物(例えば、所定の魚)の位置と、撮像装置の遠くにある対象物(例えば、所定の魚とは異なる他の魚)の位置をそれぞれ精度よく識別することができる。また、形状や大きさがある程度わかっている対象物(例えば、生簀内の魚など)の場合、3次元空間における位置が異なることは、異なる対象物であることを意味する。したがって、情報処理装置100は、撮像装置の近くにある対象物(例えば、所定の魚)と撮像装置の遠くにある対象物(例えば、所定の魚とは異なる他の魚)をそれぞれ精度よく識別することができる。
【0068】
また、取得部151は、対象物に応じた色に対応する波長の光を照射された参照物体を含む参照画像における参照輝度値と、参照距離との関係性を示す参照情報、および、対象物に応じた色に対応する波長の光を照射された対象物を含む対象画像を取得する。推定部152は、対象画像における対象輝度値と、参照情報との比較に基づいて、対象距離を推定する。
【0069】
これにより、情報処理装置100は、例えば、魚が好む光を照射することにより、撮像装置による画像を撮像する間に、撮像範囲内から魚が逃げないようにすることができるので、光を照射された魚を含む適切な対象画像を取得することができる。また、情報処理装置100は、適切な対象画像を取得することができるので、対象距離を精度よく推定することができる。
【0070】
また、取得部151は、複数の異なる色それぞれに対応する複数の異なる波長の光それぞれを照射された参照物体をそれぞれ含む複数の異なる参照画像それぞれにおける参照輝度値と、参照距離との関係性を示す複数の異なる参照情報、および、所定時間内のそれぞれ異なる時間に複数の異なる波長の光それぞれを照射された対象物をそれぞれ含む複数の異なる対象画像を取得する。推定部152は、複数の異なる対象画像それぞれにおける対象輝度値と、複数の異なる参照情報それぞれとの比較に基づいて、対象距離を推定する。
【0071】
これにより、情報処理装置100は、極短時間の間に複数の異なる波長の光(つまり、異なる色の光)を対象物に照射することができる。すなわち、情報処理装置100は、例えば、対象物が魚であり、魚種ごとに好む色が異なる場合であっても、撮像装置による画像を撮像する間に、撮像範囲内から魚が逃げないようにすることができるので、光を照射された魚を含む適切な対象画像を取得することができる。また、情報処理装置100は、適切な対象画像を取得することができるので、対象距離を精度よく推定することができる。
【0072】
また、光源は、撮像装置の筐体の上部または下部に備えられる。
【0073】
これにより、情報処理装置100は、例えば、撮像装置が対象物を仰ぐ向きと、光源が対象物を照射する向きを揃えることができるので、画像の撮像をしやすくすることができる。
【0074】
また、参照物体は、特定の魚種の魚の鱗もしくは魚の鱗の模型、または、疑似皮、カラーチャートもしくはチェッカーボードで覆われた物体である。対象物は、特定の魚種の魚である。
【0075】
これにより、情報処理装置100は、魚種ごとに異なる適切な参照情報を取得することができるため、画像から水中の魚に関する情報を精度よく推定することができる。
【0076】
また、取得部151は、光源の光を照射された水中の参照物体を含む透視度参照画像であって、水中の撮像装置により撮像された透視度参照画像のうち、参照物体が占める物体領域における輝度値である透視度参照輝度値と、水中の透視度との関係性を示す透視度参照情報、および、光源の光を照射された水中の対象物を含む対象画像であって、水中の撮像装置により撮像された対象画像を取得する。推定部152は、対象画像のうち、対象物が占める対象物領域における複数の色の輝度値のうち、少なくとも1つ以上の色の輝度値と、透視度参照情報との比較に基づいて、対象画像が撮像された際の水中の透視度を推定する。
【0077】
これにより、情報処理装置100は、水中の透視度を精度よく推定することができるので、例えば、撮像装置から水中の対象物までの距離をより精度よく推定することができる。
【0078】
また、推定部152は、推定された水中の透視度に基づいて、対象距離を推定する。
【0079】
これにより、情報処理装置100は、撮像装置から水中の対象物までの距離をより精度よく推定することができる。
【0080】
また、変形例に係る情報処理装置100は、取得部151と推定部152を備える。取得部151は、光源の光を照射された水中の参照物体を含む透視度参照画像であって、水中の撮像装置により撮像された透視度参照画像のうち、参照物体が占める物体領域における輝度値である透視度参照輝度値と、水中の透視度との関係性を示す透視度参照情報、および、光源の光を照射された水中の対象物を含む対象画像であって、水中の撮像装置により撮像された対象画像を取得する。推定部152は、対象画像のうち、対象物が占める対象物領域における複数の色の輝度値のうち、少なくとも1つ以上の色の輝度値と、透視度参照情報との比較に基づいて、対象画像が撮像された際の水中の透視度を推定する。
【0081】
これにより、情報処理装置100は、水中の透視度を精度よく推定することができるので、例えば、撮像装置から水中の対象物までの距離をより精度よく推定することができる。
【0082】
また、推定部152は、対象画像が撮像された際の水中の透視度が第1透視度を超える場合、対象画像のうち、対象物が占める対象物領域における1色の輝度値と、透視度参照情報との比較に基づいて、対象画像が撮像された際の水中の透視度を推定する。
【0083】
これにより、情報処理装置100は、水中の透視度に応じて、水中の透視度を適切に推定することができる。
【0084】
また、推定部152は、対象画像が撮像された際の水中の透明度が第1透視度以下である場合、対象画像のうち、対象物が占める対象物領域における複数の色の輝度値と、透視度参照情報との比較に基づいて、対象画像が撮像された際の水中の透視度を推定する。
【0085】
これにより、情報処理装置100は、水中の透視度に応じて、水中の透視度を適切に推定することができる。
【0086】
〔6.ハードウェア構成〕
また、上述してきた実施形態に係る情報処理装置100は、例えば
図9に示すような構成のコンピュータ1000によって実現される。
図9は、情報処理装置100の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM1300、HDD1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を備える。
【0087】
CPU1100は、ROM1300またはHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
【0088】
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス1500は、所定の通信網を介して他の機器からデータを受信してCPU1100へ送り、CPU1100が生成したデータを所定の通信網を介して他の機器へ送信する。
【0089】
CPU1100は、入出力インターフェイス1600を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。CPU1100は、入出力インターフェイス1600を介して、入力装置からデータを取得する。また、CPU1100は、生成したデータを入出力インターフェイス1600を介して出力装置へ出力する。
【0090】
メディアインターフェイス1700は、記録媒体1800に格納されたプログラムまたはデータを読み取り、RAM1200を介してCPU1100に提供する。CPU1100は、かかるプログラムを、メディアインターフェイス1700を介して記録媒体1800からRAM1200上にロードし、ロードしたプログラムを実行する。記録媒体1800は、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0091】
例えば、コンピュータ1000が実施形態に係る情報処理装置100として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、制御部150の機能を実現する。コンピュータ1000のCPU1100は、これらのプログラムを記録媒体1800から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
【0092】
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【0093】
〔7.その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0094】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0095】
また、上述した情報処理装置100は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットホーム等をAPI(Application Programming Interface)やネットワークコンピューティング等で呼び出して実現するなど、構成は柔軟に変更できる。
【0096】
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【符号の説明】
【0097】
100 情報処理装置
110 通信部
120 記憶部
130 入力部
140 出力部
150 制御部
151 取得部
152 推定部
153 出力制御部
【手続補正書】
【提出日】2023-10-06
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
第1の所定時間内のそれぞれ異なる時間に光源の複数の異なる波長の光をそれぞれ照射された水中の参照物体をそれぞれ含む複数の異なる参照画像であって、前記第1の所定時間内のそれぞれ異なる時間に前記水中の撮像装置により撮像された複数の異なる参照画像それぞれのうち、前記参照物体が占める物体領域における輝度値である参照輝度値と、前記撮像装置から前記参照物体までの距離である参照距離との関係性を示す参照情報、および、第2の所定時間内のそれぞれ異なる時間に前記光源の複数の異なる波長の光をそれぞれ照射された前記水中の対象物をそれぞれ含む複数の異なる対象画像であって、前記第2の所定時間内のそれぞれ異なる時間に前記水中の前記撮像装置により撮像された複数の異なる対象画像それぞれを取得する取得手順と、
前記複数の異なる対象画像それぞれのうち、前記対象物が占める対象物領域における輝度値である対象輝度値と、前記複数の異なる参照画像それぞれに対応する前記参照情報との比較に基づいて、前記撮像装置から前記対象物までの距離である対象距離を推定する推定手順と、
をコンピュータに実行させる情報処理プログラム。
【請求項2】
光源の光を照射された水中の参照物体であって、前記水中の撮像装置の真正面に配置される第1の面と、前記水中の撮像装置に対して前記第1の面とは異なる角度を有する第2の面とを有する参照物体を含む参照画像であって、前記水中の撮像装置により撮像された参照画像のうち、前記参照物体が占める物体領域における輝度値である参照輝度値と、前記撮像装置から前記参照物体までの距離である参照距離との関係性を示す参照情報、および、前記光源の光を照射された前記水中の対象物を含む対象画像であって、前記水中の前記撮像装置により撮像された対象画像を取得する取得手順と、
前記対象画像のうち、前記対象物が占める対象物領域における輝度値である対象輝度値と、前記参照情報との比較に基づいて、前記撮像装置から前記対象物までの距離である対象距離を推定する推定手順と、
をコンピュータに実行させる情報処理プログラム。
【請求項3】
前記参照物体は、前記水中の撮像装置の真正面に配置される第1の面と、前記水中の撮像装置に対して前記第1の面とは異なる角度を有する第2の面とを有する
請求項1に記載の情報処理プログラム。
【請求項4】
前記推定手順は、
推定した前記対象距離に応じて、前記対象物の大きさを推定する、
請求項1または2に記載の情報処理プログラム。
【請求項5】
前記取得手順は、
複数の前記対象物を含む前記対象画像を取得し、
前記推定手順は、
前記対象画像のうち、複数の前記対象物それぞれが占める複数の前記対象物領域それぞれにおける前記対象輝度値と、前記参照情報との比較に基づいて、前記撮像装置から複数の前記対象物それぞれまでの前記対象距離を推定し、推定した前記撮像装置から複数の前記対象物それぞれまでの前記対象距離に応じて、複数の前記対象物それぞれを識別する、
請求項1または2に記載の情報処理プログラム。
【請求項6】
前記取得手順は、
前記対象物に応じた色に対応する波長の前記光を照射された前記参照物体を含む前記参照画像における前記参照輝度値と、前記参照距離との関係性を示す前記参照情報、および、前記対象物に応じた色に対応する波長の前記光を照射された前記対象物を含む前記対象画像を取得し、
前記推定手順は、
前記対象画像における前記対象輝度値と、前記参照情報との比較に基づいて、前記対象距離を推定する、
請求項1または2に記載の情報処理プログラム。
【請求項7】
前記取得手順は、
複数の異なる色それぞれに対応する複数の異なる波長の前記光それぞれを照射された前記参照物体をそれぞれ含む複数の異なる前記参照画像それぞれにおける前記参照輝度値と、前記参照距離との関係性を示す複数の異なる前記参照情報、および、所定時間内のそれぞれ異なる時間に前記複数の異なる波長の前記光それぞれを照射された前記対象物をそれぞれ含む複数の異なる前記対象画像を取得し、
前記推定手順は、
前記複数の異なる前記対象画像それぞれにおける前記対象輝度値と、前記複数の異なる前記参照情報それぞれとの比較に基づいて、前記対象距離を推定する、
請求項1または2に記載の情報処理プログラム。
【請求項8】
前記光源は、前記撮像装置の筐体の上部または下部に備えられる、
請求項1または2に記載の情報処理プログラム。
【請求項9】
前記参照物体は、特定の魚種の魚の鱗もしくは前記魚の鱗の模型、または、疑似皮、カラーチャートもしくはチェッカーボードで覆われた物体であり、
前記対象物は、前記特定の魚種の魚である、
請求項1または2に記載の情報処理プログラム。
【請求項10】
前記取得手順は、
前記光源の光を照射された水中の参照物体を含む透視度参照画像であって、前記水中の撮像装置により撮像された透視度参照画像のうち、前記参照物体が占める物体領域における輝度値である透視度参照輝度値と、前記水中の透視度との関係性を示す透視度参照情報、および、前記光源の光を照射された水中の対象物を含む対象画像であって、前記水中の前記撮像装置により撮像された対象画像を取得し、
前記推定手順は、
前記対象画像のうち、前記対象物が占める対象物領域における複数の色の輝度値のうち、少なくとも1つ以上の色の輝度値と、前記透視度参照情報との比較に基づいて、前記対象画像が撮像された際の水中の透視度を推定する、
請求項1または2に記載の情報処理プログラム。
【請求項11】
前記推定手順は、
推定された水中の透視度に基づいて、前記対象距離を推定する、
請求項9に記載の情報処理プログラム。
【請求項12】
第1の所定時間内のそれぞれ異なる時間に光源の複数の異なる波長の光をそれぞれ照射された水中の参照物体をそれぞれ含む複数の異なる参照画像であって、前記第1の所定時間内のそれぞれ異なる時間に前記水中の撮像装置により撮像された複数の異なる参照画像それぞれのうち、前記参照物体が占める物体領域における輝度値である参照輝度値と、前記撮像装置から前記参照物体までの距離である参照距離との関係性を示す参照情報、および、第2の所定時間内のそれぞれ異なる時間に前記光源の複数の異なる波長の光をそれぞれ照射された前記水中の対象物をそれぞれ含む複数の異なる対象画像であって、前記第2の所定時間内のそれぞれ異なる時間に前記水中の前記撮像装置により撮像された複数の異なる対象画像それぞれを取得する取得部と、
前記複数の異なる対象画像それぞれのうち、前記対象物が占める対象物領域における輝度値である対象輝度値と、前記複数の異なる参照画像それぞれに対応する前記参照情報との比較に基づいて、前記撮像装置から前記対象物までの距離である対象距離を推定する推定部と、
を備える情報処理装置。
【請求項13】
光源の光を照射された水中の参照物体であって、前記水中の撮像装置の真正面に配置される第1の面と、前記水中の撮像装置に対して前記第1の面とは異なる角度を有する第2の面とを有する参照物体を含む参照画像であって、前記水中の撮像装置により撮像された参照画像のうち、前記参照物体が占める物体領域における輝度値である参照輝度値と、前記撮像装置から前記参照物体までの距離である参照距離との関係性を示す参照情報、および、前記光源の光を照射された前記水中の対象物を含む対象画像であって、前記水中の前記撮像装置により撮像された対象画像を取得する取得部と、
前記対象画像のうち、前記対象物が占める対象物領域における輝度値である対象輝度値と、前記参照情報との比較に基づいて、前記撮像装置から前記対象物までの距離である対象距離を推定する推定部と、
を備える情報処理装置。
【請求項14】
コンピュータが実行する情報処理方法であって、
第1の所定時間内のそれぞれ異なる時間に光源の複数の異なる波長の光をそれぞれ照射された水中の参照物体をそれぞれ含む複数の異なる参照画像であって、前記第1の所定時間内のそれぞれ異なる時間に前記水中の撮像装置により撮像された複数の異なる参照画像それぞれのうち、前記参照物体が占める物体領域における輝度値である参照輝度値と、前記撮像装置から前記参照物体までの距離である参照距離との関係性を示す参照情報、および、第2の所定時間内のそれぞれ異なる時間に前記光源の複数の異なる波長の光をそれぞれ照射された前記水中の対象物をそれぞれ含む複数の異なる対象画像であって、前記第2の所定時間内のそれぞれ異なる時間に前記水中の前記撮像装置により撮像された複数の異なる対象画像それぞれを取得する取得工程と、
前記複数の異なる対象画像それぞれのうち、前記対象物が占める対象物領域における輝度値である対象輝度値と、前記複数の異なる参照画像それぞれに対応する前記参照情報との比較に基づいて、前記撮像装置から前記対象物までの距離である対象距離を推定する推定工程と、
を含む情報処理方法。
【請求項15】
コンピュータが実行する情報処理方法であって、
光源の光を照射された水中の参照物体であって、前記水中の撮像装置の真正面に配置される第1の面と、前記水中の撮像装置に対して前記第1の面とは異なる角度を有する第2の面とを有する参照物体を含む参照画像であって、前記水中の撮像装置により撮像された参照画像のうち、前記参照物体が占める物体領域における輝度値である参照輝度値と、前記撮像装置から前記参照物体までの距離である参照距離との関係性を示す参照情報、および、前記光源の光を照射された前記水中の対象物を含む対象画像であって、前記水中の前記撮像装置により撮像された対象画像を取得する取得工程と、
前記対象画像のうち、前記対象物が占める対象物領域における輝度値である対象輝度値と、前記参照情報との比較に基づいて、前記撮像装置から前記対象物までの距離である対象距離を推定する推定工程と、
を含む情報処理方法。