IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 独立行政法人海洋研究開発機構の特許一覧 ▶ 岡本硝子株式会社の特許一覧

特許7165320画像記録方法、画像記録プログラム、情報処理装置及び画像記録装置
<>
  • 特許-画像記録方法、画像記録プログラム、情報処理装置及び画像記録装置 図1
  • 特許-画像記録方法、画像記録プログラム、情報処理装置及び画像記録装置 図2
  • 特許-画像記録方法、画像記録プログラム、情報処理装置及び画像記録装置 図3
  • 特許-画像記録方法、画像記録プログラム、情報処理装置及び画像記録装置 図4
  • 特許-画像記録方法、画像記録プログラム、情報処理装置及び画像記録装置 図5
  • 特許-画像記録方法、画像記録プログラム、情報処理装置及び画像記録装置 図6
  • 特許-画像記録方法、画像記録プログラム、情報処理装置及び画像記録装置 図7
  • 特許-画像記録方法、画像記録プログラム、情報処理装置及び画像記録装置 図8
  • 特許-画像記録方法、画像記録プログラム、情報処理装置及び画像記録装置 図9
  • 特許-画像記録方法、画像記録プログラム、情報処理装置及び画像記録装置 図10
  • 特許-画像記録方法、画像記録プログラム、情報処理装置及び画像記録装置 図11
  • 特許-画像記録方法、画像記録プログラム、情報処理装置及び画像記録装置 図12
  • 特許-画像記録方法、画像記録プログラム、情報処理装置及び画像記録装置 図13
  • 特許-画像記録方法、画像記録プログラム、情報処理装置及び画像記録装置 図14
  • 特許-画像記録方法、画像記録プログラム、情報処理装置及び画像記録装置 図15
  • 特許-画像記録方法、画像記録プログラム、情報処理装置及び画像記録装置 図16
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-26
(45)【発行日】2022-11-04
(54)【発明の名称】画像記録方法、画像記録プログラム、情報処理装置及び画像記録装置
(51)【国際特許分類】
   H04N 5/92 20060101AFI20221027BHJP
   G03B 15/00 20210101ALI20221027BHJP
   G03B 15/02 20210101ALI20221027BHJP
   G03B 15/05 20210101ALI20221027BHJP
   G11B 27/00 20060101ALI20221027BHJP
   G11B 20/10 20060101ALI20221027BHJP
   H04N 5/232 20060101ALI20221027BHJP
【FI】
H04N5/92 010
G03B15/00 U
G03B15/02 G
G03B15/02 V
G03B15/05
G11B27/00 B
G11B20/10 301Z
H04N5/232 300
H04N5/232 290
【請求項の数】 16
(21)【出願番号】P 2017246910
(22)【出願日】2017-12-22
(65)【公開番号】P2019114923
(43)【公開日】2019-07-11
【審査請求日】2020-12-03
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成26年度から平成30年度内閣府総合科学技術・イノベーション会議により創設された「戦略イノベーション創造プログラム(次世代海洋資源調査技術)」事業、国立研究開発法人海洋研究開発機構における「海洋生態系観測と変動予測手法の開発」、産業技術力強化法第19条の適用を受ける特許出願
(73)【特許権者】
【識別番号】504194878
【氏名又は名称】国立研究開発法人海洋研究開発機構
(73)【特許権者】
【識別番号】391007851
【氏名又は名称】岡本硝子株式会社
(74)【代理人】
【識別番号】100106909
【弁理士】
【氏名又は名称】棚井 澄雄
(74)【代理人】
【識別番号】100141139
【弁理士】
【氏名又は名称】及川 周
(74)【代理人】
【識別番号】100152146
【弁理士】
【氏名又は名称】伏見 俊介
(72)【発明者】
【氏名】三輪 哲也
(72)【発明者】
【氏名】ドゥーグル リンズィー
(72)【発明者】
【氏名】下田代 雅文
(72)【発明者】
【氏名】高橋 弘
(72)【発明者】
【氏名】新井 敦
【審査官】鈴木 順三
(56)【参考文献】
【文献】特開2012-220859(JP,A)
【文献】特開2012-134585(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/76 - 5/956
G03B 15/00 - 15/035
G03B 15/04 - 15/05
G03B 15/06 - 15/16
G11B 27/00 - 27/06
G11B 20/10 - 20/16
H04N 5/222 - 5/257
(57)【特許請求の範囲】
【請求項1】
情報処理装置が実行する画像記録方法であって、
第1の色で点灯する第1照明が点灯する前に海中で複数のカメラによって撮影が開始された動画であり、前記第1照明の点灯後に第2の色で点灯する第2照明が点灯した後に撮影が終了した動画を、前記カメラごとに取得するステップと、
前記動画において時系列で隣り合うフレーム同士の輝度の差を、前記動画ごとに検出するステップと、
前記時系列で隣り合うフレーム同士の輝度のが閾値以上となったフレームを前記第2照明の点灯時刻に対応付け、前記第2照明の点灯時刻を前記動画同士で対応付けるステップと、
前記第2照明の点灯時刻が対応付けられた各動画を記録媒体に記録するステップと
を含む画像記録方法。
【請求項2】
前記記録するステップでは、前記各動画と各メタデータとを時刻で対応付けて記録媒体に記録し、
前記メタデータは、電気伝導度、温度及び水深のデータを含み、
前記メタデータは、前記動画の撮影時に生成される、請求項1に記載の画像記録方法。
【請求項3】
前記取得するステップでは、
複数の前記第1照明のうちの少なくとも一つは、いずれかの前記第1照明が前記第1の色で点灯した後に、前記第1の色及び前記第2の色以外の第3の色で点灯し、
前記第2照明は、前記第1照明が前記第3の色で点灯した後に、前記第2の色で点灯する、請求項1又は請求項に記載の画像記録方法。
【請求項4】
前記第1の色は、青色以外の特定色であり、
前記第2の色は、白色であり、
前記第3の色は、前記第1の色以外の色であって青色以外の特定色である、請求項に記載の画像記録方法。
【請求項5】
コンピュータに、
第1の色で点灯する第1照明が点灯する前に海中で複数のカメラによって撮影が開始された動画であり、前記第1照明の点灯後に第2の色で点灯する第2照明が点灯した後に撮影が終了した動画を、前記カメラごとに取得する手順と、
前記動画において時系列で隣り合うフレーム同士の輝度の差を前記動画ごとに検出する手順と、
前記時系列で隣り合うフレーム同士の輝度のが閾値以上となったフレームを前記第2照明の点灯時刻に対応付け、前記第2照明の点灯時刻を前記動画同士で対応付ける手順と、
前記第2照明の点灯時刻が対応付けられた各動画を記録媒体に記録する手順と
を実行させるための画像記録プログラム。
【請求項6】
第1の色で点灯する第1照明が点灯する前に海中で複数のカメラによって撮影が開始された動画であり、前記第1照明の点灯後に第2の色で点灯する第2照明が点灯した後に撮影が終了した動画を、前記カメラごとに取得する取得部と、
前記動画において時系列で隣り合うフレーム同士の輝度の差を動画ごとに検出する検出部と、
前記時系列で隣り合うフレーム同士の輝度のが閾値以上となったフレームを前記第2照明の点灯時刻に対応付け、前記第2照明の点灯時刻を前記動画同士で対応付けるリンク部と、
前記第2照明の点灯時刻が対応付けられた各動画を記録媒体に記録する制御部と
を備える情報処理装置。
【請求項7】
海中で被写体を撮影するカメラ部と、
第1の色で点灯する第1照明を有する第1照明部と、
前記カメラ部によって生成された画像を記憶する記憶部と、
前記カメラ部が撮影を開始した後、前記第1照明を点灯する制御部と
第2の色で点灯する第2照明を有する第2照明部とを備え、
前記制御部は、前記第1照明部を点灯してから所定時間の経過後、前記第2照明を点灯する、画像記録装置。
【請求項8】
前記第1照明部は、所定の基準間隔で配列されている複数の前記第1照明を有し、
前記カメラ部は、複数の前記第1照明と前記被写体とを撮影する、請求項に記載の画像記録装置。
【請求項9】
前記カメラ部は、複数のカメラを備え、
複数の前記カメラは、互いに異なる方向から前記被写体を撮影する、請求項7又は請求項に記載の画像記録装置。
【請求項10】
前記カメラ部は、海底に投影された自装置の影を撮影する、請求項から請求項のいずれか一項に記載の画像記録装置。
【請求項11】
前記記憶部は、撮影時刻情報、自装置の緯度、経度及び水深のうちの少なくとも一つを、前記画像に対応付けて記憶する、請求項から請求項10のいずれか一項に記載の画像記録装置。
【請求項12】
海中で被写体を撮影するカメラ部と、
第1の色で点灯する第1照明を有する第1照明部と、
前記カメラ部によって生成された画像を記憶する記憶部と、
前記カメラ部が撮影を開始した後、前記第1照明を点灯する制御部とを備え、
前記カメラ部は、海底に投影された自装置の影を撮影する、画像記録装置。
【請求項13】
第2の色で点灯する第2照明を有する第2照明部とを備え、
前記制御部は、前記第1照明部を点灯してから所定時間の経過後、前記第2照明を点灯する、請求項12に記載の画像記録装置。
【請求項14】
前記第1照明部は、所定の基準間隔で配列されている複数の前記第1照明を有し、
前記カメラ部は、複数の前記第1照明と前記被写体とを撮影する、請求項12又は請求項13に記載の画像記録装置。
【請求項15】
前記カメラ部は、複数のカメラを備え、
複数の前記カメラは、互いに異なる方向から前記被写体を撮影する、請求項12から請求項14のいずれか一項に記載の画像記録装置。
【請求項16】
前記記憶部は、撮影時刻情報、自装置の緯度、経度及び水深のうちの少なくとも一つを、前記画像に対応付けて記憶する、請求項12から請求項15のいずれか一項に記載の画像記録装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像記録方法、画像記録プログラム、情報処理装置及び画像記録装置に関する。
【背景技術】
【0002】
画像記録装置は、海底に長期間留まり、海底における生態を調査するための動画を撮影する場合がある。深海は暗闇であるため、撮影対象の生物の正確な色を人が把握するには、画像記録装置は白色照明を点灯した状態で生物を撮影する必要がある。また、画像記録装置は、自装置の消費電力を低減する目的で、白色照明を間欠的に点灯する。画像記録装置は、白色照明の点灯に同期して撮影を開始する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2003-69864号公報
【文献】特開2016-89026号公報
【文献】国際公開第2014/171513号
【文献】特開2012-245944号公報
【文献】特公昭49-013196号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
画像記録装置が白色照明を急に点灯した場合、撮影対象の生物は、白色照明に反応して急に動き出す可能性がある。急に動き出して撮影画角から外れた生物をカメラは撮影することができないので、従来の画像記録装置は、海底における生態を正確に表す画像を記録することができない。
【0005】
また、画像記録装置は、白色照明を点灯しない代わりに高感度カメラで生物を撮影した場合、高感度カメラによる消費電力が多いのでバッテリが消耗し、海底に長期間留まることができない。このため、画像記録装置は、消費電力が少ないカメラと白色照明とを使用して、海底における生態を正確に表す画像を記録する必要がある。このように、従来の画像記録装置は、海底に長期間留まって、海底における生態を正確に表す画像を記録することができないという問題があった。
【0006】
また、画像記録装置の複数のカメラが海中で生成した各動画は、カメラ同士で時刻同期されることなく、カメラごとの記憶部に記録される。このため、従来の情報処理装置は、複数のカメラが海中で生成した各動画を取得しても、動画同士の時刻を同期させて記録媒体に記録することができないという問題があった。
【0007】
上記事情に鑑み、本発明は、海中で複数のカメラが生成した動画同士の時刻を同期させて記録媒体に記録することができる画像記録方法、画像記録プログラム、情報処理装置及び画像記録装置を提供することを目的としている。
【課題を解決するための手段】
【0008】
本発明の一態様は、情報処理装置が実行する画像記録方法であって、第1の色で点灯する第1照明が点灯する前に海中で複数のカメラによって撮影が開始された動画であり、前記第1照明の点灯後に第2の色で点灯する第2照明が点灯した後に撮影が終了した動画を、前記カメラごとに取得するステップと、前記動画において時系列で隣り合うフレーム同士の輝度の差を、前記動画ごとに検出するステップと、前記差に基づいてフレームの時刻を前記動画同士で対応付けるステップと、時刻が対応付けられた前記各動画を記録媒体に記録するステップとを含む画像記録方法である。
【0009】
本発明の一態様は、上記の画像記録方法であって、前記対応付けるステップでは、時系列で隣り合うフレーム同士の輝度の差が閾値以上となったフレームの時刻を動画同士で対応付ける。
【0010】
本発明の一態様は、上記の画像記録方法であって、前記記録するステップでは、前記各動画と各メタデータとを時刻で対応付けて記録媒体に記録する。
【0011】
本発明の一態様は、上記の画像記録方法であって、前記取得するステップでは、複数の前記第1照明のうちの少なくとも一つは、いずれかの前記第1照明が前記第1の色で点灯した後に、前記第1の色及び前記第2の色以外の第3の色で点灯し、前記第2照明は、前記第1照明が前記第3の色で点灯した後に、前記第2の色で点灯する。
【0012】
本発明の一態様は、上記の画像記録方法であって、前記第1の色は、青色以外の特定色であり、前記第2の色は、白色であり、前記第3の色は、前記第1の色以外の色であって青色以外の特定色である。
【0013】
本発明の一態様は、コンピュータに、第1の色で点灯する第1照明が点灯する前に海中で複数のカメラによって撮影が開始された動画であり、前記第1照明の点灯後に第2の色で点灯する第2照明が点灯した後に撮影が終了した動画を、前記カメラごとに取得する手順と、前記動画において時系列で隣り合うフレーム同士の輝度の差を前記動画ごとに検出する手順と、前記差に基づいてフレームの時刻を前記動画同士で対応付ける手順と、時刻が対応付けられた各動画を記録媒体に記録する手順とを実行させるための画像記録プログラムである。
【0014】
本発明の一態様は、第1の色で点灯する第1照明が点灯する前に海中で複数のカメラによって撮影が開始された動画であり、前記第1照明の点灯後に第2の色で点灯する第2照明が点灯した後に撮影が終了した動画を、前記カメラごとに取得する取得部と、前記動画において時系列で隣り合うフレーム同士の輝度の差を動画ごとに検出する検出部と、前記差に基づいてフレームの時刻を前記動画同士で対応付けるリンク部と、時刻が対応付けられた前記各動画を記録媒体に記録する制御部とを備える情報処理装置である。
【0015】
本発明の一態様は、海中で被写体を撮影するカメラ部と、第1の色で点灯する第1照明を有する第1照明部と、前記カメラ部によって生成された画像を記憶する記憶部と、前記カメラ部が撮影を開始した後、前記第1照明を点灯する制御部とを備える画像記録装置である。
【0016】
本発明の一態様は、上記の画像記録装置であって、第2の色で点灯する第2照明を有する第2照明部を更に備え、前記制御部は、前記第1照明部を点灯してから所定時間の経過後、前記第2照明を点灯する。
【0017】
本発明の一態様は、上記の画像記録装置であって、前記第1照明部は、所定の基準間隔で配列されている複数の前記第1照明を有し、前記カメラ部は、複数の前記第1照明と前記被写体とを撮影する。
【0018】
本発明の一態様は、上記の画像記録装置であって、前記カメラ部は、複数のカメラを備え、複数の前記カメラは、互いに異なる方向から前記被写体を撮影する。
【0019】
本発明の一態様は、上記の画像記録装置であって、前記カメラ部は、海底に投影された自装置の影を撮影する。
【0020】
本発明の一態様は、上記の画像記録装置であって、前記記憶部は、撮影時刻情報、自装置の緯度、経度及び水深のうちの少なくとも一つを、前記画像に対応付けて記憶する。
【発明の効果】
【0021】
本発明により、海中で複数のカメラが生成した動画同士の時刻を同期させて記録媒体に記録することが可能である。
【図面の簡単な説明】
【0022】
図1】第1実施形態における、画像記録システムの構成の例を示す図である。
図2】第1実施形態における、画像記録装置の外観の例を示す図である。
図3】第1実施形態における、特定色照明部の外観の例を示す図である。
図4】第1実施形態における、白色照明部の外観の例を示す図である。
図5】第1実施形態における、カメラ部の外観の第1例を示す図である。
図6】第1実施形態における、カメラ部の外観の第2例を示す図である。
図7】第1実施形態における、撮影範囲の例を示す図である。
図8】第1実施形態における、カメラ配置情報の形式の例を示す図である。
図9】第1実施形態における、CTDデータの形式の例を示す図である。
図10】第1実施形態における、撮影対象の生物である被写体の長さの例を示す図である。
図11】第1実施形態における、画像記録装置の動作の例を示すシーケンス図である。
図12】第1実施形態における、動画ファイルの例を示す図である。
図13】第1実施形態における、動画ファイルの生成手順の例を示す図である。
図14】第2実施形態における、画像記録システムの構成の例を示す図である。
図15】第2実施形態における、影の例を示す図である。
図16】第2実施形態における、撮影された影の例を示す図である。
【発明を実施するための形態】
【0023】
本発明の実施形態について、図面を参照して詳細に説明する。
(第1実施形態)
図1は、画像記録システム1aの構成の例を示す図である。画像記録システム1aは、海中環境(水中環境)の画像を記録するシステムである。海中環境の画像は、例えば、海洋生物の動画又は静止画である。画像記録システム1aは、画像記録装置2と、計測装置3aと、測位装置4とを備える。
【0024】
画像記録装置2は、海中環境の画像を記録する装置(海中探査機)である。画像記録装置2は、海に沈められて、海底に長期間留まる。長期間とは、例えば1年間である。画像記録装置2は、海面に浮上後に母船に回収される。
【0025】
計測装置3aは、情報処理装置である。計測装置3aは、CTD(Conductivity Temperature Depth:電気伝導度、温度、水深)等のメタデータと画像とを、母船に回収された画像記録装置2から取得する。計測装置3aは、画像記録装置2から取得された画像等に基づいて、所定の計測処理を実行する装置である。所定の計測処理は、例えば、画像記録装置2によって撮影された生物の長さ又は大きさを画像に基づいて計測する処理である。
【0026】
測位装置4は、画像記録装置2の母船に設置される。測位装置4は、海中の画像記録装置2と自装置との間の音響通信によって、画像記録装置2と母船との間の距離を計測する。測位装置4は、母船から画像記録装置2までの距離と画像記録装置2の水深とに基づいて、海底における画像記録装置2の位置を計測する。なお、測位装置4は、画像記録装置2が母船に回収された後、画像記録装置2の記憶部に記憶されている水深データを用いた後処理によって、画像記録装置2の位置を確定してもよい。測位装置4は、画像記録装置2の位置情報を、画像のデータとは区別して記憶部に記録する。なお、測位装置4は、例えば人工衛星から送信された電波を用いて、母船の緯度及び経度を測位する。
【0027】
次に、画像記録装置2の構成の例を説明する。
画像記録装置2は、通信球20と、トランスポンダ球と、トランスデューサ22と、錘23と、切り離し装置24と、アーム25と、照明球26と、撮影球27と、ケーブル28と、メタデータ生成装置29とを備える。
【0028】
通信球20は、ラジオビーコン200を格納する。ラジオビーコン200は、画像記録装置2が海面に浮上している場合、電波を用いてビーコン信号を発信する。
【0029】
トランスポンダ球21は、トランスポンダ210を格納する耐圧容器である。耐圧容器は、例えば、耐圧ガラス球である。トランスポンダ210は、音響トランスポンダである。トランスポンダ210は、母船に設置された測位装置4と自装置との間で音響通信を実行する。音響通信の結果は、例えば、母船と画像記録装置2との間の距離の計測に利用される。
【0030】
トランスポンダ210は、母船から音響通信によって送信されたコマンド信号を取得する。コマンド信号は、例えば、海底に着地している錘23を画像記録装置2から切り離すための命令を表す信号である。トランスポンダ210は、母船から音響通信によって送信されたコマンド信号を取得した場合、音響通信によって応答信号を送信してもよい。
【0031】
トランスデューサ22は、トランスポンダ210が取得したコマンド信号に応じて電気信号を生成する。トランスデューサ22は、コマンド信号に応じた電気信号を、撮影球27に備えられた制御部に出力する。トランスデューサ22は、撮影球27に備えられた制御部から取得した電気信号を増幅する。トランスデューサ22は、増幅された電気信号をトランスポンダ210に出力する。
【0032】
図2は、画像記録装置2の外観の例を示す図である。浮力を有する画像記録装置2は、海底に着地している錘23に接続されていることによって、海底から所定の高度において垂直の姿勢を維持する。
【0033】
切り離し装置24は、錘23を画像記録装置2から切り離すためのコマンド信号をトランスポンダ210が母船から取得した場合、撮影球27に備えられた制御部による制御に応じて錘23を切り離す。これによって、画像記録装置2は、海面まで浮上することができる。
【0034】
アーム25は、餌台250と、特定色照明部251とを備える。餌台250は、撮影対象である生物の餌を備えるためのフレームである。特定色照明部251は、特定色で発光する照明を備える。特定色照明部251は、餌台250の近くに配置されている。
【0035】
図3は、特定色照明部251の外観の例を示す図である。特定色照明部251の色は、例えば透明である。特定色照明部251の形状は、例えば管状である。特定色照明部251の管内には、シリコンオイルが注入されている。これによって、特定色照明部251は、高い水圧に耐えることができる。
【0036】
特定色照明部251は、特定色照明252-1~252-N(Nは2以上の整数。図3では、Nは一例として10)と、照明基板253と、電源端子254とを備える。特定色照明部251の長さは、例えば0.60mである。特定色照明252は、青色以外の特定色の照明である。青色以外の特定色の光の波長は、目安として例えば450~495nm以外の波長である。青色以外の特定色とは、例えば赤色、黄色、橙色である。例えば、複数の特定色照明252のうちの少なくとも一つは、いずれかの特定色照明252が赤色で点灯した後に、赤色、青色及び白色以外の黄色で点灯する。
【0037】
なお、特定色照明252が出力する光において青色の光の強度が青色以外の光の強度と比較して相対的に弱いのであれば、特定色照明252が出力する光に青色の光が含まれてもよい。
【0038】
特定色照明252-n(nは1~Nのいずれか)は、例えば、0.77Wの出力で発光する。したがって、特定色照明252-1~252-10は、計7.7Wの出力で発光する。特定色照明252-1~252-10の明るさは、例えば、計750(=75×10)lmである。
【0039】
特定色照明252は、特定の方式の光源に限定されないが、例えば、赤色のLED(Light Emitting Diode)である。特定色照明252は、撮影球27に備えられた制御部による制御に応じて点灯又は消灯する。特定色照明252は、餌台250の近くに配置されているので、撮影対象の生物(被写体)の近くで発光する。多くの海洋生物は、青色の照明に高い感度を有する。このため、撮影対象の生物は、赤色又は黄色の照明に反応して急に動き出すことが少ない。
【0040】
照明基板253は、所定の基準間隔(SC)で配列されている複数の特定色照明252(ライン光源)を備える。基準間隔は、例えば50mmである。隣り合う特定色照明252と撮影対象の生物とは、同じ画像(撮影画角)に含まれるように、カメラ部270によって撮影される。
【0041】
これによって、図1に示された計測装置3aは、基準間隔の長さと撮影対象の生物の長さとを、カメラ部270によって生成された画像内において容易に比較することができる。計測装置3aは、基準間隔の長さと撮影対象の生物の長さとを画像内において比較した結果に基づいて、撮影対象の生物の長さ及び大きさを計測することができる。
【0042】
図1に戻り、画像記録装置2の構成例の説明を続ける。照明球26は、白色照明部260を格納する耐圧容器である。白色照明部260は、白色照明261-1~261-P(Pは1以上の整数)を備える。
【0043】
図4は、白色照明部260の外観の例を示す図である。白色照明261(サーチライト)は、特定の方式の光源に限定されないが、例えば、赤色、緑色及び青色の各LEDである。白色照明部260は、例えば、青色のLEDと黄色蛍光体とを備える照明でもよい。白色照明261は、アーム25の餌台250及び周囲に白色の光を出力する。
【0044】
白色照明261-p(pは1~Pのいずれか。図4では、pは一例として5)が有する3灯のうちの1灯は、例えば、2.19Wの出力で発光する。したがって、白色照明261-1~261-5は、例えば32.9(=2.19×3×5)Wの出力で発光する。白色照明261-1~261-5の明るさは、例えば、405(=270×3×5)lmである。
【0045】
図1に戻り、画像記録装置2の構成例の説明を続ける。撮影球27は、カメラ部270と、制御部273と、バッテリ274とを格納する耐圧容器である。カメラ部270は、カメラ271-1~271-M(Mは2以上の整数)を備える。カメラ271-mは、画像データ記憶部272-m(mは2~Mのいずれか)を備える。カメラ271の解像度は、例えば(3840×2160)である。複数のカメラ271は、ステレオカメラであり、互いに異なる方向から被写体を撮影する。これによって、複数のカメラ271は、撮影対象の生物を立体的に撮影することができる。
【0046】
図5は、カメラ部270の外観の第1例を示す図である。カメラ271-1とカメラ271-2とは、水平方向に配列されたステレオカメラであり、互いに異なる水平方向から被写体を撮影する。カメラ271-1とカメラ271-2とが水平方向に配列されたステレオカメラである場合、図2及び図3に示された特定色照明部251は水平方向に配置される。
【0047】
図6は、カメラ部270の外観の第2例を示す図である。カメラ271-1とカメラ271-2とは、垂直方向に配列されたステレオカメラであり、互いに異なる垂直方向から被写体を撮影する。カメラ271-1とカメラ271-2とが垂直方向に配列されたステレオカメラである場合、図2及び図3に示された特定色照明部251は垂直方向に配置されてもよい。なお、カメラ271-1とカメラ271-2とが垂直方向に配列されたステレオカメラである場合でも、特定色照明部251は、水平に配置されてよい。特定色照明部251の画像上での配置方向は、画像処理によって変更されてもよい。
【0048】
図5及び図6では、カメラ271-3は直下視カメラであり、例えば画像記録装置2から下方向の海底を撮影する。カメラ271-3は、海底に着地している錘23を撮影してもよい。カメラ271のF値は、例えば6mmである。
【0049】
図7は、撮影範囲(位置Aから位置Dまでの範囲)の例を示す図である。特定色照明部251は、制御部273による制御に応じて、青色以外の特定光を出力する。特定色照明部251は、青色以外の特定光を餌台250の周囲に出力する。白色照明261は、制御部273による制御に応じて、白色の光を出力する。白色照明261は、アーム25の餌台250及び周囲に、白色の光を出力する。白色照明261と位置Bとを結ぶ線は、見通し線である。白色照明261から出力された白色の光の一部は、海底100に届くまでに撮影球27によって遮られる。図7では、海底100における位置Aから位置Bまでの範囲には、白色照明261から出力された白色の光が届かない。したがって、白色照明261は、撮影範囲(位置Aから位置Dまでの範囲)のうち、海底100における位置Bから位置Cまでの範囲に、白色の光を出力する。
【0050】
複数のカメラ271は、海底100における位置Aから位置Dまでの撮影範囲を立体的に撮影する。例えば、カメラ271-1は、カメラ271-1の位置から撮影された特定色照明部251の画像とカメラ271-1の位置から撮影された生物の画像とを、第1の画像(カメラ271-1の撮影画角)に含めることができる。例えば、カメラ271-2は、カメラ271-2の位置から撮影された特定色照明部251の画像とカメラ271-2の位置から撮影された生物の画像とを、第2の画像(カメラ271-2の撮影画角)に含めることができる。
【0051】
ケーブル28は、有線の海中ケーブルであり、画像記録装置2の各機能部の間で電気信号を伝搬する。ケーブル28は、ラジオビーコン200、トランスポンダ210、特定色照明部251、白色照明部260及びカメラ部270と制御部273との間を、互いに通信可能に接続する。ケーブル28によって互いに接続された各機能部は、画像記録装置2が海中に沈んでいる場合でも、互いに同期及び通信することができる。ケーブル28は、各機能部に電力を供給してもよい。
【0052】
制御部273は、CPU等の情報処理装置である。制御部273は、撮影球27に格納される。
【0053】
制御部273とメタデータ生成部290とのうち一部又は全部は、例えば、CPU(Central Processing Unit)等のプロセッサが、メモリに記憶されたプログラムを実行することにより機能するソフトウェア機能部である。また、これらの機能部のうち一部又は全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)等のハードウェア機能部であってもよい。
【0054】
画像データ記憶部272とメタデータ記憶部291とは、磁気ハードディスク装置や半導体記憶装置等の不揮発性の記録媒体(非一時的な記録媒体)を有する記憶装置である。メタデータ記憶部291は、撮影時刻情報、自装置の緯度、経度及び水深のうちの少なくとも一つを、画像に対応付けて記憶する。
【0055】
画像データ記憶部272-m(mは2~Mのいずれか)は、カメラ部270-mが生成した画像を記憶する。
【0056】
メタデータ生成装置29は、メタデータ生成部290を備える。メタデータ生成部290は、メタデータ記憶部291を備える。メタデータ生成部290は、メタデータ生成装置29の周囲における海水の電気伝導度(導電率)、水温、水圧を計測するセンサである。メタデータ生成部290は、制御部273による制御から独立して動作してもよいし、制御部273による制御に応じて動作してもよい。図1では、一例として、メタデータ生成部290は、制御部273による制御に応じて動作する。
【0057】
なお、メタデータ生成部290が制御部273による制御から独立して動作する場合、メタデータ生成装置29は、時計を更に備える。メタデータ生成装置29の時計は、画像記録装置2が海中に投入される直前に時刻合わせされる。
【0058】
メタデータ生成部290は、時刻情報と計測結果とを、生成されたメタデータとしてメタデータ記憶部291に記録する。例えば、メタデータ生成部290は、メタデータ生成部290によって生成されたCTDデータを、メタデータとしてメタデータ記憶部291に記録する。例えば、メタデータ生成部290は、画像記録装置2の位置における現地時刻情報を、画像の撮影時刻とメタデータ生成装置29の時刻とのいずれかに対応付けてメタデータとしてメタデータ記憶部291に記録する。メタデータ記憶部291に記録されているメタデータは、画像記録装置2が海面に浮上し母船に回収された後で解析される。なお、水深は、画像記録装置2の位置を表す緯度と、画像記録装置2の周辺の水圧とに基づいて定められる。
【0059】
メタデータ記憶部291は、メタデータ生成部290によって生成されたCTDデータを、メタデータとして記憶する。メタデータ記憶部291は、画像記録装置2の位置における現地時刻情報を、画像の撮影時刻とメタデータ生成装置29の時刻とのいずれかに対応付けてメタデータとして記憶する。
【0060】
カメラ部270の合計の消費電力は、例えば2.85Wである。消費電力を低減するには、特定色照明部251及び白色照明261の累積の点灯時間を短くする必要がある。そこで、制御部273は、特定色照明部251及び白色照明261を間欠的に点灯する。
【0061】
制御部273は、特定色照明部251及び白色照明261が消灯している状態で例えば1秒から5秒程度以上カメラ部270が海中を撮影するよう、カメラ部270に制御信号を出力する。
【0062】
深海は暗闇であるため、白色照明261が点灯した際には、撮影対象の生物が白色の光に反応して急に動き出す可能性がある。カメラ部270が海中を撮影する前に撮影対象の生物が撮影画角から外れる可能性を低減するため、制御部273は、カメラ部270が海中を撮影している状態で、特定色照明部251を点灯する。これによって、カメラ部270は、特定色照明部251から出力された特定の色の光が投影された撮影対象の生物を、例えば1秒から5秒程度以上、撮影することができる。
【0063】
制御部273は、カメラ部270が海中を撮影している状態で例えば1秒から5秒程度以上特定色照明部251を点灯した後、特定色照明部251を消灯して、白色照明部260を点灯する。ここで、制御部273は、特定色照明部251が点灯している期間が終了する前に、白色照明部260を点灯してもよい。つまり、特定色照明部251が点灯している期間と白色照明部260が点灯している期間の一部とは重複してもよい。
【0064】
なお、計測装置3aは、各カメラ271によって撮影された各動画を構成する複数のフレームにおいて白色照明261が点灯したフレームを時間方向で合わせることによって、各カメラ271によって撮影された各動画を同期させることができる。
【0065】
バッテリ274は、1年間等の長期間にわたり、ケーブル28を介して画像記録装置の機能部に電力を供給する。バッテリ274は、例えば、撮影球27に格納される。
【0066】
次に、計測装置3aの構成例を説明する。
計測装置3aは、取得部31と、検出部32と、リンク部33と、制御部34と、記憶部35と、変数生成部36と、サイズ計測部37と、出力部38とを備える。取得部31は、画像記録装置2の各画像データ記憶部272に記憶されている画像を取得する。取得部31は、画像記録装置2のメタデータ記憶部291に記憶されているCTDデータ等であるメタデータを取得する。取得部31は、画像やCTDデータ等であるメタデータを記憶部35に記録する。検出部32は、時系列で隣り合うフレーム同士の輝度の差を動画ごとに検出する。リンク部33は、差に基づいてフレームの時刻を動画同士で対応付ける。リンク部33は、時系列で隣り合うフレーム同士の輝度の差が閾値以上となったフレームの時刻を、動画同士で対応付ける。制御部34は、時刻が対応付けられた各動画を記憶部35(非一時的な記録媒体)に記録する。
【0067】
制御部34は、画像データ記憶部272に記憶されてい複数の画像を繋げることによって、複数の画像からパノラマ画像(ワイドレンジ画像)を生成してもよい。制御部34は、複数の画像(フレーム)の輪郭が接するようにしてパノラマ画像を生成してもよい。制御部34は、複数の画像(フレーム)の一部が重複するようにしてパノラマ画像を生成してもよい。
【0068】
記憶部35は、画像記録装置2の画像データ記憶部272に記憶されている画像を記憶する。記憶部35は、画像記録装置2のメタデータ記憶部291に記憶されているCTDデータ等であるメタデータを記憶する。記憶部35は、各カメラ271によって生成された画像同士の関係を表す情報(以下「リンク情報」という。)を、画像の記憶領域とは別の記憶領域に記憶する。リンク情報は、例えば、撮影の年月日情報、撮影の時刻情報、カメラ配置情報である。サイズ計測部37は、画像とメタデータとリンク情報とに基づいて、海底における生態等のデータ解析を容易に実行することができる。
【0069】
図8は、カメラ配置情報の形式の例を示す図である。カメラ配置情報において、「YYYYMMDD」は、現地時間における年月日を表す。「HHMMSS」は、現地時間における時刻(時、分、秒)を表す。
【0070】
「CAMERA1」は、例えば、カメラ271-1を表す。「cameraModelNumber」は、カメラの製造元及びモデルを表す番号である。「LensModelNumber」は、カメラのレンズの製造元及びモデルを表す番号である。
【0071】
「Rotation」は、撮像素子の長軸が水平である場合、「r_H(水平)」と表される。例えば、画像が表示される画面のアスペクト比(水平:垂直)が16:9である場合、「Rotation」は、「r_H(水平)」である。「Rotation」は、撮像素子の長軸が垂直である場合、「r_V(垂直)」と表される。
【0072】
「ReferencePoint」は、撮影球27の中心(基準点)を表す。「ReferencePoint」は、撮影球27の正面又は反対面の中心でもよい。カメラ271の撮像素子は、カメラ271を支持する立方体の側面「Plane1」から離れた位置にある。カメラの距離は、基準点から撮像素子の中心までの距離で表される。通常では、基準点よりも左にカメラ271が配置されるため、x軸方向に関してカメラの距離は負値である。多くの場合、y軸方向に関してカメラの距離は負値である。カメラ271の撮像素子が側面「Plane1」の前方にあり、カメラ271の撮像素子以外の構成が側面「Plane1」の後方にある場合、z軸方向に関してカメラの距離は正値である。
【0073】
「PanFromPlane1」は、側面「Plane1」を基準とする水平方向へのパン値(左右方向への光軸の傾き)である。パン値「0」は、側面「Plane1」の法線方向を表す。右方向へのパン値は正値である。左方向へのパン値は負値である。
【0074】
「TiltFromPlane1」は、側面「Plane1」を基準とする垂直方向へのチルト値(上下方向への光軸の傾き)である。チルト値「0」は、側面「Plane1」の法線方向を表す。上方向へのチルト値は正値である。下方向へのチルト値は負値である。「Comments」は、例えば、ズーム比が設定されているか否かと、設定されているズーム比とを表すコメントである。
【0075】
図9は、CTDデータの形式の例を示す図である。「HHMMSS」は、現地時間における時刻(時、分、秒)を表す。秒よりも高い精度で時刻が表現される場合、現地時間における時刻は、「HHMMSSpXXX」という形式で表現される。ここで、「p」は小数点を表す。「XXX」は、秒の小数部を表す。
【0076】
「pressure」は、水圧をデシベル単位で表す。「depth_salt」は、計測された位置の緯度に基づく「塩水における水深」をメートル単位で表す。「temperature」は、水温を摂氏で表す。「salinity」は、電気伝導率、水温及び水圧に基づく塩分濃度を無単位で表す。「userpoly」の領域は、ユーザデータの記録領域である。ユーザデータは、例えば、CTDデータと共に記録される可能性のある酸素濃度や濁度などのデータである。
【0077】
図1に戻り、計測装置3aの構成例の説明を続ける。変数生成部36は、カメラ271が生成した画像に輪郭検出処理を施すことによって、計測用の変数を生成する。例えば、変数生成部36は、カメラ271が生成した画像に輪郭検出処理を施すことによって、撮影対象の生物である被写体の長さを計測するための変数を取得する。変数生成部36は、カメラ271が生成した画像に輪郭検出処理を施すことによって、画像において隣り合う特定色照明252同士の距離を表す変数を取得する。
【0078】
図10は、撮影対象の生物である被写体110の長さの例を示す図である。カメラ部270の複数のカメラ271は、被写体110及び特定色照明部251を撮影する。図10では、カメラ271-mとカメラ271-(m+1)との水平方向の距離は、Dである。各カメラ271から特定色照明252までの予め定められた距離は、Ziである。各カメラ271から被写体110までの距離は、Zxである。
【0079】
サイズ計測部37は、第1のカメラ271によって生成された画像における被写体110の位置と、第2のカメラ271によって生成された画像における被写体110の位置との差(視差Bx)を計測する。サイズ計測部37は、第1のカメラ271によって生成された画像における特定色照明252の位置と、第2のカメラ271によって生成された画像における特定色照明252の位置との差(視差Bi)を計測する。複数の特定色照明252は、所定の基準間隔SCで特定色照明部251に配列されている。
【0080】
サイズ計測部37は、画像における被写体110のサイズと画像における特定色照明252同士の基準間隔とに基づいて、カメラ271によって生成された画像における基準間隔SCと被写体110の画像の長さとの比を表す係数Kを定める。サイズ計測部37は、基準間隔SCと係数Kと距離Ziと距離Zxとに基づいて、被写体110の長さXを計測する。
【0081】
予め定められた距離Ziは、式(1)のように表される。
【0082】
Zi=D×Fs/Bi …(1)
【0083】
ここで、Fsは、カメラ271のレンズの焦点距離を表す。Biは、カメラ271-mによって生成された画像における特定色照明252-nの画像の位置と、カメラ271-(m+1)によって生成された画像における特定色照明252-nの画像の位置との視差を表す。すなわち、Biは、カメラ271-mの撮影画角における特定色照明252-nの画像の位置と、カメラ271-(m+1)の撮影画角における特定色照明252-nの画像の位置との距離を表す。
【0084】
距離Zxは、式(2)のように表される。
【0085】
Zx=D×Fs/Bx …(2)
【0086】
ここで、Bxは、カメラ271-mによって生成された画像における被写体110の画像の位置と、カメラ271-(m+1)によって生成された画像における被写体110の画像の位置との視差を表す。すなわち、Bxは、カメラ271-mの撮影画角における被写体110の画像の位置と、カメラ271-(m+1)の撮影画角における被写体110の画像の位置との距離を表す。
【0087】
カメラ271によって生成された画像における被写体110の長さは、カメラ271から被写体110までの距離に比例して変化する。したがって、式(3)が成り立つ。
【0088】
Zi:Zx=K×SC:X …(3)
【0089】
ここで、Kは、カメラ271によって生成された画像における、基準間隔SCと被写体110の画像の長さとの比を表す係数である。サイズ計測部37は、式(4)に基づいて、被写体110の長さXを算出する。
【0090】
X=K×SC×Bi/Bx …(4)
【0091】
出力部38は、表示装置である。出力部38は、被写体110の長さXを表す情報を表示する。出力部38は、各カメラ271によって生成された画像を出力してもよい。出力部38は、各カメラ271によって生成された画像に撮影の時刻情報を重畳表示してもよい。
【0092】
次に、画像記録装置2の動作の例を説明する。
図11は、画像記録装置2の動作の例を示すシーケンス図である。制御部273は、メタデータの生成の開始を、メタデータ生成部290に指示する。メタデータは、白色照明部260の点灯時刻を表す情報を含んでもよい。メタデータ生成部290は、生成されたメタデータをメタデータ記憶部に記録する(ステップS101)。制御部273は、動画の撮影の開始をカメラ部270に指示する。カメラ部270は、カメラ271-mによって撮影された動画を、画像データ記憶部272-mに記録する(ステップS102)。
【0093】
図11では、所定時間とは例えば5秒間である。ステップS102から所定時間の経過後、制御部273は、特定色照明252の点灯を特定色照明部251に指示する(ステップS103)。ステップS103から所定時間の経過後、制御部273は、白色照明261の点灯を白色照明部260に指示する(ステップS104)。制御部273は、特定色照明252の消灯を特定色照明部251に指示する(ステップS105)。ステップS104から所定時間の経過後、制御部273は、白色照明261の消灯を白色照明部260に指示する(ステップS106)。
【0094】
制御部273は、動画の撮影の停止をカメラ部270に指示する。カメラ部270は、動画の記録を停止する(ステップS107)。制御部273は、メタデータの生成の停止を、メタデータ生成部290に指示する。メタデータ生成部290は、生成されたメタデータの記録を停止する(ステップS108)。
【0095】
なお、メタデータ生成部290が制御部273の制御から独立して動作する場合、制御部273は、ステップS101及びステップS108を実行しなくてもよい。
【0096】
次に、計測装置3aが生成する動画ファイルの例を説明する。
図12は、動画ファイルの例を示す図である。検出部32は、時系列で隣り合うフレーム同士の輝度の差を、動画ごとに検出する。フレーム300は、カメラ271-1が生成した動画の時系列のフレームである。図12では、白色照明261が出力した光がフレーム300-4に撮影されている。このため、フレーム300-4の輝度は、フレーム300-3の輝度よりも高い。したがって、フレーム300-3の輝度とフレーム300-4の輝度との差は、予め定められた閾値以上である。
【0097】
フレーム301は、カメラ271-2が生成した動画の時系列のフレームである。図12では、白色照明261が出力した光がフレーム301-3に撮影されている。このため、フレーム301-3の輝度は、フレーム301-2の輝度よりも高い。したがって、フレーム301-2の輝度とフレーム301-3の輝度との差は、予め定められた閾値以上である。
【0098】
フレーム302は、カメラ271-3が生成した動画の時系列のフレームである。図12では、白色照明261が出力した光がフレーム302-4に撮影されている。このため、フレーム302-4の輝度は、フレーム302-3の輝度よりも高い。したがって、フレーム302-3の輝度とフレーム302-4の輝度との差は、予め定められた閾値以上である。メタデータ400は、時系列のCTD等のデータである。メタデータ400は、白色照明261の点灯時刻情報を含んでもよい。
【0099】
リンク部33は、時系列のフレーム同士で輝度の差が閾値以上であるフレーム300-4とフレーム301-3とフレーム302-4とを、白色照明261の点灯時刻t0に対応付ける。リンク部33は、各フレームとメタデータとの時刻の対応を示す情報を、リンク情報として生成する。制御部273は、動画とメタデータとリンク情報とを含む動画ファイルを生成する。
【0100】
次に、計測装置3aの動作の例を説明する。
図13は、動画ファイルの生成手順の例を示す図である。取得部31は、複数のカメラ271によって海中で撮影された動画をカメラ271ごとに取得する(ステップS201)。検出部32は、時系列で隣り合うフレーム同士の輝度の差を動画ごとに検出する(ステップS202)。リンク部33は、差に基づいてフレームの時刻を動画同士で対応付ける(ステップS203)。制御部34は、時刻が対応付けられた各動画を、動画ファイルとして記憶部35(非一時的な記録媒体)に記録する(ステップS204)。
【0101】
以上のように、第1実施形態の計測装置3aは、取得部31と、検出部32と、リンク部33と、制御部34とを備える。特定色照明部251の特定色照明252が点灯する前に海中で複数のカメラ271によって撮影が開始された動画であり、特定色照明部251の特定色照明252の点灯後に白色照明部260の白色照明261が点灯した後に撮影が終了した動画を、取得部31は、カメラ271ごとに取得する。検出部32は、時系列で隣り合うフレーム同士の輝度の差を動画ごとに検出する。リンク部33は、差に基づいてフレームの時刻を動画同士で対応付ける。例えば、リンク部33は、時系列で隣り合うフレーム同士の輝度の差が閾値以上となったフレームの時刻を、動画同士で対応付ける。制御部34は、時刻が対応付けられた各動画を記憶部35(非一時的な記録媒体)に記録する。例えば、特定色照明252-2は、特定色照明252-1が青色以外の特定色(赤色等)で点灯した後で、その特定色(赤色等)以外の色であって青色以外の特定色(黄色等)で更に点灯してもよい。
【0102】
これによって、第1実施形態の計測装置3aは、海中で複数のカメラ271が生成した動画同士の時刻を同期させて記録媒体に記録することができる。
【0103】
第1実施形態の画像記録装置2は、カメラ部270と、第1照明部としての特定色照明部251と、画像データ記憶部272と、制御部273とを備える。カメラ部270は、海中で被写体を撮影する。特定色照明部251は、例えば赤色で点灯する複数の特定色照明252を有する。画像データ記憶部272は、カメラ部270によって生成された画像を記憶する。制御部273は、カメラ部270が撮影を開始した後、例えば赤色で点灯する特定色照明252を点灯する。
【0104】
これによって、第1実施形態の画像記録装置2は、撮影対象の生物が撮影画角から外れる可能性を低減することが可能である。換言すれば、第1実施形態の画像記録装置2は、海底に長期間留まって、海底における生態を正確に表す画像を記録することが可能である。
【0105】
第1実施形態の画像記録装置2は、フリーフォール型の深海探査カメラシステムである。第1実施形態の画像記録装置2は、長期間にわたる海底のモニタリングにおいて、海底の生物を間欠的に動画で撮影することができる。第1実施形態の計測装置3aは、海底における生物のサイズを、撮影された画像から得ることができる。第1実施形態の計測装置3aは、撮影時刻、緯度及び経度等のリンク情報と、水深(深度)及びCTDデータ等のメタデータとに基づいて、海底における生態を正確に調査することができる。
【0106】
第1実施形態の画像記録装置2は、高価である高感度カメラを備えなくてもよい。このため、画像記録装置2の製造コストは安い。画像記録装置2は、製造コストが安いので量産に適している。量産された画像記録装置2は、多くの地点を撮影することができる。
【0107】
第1実施形態の画像記録装置2は、海底を間欠的に撮影するので、消費電力を低くすることができる。第1実施形態の画像記録装置2は、照明で海底を間欠的に照らすので、消費電力を低くすることができる。
【0108】
基準間隔SCで配列された赤色の照明をステレオカメラで撮影するので、計測装置3aは、ステレオカメラが生成した各画像に基づいて、撮影対象の生物のサイズを計測することができる。計測装置3aは、光過敏性生物の生態を把握することができる。計測装置3aは、底生生物の量を得ることができる。
【0109】
第1実施形態の画像記録装置2及び計測装置3aのうちの少なくとも一方は、カメラ271ごとに記録された各画像にリンク情報を対応付ける。第1実施形態の計測装置3aは、リンク情報に基づいて、画像から情報を容易に得ることができる。
【0110】
オキアミ等の海洋生物は、光に寄って来る性質がある。仮に、このような海洋生物が画像記録装置2の周囲に多く集まってしまった場合、撮影対象でないオキアミ等の海洋生物をカメラ271が撮影してしまう。第1実施形態の画像記録装置2は、海底を照明で短時間だけ照らすので、撮影対象でないオキアミ等の海洋生物が画像記録装置2の周囲に多く集まることを防ぐことができる。
【0111】
第1実施形態の計測装置3aは、サイズ計測部37を備える。サイズ計測部37は、基準間隔SCと係数Kと距離Ziと距離Zxとに基づいて、被写体110の長さXを計測する。
【0112】
これによって、第1実施形態の画像記録装置2は、撮影対象の生物のサイズを画像に基づいて計測することが可能である。換言すれば、第1実施形態の画像記録装置2は、海底に長期間留まって、海底における生態を正確に表す画像を記録することが可能である。
【0113】
(第2実施形態)
第2実施形態では、海底における画像記録装置の高度を計測する高度計測部を計測装置が備える点が、第1実施形態と相違する。第2実施形態では、第1実施形態との相違点についてのみ説明する。
【0114】
図14は、画像記録システム1bの構成の例を示す図である。画像記録システム1bは、海中環境の画像を記録するシステムである。画像記録システム1bは、画像記録装置2と、計測装置3bと、測位装置4とを備える。
【0115】
画像記録装置2の錘23が着地している海底は、軟弱土である場合がある。画像記録装置2の錘23が着地している海底が軟弱土である場合、時間経過に応じて錘23が海底に埋もれてしまうので、海底における画像記録装置2の高度が変化する。このため、画像記録システム1bは、海底におけるカメラ271の位置の高度を、画像記録装置2が母船に回収された後に正確に得る必要がある。
【0116】
図15は、影120の例を示す図である。白色照明261と撮影球27との相対的な位置関係は一定である。海底100に投影された撮影球27の影120の実際の直径は、画像記録装置2の高度に比例する。影120の実際の直径は、海底100からの画像記録装置2の高度が高くなるほど長くなる。撮影球27に格納されている各カメラ271のうちの少なくとも1台は、海底100に投影されている撮影球27の影120を撮影する。
【0117】
影120の直径又は面積と画像記録装置2の高度との関係は、図15に示されているような幾何学条件に基づいて予め算出される。なお、影120の直径又は面積と画像記録装置2の高度との関係は、試験的に実測されることによって求められてもよい。
【0118】
図16は、撮影された影120の例を示す図である。各カメラ271のうちの少なくとも1台によって生成された画像における影120の画像の直径は、海底100からの画像記録装置2の高度に比例する。各カメラ271のうちの少なくとも1台によって生成された画像における影120の画像の直径は、海底100からの画像記録装置2の高度が低くなるほど長くなる。図16において、時刻表示領域130は、時刻情報等を表示するための領域である。
【0119】
図14に戻り、計測装置3bの構成例を説明する。計測装置3bは、情報処理装置である。計測装置3bは、取得部31と、検出部32と、リンク部33と、制御部34と、記憶部35と、変数生成部36と、サイズ計測部37と、出力部38と、高度計測部39とを備える。高度計測部39は、プログラムに応じて動作するCPU等の情報処理装置である。
【0120】
高度計測部39は、カメラ271によって生成された画像において海底100に投影された撮影球27の影120の直径又は面積に基づいて、海底100に対する画像記録装置2の高度を、画像記録装置2が母船に回収された後に計測してもよい。高度計測部39は、計測された高度を表す変数を、高度を表す変数を用いる計測処理において補正してもよい。
【0121】
高度計測部39は、カメラ271によって生成された画像において海底100に投影されたアーム25の影とアーム25との位置関係に基づいて、海底100に対する画像記録装置2の姿勢(傾斜)を、画像記録装置2が母船に回収された後に計測してもよい。
【0122】
出力部38は、海底100に対する画像記録装置2の高度を表す情報を表示する。出力部38は、海底100に対する画像記録装置2の姿勢(傾斜)を表す情報を表示してもよい。出力部38は、カメラ271によって生成された画像において定められた時刻表示領域130に、時刻情報を重畳表示してもよい。
【0123】
なお、錘23の表面には、海底100への沈み込み量を計測するための目盛が描かれていてもよい。カメラ271-3は、海底100に着地している錘23を撮影してもよい。カメラ271-3は、海底100に着地している錘23の画像を、画像データ記憶部272-3に記録してもよい。高度計測部39は、画像記録装置2が母船に回収された後、錘23の表面に描かれた目盛の画像に基づいて海底100におけるカメラ271の位置の高度を計測してもよい。高度計測部39は、画像記録装置2が母船に回収された後、錘23の表面に描かれた目盛の画像に基づいてカメラ271の位置の高度情報を補正してもよい。
【0124】
以上のように、第2実施形態の計測装置3bは、高度計測部39を備える。高度計測部39は、カメラ271によって生成された画像において海底100に投影された撮影球27の影120の直径又は面積に基づいて、海底100に対する画像記録装置2の高度を計測する。高度計測部39は、錘23の表面に描かれた目盛の画像に基づいて、海底100におけるカメラ271の位置の高度を計測してもよい。
【0125】
これによって、第2実施形態の計測装置3bは、海底におけるカメラ271の位置の高度を計測することが可能である。第2実施形態の計測装置3bは、画像記録装置2の高度を表す変数を、所定の計測処理において補正することが可能である。換言すれば、第2実施形態の画像記録装置2は、海底に長期間留まって、海底における生態を正確に表す画像を記録することが可能である。
【0126】
また、画像記録装置2の各カメラ271は、赤色、黄色又は白色等の特定色の照明で照らされた海底を撮影することによって、海底堆積物の色調変化を長期間にわたってモニタリングすることも可能である。
【0127】
また、計測装置の検出部32は、1年間等の長期間にわたって海底の生物及び環境をモニタリングした画像記録装置2の回収後に、カメラ271の動画において時系列で隣り合うフレーム同士の輝度の差が閾値以上となったタイミングを、各カメラ271の動画同士で比較してもよい。これによって、検出部32は、ケーブル28の故障等によってカメラ271同士の時刻同期ができなくなった場合でも、各カメラ271の動画の時刻同期を、比較結果に基づいて検出することができる。また、検出部32は、動画のフレーム単位で、各カメラ271の動画の時刻同期を検出することができる。
【0128】
上述した実施形態における画像記録システム、画像記録装置及び計測装置の少なくとも一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回路を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【0129】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【産業上の利用可能性】
【0130】
本発明は、海中環境をモニタリングするシステムである海中環境モニタリング画像記録システムに適用可能である。
【符号の説明】
【0131】
1a,1b…画像記録システム、2…画像記録装置、3a,3b…計測装置、4…測位装置、20…通信球、21…トランスポンダ球、22…トランスデューサ、23…錘、24…切り離し装置、25…アーム、26…照明球、27…撮影球、28…ケーブル、29…メタデータ生成装置、31…取得部、32…検出部、33…リンク部、34…制御部、35…記憶部、36…変数生成部、37…サイズ計測部、38…出力部、39…高度計測部、100…海底、110…被写体、120…影、130…時刻表示領域、200…ラジオビーコン、250…餌台、251…特定色照明部、252…特定色照明、253…照明基板、254…電源端子、260…白色照明部、261…白色照明、270…カメラ部、271…カメラ、272…画像データ記憶部、273…制御部、274…バッテリ、290…メタデータ生成部、291…メタデータ記憶部、300…フレーム、301…フレーム、301…フレーム、400…メタデータ、500…リンク情報
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16