特許 7545433 画像処理装置、プログラム、画像処理システム、及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-27

(45)【発行日】2024-09-04

(54)【発明の名称】画像処理装置、プログラム、画像処理システム、及び画像処理方法

(51)【国際特許分類】

   G06T 7/254 20170101AFI20240828BHJP

   G06T 7/00 20170101ALI20240828BHJP

   G06T 5/50 20060101ALI20240828BHJP

   G06T 1/40 20060101ALI20240828BHJP

   H04N 7/18 20060101ALI20240828BHJP

【ＦＩ】

G06T7/254 B

G06T7/00 350C

G06T5/50

G06T1/40

H04N7/18 D

【請求項の数】 13

(21)【出願番号】P 2022038559

(22)【出願日】2022-03-11

(65)【公開番号】P2023132948

(43)【公開日】2023-09-22

【審査請求日】2023-10-11

(73)【特許権者】

【識別番号】501440684

【氏名又は名称】ソフトバンク株式会社

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】安居 覚

(72)【発明者】

【氏名】吉田 智博

(72)【発明者】

【氏名】石若 裕子

【審査官】橘 高志

(56)【参考文献】

【文献】特開２００７－２２１７５７（ＪＰ，Ａ）

【文献】特開２０２１－００５７７５（ＪＰ，Ａ）

【文献】特表２０１７－５２０１３５（ＪＰ，Ａ）

【文献】特開２０２１－１２９１４６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／２５４

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ５／５０

Ｇ０６Ｔ １／４０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

対象範囲を第１のシャッタースピードで撮影した第１撮影画像と、前記対象範囲を前記第１のシャッタースピードよりも遅い第２のシャッタースピードで撮影した第２撮影画像とを取得する撮影画像取得部と、
前記第１撮影画像のうち前記第２撮影画像との差分が予め定められた閾値より少ない部分を、前記第１撮影画像から除去した画像を生成する除去処理部と
を備える画像処理装置。

【請求項2】

前記撮影画像取得部は、第１の被写体の動きの速度に対応する前記第２のシャッタースピードで撮影した前記第２撮影画像を取得し、
前記除去処理部は、前記第１撮影画像のうち前記第２撮影画像との差分が予め定められた閾値より少ない部分を、前記第１撮影画像から除去することによって、前記第１撮影画像から前記第１の被写体を抽出した前記画像を生成する、請求項１に記載の画像処理装置。

【請求項3】

前記撮影画像取得部は、前記対象範囲を、前記第１の被写体とは動きの速度が異なる第２の被写体に対応する第３のシャッタースピードで撮影した第３撮影画像を取得し、
前記除去処理部は、前記第１撮影画像のうち前記第３撮影画像との差分が予め定められた閾値より少ない部分を、前記第１撮影画像から除去することによって、前記第１撮影画像から前記第２の被写体を抽出した画像を生成する、請求項２に記載の画像処理装置。

【請求項4】

前記対象範囲を撮影可能な一のカメラを制御するカメラ制御部
を更に備え、
前記カメラ制御部は、前記対象範囲を前記第１のシャッタースピード及び前記第２のシャッタースピードで連続して撮影するように前記一のカメラを制御する、請求項１から３のいずれか一項に記載の画像処理装置。

【請求項5】

前記対象範囲を撮影可能な複数のカメラを制御するカメラ制御部
を更に備え、
前記カメラ制御部は、前記複数のカメラのうちの第１のカメラ及び第２のカメラに、撮影タイミングを合わせて、一方に前記対象範囲を前記第１のシャッタースピードで撮影させ、他方に前記対象範囲を前記第２のシャッタースピードで撮影させるよう制御する、請求項１から３のいずれか一項に記載の画像処理装置。

【請求項6】

対象範囲を異なるシャッタースピードで撮影した場合の複数の画像と、前記複数の画像のそれぞれに対応するシャッタースピードと、画像内の被写体の種類を識別可能な被写体情報とを含む学習データを用いた学習によって、対象範囲を撮影した複数の撮影画像から特定の被写体を抽出するニューラルネットワークをディープラーニングにより学習させる学習実行部と、
前記学習実行部による学習済みニューラルネットワークを用いて、対象範囲を撮影した複数の撮影画像から、特定の被写体を抽出した画像を生成する抽出処理部と
を更に備える、請求項１から５のいずれか一項に記載の画像処理装置。

【請求項7】

前記被写体の動きの速度が変化するシンセティックデータを用いて、前記学習データを生成する学習データ生成部
を更に備え、
前記学習実行部は、前記学習データ生成部によって生成された前記学習データを用いて前記ニューラルネットワークを学習させる、請求項６に記載の画像処理装置。

【請求項8】

前記撮影画像取得部は、動くことが可能な複数種類の被写体が含まれる対象範囲を異なるシャッタースピードで撮影した複数の撮影画像を取得し、
前記画像処理装置は、前記複数の撮影画像のそれぞれについて、他の撮影画像との差分が予め定められた閾値より少ない部分を除去することによって残存する被写体及び削除される被写体を特定し、特定結果に基づいて、前記複数種類の被写体のそれぞれの動きの速度を推定する速度推定部
をさらに備える、請求項１から７のいずれか一項に記載の画像処理装置。

【請求項9】

動くことが可能な複数種類の被写体が含まれる対象範囲を異なるシャッタースピードで撮影した複数の撮影画像を取得する撮影画像取得部と、
前記複数の撮影画像のそれぞれについて、前記複数の撮影画像の他の撮影画像との差分が予め定められた閾値より少ない部分を除去することによって残存する被写体及び削除される被写体を特定し、特定結果に基づいて、前記複数種類の被写体のそれぞれの動きの速度を推定する速度推定部と
を備える、画像処理装置。

【請求項10】

コンピュータを、請求項１から９のいずれか一項に記載の画像処理装置として機能させるためのプログラム。

【請求項11】

請求項５に記載の画像処理装置と、
前記複数のカメラと
を備える、画像処理システム。

【請求項12】

コンピュータによって実行される画像処理方法であって、
対象範囲を第１のシャッタースピードで撮影した第１撮影画像と、前記対象範囲を前記第１のシャッタースピードよりも遅い第２のシャッタースピードで撮影した第２撮影画像とを取得する撮影画像取得段階と、
前記第１撮影画像のうち前記第２撮影画像との差分が予め定められた閾値より少ない部分を、前記第１撮影画像から除去した画像を生成する除去処理段階と
を備える画像処理方法。

【請求項13】

コンピュータによって実行される画像処理方法であって、
動くことが可能な複数種類の被写体が含まれる対象範囲を異なるシャッタースピードで撮影した複数の撮影画像を取得する撮影画像取得段階と、
前記複数の撮影画像のそれぞれについて、前記複数の撮影画像の他の撮影画像との差分が予め定められた閾値より少ない部分を除去することによって残存する被写体及び削除される被写体を特定し、特定結果に基づいて、前記複数種類の被写体のそれぞれの動きの速度を推定する速度推定段階と
を備える画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、信号処理装置、プログラム、画像処理システム、及び画像処理方法に関する。

【背景技術】

【0002】

特許文献１には、水槽内の魚を撮像した画像を解析することによって、魚の生育状態を監視するシステムが記載されている。
［先行技術文献］
［特許文献］
［特許文献１］特開２００３－２５０３８２号公報

【発明の概要】

【課題を解決するための手段】

【0003】

本発明の一実施態様によれば、信号処理装置が提供される。前記画像処理装置は、対象範囲を第１のシャッタースピードで撮影した第１撮影画像と、前記対象範囲を前記第１のシャッタースピードよりも遅い第２のシャッタースピードで撮影した第２撮影画像とを取得する撮影画像取得部を備えてよい。前記画像処理装置は、前記第１撮影画像のうち前記第２撮影画像との差分が予め定められた閾値より少ない部分を、前記第１撮影画像から除去した画像を生成する除去処理部を備えてよい。

【0004】

前記撮影画像取得部は、第１の被写体の動きの速度に対応する前記第２のシャッタースピードで撮影した前記第２撮影画像を取得してよく、前記除去処理部は、前記第１撮影画像のうち前記第２撮影画像との差分が予め定められた閾値より少ない部分を、前記第１撮影画像から除去することによって、前記第１撮影画像から前記第１の被写体を抽出した前記画像を生成してよい。前記撮影画像取得部は、前記対象範囲を、前記第１の被写体とは動きの速度が異なる第２の被写体に対応する第３のシャッタースピードで撮影した第３撮影画像を取得してよく、前記除去処理部は、前記第１撮影画像のうち前記第３撮影画像との差分が予め定められた閾値より少ない部分を、前記第１撮影画像から除去することによって、前記第１撮影画像から前記第２の被写体を抽出した画像を生成してよい。

【0005】

前記画像処理装置は、前記対象範囲を撮影可能な一のカメラを制御するカメラ制御部を更に備えてよく、前記カメラ制御部は、前記対象範囲を前記第１のシャッタースピード及び前記第２のシャッタースピードで連続して撮影するように前記一のカメラを制御してよい。前記画像処理装置は、前記対象範囲を撮影可能な複数のカメラを制御するカメラ制御部を更に備えてよく、前記カメラ制御部は、前記複数のカメラのうちの第１のカメラ及び第２のカメラに、撮影タイミングを合わせて、一方に前記対象範囲を前記第１のシャッタースピードで撮影させ、他方に前記対象範囲を前記第２のシャッタースピードで撮影させるよう制御してよい。

【0006】

前記画像処理装置は、対象範囲を異なるシャッタースピードで撮影した場合の複数の画像と、前記複数の画像のそれぞれに対応するシャッタースピードと、被写体の種類を識別可能な被写体情報とを含む学習データを用いた学習によって、対象範囲を撮影した複数の撮影画像から特定の被写体を抽出するニューラルネットワークをディープラーニングにより学習させる学習実行部と、前記学習実行部による学習済みニューラルネットワークを用いて、対象範囲を撮影した複数の撮影画像から、特定の被写体を抽出した画像を生成する抽出処理部とを更に備えてよい。前記画像処理装置は、前記複数種類の被写体の動きの速度が変化するシンセティックデータを用いて、前記学習データを生成する学習データ生成部を更に備えてよく、前記学習実行部は、前記学習データ生成部によって生成された前記学習データを用いて前記ニューラルネットワークを学習させてよい。

【0007】

前記撮影画像取得部は、動くことが可能な複数種類の被写体が含まれる対象範囲を異なるシャッタースピードで撮影した複数の撮影画像を取得してよく、前記画像処理装置は、前記複数の撮影画像のそれぞれについて、他の撮影画像との差分が予め定められた閾値より少ない部分を除去することによって残存する被写体及び削除される被写体を特定し、特定結果に基づいて、前記複数種類の被写体のそれぞれの動きの速度を推定する速度推定部をさらに備えてよい。

【0008】

本発明の一実施形態によれば、画像処理装置が提供される。前記画像処理装置は、動くことが可能な複数種類の被写体が含まれる対象範囲を異なるシャッタースピードで撮影した複数の撮影画像を取得する撮影画像取得部を備えてよい。前記画像処理装置は、前記複数の撮影画像のそれぞれについて、前記複数の撮影画像の他の撮影画像との差分が予め定められた閾値より少ない部分を除去することによって残存する被写体及び削除される被写体を特定し、特定結果に基づいて、前記複数種類の被写体のそれぞれの動きの速度を推定する速度推定部を備えてよい。

【0009】

本発明の一実施形態によれば、コンピュータを、前記画像処理装置として機能させるためのプログラムが提供される。

【0010】

本発明の一実施形態によれば、前記画像処理装置と、前記複数のカメラとを備える、画像処理システムが提供される。

【0011】

本発明の一実施形態によれば、コンピュータによって実行される画像処理方法が提供される。前記画像処理方法は、対象範囲を第１のシャッタースピードで撮影した第１撮影画像と、前記対象範囲を前記第１のシャッタースピードよりも遅い第２のシャッタースピードで撮影した第２撮影画像とを取得する撮影画像取得段階を備えてよい。前記画像処理方法は、前記第１撮影画像のうち前記第２撮影画像との差分が予め定められた閾値より少ない部分を、前記第１撮影画像から除去した画像を生成する除去処理段階を備えてよい。

【0012】

本発明の一実施形態によれば、コンピュータによって実行される画像処理方法が提供される。前記画像処理方法は、動くことが可能な複数種類の被写体が含まれる対象範囲を異なるシャッタースピードで撮影した複数の撮影画像を取得する撮影画像取得段階を備えてよい。前記画像処理方法は、前記複数の撮影画像のそれぞれについて、前記複数の撮影画像の他の撮影画像との差分が予め定められた閾値より少ない部分を除去することによって残存する被写体及び削除される被写体を特定し、特定結果に基づいて、前記複数種類の被写体のそれぞれの動きの速度を推定する速度推定段階を備えてよい。

【0013】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0014】

【図1】画像処理システム１０の一例を概略的に示す。

【図2】画像処理装置１００による処理内容について説明するための説明図である。

【図3】画像処理装置１００による処理内容について説明するための説明図である。

【図4】画像処理装置１００の機能構成の一例を概略的に示す。

【図5】画像処理装置１００による処理の流れの一例を概略的に示す。

【図6】画像処理装置１００による処理の流れの一例を概略的に示す。

【図7】画像処理装置１００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。

【発明を実施するための形態】

【0015】

カメラによる撮影画像の被写体のうち、動いている被写体のみを取り出すことが望まれる場合がある。例えば、魚の養殖において、魚の検知をする際に、背景はノイズとなる。背景を除去することによって、魚の検知精度を向上させることができる。しかしながら、例えば、漁網等の背景となり得るものを設定したとしても、漁網に藻が着いたり、思いもよらない生物が付着していたりするので、例えばシンセティックデータによって全てを網羅することは難しい。また、地上であれば、グリーンバックを用いることによって、特定の対象物を取り出すことも考えられるが、魚の検知の場合には、水中ではグリーンバック自体が揺れてしまう等の問題によって、グリーンバックを用いることも難しい。本実施形態に係る信号処理システム１０では、例えば、カメラのシャッタースピードをパラメータ化することによって、課題解決に貢献する技術を提供する。

【0016】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0017】

図１は、画像処理システム１０の一例を概略的に示す。画像処理システム１０は、画像処理装置１００及びカメラ２００を備える。画像処理システム１０は、複数のカメラ２００を備えてよい。画像処理システム１０は、複数ではなく、１つのカメラ２００のみを備えてもよい。

【0018】

画像処理装置１００とカメラ２００は、ネットワーク２０を介して通信してよい。ネットワーク２０は、インターネットを含んでよい。ネットワーク２０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含んでよい。

【0019】

ネットワーク２０は、移動体通信ネットワークを含んでよい。移動体通信ネットワークは、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）通信方式、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）通信方式、５Ｇ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ）通信方式、及び６Ｇ（６ｔｈ Ｇｅｎｅｒａｔｉｏｎ）通信方式以降の通信方式のいずれに準拠していてもよい。

【0020】

画像処理装置１００は、ネットワーク２０に有線接続されてよい。画像処理装置１００は、ネットワーク２０に無線接続されてよい。画像処理装置１００は、無線基地局を介してネットワーク２０に接続されてよい。画像処理装置１００は、Ｗｉ－Ｆｉ（登録商標）アクセスポイントを介してネットワーク２０に接続されてよい。

【0021】

カメラ２００は、静止画像を撮影してよい。カメラ２００は、動画像を撮影してよい。カメラ２００は、ネットワーク２０に有線接続されてよい。カメラ２００は、ネットワーク２０に無線接続されてよい。カメラ２００は、無線基地局を介してネットワーク２０に接続されてよい。カメラ２００は、Ｗｉ－Ｆｉアクセスポイントを介してネットワーク２０に接続されてよい。

【0022】

画像処理装置１００とカメラ２００とは直接接続されてもよい。また、画像処理装置１００が、カメラ２００を内蔵してもよい。

【0023】

画像処理装置１００は、カメラ２００が対象範囲を異なるシャッタースピードで撮影した複数の撮影画像をカメラ２００から取得する。カメラ２００のシャッタースピードを通常のシャッタースピードよりも遅くして撮影すると、動いている被写体が、撮影画像に残らなくなる。画像処理装置１００は、このような仕組みを利用して、例えば、対象範囲を、基準となる基準シャッタースピードで撮影した撮影画像と、対象範囲を基準シャッタースピードよりも遅いシャッタースピードで撮影した撮影画像との共通部分を、基準シャッタースピードで撮影した撮影画像から除去することによって、動いている被写体のみを抽出する。

【0024】

例えば、カメラ２００が動画を撮影する場合において、画像処理装置１００は、複数のフレームのそれぞれについて、動いている被写体のみを抽出する。これにより、物体認識や、物体追跡等の精度を向上することができたり、物体からモーションを生成しやすくしたりすることができる。

【0025】

図２及び図３は、画像処理装置１００による処理内容について説明するための説明図である。ここでは、対象範囲が生簀である場合を例に挙げて説明する。本例において、対象範囲には、魚２２、漁網２４、及び固定物体２６が含まれる。

【0026】

画像処理装置１００は、基準となる第１のシャッタースピードで対象範囲を撮影した撮影画像３１０と、第１のシャッタースピードよりも遅い第２のシャッタースピードで対象範囲を撮影した撮影画像３２０と、第２のシャッタースピードよりも遅い第３のシャッタースピードで対象範囲を撮影した撮影画像３３０とを取得する。

【0027】

画像処理装置１００は、例えば、一のカメラ２００によって撮影された、撮影時刻が十分に同じ時刻とみなすことが可能な撮影画像３１０、撮影画像３２０、及び撮影画像３３０を当該カメラ２００から取得する。撮影時刻が十分に同じ時刻とみなすことが可能な撮影画像３１０、撮影画像３２０、及び撮影画像３３０とは、カメラ２００によってほぼ同時に撮影された撮影画像３１０、撮影画像３２０、及び撮影画像３３０であってよい。撮影時刻が十分に同じ時刻とみなすことが可能な撮影画像３１０、撮影画像３２０、及び撮影画像３３０とは、カメラ２００によって連写された撮影画像３１０、撮影画像３２０、及び撮影画像３３０であってよい。

【0028】

画像処理装置１００は、例えば、並べて配置された複数のカメラ２００によって撮影された、撮影時刻が同時、又は撮影時刻が十分に同じ時刻とみなすことが可能な撮影画像３１０、撮影画像３２０、及び撮影画像３３０を当該カメラ２００から取得する。撮影時刻が同時の撮影画像３１０、撮影画像３２０、及び撮影画像３３０とは、複数のカメラ２００が同期して撮影した撮影画像３１０、撮影画像３２０、及び撮影画像３３０であってよい。

【0029】

複数のカメラ２００による撮影は、画像処理装置１００の制御の元で実行されてよい。また、複数のカメラ２００による撮影は、１人又は複数人が手動で行うことによって実現されてもよい。複数のカメラ２００は、対象範囲を同様にとらえられるように、複数のカメラ２００同士の間隔と、対象範囲からの距離とが調整されてよい。

【0030】

漁網２４の動きの速度は、魚２２の動きの速度よりも遅いことから、図２及び図３に示す例において、撮影画像３１０には、魚２２、漁網２４、及び固定物体２６の全てが含まれ、撮影画像３２０には、魚２２が含まれず、漁網２４及び固定物体２６が含まれ、撮影画像３３０には、漁網２４が含まれずに、魚２２及び固定物体２６が含まれている。

【0031】

画像処理装置１００は、例えば、撮影画像３１０のうち撮影画像３２０との差分が予め定められた閾値より少ない部分を、撮影画像３１０から除去する。画像処理装置１００は、撮影画像３１０の各画素の画素値と、撮影画像３２０の各画素の画素値との差分を閾値と比較することによって、撮影画像３１０のうち撮影画像３２０との差分が予め定められた閾値より少ない部分を特定してよい。当該閾値として、変化していない部分が、当該部分として特定されないような値が設定されてよい。当該閾値として、対象物が動いていない場合の変化は閾値内に含まれ、対象物が動いているときには閾値を超えるような値が設定されてよい。当該閾値は、変更可能であってもよい。当該除去処理によって、漁網２４が除去された結果画像４１０を生成することができる。

【0032】

画像処理装置１００は、例えば、撮影画像３１０のうち撮影画像３３０との差分が予め定められた閾値より少ない部分を、撮影画像３１０から除去する。画像処理装置１００は、撮影画像３１０の各画素の画素値と、撮影画像３３０の各画素の画素値との差分を閾値と比較することによって、撮影画像３１０のうち撮影画像３３０との差分が予め定められた閾値より少ない部分を特定してよい。当該除去処理によって、魚２２が除去された結果画像４２０を生成することができる。

【0033】

図４は、画像処理装置１００の機能構成の一例を概略的に示す。画像処理装置１００は、記憶部１０２、登録部１０４、カメラ制御部１０６、撮影画像取得部１０８、除去処理部１１０、出力制御部１１２、学習データ生成部１１４、学習実行部１１６、抽出処理部１１８、及び速度推定部１２０を備える。なお、画像処理装置１００がこれらの全てを備えることは必須とは限らない。

【0034】

記憶部１０２は、各種情報を記憶する。例えば、記憶部１０２は、複数種類の被写体のそれぞれに対応するシャッタースピードを含む被写体ＳＳ（Ｓｈｕｔｔｅｒ Ｓｐｅｅｄ）情報を記憶する。被写体に対応するシャッタースピードとは、当該被写体を除去するためのシャッタースピードであってよい。例えば、記憶部１０２は、異なる動きの速度のそれぞれに対応するシャッタースピードを含む速度ＳＳ情報を記憶する。動きの速度に対応するシャッタースピードとは、当該動きの速度の被写体を除去するためのシャッタースピードであってよい。

【0035】

登録部１０４は、各種情報を登録して記憶部１０２に記憶させる。例えば、登録部１０４は、被写体ＳＳ情報を登録する。登録部１０４は、入力された被写体ＳＳ情報を登録してよい。被写体ＳＳ情報は、人手によって生成されたり、他の装置によって生成されたりしてよい。

【0036】

登録部１０４は、被写体ＳＳ情報を生成してもよい。例えば、登録部１０４は、複数種類の被写体を識別可能な情報を含み、複数種類の被写体の動きの速度が変化するシンセティックデータを用いて、被写体ＳＳ情報を生成する。登録部１０４は、例えば、シンセティックデータに対して、異なるシャッタースピードで撮影した場合の複数の画像をデータ処理によって生成する。登録部１０４は、例えば、シンセティックデータに対して、仮想的な撮影を実行することによって、シャッタースピードが異なる複数の画像を生成する。登録部１０４は、生成した複数の画像同士の除去処理を実行することによって、どのシャッタースピードによって、どの被写体が除去されるかを特定することによって、被写体ＳＳ情報を生成する。

【0037】

例えば、登録部１０４は、速度ＳＳ情報を登録する。登録部１０４は、入力された速度ＳＳ情報を登録してよい。速度ＳＳ情報は、人手によって生成されたり、他の装置によって生成されたりしてよい。

【0038】

登録部１０４は、速度ＳＳ情報を生成してもよい。例えば、登録部１０４は、被写体の動きの速度の情報を含み、被写体の動きの速度が変化するシンセティックデータを用いて、速度ＳＳ情報を生成する。登録部１０４は、例えば、シンセティックデータに対して、異なるシャッタースピードで撮影した場合の複数の画像をデータ処理によって生成する。登録部１０４は、例えば、シンセティックデータに対して、仮想的な撮影を実行することによって、シャッタースピードが異なる複数の画像を生成する。登録部１０４は、生成した複数の画像同士の除去処理を実行することによって、どのシャッタースピードによって、どの動きの速度の被写体が除去されるかを特定することによって、速度ＳＳ情報を生成する。

【0039】

カメラ制御部１０６は、対象範囲を撮影可能な一のカメラ２００を制御してよい。カメラ制御部１０６は、対象範囲を異なるシャッタースピードで連続して撮影するようにカメラ２００を制御してよい。カメラ制御部１０６は、対象範囲を異なるシャッタースピードで連写するようにカメラ２００を制御してよい。カメラ制御部１０６は、画像処理装置１００のユーザ等によって指定されたシャッタースピードで撮影を実行するようにカメラ２００を制御してよい。画像処理装置１００のユーザ等は、記憶部１０２に記憶されている被写体ＳＳ情報又は速度ＳＳ情報を参考にして、シャッタースピードを指定し得る。

【0040】

カメラ制御部１０６は、対象範囲を撮影可能な複数のカメラ２００を制御してよい。カメラ制御部１０６は、複数のカメラ２００に、撮影タイミングを合わせて、異なるシャッタースピードで対象範囲を撮影させるよう制御してよい。カメラ制御部１０６は、例えば、同時刻を示す撮影指示を複数のカメラ２００に送信する。カメラ制御部１０６は、例えば、同じタイミングで撮影指示を複数のカメラ２００に送信する。カメラ制御部１０６は、画像処理装置１００のユーザ等によって指定されたシャッタースピードで撮影を実行するように、それぞれのカメラ２００を制御してよい。画像処理装置１００のユーザ等は、記憶部１０２に記憶されている被写体ＳＳ情報又は速度ＳＳ情報を参考にして、シャッタースピードを指定し得る。

【0041】

撮影画像取得部１０８は、対象範囲を異なるシャッタースピードで撮影した複数の撮影画像を取得する。撮影画像取得部１０８は、一のカメラ２００によって撮影された、対象範囲を異なるシャッタースピードで撮影した複数の撮影画像を、当該一のカメラ２００から取得してよい。撮影画像取得部１０８は、複数のカメラ２００によって撮影された、対象範囲を異なるシャッタースピードで撮影した複数の撮影画像を、当該複数のカメラ２００から取得してよい。

【0042】

除去処理部１１０は、撮影画像取得部１０８が取得した複数の撮影画像同士の組み合わせについて、一方の撮影画像のうち他方の撮影画像との差分が予め定められた閾値より少ない部分を、一方の撮影画像から除去した画像を生成する。除去処理部１１０は、生成した画像を記憶部１０２に記憶させる。

【0043】

撮影画像取得部１０８は、例えば、対象範囲を第１のシャッタースピードで撮影した第１撮影画像と、当該対象範囲を第１のシャッタースピードよりも遅い第２のシャッタースピードで撮影した第２撮影画像とを取得する。撮影画像取得部１０８は、対象範囲を第２のシャッタースピードよりも遅い第３のシャッタースピードで撮影した第３撮影画像を取得してよい。

【0044】

第１のシャッタースピードは、対象範囲における複数種類の被写体のすべてが除去されないシャッタースピードであってよい。第２のシャッタースピードは、第１の被写体に対応するシャッタースピードであってよい。第２のシャッタースピードは、第１の被写体の動きの速度に対応するシャッタースピードであってよい。第１の被写体の動きの速度に対応するシャッタースピードとは、動いている第１の被写体が画像に残らないシャッタースピードであってよい。

【0045】

第３のシャッタースピードは、第１の被写体とは動きの速度が異なる第２の被写体に対応するシャッタースピードであってよい。第３のシャッタースピードは、第２の被写体の動きの速さに対応するシャッタースピードであってよい。第２の被写体の動きの速さに対応するシャッタースピードとは、動いている第２の被写体が画像に残らないシャッタースピードであってよい。

【0046】

除去処理部１１０は、第１撮影画像のうち第２撮影画像との差分が予め定められた閾値より少ない部分を、第１撮影画像から除去した画像を生成する。除去処理部１１０は、第１撮影画像のうち第２撮影画像との差分が予め定められた閾値より少ない部分を、第１撮影画像から除去することによって、第１撮影画像から第１の被写体を抽出した画像を生成してよい。除去処理部１１０は、第１撮影画像のうち第３撮影画像との差分が予め定められた閾値より少ない部分を、第１撮影画像から除去することによって、第１撮影画像から第２の被写体を抽出した画像を生成してよい。

【0047】

出力制御部１１２は、除去処理部１１０によって生成され、記憶部１０２に記憶された画像を出力するよう制御する。例えば、出力制御部１１２は、除去処理部１１０によって生成された画像を画像処理装置１００のディスプレイに表示出力する。例えば、出力制御部１１２は、除去処理部１１０によって生成された画像を他の装置に対して送信出力する。

【0048】

学習データ生成部１１４は、学習データを生成する。学習データ生成部１１４は、対象範囲を撮影した撮影画像から特定の被写体を抽出するニューラルネットワークをディープラーニングにより学習させるための学習データを生成してよい。

【0049】

学習データ生成部１１４は、複数種類の被写体を識別可能な情報を含み、複数種類の被写体の動きの速度が変化するシンセティックデータを用いて、学習データを生成してよい。学習データ生成部１１４は、シンセティックデータを用いて、対象範囲を異なるシャッタースピードで撮影した場合の複数の画像と、当該複数の画像のそれぞれに対応するシャッタースピードと、被写体の種類を識別可能な被写体情報とを含む学習データを、複数生成してよい。具体例として、学習データ生成部１１４は、魚と、漁網と、固定物体とを含む生簀であって、魚及び漁網の動きの速度が変化するシンセティックデータを用いて、生簀における対象範囲を異なるシャッタースピードで撮影した場合の複数の画像と、当該複数の画像のそれぞれに対応するシャッタースピードと、画像内における魚、漁網、及び固定物体を識別可能な被写体識別情報とを含む学習データを複数生成する。

【0050】

学習実行部１１６は、対象範囲を撮影した複数の撮影画像から特定の被写体を抽出するニューラルネットワークをディープラーニングにより学習させる。学習実行部１１６は、学習データ生成部１１４によって生成された学習データを用いた学習によって、当該ニューラルネットワークをディープラーニングによって学習させてよい。学習実行部１１６は、例えば、撮影画像から魚だけを抽出するニューラルネットワークを学習させる場合に、学習データのうちの、魚だけが抽出された画像を正解データとして学習させる。

【0051】

学習実行部１１６は、例えば、撮影画像から漁網だけを抽出するニューラルネットワークを学習させる場合に、学習データのうちの、漁網だけが抽出された画像を正解データとして学習させる。また、学習実行部１１６は、魚だけを抽出するニューラルネットワークに対して、転移学習を実行することによって、撮影画像から漁網だけを抽出するニューラルネットワークを学習させてもよい。

【0052】

学習実行部１１６は、他の装置によって生成された学習データを用いた学習によって、ニューラルネットワークをディープラーニングによって学習させてもよい。学習実行部１１６は、学習済みのニューラルネットワークを記憶部１０２に記憶させる。

【0053】

抽出処理部１１８は、学習実行部１１６による学習済みニューラルネットワークを用いて、対象範囲を撮影した複数の撮影画像から、特定の被写体を抽出した画像を生成する。抽出処理部１１８は、例えば、撮影画像から魚だけを抽出するニューラルネットワークを用いて、一のカメラ２００によって連続的に撮影された複数の撮影画像や、複数のカメラ２００によって撮影された複数の撮影画像から、魚だけを抽出した画像を生成する。

【0054】

抽出処理部１１８は、生成した画像を記憶部１０２に記憶させる。出力制御部１１２は、抽出処理部１１８によって生成された画像を出力するよう制御する。例えば、出力制御部１１２は、抽出処理部１１８によって生成された画像を画像処理装置１００のディスプレイに表示出力する。例えば、出力制御部１１２は、抽出処理部１１８によって生成された画像を他の装置に対して送信出力する。

【0055】

速度推定部１２０は、撮影画像取得部１０８が取得した、動くことが可能な複数種類の被写体が含まれる対象範囲を異なるシャッタースピードで撮影した複数の撮影画像を用いて、複数種類の被写体のそれぞれの動きの速度を推定する。速度推定部１２０は、複数の撮影画像のそれぞれについて、他の撮影画像との差分が予め定められた閾値より少ない部分を除去することによって残存する被写体及び削除される被写体を特定し、特定結果に基づいて、複数種類の被写体のそれぞれの動きの速度を推定してよい。

【0056】

上述したように、ある速度で動く被写体は、あるシャッタースピードで撮影した場合に、撮影画像に残らない。したがって、あるシャッタースピードで撮影した場合に、ある被写体が撮影画像に残らなかった場合、当該被写体は、当該シャッタースピードに対応する速度で動いていることになる。当該速度と当該シャッタースピードとの関係は、多量のデータを解析することによって特定可能であり、学習によっても特定可能であり、人の経験によっても特定可能であり得る。速度推定部１２０は、これらのいずれかによって特定された関係を示す関係データを予め格納してよく、当該データを用いて、速度を推定してよい。

【0057】

図５は、画像処理装置１００による処理の流れの一例を概略的に示す。ここでは、カメラ２００によって継続的に撮影される撮影画像から特定の被写体を抽出した画像を生成する場合の処理の流れを説明する。

【0058】

ステップ（ステップをＳと省略して記載する場合がある。）１０２では、登録部１０４が、条件を登録する。登録部１０４は、画像処理装置１００のユーザによる指示に従って条件を登録してよい。登録部１０４は、例えば、抽出する対象となる被写体を登録する。

【0059】

Ｓ１０４では、カメラ制御部１０６が、カメラ２００の制御を開始する。カメラ制御部１０６は、基準シャッタースピードと、Ｓ１０２において登録された被写体に対応するシャッタースピードとで、対象範囲を継続的に撮影するようにカメラ２００を制御してよい。

【0060】

被写体の動く速度が時系列に変化する場合、カメラ制御部１０６は、基準シャッタースピードと、被写体の動く速度の範囲に対応する複数の異なるシャッタースピードとで、対象範囲を継続的に撮影するようにカメラ２００を制御してよい。一のカメラ２００を用いる場合、カメラ制御部１０６は、シャッタースピードを変化させながら連写するようにカメラ２００を制御してよい。複数のカメラ２００を用いる場合、カメラ制御部１０６は、複数カメラ２００のうちの１つに基準シャッタースピードを設定し、他の複数のカメラ２００に、複数のシャッタースピードのそれぞれを設定してよい。

【0061】

Ｓ１０６では、撮影画像取得部１０８が、カメラ２００によって撮影された撮影画像を取得する。Ｓ１０８では、除去処理部１１０が、除去処理を実行する。除去処理部１１０は、基準シャッタースピードで撮影した撮影画像と、複数の異なるシャッタースピードで撮影した撮影画像との間で除去処理を実行することによって、複数の画像を生成してよい。これにより比較的高い確率で、生成した複数の画像のうちの少なくともいずれかが、対象となる被写体が抽出された画像となる。

【0062】

Ｓ１１０では、処理を終了するか否かを判定する。画像処理装置１００は、例えば、画像処理装置１００のユーザによる終了指示を受領した場合に、終了すると判定する。処理を終了すると判定した場合、カメラ制御部１０６が、カメラ２００に撮影を停止させて、処理を終了する。処理を終了しないと判定した場合、Ｓ１０６に戻る。

【0063】

図６は、画像処理装置１００による処理の流れの一例を概略的に示す。ここでは、カメラ２００によって撮影された撮影画像に含まれる複数種類の被写体の速度を推定する処理の流れを説明する。

【0064】

Ｓ２０２では、カメラ制御部１０６が、対象範囲を異なるシャッタースピードで撮影するようにカメラ２００を制御し、撮影画像取得部１０８が、カメラ２００によって撮影された、シャッタースピードの異なる撮影画像を取得する。カメラ制御部１０６は、一のカメラ２００に、シャッタースピードを変化させながら、基準シャッタースピードと、他の複数のシャッタースピードで撮影を行わせてよい。カメラ制御部１０６は、複数のカメラ２００のうちの１つのカメラ２００に基準シャッタースピードを設定し、他の複数のカメラ２００のそれぞれに異なるシャッタースピードを設定して、撮影を行わせてもよい。

【0065】

Ｓ２０４では、速度推定部１２０が、Ｓ２０２において取得された複数の撮影画像のそれぞれについて、他の撮影画像との差分が予め定められた閾値より少ない部分を除去することによって残存する被写体及び削除される被写体を特定し、特定結果に基づいて、複数種類の被写体のそれぞれの動きの速度を推定する。速度推定部１２０は、基準シャッタースピードで撮影された撮影画像と、他の複数のシャッタースピードで撮影された複数の撮影画像との間で除去処理を実行して、残存する被写体及び削除される被写体を特定してよい。速度推定部１２０は、特定結果と、動きの速度とシャッタースピードとの関係を示す関係データとによって、複数種類の被写体の速度を推定してよい。

【0066】

Ｓ２０８では、出力制御部１１２が、Ｓ２０６における推定結果を出力する。例えば、出力制御部１１２は、推定結果を、画像処理装置１００のディスプレイに表示出力させる。これにより、画像処理装置１００のユーザ等に、対象範囲に含まれる被写体の動きの速度を知得させることができる。

【0067】

図７は、画像処理装置１００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００を、本実施形態に係る装置の１又は複数の「部」として機能させ、又はコンピュータ１２００に、本実施形態に係る装置に関連付けられるオペレーション又は当該１又は複数の「部」を実行させることができ、及び／又はコンピュータ１２００に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。

【0068】

本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、ＲＡＭ１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブは、ＤＶＤ－ＲＯＭドライブ及びＤＶＤ－ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ１２００はまた、ＲＯＭ１２３０及びキーボードのようなレガシの入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。

【0069】

ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ１２１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。

【0070】

通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。ＤＶＤドライブは、プログラム又はデータをＤＶＤ－ＲＯＭ等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。

【0071】

ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／又はコンピュータ１２００のハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをＵＳＢポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。

【0072】

プログラムは、ＤＶＤ－ＲＯＭ又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ１２００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。

【0073】

例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ－ＲＯＭ、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

【0074】

また、ＣＰＵ１２１２は、記憶装置１２２４、ＤＶＤドライブ（ＤＶＤ－ＲＯＭ）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。

【0075】

様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

【0076】

上で説明したプログラム又はソフトウエアモジュールは、コンピュータ１２００上又はコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。

【0077】

本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。

【0078】

コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

【0079】

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。

【0080】

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

【0081】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0082】

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0083】

１０ システム、２２ 魚、２４ 漁網、２６ 固定物体、１００ 画像処理装置、１０２ 記憶部、１０４ 登録部、１０６ カメラ制御部、１０８ 撮影画像取得部、１１０ 除去処理部、１１２ 出力制御部、１１４ 学習データ生成部、１１６ 学習実行部、１１８ 抽出処理部、１２０ 速度推定部、３１０ 撮影画像、３２０ 撮影画像、３３０ 撮影画像、４１０ 結果画像、４２０ 結果画像、１２００ コンピュータ、１２１０ ホストコントローラ、１２１２ ＣＰＵ、１２１４ ＲＡＭ、１２１６ グラフィックコントローラ、１２１８ ディスプレイデバイス、１２２０ 入出力コントローラ、１２２２ 通信インタフェース、１２２４ 記憶装置、１２３０ ＲＯＭ、１２４０ 入出力チップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】