特開 2022-40912 検出装置および検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022040912

(43)【公開日】2022-03-11

(54)【発明の名称】検出装置および検出方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220304BHJP

   G03B 15/00 20210101ALI20220304BHJP

【ＦＩ】

H04N5/232 300

H04N5/232 939

H04N5/232 935

G03B15/00 Q

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2020145849

(22)【出願日】2020-08-31

(71)【出願人】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100109209

【弁理士】

【氏名又は名称】小林 一任

(72)【発明者】

【氏名】神田 和男

(72)【発明者】

【氏名】羽田 和寛

(72)【発明者】

【氏名】福谷 佳之

(72)【発明者】

【氏名】志村 和彦

(72)【発明者】

【氏名】小林 美里

(72)【発明者】

【氏名】野中 修

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122EA42

5C122FK23

5C122FK28

5C122FK41

5C122GA34

5C122GC14

5C122GC52

5C122HA46

5C122HA48

5C122HB01

5C122HB05

(57)【要約】

【課題】画像を見る人に意図を伝えやすくできるように、撮影の意図や目的等、撮影者のアプローチや画像の伝えるものを検出できるようにした検出装置および検出方法を提供する。
【解決手段】画像撮影に先立つ、または撮影中において、撮影者によって対象物を検出する際の操作情報を取得し（Ｓ２１）、この取得した操作情報に基づいて、撮影画像の撮影意図を検出している（Ｓ２３）。また、撮影者による操作情報は、撮影用に行われた複数の操作のうち支配的な操作である。
【選択図】 図４

【特許請求の範囲】

【請求項1】

画像撮影に先立つ、または撮影中において、撮影者によって対象物を撮影するに至るまでの操作情報を取得する操作情報取得ステップと、
上記操作情報取得ステップにおいて取得した上記操作情報に基づいて、撮影画像の撮影意図を検出する意図検出ステップと、
を有することを特徴とする検出方法。

【請求項2】

上記操作情報取得ステップは、撮影に至るまでの撮像結果の変化情報を更に取得し、
上記意図検出ステップは、上記変化情報も用いて、上記撮影意図を検出する、
ことを特徴とする請求項１に記載の検出方法。

【請求項3】

上記操作情報取得ステップは、撮影に至るまでの撮影者のカメラワークによって撮影範囲内にいれたものと、撮影範囲から排除したものとの情報を更に取得し、
上記意図検出ステップは、上記撮影範囲にいれたものと、排除したものとの差異に基づいて、上記撮影意図を検出する、
ことを特徴とする請求項１に記載の検出方法。

【請求項4】

上記撮影者による上記操作情報は、撮影用に行われた複数の操作のうち支配的な操作であることを特徴とする請求項１に記載の検出方法。

【請求項5】

上記意図検出ステップにおいて、上記対象物と上記撮影者による上記操作情報に基づくデータベースの検索、または推論モデルを用いた推論に基づいて、上記撮影意図を検出することを特徴とする請求項１に記載の検出方法。

【請求項6】

上記撮影者による上記操作情報は、テキスト化した情報、または操作ログであることを特徴とする請求項１に記載の検出方法。

【請求項7】

上記操作情報取得ステップにおいて、上記対象物を検出する際には、主被写体の大きさを検出することを特徴とする請求項１に記載の検出方法。

【請求項8】

上記操作情報取得ステップにおいて、上記対象物を検出する際には、主被写体をテキスト情報にすることを特徴とする請求項１に記載の検出方法。

【請求項9】

上記撮影者による上記操作情報は、操作をテキスト情報にすることを特徴とする請求項１に記載の検出方法。

【請求項10】

上記操作情報取得ステップは、画像撮影時の撮影対象情報を更に取得し、
上記意図検出ステップは、上記撮影対象情報も用いて、上記撮影意図を検出する、
ことを特徴とする請求項１に記載の検出方法。

【請求項11】

画像撮影に先立つ、または撮影中において、撮影者によって対象物を撮影するに至るまでの操作情報を取得する操作情報取得部と、
上記操作情報取得部において取得した上記操作情報に基づいて、撮影画像の撮影意図を検出する意図検出部と、
を有することを特徴とする検出装置。

【請求項12】

さらに、上記撮影画像を取得するための撮像部と、
上記撮像部によって取得した上記撮影画像を表示する表示部と、
を有し、
上記表示部には、上記意図検出部によって検出した撮影意図を表示することを特徴とする請求項１１に記載の検出装置。

【請求項13】

撮影画像の取得時における「撮影時操作情報をテキスト化した結果」と、当該画像の「撮影対象物をテキスト化した結果」をアンド条件で検索し、この検索によって収集された画像に対し、その画像を修飾する単語をアノテーションすることによって作成された教師データを用いて学習することによって生成され、画像を入力すると、上記単語を意図として推論することを特徴とする推論モデル。

【請求項14】

上記テキスト化した結果に代えて、各種スイッチ類の操作、パラメータ変更の操作、カメラの姿勢等を符号化したデータを使用することを特徴とする請求項１３に記載の推論モデル。

【請求項15】

撮影画像の中から「意図」情報に基づいて検索し、この検索された画像に、上記「意図」をアノテーションすることによって作成された教師データを用いて学習することによって生成され、画像を入力すると意図を推論することを特徴とする推論モデル。

【請求項16】

画像撮影に先立つ、または撮影中において、撮影者によって対象物を撮影に至るまでの操作情報を取得する操作情報取得部と、
上記操作情報取得部において取得した上記操作情報に基づいて、撮影画像の撮影意図を検出する意図検出部と、
を有することを特徴とする検出システム。

【請求項17】

画像撮影に先立つ、または撮影中において、撮影者によって対象物を撮影するに至るまでの操作情報を取得する操作情報取得ステップと、
上記操作情報取得ステップにおいて取得した上記操作情報に基づいて、撮影画像の撮影意図を検出する意図検出ステップと、
を検出システム内のコンピュータに実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影画像について、撮影者の撮影意図を検出することができるようにした検出装置および検出方法に関する。

【背景技術】

【0002】

教育用に、顔の表情が示す感情を理解するための学習支援装置が提案されている。この学習支援装置は、表示部に表示した画像が示す内容について、ユーザ判断を受け付け、ユーザ判断の正誤を判定している（特許文献１参照）。また、被写体画像の顔部分等の特徴部分を検出し、その中から主被写体を特定するにあたって、ユーザが意図する被写体を学習によって推測して自動的に主被写体として決定するようにしたカメラが開示されている（特許文献２参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００６－３３０１７３号公報

【特許文献2】特開２０１３－１６５３２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示の学習支援装置は、画像が示す内容について判断しているが、撮影の際の撮影者の意図については何ら触れられてない。また、特許文献２に開示のカメラは、ユーザの意図を推測して自動的に主被写体を決定することは記載されている。しかし、意図は主被写体を決定するために使用されるだけであって、撮影画像の鑑賞者は、撮影画像からどのような意図のもとに撮影された画像であるかについては分からない。このため、芸術的意図のある撮影画像の場合には鑑賞者に理解されなかったり、また学問的、研究的、科学的意図のある撮影の画像の場合には、学問的、研究的、科学的価値が減少してしまったりする場合もあった。

【0005】

本発明は、このような事情を鑑みてなされたものであり、画像を見る人に意図を伝えやすくできるように、撮影の意図や目的等、撮影者のアプローチや画像の伝えるものを検出できるようにした検出装置および検出方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため第１の発明に係る検出方法は、画像撮影に先立つ、または撮影中において、撮影者によって対象物を撮影するに至るまでの操作情報を取得する操作情報取得ステップと、上記操作情報取得ステップにおいて取得した上記操作情報に基づいて、撮影画像の撮影意図を検出する意図検出ステップと、を有する。

【0007】

第２の発明に係る検出方法は、上記第１の発明において、上記操作情報取得ステップは、撮影に至るまでの撮像結果の変化情報を更に取得し、上記意図検出ステップは、上記変化情報も用いて、上記撮影意図を検出する。
第３の発明に係る検出方法は、上記第１の発明において、上記操作情報取得ステップは、撮影に至るまでの撮影者のカメラワークによって撮影範囲内にいれたものと、撮影範囲から排除したものとの情報を更に取得し、上記意図検出ステップは、上記撮影範囲にいれたものと、排除したものとの差異に基づいて、上記撮影意図を検出する。

【0008】

第４の発明に係る検出方法は、上記第１の発明において、上記撮影者による上記操作情報は、撮影用に行われた複数の操作のうち支配的な操作である。
第５の発明に係る検出方法は、上記第１の発明において、上記意図検出ステップにおいて、上記対象物と上記撮影者による上記操作情報に基づくデータベースの検索、または推論モデルを用いた推論に基づいて、上記撮影意図を検出する。

【0009】

第６の発明に係る検出方法は、上記第１の発明において、上記撮影者による上記操作情報は、テキスト化した情報、または操作ログである。
第７の発明に係る検出方法は、上記第１の発明において、上記操作情報取得ステップにおいて、上記対象物を検出する際には、主被写体の大きさを検出する。

【0010】

第８の発明に係る検出方法は、上記第１の発明において、上記操作情報取得ステップにおいて、上記対象物を検出する際には、主被写体をテキスト情報にする。
第９の発明に係る検出方法は、上記第１の発明において、上記撮影者による上記操作情報は、操作をテキスト情報にする。
第１０の発明に係る検出方法は、上記第１の発明において、上記操作情報取得ステップは、画像撮影時の撮影対象情報を更に取得し、上記意図検出ステップは、上記撮影対象情報も用いて、上記撮影意図を検出する。

【0011】

第１１の発明に係る検出装置は、画像撮影に先立つ、または撮影中において、撮影者によって対象物を撮影するに至るまでの操作情報を取得する操作情報取得部と、上記操作情報取得部において取得した上記操作情報に基づいて、撮影画像の撮影意図を検出する意図検出部と、を有する。
第１２の発明に係る検出装置は、上記第１１の発明において、さらに、上記撮影画像を取得するための撮像部と、上記撮像部によって取得した上記撮影画像を表示する表示部と、を有し、上記表示部には、上記意図検出部によって検出した撮影意図を表示する。

【0012】

第１３の発明に係る推論モデルは、撮影画像の取得時における「撮影時操作情報をテキスト化した結果」と、当該画像の「撮影対象物をテキスト化した結果」をアンド条件で検索し、この検索によって収集された画像に対し、その画像を修飾する単語をアノテーションすることによって作成された教師データを用いて学習することによって生成され、画像を入力すると、上記単語を意図として推論することを特徴とする推論モデル。
第１４の発明に係る推論モデルは、上記第１３の発明において、上記テキスト化した結果に代えて、各種スイッチ類の操作、パラメータ変更の操作、カメラの姿勢等を符号化したデータを使用する。
第１５の発明に係る推論モデルは、撮影画像の中から「意図」情報に基づいて検索し、この検索された画像に、上記「意図」をアノテーションすることによって作成された教師データを用いて学習することによって生成され、画像を入力すると意図を推論する。

【0013】

第１６の発明に係る検出システムは、画像撮影に先立つ、または撮影中において、撮影者によって対象物を撮影に至るまでの操作情報を取得する操作情報取得部と、上記操作情報取得部において取得した上記操作情報に基づいて、撮影画像の撮影意図を検出する意図検出部と、を有する。
第１７の発明に係るプログラムは、画像撮影に先立つ、または撮影中において、撮影者によって対象物を撮影するに至るまでの操作情報を取得する操作情報取得ステップと、上記操作情報取得ステップにおいて取得した上記操作情報に基づいて、撮影画像の撮影意図を検出する意図検出ステップと、を検出システム内のコンピュータに実行させる。

【発明の効果】

【0014】

本発明によれば、画像を見る人に意図を伝えやすくできるように、撮影の意図や目的等、撮影者のアプローチや画像の伝えるものを検出できるようにした検出装置および検出方法を提供することができる。

【図面の簡単な説明】

【0015】

【図1A】本発明の一実施形態に係る検出システムの主として電気的構成を示すブロック図である。

【図1B】本発明の一実施形態に係る検出システムの主として電気的構成を示すブロック図である。

【図2A】本発明の一実施形態に係る検出システムにおける学習の仕方を示す図である。

【図2B】本発明の一実施形態に係る検出システムにおいて、表示部に撮影者の意図を示した図である。

【図3】本発明の一実施形態に係る検出システムにおけるユーザ意図判定用推論モデルの作成の動作を示すフローチャートである。

【図4】本発明の一実施形態に係る検出システムにおける画像記録の動作を示すフローチャートである。

【図5】本発明の一実施形態に係る検出システムにおける意図等判定ＤＢの例を示す図である。

【発明を実施するための形態】

【0016】

以下、本発明の一実施形態として検出システムに本発明を適用した例について説明する。これまで、画面内の対象物をＡＩ（人工知能）によって検出し、撮影画面内のいずれかの被写体にピントを合わせるかを判定することが知られている（例えば、前述の特許文献２参照）。しかし、撮影後に、撮影画像を再生した際に、撮影者の意図までは分からなかった。本実施形態は、撮影行為等によって取得され、記録された画像が、どのような意図や目的を持って撮影・記録されたものであるかを検出する。撮影者の意図は、主観的なものが多く、科学的なものであっても、画像の中で何を優先するかによって見せ方を変えるなど、人為的でありまた慣習的なものも多く、客観的に一義的に決定することが困難であった。

【0017】

撮影シーンの判定やオートフォーカスのピント合わせ情報は、客観的な事実情報である。しかし、撮影者の意図や目的は、画面を分析することによって判明する画面内のエリア分類等とは異なり、画像取得時における操作者としての対象物へのアプローチをファクターとし、この要素を考慮に入れた分析が必要となる。また、撮影者の意図や目的は、最終的には撮影者の確認がなされたり、他の人が見た時に期待するものや感想・コメント等が反映され、追加されたり修正されたりする場合もある。この意見や感想が、次の撮影に反映されることもあるので、あながち個人の主観と言い切れないところもある。科学分野では、同様の撮影結果が得られなければ、相互の研究結果の比較参照が行われ難くなることから、流儀的に同様の撮影結果が求められることもある。これも同様に複数の研究者共同の意思なり意図なりが蓄積された結果といえる。

【0018】

画像がインターネット等によって世界中で閲覧が容易になってくると、そこに映っているものが何かという疑問に加え、何のために撮ったのか、また撮影意図は何かといったような疑問にも答えられる画像になっていることが好ましい。本実施形態は、見る人に意図を伝えやすい画像を記録できるように撮影の意図や目的等、撮影者のアプローチや画像の伝えるものを主観的に表したものを判定できるようにしている。

【0019】

図１Ａおよび図１Ｂを用いて、本発明の一実施形態に係る検出システムについて、説明する。この検出システムは、撮像装置１０、スマートフォン２０、ＳＮＳサーバ３０、学習サーバ４０、検索サーバ５０を有する。この検出システムは、撮像装置１０によって取得した画像を、スマートフォン２０やＳＮＳサーバ３０において画像シェアすることを想定している。スマートフォン２０やＳＮＳサーバ３０は、画像シェアするための機器として例示したものであり、適宜取捨選択してもよい。また、ＳＮＳサーバ３０は、ソーシャル・ネットワーキング・サービス提供用のサーバであり、また学習サーバ４０は推論モデルを生成し、また検索サーバ５０は、検索用サーバであるので、これらは、別々の機器でなく、一部を同一の機器がその機能を有してもよく、またその機能を取捨選択しても良い。

【0020】

撮像装置１０は、カメラ等の専用の撮影機材を想定しているが、撮像部を有するスマートフォン等の撮影機能を有する装置であってもよい。撮像装置１０は、制御部１１、撮像部１２、表示部１３、操作部１４記録部１５、時計部１８、通信部１９を有する。

【0021】

撮像部１２は、光学レンズ、撮像素子、撮像素子制御回路、撮像信号処理回路等を有し、画像を画像データに変換する。撮像部１２は、操作部１４からの撮影指示（レリーズ釦の全押し操作）に応じて被写体像を取得する。なお、撮像装置としてスマートフォンを用いる場合には、近年、複数の撮像部を搭載する傾向にあり、それらが連携してもよく、或いは複数の中から単独のものを利用してもよく、また撮像装置１０の外部にある撮像部と連携してもよい。撮像部１２は、撮影画像を取得するための撮像部として機能する（例えば、図４のＳ２１参照）。スマートフォンやその周辺機器は様々な無線通信で相互に交信が可能で、カメラとも通信が可能な場合がある。このような状況下では、撮影中に連携していた機器のセンサ情報などを用いてカメラワーク情報の補助としてもよい。例えば、スマートフォンのカメラで撮影者の表情や姿勢などを捉えた結果等をカメラワークの情報に加えてもよい。

【0022】

表示部１３は、表示用のディスプレイ等を有する。このディスプレイには、撮像部１２によって取得されたスルー画像（ライブビュー画像とも言う）と、記録部１５に記録された画像の再生画像等が表示される。また、後述する意図判定部１１ｂによって判定された撮影者の撮影意図等を表示してもよい。表示部１３は、撮像部によって取得した撮影画像を表示する表示部として機能する（例えば、図４のＳ２１参照）。表示部には、意図検出部によって検出した撮影意図が表示される（例えば、図２Ｂ、図４のＳ２３参照）。

【0023】

操作部１４は、撮像装置１０上に配置された各種釦、ダイヤル、リング、レバー、タッチパネル等の操作部材と、これらの操作部材の操作状態を検知する各種センサと、インターフェース回路等を有する。音声で操作する場合も想定しており、その場合はマイクや音声認識部などを利用する。画像センサを用意しておき、ジャスチャーによって入力したり、加速度センサ等を用意しておき、振動によって操作したりすることを想定してもよい。これらも操作部１４として機能する。また、外部からの無線信号、リモコン信号によって操作してもよく、この場合には、信号を受信して、特定の操作として判定する部分が操作部１４として機能する。センサによって検知された操作部材の操作状態信号は、制御部１１に出力される。操作部１４は、ユーザの指示等を入力するインターフェースとしての機能を果たす。操作部１４はレリーズ釦を有する。撮影者が表示部１３に表示されたスルー画像を確認し、構図やシャッタタイミングと判断すると、レリーズ釦によって撮影指示操作を行う。撮影指示がなされると、制御部１１は撮像部１２に記録用画像データを取得させ、この画像データは画像処理回路によって記録用の画像処理が施された後、記録部１５内の画像記録部１５ａに画像ファイルとして記録される。

【0024】

また、操作部１４は、露出値を調整するためのダイヤル等の設定部材と、ピント調整の操作部材、焦点距離調整用のズーム環等の操作部材等の操作部材も含む。さらに、操作部１４は、撮像装置１０の姿勢（縦横の姿勢を含む）等を検出するセンサを有する。

【0025】

また、操作部１４内にはカメラワーク入力部１４ａが設けられている。カメラワーク入力部１４ａは、上述の操作部材の操作状態や、検出センサの検出結果を入力する。撮影時（撮影に先立つタイミングおよび撮影中を含む）に、撮影者は、自分の意図、目的の画像が記録できるように、露出、ピント、画像処理などの調整、つまり撮影パラメータや、画角や対象物となす角度や背景とのバランスなどを考慮してのカメラワークを行う。本明細書では、対象物へのアプローチ方法をカメラワークと呼ぶ。カメラワーク入力部１４ａは、撮像装置１０の姿勢（縦横を含む）や、スイッチ等の操作状態を検出する。広義には、如何に撮影されるかを調整するためのパラメータ調整操作等もカメラワークに入る。この操作がないとピントや露出や画角などが正しく設定されずアプローチすらできなくなるからである。アプローチは「達する」という意味もあるので、確認のみならず仕上がりまでを想定してもよく、その場合、後述するように、画質調整や特殊効果を含む画像処理調整操作等も、カメラワークに含まれる。

【0026】

カメラワーク入力部１４ａは、画像撮影に先立つ、または撮影中において、撮影者によって対象物を撮影するに至るまでの操作情報を取得する操作情報取得部として機能する（例えば、図４のＳ２１参照）。この操作情報取得部は、撮影に至るまでの撮像結果の変化情報を更に取得する。また、操作情報取得部は、撮影に至るまでの撮影者のカメラワークによって撮影範囲内にいれたものと、撮影範囲から排除したものとの情報を取得する。なお、操作情報取得部の機能は、カメラワーク入力部１４ａに限らず、操作・画像分析部１１ａが有するようにしてもよく、またカメラワーク入力部１４ａと操作・画像分析部１１ａが協働して実現するようにしてもよい。

【0027】

「カメラワーク」は、画面内の所定の位置に背景その他とのバランスを考えながら主被写体を収めるまでの行為を表す言葉として使用される場合もあり、いわば、撮影者によって対象物を撮影するに至るまでの操作と言える。ズーム、トリミング、パンニング、撮影地点変更などが代表的なカメラワークと言え、カメラワークによって対象物とその他のものの切り分け（画面に収めるか否か）や、撮影対象物をどのような方向から撮ろうとしたか、背景をどのように処理しようとしたか、最も単純には、背景が重要な要素なのか否か等を判定できる。

【0028】

また、カメラワークのうち、対象物を画面内に収めるまでを、対象物アプローチとか対象物アクセスと表現する場合もある。この主被写体を収めるまでの行為に加えて、さらに前述の露出や画角やピントや画像処理などの調整操作までのカメラワーク情報を取得する操作情報取得ステップにおいては、撮影者がその撮影に至るまでの様々な試みや試行錯誤が、撮影者の意図を類推するにふさわしい操作情報が得られる。この操作情報取得ステップにおいて取得した操作情報に基づいて、撮影画像の撮影意図を検出することが可能となる。

【0029】

撮影され、あるいは記録された画像（失敗して消去される場合や、操作過程を仮記録するだけの場合もあるためこう表現した）は、それに先立って撮影された画像や、ライブビューなどで確認された画像（これを仮記録しておけばよい）と比較することによって、撮影者が何を主に狙っていたか、また、どの部分を画像に収め、どこを画面の外に出して収めなかったか、また、どこにピントを合わせようとしていたか、またどのように露出や画像処理を調整したか等の情報が得られる。これらの画面変化は、そのままテキストに書き出すと、「意図」と呼べるものとなる。もちろん、近年のＩｏＴ技術の進化の環境下では、様々な装置やシステムの連携がユーザに対して様々な便宜を図りうるということから導入が進んでいるので、前述のような撮影に先立つタイミングで行われた、カメラなど撮影機器以外の関連機器、システムの操作情報や環境情報を適宜、参照してもよいことは言うまでもない。図１Ａ、図１Ｂのようなシステム図では、こうした様々な機器との関連を具体的な例とし図示している。

【0030】

カメラワーク入力部１４ａは、画像撮影に先立つ、または撮影中において、撮影者によって対象物を検出する際の操作情報を取得する操作情報取得ステップを実現する（図４のＳ２１参照）。上述の操作情報は、撮影用に行われた複数の操作のうち支配的な操作である。また、撮影者による操作情報は、数値化されたたり、テキスト化されたりした情報、またはフラグや所定の表形式等によって整理された操作ログである。この操作ログは装置やシステムが与える時間情報と関連付けて記録してもよく、撮影に先立つタイミングや実際に撮影が行われた時刻等に関連付けて判定できるようにしてもよい。このような操作情報は、標準化や一定の示し合わせや規格公開などで企業や業界、国を超えて解釈や利用が可能になれば、この操作情報と撮影画像を利用して、様々な機会に意図判定が可能となる。

【0031】

すなわち、カメラワーク入力部１４ａ等は、操作部１４に操作された情報を一旦テキストに変換した後に、操作情報として入力してもよく、またスイッチ類やセンサ等によって入力されたデータを、スイッチ等を符号化し、テキスト化し、また表の項目として扱うことによって、そのまま操作ログとして入力してもよい。一例として、操作スイッチを表形式の項目にして、それがどのタイミング（撮影時刻を基準にするなど）で操作されたかが分かるように表の内容として記載してもよい。また、操作の量がダイヤルやタッチスライドその他のインターフェースで判定できる場合は、その量も記録できるようにする。もちろん、単純にスイッチやダイヤル、パネルなどの操作量では、操作の分解能やレンジが機器によって異なるので、大小というあいまいな記述であってもよいし、その操作で何がどうなったかをテキスト等で記載してもよい。これは画面遷移も同様で、撮影前の画像データを画素的、時間的に間引きなどしてすべて記録してもよいし、変化を動きベクトルを用いて抽象化してもよいし、ピント合わせ候補ポイントの数の増減や対象物の色や面積（画面内に占める割合とかそこからわかる実空間での大きさ）や位置の変化を数値化してもよいし、撮影対象物を判定した結果をテキストや数字に変更して記録してもよい。あるいは、そこから読みとれる意図候補をテキストなり表形式なりで記録して撮影時にそれを選択したり、総合的に判断したりして確定してもよい。

【0032】

撮影者による操作情報は、操作をテキスト情報にしている場合がイメージしやすく説明しやすいので、以下の説明では、それを想定した説明をしている場合がある。操作情報は、例えば、主な操作、撮影者が操作による画面内における対象物や背景など、画面内の画像表現を確認しながら行った操作等である。さらに、具体的な操作情報としては、２倍ズームした、右に１０度振った、露出をプラスに補正した、中央の対象物の動きに追従している、といったようにテキストに書き下して記録してもよい。この場合、構文情報でテキスト記載や解釈が出来るパーサ機能を有してもよいし、決まった情報のみ選択して記録するならその機能を省くことが出来る。ただし、テキスト記載の情報をシステム内に有し、ネットワークによってその機能を借用する方法もありえる。

【0033】

また、上述の操作情報取得ステップにおいて、対象物を検出する際には、主被写体の大きさを検出する。主被写体の大きさは、撮影者の意図に関係することがあるので、対象物を検出した際には、大きさも併せて検出するようにしている（例えば、図４のＳ２１、図５参照）。また、上述の操作情報取得ステップにおいて、対象物を検出する際には、主被写体をテキスト情報にする。対象物は撮影者の撮影意図に関係することがあるので、対象物をテキストに変換することによって、意図を検出し易くしている（例えば、図５参照）。

【0034】

時計部１８は、計時回路やカレンダー回路を有し、計時結果や時計情報（日時情報）を出力する。時計部１８が出力する時計情報は、撮影の際や、またカメラワーク入力部１４ａが操作状態や検出センサの検出結果を入力する際に、一緒に取得される。

【0035】

通信部１９は、近距離通信用の通信回路を有し、スマートフォン内の機器通信部２４と、データ等の送受信を行う。スマートフォン２０内の機器通信部２４およびネット通信部２５を通じて、ＳＮＳサーバ３０や、学習サーバ４０と、データの送受信を行うことができる。なお、通信部１９がネット通信部を有し、直接ネットサーバ３０や学習サーバ４０と通信を行うようにしてもよい。

【0036】

制御部１１は、ＣＰＵ（Central Processing Unit）や、プログラムを記憶したメモリや、周辺回路を有するプロセッサである。制御部１１は、撮像装置１０内の各部の全体制御を行う。撮像装置１０の撮像装置としての主要な機能は、ユーザの操作に従って撮像素子からの撮像情報を表示してユーザに見えるようにしてカメラワークを行いやすいようにしたり、ユーザのスイッチやダイヤルやタッチパネルの操作に従って、対応する所定の撮影パラメータを変更しての制御を行ったりすることである。このような制御は制御部１１が、予め内蔵されているプログラムに従って実行する。また撮影の操作に従って撮像素子からの情報を記録したり、再生の操作に従って撮影され記録された画像の再生表示を行ったりするが、こうした制御もまた制御部１１が行う。

【0037】

この制御部１１は記録部１５との制御機能を記録制御部１１ｄとして有するので、こうした撮影時、あるいはそれに先立つユーザの操作やカメラワークを判定して、必要に応じて時計部１８の経時結果やその他のセンサ出力などと共に、どのような操作がどのようなタイミングで行われたかを記録しておくことが出来る。この「どのような操作」というのは、どの機能（例えば撮影パラメータなど）を、どれくらいの量で調整したかを検出したものである。

【0038】

制御部１１は、操作画像分析部１１ａ、意図判定部１１ｂ、通信制御部１１ｃ、および記録制御部１１ｄを有する。これらの各部は、制御部１１内のＣＰＵによってソフトウエア的に実現され、一部は制御部１１内のハードウエア回路によって実現される。しかし、これに限らず、全てをソフトウエアによって実現してもよく、また全てをハードウエア回路によって実現してもよい。

【0039】

操作・画像分析部１１ａは、時計部１８から出力される時計情報を用いて、どのタイミングで何がどのように操作されたかをカメラワーク記録部１５ｄに記録する。操作情報を記録しておくことによって、どのタイミングで撮影した画像が、どのような素性のものかを判定できる。撮影者が画面内のどの部分にあるものを追跡でき、どの操作を多く行い、どの操作を撮影前に決定的操作として行ったか等を記録しておく。

【0040】

操作・画像分析部１１ａは、順光、逆光状態も含めて、あるいは画像の移り変わりまでを含めて判定してもよい。このため、操作・画像分析部１１ａは、操作部１４における操作以外の情報、例えば、画像の変化や、画像内の明るい部分の配置や、方位センサや加速度センサなどの情報も取得する。なお、操作・画像分析部１１ａは、ピント位置や画角情報を取得し、対象物の距離や大きさ等についても検出可能にしておく。なお、カメラワークは広義にパラメータ変更なども含めた広い概念で説明する場合がある。

【0041】

また、カメラワークは、撮像装置１０内の信号としては、単に、各センサデータの移り変わりでしかない。そこで、制御部１１は、操作部１４等によって取得した操作部１４の操作データと、操作以外のデータを、後述する記録部１５内のカメラワーク記録部１５ｄに記録しておき、操作・画像分析部１１ａは、カメラワーク記録部１５ｄに記録されたデータに基づいて、撮影者がどのような制御を行ったかを判定する。この時、各センサにＩＤを設けたり、その性能を併記したりして、何のデータがどう変化したかを管理しやすくしてもよい。

【0042】

カメラワーク記録部１５ｄは、信号と操作名テキスト情報とを関連付けて記憶しておき、操作・画像分析部１１ａは、上述の関連付けた情報に基づいて、どのような制御をしているかをテキストで判定可能としてもよい。また、カメラワーク記録部１５ｄには、操作した時の信号の変化をそのまま記録しておき、この記録に基づいて、どのような制御をしていたかを判定してもよい。

【0043】

また、ＤＢ１５ｂは、撮影対象物検出用の辞書データベース等を記憶していてもよく、その場合には、操作・画像分析部１１ａは、この辞書データベースを用いて、対象物が何であるかを検出してもよい。この辞書の出力はテキストデータであってもよいし、何等かの符号化されたものであってもよい。テキスト化して画像と一緒に参酌可能に記録しておけば、インターネットなどで自然言語検索の技術などが発達している現状にマッチさせることができる。また、この辞書は対象物の名称や違いを分析する機能のみならず、それがいくつあるか、どこにあるか、その大きさや色や形状などの特徴等を判定できる機能を具備してもよい。顔検出であれば、性別、年齢、表情や健康状態までを判定する事が可能になっている。また、操作・画像分析部１１ａは、対象物距離を参考に対象物の大きさを判定してもよく、また、色の情報や、撮影者が追い続けたものの情報に基づいて主被写体を判定し、他のものは背景に分類する等、画像のセグメンテーションを行っても良い。このように、操作・画像分析部１１ａは、被写体が何であり、それを撮影するまでに行われた操作の情報を分析することができる。

【0044】

意図判定部１１ｂは、操作・画像分析部１１ａによって検出された、撮影画像に写っているものや、撮影時の操作履歴や、あるいは主要操作に基づいて、撮影者の撮影時の意図を判定する。撮影者の撮影意図の判定にあたっては、後述するように、学習サーバ４０に作成された推論モデルを用いてもよい。この場合には、意図判定部１１ｂは推論エンジン（後述するニューラル・ネットワークを含む）を有し、操作・画像分析部１１ａによる分析結果を、推論エンジンに入力し、撮影者の意図を推論する。意図判定部１１ｂによって判定された撮影者の撮影意図は、意図記録部１５ｃに記録される。または画像記録部１５ａに記録される画像データと、意図判定部１１ｂによって判定された撮影意図を一緒に記録しておいてもよい。さらに、画像データと撮影意図と一緒にカメラワーク情報（テキスト化したデータであってもよく、またセンサデータのままでもよい）を一緒に記録した画像ファイルを生成し、記録部１５にしておいてもよい。

【0045】

また、意図判定部１１ｂは、図５に示すような意図等判定データベース（「意図・目的判定データベース」とか、「対象物アプローチデータベース」と言い換えてもよい）を検索することによって、撮影意図を判定してもよい。意図等判定データベースには、撮影の対象物と、撮影操作に基づいて、撮影意図がどのようなものであるかについて記録されている。撮像装置１０内に、このようなデータベースを記録しておき、検索意図を検索するか、または外部の検索サーバ５０によって、撮影意図を検索してもよい。

【0046】

意図判定部１１ｂは、操作情報取得部において取得した上記操作情報に基づいて、撮影画像の撮影意図を検出する意図検出部として機能する（例えば、図４のＳ２１参照）。意図判定部１１ｂは、操作情報取得ステップにおいて取得した操作情報に基づいて、撮影画像の撮影意図を検出する意図検出ステップを実現する（例えば、図４のＳ２３参照）。この意図検出ステップにおいては、対象物と撮影者による操作情報に基づくデータベースの検索、または推論モデルを用いた推論に基づいて、撮影意図を検出する。意図検出は、後述する図２Ａ等において説明する推論モデルを用いてもよく、また検索サーバ５０等によって、図５に示すような意図等判定用データベースから撮影意図を検索してもよい。

【0047】

通信制御部１１ｃは、通信部１９によるスマートフォン２０との通信を制御する。通信制御部１１ｃは、記録部１５の画像記録部１５ａに記録されている画像データ、意図記録部１５ｃに記録されている撮影意図、カメラワーク記録部１５ｄに記録されているカメラワーク情報の全部または一部を、機器通信部２４を通じてスマートフォン２０に送信する。この場合、画像データ、撮影意図、およびカメラワーク情報を別々に送信してもよく、これらの情報を一緒に生成した画像ファイルの形式で送信してもよい。画像データおよびカメラワークのみを送信してもよく、この場合には、スマートフォン２０において撮影意図を判定する。

【0048】

後述するように、スマートフォン２０に送信されたこれらのデータや情報の全部または一部は、さらに、スマートフォン２０が、ＳＮＳサーバ３０、学習サーバ４０、検索サーバ５０に送信することができる。ＳＮＳサーバ３０に送信された画像ファイルは、ＳＮＳサーバ内のクラウドに保存され、他の人とシェアされることが可能となる。さらに、ＳＮＳサーバ３０経由で学習サーバ４０に送信された画像ファイルに基づいて、推論モデルが生成される。

【0049】

記録制御部１１ｄは、撮像部１２が取得した撮影画像を記録部１５内の画像記録部１５ａに記録する制御を行う。また記録制御部１１ｄは、カメラワーク入力部１４ａが取得したカメラワーク情報を記録部１５内のカメラワーク記録部１５ｄに記録する制御を行う。また記録制御部１１ｄは、意図判定部１１ｄが判定した撮影者の撮影意図を、記録部１５内の意図記録部１５ｃに記録する制御を行う。なお、前述したように、これらの情報・データは、一緒にして画像ファイルに生成し、記録部１５に記録するようにしてもよい。また、別々の記録する場合には、関連するデータ同士を関連付けるためのデータを付与しておく。

【0050】

記録部１５は、電気的に書き換え可能な不揮発性メモリであり、データ・情報の記録領域として、画像記録部１５ａ、ＤＢ部１５ｂ、意図記録部１５ｃ、カメラワーク記録部１５ｄを有する。記録部１５内の各部については、前述したので、詳しい説明は省略する。

【0051】

スマートフォン２０は、モバイル向けオペレーティングシステムを備えた携帯電話であり、制御部２１、操作部２２、表示部２３、機器通信部２４、ネット通信部２５を有する。なお、スマートフォン２０は、ＳＮＳサーバ３０、学習サーバ４０等とデータや情報のやり取りができればよいので、スマートフォン以外にも、例えば、パーソナルコンピュータでもよく、またタブレット端末等の携帯端末でもよい。

【0052】

操作部２２は、スマートフォン２０に設けられた各種スイッチや釦類や、タッチパネル等の操作部材と、これらの操作部材の操作状態を検知するセンサ等を有する。センサによって検知された操作部材の操作状態信号は、制御部２１に出力される。操作部２２は、ユーザの指示等を入力するインターフェースとしての機能を果たす。

【0053】

表示部２３は、表示用のディスプレイ等を有する。このディスプレイには、スマートフォン２０自体の機能に基づく表示、例えばスマートフォンのモード等を設定するためのメニュー画面等が表示される。また、表示部２３には、撮像装置１０の通信部１９から送信されてきた画像等も表示される。また、撮像装置１０から送信されてきた撮影画像に撮影者の意図や目的などの撮影アプローチに関する情報が添付されていた場合には、この撮影画像と一緒に撮影者の撮影の意図や目的などの撮影アプローチも表示してもよい。

【0054】

機器通信部２４は、近距離用通信回路を有し、撮像装置１０内の通信部１９と通信を行う。機器通信部２４を通じて、撮像装置１０内の記録部１５に記録されている画像データやカメラワークデータや、意図判定結果等が送信されてくる。

【0055】

ネット通信部２５は、ネットワーク等の通信網に接続し、データや情報等の通信が可能な通信回路を有する。ネット通信部２５は、ＳＮＳサーバ３０内のネット通信部３４および学習サーバ４０内のネット通信部４９と、データや情報等の通信が可能である。

【0056】

制御部２１は、ＣＰＵ（Central Processing Unit）や、プログラムを記憶したメモリや、周辺回路を有するプロセッサである。制御部２１は、スマートフォン２０内の各部の全体制御を行う。制御部２１は、意図判定部２１ａ、および通信制御部２１ｂを有する。これらの各部は、制御部２１内のＣＰＵによってソフトウエア的に実現され、一部は制御部２１内のハードウエア回路によって実現される。しかし、これに限らず、全てをソフトウエアによって実現してもよく、また全てをハードウエア回路によって実現してもよい。

【0057】

意図判定部２１ａは、撮像装置１０から送信されてきた画像データと、この画像データに関連付けられたカメラワーク情報等に基づいて、撮影者の撮影時の意図を判定する。この意図判定は、撮像装置１０内の意図判定部１１ｂと同様に行ってもよい。撮像装置１０から送信されてきた画像データに撮影者の意図に関する情報が添付されている場合には、この意図判定を省略してもよい。意図判定部２１ａによる判定された撮影者の撮影の意図や目的等の撮影アプローチは、撮影画像を学習サーバに表示する際に併せて表示してもよい。

【0058】

通信制御部２１ｂは、機器通信部２４およびネット通信部２５における通信を制御する。通信制御部２１ｂは、撮像装置１０から送信されてきたデータ・情報等に応じて、ＳＮＳサーバ３０に送信するものと、学習サーバ４０に送信するものに分けて、送信の制御を行う。また、学習サーバ４０によって生成された推論モデルを受信すると、撮像装置１０に送信する。

【0059】

なお、スマートフォン２０内にも撮像部を設け、撮影画像を取得するようにしてもよい。この場合、操作部２２内にカメラワーク判定部を設け、制御部２１内に操作・画像分析部を設け、さらにカメラワーク記録部や画像記録部等を設ければ、意図判定部２１が撮像装置１０と同様に、撮影画像の撮影者の意図を判定することができる。

【0060】

ＳＮＳサーバ３０は、ソーシャル・ネットワーキング・サービス用のサーバであり、ＳＮＳサーバ３０に格納された画像データやテキストは、個人間でシェアされ、コミュニケーションとして使用される。ＳＮＳサーバ３０内には、制御部３１、操作判定部３２、表示制御部３３、ネット通信部３４、記録部３５を有する。

【0061】

操作判定部３２は、ユーザがＳＮＳサーバ３０にアクセスするに当たって行った各種の操作を判定する。例えば、画像データやテキストデータがアップロードする操作がなされたか、またアップロードされた画像やテキストデータの閲覧要求がなされたか等を判定する。操作判定部３２が判定したユーザの操作情報は、制御部３１に送られ、制御部３１はユーザの操作に応じた処理を実行する。

【0062】

表示制御部３３は、スマートフォン２０や撮像装置１０等の表示部に、記録部３５に記録されているコンテンツ（画像データやテキストデータ等）表示させるための表示制御を行う。

【0063】

ネット通信部３４は、ネットワーク等の通信網に接続し、データや情報等の通信が可能な通信回路を有する。ネット通信部３４は、スマートフォン２０内のネット通信部２５、学習サーバ４０内のネット通信部４９、および検索サーバ５０内のネット通信部４９と、データや情報等の通信が可能である。

【0064】

記録部３５は、電気的書き換え可能な不揮発性メモリであり、ユーザがネット通信部３４を通じてアップロードしたコンテンツ（画像データやテキストデータ）を記録する。撮像装置１０内の意図判定部１１ｃまたはスマートフォン２０内の意図判定部２１ａによって判定された、撮影者の撮影の意図に関する情報が画像データに関連付けられている場合には、その意図に関する情報も併せて記録される。スマートフォン２０等から画像データの閲覧要求があった場合に、撮影意図も記録されている場合には、この情報も併せて送信する。送信する際に、表示制御部３３は、撮影意図も表示されるように表示データの制御を行う。

【0065】

制御部３１は、ＣＰＵ（Central Processing Unit）や、プログラムを記憶したメモリや、周辺回路を有するプロセッサである。制御部３１は、ＳＮＳサーバ３０内の各部の全体制御を行う。制御部３１は、コンテンツ整理部３１ａ、意図判定部３２ｂ、および通信制御部３１ｃを有する。これらの各部は、制御部３１内のＣＰＵによってソフトウエア的に実現され、一部は制御部３１内のハードウエア回路によって実現される。しかし、これに限らず、全てをソフトウエアによって実現してもよく、また全てをハードウエア回路によって実現してもよい。

【0066】

コンテンツ整理部３１ａは、スマートフォン２０から送信されてきた画像データやテキストデータ等のコンテンツを整理し、整理したコンテンツを記録部３５に記録する。

【0067】

意図判定部３１ｂは、スマートフォン２０から送信されてきた画像データと、この画像データに関連付けられたカメラワークデータ等に基づいて、撮影者の撮影時の意図を判定する。カメラワーク情報等が関連付けられていない場合には、意図判定部３１ｂは、画像からカメラワークを判定し、この判定したカメラワークに基づいて、撮影者の意図を判定しても良い。意図判定は、撮像装置１０内の意図判定部１１ｂと同様に行ってもよい。スマートフォン２０から送信されてきた画像データに撮影者の意図に関するデータが添付されている場合には、この意図判定を省略してもよい。

【0068】

通信制御部３１ｃは、ネット通信部３４における通信を制御する。通信制御部３１ｃは、スマートフォン２０から画像データ等のコンテンツがアップロードされた場合には、記録部３５にコンテンツの記録を制御する。また、スマートフォン２０からコンテンツの閲覧要求があった場合には、要求のあったコンテンツを読み出し、スマートフォン２０に送信する。通信制御部３１ｃは、スマートフォン２０から送信されてきたデータ・情報等に応じて、学習サーバ４０に送信するものと、検索サーバ５０に分けて、送信の制御を行う。また、学習サーバ４０によって生成された推論モデルを受信すると、スマートフォン２０に送信する。

【0069】

学習サーバ４０は、意図判定部１１ｂ、２１ａ、３１ｂ等において行う、撮影者の撮影の意図を推論するための推論モデルを生成する。推論モデルは、深層学習等の機械学習によって生成され、生成された推論モデルを推論エンジンに設定し、推論エンジンにデータを入力することによって、推論結果を得ることができる。なお、学習サーバ４０は、学習を行うための単独のサーバに限らず、ＳＮＳサーバ３０や検索サーバ５０内に設けてもよく、また複数の機能も有するサーバ内に設けられていても良い。

【0070】

学習サーバ４０は、制御部４１、推論モデル作成部４２、テストデータ確認部４３、取捨選択部４４、記録部４５、意図導出部４６、カメラワーク判定部４７、およびネット通信部４９を有する。

【0071】

制御部４１は、ＣＰＵ（Central Processing Unit）や、プログラムを記憶したメモリや、周辺回路を有するプロセッサである。制御部４１は、学習サーバ４０内の各部の全体制御を行う。制御部４１の動作は、制御部４１内のＣＰＵによってソフトウエア的に実現され、一部は制御部４１内のハードウエア回路によって実現される。しかし、これに限らず、全てをソフトウエアによって実現してもよく、また全てをハードウエア回路によって実現してもよい。

【0072】

推論モデル作成部４２は、ニューラル・ネットワークを有し、教師データを用いて、推論モデルを作成する。教師データは、撮像装置１０によって取得された撮影画像や、検索サーバ５０によって検索された撮影画像を取得し（一旦、記録部４５に記憶される）、カメラワーク判定部４７がこれらの撮影画像についてカメラワークを判定し、意図導出部４６が撮影画像の意図を導出することによって、作成することができる。推論モデルを作成の際に、テストデータ確認部４３に記録されているテストデータを用いて、推論モデルの信頼性を確認し、信頼性が所定値より高ければ、推論モデルとして、撮像装置１０、スマートフォン２０、ＳＮＳサーバ３０内の意図判定部１１ｂ、２１ａ、３１ｂに送信する。

【0073】

テストデータ確認部４３は、推論モデル作成部４２において作成された推論モデルの信頼性を確認する。テストデータは、記録部４５に記憶されており、推論モデルの入力用データと、推論結果のペアで構成されている。このテストデータは、撮像装置１０によって撮影画像が取得された際に、撮影者によってカメラワーク情報や撮影意図等の情報が関連付けらえた画像データを用いて行う（図２Ａの写真６７参照）。テストデータ確認部４３は、推論モデル作成部４２によって作成された推論モデルを用いて推論した結果が、テストデータの推論結果とどのくらい一致するかによって、信頼性を判定する。

【0074】

取捨選択部４４は、検索サーバ５０等から取得した画像データ等の取捨選択を行う。この取捨選択部４４は、推論モデル作成部４２において使用する教師データを作成する際に、テストデータ確認部４３によって信頼性を確認し、この信頼性結果に応じて、教師データの取捨選択を行う。また推論モデルを生成するにあたって適した母集合を作成するために、適宜、画像データ等の取捨選択を行う。

【0075】

記録部４５は、電気的に書き換え可能な不揮発性メモリであり、画像データ、カメラワーク、およびテストデータ等を記憶している。画像データは検索サーバ５０や撮像装置１０等から収集し、記憶する。カメラワークは、撮像装置１０から収集した場合にカメラワークに関する情報が一緒に記憶されていれば、その情報を記憶し、カメラワークに関する情報がない場合には、カメラワーク判定部４７によって判定されたカメラワークを記憶する。テストデータは、教師用データとして、予め準備したデータである。

【0076】

意図導出部４６は、画像とカメラワークから撮影の意図等を導出する。画像が撮影されるまでに行われた操作等のカメラワークが分かれば、撮影者がどのような意図で撮影を行ったかが分かる。例えば、広角側からズーミングによってある被写体をアップで撮影し場合や、カメラを移動しながらある被写体に近づいていった場合には、その被写体を撮影したいという意図がはっきりする。また、露出補正等によって、ある被写体を意図的にオーバ露光にした場合やアンダ露光に設定した場合があれば、その被写体や背景のコントラストやヒストグラムの変化を見ることによって、それらがどのように表現したかったか、暗い部分に見せたいものがあったとか、明るい部分に見せたいものがあったとか、どの部分を犠牲にしてどの部分により重きを置いたかなどが意図として判定できる。

【0077】

単に、「撮影者はこの部分が適正な露出で撮影できるところ、あえて、そこは黒くしましたとか、明るくしました」等を記録してあるだけでも、後で、同様の撮影を行う人には参考にすることが出来る。その意味では、撮影前に試行錯誤があった方が、情報は豊かになる。このように、撮影に至る前に、どんな画像であったのか、またこの画像に対して撮影者が積極的な操作で、あえてこのような画像となるように撮影した、という情報は有効である。このことから、撮影前に、長時間、撮影者が試行錯誤したり、同じ構図でありながら画面の隅々や対象物のありようを確認したり、いわば、手間や時間をかけた時の前後の画像変化が意図判定情報となる。この手間や時間は適当な所定の時間（数秒とか、平均した時間より長いとか）で判定すればよい。

【0078】

さらに、近年はＨＤＲや深度合成など、様々な複数枚画像を使った撮影技法があり、これらの機能の利用も、明瞭に撮影者の意図を伝えるものである。「すべての部分を判別しやすくした」という情報が記録できれば、想定の効果を奏することが出来る。意図導出部４６が導出した意図は、画像データに関連付けて、記録部４５に記憶される。

【0079】

カメラワーク判定部４７は、画像からカメラワークを判定する。最終的な画像からカメラワークを判定することは容易ではないが、例えば、連写画像であれば、その撮影経過が明らかである。また、主被写体を検出できた場合、画面内の位置から主被写体を撮影するまでのカメラワークが想像できる場合もある。このように、決定的瞬間を逃さないように静止画を連写しながら、そうはいっても構図の微調整などを行うべくカメラワークを変えていくことや、表現を変えるべくパラメータを変えていくこともある。この場合には、撮影中のカメラワーク（パラメータ変更を含んでもよい）判定や、その時得られた画像によって、撮影者の意図が検出できる例となる。なお、ここでは、静止画の例で説明をしているが、動画であっても、静止画の連続と考えればよい。つまり、パラメータを変更しながらカメラワークを行う様子をライブビュー中ではなく、動画の撮影中にも判定可能なので同様の考え方が応用できるため、本願は動画にも応用可能である。

【0080】

ネット通信部４９は、ネットワーク等の通信網に接続し、データや情報等の通信が可能な通信回路を有する。ネット通信部４９は、スマートフォン２０内のネット通信部２５、ＳＮＳサーバ３０内のネット通信部３４、および検索サーバ５０内のネット通信部５９と、データや情報等の通信が可能である。

【0081】

検索サーバ５０は、学習サーバ４０が推論モデル作成の際に使用する画像データ等を剣するサーバである。なお、検索サーバ５０は、検索を行うための単独のサーバに限らず、ＳＮＳサーバ３０や学習サーバ４０内に設けてもよく、また複数の機能も有するサーバ内に設けられていても良い。検索サーバ５０は、内部に制御部５１、検索部５２、ネット通信部５９を有する。

【0082】

ネット通信部５９は、ネットワーク等の通信網に接続し、データや情報等の通信が可能な通信回路を有する。ネット通信部５９は、ＳＮＳサーバ３０内のネット通信部３４、および学習サーバ４０内のネット通信部４９と、データや情報等の通信が可能である。

【0083】

制御部５１は、ＣＰＵ（Central Processing Unit）や、プログラムを記憶したメモリや、周辺回路を有するプロセッサである。制御部５１は、検索サーバ５０内の各部の全体制御を行う。制御部５１の動作は、制御部５１内のＣＰＵによってソフトウエア的に実現され、一部は制御部５１内のハードウエア回路によって実現される。しかし、これに限らず、全てをソフトウエアによって実現してもよく、また全てをハードウエア回路によって実現してもよい。

【0084】

検索部５２は、ネット通信部５９を通じて、他のＳＮＳサーバ等に記録されている画像データの中から、学習サーバ４０が作成する推論モデルの生成のための画像データ等を検索し、収集する。検索部５２が検索し、収集した画像データ等の集合体は、ネット通信部５９を通じて学習サーバ４０に送信する。検索サーバ５０は、画像データを収集するにあたって、学習サーバ４０から画像データの条件を指示してもらい、この条件に従って画像データを検索するとよい。

【0085】

また、検索部５２は、図５に示すような意図等判定データベースを記憶しておき、撮像装置１０、スマートフォン２０、ＳＮＳサーバ３０等の意図判定部から送信されてきた対象物と撮影者操作に基づいて、撮影意図を検索してもよい。

【0086】

このように、本実施形態においては、意図判定部１１ｃは、撮影画像に写っているものと、その撮影時の操作履歴、あるいは主要操作から、画像撮影時の撮影者の意図を判定することが出来る。判定された意図は画像と一緒に記録しておいてもよい。またカメラワーク（テキスト化でもセンサデータでも）を画像データと同じファイルに記録しておき、この画像ファイルを、例えばスマートフォン２０に転送した時に、意図判定部２１ａが、これらの情報に基づいて、意図判定部１１ｂと同様の考え方で意図を判定することができる。

【0087】

さらに、画像とカメラワークのデータがＳＮＳサーバ３０においてクラウド保存（記録部３５参照）されたり、シェアされたりした際に、意図判定部３１ｂが画像の意図を判定して表示することが可能となる。また、クラウド接続がなされた時には、クラウドのネットワークに配置された学習サーバ４０が、先の画像と操作結果を有する画像を収集し、この収集した画像から教師データを作成し、この教師データを用いた機械学習によって、画像とカメラワークから意図を推論する推論モデルを生成することもできる。

【0088】

検索サーバ５０は、特定のキーワードを入力すると、対応する文字情報や画像情報を探し出す機能を有する検索エンジン５２を搭載したものを想定しており、撮影ノウハウ情報なども集めることが出来る。後述する図５に示すようなデータベース（ＤＢ）も、この検索サーバ５０が検索し、収集した情報に基づいて形成することができる。

【0089】

次に、図２Ａを用いて、意図判定部１１ｂにおいて、撮影画像の意図を推論する際に使用される推論モデルの生成について説明する。

【0090】

図２Ａにおける推論モデルの生成を説明する前に、深層学習について、説明する。「深層学習（ディープ・ラーニング）」は、ニューラル・ネットワークを用いた「機械学習」の過程を多層構造化したものである。情報を前から後ろに送って判定を行う「順伝搬型ニューラル・ネットワーク」が代表的なものである。順伝搬型ニューラル・ネットワークは、最も単純なものでは、Ｎ１個のニューロンで構成される入力層、パラメータで与えられるＮ２個のニューロンで構成される中間層、判別するクラスの数に対応するＮ３個のニューロンで構成される出力層の３層があればよい。入力層と中間層、中間層と出力層の各ニューロンはそれぞれが結合加重で結ばれ、中間層と出力層はバイアス値が加えられることによって、論理ゲートを容易に形成できる。

【0091】

ニューラル・ネットワークは、簡単な判別を行うのであれば３層でもよいが、中間層を多数にすることによって、機械学習の過程において複数の特徴量の組み合わせ方を学習することも可能となる。近年では、９層～１５２層のものが、学習にかかる時間や判定精度、消費エネルギーの観点から実用的になっている。また、画像の特徴量を圧縮する、「畳み込み」と呼ばれる処理を行い、最小限の処理で動作し、パターン認識に強い「畳み込み型ニューラル・ネットワーク」を利用してもよい。また、より複雑な情報を扱え、順番や順序によって意味合いが変わる情報分析に対応して、情報を双方向に流れる「再帰型ニューラル・ネットワーク」（全結合リカレントニューラルネット）を利用してもよい。

【0092】

これらの技術を実現するために、ＣＰＵやＦＰＧＡ（Field Programmable Gate Array）等の従来からある汎用的な演算処理回路を使用してもよい。しかし、これに限らず、ニューラル・ネットワークの処理の多くが行列の掛け算であることから、行列計算に特化したＧＰＵ（Graphic Processing Unit）やTensor Processing Unit（TPU）と呼ばれるプロセッサを利用してもよい。近年ではこのような人工知能（ＡＩ）専用ハードの「ニューラル・ネットワーク・プロセッシング・ユニット（ＮＰＵ）」がＣＰＵ等その他の回路とともに集積して組み込み可能に設計され、処理回路の一部になっている場合もある。

【0093】

その他、機械学習の方法としては、例えば、サポートベクトルマシン、サポートベクトル回帰という手法もある。ここでの学習は、識別器の重み、フィルター係数、オフセットを算出するものあり、これ以外にも、ロジスティック回帰処理を利用する手法もある。機械に何かを判定させる場合、人間が機械に判定の仕方を教える必要がある。本実施形態においては、画像の判定を、機械学習によって導出する手法を採用したが、そのほか、人間が経験則・ヒューリスティクスによって獲得したルールを適応するルールベースの手法を用いてもよい。

【0094】

本実施形態においては、推論モデルは、学習サーバ４０（学習装置と言っても良い）において生成される。学習サーバ４０はクラウド上の写真（画像）６１を収集する。また、その画像がメタデータとして有している、撮影を行うまでの操作データ（カメラワーク）情報と、画像データとから、教師用データを作成する。この教師用データには、撮影意図をアノテーションしておく。撮影意図については、タイトルやテーマや用途（これらを総称的にタイトル等６３と称す）が付されている画像を用意し、タイトル等６３から撮影意図を分析する。

【0095】

画像データとカメラワークを合わせたデータに、撮影意図をアノテーションして教師用データを作成する。教師用データが作成すると、これを使用して学習を行う。学習は、推論モデル作成部４２内に設けられたネットワーク・デザイン６５を用いて行う。

【0096】

ネットワーク・デザイン６５は、入力層と出力層の間に中間層（ニューロン）が配置されている。入力層には、上述のクラウド上で収集された写真６１（カメラワーク情報を含む）が入力される。なお、写真６１は、クラウド上の方が多くのテキスト付データ（タイトル付きデータを含む）が集まるが、クラウド以外で収集された画像であっても勿論かまわない。また、カメラワーク情報は、ＳＮＳテキストの文脈からカメラワーク情報を判定可能であれば、この情報で代用しても勿論かまわない。

【0097】

ネットワーク・デザイン６５の中間層としては、何層かのニューロンが配置されている。ニューロンの層の数は設計上適宜決められ、また各層におけるニューロンの数も設計上適宜決められる。また、出力層に、写真の撮影意図、ここではタイトル等６３を与える。入力と出力が一致するように、ネットワーク・デザイン６５内の各ニューロンの結合の強さ（重み付け）を算出することによって推論モデルを生成する。こうした学習によって、特定の意図の画像がいかなるカメラワーク（機材情報なども利用してもよい）によって得られたかが分かるようになる。

【0098】

推論モデルが生成されると、撮像装置１０等における画像取得時にカメラワーク情報と撮影意図が分かっている写真６７をテストデータとしネットワーク・デザイン６７に入力する。そして、推論モデルが正解を出すまで、教師データを取捨選択しながら学習を繰り返し行い、信頼性の高い推論モデル６９を最終的に生成する。すなわち、推論モデル作成部４２が推論モデルを作成すると（ここでは、暫定的な推論モデル）、確認部４３がテストデータを用いて、推論モデルの信頼性を確認し、この結果に基づいて、取捨選択部４４が教師用データの選択を行い、さらに推論モデル作成部４２が繰り返し推論モデルを作成する。所定レベルより信頼性の高い推論モデル６９が作成されると、推論モデル６９の作成を終了する。

【0099】

つまり、カメラワークと画像があれば、意図・目的が判定な推論モデルが得られる。例えば、鳥が羽ばたく瞬間の画像などは、簡単にインターネット上で収集することができ、この収集した画像に、「逆光で、羽がきれいに見えた」等の所感などが追記されていれば、このコメントから、単に鳥とか羽ばたきとか、画像から読みとれること以外に、撮影者がこだわった、「きれいな羽」といった意図やタイトルを推定する事が可能となる。このような逆光の条件では自動で露出制御が困難であるため、露出補正操作や鳥の動きに対してピントを合わせなおすなど、ユーザが調節操作を行っている可能性が高く、その経緯が記録されていれば、その情報を用いて、さらに正確に意図やタイトルを推論することが可能となる。もちろん、羽を開いているだけか、羽ばたいているかなどの差異も静止画ではわからない場合があるが、これも撮影前の画像の変化の履歴から判定することが出来る。「羽を開いた水鳥」とか「はばたく水鳥」といった違いもこのような工夫によって明確に出来る。撮影前の画像変化の履歴も「はばたき」というテキストで残してもよく、画像の変化領域から「羽が繰り返し動いていた」という情報を取り出し、これを「はばたき」という言葉に変換してもよい。このような機能を画像分析部１１ａが行ってもよく、また他の機器と連携して行ってもよい。

【0100】

推論モデルを作成するにあたって、１種類に限らず、複数種類の推論モデルを作成してもよい。この場合には、例えば、推論モデル１として、種々の意図が混ざる可能性がある場合に使用可能なものと、推論モデル２として、共通意図のものが集まっている場合に使用可能なものがある。撮影者が操作する際には、その過程において、種々の意図が湧き上がり、最初から１つの撮影意図だけで撮影が完了しないことが多いこ。このような過程で撮影された撮影画像の意図を判定するには、推論モデル１を用いて、行うと推論の精度が高くなる。

【0101】

なお、本実施形態においては、推論モデル作成部２４は、深層学習によって推論モデルを生成するが、深層学習に限られず、機械学習であればよい。また、推論モデル作成部２４は、ネットワーク・デザイン等のハードウエア回路でなくても、学習サーバ４０（制御部４１）内のプロセッサによって、ソフトウエア的に推論モデルを生成してもよい。

【0102】

次に、図２Ｂを用いて、本実施形態における画像と撮影意図の表示について説明する。図２Ｂ（ａ）は、表示部１３に表示された撮影画像１３ａと、撮影意図１３ｂを示す。ここでの撮影画像１３ａは、撮像装置１０として一般的なカメラではなく、歯科用レントゲン撮影装置によって撮影された写真の例を示す。撮影者は、虫歯進行確認用に撮影を行い、このときのカメラワーク情報が取得され、この情報が撮影画像１３ａと一緒に記録される。意図判定部１１ｂは、推論モデルを用いて、撮影の意図を推論し、表示部１３に撮影画像１３ａと共に撮影意図１３ｂが表示される。

【0103】

また、図２Ｂ（ｂ）は、表示部１３に表示された撮影画像１３ｃと、撮影意図１３ｄを示す。ここでの撮影画像１３ｃは、一般的なカメラによって撮影されている。撮影者は寂しさがテーマの画像を撮影することを意図し、構図や露出等のカメラワークを決めている。図２Ｂ（ｂ）の画像は、一般に、シーン検出では、その画面を支配的に照明する色成分のバランスなどから、「夕日シーン」などと判定でき、シルエットになっているとはいえ、犬や木などは形状の特徴などで画像判定が可能な例である。ただし、これはシーンや個々の対象物のような客観的な事実しかわからない例であって、図２Ｂ（ａ）以上に感性的、主観的なものがあり、撮影意図や目的が分かりにくい例となっている。

【0104】

しかし、撮影者があえて、露出補正によって夕陽の色、その画面内の風物に染み渡る様をこだわって撮影していれば、撮影者のこだわり等がカメラワーク情報によって分かる。つまり、撮影前の操作と画面変化の情報を分析すれば、露出補正によって、撮影者が、画面のどの部分のどの色を意識していたかが判定可能である。また、犬の全体でなく、顔の部分だけ、しかも、最初は顔正面から撮影しようとしていたのを、敢えて横を向くのを待った、という状況も画面内の像変化から判定可能である。また、そこそこの画面内面積を占める大きさで犬を撮影したことも、画像から分かる。これは、犬の個性ではなく犬に仮託して、自分の心境を表した画像であることを示唆している。しかも、犬の先には枯れ木が映り込んでいるとなると（これを入れるために撮影者が位置を変えたとか、画角を変更したとか、パンニングしながらベストの画面切り取り位置を確認したとか、撮影前の操作情報やカメラワーク情報があれば、さらにその信頼性が高まる）、犬が見たように見せかけた、撮影者自身の秋の寂しい夕暮れというのがタイトルであり、意図であると考えることが出来る。

【0105】

このように、画像撮影に先立って、撮影者によって対象物を撮影するに至るまでの操作情報に基づいて、撮影画像の撮影意図を検出することが出来る。この中には、撮影に先立たなくても判定できる情報もあり、精度や信頼性を抜きにすれば、撮影中において得られた操作情報（ここにはカメラワークのみならず、画面の変化も含まれていてもよい）から撮影意図を検出してもよい。例えば、先の色のこだわりや犬の配置や枯れ木の有無などは撮影した画像からでも読み取れるものもあり、撮影前の情報だけですべてを行う必要はない。

【0106】

なお、ここでは、静止画の例で、静止画を撮影する前にライブビュー画像を見ながらカメラワークをするイメージで説明しているが、静止画撮影に至るまでの様子を動画的に記録する仕様のカメラもあり、動画であっても、静止画の連続と考えればよい。つまり、パラメータを変更しながらカメラワークを行う様子をライブビュー中ではなく、動画の撮影中にも判定可能なので同様の考え方が応用できる。例えば、静止画を連写しながら、カメラワークを変えていくこともあり、こうした場合も、撮影中のカメラワーク判定によって意図が検出できる例となる。

【0107】

上述のようにして取得されたカメラワーク情報は、撮影画像１３ｃと一緒に記録される。意図判定部１１ｂは、推論モデルを用いて、撮影の意図を推論し、表示部１３に撮影画像１３ｃと共に撮影意図１３ｄが表示される。

【0108】

これまで、画像を用いた推論では、画像の中に何が写っているかを仕分けるものが多かった。例えば、画像のシーンや撮影されている環境等、事実や客観的事項を推論するものであり、撮影者の撮影意図といったような主観的な事項については推論するものでなかった。このため、撮影者が撮影意図を手入力していない画像の場合には、他者が簡単に撮影意図を知ることができなかった。それに対して、本実施形態においては、スマートフォン等において閲覧した画像が、どのような意図、目的で撮影されたのかを、例えば、タッチ操作することによって、スマートフォンに内蔵された意図判定部２１ａが、画像とカメラワーク履歴をもとに、その画像の意図や目的を判定し、判定結果に基づいて撮影意図や目的をテキスト化して表示することができる。

【0109】

現在、医療の世界は大きく変化しており、これまでは医師の判断による医療サービスについて、患者が医師の決定に「お任せ」状態である「医療者中心の医療」であったものが、国民の意識の変化から「患者中心の医療」に移行しつつある。健康教育も、この流れを受け、「医療者主導の指導型」から、患者自身が自分の医療を選択・決定できるための知識や情報を習得するための「対象者主導（患者主導）援助型」へと大きく考え方が変わってきていると言われている。

【0110】

しかし、現実には、未だに病院等において撮影される画像は専門家が見ないと分からないものが多く、患者の手に渡らない場合も多い。しかし、上述したような患者主導の流れの中で、撮影画像等のデータも患者自身が把握することが望ましくなってきている。本実施形態によれば、歯医者において撮影されたレントゲン写真の意味等が患者も容易に分かるようになる。こうした状況下では、患者のレントゲン写真が患者の持つ端末等において、閲覧できるサービスが提供されるようになる。この時、患者としては、専門的なものが見えるようになっても、その意図が分からないままでは宝の持ち腐れとなるばかりか、端末紛失時の個人情報漏洩のリスクばかりが高まってしまう。その場合、専門家であれば分かるような事を、患者本人だけが知らない、という状況になり得る。したがって、患者自身が訳も分からず、リスクを冒す事態となるので、この画像は必要、これは不要と選別できるような情報が付与されていることが好ましい。

【0111】

ここではレントゲン写真の例で説明したが、そのほかの画像も同様である。また、レントゲンの例で言えば、何度も撮影はしないので撮影前の情報が限られているが、医師や歯科衛生士等による機器セッティングなどの情報が取得できれば、これを広い意味でのカメラワークとし、同様の考え方を応用して意図、目的（この画像の意味の説明の可視化、あるいは音声で聞けてもよい）することが出来る。

【0112】

また、芸術写真の場合でも、写真の中に映っている個々のものは分かっても、写真に込められた主観的なものは伝わりにくい場合が多い。展示会などでは、多くの場合、タイトルや利用機材等が併記して表示されることから、タイトルを参考に写真の意図を読み解くことができる場合が多く、それがまた、鑑賞の幅を深める要因とさえなっている。

【0113】

このような背景から、画像の意図がタイトル等から推論されて表示されることによって、鑑賞時の楽しみを広げられる仕様となる。このような判定は類似画像を検索することによって行ってもよいが、ユーザの操作履歴（カメラワーク）情報を使用することによって、推論の精度を増すことができる。

【0114】

次に、図３に示すフローチャートを用いて、ユーザ意図判定用推論モデル作成の動作について説明する。このフローは、主として学習サーバ４０内の制御部４１がメモリ内記憶されたプログラムに従って、学習サーバ４０内の各部を制御することによって実現する。

【0115】

教師データとしては、すでに説明したように、画像、カメラワーク情報、および意図のデータが揃っていればよく、図１Ａ、図１Ｂにおいて説明したように、スマートフォンやＳＮＳのシステム上で、これらの教師データを用意してもよい。また、撮影時、撮影確認とか再生時に、音声入力やタッチパネル入力、文字入力などで撮影者自身が入力して用意してもよい。このような入力が意味あるのは、本実施形態においては、この時の入力結果が他の画像にも反映可能であるからであり、同様の画像で同様のカメラワークの場合には、同様の意図と考えて、先に入力した内容を利用してもよい。また、すでに撮影したもの（カメラワーク情報付き画像）についても、同様の整理が可能となる。

【0116】

このような推論モデルは多くの人が使えるように、定期的にメンテナンスを行い、精度を向上させたり、また最新の動向を随時、取り込んだりしておくことが好ましい。例えば、話題のテーマやタイトルであって、多くの人が見せ合ったり競い合ったりする流行写真等においては、この種の話題等が増加するタイミングで教師データを収集して推論モデルを作成しておく。そして、この推論モデルをアプリとして扱えるようにすれば、スマートフォン等において、その話題に似た写真を見つけ、撮影の意図が何であるかを楽しむことができ、また自ら参考にして撮影が出来るようになったりする。撮影の際に、スルー画で画面を確認しつつ、推論モデルを起動すれば、現在の撮影を行うとどのような意図だと思われるかなどを検証することが出来る。

【0117】

ユーザ意図判定用推論モデル作成のフローが動作を開始すると、まず、特定の機会であるか否かを判定する（Ｓ１）。ここでは、制御部１は、例えば、流行のテーマが増加したことを検出したとき、ＳＮＳで特定の言葉の使用が急増したときや、特定の画像が急増したとき等、新たなトレンドが発生し、新しい推論モデルの生成の機会が生じたかを判定する。ＳＮＳ上に、例えば、美味しいラーメンの画像が増えてきたときに、特定の機会と判定してもよい。なお、このような新たなトレンドが発生していなくても、定期的なタイミングでも、またユーザからリクエストがあった時に、特定の機会と判断してもよい。この判定の結果、特定の機会でなければ、待機状態となる。

【0118】

ステップＳ１における判定の結果、特定の機会であれば、意図とカメラワーク情報を含む画像を収集する（Ｓ３）。ここでは、検索サーバ５０等において、意図とカメラワーク情報を含む画像を検索し、この画像を収集してもよい。ステップＳ１において特定の機会と判断した内容をベースにして画像を検索してもよい。例えば、美味しいラーメンの画像が増えたことから、特定の機会と判断した場合には、検索サーバ５０等によって、「ラーメン」画像と共に「美味しい」という言葉のセットで投稿されていたＳＮＳを検索してもよい。「美味しい」という言葉があれば、撮影意図として、美味しいものを撮影しようとしたことが推定される。また、撮影意図以外にも、カメラワークに関する言葉が画像と一緒に投稿されている場合もあるので、検索サーバ５０等において、カメラワーク情報に関する言葉で画像を検索してもよい。

【0119】

また、ステップＳ３における画像の収集にあたって、例えば、図５に示すような写真撮影のノウハウ記事が掲載された画像等から収集してもよい。このノウハウを利用して、画像を取得時の撮影の意図を推定してもよい。また、推定にあたって、画像の主要対象物を対象物検出の推論モデル等を用いて判定してもよい。

【0120】

また、ステップＳ３におけるカメラワーク情報の取得は、画像から読みとってもよい。例えば、上から撮影した画像とか、横から撮影した画像等、画像の構図からある程度のカメラワーク情報を取得することができる。また、画像に付して記録されているメタデータからでもカメラワーク情報を取得することが出来る。例えば、メタデータには、ピント位置情報、ピント距離情報、焦点距離情報、露出情報等、種々の情報が記録されている。また図１Ａの撮像装置１０によって撮影された画像の場合には、カメラワーク情報が画像データに関連して記録されているので、この情報からカメラワーク情報を取得することができる。

【0121】

ステップＳ３において、画像の収集を行うと、次に、対象物を判定する（Ｓ５）。ここでは、ステップＳ３において収集した画像内の対象物が何であるかを判定する。主要対象物が分かれば、撮影者の意図の推測の際に使用できる（図５参照）。また、主要対象物のみならず、副対象物、背景対象物等、他の対象物も含めて、撮影者の意図をある程度推定することもできる。対象物の判定は、画像分析に限らず、推論モデルを用いて、推論してもよい。また、対象物を特定せずに、ステップＳ７において推論モデルを生成することが可能であれば、このステップは省略してもよい。

【0122】

また、写真館の家族写真のように、予め決まった対象物しか撮影しない仕様のカメラもあり、この場合は、その旨をカメラに設定しておくことによって画像分析などのステップを省略することが出来る。また、画像分析に限らず、撮影対象物を例えば表示された一覧から選択したり、キーボードやタッチパネルなどで文字入力したり、音声で指示したりしてプリセットして、対象物判定してもよい。さらに、撮影シーンの音声データを解析し、子供の声であれば子供と、鳥の声であれば鳥と、対象物を判定してもよい。また、この対象物情報そのものが不要な状況もあり、例えば、仰角と撮影レンズの焦点距離とピント位置の操作等から天体写真を撮影している等、操作によって一義的に決まる意図もあり得る。この場合には、カメラを三脚に載せた場合と自動追尾雲台に載せた場合を操作として検出して、天体写真が星の軌跡を狙ったものか、星の配置を撮ろうとしたものかなど、ユーザのこだわりポイントを判定することが可能となる。

【0123】

ステップＳ５において、対象物を判定すると、次に、画像とカメラワーク情報に対して、意図をアノテーションして、教師データを作成する（Ｓ７）。ここでは、推論モデル生成用の教師データを作成する。推論モデルは、図２Ａを用いて説明したように、カメラワーク情報と写真６１を入力した際に、撮影意図（タイトル、テーマ、用途６３）が出力されるように推論するものであり、ネットワーク・デザイン６５内の各ニューロンの結合の強さ（重み付け）が推論モデルとなる。従って、教師データは、写真６１とカメラワーク情報に対して、撮影意図をアノテーションしたデータである。このステップＳ７において、ステップＳ３において、収集した画像等を用いて、教師データを作成する。教師データは、深層学習等の機械学習に使用するので、相当数のデータがあるとよく、しかも個々のデータの正確性が求められる。

【0124】

ステップＳ７において教師データを作成すると、対象物毎に推論モデルを作成する（Ｓ９）。ここでは、推論モデル作成部４２が、ステップＳ７において作成した多数の推論モデルを用いて、対象物毎に推論モデルを作成する。推論モデルは図２Ａを用いて説明したように、教師データの内の、写真６１とカメラワーク情報を入力し、教師データの内の撮影意図が出力されるように、ネットワーク・デザイン６５内の各ニューロンの結合の強さ（重み付け）を決定したものである。

【0125】

ステップＳ９において推論モデルを作成すると、次に、テストデータを用いて信頼性がＯＫか否かを判定する（Ｓ１１）。ここでは、テストデータ確認部４３が、ステップＳ９において生成した推論モデルを、ネットワーク・デザイン６５の中間層に設定し、この状態で予め用意してあるテストデータ（図２Ａの写真６７等参照）を、ネットワーク・デザインの６５の入力層に入力する。このとき出力層から出力される撮影意図が、テストデータにおける撮影意図と一致する割合に基づいて、信頼性を判定する。信頼性が所定値以上であれば、信頼性がＯＫと判定される。

【0126】

ステップＳ１１における判定の結果、信頼性がＯＫでない場合には、次に、教師データの取捨選択を行う（Ｓ１３）。ここでは、取捨選択部４４は、信頼性が低下してしまった教師データを捨て、信頼性の向上に寄与するような教師データを追加する。教師データの収集範囲を変更する等、信頼性が向上する可能性のあるような、教師データの取捨選択を行う。教師データの取捨選択を行うと、ステップＳ３に戻り、前述の動作を繰り返す。

【0127】

ステップＳ１３→Ｓ３～Ｓ１１を繰り返すことによって、テストデータの信頼性が向上し、信頼性がＯＫとなると、次に、そのときの推論モデルを外部に送信する（Ｓ１５）。ここでは、対象物の撮影意図を推論する推論モデルの信頼性が所定値以上となったことから、学習サーバ４０はネット通信部４９を通じて、外部のＳＮＳサーバ３０やスマートフォン２０に送信し、またこれらを通じて撮像装置１０等に送信する。撮像装置１０、スマートフォン２０、およびＳＮＳサーバ３０内の各意図判定部が、推論モデルを設定すると、撮影画像の意図を推論することが可能となる。信頼性の高い推論モデルを送信すると、このフローを終了する。

【0128】

このように、本フローにおいては、教師データを作成し、この教師データを用いて推論モデルを生成している。前述したように、深層学習等の機会学習によって推論モデルを生成するには、多数の教師データが必要である。インターネットを使って効率的に教師データを集める方法として、以下の方法が考えられる。

【0129】

（１） 検索サーバ５０等に意図に関するテキストを入力し、写真や画像等を検索し、収集した写真や画像に対して前述のテキストで表現されたテキストをアノテーションすることによって、教師データを作成する。この教師データを用いて、深層学習等の機械学習を行えば、画像を入力すると意図を推論できる推論モデルを作ることが出来る。ただし、この方法ではカメラワーク情報が欠けているので、写真の画像から、読み取れるカメラワークを画像と合わせて教師データにする。画像から読みとれるカメラワークとしては、図５に示すように、ハイアングル、ローアングル、逆光か順光か、主要被写体と背景のバランスや他のものと主要被写体の位置関係などがある。

【0130】

（２） 検索サーバ５０等に操作に関するテキスト入力し、写真とか画像を検索し、収集した写真や画像に対して前述のテキストで表現された操作のテキストを含む全文を取り出す。このテキスト全文中の中から、画像タイトルや、その画像を説明する特に感想や、画像を見ての主観表現を表す言葉、単語、コメントを抽出する。この抽出した言葉等を画像にアノテーションすることによって、教師データを作成する。この教師データを用いて深層学習等の機械学習を実行すれば、画像と操作から意図を推論できる推論モデルを作ることが出来る。

【0131】

上述したフローにおいて、推論モデルの作成にあたっては、まず、撮影画像の取得時における「撮影時操作情報をテキスト化した結果」と、当該画像の「撮影対象物をテキスト化した結果」をアンド条件で検索する（Ｓ３参照）。この検索によって収集された画像に対し、その画像を修飾する単語をアノテーションすることによって作成された教師データを用いて学習することによって、推論モデルを生成する（Ｓ７、Ｓ９参照）。推論モデルが生成されると、この推論モデルに、画像を入力すると、単語を意図として意図を推論することができる（例えば、図４のＳ２３参照）。なお、テキスト化した結果に代えて、各種スイッチ類の操作、パラメータ変更の操作、カメラの姿勢等を符号化したデータを使用して推論モデルを生成してもよい。

【0132】

また、撮影画像の中から「意図」情報に基づいて検索し（Ｓ３）、この検索された画像に、「意図」をアノテーションすることによって作成された教師データを用いて学習することによって推論モデルを生成する（Ｓ７、Ｓ９参照）。この推論モデルに、画像を入力すると意図を推論することができる（例えば、図４のＳ２３参照）。

【0133】

次に、図４に示すフローチャートを用いて、画像記録の動作について説明する。このフローは、主として撮像装置１０内の制御部１１がメモリ内に記憶されたプログラムに従って、撮像装置１０内の各部を制御することによって実現する。図４のフローは、カメラ等の撮影装置１０における制御の流れを示し、特に、意図判定の役割、あるいは、意図判定結果、ならびに意図判定のための情報（例えば教師データを得るため）となるカメラワーク情報の記録、あるいは、意図の追記、修正のタイミングを中心に記載している。

【0134】

画像記録のフローが開始すると、まず、スルー画（ライブビュー画像ともいう）を確認し、このときのパラメータ操作やカメラワークを判定し、仮記録する（Ｓ２１）。ここでは、撮像部１２が取得した画像データに対してスルー画表示用の画像処理を施し、表示部１３にスルー画を表示する。撮影者が、スルー画で確認しながら被写体にアクセス、アプローチしているステップであり、撮影者はカメラアングルを決めるための操作や、ズーミング操作、露出調整操作等、種々のパラメータ操作を行う。この間、カメラワーク入力部１４ａや、操作・画像分析部１１ａは、各種操作やセンサ出力を検出し、記録制御部１１ｄは、カメラワーク記録部１５ｄに、各種操作履歴やセンサ出力履歴を仮記録する。この際、やり直しや誤操作などノイズ成分は記録しなくてもよい。

【0135】

ステップＳ２１は、画像撮影に先立つ、または撮影中において、撮影者によって対象物を検出する際の操作情報を取得する操作情報取得ステップとして機能する。この操作情報取得ステップは、撮影に至るまでの撮像結果の変化情報を更に取得する。また、操作情報取得ステップは、撮影に至るまでの撮影者のカメラワーク（例えば、ズーム、トリミング、パンニング、撮影地点変更等を含む）によって撮影範囲内にいれたものと、撮影範囲から排除したものとの情報を更に取得する。なお、撮影者によって対象物を撮影するに至るまでの操作は、失敗した画像を撮るまでではなく、記録に値する、あるいは鑑賞・シェア・公開に値する、そこそこ満足した撮影画像が得られるまでの操作やカメラワークを想定している。

【0136】

なお、操作情報取得ステップにおいて、画像撮影時の撮影対象情報を取得してもよい。この画像撮影時の撮影対象情報は、撮影した画像の主被写体とか主対象物を想定している。主被写体や主対象物は、撮影画像に写り込んでいるはずなので、撮影画像から情報取得してもよい。しかし、これに限らず、撮影に至るまでの過程で情報を取得してもよい。また、この情報は、画像から取得してもよいが、その他の情報を判定して取得してもよい。

【0137】

上述の操作情報は、撮影用に行われた複数の操作のうち支配的な操作である。すなわち、撮影者は、主被写体を捉え、構図を決定するまでの間、種々の操作を行う。これらの操作は、誤操作もあり、またやり直し等、カメラワークとして撮影意図を判定する際のノイズとなってしまう操作もある。そこで、撮影用の行われた複数の操作のうち支配的な操作を用いるようにしている。従って、上述の操作情報は、撮影用に行われた複数の操作のうち、例えば、所定の時間以上、撮影者が操作に絡めて、操作、確認、操作、確認と、しっかり確認しながら行った、といった限定が可能なように、支配的な操作である。

【0138】

この時、様々な情報が得られる。画角やフレーミングの調整動作は、撮影者が画面内のどの位置に存在する対象物を重視しているかの情報になる。また、主被写体と背景や、複数の主被写体の関係性や、バランス感覚など、主観的な要因によって、画面に入れたくないとした画像の情報が、画角やフレーミングの調整動作からも得られる。画面に入れたくないものは撮影された画面には残らないので、このフレーミング時の情報が有力な情報となる。また、多くの同様の対象物から特定の対象物のみを切り取ることによって画面に収める場合などは、対象物の数を少なくすることで、その個体の持つ特徴が通常と異なるため、他のものは撮影しなくとも分かるが、この差異は百聞に一見にしかずで、撮影して記録しておこうといった意図が分かる。このような場合も、排除された別個体の特徴との差異を判定することによって、例えば、「異常が見られた例」といった意図が分かる。

【0139】

ズーム、トリミング、パンニング、撮影地点（ＧＰＳや方位磁石や仰角情報などの情報を使う）変更などのカメラワークは、撮影に至るまでの撮像結果の変化情報やそれに対応する撮影者の操作情報を取得して判定ができる。変化情報は、例えば、画面に入っている対象物の色や大きさや画面内位置などの、と限定可能とする。カメラワークの判定によって、例えば、対象物のどの部分（色や形状）が目立つ撮影が行われたかや、撮影者が意識的に撮影範囲内に入れたものと、入れないで排除したものの差異によって、撮影者の意図を検出することが出来る。この時、意識的に行ったかどうかは、例えば、所定の時間以上、撮影者が操作に絡めて、操作、確認、操作、確認と、しっかり確認しながら行ったかで分かる。例えば、操作して、その後、少なくとも１秒は確認していれば、しっかり見たかがわかる。また、この時、どの程度の量の操作、あるいはどれくらい手間をかけて操作をしたかで、撮影者のこだわりも分かる。このような操作情報は、操作のタイミングやその操作の何であるから操作量をテキスト記載、あるいは項目が決められた表形式などによってデータベース式の記載をして、どの操作が一番支配的であったかを検索しやすいように工夫しておくとよい。

【0140】

また、撮影者による操作情報は、テキスト化した情報、または操作ログである。すなわち、カメラワーク入力部１４ａ等は、操作部１４に操作された情報を一旦テキストに変換した後に、操作情報として入力してもよく、またスイッチ類やセンサ等によって入力されたデータをそのまま操作ログとして入力してもよい。操作ログは、操作のタイミングやその操作の操作量をテキストで記載したものや、あるいは項目が決められた表形式等によって表してもよい。撮影者による操作情報は、操作をテキスト情報にしている。

【0141】

また、上述の操作情報取得ステップにおいて、対象物を検出する際には、主被写体の大きさを検出する。主被写体の大きさは、撮影者の意図に関係することがあるので、対象物を検出した際には、大きさも併せて検出するようにしている（例えば、図１Ａの操作・画像分析部１１ａ、図５参照）。また、上述の操作情報取得ステップにおいて、対象物を検出する際には、主被写体をテキスト情報にする。対象物は撮影者の撮影意図に関係することがあるので、対象物をテキストに変換することによって、意図を検出し易くしている（例えば、図５参照）。

【0142】

続いて、ユーザ意図の判定を行う（Ｓ２３）。前述したように、ステップＳ２１において、パラメータ操作やカメラワーク等の履歴を判定しており、意図判定部１１ｂは、得られた画像や主たる操作をテキストデータにしたものを用いて、データベース検索や、推論を行うことによって、撮影意図を判定する。ここで、主たる操作としては、例えば、継続的な姿勢や繰り返し行われ試行錯誤している操作や、大きく変更した操作や、最後に変更した操作やの、操作してから確認時間が長いもの等を、用いるとよい。また、データベースの検索等に使用するテキストデータとしては、システムによっては、操作ログ等を用いてもよい。また、撮影意図の推論は、学習サーバ４０によって生成された推論モデルを用いて推論してもよい。

【0143】

ステップＳ２３は、操作情報取得ステップにおいて取得した操作情報に基づいて、撮影画像の撮影意図を検出する意図検出ステップとして機能する。この意図検出ステップは、変化情報も用いて撮影意図を検出する。また、意図検出ステップは、撮影範囲にいれたものと、排除したものとの差異に基づいて、撮影意図を検出する。また意図検出ステップにおいて、上述したように、対象物と撮影者による操作情報に基づくデータベースの検索、または推論モデルを用いた推論に基づいて、撮影意図を検出する。また、操作情報取得ステップにおいて、撮影画像撮影時の撮影対象情報を取得しておき、意図検出ステップにおいて、取得した撮影対象情報も含めた操作情報に基づいて撮影意図を検出してもよい。

【0144】

ステップＳ２３において、撮影意図の判定を行うと、この判定によって得られた撮影意図を表示部１３に表示してもよい。この時、図５に示すようなデータベースを検索すれば、例えば、花をローアングルで撮ろうとしていれば、「たくましさが表現できます」といった表示が出来る。ユーザはそれを見て、意図と合っていれば、そのまま撮影に移行すればよく、意図と合っていないなら、異なるカメラワークを試すことが出来る。

【0145】

ユーザ意図判定を行うと、次に、撮影か否かを判定する（Ｓ２５）。ここでは、撮影者は、構図等を決め、また意図判定結果の表示がなされた場合にこの表示と意図があっていれば、操作部１４内のレリーズ釦を全操作する。そこで、このステップでは、制御部１１は、操作部１４内のレリーズ釦が全押しされたか否かを検出し、全押しされた場合には、撮影と判定する。この判定の結果、撮影でない場合には、ステップＳ２１に戻り、前述の動作を繰り返す。

【0146】

一方、ステップＳ２５における判定の結果、撮影であった場合には、画像記録を行い、意図も記録する（Ｓ２７）。ここでは、制御部１１は、撮像部１２によって取得された画像データに対して記録用の画像処理を施させ、記録制御部１１ｄによって画像データを画像記録部１５ａに記録させる。また、ステップＳ２１において取得したカメラワーク等と、ステップＳ２３において判定した撮影意図を、画像データに関連付けて記録する。撮影時に撮影画像と共に検出された意図を関連付けて記録すれば、後で画像を見直した際に、どのような意図で撮ったかを思い出すことが出来る。また、撮影意図を記録するだけではく、先の主たるカメラワークを記録してもよい。

【0147】

続いて、再生・シェアするか否かを判定する（Ｓ２９）。撮影者は撮影後に、撮影画像を再生表示し、画像を確認したい場合がある。この場合には、撮影者は操作部１４内の再生釦等を操作するので、このステップでは再生釦が操作されたか否かを判定する。また、撮影者は撮影画像を撮影者以外の者とシェアし、見せたいと思う場合がある。この場合にも操作部１４を操作するので、制御部１１はこの操作状態を判定する。この判定の結果、再生・シェアでない場合には、このフローを終了する。

【0148】

一方、ステップＳ２９における判定の結果、再生・シェアであった場合には、再生を行う（Ｓ３１）ここでは、制御部１１は、画像記録部１５ａに記録されている画像を表示部１３に表示させる。なお、撮影者が、撮影画像を写真展などに出品や応募する場合に、別のタイトルを思いつくこともあるので、このステップにおいて、再生画像を見ながら意図を修正するようにしてもよく、また、後述するステップＳ４７において修正できるようにしてもよい。

【0149】

ステップＳ３１において画像を再生すると、次に、携帯端末に画像を送信するか否かを判定する（Ｓ３３）。前述したように、本実施形態においては、撮像装置１０は、画像等をスマートフォン２０に送信可能となっている。この場合には、撮影者は画像を指定して、操作部１４内の送信釦等を操作するので、制御部１１はこの操作がなされたか否かに基づいて判定する。

【0150】

ステップＳ３３における判定の結果、画像送信する場合には、送信を実行する（Ｓ３５）ここでは、制御部１１は、撮影者によって指定された画像を、通信部１９を通じて、スマートフォン２０に送信する。

【0151】

送信すると、次に、意図の表示を確認し（Ｓ３７）、意図を推論する（Ｓ３９）。ステップＳ３７およびＳ３９は、スマートフォン２０内において実行される。ステップＳ３７では、撮像装置１０から送信されてきた画像を表示部２３に表示し、この表示の際に撮影意図を表示する。これによって、スマートフォン２０において画像を確認するユーザが撮影意図を見ることができる。また、ステップＳ３９において、意図を推論する。これはステップＳ３７において意図の表示がなされない場合に、スマートフォン２０内の意図判定部２１ａが、画像に添付されているパラメータ操作やカメラワーク等の情報に基づいて、撮影意図を推論し、推論結果を表示する。ステップＳ３７、Ｓ３９を行うと、このフローを終了する。このような入力が意味あるのは、本実施形態においては、この時の入力結果が他の画像にも反映可能であるからであり、同様の画像で同様のカメラワークの場合には、同様の意図と考えて、先に入力した内容を利用してもよい。また、すでに撮影したもの（カメラワーク情報付き画像）についても、同様の整理が可能となる。

【0152】

ステップＳ３３に戻り、このステップにおける判定の結果、携帯端末に画像を送信しない場合には、ＳＮＳサーバ通信か否かを判定する（Ｓ４１）。撮影者がＳＮＳサーバ３０等に画像をアップロードしたい場合には、操作部１４を操作し、アップロードの設定を行う。

【0153】

ステップＳ４１における判定の結果、ＳＮＳサーバ通信を行う場合には、画像を送信し、ＳＮＳに画像を表示し、コメントの受付を依頼する（Ｓ４３）。ここでは、撮影者が指定した画像を、通信部１４から、スマートフォン２０内の機器通信部２４、ネット通信部２５を通じて、ＳＮＳサーバ３０に送信する。ＳＮＳサーバ３０が画像を受信すると、ユーザからの画像閲覧が可能となる。また、このとき、ＳＮＳサーバ３０に、画像に対するユーザからのコメントの受け付けを依頼する。

【0154】

続いて、意図に対して追記変更があれば、情報を送信する（Ｓ４５）。撮影者が画像をＳＮＳサーバ３０に送信した後に、撮影意図について、修正したい場合や、追記したい場合がある。この場合には、撮像装置１０（またはＳＮＳサーバ３０にアクセス可能な他の機器）を操作し、意図を追記・変更するための情報を送信する。ＳＮＳサーバ３０は、追記・変更依頼があれば、アップロードされた画像に対して、追記・変更を行う。なお、撮像装置１０内に記録されているオリジナル画像についても、同様の追記・変更を行う。ステップＳ４５を行うと、このフローを終了する。このような入力が意味あるのは、本実施形態においては、この時の入力結果が他の画像にも反映可能であるからであり、同様の画像で同様のカメラワークの場合には、同様の意図と考えて、先に入力した内容を利用してもよい。また、すでに撮影したもの（カメラワーク情報付き画像）についても、同様の整理が可能となる。

【0155】

ステップＳ４１に戻り、ＳＮＳサーバ通信でない場合には、意図修正があれば行う（Ｓ４７）。撮影者がステップＳ３１において画像を再生表示した際に、撮影意図の修正を行い場合があれば、このステップにおいて修正を行う。ステップＳ４７を行うと、このフローを終了する。

【0156】

このように、画像記録のフローにおいては、撮影者がスルー画を見ながら行った、パラメータ操作やカメラワーク等の履歴を記録しておき、この履歴に基づいて、撮影意図を判定している（Ｓ２１、Ｓ２３）。撮影後には、画像データと共に、パラメータ操作やカメラワーク等の履歴や、撮影意図を記録している。この撮影意図等が記録されている画像データは、撮像装置１０、スマートフォン２０やＳＮＳサーバ３０等において、画像を見ることが可能であり、その際に、撮影意図も確認できる。従って、撮影者や閲覧者は、撮影画像がどのような意図のもとでさつえいされたかを容易に理解することができる。また、ステップＳ２３において、撮影意図判定を行う場合、これまで蓄積された、多くの情報、例えば、ステップＳ３７、Ｓ４５において手入力されたものも含めて、判定が出来る。ステップＳ３７やＳ４５において、撮影後に手入力や音声入力で意図を記録することに意味があるのは、撮影時の意図推論、判定にも反映可能であるからであり、同様の画像で同様のカメラワークのものは、同様の意図と考えている。

【0157】

また、撮影意図に関するデータが画像データに記録されていない場合であっても、スマートフォン２０やＳＮＳサーバ３０内の意図判定部２１ａ、３１ｂによって、撮影意図を推論等することによって、ユーザも知ることができる。

【0158】

なお、ステップＳ２７、Ｓ３５、Ｓ４５において、「漢字予測変換のように」、「意図（共有したいでしょ）」の候補が表示される。

【0159】

また、ステップＳ３７、Ｓ４５において、入力された意図と、その画像を収集し、教師データとして使用してもよい。すなわち、前述した図３の推論モデル作成のフローのステップＳ３において、画像を収集する際に、このステップＳ３７、Ｓ４５において意図が入力された画像を使用すれば、精度の高い情報を集めることができる。

【0160】

次に、図５を用いて、本実施形態における意図等判定データベース（ＤＢ）について説明する。このデータベースは、撮影ノウハウを記録したものである。主カメラワーク（撮影履歴の中でもっとも意図反映撮影に影響した要素）と撮影対象物の関係は、写真撮影テクニック等の記事として掲載されているので、これらの記事を表形式にまとめてデータベースを作成することができる。

【0161】

この意図等判定データベースがあれば、推論モデルをわざわざ使わなくとも、撮影者の撮影意図を検索することができる。例えば、図５の例では、対象物が小さい花等であり、主カメラワークとしてローアングルの技法によって撮影された写真であれば、撮影意図は「爽やかさ」や「逞しさ」であると推測される。また、対象物が建造物等の大きい被写体であり、主カメラワークとしてハイアングルの技法によって撮影された写真であれば、撮影意図は「迫力」であると推測される。

【0162】

このような意図等判定データベースをそのまま、クラウド上に用意してもよく、またクラウド上に投稿されている記事、コンテンツに記載の文章を解析し、記載内容をデータベースとして検索しやすい形式に直したものを記録して使用してもよい。例えば、ステップＳ２３、Ｓ３９（図４参照）における意図の判定の際に、推論ではなく、データベースによって検索してもよい。

【0163】

以上説明したように、本発明の一実施形態においては、画像撮影に先立つ、または撮影中において、撮影者によって対象物を検出する際の操作情報を取得し（例えば、図１Ａのカメラワーク入力部１４ａ、図４のＳ２１参照）、この取得した操作情報に基づいて、撮影画像の撮影意図を検出している（例えば、図１Ａの意図判定部１１ｂ、図４のＳ２３参照）。このため、見る人に意図を伝えやすい画像を記録できるように、撮影の意図や目的等、撮影者のアプローチや画像の伝えるものを主観的に表したものを検出することができる。

【0164】

なお、本発明の一実施形態においては、撮像装置１０内において、撮像部１２、表示部１３、操作部１４、記録部１５、時計部１８、通信部１９は、制御部１１に対して独立して配置していた。しかし、これに限らず、制御部１１が他の各部の機能の一部を担うようにしてもよく、また制御部１１の機能の一部を上述の各部のいずれかが担うようにしてもよい。また、制御部１１は、主としてＣＰＵとプログラムによってソフトウエア的に構成してもよく、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またＤＳＰ（Digital Signal Processor）を利用して構成してもよい。これらは適宜組み合わせてもよいことは勿論である。

【0165】

また、各部は、それぞれが電子回路として構成されたプロセッサであっても構わないし、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路で構成されたプロセッサにおける各回路部であってもよい。または、１つ以上のＣＰＵで構成されるプロセッサが、記録媒体に記録されたコンピュータプログラムを読み込んで実行することによって、各部としての機能を実行するようにしても構わない。また、制御部１５は、ＣＰＵに限らず、コントローラとしての機能を果たす素子でその機能を実現するようにしてもよい。

【0166】

また、スマートフォン２０、ＳＮＳサーバ３０、学習サーバ４０、および検索サーバ５０においても、撮像装置１０と同様に、各制御部が他の各部の機能の一部を担ってもよく、逆に各部が各制御部の一部の機能を担ってもよい。また、ヴェリログ等、他のプログラム言語や回路等を利用してもよい。

【0167】

また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもミラーレスカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラ、医療用カメラ（例えば、医療用内視鏡）、顕微鏡等の科学機器用のカメラ、工業用内視鏡、自動車搭載用カメラ、監視用カメラでも構わない。いずれにしても、撮影目的を検出したい撮影のための機器であれば、本発明を適用することができる。

【0168】

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを通じてダウンロードしたものでもよい。

【0169】

また、本発明の一実施形態においては、フローチャートを用いて、本実施形態における動作を説明したが、処理手順は、順番を変えてもよく、また、いずれかのステップを省略してもよく、ステップを追加してもよく、さらに各ステップ内における具体的な処理内容を変更してもよい。

【0170】

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

【0171】

本発明は、上述の実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせによって、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

【符号の説明】

【0172】

１０・・・撮像装置、１１・・・制御部、１１ａ・・・操作・画像分析部、１１ｂ・・・意図判定部、１１ｃ・・・通信制御部、１１ｄ・・・記録制御部、１２・・・撮像部、１３・・・表示部、１４・・・操作部、１４ａ・・・カメラワーク入力部、１５・・・記録部、１５ａ・・・画像記録部、１５ｂ・・・データベース（ＤＢ）部、１５ｃ・・・意図記録部、１５ｄ・・・カメラワーク記録部、１８・・・時計部、１９・・・通信部、２０・・・スマートフォン、２１・・・制御部、２１ａ・・・意図判定部、２１ｂ・・・通信制御部、２２・・・操作部、２３・・・表示部、２４・・・機器通信部、２５・・・ネット通信部、３０・・・ＳＮＳサーバ、３１・・・制御部、３１ａ・・・コンテンツ整理部、３１ｂ・・・意図判定部、３１ｃ・・・」通信制御部、３２・・・操作判定部、３３・・・表示制御部、３４・・・ネット通信部、３５・・・記録部、４０・・・学習サーバ、４１・・・制御部、４２・・・推論モデル作成部、４３・・・テストデータ確認部、４４・・・取捨選択部、４５・・・記録部、４６・・・意図導出部、４７・・・カメラワーク判定部、４９・・・ネット通信部、５０・・・検索サーバ、５１・・・制御部、５２・・・検索部、５９・・・ネット通信部、６１・・・写真、６３・・・タイトル等、６５・・・ニューラル・ネットワーク、６７・・・写真、６９・・・推論モデル

【図1A】

【図1B】

【図2A】

【図2B】

【図3】

【図4】

【図5】