特開 2024-37028 被写体撮像装置、被写体撮像方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024037028

(43)【公開日】2024-03-18

(54)【発明の名称】被写体撮像装置、被写体撮像方法、及びプログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240311BHJP

   H04R 3/00 20060101ALI20240311BHJP

【ＦＩ】

H04N5/232

H04R3/00 310

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2022141651

(22)【出願日】2022-09-06

(71)【出願人】

【識別番号】500257300

【氏名又は名称】ＬＩＮＥヤフー株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】笹谷 奈翁美

【テーマコード（参考）】

5C122

5D220

【Ｆターム（参考）】

5C122EA69

5C122FH11

5C122FH14

5C122FJ03

5C122FJ05

5C122FJ06

5C122FJ11

5C122HB01

5D220AA01

(57)【要約】

【課題】人や動物などの被写体を撮影に適した状態にして撮影することが可能な被写体撮像装置、被写体撮像方法、及びプログラムを提供することを目的とする。
【解決手段】本願に係る被写体撮像装置は、人や動物を含む被写体の映像を撮像する撮像部と、撮像部が撮像した被写体の映像に基づいて被写体の種別を判別する判別部と、判別部が判別した被写体の種別に応じて音のバリエーションを変えて、被写体に反応を促す音情報を生成する生成部と、生成部が生成した音情報を出力する出力部と、音情報が出力された際の被写体の映像を取得する取得部と、音情報を出力した際の被写体の映像に基づいて、出力した音情報に対する被写体の反応を判定する判定部と、出力した音情報の特徴と被写体の反応との関係を学習する学習部と、を備え、生成部は、出力した音情報の特徴と被写体の反応との関係に基づいて、音のバリエーションを変化させて音情報を生成する。
【選択図】図２

【特許請求の範囲】

【請求項1】

人や動物を含む被写体の映像を撮像する撮像部と、
前記撮像部が撮像した被写体の映像に基づいて被写体の種別を判別する判別部と、
前記判別部が判別した被写体の種別に応じて音のバリエーションを変えて、被写体に反応を促す音情報を生成する生成部と、
前記生成部が生成した前記音情報を出力する出力部と、
前記音情報が出力された際の被写体の映像を取得する取得部と、
前記音情報を出力した際の被写体の映像に基づいて、出力した前記音情報に対する被写体の反応を判定する判定部と、
出力した前記音情報の特徴と被写体の反応との関係を学習する学習部と、を備え、
前記生成部は、出力した前記音情報の特徴と被写体の反応との関係に基づいて、音のバリエーションを変化させて前記音情報を生成する、
被写体撮像装置。

【請求項2】

前記生成部は、被写体の種別に加えて、被写体の気分、時間、場所、周りの状況、騒音有無を含むコンテキストにも応じて、音のバリエーションを変化させて前記音情報を生成する、
請求項１に記載の被写体撮像装置。

【請求項3】

人や動物を含む被写体の映像を撮像するステップと、
撮像した被写体の映像に基づいて被写体の種別を判別するステップと、
判別した被写体の種別に応じて音のバリエーションを変えて、被写体に反応を促す音情報を生成するステップと、
生成した前記音情報を出力するステップと、
前記音情報が出力された際の被写体の映像を取得するステップと、
前記音情報を出力した際の被写体の映像に基づいて、出力した前記音情報に対する被写体の反応を判定するステップと、
出力した前記音情報の特徴と被写体の反応との関係を学習するステップと、を備え、
前記生成するステップにおいては、出力した前記音情報の特徴と被写体の反応との関係に基づいて、音のバリエーションを変化させて前記音情報を生成する、
被写体撮像方法。

【請求項4】

人や動物を含む被写体の映像を撮像するステップと、
撮像した被写体の映像に基づいて被写体の種別を判別するステップと、
判別した被写体の種別に応じて音のバリエーションを変えて、被写体に反応を促す音情報を生成するステップと、
生成した前記音情報を出力するステップと、
前記音情報が出力された際の被写体の映像を取得するステップと、
前記音情報を出力した際の被写体の映像に基づいて、出力した前記音情報に対する被写体の反応を判定するステップと、
出力した前記音情報の特徴と被写体の反応との関係を学習するステップと、を備え、
前記生成するステップにおいては、出力した前記音情報の特徴と被写体の反応との関係に基づいて、音のバリエーションを変化させて前記音情報を生成すること、
をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、被写体撮像装置、被写体撮像方法、及びプログラムに関する。

【背景技術】

【0002】

動物などの被写体を撮影する場合、動物の気を引いて良い状態の動物を撮影したいというニーズがある。動物は人間の意志とは関係なく自由気ままに移動することから、動物を撮影に適した状態に維持することが難しかった。また、被写体が人間である場合であっても、例えば、乳幼児などは撮影に適した状態を維持することが難しかった。

【0003】

例えば、下記の特許文献１には、撮影者が生物の撮影を行う場合に、当該撮影を支援する撮影支援装置であって、生息位置を含む生物に関する生物関連情報を記憶する生物関連情報データベースと、生物を撮影する撮影者の位置情報を取得する位置情報取得手段と、取得した位置情報に示される撮影者の現在位置周辺に生息している生物に関する生物関連情報を抽出する生物関連情報抽出部と、抽出された生物関連情報を送信する生物関連情報送信手段と、を備える撮影支援装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２－１９９８８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記の特許文献１に記載の撮影支援装置は、生物の生息位置を把握することはできるが、被写体を撮影に適した状態にすることはできなかった。

【0006】

本開示は上記の課題を鑑み、人や動物などの被写体を撮影に適した状態にして撮影することが可能な被写体撮像装置、被写体撮像方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上述した課題を解決し、目的を達成するために、本開示に係る被写体撮像装置は、人や動物を含む被写体の映像を撮像する撮像部と、前記撮像部が撮像した被写体の映像に基づいて被写体の種別を判別する判別部と、前記判別部が判別した被写体の種別に応じて音のバリエーションを変えて、被写体に反応を促す音情報を生成する生成部と、前記生成部が生成した前記音情報を出力する出力部と、前記音情報が出力された際の被写体の映像を取得する取得部と、前記音情報を出力した際の被写体の映像に基づいて、出力した前記音情報に対する被写体の反応を判定する判定部と、出力した前記音情報の特徴と被写体の反応との関係を学習する学習部と、を備え、前記生成部は、出力した前記音情報の特徴と被写体の反応との関係に基づいて、音のバリエーションを変化させて前記音情報を生成する。

【発明の効果】

【0008】

実施形態の一態様によれば、人や動物などの被写体を撮影に適した状態にして撮影することが可能な被写体撮像装置、被写体撮像方法、及びプログラムを提供することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施形態に係る情報処理の一例を示す図である。

【図2】図２は、実施形態に係る被写体撮像装置の構成例を示す図である。

【図3】図３は、実施形態に係る情報処理のフローを示すフローチャートである。

【図4】図４は、被写体撮像装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【発明を実施するための形態】

【0010】

以下に、本願に係る被写体撮像装置、被写体撮像方法、及びプログラムを実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る被写体撮像装置、被写体撮像方法、及びプログラムが限定されるものではない。

【0011】

（実施形態）
〔１．実施形態に係る情報処理〕
〔１－１．実施形態に係る情報処理の一例〕
まず、図１を用いて、実施形態に係る情報処理の一例について説明する。図１は、実施形態に係る情報処理の一例を示す図である。まず、実施形態に係る情報処理の概要を説明した後に、個々の処理を詳細に説明する。

【0012】

図１では、被写体撮像装置１０が、被写体としての動物Ａ１の種類を判別し、判別した被写体の種類に合わせて音情報を生成し、生成した音情報を動物Ａ１に向けて発して、音に対して反応した動物Ａ１を撮像する処理が示されている。以下、図１を用いて、実施形態に係る情報処理の一例についてステップごとに詳細に説明する。

【0013】

まず、被写体撮像装置１０は、被写体の映像を含む撮像データを取得する（ステップＳ１）。例えば、被写体撮像装置１０は、後述して説明する撮像部１３が撮像した人や動物などの被写体の映像を含む撮像データを後述して説明する記憶部１２から読み出すことにより取得する。

【0014】

次に、被写体撮像装置１０は、撮像データに基づいて、被写体の種別を判別する（ステップＳ２）。例えば、被写体撮像装置１０は、撮像データに基づいて、撮像データからオブジェクトを検出し、検出したオブジェクトを分類する処理、すなわちオブジェクト検出処理を行って、撮像データから被写体の種類を判別する処理を実行する。

【0015】

次に、被写体撮像装置１０は、被写体の種別に応じて音のバリエーションを変えて、被写体に反応を促す音情報を生成する（ステップＳ３）。例えば、被写体撮像装置１０は、被写体が子供である場合は、おもちゃのピーピー、キューキューなどの擬態語を用いて表現することが可能な音情報や、電車、車、アニメのキャラクターの声などを含む音情報を生成する。また、被写体撮像装置１０は、被写体が犬猫である場合は、おもちゃ、ビニール袋の音であってカサカサという擬態語により表現可能な音情報や、飼い主の声、鳥の声、虫の声、動物の声、缶詰を開ける音、袋を開ける音、物が擦れる音などを含む音情報を生成する。

【0016】

次に、被写体撮像装置１０は、生成した音情報を出力する（ステップＳ４）。例えば、被写体撮像装置１０は、生成した音情報を音声として被写体に向けてスピーカーから出力する。

【0017】

次に、被写体撮像装置１０は、音情報が出力された際の被写体の映像を取得する（ステップＳ５）。例えば、被写体撮像装置１０は、音情報を被写体に向けて出力し、被写体が音情報に反応した際の映像を撮影し、撮影した映像を取得する。

【0018】

これにより、音を発することにより被写体を撮影に適した状態にして、撮影に適した状態で被写体を撮影することが可能となる。そのため、人や動物などの被写体を撮影に適した状態にして撮影することが可能な被写体撮像装置１０を提供することができる。

【0019】

〔１－２．実施形態に係る情報処理の他の例〕
被写体撮像装置１０は、被写体の種別に加えて、被写体の気分、時間、場所、周りの状況、騒音有無を含むコンテキストにも応じて、音のバリエーションを変化させて音情報を生成する。

【0020】

この情報処理について順を追って説明する。まず、被写体撮像装置１０は、図１に示したステップＳ１からステップＳ２までと同じ処理を実行する。ステップＳ１からステップＳ２までの処理は、前述したステップＳ１からステップＳ２までの処理と同じであるから説明を省略する。

【0021】

次に、被写体撮像装置１０は、被写体の種別に応じて音のバリエーションを変えて、被写体に反応を促す音情報を生成する（ステップＳ３）。この場合において、被写体撮像装置１０は、被写体の種別に加えて、被写体の気分、時間、場所、周りの状況、騒音有無を含むコンテキストにも応じて、音のバリエーションを変化させて音情報を生成する。なお、ここで、音のバリエーションとは、音の大きさや、音の音調、音の長さ、音の種類などを含む音の内容を表すものである。例えば、被写体撮像装置１０は、場所が「公園」であり、周りの状況が「子供が遊んでいる」という状況である場合であれば、楽しげな雰囲気を壊さないように、中程度の音の大きさで、明るい音調の音情報を生成する。

【0022】

次に、被写体撮像装置１０は、図１に示したステップＳ４からステップＳ５までと同じ処理を実行する。ステップＳ４からステップＳ５までの処理は、前述したステップＳ４からステップＳ５までの処理と同じであるから説明を省略する。

【0023】

これにより、周囲の状況などのコンテキストに応じて出力する音を変えて出力することができる。そのため、周囲の状況に配慮したうえで、音を発することにより被写体を撮影に適した状態にして、撮影に適した状態で被写体を撮影することが可能となる。

【0024】

〔２．被写体撮像装置の構成〕
次に、図２を用いて実施形態に係る被写体撮像装置の構成について説明する。図２は、実施形態に係る被写体撮像装置の構成例を示す図である。図２に示すように、被写体撮像装置１０は、通信部１１と、記憶部１２と、撮像部１３と、音出力部１４と、制御部１５を備える。

【0025】

（通信部１１について）
通信部１１は、被写体撮像装置１０の内部と外部を相互に通信可能に接続し、被写体撮像装置１０の内部と外部との間で相互に情報を送受信する。通信部１１は、例えば、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）カード、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、Ｗｉ－Ｆｉ（登録商標）モジュール、アンテナ等によって実現されてよい。

【0026】

（記憶部１２について）
記憶部１２は、各種の情報を記憶する記憶装置である。記憶部１２は、主記憶装置と補助記憶装置とを備える。主記憶装置は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）等のような半導体メモリ素子によって実現されてよい。また、補助記憶装置は、例えばハードディスクやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、光ディスク等によって実現されてよい。

【0027】

（撮像部１３について）
撮像部１３は、人や動物などの被写体の映像を撮像する。撮像部１３は、例えばカメラであり、複数のカメラを組み合わせたものや、３６０度の全方向を撮影する全周カメラなどで構成したものでもよい。撮像部１３は、人や動物などの被写体の映像を撮像したら、撮像データを記憶部１２に記憶する。

【0028】

ここで、カメラについて説明すると、カメラは、光学素子と撮像素子とを含み、光学素子は、例えばレンズ、ミラー、プリズム、フィルタなどの光学系を構成する素子である。撮像素子は、光学素子を通して入射した光を電気信号である画像信号に変換する素子である。なお、撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどである。

【0029】

（音出力部１４について）
音出力部１４は、人や動物などの被写体に向けて音情報を出力する。音出力部１４は、例えば、スピーカーにより実現されてよい。スピーカーは、電気信号をダイヤフラムにより音に変換する。すなわち、音出力部１４は、電気信号により与えられる制御指令に基づいて、ダイヤフラムを所定の振幅、振動数によって振動させることにより、ダイヤフラムに接している空気を振動させて音を出力する。

【0030】

（制御部１５について）
制御部１５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって、被写体撮像装置１０の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１５は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路により実現されてもよい。

【0031】

図２に示すように、制御部１５は、取得部１５１と、判別部１５２と、判定部１５３と、生成部１５４と、学習部１５５と、出力部１５６を有する。制御部１５は、記憶部１２からプログラムを読み出して実行することで、これらを実現して、これらの処理を実行する。なお、制御部１５は、１つのＣＰＵによってこれらの処理を実行してもよいし、複数のＣＰＵを備えて、複数のＣＰＵで、これらの処理を並列に実行してもよい。以下、これらの構成について順に説明する。

【0032】

（取得部１５１について）
取得部１５１は、人や動物などの被写体の映像を含む撮像データを取得する。すなわち、取得部１５１は、撮像部１３が撮像した人や動物などの被写体の映像を含む撮像データを記憶部１２から読み出して取得する。

【0033】

取得部１５１は、音情報が出力された際の被写体の映像を取得する。例えば、取得部１５１は、音情報が出力された際の撮像部１３が撮像した被写体の映像を、記憶部１２から読み出して取得する。

【0034】

（判別部１５２について）
判別部１５２は、撮像部１３の撮像データに基づいて動物の種類を判別する。判別部１６３は、撮像データに基づいて、撮像データからオブジェクトを検出し、検出したオブジェクトを分類する処理、すなわちオブジェクト検出処理を行って、撮像データから動物の種類を判別する処理を実行してよい。判別部１６３は、例えば撮像データの画素を物体クラスに分類する手法であるセマンティック・セグメンテーション（Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ）等を用いることにより実現されてよい。

【0035】

（判定部１５３について）
判定部１５３は、音情報を出力した際の被写体の映像に基づいて、出力した音情報に対する被写体の反応を判定する。例えば、判定部１５３は、被写体の映像と被写体の反応を示すラベルとの関係を学習した学習済みモデルに、被写体の映像を入力することにより、音情報に対する被写体の反応を判定してよい。この場合の学習用モデルには、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等を用いてよい。また、この場合の被写体の反応を示すラベルは任意に設定して良く、例えば、「良好」、「普通」、「反応なし」などが挙げられる。

【0036】

（生成部１５４について）
生成部１５４は、判別部１５２が判別した被写体の種別に応じて音のバリエーションを変えて、被写体に反応を促す音情報を生成する。例えば、生成部１５４は、被写体が子供である場合、おもちゃのピーピー、キューキューなどの擬態語を用いて表現することが可能な音情報や、電車、車、アニメのキャラクターの声などを含む音情報を生成する。また、生成部１５４は、被写体が犬猫である場合は、おもちゃ、ビニール袋の音であってカサカサという擬態語により表現可能な音情報や、飼い主の声、鳥の声、虫の声、動物の声、缶詰を開ける音、袋を開ける音、物が擦れる音などを含む音情報を生成する。

【0037】

生成部１５４は、被写体の種別に加えて、被写体の気分、時間、場所、周りの状況、騒音有無を含むコンテキストにも応じて、音のバリエーションを変化させて音情報を生成する。例えば、生成部１５４は、なお、ここで、音のバリエーションとは、音の大きさや、音の音調、音の長さ、音の種類などを含む音の内容を表すものである。例えば、生成部１５４は、場所が「公園」であり、周りの状況が「子供が遊んでいる」という状況である場合であれば、楽しげな雰囲気を壊さないように、中程度の音の大きさで、明るい音調の音情報を生成する。なお、生成部１５４は、後述する学習部１５５が学習させた学習済みモデルを用いて、被写体の反応が「良好」となるように、音のバリエーションを変えて音情報を生成してもよい。

【0038】

（学習部１５５について）
学習部１５５は、出力した音情報の特徴と被写体の反応との関係をモデルに学習させる。すなわち、学習部１５５は、出力した音情報のデータと被写体の反応のラベルを学習データとしてモデルに学習させる。この場合のモデルには、例えば、ディープニューラルネットワーク（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等を用いてよい。学習部１５５は、音情報のデータと被写体の反応との関係をモデルに学習させたら、学習済みモデルを記憶部１２に記憶する。

【0039】

（出力部１５６について）
出力部１５６は、生成部１５４が生成した音情報を出力する。すなわち、出力部１５６は、音出力部１４に生成部１５４が生成した音情報を出力させる制御指令を与えることにより、音情報を出力する。なお、出力部１５６は、音出力部１４に制御指令を与えることに限定されず、通信部１１を介して、外部の音情報を出力可能な装置に音情報を出力させる制御指令を与えてもよい。

【0040】

〔３．情報処理のフロー〕
次に、図３を用いて、実施形態に係る被写体撮像装置１０による情報処理の手順について説明する。図３は、実施形態に係る情報処理の一例を示すフローチャートである。例えば、被写体撮像装置１０は、人や動物を含む被写体の映像を撮像する（ステップＳ１０１）。そして、被写体撮像装置１０は、撮像した被写体の映像に基づいて被写体の種別を判別する（ステップＳ１０２）。そして、被写体撮像装置１０は、判別した被写体の種別に応じて、被写体に反応を促す音のバリエーションを変えて音情報を生成する（ステップＳ１０３）。そして、被写体撮像装置１０は、生成した音情報を出力する（ステップＳ１０４）。そして、被写体撮像装置１０は、音情報が出力された際の被写体の映像を取得する（ステップＳ１０５）。そして、被写体撮像装置１０は、音情報を出力した際の被写体の映像に基づいて、出力した音情報に対する被写体の反応を判定する（ステップＳ１０６）。そして、被写体撮像装置１０は、出力した音情報の特徴と被写体の反応との関係を学習する（ステップＳ１０７）。

【0041】

〔４．ハードウェア構成〕
また、上述した実施形態に係る被写体撮像装置１０は、例えば図４に示すような構成のコンピュータ１０００によって実現される。図４は、被写体撮像装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Ｉｎｔｅｒｆａｃｅ）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。

【0042】

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが記憶される記憶装置であり、ＲＯＭ(Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリ等により実現される。

【0043】

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。

【0044】

なお、入力装置１０２０は、例えば、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＰＤ（Ｐｈａｓｅ ｃｈａｎｇｅ ｒｅｗｒｉｔａｂｌｅ Ｄｉｓｋ）等の光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ ｄｉｓｋ）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。

【0045】

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

【0046】

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

【0047】

例えば、コンピュータ１０００が被写体撮像装置１０として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、被写体撮像装置１０の制御部１５の機能を実現する。

【0048】

〔５．構成と効果〕
本開示に係る被写体撮像装置は、人や動物を含む被写体の映像を撮像する撮像部と、撮像部が撮像した被写体の映像に基づいて被写体の種別を判別する判別部と、判別部が判別した被写体の種別に応じて音のバリエーションを変えて、被写体に反応を促す音情報を生成する生成部と、生成部が生成した音情報を出力する出力部と、音情報が出力された際の被写体の映像を取得する取得部と、音情報を出力した際の被写体の映像に基づいて、出力した音情報に対する被写体の反応を判定する判定部と、出力した音情報の特徴と被写体の反応との関係を学習する学習部と、を備え、生成部は、出力した音情報の特徴と被写体の反応との関係に基づいて、音のバリエーションを変化させて音情報を生成する。

【0049】

この構成によれば、音を発することにより被写体を撮影に適した状態にして、撮影に適した状態で被写体を撮影することが可能となる。そのため、人や動物などの被写体を撮影に適した状態にして撮影することが可能な被写体撮像装置１０を提供することができる。

【0050】

本開示に係る被写体撮像装置の生成部は、被写体の種別に加えて、被写体の気分、時間、場所、周りの状況、騒音有無を含むコンテキストにも応じて、音のバリエーションを変化させて前記音情報を生成する。

【0051】

この構成によれば、周囲の状況などのコンテキストに応じて出力する音を変えて出力することができる。そのため、周囲の状況に配慮したうえで、音を発することにより被写体を撮影に適した状態にして、撮影に適した状態で被写体を撮影することが可能となる。

【0052】

本開示に係る被写体撮像方法は、人や動物を含む被写体の映像を撮像するステップと、撮像した被写体の映像に基づいて被写体の種別を判別するステップと、判別した被写体の種別に応じて音のバリエーションを変えて、被写体に反応を促す音情報を生成するステップと、生成した音情報を出力するステップと、音情報が出力された際の被写体の映像を取得するステップと、音情報を出力した際の被写体の映像に基づいて、出力した音情報に対する被写体の反応を判定するステップと、出力した音情報の特徴と被写体の反応との関係を学習するステップと、を備え、生成するステップにおいては、出力した音情報の特徴と被写体の反応との関係に基づいて、音のバリエーションを変化させて音情報を生成する。

【0053】

この構成によれば、音を発することにより被写体を撮影に適した状態にして、撮影に適した状態で被写体を撮影することが可能となる。そのため、人や動物などの被写体を撮影に適した状態にして撮影することが可能な被写体撮像方法を提供することができる。

【0054】

本開示に係るプログラムは、人や動物を含む被写体の映像を撮像するステップと、撮像した被写体の映像に基づいて被写体の種別を判別するステップと、判別した被写体の種別に応じて音のバリエーションを変えて、被写体に反応を促す音情報を生成するステップと、生成した音情報を出力するステップと、音情報が出力された際の被写体の映像を取得するステップと、音情報を出力した際の被写体の映像に基づいて、出力した音情報に対する被写体の反応を判定するステップと、出力した音情報の特徴と被写体の反応との関係を学習するステップと、を備え、生成するステップにおいては、出力した音情報の特徴と被写体の反応との関係に基づいて、音のバリエーションを変化させて音情報を生成すること、をコンピュータに実行させる。

【0055】

この構成によれば、音を発することにより被写体を撮影に適した状態にして、撮影に適した状態で被写体を撮影することが可能となる。そのため、人や動物などの被写体を撮影に適した状態にして撮影することが可能なプログラムを提供することができる。

【0056】

以上、本願の実施形態を図面に基づいて詳細に説明したが、これは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

【0057】

また、上述してきた「部（ｓｅｃｔｉｏｎ、ｍｏｄｕｌｅ、ｕｎｉｔ）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部１５１は、取得手段や取得回路に読み替えることができる。

【符号の説明】

【0058】

１０ 被写体撮像装置
１１ 通信部
１２ 記憶部
１３ 撮像部
１４ 音出力部
１５ 制御部
１５１ 取得部
１５２ 判別部
１５３ 判定部
１５４ 生成部
１５５ 学習部
１５６ 出力部

【図1】

【図2】

【図3】

【図4】