(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022171671
(43)【公開日】2022-11-11
(54)【発明の名称】撮影システム、撮影方法、撮影プログラム、及びぬいぐるみ
(51)【国際特許分類】
A63H 11/00 20060101AFI20221104BHJP
H04N 5/232 20060101ALI20221104BHJP
G03B 15/00 20210101ALI20221104BHJP
G03B 17/56 20210101ALI20221104BHJP
B25J 13/00 20060101ALI20221104BHJP
【FI】
A63H11/00 Z
H04N5/232 945
H04N5/232 300
G03B15/00
G03B17/56 Z
B25J13/00 Z
【審査請求】有
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2022130612
(22)【出願日】2022-08-18
(62)【分割の表示】P 2019204415の分割
【原出願日】2019-11-12
(71)【出願人】
【識別番号】504440133
【氏名又は名称】株式会社ポケモン
(74)【代理人】
【識別番号】100151688
【弁理士】
【氏名又は名称】今 智司
(72)【発明者】
【氏名】磯部 智寿
(72)【発明者】
【氏名】一条 竜也
(72)【発明者】
【氏名】太田 信之
(72)【発明者】
【氏名】大西 貴広
(72)【発明者】
【氏名】新海 翠
(72)【発明者】
【氏名】竹中 智
(72)【発明者】
【氏名】田中 雅美
(72)【発明者】
【氏名】塙 諒介
(72)【発明者】
【氏名】谷口 亜実
(72)【発明者】
【氏名】松井 佐瑛子
(57)【要約】
【課題】ぬい撮りに適し、付加価値の高い画像を撮像できる撮影システム、撮影方法、撮影プログラム、及びぬいぐるみを提供する。
【解決手段】撮影システム5は、情報端末10と情報端末10から供給される所定の情報に基づいて動作可能なぬいぐるみ20とを備え、情報端末10が、ぬいぐるみ20が含まれる撮像領域を撮像する撮像部100と、撮像領域に関する情報である撮像領域情報を取得する撮像領域情報取得部104とを有し、ぬいぐるみ20が、少なくとも1つの構成部材200と、構成部材200を動作させる駆動部208と、撮像領域情報に基づいて駆動部208の動作を制御する駆動制御部206とを有する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
情報端末と前記情報端末から供給される所定の情報に基づいて動作可能なぬいぐるみとを備える撮影システムであって、
前記情報端末が、
前記ぬいぐるみが含まれる撮像領域を撮像する撮像部と、
前記撮像領域に関する情報である撮像領域情報を取得する撮像領域情報取得部と
を有し、
前記ぬいぐるみが、
少なくとも1つの構成部材と、
前記構成部材を動作させる駆動部と、
前記撮像領域情報に基づいて前記駆動部の動作を制御する駆動制御部と
を有する撮影システム。
【請求項2】
前記撮像領域情報取得部が、前記撮像部の撮像指示を待機する撮影準備状態において、前記撮像領域情報を取得する請求項1に記載の撮影システム。
【請求項3】
前記情報端末が、
前記撮像領域を表示する表示部と、
前記撮像領域に含まれる前記ぬいぐるみの前記表示部の表示位置に所定の画像を合成する画像処理部と
を更に有する請求項1又は2に記載の撮影システム。
【請求項4】
前記ぬいぐるみが、
少なくとも前記駆動部を動作させるバッテリー
を更に有し、
前記駆動制御部が、前記バッテリーのバッテリー残量に基づいて前記駆動部の動作を制御する請求項1~3のいずれか1項に記載の撮影システム。
【請求項5】
前記ぬいぐるみが、
少なくとも前記駆動部を動作させるバッテリー
を更に有し、
前記駆動制御部が、前記バッテリーのバッテリー残量が予め定められた基準を下回った場合、前記駆動部を予め定められた状態に設定し、当該状態で前記駆動部を停止させる請求項1~3のいずれか1項に記載の撮影システム。
【請求項6】
前記情報端末が、
前記撮像部が撮像する撮像画像に対応する付加情報を、前記撮像領域情報に基づいて生成する付加情報生成部を更に有する請求項1~5のいずれか1項に記載の撮影システム。
【請求項7】
前記情報端末が、
前記撮像画像と、前記撮像画像に対応する前記付加情報とを所定のサーバに供給する供給部
を更に有する請求項6に記載の撮影システム。
【請求項8】
情報端末と前記情報端末から供給される所定の情報に基づいて動作可能なぬいぐるみを含む画像を撮影する撮影方法であって、
前記ぬいぐるみが含まれる撮像領域に関する情報である撮像領域情報を取得する撮像領域情報取得工程と、
前記ぬいぐるみを構成する少なくとも1つの構成部材を動作させる駆動部の動作を、前記撮像領域情報に基づいて制御する駆動制御工程と
を備える撮影方法。
【請求項9】
情報端末と前記情報端末から供給される所定の情報に基づいて動作可能なぬいぐるみを含む画像を撮影する撮影システム用の撮影プログラムであって、
コンピュータに、
前記ぬいぐるみが含まれる撮像領域に関する情報である撮像領域情報を取得する撮像領域情報取得機能と、
前記ぬいぐるみを構成する少なくとも1つの構成部材を動作させる駆動部の動作を、前記撮像領域情報に基づいて制御する駆動制御機能と
を実現させる撮影プログラム。
【請求項10】
情報端末から供給される所定の情報に基づいて動作可能なぬいぐるみであって、
少なくとも1つの構成部材と、
前記構成部材を動作させる駆動部と、
前記情報端末の撮像領域であって、前記ぬいぐるみが含まれる前記撮像領域に関する情報である撮像領域情報に基づいて前記駆動部の動作を制御する駆動制御部と
を備えるぬいぐるみ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影システム、撮影方法、撮影プログラム、及びぬいぐるみに関する。特に、本発明は、ぬい撮りに適した撮影システム、撮影方法、撮影プログラム、及びぬいぐるみに関する。
【背景技術】
【0002】
従来、ユーザに対してコミュニケーション行動を行うコミュニケーション装置であって、複数の構成部位から構成され、顔を構成する部位に対応する構成部位を少なくとも1つ備える顔部を有する構造体と、構成部位の動作を制御することによって、コミュニケーション行動を表現するジェスチャを構造体に行わせる制御手段と、構造体の周囲の物体の、構造体に対する相対的な位置を検出する検出手段とを有し、検出手段は、ユーザの顔の位置を検出し、制御手段は、顔部が向く方向と顔部から見たユーザの顔の方向とのなす角度に応じて異なるジェスチャを構造体に行わせるように構成部位の動作を制御するコミュニケーション装置が知られている(例えば、特許文献1参照)。特許文献1に記載のコミュニケーション装置によれば、構造体の顔部に対するユーザの向きを考慮した自然なコミュニケーション行動ができる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
近年、室内や外出先・旅行先等の様々な場所でぬいぐるみや人形等の玩具(以下、これらを単に「ぬいぐるみ」と称する。)を主人公にした画像を撮像する「ぬい撮り」文化が広まっている。「ぬい撮り」では、ぬいぐるみを主人公にして撮像された画像がソーシャルネットワークサービス(SNS)等にアップされ、多くの人々に楽しまれている。ここで、「ぬい撮り」では、ぬいぐるみが存在する場所等の状況を適切に把握し、当該状況に応じた画像が撮像されることが多い。
【0005】
そして、「ぬい撮り」では周囲の状況にぬいぐるみの状態を合わせることが好まれるところ、駆動部等がないぬいぐるみでは、周囲の状況に合わせたポーズをぬいぐるみに取らせることが困難であった。また、特許文献1に記載のコミュニケーション装置では「ぬい撮り」において重要となるぬいぐるみの周囲の状況について考慮できない。つまり、特許文献1に記載のコミュニケーション装置はユーザとコミュニケーション装置との間で自然なコミュニケーション行動をとることに焦点を当てているものの、ぬいぐるみが置かれた状況を考慮できない。また、特許文献1に記載のコミュニケーション装置は、ぬいぐるみを「ぬい撮り」に適合させてぬいぐるみ自体の愛玩性を高めることや、ユーザにとって愛着がわくようにぬいぐるみのポーズ等を変化させ、当該ぬいぐるみを含む撮像画像を撮ることはできない。
【0006】
したがって、本発明の目的は、ぬい撮りに適し、付加価値の高い画像を撮像できる撮影システム、撮影方法、撮影プログラム、及びぬいぐるみを提供することにある。
【課題を解決するための手段】
【0007】
本発明は、上記目的を達成するため、情報端末と情報端末から供給される所定の情報に基づいて動作可能なぬいぐるみとを備える撮影システムであって、情報端末が、ぬいぐるみが含まれる撮像領域を撮像する撮像部と、撮像領域に関する情報である撮像領域情報を取得する撮像領域情報取得部とを有し、ぬいぐるみが、少なくとも1つの構成部材と、構成部材を動作させる駆動部と、撮像領域情報に基づいて駆動部の動作を制御する駆動制御部とを有する撮影システムが提供される。
【発明の効果】
【0008】
本発明に係る撮影システム、撮影方法、撮影プログラム、及びぬいぐるみによれば、ぬい撮りに適し、付加価値の高い画像を撮像できる撮影システム、撮影方法、撮影プログラム、及びぬいぐるみを提供できる。
【図面の簡単な説明】
【0009】
【
図1】本実施形態に係る撮影システムの概要図である。
【
図2】本実施形態に係る情報端末の機能構成ブロック図である。
【
図3】本実施形態に係るぬいぐるみの機能構成ブロック図である。
【
図4】本実施形態に係るぬいぐるみの概要図である。
【
図5】本実施形態に係る各格納部のデータ構成図である。
【
図6】本実施形態に係る撮影システムにおける処理のフロー図である。
【
図7】本実施形態に係る画像処理部による画像処理の図である。
【
図8】本実施形態に係る撮影システムにおける処理のフロー図の変形例である。
【
図9】本実施形態に係る付加情報の作成例の図である。
【
図10】他の実施の形態に係る撮影システムの処理のフロー図である。
【発明を実施するための形態】
【0010】
[実施の形態]
<撮影システム5の概要>
本実施形態に係る撮影システム5は、カメラを有する情報端末と、バッテリーで駆動する駆動部を有するぬいぐるみや人形等の玩具(以下、本実施形態においては「ぬいぐるみ」と称する。)とを備え、駆動部は情報端末と連携して動作する。つまり、ぬいぐるみの駆動部はカメラの撮像領域に関する情報に基づいて動作し、情報端末は撮像領域内のぬいぐるみが主人公のように振る舞う画像を撮像できる。すなわち、撮影システム5では、情報端末がぬいぐるみを含む撮像領域の状況を把握し、情報端末により把握された当該状況に基づいてぬいぐるみの駆動部が動作する。そして、このぬいぐるみ(動作中、若しくは所定の動作後のぬいぐるみ)を含む画像が情報端末により撮像される。これにより、撮影システム5は、ぬい撮りに適した付加価値の高い画像を撮像でき、愛玩性の高いぬいぐるみを提供できる。
【0011】
図1は、本発明の実施の形態に係る撮影システムの概要を示す。
【0012】
具体的に、撮影システム5は、情報端末10と、情報端末10から供給される所定の情報に基づいて動作可能な駆動部を有するぬいぐるみ20とを備える。情報端末10はカメラ(撮像部)を有しており、カメラは撮像領域の画像を撮像する。そして、所定の情報とは、撮像領域に関する情報であって、例えば、撮像領域に含まれるオブジェクト1(例えば、人物)、風景・背景、ぬいぐるみ20、他のぬいぐるみ、撮像場所、及び/又は撮像の日時等に関する情報(以下、「撮像領域情報」と称する。)である。一例として情報端末10は、画像の撮像をカメラに指示する撮像指示を受け付け可能な状態であって、撮像指示を待機する撮影準備状態において撮像領域の撮像領域情報を取得する。
【0013】
例えば、
図1(a)に示すように、情報端末10の撮像領域にオブジェクト1(人物)及びぬいぐるみ20が含まれている場合を説明する。この場合、情報端末10は、ぬいぐるみ20と共にオブジェクト1である人物が撮像領域に含まれていることを示す情報や当該人物の動きを示す情報を、撮像領域の画像解析により撮像領域情報として取得する。情報端末10は、撮像領域情報をリアルタイム及び/又は連続して取得できる。そして、情報端末10は、取得した撮像領域情報をぬいぐるみ20に無線通信で供給する。
【0014】
ぬいぐるみ20は、少なくとも1つの構成部材を有して構成される。一例として、ぬいぐるみ20は、頭部、胴体、四肢、耳等の構成部材を有し、頭部と胴体との接続領域のように一の構成部材と一の構成部材に隣接する他の構成部材との接続領域に駆動部を有して構成される。また、ぬいぐるみ20は、撮像領域情報に基づいて駆動部の動作を制御する駆動制御部を有する。
【0015】
ぬいぐるみ20の駆動制御部は、情報端末10から撮像領域情報を取得した場合、撮像領域情報に基づいて駆動部を動作させて構成部材を動作させる。例えば、駆動制御部は、撮像領域に含まれる人物の動きに追随するようにぬいぐるみ20が有する各駆動部を動作させ、ぬいぐるみ20を構成する各構成部材を動作させる。
図1(b)の例では、撮像領域情報にはオブジェクト1である人物が右腕を上げている状態を示す情報が含まれる。そこで、駆動制御部は、情報端末10から受け取った撮像領域情報に基づいて、ぬいぐるみ20の右腕を上げることができる駆動部を動作させ、ぬいぐるみ20の右腕を上げた状態にする。この状態で情報端末10は、ぬいぐるみ20の画像を撮像できる。
【0016】
これにより、撮影システム5によれば、撮像領域に含まれるぬいぐるみ20が、共に写っている人物(オブジェクト1)と共に主体的に喜怒哀楽を表現しているような撮像画像や主体的に動作しているような撮像画像を撮像できる。
【0017】
なお、情報端末10は、カメラ機能を有する携帯電話やスマートフォン、カメラ機能を有するかWebカメラを接続可能なノートパソコン、タブレット型PC、カメラ機能を有するかWebカメラを接続可能なPC、カメラ機能を有するかWebカメラを接続可能な携帯用ゲーム機、及び/又はカメラ機能を有するかWebカメラを接続可能な家庭用ゲーム機等の撮像機能を有する情報端末である。そして、以下において本実施形態に係る撮影システム5の詳細を説明するが、上記説明及び下記説明における名称や数値等はあくまで例示であり、これらの名称や数値等に限定されることはないことを付言する。
【0018】
<撮影システム5の詳細>
図2は、本実施形態に係る情報端末の機能構成の一例を示し、
図3は、本実施形態に係るぬいぐるみの機能構成の一例を示す。また、
図4は、本実施形態に係るぬいぐるみの一例の概要を示す。更に、
図5は、本実施形態に係る各格納部のデータ構成の一例を示す。
【0019】
[撮影システム5の構成の概要]
本実施形態に係る撮影システム5は、情報端末10と、情報端末10が取得した撮像領域情報に基づいて動作するぬいぐるみ20とを備える。そして、
図2に示すように、情報端末10は、撮像部100と、撮像部100の動作を制御する撮像制御部102と、撮像領域の情報を取得する撮像領域情報取得部104と、撮像領域の画像を解析する画像解析部106と、撮像領域情報を格納する撮像領域情報格納部108と、所定の情報を送受信する情報端末側送受信部110と、外部からの指示を受け付ける指示受付部112と、画像を格納する画像格納部114と、画像処理を実行する画像処理部118と、付加情報を生成する付加情報生成部120と、所定の画像及び/又は付加情報を所定のサーバに供給する供給部122と、ぬいぐるみに関する情報を格納するぬいぐるみ情報格納部124と、ぬいぐるみに関する情報を更新するぬいぐるみ情報更新部126と、ぬいぐるみの友達に関する情報を格納する友達情報格納部128と、撮像領域の画像等を表示する表示部130とを有する。
【0020】
また、
図3に示すように、ぬいぐるみ20は、ぬいぐるみ20を構成する1つ以上の構成部材200と、所定の情報を送受信するぬいぐるみ側送受信部202と、ぬいぐるみ20の動作のシナリオ等を格納する動作情報格納部204と、構成部材200を動作させる1つ以上の駆動部208と、駆動部208の動作を制御する駆動制御部206と、加速度等を測定するセンサ210と、マイク212と、スピーカー214と、バッテリー220と、バッテリー220の残量を確認するバッテリー残量確認部222と、バッテリーの充放電を制御する充放電制御部224とを有する。
【0021】
なお、情報端末10が有する各構成要素それぞれの機能の全て若しくは一部を、他の構成要素が有するか、別途、独立の構成にしてもよい。また、情報端末10が有する各構成要素の一部若しくは各構成要素の機能の一部を、ぬいぐるみ20が有していてもよい。更に、ぬいぐるみ20が有する各構成要素の一部若しくは各構成要素の機能の一部を、情報端末10が有していてもよい。例えば、動作情報格納部204と駆動制御部206の機能の一部とを情報端末10が有していてもよい。
【0022】
また、本実施形態の変形例においては、情報端末10の機能の一部をサーバが有し(例えば、画像解析部106をサーバが有し)、情報端末10が取得した情報(例えば、撮像領域の画像情報)をサーバにおいて画像解析し、サーバにおける画像解析結果に基づいてぬいぐるみ20の駆動制御部206が駆動部208を動作させてもよい。ただし、以下においては、サーバが存在しない形態について説明する。
【0023】
[撮影システム5の構成の詳細:情報端末10の構成]
(撮像部100、撮像制御部102)
撮像部100は、撮像領域の画像を撮像する。また、撮像制御部102は、撮像部100の動作を制御する。例えば、撮像部100は撮像制御部102に制御され、ぬいぐるみ20が含まれる撮像領域の画像(撮像画像)を撮像する。ここで、撮像制御部102は、例えば、ユーザからの撮像指示による撮像の実行が可能になった状態であって撮像指示を受け付ける前の撮像指示を待機する状態(つまり、撮影準備状態)の画像も撮像部100に撮像させることができる。撮像制御部102は、撮影準備状態の画像を撮像部100にリアルタイム、及び/又は連続して撮像させることもできる。撮像部100は、撮影準備状態中に撮像した画像を撮像領域情報取得部104、画像解析部106、及び/又は表示部130に供給すると共に、画像格納部114に供給すること、及び/又は所定のメモリに一時的に記憶することができる。そして、撮像制御部102は、例えばユーザからの撮像指示を受け付けた場合に撮像部100に画像の撮像を実行させ、撮像指示の時点、及び/又は当該時点の前後の予め定められた期間における撮像領域の撮像画像を画像格納部114に格納させ、及び/又は表示部130に表示させる。
【0024】
(撮像領域情報取得部104)
撮像領域情報取得部104は、撮像領域に関する情報である撮像領域情報を取得する。撮像領域情報取得部104は、撮影準備状態において撮像領域情報を取得することができる。また、撮像領域情報取得部104は、撮像部100が撮影準備状態で継続して撮像している画像をリアルタイムに、若しくは時系列に沿って所定の時点毎に、又は予め定められた時間間隔で撮像領域情報を取得してもよい。撮像領域情報取得部104は、取得した撮像領域情報を撮像領域情報格納部108に供給する。
【0025】
ここで、撮像領域情報は、撮像領域に含まれるオブジェクトに関する情報、撮像領域の背景に関する情報、撮像領域の位置情報(撮像位置の位置情報)、撮像領域の撮影準備状態や撮像時の日時情報、気温や湿度情報、及び天気情報等からなる群から選択される少なくとも1つの情報である。オブジェクトとしては、人物、ぬいぐるみ20、撮像画像の主題になるぬいぐるみ20とは異なるぬいぐるみ、撮像領域に含まれる様々な物品等が挙げられる。また、オブジェクトに関する情報としては、オブジェクトの種類(オブジェクトがぬいぐるみである場合はぬいぐるみの種類等)、オブジェクトの状態(オブジェクトの動き、オブジェクトが人物である場合は当該人物の動作や姿勢、表情等に関する情報)等が挙げられる。
【0026】
なお、撮像領域情報取得部104は、ぬいぐるみ20が含まれている撮像領域には含まれていないものの、情報端末10の近傍(例えば、情報端末10から所定距離内。所定距離は、例えば、情報端末側送受信部110の無線通信が可能な距離である。)に他のぬいぐるみが存在するか否かを示す情報を撮像領域情報として取得してもよい。例えば、撮像領域情報取得部104は、情報端末10と他のぬいぐるみとで通信可能であるか否かを判断し、通信可能であると判断した場合に他のぬいぐるみが情報端末10の近傍に存在することを示す情報を撮像領域情報として取得する。
【0027】
また、複数のぬいぐるみそれぞれに固有のぬいぐるみIDを予め付与するか、撮影準備状態になる毎に撮像領域情報取得部104が、情報端末10の近傍であって情報端末10と通信可能なぬいぐるみにぬいぐるみ20とは異なるぬいぐるみIDを付与してもよい(複数のぬいぐるみが存在する場合は、複数のぬいぐるみそれぞれに互いに異なるIDを付与してよい。)。そして、撮像領域情報取得部104は、各ぬいぐるみIDに対応するぬいぐるみの駆動制御部206それぞれに向け、互いに異なる動作をする指令を供給する。続いて撮像領域情報取得部104は、撮像領域に含まれるぬいぐるみの動作と当該動作に対応する指令を供給したぬいぐるみのぬいぐるみIDとに基づいて、撮像領域に含まれるぬいぐるみと撮像領域に含まれず情報端末10の近傍に存在するぬいぐるみとを識別する。撮像領域情報取得部104は、この識別結果を撮像領域情報として取得してもよい。
【0028】
撮像領域情報取得部104は、撮像領域の位置情報、日時情報、及び天気情報等は情報端末10が有するGPS機能、時計機能、及び外部サーバから情報を取得する機能等を用いて取得する。また、撮像領域情報取得部104は、撮像領域に含まれるオブジェクトに関する情報、及び撮像領域の背景等に関する情報を撮像部100から受け取った撮像画像の画像解析により取得する。
【0029】
(画像解析部106)
すなわち、情報端末10は、画像解析する画像解析部106を有する。画像解析部106は、撮像部100が取得した撮影準備状態における撮像領域の画像、及び/又は撮像部100が撮像指示に応じて取得した撮像領域の撮像画像を解析し、解析結果を撮像領域情報として生成する。撮像領域情報取得部104は、生成された撮像領域情報を取得する。画像解析部106は、従来公知の画像処理やパターンマッチング手法等を用いて画像解析できる。
【0030】
また、画像解析部106は、撮像対象となるオブジェクトや背景等の撮像画像を画像格納部114若しくは外部のサーバから読み込んで学習することもできる。この場合、画像解析部106は、学習結果と撮像領域の画像の特徴量とを比較し、撮像領域に含まれるオブジェクトや背景が何であるかを特定できる。更に、画像解析部106は、撮像領域に含まれるオブジェクトの動作及び/又は状態をリアルタイムに解析することもできる。一例として、画像解析部106は、所定のオブジェクトの予め定められたモデルと撮像領域に含まれるオブジェクトの特徴量とを比較し、当該オブジェクトがどのような動作をしているか、及び/又はどのような状態であるかを解析することもできる。なお、画像解析部106は、例えば、Regional Convolutional Neural Network(R-CNN)、高速RCNN、セマンティックセグメンテーション、インスタンスセグメンテーション等を用いて画像に含まれるオブジェクトを認識してもよい。
【0031】
例えば、画像解析部106は、撮像領域の画像を解析し、撮像領域に含まれるオブジェクトが人物であるか否かを特定し、オブジェクトが人物であると特定した場合は当該人物の動作及び/又は表情を特定できる。また、画像解析部106は、撮像領域に含まれるオブジェクトがぬいぐるみであるか否かを特定し、オブジェクトがぬいぐるみであると特定した場合は当該ぬいぐるみの特徴(例えば、種類、属性等)を特定できる。更に、画像解析部106は、撮像領域に含まれるオブジェクトが人物ではない物品(例えば、飲食物、商品、身の回り品、乗用車等の乗り物等)である場合、当該物品が何であるかを特定できる(例えば、商品名等を特定できる。)。更に、画像解析部106は、撮像領域の背景や風景がどのような背景や風景であるかを特定することもできる。
【0032】
(撮像領域情報格納部108)
撮像領域情報格納部108は、撮像領域情報を格納する。撮像領域情報格納部108は、撮像領域情報を識別する撮像領域IDに対応付けて、撮像領域情報取得部104が取得した撮像領域情報を格納する。撮像領域情報格納部108は、撮像領域情報が取得された日時(取得日時)を更に対応付けて撮像領域情報を格納することもできる。つまり、撮像領域情報格納部108は、過去の撮像領域情報も格納できる。
【0033】
この場合、画像解析部106は、撮像部100が撮影準備状態における撮像領域の画像を撮像した時点における当該撮像領域の画像、及び/又は当該時点より前の時点における撮像領域の画像を解析できる。これにより、例えば、画像解析部106は、撮像部100が撮像指示に応じて撮像画像を取得するより前の時点で撮像領域に何が写っているかを示す情報(例えば、風景や背景及びそれらの変化に関する情報、撮像領域に含まれる人物の動作や表情及びそれらの変化に関する情報、及び/又は撮像領域に含まれる主題となるぬいぐるみ20とは異なるぬいぐるみの種類等に関する情報)を撮像領域情報として生成できる。撮像領域情報格納部108は、情報端末10の他の構成部材からの要求に応じ、格納している情報を所定の構成部材に供給する。
【0034】
(情報端末側送受信部110)
情報端末側送受信部110は、情報端末10の所定の構成部材からの所定の情報をぬいぐるみ20に供給する。また、情報端末側送受信部110は、ぬいぐるみ20の所定の構成部材から所定の情報を受け取る。更に、情報端末側送受信部110は、外部のサーバ等に情報端末10の所定の構成部材からの所定の情報を供給すること、外部のサーバ等から所定の情報を受け取ることもできる。なお、通信形式としては無線通信であれば特に限定はない。例えば、情報端末側送受信部110は、Bluetooth(登録商標)等の近距離無線通信を利用できる。これは、ぬいぐるみ側送受信部202も同様である。これにより、情報端末10とぬいぐるみ20とは互いに無線通信が可能になる。
【0035】
(指示受付部112)
指示受付部112は、ユーザからの各種指示を受け付ける。各種指示としては、例えば、撮影準備状態における撮像領域の画像の撮像の実行等の指示である。指示受付部112は、受け付けた指示に応じ、当該指示を実行する情報端末10の構成部材に当該指示を供給し、当該指示を受け取った構成部材は当該指示に応じた動作を実行する。
【0036】
(画像格納部114)
画像格納部114は、画像を識別する画像IDに対応付けて画像情報を格納する。画像情報としては、撮影準備状態における撮像領域の画像、撮像指示に応じて撮像部100が撮像した撮像画像、及び/又は撮像画像に含まれるぬいぐるみ20へ合成する合成用画像(画像の合成に用いられる画像部材を含む)等の情報が挙げられる。なお、本実施形態において「画像」や「撮像画像」、「合成用画像」には、静止画及び動画の双方が含まれる。また、静止画及び動画には、付帯する音声情報が含まれていてもよい。画像格納部114は、情報端末10の他の構成部材からの要求に応じ、格納している画像情報を所定の構成部材に供給する。
【0037】
(ぬいぐるみ情報格納部124)
ぬいぐるみ情報格納部124は、ぬいぐるみを識別するぬいぐるみIDに対応付けて、ぬいぐるみに関する情報であるぬいぐるみ情報を格納する。ぬいぐるみ情報は、ぬいぐるみの種類、名称、性別、属性、性格等の情報である。ぬいぐるみ情報格納部124は、ユーザが所持するぬいぐるみ20のぬいぐるみ情報、及び/又はユーザが所持していないぬいぐるみのぬいぐるみ情報を格納できる。ぬいぐるみ情報格納部124は、情報端末10の他の構成部材からの働きかけに応じ、所定の構成部材に所定の情報を供給する。
【0038】
(ぬいぐるみ情報更新部126)
ぬいぐるみ情報更新部126は、ぬいぐるみ情報格納部124に格納されているぬいぐるみ情報を更新する。例えば、指示受付部112がユーザからの所定の指示を受け付けた場合に、ぬいぐるみ情報更新部126はぬいぐるみ情報を更新することができる。
【0039】
(友達情報格納部128)
友達情報格納部128は、ぬいぐるみIDに対応付けて当該ぬいぐるみIDで識別されるぬいぐるみ(第1のぬいぐるみ)の友達としての他のぬいぐるみ(第2のぬいぐるみ)を識別する友達ぬいぐるみIDと、第1のぬいぐるみと第2のぬいぐるみとの関係性を示す情報(例えば、これまでに同一の撮像画像に共に写った回数等を示す情報、及び回数等を示す情報に基づいて算出される親密度の情報)である友達関連情報を格納する。友達情報格納部128は、情報端末10の他の構成部材からの働きかけに応じ、所定の構成部材に友達関連情報を供給する。
【0040】
(画像処理制御部116、画像処理部118)
画像処理制御部116は、画像処理部118の動作を制御する。画像処理制御部116は、撮像領域情報、及び/又はぬいぐるみ20のバッテリー残量等の情報に基づいて、表示部130に表示されるぬいぐるみ20の表示位置に所定の画像を合成するか否か判断する。そして、画像処理制御部116は、画像の合成をすると判断した場合、画像処理部118に画像の合成を実行させる。なお、画像処理部118は、画像の合成処理の他に、撮像画像の画像変換や変形、撮像画像からの特徴量等の情報抽出等の処理も実行できる。
【0041】
画像処理部118は、画像処理制御部116に制御され、撮像領域に含まれるぬいぐるみ20の表示部130の表示位置に所定の画像を合成して合成画像を生成する。そして、画像処理部118は、合成画像を表示部130に表示させる。画像処理部118は、合成画像を合成画像を識別する合成画像IDに対応付けて画像格納部114に格納することもできる。なお、画像処理部118は、画像格納部114に格納されている合成用画像を用い、合成画像を生成できる。
【0042】
(付加情報生成部120)
付加情報生成部120は、撮像部100が撮像する撮像画像に対応する付加情報、すなわち、撮像画像に含まれるオブジェクト及び/又はぬいぐるみ20がどのような行動をしているか、若しくはどのような状態であるか等を示す付加情報を、撮像領域情報に基づいて生成する。付加情報生成部120は、撮像領域情報取得部104が取得した撮像領域情報、撮像領域情報格納部108が格納している撮像領域情報、及び/又は画像格納部114が格納している撮像画像が撮像された時点の撮像領域情報に基づいて付加情報を生成する。付加情報とは、撮像領域に含まれるオブジェクト及び/又はぬいぐるみ20がどのような行動や動作をしているか、若しくはどのような状態であるか等を示すテキスト情報や図形情報等である。例えば、付加情報は、撮像領域に含まれるオブジェクトとぬいぐるみ20との関係性やオブジェクトとぬいぐるみ20との組み合わせ等に基づいて生成されるセリフ、説明文等のテキスト情報である。
【0043】
付加情報生成部120は、例えば、オブジェクトやぬいぐるみの種類毎に予め定められた説明文やセリフ等のテキスト情報を撮像領域情報に対応付けて格納するテキスト情報格納部、及び/又は外部のサーバからテキスト情報を取得するテキスト情報取得部を有することができる。そして、付加情報生成部120は、撮像領域情報に基づいて、撮像領域に含まれるオブジェクトの種類や動作、ぬいぐるみ20の種類、及び/又はぬいぐるみ20とは異なるぬいぐるみが撮像領域に含まれる場合は当該ぬいぐるみの種類等に応じたテキスト情報をテキスト情報格納部から取得するか、外部のサーバから取得し、取得したテキスト情報を用いるか、若しくは取得したテキスト情報を撮像領域情報に基づいて加工した加工テキスト情報を用いて付加情報を生成することができる。
【0044】
また、付加情報生成部120は、Conditional Variational Auto-encoder(CVAE)を用いることで付加情報を生成してもよい。更に、付加情報生成部120は、画像認識を実行するConvolutional Neural Network(CNN)とリカレントニューラルネットワークとを組み合わせたニューラル画像脚注付けを用いて付加情報としてのテキスト情報を生成してもよい。
【0045】
また、付加情報は、撮像領域情報に含まれる撮像領域の位置を示す情報、すなわち、画像が撮像された地域、場所に適したテキスト情報であってもよい。更に、付加情報は、ぬいぐるみ20と共に写っているオブジェクト(人物、情報端末10と通信可能な他のぬいぐるみ、情報端末10と通信不能なぬいぐるみ、商品等)や背景(観光地や景勝地等の風景、映画のスクリーン等)等に応じ、当該オブジェクトや背景等に適したテキスト情報であってもよい。例えば、撮像領域情報に画像が撮像された位置を示す情報が含まれている場合、付加情報は当該位置に来たことを示すテキスト情報(例えば、「○○に来た!」(ただし、○○は場所の名称やランドマークの名称)等のテキスト情報)であってよく、撮像領域情報に撮像領域に所定の商品の名称を示す情報が含まれている場合、付加情報は当該商品に関するテキスト情報(例えば、「○○を手に入れた!」(ただし、○○は商品名)等のテキスト情報)であってよい。
【0046】
また、付加情報は、撮像領域の天気、温度、及び/又は湿度に応じたテキスト情報であってもよい。そして、付加情報は、撮像領域に含まれるぬいぐるみ20が、撮像領域に訪れた回数、撮像領域に他のオブジェクトと共に写った回数、及び/又は他のぬいぐるみと共に写った回数等に応じたテキスト情報(第1のテキスト情報)であってもよい。例えば、ある撮像領域の場所にぬいぐるみ20が訪れた回数が増加するに従い、ぬいぐるみ20による当該場所に対する認知度が向上したとして、特別な表現のテキスト情報を付加情報生成部120は生成してよい(つまり、ぬいぐるみ20を擬人化して捉えている。)。また、ぬいぐるみ20と共に他のぬいぐるみが写った回数が増加するに従い、ぬいぐるみ20の当該他のぬいぐるみに対する友好度が向上したとして、特別な表現のテキスト情報(第2のテキスト情報)を付加情報生成部120は生成してよい。なお、付加情報生成部120は、撮像領域情報格納部108に格納されている過去の撮像領域情報、及び/又は画像格納部114に格納されている過去の撮像画像に基づいて、第1のテキスト情報及び第2のテキスト情報を生成できる。
【0047】
また、撮像領域情報が撮像領域に複数のぬいぐるみが含まれていることを示す場合、付加情報生成部120は、ぬいぐるみの組合せに応じたテキスト情報を生成できる。この場合、撮像領域情報取得部104は、画像解析部106の画像解析結果、及びぬいぐるみ情報格納部124に格納されているぬいぐるみ情報に基づいて、撮像領域に含まれる複数のぬいぐるみの種類等を特定し、ぬいぐるみの組合せを特定する。そして、付加情報生成部120は、特定されたぬいぐるみの組合せに基づいてテキスト情報を生成する。また、付加情報生成部120は、撮像領域にぬいぐるみ20が含まれる一方で、撮像領域に含まれないものの情報端末10の近傍に他のぬいぐるみが存在することを示す情報が撮像領域情報に含まれている場合、特別なテキスト情報(例えば、「この他のぬいぐるみと次は一緒に写りたい」等のテキスト情報)を生成することもできる。
【0048】
更に、ぬいぐるみ20や他のぬいぐるみにはそれぞれ、固有の特性(性別や性格等)が対応付けられていてもよい(この固有の特性は、ぬいぐるみ情報格納部124にぬいぐるみ情報として格納されている。)。付加情報生成部120は、撮像領域情報に含まれるぬいぐるみ20の固有の特性を示す情報をぬいぐるみ情報格納部124から取得し、取得した情報に基づいてテキスト情報を生成してもよい。例えば、付加情報生成部120は、ぬいぐるみ20の性格が「大人しい」場合や「やんちゃ」な場合等で、生成するテキストの語尾等を変化させたテキスト情報を生成する。また、撮像領域に複数のぬいぐるみが含まれている場合、及び/又は撮像領域と情報端末10近傍のそれぞれにぬいぐるみが含まれている場合、ぬいぐるみ同士の親密度に応じたテキスト情報を、付加情報生成部120は生成してもよい。ぬいぐるみ同士の親密度は、例えば、友達情報格納部128に友達関連情報として格納されている。
【0049】
また、付加情報生成部120は、撮像領域に含まれるぬいぐるみ20の固有の特性を示す情報に基づいて、複数のテキスト情報を生成することもできる。そして、付加情報生成部120は、ユーザからの選択指示を指示受付部112が受け付けた場合、ユーザによって選択されたテキスト情報を付加情報として決定する。また、この場合において付加情報生成部120は、ぬいぐるみ情報更新部126に働きかけて、ユーザが選択したテキスト情報に対応する特性を、新たな特性としてぬいぐるみ20に対応付けるように、ぬいぐるみ情報格納部124に格納されているぬいぐるみ情報を更新させてもよい。例えば、付加情報生成部120は、撮像領域に含まれるぬいぐるみ20の固有の特性を示す情報に基づいて、当該特性に対応するテキスト情報の他に、他の特性に対応するテキスト情報を1つ以上生成する。そして、複数のテキスト情報からユーザが選択したテキスト情報が当該特性に対応するテキスト情報とは異なる他の特性に対応するテキスト情報である場合、付加情報生成部120は、ぬいぐるみ情報更新部126に、ぬいぐるみ情報格納部124に格納されているぬいぐるみ情報に含まれるぬいぐるみの特性をこの他の特性に更新させる。これにより、ぬいぐるみ20の特性をユーザの好みの特性に変更することができる。
【0050】
(供給部122)
供給部122は、撮像画像と、撮像画像に対応する付加情報とを所定のサーバ(例えば、ソーシャルネットワークサービス(SNS)のサーバ)に供給する。供給部122は、指示受付部112がユーザからのSNSへの投稿指示を受け付けた場合、所定のサーバに撮像部100が撮像した撮像画像及び付加情報を供給する。これにより、ぬいぐるみ20が主人公である撮像画像が付加情報と共に所定のサーバにアップされる。
【0051】
[撮影システム5の構成の詳細:ぬいぐるみ20の構成]
(構成部材200)
ぬいぐるみ20は、少なくとも1つの構成部材200を有して構成される。一例として、ぬいぐるみ20は、
図4に示すように、頭部の構成部材200a、頭部に接続する胴体の構成部材200b、頭部に設けられる耳の構成部材200c及び構成部材200d、胴体に設けられる腕部の構成部材200e及び構成部材200f、及び胴体の頭部との接続側と反対側付近に設けられる脚部の構成部材200g及び構成部材200hとを有して構成される。なお、ぬいぐるみ20の各構成部材は、内部に1つ以上の駆動部を有していてもよい。例えば、所定の長さを有して構成されるぬいぐるみ20の腕部に対応する構成部材や耳に対応する構成部材の長手方向に沿って所定間隔で複数の駆動部及び各駆動部を連結する連結部材を設け、腕部や耳が折れ曲がるように構成することもできる。また、ぬいぐるみ20の形状、及びぬいぐるみ20を構成する構成部材は
図4の例に限られない。ぬいぐるみ20の形状としては、様々な動物の形状、様々なキャラクターの形状等を採用できる。そして、ぬいぐるみ20を構成する構成部材の形状及び数も、ぬいぐるみ20全体の形状及び/又は機能に応じて適宜決定できる。ただし、ぬいぐるみ20は、カメラ等の撮像部を有さずに構成される。
【0052】
一の構成部材と当該一の構成部材に隣接する他の構成部材とは駆動部を介して接続できる。例えば、
図4の例においては、駆動部208aを介して構成部材200aと構成部材200bとが接続され、胴体の構成部材200bに対して頭部の構成部材200aが動くように構成される。また、駆動部208bを介して構成部材200bと右腕の構成部材200eとが接続され、駆動部208cを介して構成部材200bと左腕の構成部材200fとが接続され、駆動部208dを介して構成部材200aと右耳の構成部材200cとが接続され、駆動部208eを介して構成部材200aと左耳の構成部材200dとが接続され、駆動部208iを介して構成部材200bと右脚の構成部材200gとが接続され、駆動部208jを介して構成部材200bと左脚の構成部材200hとが接続される。ぬいぐるみ20の四肢及び両耳も、胴体に対する頭部と同様に動くように構成される。
【0053】
また、ぬいぐるみ20の一方の目に駆動部208fが接続され、他方の目に駆動部208gが接続される。駆動部208f及び/又は駆動部208gは、目が開閉する動作や瞬きする動作をするように構成される。更に、ぬいぐるみ20の口部分に設けられる駆動部208hは、口の形状が変化する動作をするように構成される。
【0054】
(ぬいぐるみ側送受信部202)
ぬいぐるみ側送受信部202は、情報端末10から撮像領域情報等の所定の情報を受け取り、受け取った所定の情報をぬいぐるみ20の所定の構成部材に供給する。また、ぬいぐるみ側送受信部202は、バッテリー残量に関する情報等、ぬいぐるみ20の所定の構成部材からの所定の情報を情報端末10の所定の構成部材に供給する。
【0055】
(動作情報格納部204)
動作情報格納部204は、バッテリー220の残量情報、撮像領域情報、及び/又は動作情報を格納する。動作情報格納部204は、ぬいぐるみ20を識別するぬいぐるみIDに対応付けてこれらの情報を格納してもよい。動作情報とは、ぬいぐるみ20が有する1つ以上の駆動部208、及び/又はスピーカー214等の構成部材の動作を規定する情報であって、当該動作のシナリオ情報、音声情報等の情報である。動作情報格納部204は、駆動制御部206の働きかけに応じ、所定の動作情報を駆動制御部206に供給する。なお、情報端末10が動作情報格納部204を有していてもよい。この場合、情報端末10が駆動制御部206に動作情報を供給する。または、情報端末10は、撮像領域情報に基づいて動作情報を生成する動作情報生成部を有していてもよい。動作情報生成部は、生成した動作情報を動作情報格納部204に供給する(この場合、動作情報格納部204は、情報端末10若しくはぬいぐるみ20が有する。)。
【0056】
(駆動制御部206、駆動部208)
駆動部208は、構成部材を動作させる。駆動部208は、例えば、RCサーボモーターやDCモータ、及び/又はポテンショメータ等で構成される。そして、駆動制御部206は、撮像領域情報に基づいて駆動部208の動作を制御する。例えば、駆動制御部206は、情報端末10から受け取った撮像領域情報に対応付けて動作情報格納部204に格納されている動作情報を用い、駆動部208を動作させる。なお、駆動制御部206は、撮像領域情報に含まれる撮像領域の位置、撮像領域にぬいぐるみ20と共に含まれるオブジェクトや他のぬいぐるみ、撮像領域の背景、撮像領域の撮像時の天気や湿度、撮像領域にぬいぐるみ20と共に写っている他のぬいぐるみとぬいぐるみ20との関係性(例えば、親密度等)等に応じ、動作情報に所定の変化を加えてもよい。
【0057】
(センサ210、マイク212、スピーカー214)
センサ210は、ぬいぐるみ20に対するユーザの接触やぬいぐるみ20の動作等を検出する。例えば、センサ210は、加速度センサ、静電容量タッチセンサ等である。また、マイク212は、ぬいぐるみ20の周囲の音声を取得する。更に、スピーカー214は、ぬいぐるみ20から各種の音声を出力する。例えば、駆動制御部206は、センサ210が検出したユーザによるぬいぐるみ20への接触を示す情報等、及び/又はマイク212が検出した音声等の情報に基づいて駆動部208の動作を制御してもよい。この場合、動作情報格納部204は、接触を示す情報や音声等の情報に対応付けて、動作情報を格納し、駆動制御部206は、接触を示す情報や音声の情報に対応する動作情報に基づいて駆動部208を動作させてよい。
【0058】
(バッテリー220、バッテリー残量確認部222、充放電制御部224)
バッテリー220は、少なくとも駆動部208を動作させる電力を駆動部208に供給する。バッテリー220は、ぬいぐるみ20を構成する各構成部材のうち、電力を要する構成部材に電力を供給する。そして、バッテリー残量確認部222は、バッテリー220をモニタリングして、バッテリー220の残量を確認する。バッテリー残量確認部222は、バッテリー残量を示す情報を情報端末10及び/又は駆動制御部206に供給する。また、充放電制御部224は、バッテリー220の充電及び放電を制御する。
【0059】
駆動制御部206は、バッテリー残量確認部222からバッテリー残量に関する情報を受け取った場合、バッテリー残量に基づいて駆動部208の動作を制御する。例えば、バッテリー残量が所定値以下であり、予め定められた閾値を超える場合、駆動制御部206は、ぬいぐるみ20があたかも眠気を催していたり、お腹がすいたような印象を与えるような動作をぬいぐるみ20がするように駆動部208を制御する。例えば、駆動制御部206は、ぬいぐるみ20の目の部分の駆動部を動作させ、ぬいぐるみ20が目を閉じている状態を実現させることや、耳部分の駆動部を動作させ、バッテリー残量に応じて段階的に耳が下がる動作を実行させることができる。
【0060】
また、駆動制御部206は、バッテリー残量確認部222からバッテリー残量に関する情報を受け取り、バッテリー残量が予め定められた閾値以下である場合、駆動部208を予め定められた状態に設定し、その状態で駆動部208を停止させる。すなわち、バッテリー残量が駆動部208を十分に動作させることができない場合、ぬいぐるみ20の姿勢や表情がぬい撮りには適さない場合がある。そこで、バッテリー残量が予め定められた閾値以下になった場合、ぬい撮りにおいて不適切ではない撮像画像を撮像できるように、駆動制御部206は駆動部208の動作を制御し、ぬいぐるみ20の姿勢や表情をぬい撮りに適切な姿勢や表情にした上で、ぬいぐるみ20の動作(つまり、駆動部208の動作)を停止させる。これにより、バッテリー残量が駆動部208を動作させるには少なくなった場合であっても、ぬい撮りに適したぬいぐるみ20の姿勢や表情を維持できる。なお、バッテリー220が再び充電され、バッテリー残量が予め定められた閾値を超えるか、若しくは所定値を超えた場合、駆動制御部206は、駆動部208の動作を再開させることができる。
【0061】
[撮影システム5の処理の流れ]
図6は、本実施形態に係る撮影システムにおける処理の流れの一例を示す。
【0062】
まず、撮像部100の撮像領域にぬいぐるみ20が入った状態において、指示受付部112が受け付けたユーザからの指示に応じるか若しくは自動的に、撮像制御部102は撮像部100を撮影準備状態にする(ステップ10。以下、ステップを「S」と表す。)。そして、撮像領域情報取得部104は、撮像部100が撮像している画像、若しくは撮像した撮像画像に基づいて撮像領域の撮像領域情報を取得する(S12)。撮像領域情報取得部104は、GPS機能や時計機能等の活用、撮像領域の画像認識、及び/又は画像解析により、撮像領域内のオブジェクトの有無、オブジェクトが含まれる場合は当該オブジェクトの種類(例えば、人物であるか物品であるか等を示す種類)、オブジェクトの動作や状態、撮像領域の背景、撮像領域の場所、撮影準備状態が開始された日時、及び/又は撮像領域の気温や天気等の情報を撮像領域情報として取得する。
【0063】
そして、情報端末側送受信部110は、撮像領域情報取得部104が取得した撮像領域情報をぬいぐるみ側送受信部202に送信する(S14)。なお、情報端末側送受信部110は、過去の撮像領域情報を送信してもよい。ぬいぐるみ側送受信部202が撮像領域情報を受信した場合、ぬいぐるみ側送受信部202は、撮像領域情報を駆動制御部206に供給すると共に、バッテリー残量確認部222にバッテリー220の残量を確認させる。そして、バッテリー残量確認部222は、バッテリー220の残量を確認する(S16)。バッテリー残量確認部222が、バッテリー220の残量が所定値を超えていることを確認した場合(S16の「所定値超え」)、駆動制御部206は撮像領域情報に基づいて所定の駆動部208の動作を制御する(S18)。具体的に、駆動制御部206は、撮像領域情報に対応付けて動作情報格納部204に格納されている動作情報を取得し、取得した動作情報に基づいて駆動部208を動作させる。
【0064】
例えば動作情報格納部204には、撮像領域に人物が含まれており、この人物が所定の動作をしたことを示す撮像領域情報に対応付けて、ぬいぐるみ20に当該所定の動作を追随させることを示す動作情報を格納できる。一例として、駆動制御部206は、受け取った撮像領域情報に、ぬいぐるみ20と共に人物が撮像領域に含まれ、この人物が右手を上げる動作をしていることを示す情報が含まれている場合、この撮像領域情報に対応付けて動作情報格納部204に格納されている動作情報に基づいて、ぬいぐるみ20の胴体と右手とを繋ぐ駆動部208を動作させ、ぬいぐるみ20に右手を上げる動作を実行させる。
【0065】
なお、情報端末10が動作情報格納部204を有するか、撮像領域情報に基づいて動作情報を生成する動作情報生成部を有していてもよく、この場合、情報端末10から動作情報がぬいぐるみ20の駆動制御部206に供給され、駆動制御部206は受け取った動作情報に応じて駆動部208を動作させることができる。ただし、本実施形態においてはぬいぐるみ20が動作情報格納部204を有する例を説明する。
【0066】
また、バッテリー残量確認部222が、バッテリー残量が所定の閾値を超え、所定値以下であることを確認した場合(S16の「閾値を超え所定値以下」)、駆動制御部206は駆動部208に予め定められた動作を実行させる(S20)。すなわち、駆動制御部206は、バッテリー残量が減少してきていることをユーザが把握できる動作をぬいぐるみ20に実行させる。例えば、バッテリー残量確認部222は、バッテリー残量が所定の閾値を超えている場合、当該閾値から所定値までの間を複数のゾーンに区切り(所定値>閾値)、バッテリー残量がいずれのゾーンに属するかを確認する。そして、駆動制御部206は、バッテリー残量が減少し、バッテリー残量が多いゾーンから少ないゾーンに移る毎に所定の駆動部208に所定の動作を実行させる。一例として、駆動制御部206は、ぬいぐるみ20の頭部に接続されている耳の構成部材200c及び構成部材200dの駆動部208d及び駆動部208eを動作させ、バッテリー残量が多いゾーンから少ないゾーンに移る毎に耳が下がる動作を実行させる。また、駆動制御部206は、ぬいぐるみ20の目の部分の駆動部208f及び駆動部208gを動作させ、バッテリー残量が多いゾーンから少ないゾーンに移る毎に徐々に目を閉じる動作をさせてもよい。この場合に、駆動制御部206は、例えば、頭部と胴体との間に設けられる駆動部208aを動作させ、ぬいぐるみ20が眠っているような動作(例えば、舟をこぐような動作)をさせてもよい。
【0067】
また、駆動制御部206は、バッテリー残量に応じて駆動部208の動作スピードを変更してもよい。例えば、駆動制御部206は、バッテリー残量が多いほど(バッテリー残量に比例して)、駆動部208の動作スピードを速めてもよい。若しくは、駆動制御部206は、バッテリー残量が少ないほど(バッテリー残量に反比例して)、駆動部208の動作スピードを速めてもよい。これにより、バッテリー残量によってぬいぐるみ20の挙動を変化させることができる。
【0068】
更に、バッテリー残量確認部222が、バッテリー残量が所定の閾値以下であることを確認した場合(S16の「閾値以下」)、駆動制御部206は駆動部208を特定の状態にした上で駆動部208の動作を停止させる(S22)。すなわち、駆動制御部206は、バッテリー残量が駆動部208を動作させることができなくなる前に、ぬいぐるみ20の姿勢や表情を所定の姿勢や表情にした上で駆動部208の動作を停止させることで、この姿勢や表情を維持させる。駆動制御部206は、バッテリー残量が残存していたとしても当該残量が所定の閾値以下である場合、充電によりバッテリー残量が回復するまでは駆動部208の動作を停止させる。これにより、バッテリー切れ時にしか取らない姿勢や見せない表情をぬいぐるみ20にさせることができる。すなわち、バッテリー残量が駆動部208の動作に不十分な場合に上記プロセスを実行することで、ぬい撮りにおいて写真を撮ってもかわいいとユーザが思うぬいぐるみ20の姿勢や表情を維持できる(つまり、撮像に不適な姿勢や表情でぬいぐるみ20の動作が停止しないように、駆動部を駆動させることができないバッテリー残量になる前に、駆動部の動作を停止できる。)。なお、情報端末10とぬいぐるみ20との間で通信可能な程度の電力をバッテリー220に残存させる観点や、ぬいぐるみ20の姿勢や表情を所定の姿勢や表情にするために駆動部208を動作させる程度の電力を残存させる観点から、バッテリー残量の上記閾値は決定される。
【0069】
続いて、ユーザからの撮像指示を指示受付部112が受け付けた場合に、撮像制御部102は撮像部100に撮像を実行させる(S24)。撮像部100が撮像した撮像画像は、画像格納部114及び/又は表示部130に供給される。
【0070】
そして、画像処理制御部116は、撮像領域情報及び/又はバッテリー残量を示す情報に基づいて、撮像部100が撮像した撮像画像に画像処理を施すか否かを判断する(S26)。具体的に、画像処理制御部116は、撮像領域情報を参照し、撮像領域情報に対応付けて動作情報格納部204に動作情報が格納されていない場合や、動作情報が格納されていたとしても当該動作情報によってはぬいぐるみ20が動作を完遂できない場合(例えば、撮像領域情報に撮像領域に含まれる人物の動作や姿勢を示す情報が含まれるものの、当該動作や姿勢をぬいぐるみ20が追随できない場合)等において、画像処理を画像に施すと判断する(S26のYes)。
【0071】
画像処理制御部116が画像処理を画像に施すと判断した場合、画像処理部118は撮像部100が撮像した撮像画像に画像処理を施す(S28)。例えば、撮像領域情報に撮像領域に含まれる人物の姿勢を示す情報が含まれ、動作情報が当該姿勢を追随することを駆動部に指令する内容である場合において、ぬいぐるみ20の構造上、当該姿勢をぬいぐるみ20に取らせることができない場合(一例として、人物が正座をしており、ぬいぐるみ20が正座の姿勢をとることができない場合)、画像処理部118は、撮像部100が撮像した撮像画像のぬいぐるみ20が表示される位置(つまり、表示部130に表示されるぬいぐるみ20の位置)に、正座した状態のぬいぐるみの画像を合成する。この場合、正座した状態のぬいぐるみ20の画像(合成用の画像)は画像格納部114に格納されており、画像処理部118は画像格納部114の当該画像を用いて画像処理(例えば、画像合成処理)を実行する。そして、画像処理が施された撮像画像は、表示部130に表示される。なお、画像処理が施された撮像画像を画像格納部114に格納することもできる。
【0072】
また、画像処理制御部116は、撮像領域情報を参照し、撮像領域の状況に応じて画像処理の実行有無を判断してもよい。撮像領域の状況とは、例えば、撮像領域の日時、場所、天気等である。一例として、撮像領域の場所が所定の場所(例えば、観光地や行楽地、景勝地等)である場合、画像処理制御部116は、撮像画像の一部若しくは全てに対して画像処理の実行を決定してよい。
【0073】
図7は、本実施形態に係る画像処理部による画像処理の一例を示す。
【0074】
例えば、日本の古都等の五重塔を背景にぬいぐるみ20を撮像する場合を説明する。この場合、撮像領域情報取得部104は、撮像領域情報として撮像領域の場所が日本の所定の場所であり、背景に日本伝統の建造物が含まれている情報を取得する。そして、画像処理制御部116は、この情報に基づいて撮像画像の一部に対して画像処理の実行を決定する。例えば、画像処理制御部116は、画像処理部118に、撮像領域に含まれるぬいぐるみ20の表示部130における表示位置に撮像領域の場所に適した画像を合成させる。一例として、ぬいぐるみ20が着物を着用し、正座している画像を合成する。これにより、
図7に示すように、五重塔等を背景にし、ぬいぐるみ20が着物を着用して正座している状態を示す合成画像22が表示部130に表示される。このように、画像処理部118による画像処理により、撮像領域の場所に応じてぬいぐるみ20の姿勢を変化させた状態の合成画像や、着せ替えをしたぬいぐるみ20の合成画像を表示部130に表示できる。
【0075】
なお、画像処理部118は、ぬいぐるみ20の表示部130における表示位置に、ぬいぐるみ20の撮像画像を表示すると共に、当該撮像画像の一部に対して画像を合成してもよい。例えば、ぬいぐるみ20の頭部については撮像画像を表示すると共に、頭部を除く他の部分に合成用画像を合成してもよい。これにより、撮像領域情報にぬいぐるみ20が追随できない姿勢や動作を示す情報が含まれていたとしても(つまり、ぬいぐるみ20の各駆動部を動作させても実現できない姿勢や動作を示す情報が含まれていたとしても)、当該姿勢や動作を示す合成用画像を撮像画像に合成することができる。
【0076】
なお、画像処理部118は、撮像領域情報に含まれる撮像領域の位置、撮像領域にぬいぐるみ20と共に含まれるオブジェクトや他のぬいぐるみ、撮像領域の背景、撮像領域の撮像時の天気や温度・湿度、撮像領域にぬいぐるみ20と共に写っている他のぬいぐるみとぬいぐるみ20との関係性(例えば、親密度等)等に応じ、合成する画像に所定の変化を加えてもよい。
【0077】
また、画像処理制御部116は、バッテリー残量確認部222の確認結果を参照し、バッテリー残量が所定の閾値以下の場合、画像処理を画像に施すべきと判断することもできる(S26のYes)。例えば、画像処理制御部116は、バッテリー残量が所定の閾値以下の場合、画像処理部118に、撮像領域に含まれるぬいぐるみ20の表示部130における表示位置にぬいぐるみ20が眠っている画像、ぬいぐるみ20の目の表示位置に目が回っている画像、ぬいぐるみ20の周囲に所定の図形や記号を表示する画像(例えば、ぬいぐるみ20の顔周辺にビックリマーク等の図形を表示する画像)、又はぬいぐるみ20が所定のオブジェクトの裏に隠れるような画像等を合成させる。
【0078】
このように、情報端末10による撮像時に、ぬいぐるみ20のバッテリー残量が少なくなっていることを示す合成画像や、ぬいぐるみ20に所定の動作をさせることができるので、撮像時にぬいぐるみ20のバッテリー残量をユーザに意識させることができる。これにより、ぬいぐるみ20を含む撮像領域を実際に撮像する場合に、ぬいぐるみ20のバッテリー残量がないことにより適切な画像を撮像できなくなることを抑制できる。
【0079】
なお、画像処理部118が画像の合成に用いる合成用画像は、画像格納部114に格納されていてもよく、外部のサーバから取得した合成用画像であってもよい。また、合成用画像は、画像が撮像される場所において、当該場所に特有の合成用画像を格納する所定のサーバから取得可能な合成用画像であってもよい。
【0080】
一方、画像処理制御部116が、画像処理を実行しないと判断した場合(S26のNo)、撮像画像が表示部130に表示される。なお、撮像画像を画像格納部114に格納することもできる。
【0081】
[撮影システム5の処理の流れの変形例]
図8は、本実施形態に係る撮影システムにおける処理の流れの変形例の一例を示す。また、
図9は、本実施形態に係る付加情報の作成例を示す。なお、
図8の例においては、S24とS30との間においてS32の工程が実行される点を除き、
図6の例と略同一の処理が実行される。したがって、相違点を除き詳細な説明は省略する。
【0082】
図8の例では、撮像画像に対し、付加情報が生成される(S32)。すなわち、まず、撮像領域情報取得部104が取得した撮像領域情報(画像解析部106が撮像画像を解析した結果を示す情報を含む)に基づいて、撮像画像に含まれるぬいぐるみ20、オブジェクト、背景等が特定される。そして、付加情報生成部120は、特定結果に基づいて撮像画像に適した付加情報を生成する。
【0083】
一例として、
図9に示すような撮像領域の画像を撮像部100が撮像した場合を説明する。なお、当該画像は撮像部100が撮像指示に応じて撮影した撮像画像、若しくは撮影準備状態において撮像部100が撮像した画像のいずれであってもよい。この場合に付加情報生成部120は、撮像領域の画像について撮像領域情報取得部104が取得した撮像領域情報に基づいて付加情報を生成する。例えば、
図9においては、撮像領域にぬいぐるみ20と他のぬいぐるみ24(小鳥のぬいぐるみ)とが含まれ、ぬいぐるみ20及びぬいぐるみ24の手前にアイスクリームが含まれ、アイスクリームの大きさがぬいぐるみ20及びぬいぐるみ24の口部に比して大きいことを示す撮像領域情報が生成される。
【0084】
この場合において付加情報生成部120は、撮像領域の状況に応じたテキスト情報を生成する。
図9の例では、一例として、「アイスクリームおいしそう!」「僕らには大きすぎ?!」のような付加情報としてのテキスト情報26を、付加情報生成部120は生成する。なお、付加情報生成部120は、撮像領域の状況に応じた音声情報や記号情報等を付加情報として生成してもよい。そして、付加情報生成部120は、撮像画像に生成した付加情報を対応付ける。この場合において、画像格納部114は、格納している撮像画像に対応付けて付加情報生成部120が生成した付加情報も格納してよい。
【0085】
そして、付加情報生成部120は、生成した付加情報を撮像画像と共に表示部130に表示する(S30)。また、この場合において、指示受付部112は、撮像画像及び付加情報を所定のSNSに投稿するユーザからの指示を受け付けることができる。指示受付部112が当該指示を受け付けた場合、供給部122は、撮像画像及び付加情報を所定のサーバに投稿する(投稿処理:S34)。なお、指示受付部112は、表示部130の所定の位置に「投稿ボタン」を表示させ、ユーザがこの投稿ボタンをタップした場合に投稿処理を実行してもよい。これによりユーザは、ぬいぐるみ20を含む画像を撮像した場合に、撮像状況に応じた付加情報と共に撮像画像をSNSに手軽に素早く投稿できる。
【0086】
[実施の形態の効果]
本実施形態に係る撮影システム5は、ぬいぐるみ20のポーズや表情を撮影状況に応じて変化させることができるので、付加価値の高い撮像画像を撮像できる。すなわち、ぬいぐるみ20の周囲の状況に応じてぬいぐるみ20のポーズや表情を変化させることができることから、ぬいぐるみ20の愛玩性を高めること、及び/又はユーザ等にとって愛着がわくぬいぐるみ20が主人公になっている構図の撮像画像を撮ることができる。
【0087】
また、撮影システム5は、画像の撮像時に、撮影準備状態での撮像領域の撮像領域情報を取得し、この撮像領域情報に基づいてぬいぐるみ20の各駆動部を動作させることで撮像時の状況に応じて動作するぬいぐるみ20の撮像画像を取得できる。これにより、従来より付加価値の高いぬい撮り用の撮像画像を提供できると共に、愛玩性の高いぬいぐるみ20を提供できる。更に、撮影システム5は、外出時に一緒に連れていくぬいぐるみ20に発生するバッテリー残量の変化に応じ、ぬいぐるみ20に所定の動作を実行させること、及び/又は所定の動作後の更なる動作を停止させることができるので、バッテリー残量に対して適切な画像を撮像することができる。
【0088】
また、撮影システム5は、撮像画像自体の付加価値が高くない場合であっても、付加情報を撮像画像に対応付けることができるので、例えばSNSで撮像画像を共有する場合に撮像画像と付加情報とで付加価値を向上させることができる。また、撮像画像に付加情報を紐づけできるので、両情報のSNSへのアップロードを容易かつ手軽にできる。
【0089】
[他の実施の形態]
図10は、他の実施形態に係る撮影システムの処理の流れの一例を示す。なお、
図10においてS40、S42、S44、及びS46のステップはそれぞれ、
図6のS10、S12、S24、及びS32のステップと略同様の工程であるので相違点を除き詳細な説明は省略する。
【0090】
まず、撮像部100の撮像領域にぬいぐるみ20が入った状態において、撮像制御部102は撮像部100を撮影準備状態にする(S40)。そして、撮像領域情報取得部104は、撮像領域の撮像領域情報を取得する(S42)。続いて、ユーザからの撮像指示を指示受付部112が受け付けた場合に、撮像制御部102は撮像部100に撮像を実行させる(S44)。更に、付加情報生成部120は、撮像領域情報取得部104が取得した撮像領域情報に基づいて付加情報を生成する(S46)。付加情報生成部120は、撮像画像と共に当該撮像画像に対応する付加情報を画像格納部114に格納する。続いて、指示受付部112がユーザから所定のサーバへの撮像画像及び付加情報の投稿指示を受け付けた場合、供給部122は、撮像画像と当該撮像画像に対応する付加情報とを所定のサーバに送信する(S48)。所定のサーバは、例えば、SNSのサーバであり、供給部122が撮像画像と付加情報とを当該サーバに送信することにより、SNSに撮像画像と付加情報とが投稿される。なお、S46の工程後、表示部130は、撮像画像と共に付加情報を表示することができる。
【0091】
[撮影プログラム]
図1~
図10に示した本実施形態に係る撮影システム5が備える各構成要素は、中央演算処理装置(Central Processing Unit:CPU)等の演算処理装置にプログラム(すなわち、撮影プログラム)を実行させること、つまり、ソフトウェアによる処理により実現できる。また、集積回路(Integrated Circuit:IC)等の電子部品としてのハードウェアにプログラムを予め書き込むことで実現することもできる。なお、ソフトウェアとハードウェアとを併用することもできる。
【0092】
本実施形態に係る撮影プログラムは、例えば、ICやROM等に予め組み込むことができる。また、撮影プログラムは、インストール可能な形式、又は実行可能な形式のファイルで、磁気記録媒体、光学記録媒体、半導体記録媒体等のコンピュータで読み取り可能な記録媒体に記録し、コンピュータプログラムとして提供することもできる。プログラムを格納している記録媒体は、CD-ROMやDVD等の非一過性の記録媒体であってよい。更に、撮影プログラムを、インターネット等の通信ネットワークに接続されたコンピュータに予め格納させ、通信ネットワークを介してダウンロードによる提供ができるようにすることもできる。
【0093】
本実施形態に係る撮影プログラムは、CPU等に働きかけて、撮影プログラムを、
図1~
図10にかけて説明した撮像部100、撮像制御部102、撮像領域情報取得部104、画像解析部106、撮像領域情報格納部108、情報端末側送受信部110、指示受付部112、画像格納部114、画像処理制御部116、画像処理部118、付加情報生成部120、供給部122、ぬいぐるみ情報格納部124、ぬいぐるみ情報更新部126、友達情報格納部128、表示部130、ぬいぐるみ側送受信部202、動作情報格納部204、駆動制御部206、バッテリー残量確認部222、及び充放電制御部224として機能させる。
【0094】
以上、本発明の実施形態を説明したが、上記に記載した実施の形態は特許請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない点に留意すべきである。更に、上記した実施形態の技術的要素は、単独で適用されてもよいし、プログラム部品とハードウェア部品とのような複数の部分に分割されて適用されるようにすることもできる。
【0095】
なお、本実施形態に係る撮影システムは、特許請求の範囲と混同されるべきでない以下の付記項でも言及できる。
(付記項1)
情報端末と前記情報端末から供給される所定の情報に基づいて動作可能なぬいぐるみとを備える撮影システムであって、
前記情報端末が、
前記ぬいぐるみが含まれる撮像領域を撮像する撮像部と、
前記撮像領域に関する情報である撮像領域情報を取得する撮像領域情報取得部と、
前記撮像部が撮像する撮像画像に対応する付加情報を、前記撮像領域情報に基づいて生成する付加情報生成部と
を有する撮影システム。
【符号の説明】
【0096】
1 オブジェクト
5 撮影システム
10 情報端末
20、24 ぬいぐるみ
22 合成画像
26 テキスト情報
100 撮像部
102 撮像制御部
104 撮像領域情報取得部
106 画像解析部
108 撮像領域情報格納部
110 情報端末側送受信部
112 指示受付部
114 画像格納部
116 画像処理制御部
118 画像処理部
120 付加情報生成部
122 供給部
124 ぬいぐるみ情報格納部
126 ぬいぐるみ情報更新部
128 友達情報格納部
130 表示部
200 構成部材
200a、200b、200c、200d、200e、200f、200g、200h 構成部材
202 ぬいぐるみ側送受信部
204 動作情報格納部
206 駆動制御部
208 駆動部
208a、208b、208c、208d、208e、208f、208g、208h、208i、208j 駆動部
210 センサ
212 マイク
214 スピーカー
220 バッテリー
222 バッテリー残量確認部
224 充放電制御部
【手続補正書】
【提出日】2022-10-12
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
情報端末を備える撮影システムであって、
前記情報端末が、
ぬいぐるみIDが付与されているぬいぐるみが含まれる撮像領域を撮像する撮像部と、
前記撮像領域を表示する表示部と、
前記撮像領域に関する情報であり、前記ぬいぐるみに関する情報である前記ぬいぐるみIDを含む撮像領域情報を取得する撮像領域情報取得部と、
前記撮像領域に含まれる前記ぬいぐるみの前記表示部の表示位置に、前記撮像領域情報に基づいて所定の画像を合成して合成画像を生成する画像処理部と
を備える撮影システム。
【請求項2】
前記画像処理部が、前記撮像領域情報に基づいて前記ぬいぐるみの状態を変化させた合成画像を生成する請求項1に記載の撮影システム。
【請求項3】
前記画像処理部が、前記撮像画像に含まれる前記ぬいぐるみへ合成する合成用画像を用いて前記合成画像を生成する請求項1又は2に記載の撮影システム。
【請求項4】
前記画像処理部が、前記撮像領域に前記ぬいぐるみと他のぬいぐるみとが含まれている場合、ぬいぐるみそれぞれに対応付けられているぬいぐるみIDで識別される前記ぬいぐるみと前記他のぬいぐるみとの関係性に基づいて前記合成画像を生成する請求項1に記載の撮影システム。
【請求項5】
前記関係性が、前記ぬいぐるみと前記他のぬいぐるみとの親密度である請求項4に記載の撮影システム。
【請求項6】
前記撮像領域情報が、前記ぬいぐるみに対応付けられている当該ぬいぐるみのぬいぐるみ情報を含む請求項1に記載の撮影システム。
【請求項7】
前記撮像領域情報が、前記撮像領域の位置、前記撮像領域の背景、前記撮像領域の撮像時の天気、前記撮像時の温度、及び前記撮像時の湿度からなる群から選択される少なくとも1つに基づいて、前記合成画像を生成する請求項1に記載の撮影システム。
【請求項8】
情報端末によりぬいぐるみを撮影する撮影方法であって、
ぬいぐるみIDが付与されているぬいぐるみが含まれる撮像領域を撮像する撮像工程と、
前記撮像領域に関する情報であり、前記ぬいぐるみに関する情報である前記ぬいぐるみIDを含む撮像領域情報を取得する撮像領域情報取得工程と、
前記撮像領域に含まれる前記ぬいぐるみの前記情報端末の表示部の表示位置に、前記撮像領域情報に基づいて所定の画像を合成して合成画像を生成する画像処理工程と
を備える撮影方法。
【請求項9】
情報端末を備える撮影システム用の撮影プログラムであって、
コンピュータに、
ぬいぐるみIDが付与されているぬいぐるみが含まれる撮像領域に関する情報であり、前記ぬいぐるみに関する情報である前記ぬいぐるみIDを含む撮像領域情報を取得する撮像領域情報取得機能と、
前記撮像領域に含まれる前記ぬいぐるみの前記情報端末の表示部の表示位置に、前記撮像領域情報に基づいて所定の画像を合成して合成画像を生成する画像処理機能と
を実現させる撮影プログラム。
【請求項10】
ぬいぐるみIDが付与されているぬいぐるみが含まれる撮像領域を撮像する撮像部と、
前記撮像領域を表示する表示部と、
前記撮像領域に関する情報であり、前記ぬいぐるみIDを含む撮像領域情報を取得する撮像領域情報取得部と、
前記撮像領域に含まれる前記ぬいぐるみの前記表示部の表示位置に、前記ぬいぐるみIDに基づいて所定の画像を合成する画像処理部と
を備える撮影システム。
【請求項11】
ぬいぐるみIDが付与されているぬいぐるみが含まれる撮像領域を撮像する撮像部と、
前記撮像領域を表示する表示部と、
前記撮像領域に関する情報であり、前記ぬいぐるみIDを含む撮像領域情報を取得する撮像領域情報取得部と、
前記撮像領域に含まれる前記ぬいぐるみの前記表示部の表示位置に、前記ぬいぐるみIDに対応付けられているぬいぐるみ情報に基づいて所定の画像を合成する画像処理部と
を備える撮影システム。