IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士フイルム株式会社の特許一覧

特開2022-128465撮像装置、制御方法、プログラム、及び非一時的記録媒体
<>
  • 特開-撮像装置、制御方法、プログラム、及び非一時的記録媒体 図1
  • 特開-撮像装置、制御方法、プログラム、及び非一時的記録媒体 図2
  • 特開-撮像装置、制御方法、プログラム、及び非一時的記録媒体 図3
  • 特開-撮像装置、制御方法、プログラム、及び非一時的記録媒体 図4
  • 特開-撮像装置、制御方法、プログラム、及び非一時的記録媒体 図5
  • 特開-撮像装置、制御方法、プログラム、及び非一時的記録媒体 図6
  • 特開-撮像装置、制御方法、プログラム、及び非一時的記録媒体 図7
  • 特開-撮像装置、制御方法、プログラム、及び非一時的記録媒体 図8
  • 特開-撮像装置、制御方法、プログラム、及び非一時的記録媒体 図9
  • 特開-撮像装置、制御方法、プログラム、及び非一時的記録媒体 図10
  • 特開-撮像装置、制御方法、プログラム、及び非一時的記録媒体 図11
  • 特開-撮像装置、制御方法、プログラム、及び非一時的記録媒体 図12
  • 特開-撮像装置、制御方法、プログラム、及び非一時的記録媒体 図13
  • 特開-撮像装置、制御方法、プログラム、及び非一時的記録媒体 図14
  • 特開-撮像装置、制御方法、プログラム、及び非一時的記録媒体 図15
  • 特開-撮像装置、制御方法、プログラム、及び非一時的記録媒体 図16
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022128465
(43)【公開日】2022-09-01
(54)【発明の名称】撮像装置、制御方法、プログラム、及び非一時的記録媒体
(51)【国際特許分類】
   G06F 3/01 20060101AFI20220825BHJP
   H04N 5/232 20060101ALI20220825BHJP
   H04N 5/235 20060101ALI20220825BHJP
   G03B 7/091 20210101ALI20220825BHJP
   G03B 17/18 20210101ALI20220825BHJP
   G03B 17/50 20210101ALI20220825BHJP
【FI】
G06F3/01 510
H04N5/232 930
H04N5/235
H04N5/232 300
G03B7/091
G03B17/18 C
G03B17/50
G03B17/18 Z
【審査請求】未請求
【請求項の数】18
【出願形態】OL
(21)【出願番号】P 2022095965
(22)【出願日】2022-06-14
(62)【分割の表示】P 2021508913の分割
【原出願日】2020-03-04
(31)【優先権主張番号】P 2019063244
(32)【優先日】2019-03-28
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】100083116
【弁理士】
【氏名又は名称】松浦 憲三
(74)【代理人】
【識別番号】100170069
【弁理士】
【氏名又は名称】大原 一樹
(74)【代理人】
【識別番号】100128635
【弁理士】
【氏名又は名称】松村 潔
(74)【代理人】
【識別番号】100140992
【弁理士】
【氏名又は名称】松浦 憲政
(72)【発明者】
【氏名】長井 俊朗
(72)【発明者】
【氏名】藤野 リナ
(72)【発明者】
【氏名】佐藤 恒夫
(57)【要約】
【課題】本発明は、ユーザの好みに合わせた画像を容易に撮影することができ、ユーザが愛着を持ちやすい撮像装置、撮像装置の制御方法、撮像装置に制御方法を実行させるプログラム、及び斯かるプログラムのコンピュータ読み取り可能なコードが記録された非一時的記録媒体を提供することを目的とする。
【解決手段】本発明の第1の態様に係る撮像装置は、撮影部に画像を撮影させる撮影制御部と、撮影された画像に対するユーザの評価に関わる操作を検知するセンサ部と、を有する撮像装置であって、センサ部に対する操作を解析して、撮影された画像に対するユーザの評価を決定する評価決定部と、評価に対する、擬人化した撮像装置の感情を決定する感情決定部と、決定した感情を1つ以上の出力を用いて疑似的に表現する感情表現部と、評価を学習して撮影制御部が用いる撮影条件に反映する学習部と、を備える。
【選択図】 図7
【特許請求の範囲】
【請求項1】
撮影部に画像を撮影させる撮影制御部と、前記撮影された画像に対するユーザの評価に関わる操作を検知するセンサ部と、を有する撮像装置であって、
前記センサ部に対する操作を解析して、前記撮影された画像に対するユーザの評価を決定する評価決定部と、
前記評価に対する、擬人化した前記撮像装置の感情を決定する感情決定部と、
前記決定した感情を1つ以上の出力を用いて疑似的に表現する感情表現部と、
前記評価を学習して前記撮影制御部が用いる撮影条件に反映する学習部と、
を備える撮像装置。
【請求項2】
前記センサ部は、前記撮像装置に対する接触、前記撮像装置の加速度及び/または角速度、及び前記撮像装置に対する音声のうち少なくとも一つを検知する請求項1に記載の撮像装置。
【請求項3】
前記感情表現部は表示、発光、音声、効果音、及び振動のうち少なくとも一つを前記出力として前記感情を表現する請求項1または2に記載の撮像装置。
【請求項4】
前記感情表現部は顔の表情または顔の一部を変化させて表示することにより前記感情を表現する請求項1から3のいずれか1項に記載の撮像装置。
【請求項5】
前記感情決定部は、前記評価が肯定的である場合は喜び及び/または楽しさを前記感情として決定し、前記評価が否定的である場合は悲しみ及び/または怒りを前記感情として決定する請求項1から4のいずれか1項に記載の撮像装置。
【請求項6】
前記学習部は、前記評価が肯定的であった画像についての前記撮影条件の優先度を上げ、前記評価が否定的であった画像についての前記撮影条件の優先度を下げ、
前記撮影制御部は優先度の高い撮影条件により撮影させる請求項1から5のいずれか1項に記載の撮像装置。
【請求項7】
前記学習部は、前記評価に応じて前記撮影条件を変更する請求項1から6のいずれか1項に記載の撮像装置。
【請求項8】
前記撮影条件はシャッタースピード、絞り値、ホワイトバランスのうち少なくとも一つを含む請求項1から7のいずれか1項に記載の撮像装置。
【請求項9】
前記撮影制御部は、前記撮影部に対しそれぞれ異なる撮影条件で複数の画像をブラケット撮影させ、
前記評価決定部は前記複数の画像から選択された画像について前記ユーザの前記評価を決定する請求項1から8のいずれか1項に記載の撮像装置。
【請求項10】
前記センサ部は前記画像のプリント指示を検知し、
前記学習部は、前記プリント指示がされた画像についての前記撮影条件の優先度を上げる請求項1から9のいずれか1項に記載の撮像装置。
【請求項11】
前記撮影制御部は複数の撮影モードを有し、前記学習部は前記撮影条件に対する反映を撮影モードごとに行う請求項1から10のいずれか1項に記載の撮像装置。
【請求項12】
前記評価決定部は前記センサ部に対する操作を解析して前記撮像装置の前記表現に対する前記ユーザの評価を決定し、
前記感情表現部は前記感情を表現する前記出力の数、組み合わせ、及び程度を前記表現に対する前記評価に基づいて更新し、前記更新の結果に基づいて前記感情を表現する請求項1から11のいずれか1項に記載の撮像装置。
【請求項13】
前記撮像装置の状態を検知する状態検知部をさらに備え、
前記感情決定部は前記検知した状態に応じて前記感情を決定する請求項1から12のいずれか1項に記載の撮像装置。
【請求項14】
前記状態検知部は前記撮像装置のバッテリ残容量、メモリ残容量、画像処理の負荷、及び内部温度のうち少なくとも1つを検知する請求項13に記載の撮像装置。
【請求項15】
前記撮影された画像をプリントするプリンタを備える請求項1から14のいずれか1項に記載の撮像装置。
【請求項16】
撮影部に画像を撮影させる撮影制御部と、前記撮影された画像に対するユーザの評価に関わる操作を検知するセンサ部と、を備える撮像装置の制御方法であって、
前記センサ部に対する操作を解析して、前記撮影された画像に対するユーザの評価を決定する評価決定工程と、
前記評価に対する、擬人化した前記撮像装置の感情を決定する感情決定工程と、
前記決定した感情を1つ以上の出力を用いて疑似的に表現する感情表現工程と、
前記評価を学習して前記撮影制御部が用いる撮影条件に反映する学習工程と、
を有する制御方法。
【請求項17】
撮影部に画像を撮影させる撮影制御部と、前記撮影された画像に対するユーザの評価に関わる操作を検知するセンサ部と、を有する撮像装置に請求項16に記載の制御方法を実行させるプログラム。
【請求項18】
請求項17に記載のプログラムのコンピュータ読み取り可能なコードが記録された非一時的記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置、撮像装置の制御方法、撮像装置に制御方法を実行させるプログラム、及びプログラムが記録された非一時的記録媒体に関する。
【背景技術】
【0002】
近年、デジタルカメラ(撮像装置)は高性能化や高機能化が進んでおり、ユーザが機能を使いこなして好みの画像を撮影するのは難しくなりつつある。このため、撮影条件等の学習機能を備えるカメラが提案されている。例えば、特許文献1には、判断パラメータを学習して学習結果を記憶するビデオカメラが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平5-137057号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述した特許文献1に記載のビデオカメラは、撮影環境や撮影被写体の判断結果に対する答えをユーザがその都度入力する必要があるため操作が煩雑であり、また入力に対して特段の感情的反応がないため、愛着や思い入れを持ちやすい対象ではなかった。
【0005】
本発明はこのような事情に鑑みてなされたもので、ユーザの好みに合わせた画像を容易に撮影することができ、ユーザが愛着を持ちやすい撮像装置、撮像装置の制御方法、撮像装置に制御方法を実行させるプログラム、及び斯かるプログラムが記録された非一時的記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0006】
上述した目的を達成するため、本発明の第1の態様に係る撮像装置は、撮影部に画像を撮影させる撮影制御部と、撮影された画像に対するユーザの評価に関わる操作を検知するセンサ部と、を有する撮像装置であって、センサ部に対する操作を解析して、撮影された画像に対するユーザの評価を決定する評価決定部と、評価に対する、擬人化した撮像装置の感情を決定する感情決定部と、決定した感情を1つ以上の出力を用いて疑似的に表現する感情表現部と、評価を学習して撮影制御部が用いる撮影条件に反映する学習部と、を備える。
【0007】
第1の態様に係る撮像装置は、撮影された画像に対するユーザの評価を学習して撮影制御部が用いる撮影条件に反映するので、ユーザは自分の好みに合わせた画像を容易に撮影することができる。また、ユーザの評価に対する擬人化した撮影装置の感情が表現されるので、ユーザは撮像装置に愛着を持ちやすい。
【0008】
第2の態様に係る撮像装置は第1の態様において、センサ部は、撮像装置に対する接触、撮像装置の加速度及び/または角速度、及び撮像装置に対する音声のうち少なくとも一つを検知する。第2の態様は、センサ部が検知する項目の具体的態様を規定するものである。
【0009】
第3の態様に係る撮像装置は第1または第2の態様において、感情表現部は表示、発光、音声、効果音、及び振動のうち少なくとも一つを出力として感情を表現する。第3の態様は、感情表現に用いる出力の具体的態様を規定するものである。ユーザは、これらの出力を知覚により認識することができる。
【0010】
第4の態様に係る撮像装置は第1から第3の態様のいずれか1つにおいて、感情表現部は顔の表情または顔の一部を変化させて表示することにより感情を表現する。第4の態様によれば、撮像装置に親しみがわき、感情移入が容易である。
【0011】
第5の態様に係る撮像装置は第1から第4の態様のいずれか1つにおいて、感情決定部は、評価が肯定的である場合は喜び及び/または楽しさを感情として決定し、評価が否定的である場合は悲しみ及び/または怒りを感情として決定する。第5の態様は、評価と感情の関係の具体的態様を規定するものである。
【0012】
第6の態様に係る撮像装置は第1から第5の態様のいずれか1つにおいて、学習部は、評価が肯定的であった画像についての撮影条件の優先度を上げ、評価が否定的であった画像についての撮影条件の優先度を下げ、撮影制御部は優先度の高い撮影条件により撮影させる。第6の態様によれば、例えば「過去の撮影と同様のシーンで撮影する場合、評価が肯定的であった画像についての撮影条件を優先的に使用し、評価が否定的であった画像についての撮影条件については積極的な使用をしない」という処理を行うことができる。
【0013】
第7の態様に係る撮像装置は第1から第6の態様のいずれか1つにおいて、学習部は評価に応じて撮影条件を変更する。第7の態様によれば、ユーザは自分の好みに合わせた画像を容易に撮影することができる。
【0014】
第8の態様に係る撮像装置は第1から第7の態様のいずれか1つにおいて、撮影条件はシャッタースピード、絞り値、ホワイトバランスのうち少なくとも一つを含む。第8の態様は、ユーザの評価が反映される撮影条件の具体的態様を規定するものである。
【0015】
第9の態様に係る撮像装置は第1から第8の態様のいずれか1つにおいて、撮影制御部は、撮影部に対しそれぞれ異なる撮影条件で複数の画像をブラケット撮影し、評価決定部は複数の画像から選択された画像についてユーザの評価を決定する。第9の態様によれば、ブラケット撮影により撮影条件が異なる複数の画像を一連の撮影で得ることができるので、画像についてのユーザの評価を容易に決定することができる。
【0016】
第10の態様に係る撮像装置は第1から第9の態様のいずれか1つにおいて、センサ部は画像のプリント指示を検知し、学習部は、プリント指示がされた画像についての撮影条件の優先度を上げる。第10の態様では、学習部は、「ユーザの意思でプリントされた画像は重要度が高い」との考えによりプリント指示がされた画像についての撮影条件の優先度を上げている。
【0017】
第11の態様に係る撮像装置は第1から第10の態様のいずれか1つにおいて、撮影制御部は複数の撮影モードを有し、学習部は撮影条件に対する反映を撮影モードごとに行う。第11の態様によれば、学習部は撮影条件に対する反映を撮影モードごとに行うので、詳細な反映が可能であり、ユーザは好みの画像を容易に撮影することができる。
【0018】
第12の態様に係る撮像装置は第1から第11の態様のいずれか1つにおいて、評価決定部はセンサ部に対する操作を解析して撮像装置の表現に対するユーザの評価を決定し、感情表現部は感情を表現する出力の数、組み合わせ、及び程度を表現に対する評価に基づいて更新し、更新の結果に基づいて感情を表現する。第12の態様によれば、カメラの感情表現の仕方がユーザの評価で変わってゆくので、ユーザが愛着を持ちやすい。
【0019】
第13の態様に係る撮像装置は第1から第12の態様のいずれか1つにおいて、撮像装置の状態を検知する状態検知部をさらに備え、感情決定部は検知した状態に応じて感情を決定する。第13の態様によれば、ユーザの評価に加えて撮像装置の状態によって感情が決定される。
【0020】
第14の態様に係る撮像装置は第13の態様において、状態検知部は撮像装置のバッテリ残容量、メモリ残容量、画像処理の負荷、及び内部温度のうち少なくとも1つを検知する。第14の態様は撮像装置の状態を具体的に規定するもので、感情決定部はこれらパラメータの状態に応じて感情を決定する。
【0021】
第15の態様に係る撮像装置は第1から第14の態様のいずれか1つにおいて、撮影された画像をプリントするプリンタを備える。第15の態様によれば、ユーザは撮影された画像をプリントすることができる。
【0022】
上述した目的を達成するため、本発明の第16の態様に係る制御方法は撮影部に画像を撮影する撮影制御部と、撮影された画像に対するユーザの評価に関わる操作を検知するセンサ部と、を備える撮像装置の制御方法であって、センサ部に対する操作を解析して、撮影された画像に対するユーザの評価を決定する評価決定工程と、評価に対する、擬人化した撮像装置の感情を決定する感情決定工程と、決定した感情を1つ以上の出力を用いて疑似的に表現する感情表現工程と、評価を学習して撮影制御部が用いる撮影条件に反映する学習工程と、を有する。第16の態様によれば、第1の態様と同様にユーザは自分の好みに合わせた画像を容易に撮影することができる。また、ユーザは撮像装置に愛着を持ちやすい。なお、第16の態様に係る制御方法は、第2から第15の態様と同様の構成を含んでいてもよい。
【0023】
上述した目的を達成するため、本発明の第17の態様に係るプログラムは撮影部に画像を撮影させる撮影制御部と、撮影された画像に対するユーザの評価に関わる操作を検知するセンサ部と、を備える撮像装置に第16の態様に係る制御方法を実行させる。第17の態様によれば、第1,第16の態様と同様にユーザは自分の好みに合わせた画像を容易に撮影することができる。また、ユーザは撮像装置に愛着を持ちやすい。第17の態様は、第2から第15の態様と同様の構成を含んでいてもよい。
【0024】
上述した目的を達成するため、本発明の第18の態様に係る非一時的記録媒体は、第17の態様に係るプログラムのコンピュータ読み取り可能なコードが記録された非一時的記録媒体である。第18の態様に係る非一時的記録媒体は、メモリカードのような記録媒体でもよいし、サーバ等のコンピュータで用いられる各種の光磁気記録媒体や半導体記録媒体でもよい。なお、第17の態様に係るプログラムに対し第2から第15の態様と同様の構成をさらに含むプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も、本発明の態様として挙げることができる。
【発明の効果】
【0025】
以上説明したように、本発明の撮像装置、制御方法、プログラム、及び記録媒体によれば、ユーザは自分の好みに合わせた画像を容易に撮影することができ、また撮像装置に愛着を持ちやすい。
【図面の簡単な説明】
【0026】
図1図1は、第1の実施形態に係るプリンタ付きデジタルカメラを示す正面斜視 図である。
図2図2は、第1の実施形態に係るプリンタ付きデジタルカメラを示す背面斜視 図である。
図3図3は、インスタントフィルムの正面図である。
図4図4は、インスタントフィルムの背面図である。
図5図5は、プリンタ付きデジタルカメラの電気的構成を示す図である。
図6図6は、カメラ制御部の機能ブロック図である。
図7図7は、学習及び感情表現に係る処理の手順を示すフローチャートである。
図8図8は、ディスプレイを介して画像を評価する様子を示す図である。
図9図9は、タッチセンサを介して画像を評価する様子を示す図である。
図10図10は、目のマークによる感情表現の例を示す図である。
図11図11は、顔のマークによる感情表現の例を示す図である。
図12図12は、ディスプレイに感情表現用のサブ表示領域を設けた様子を示す図である。
図13図13は、感情表現の態様を更新する処理を示すフローチャートである。
図14図14は、カメラの状態に応じた感情表現の処理を示すフローチャートである。
図15図15は、第2の実施形態に係るスマートフォンを示す図である。
図16図16は、第2の実施形態に係るスマートフォンの構成を示す図である。
【発明を実施するための形態】
【0027】
本発明に係る撮像装置、撮像装置の制御方法、及びプログラムの実施形態についての詳
細な説明は以下の通りである。説明においては、添付図面が参照される。
【0028】
<第1の実施形態>
<プリンタ付きデジタルカメラ>
第1の実施形態に係るプリンタ付きデジタルカメラ10(撮像装置)は、プリンタを内蔵したデジタルカメラであり、撮影した画像をその場でプリントする機能を有する。本実施形態のプリンタ付きデジタルカメラ10は、インスタントフィルムパックを使用して、インスタントフィルムにプリントする。また、本実施形態のプリンタ付きデジタルカメラ10は、録音機能を有し、撮影した画像に関連付けて音声を記録することができる。
【0029】
<外観構成>
図1は、プリンタ付きデジタルカメラの一例を示す正面斜視図である。図2は、図1に示すプリンタ付きデジタルカメラの背面斜視図である。
【0030】
図1及び図2に示すように、プリンタ付きデジタルカメラ10は、携帯可能なカメラボディ12を有する。カメラボディ12は、前後方向の厚みが薄く、横方向の寸法に比して縦方向の寸法が長い、縦長の直方体形状である。
【0031】
カメラボディ12の正面側には、図1に示すように、撮影レンズ14、レリーズボタン16、録音ボタン18、ストロボ発光窓20等が備えられる。また、カメラボディ12の一方側の側面には、電源ボタン22a、メニューボタン22b、OKボタン22c、モード切替えボタン22d、マイク穴24、スピーカ穴26等が備えられる。レリーズボタン16は、画像の記録を指示するボタンである。電源ボタン22aは、プリンタ付きデジタルカメラ10の電源をオン及びオフするボタンである。メニューボタン22bは、メニュー画面を呼び出すボタンである。OKボタンは、OKを指示するボタンである。モード切替えボタン22dは、撮影モードにおいて、オートプリントモードとマニュアルプリントモードとを切り替えるボタンである。
【0032】
カメラボディ12の背面側には、図2に示すように、タッチパネル型のディスプレイ28、サブディスプレイ29(感情表現部)、フィルム蓋カバー30、各種操作ボタン類が備えられる。サブディスプレイ29は、詳細を後述するように、擬人化したプリンタ付きデジタルカメラ10の感情を疑似的に表現するためのディスプレイである。フィルム蓋カバー30は、フィルム装填室を開閉するカバーである。操作ボタン類には、ジョイスティック32a、プリントボタン32b、再生ボタン32c、キャンセルボタン32d等が含まれる。プリントボタン32bは、プリントを指示するボタンである。再生ボタン32cは、再生モードへの切り替えを指示するボタンである。キャンセルボタン32dは、操作のキャンセルを指示するボタンである。
【0033】
カメラボディ12の上面には、図1及び図2に示すように、フィルム排出口34が備えられる。プリントされたインスタントフィルムは、このフィルム排出口34から排出される。また、カメラボディ12の上面には、タッチセンサ45(センサ部)が設けられる。タッチセンサ45はユーザの指等の人体やペン型等の操作デバイスによる接触、スライド操作等を検知する。詳細を後述するように、ユーザはタッチセンサ45を操作して撮影画像や感情表現に対する評価を入力することができる。
【0034】
なお、プリンタ付きデジタルカメラ10に関し、電源ボタン22a等が設けられている側を+X方向とし、フィルム排出口34が設けられている側を+Y方向とし、撮影レンズ14から被写体へ向かう側(ディスプレイ28等と反対側)を+Z方向とする。
【0035】
<プリンタ付きデジタルカメラのプリンタ部分の構成>
プリンタ付きデジタルカメラ10は、プリント部であるプリンタ部分の構成要素として、フィルム装填室(不図示)、フィルム送出機構52、フィルム搬送機構54、プリントヘッド56等を備える(図5を参照)。フィルム装填室には、複数枚のインスタントフィルムがケースに収容された構造のインスタントフィルムパックが装填される。図3はインスタントフィルム42の正面図であり、図4はインスタントフィルム42の背面図である。図3及び図4において、矢印Fで示す方向がインスタントフィルム42の使用方向であり、インスタントフィルム42は矢印Fで示す方向に搬送される。したがって、プリンタ付きデジタルカメラ10に装填した場合は、矢印Fで示す方向がインスタントフィルム42の排出方向となる。
【0036】
インスタントフィルム42は、矩形のカード形状を有する自己現像型インスタントフィルムである。インスタントフィルム42は、裏面側が露光面42a、正面側が観察面42bとして構成される。露光面42aは露光により像を記録する面であり、観察面42bは記録された像を観察する面である。
【0037】
図3に示すように、インスタントフィルム42の観察面42bには観察領域42hが備えられる。また、図4に示すように、インスタントフィルム42の露光面42aには露光領域42c、ポッド部42d、及び、トラップ部42fが備えられる。インスタントフィルム42は、露光後、ポッド部42dの現像処理液を露光領域42cに展開させることにより現像処理される。ポッド部42dには、現像処理液を内包した現像処理液ポッド42eが内蔵される。ポッド部42dの現像処理液は、インスタントフィルム42をローラ対の間に通すことでポッド部42dから絞り出され、露光領域42cに展開される。展開処理時に余った現像処理液が、トラップ部42fで捕捉される。トラップ部42fには、吸収材42gが内蔵される。
【0038】
インスタントプリントパックはカメラボディ12の内部に設けられた図示せぬフィルム装填室に装填される。プリントの際はフィルム送出機構52の図示せぬクロー(爪状部材)によりフィルムが1枚ずつ送出され、フィルム搬送機構54の図示せぬローラにより搬送される。また、搬送過程では図示せぬ展開ローラ対がインスタントフィルム42のポッド部42dを押しつぶして、現像処理液を展開処理する。プリントヘッド56はライン型の露光ヘッドで構成され、フィルム搬送機構54によって搬送されるインスタントフィルム42の露光面42aに1ラインずつプリント光を照射して、シングルパスでインスタントフィルム42に画像を記録する。観察領域42hの周囲には枠42iが備えられ、画像は枠42iの内側に表示される。
【0039】
<プリンタ付きデジタルカメラの電気的構成>
図5は、プリンタ付きデジタルカメラ10の電気的構成の主要部を示すブロック図である。
【0040】
同図に示すように、プリンタ付きデジタルカメラ10は、撮影レンズ14、タッチセンサ45(図1,2を参照;センサ部)、加速度センサ46(センサ部)、角速度センサ47(センサ部)、バイブレータ48(感情表現部)、LED49(LED:Light-Emitting Diode、感情表現部)、温度検出部58(センサ部)を備える。また、プリンタ付きデジタルカメラ10は、レンズ駆動部62、イメージセンサ64、イメージセンサ駆動部66、アナログ信号処理部68、デジタル信号処理部70、メモリ72、メモリコントローラ74(状態検知部)、ディスプレイ28、表示コントローラ76、通信部78、アンテナ80を備える。プリンタ付きデジタルカメラ10は、さらに、フィルム送出駆動部82、フィルム搬送駆動部84、ヘッド駆動部86、ストロボ88、ストロボ発光制御部90、マイクロフォン92、スピーカ94、音声信号処理部96、時計部97、操作部98、バッテリ99、カメラ制御部100(評価決定部、感情決定部、感情表現部、学習部、状態検知部)を備える。
【0041】
撮影レンズ14は、被写体の光学像をイメージセンサ64の受光面上に結像させる。撮影レンズ14は、焦点調節機能を有し、図示しない絞り及びシャッタを備える。レンズ駆動部62は、撮影レンズ14の焦点調節機能を駆動するモータ及びその駆動回路、絞りを駆動するモータ及びその駆動回路、並びに、シャッタを駆動するモータ及びその駆動回路を含み、カメラ制御部100からの指令に応じて、焦点調節機構、絞り及びシャッタを動作させる。
【0042】
イメージセンサ64は、例えばCCDイメージセンサ(CCD:Charge Coupled Device)、CMOSイメージセンサ(CMOS:Complementary Metal Oxide Semiconductor)等の二次元の固体撮像素子で構成される。イメージセンサ64は、使用するインスタントフィルムのプリント可能領域に対応したアスペクト比の撮像領域を有する。イメージセンサ駆動部66は、イメージセンサ64の駆動回路を含み、カメラ制御部100からの指令に応じて、イメージセンサ64を動作させる。
【0043】
本実施形態のプリンタ付きデジタルカメラ10では、撮影レンズ14及びイメージセンサ64が撮影部を構成する。
【0044】
アナログ信号処理部68は、イメージセンサ64から出力される画素ごとのアナログの画像信号を取り込み、信号処理(例えば、相関二重サンプリング処理、増幅処理等)を施し、デジタル化して出力する。
【0045】
デジタル信号処理部70は、アナログ信号処理部68から出力されるデジタルの画像信号を取り込み、信号処理(例えば、階調変換処理、ホワイトバランス補正処理、ガンマ補正処理、同時化処理、YC変換処理等)を施して、画像データを生成する。デジタル信号処理部70は、撮影された画像に対し撮影モードやユーザの指示に応じて画像処理を施してもよい。
【0046】
メモリ72は、撮影により得られた画像データ及び音声データを記憶する非一時的記録媒体であり、例えばメモリカード等が用いられる。メモリ72は、記憶部の一例である。メモリコントローラ74は、カメラ制御部100による制御の下、メモリ72にデータを読み書きする。
【0047】
ディスプレイ28(感情表現部)は、例えば、液晶ディスプレイ(Liquid Crystal Display;LCD)、有機エレクトロルミネッセンスディスプレイ(Organic Electro-Luminescence Display;OELD)等で構成される。この他、ディスプレイ28はプラズマディスプレイ、電界放出ディスプレイ(Field Emission Display;FED)、電子ペーパ等で構成されていてもよい。表示コントローラ76は、カメラ制御部100による制御の下、ディスプレイ28に映像を表示させる。
【0048】
通信部78は、カメラ制御部100による制御の下、アンテナ80を介して他のプリンタ付きデジタルカメラ10(他機)と無線で通信する。通信部78は、例えば、NFC規格(NFC:Near Field Communication)、Bluetooth(登録商標)、等の近距離無線通信により近距離で他機と直接通信することができる。また、通信部78は、Wi-Fiスポット(Wi-Fi:登録商標)等を介してインターネット等の情報通信ネットワークに接続し、他のプリンタ付きデジタルカメラ10(他機)と、距離を問わずに通信することができる。
【0049】
フィルム送出駆動部82は、フィルム送出機構52の図示せぬクロー(爪状部材)を駆動するモータ、及び、その駆動回路を含み、カメラ制御部100による制御の下、モータを駆動してクローを動作させる。
【0050】
フィルム搬送駆動部84は、フィルム搬送機構54の図示せぬ搬送ローラ対を駆動するモータ及びその駆動回路、並びに、図示せぬ展開ローラ対を駆動するモータ及びその駆動回路を含み、カメラ制御部100による制御の下、搬送ローラ対のモータ及び展開ローラ対のモータを駆動して、搬送ローラ対及び展開ローラ対を動作させる。
【0051】
ヘッド駆動部86は、プリントヘッド56の駆動回路を含み、カメラ制御部100の制御の下、プリントヘッド56を駆動する。
【0052】
ストロボ88は、光源として、例えばキセノン管、LED(Light Emitting Diode)等を備え、その光源を発光させて、被写体にストロボ光を照射する。ストロボ光は、カメラボディ12の正面に備えられたストロボ発光窓20(図1参照)から照射される。ストロボ発光制御部90は、ストロボ88の駆動回路を含み、カメラ制御部100からの指令に応じて、ストロボ88を発光させる。
【0053】
マイクロフォン92は、カメラボディ12に備えられたマイク穴24(図2参照)を介して外部の音声を集音する。マイクロフォン92は、集音部の一例である。スピーカ94は、カメラボディ12に備えられたスピーカ穴26から外部に音声を出力する。音声信号処理部96は、マイクロフォン92から入力される音声信号に信号処理を施し、デジタル化して出力する。また、音声信号処理部96は、カメラ制御部100から与えられる音声データに信号処理を施して、スピーカ94から出力させる。時計部97は日時の情報を保
持し、カメラ制御部100はこの情報を参照して撮影時刻(日時)を設する。
【0054】
操作部98は、レリーズボタン16、録音ボタン18、電源ボタン22a、メニューボタン22b、OKボタン22c、ジョイスティック32a、プリントボタン32b、再生ボタン32c、キャンセルボタン32d等の各種操作部材、及び、その信号処理回路を含み、各操作部材の操作に基づく信号をカメラ制御部100に出力する。
【0055】
バッテリ99は充放電可能な二次電池であり、カメラ制御部100の制御により、プリンタ付きデジタルカメラ10の各部に電力を供給する。
【0056】
カメラ制御部100は、プリンタ付きデジタルカメラ10の全体の動作を統括制御する制御部である。カメラ制御部100は、CPU(CPU:Central Processing Unit)、ROM(ROM:Read Only Memory)、RAM(RAM:Random Access Memory)、及びEEPROM(Electronically Erasable and Programmable Read Only Memory)等を備える。カメラ制御部100はこれらCPU等により構成されるコンピュータであり、制御プログラムを実行することにより以下に説明する各種機能を実現する。
【0057】
<カメラ制御部の機能構成>
図6は、カメラ制御部100の機能構成を示す図である。カメラ制御部100は、撮影制御部100A(撮影制御部)と、通信制御部100B(通信部)と、表示制御部100C(表示制御部)と、を備える。また、カメラ制御部100は、評価決定部100D(評価決定部)と、感情決定部100E(感情決定部)と、感情表現部100F(感情表現部)と、学習部100G(学習部)と、状態検知部100H(状態検知部)と、を備える。カメラ制御部100は、さらにプリント制御部100I(プリント制御部)と、記憶制御部100J(記憶制御部)と、を備える。
【0058】
上述したカメラ制御部100の各部の機能は、各種のプロセッサ(processor)及び記録媒体を用いて実現できる。各種のプロセッサには、例えばソフトウェア(プログラム)を実行して各種の機能を実現する汎用的なプロセッサであるCPUが含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるGPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイス(Programmable Logic Device:PLD)も含まれる。プログラマブルロジックデバイスは、製造後に回路構成を変更可能なプロセッサである。なお、画像の学習や認識を行う場合はGPUを用いた構成が効果的である。さらに、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。
【0059】
各部の機能は1つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ、またはCPUとGPUの組み合わせ)で実現されてもよい。また、1つのプロセッサが複数の機能を備えていてもよい。複数の機能を1つのプロセッサで構成する例としては、第1に、コンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、システム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを1つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。これらの電気回路は、論理和、論理積、論理否定、排他的論理和、及びこれらを組み合わせた論理演算を用いて上述した機能を実現する電気回路であってもよい。
【0060】
上述したプロセッサあるいは電気回路がソフトウェア(プログラム)を実行する際は、実行するソフトウェアのコンピュータ(カメラ制御部100を構成する各種のプロセッサや電気回路、及び/またはそれらの組み合わせ)で読み取り可能なコードをROM等の非一時的記録媒体に記憶しておき、コンピュータがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、画像の撮影や印刷、感情表現等を実行するためのプログラム、及び実行に際して用いられるデータを含む。コードを記録する非一時的記録媒体は、ROMではなく各種の光磁気記録装置、半導体メモリ等でもよい。ソフトウェアを用いた処理の際には例えばRAMが一時的記憶領域として用いられる。
【0061】
<学習及び感情表現に係る処理>
図7は上述した構成のプリンタ付きデジタルカメラ10による学習及び感情表現に係る処理を示すフローチャートであり、プリンタ付きデジタルカメラ10の電源がONされるとこれらの処理が実行される。ユーザは、電源ボタン22aを操作することにより、あるいはタッチセンサ45(センサ部)を操作することにより電源をONにすることができる。
【0062】
撮影制御部100A(撮影制御部)は、ユーザがレリーズボタン16を操作すると「撮影指示があった」と判断し(ステップS100でYES)、シャッタースピード、絞り値、ホワイトバランスのうち少なくとも一つを含む撮影条件を決定する(ステップS110)。撮影制御部100A(撮影制御部)は複数の撮影モード(例えば、オートモード、シャッタースピード優先モード、絞り優先モード、ポートレートモード、風景モード等)を有し、撮影モードに応じた撮影条件を決定する。また、撮影制御部100Aは、過去の撮影に基づいて学習がなされている場合は、撮影された画像に対するユーザの評価が反映された撮影条件を決定する。そして、撮影制御部100Aは、決定した撮影条件により撮影部(撮影レンズ14、イメージセンサ64等)を制御して画像を撮影させる(ステップS120)。撮影制御部100Aは、優先度の高い撮影条件(後述)により撮影させることができる。撮影制御部100Aは、撮影部に対し、それぞれ異なる撮影条件で複数の画像をブラケット撮影させてもよい。なお、デジタル信号処理部70は、撮影した画像に対し撮影モードやユーザ指示に基づく画像処理を施してもよい。記憶制御部100J及びメモリコントローラ74は、ユーザの指示に応じて、撮影された画像をメモリ72に記憶させる。
【0063】
<画像の評価に関わる操作>
表示制御部100Cは、撮影された画像をディスプレイ28に表示する(ステップS130)。ユーザは、プリンタ付きデジタルカメラ10を操作することにより、撮影された画像を評価することができる。図8はディスプレイ28(センサ部)に対する操作の例を示す図である。肯定的な評価をする場合、図8の(a)部分に示すように、ユーザは指やペン型デバイスでディスプレイ28に丸印M1を描くことができる。一方、否定的な評価をする場合は、同図の(b)部分に示すように、ユーザはディスプレイ28にバツ印M2を描くことができる。ユーザは、中間的な評価を行う場合、ディスプレイ28に三角印を描いてもよい。
【0064】
図9はタッチセンサ45(センサ部)に対する操作の例を示す図である。肯定的な評価をする場合、図9の(a)部分に示すように、ユーザは指やペン型デバイス等でタッチセンサ45を矢印F2の方向に撫でることができる。一方、否定的な評価をする場合、同図の(b)部分に示すように、指あるいは他のデバイスでタッチセンサ45を矢印F3の方向にタップする(あるいは叩く)ことができる。
【0065】
ディスプレイ28やタッチセンサ45に対する操作に代えて、またはこれら操作に加えて、ユーザはプリンタ付きデジタルカメラ10を振る(並進及び/または回転させる)ことができる。この場合、加速度センサ46(センサ部)及び/または角速度センサ47(センサ部)が操作(加速度及び/または角速度)を検知する。また、ユーザは上述の操作に代えて、または上述の操作に加えて、マイクロフォン92(センサ部)を介して音声での操作を行ってもよい。例えば、「いいね」、「グッジョブ(good job)」、「もっと頑張れ」、「ダメじゃないかお前」等の感覚的な音声メッセージで操作を行うことができる。また、ユーザは「もっと明るい画像がいい」、「背景をぼかして欲しい」等の具体的な音声メッセージで操作を行ってもよい。なお、マイクロフォン92を介した発言(音声入力)は音声による操作である。
【0066】
<評価の決定>
評価決定部100D(評価決定部)は、ディスプレイ28等のセンサ部に対する操作を解析して(ステップS140:評価決定工程)、撮影された画像に対するユーザの評価を決定する(ステップS150:評価決定工程)。評価決定部100Dは、解析結果が例えば「ユーザがディスプレイ28に丸印を描いた」、「ユーザがタッチセンサ45を撫でた」、「ユーザがタッチセンサ45をタップした」、「ユーザがプリンタ付きデジタルカメラ10を振り回した」であった場合、それぞれ「ほめる」、「注意する、あるいは叱る」、「叱る、あるいは怒る」をユーザの評価として決定することができる。「ほめる」は肯定的な評価の一例であり、「注意する、叱る、怒る」は否定的な評価の一例である。
【0067】
また、評価決定部100Dは、解析結果が例えば「ユーザが『いいね』と発言した」、「ユーザが『ダメじゃないか、お前』と発言した」であった場合、それぞれ「ほめる」、「注意する、あるいは叱る」をユーザの評価として決定することができる。評価決定部100Dは、このような感覚的な情報に代えて、またはこれに加えて具体的な情報に基づいて評価を決定してもよい。評価決定部100Dは、例えば「私のお肌がもっとキレイに見えるようにしてちょうだい」、「ポートレイトだから、背景はもう少しぼかしてほしいな」の発言に基づく評価を「注意する」と決定することができる。
【0068】
ユーザの評価を決定するに際して、評価決定部100D(評価決定部)は、操作の内容及び/または程度と評価とをあらかじめ関係付けておき、操作を解析する際にその関係付け(どのような操作がどのような評価に対応しているか)を参照することができる。評価決定部100Dは、そのような関係付けの情報を、例えばカメラ制御部100のEEPROM(非一時的記録媒体)に記憶することができる。評価決定部100D(評価決定部)は、ユーザによる操作と評価の関係付けの編集を受け付けてもよい。
【0069】
以上で例示した操作に関し、評価決定部100Dは、操作の回数や強度により評価の度合いを変化させてもよい。例えば、ユーザがタッチセンサ45を撫でた回数が多いほど、あるいはプリンタ付きデジタルカメラ10を強く振り回すほど(加速度及び/または角速度が大きいほど)評価(「ほめる」、「注意する、あるいは叱る」等)の度合いを高くすることができる。
【0070】
<ブラケット撮影時の評価>
ブラケット撮影により複数の画像が撮影されている場合、表示制御部100Cは、撮影された画像に対するユーザの評価を決定する際にそれら複数の画像をディスプレイ28に表示させる。そして、評価決定部100Dは表示された複数の画像に対するユーザの選択を受け付け、選択された画像について、上述した例と同様にユーザの評価を決定する。
【0071】
<感情の決定>
感情決定部100E(感情決定部)は、ユーザの評価に対する、擬人化したプリンタ付きデジタルカメラ10(撮像装置)の感情を決定する(ステップS160:感情決定工程)。感情決定部100Eは、評価が肯定的である場合は喜び及び/または楽しさを感情として決定し、評価が否定的である場合は悲しみ及び/または怒りを感情として決定することができる。感情決定部100Eは、上述した評価の度合いが高いほど、強い感情を決定することができる。
【0072】
感情決定部100Eは、ユーザが過去に「いいね」と評価した撮影条件をその後に否定した場合などに、「反抗する」を感情表現として決定してもよい。
【0073】
<感情の表現>
感情表現部100F(感情表現部)は、決定した感情を、1つ以上の出力を用いて疑似的に表現する(ステップS170:感情表現工程)。感情表現部100Fは、表示、発光、音声、効果音、及び振動のうち少なくとも一つを出力として感情を表現することができる。感情表現部100Fは、ディスプレイ28、サブ表示領域28a、サブディスプレイ29に文字、図形、記号等を表示することにより感情を表現することができる。また、感情表現部100Fは、LED49の発光により感情を表現することができる。感情表現部100Fは、LED49を用いる場合に、発光させるLED49の個数や色を感情の内容及びその程度に応じて変化させてもよい。感情表現部100Fは、赤色、緑色、及び青色のLEDを組み合わせて発光させることにより、様々な色を表現することができる。LED49を備える態様の場合、状態検知部100HはLED49を用いてバッテリ残量やプリント可能枚数等を表現してもよい。また、感情表現部100Fは、音声及び/または効果音をスピーカ94から出力することにより、あるいはバイブレータ48を振動させることにより感情を表現することができる。
【0074】
<感情表現の例>
図10は目(顔の一部)の表示を変化させることによる感情表現の例を示す図である。感情表現部100Fは、これらの例をサブディスプレイ29に表示することができる。図10の(a)部分は電源オフ時(またはスリープ時)の状態(寝ている、あるいは休んでいる状態)を示し、感情表現部100Fは、この状態で例えばタッチセンサ45を撫でる操作がされた場合に、表示を同図の(b)部分に示す状態(起きた状態)に変化させる。感情表現部100Fは、同図の(b)部分に示す表示を固定しておいてもよいし、間欠的にまばたきのような表示を行ってもよい。また、感情表現部100Fは、図10の(b)部分に示す状態と(c)部分に表示する状態とを切り換え、目が動いている状態を表現してもよい。同図の(d)部分はユーザの操作により撮影が行われる場合の状態を示す例である。図10の(e)部分~(g)部分は、それぞれ「嬉しい」あるいは「喜んでいる」状態、「悲しい」状態、「怒っている」状態を表現する表示の例である。
【0075】
図10の(a)部分~(g)部分は、目の表示を1つ用いる場合の例であるが、感情表現部100Fは、同図の(h)部分の例のように目の表示を複数用いた表示を行うことができる。この場合、感情表現部100Fは、それぞれの目について図10の(a)部分~(g)部分のような表示を行うことができる。
【0076】
図11は顔の表情を変化させることによる感情表現の例を示す図である。同図の(a)部分、(b)部分はそれぞれ「嬉しい」あるいは「喜んでいる」状態、「悲しい」状態を表現する表示の例である。なお、感情表現部100Fは、人間の顔ではなく動物や仮想的なキャラクタの顔を感情表現に用いてもよい。
【0077】
感情表現部100Fは、感情表現用の表示装置(サブディスプレイ29)ではなく、ディスプレイ28の一部で感情表現を行ってもよい。例えば、図12の変形例に示すようにディスプレイ28の一部にサブ表示領域28aを設け、感情表現部100Fがこのサブ表示領域28aで表示による感情表現(例えば、図10,11に示す例による)を行うことができる。表示による感情表現をディスプレイ28の一部で行う場合、感情表現部100Fは、サブ表示領域28aでの表示を常時継続してもよいし、感情の変化があった場合に一定時間表示を行い、その後、サブ表示領域28aでの表示を停止してもよい。なお、図12の変形例ではサブ表示領域28aをディスプレイ28の右上部分に設けているが、サブ表示領域28aを設ける位置はこの変形例に示す態様に限定されない。
【0078】
<感情表現の態様の更新>
プリンタ付きデジタルカメラ10は、ユーザの評価に応じて感情表現の態様(どのような出力を用いるか、どの程度の表現を行うか、等)を更新することができる。例えば、図13のフローチャートに示すように、ステップS170で表現(出力)した感情に対するユーザ操作があった場合(ステップS172でYES)に、評価決定部100D(評価決定部)がセンサ部(ディスプレイ28、タッチセンサ45、マイクロフォン92等)に対する操作を解析して感情表現に対するユーザの評価を決定する(ステップS174)。そして、感情表現部100Fは、感情を表現する出力の数、組み合わせ、及び程度をユーザの評価に基づいて更新する(ステップS176)。感情表現部100Fは、次に感情を表現する際は、更新の結果に基づいて感情を表現する。
【0079】
例えば、ユーザがプリンタ付きデジタルカメラ10を褒める操作をした場合の感情表現が、「目の表示の変化」(例えば、図10の(b)部分に示す状態から同図の(e)部分に示す状態に変化)と、スピーカ94からの音声の出力と、バイブレータ48による振動と、の3つを同時に行う態様であったと仮定する。この場合、ユーザによってはそのような表現を「過剰」と感じる可能性がある。その場合、ユーザはプリンタ付きデジタルカメラ10に対し「ちょっと、うるさいよ」と話しかけることができ、これに対し評価決定部100Dは、マイクロフォン92(センサ部)を介した音声操作を解析してユーザの評価を決定する。感情表現部100Fは、この決定に基づいて、例えば「バイブレータ48による振動を行わない」(出力の数、組み合わせの更新)、「音声出力の音量を小さくする」(出力の程度の更新)のような変更を行うことができる。このような感情表現の態様の更新により、撮影条件だけでなく感情表現についてもユーザの好みに合わせた状態になっていくので、ユーザは自分のプリンタ付きデジタルカメラ10(撮像装置)に愛着を持ちやすい。
【0080】
<プリント指示に基づく撮影条件の学習>
図7のフローチャートに対するさらなる説明は以下の通りである。ユーザが画像のプリントを指示した場合、その画像はユーザにとって評価が高い、あるいは重要度が高いと考えることができる。そこで、画像がプリントされた場合(ステップS180でYES)、プリントボタン32b等(センサ部)及びプリント制御部100Iは画像のプリント指示を検知し、学習部100G(学習部)は、プリント指示がされた画像についての撮影条件の優先度を上げる(ステップS190:学習工程)。例えば、人物の肌色を明るくする処理がなされた画像や人物の背景をぼかす処理がされた画像に対しプリントが指示された場合に、学習部100Gは、次回以降の撮影において同様の撮影条件(シャッタースピード、絞り値、ホワイトバランス等)を用いる度合いを他の撮影条件よりも高めることができる。
【0081】
なお、プリンタ付きデジタルカメラ10は、撮影画像に対するユーザの評価に基づいて感情表現を行う場合と同様に、プリントされた画像に対するユーザの評価に関わる操作に基づいて感情表現を行ってもよいし、また撮影画像に対する画像処理の条件を変更してもよい。
【0082】
<ユーザの評価の反映>
学習部100G(学習部)は、ユーザの評価を学習して、撮影制御部100Aが用いる撮影条件に反映する(ステップS200:学習工程)。例えば、学習部100Gは、評価に応じて撮影条件(シャッタースピード、絞り値、ホワイトバランスのうち少なくとも一つを含むものとするが、これらの条件には限定されない)の全部または一部の項目について値を変更することができる。例えば、「ポートレイトだから、背景はもう少しぼかしてほしいな」との発言に基づく評価に対しては、絞り値を解放側に変更することができる。
【0083】
学習においては、評価結果を「学習を促す信号」として扱うことができ、学習部100Gは評価に応じて撮影条件の各パラメータを学習して、撮影条件の新たな内容(パラメータの値等)をカメラ制御部100のEEPROMに書き込む。学習部100Gは、「いずれの撮影条件について肯定的な(あるいは否定的な)評価がなされたか、どの程度の評価がなされたか」を考慮して撮影条件への反映を行うことができ、また撮影条件の項目間で重みづけをしてもよい(例えば、ホワイトバランスについての評価を他の項目より重視する)。学習部100Gは、機械学習のアルゴリズム(深層学習等)により動作するニューラルネットワークを学習に用いてもよい。撮影制御部100Aが複数の撮影モードを有する場合、学習部100Gは、撮影条件に対する反映を撮影モードごとに行うことが好ましい。
【0084】
撮影制御部100Aは、上述した評価が反映されたEEPROMを撮影の際に参照することにより、新たな撮影条件の下で撮影を行うことができる。なお、学習部100Gは、撮影条件だけでなく画像処理についてもユーザの評価に基づく学習を行って画像処理条件に反映してもよい。例えば、「私のお肌がもっとキレイに見えるようにしてちょうだい」との発言に基づく評価に対して、人物が被写体である画像に対して、画像処理条件を変更して肌色を鮮やかに見せる画像処理を施すことができる。
【0085】
<プリンタ付きデジタルカメラの状態に応じた感情表現>
図14は、プリンタ付きデジタルカメラ10の状態に応じた感情表現の処理の例を示すフローチャートである。図14に示す例では、状態検知部100H(状態検知部)は、バッテリ残容量、メモリ残容量、画像処理の負荷、及び内部温度のうち少なくとも1つを検知する(ステップS200:状態検知工程)。状態検知部100Hは、バッテリ99の残容量、メモリ72の残容量、アナログ信号処理部68、デジタル信号処理部70、カメラ制御部100等における画像処理の負荷、及びプリンタ付きデジタルカメラ10の内部温度を検知することができる。
【0086】
状態検知部100Hは、メモリコントローラ74、温度検出部58等の出力に基づいてこれらの状態を検知することができる。そして、感情決定部100E(感情決定部)は、検知した状態が感情表現を行う基準を満たすか否か判断し(ステップS210)、基準を満たす場合(ステップS210でYES)は検知した状態に応じて、擬人化したプリンタ付きデジタルカメラ10(撮像装置)の感情を決定する(ステップS220:感情決定工程)。感情決定部100Eは、例えばバッテリ99の残容量やメモリ72の残容量が全容量の20%以下になった場合に「感情表現を行う基準を満たす」と判断することができる。同様に、感情決定部100Eは、画像処理の負荷や内部温度がしきい値を超えた場合に「感情表現を行う基準を満たす」と判断することができる。
【0087】
感情表現部100F(感情表現部)は、ステップS220で決定された感情を表現する(ステップS230:感情表現工程)。この感情表現は、撮影画像の評価に基づく場合(図10,11及びこれらの図に関する説明を参照)と同様に、表示、発光、音声、効果音、及び振動のうち少なくとも一つを出力として行うことができる。感情表現部100Fは、例えばバッテリ99の残容量が少なくなった場合に、「パワーがなくなってきたよ!早く充電してくれないと、スリープしちゃうぞ!」との音声メッセージをスピーカ94から出力し、合わせてバイブレータ48による振動(「暴れる」あるいは「駄々をこねる」といった感情表現に対応させることができる)を行うことができる。感情表現部100Fは、発光や表示による感情表現を行ってもよい。
【0088】
このような内部状態に基づく感情表現の場合も、撮影画像の場合(図13及びその説明を参照)と同様に、ユーザの評価に基づいて感情表現の態様を更新することができる。具体的には、図14のフローチャートに示すように、ステップS230で表現(出力)した感情に対するユーザ操作があった場合(ステップS240でYES)に、評価決定部100D(評価決定部)がセンサ部(ディスプレイ28、タッチセンサ45、マイクロフォン92等)に対する操作を解析して感情表現に対するユーザの評価を決定する(ステップS250)。そして、感情表現部100Fは、感情を表現する出力の数、組み合わせ、及び程度をユーザの評価に基づいて更新する(ステップS260)。感情表現部100Fは、次に感情を表現する際は、更新の結果に基づいて感情を表現する。
【0089】
このような感情表現の態様の更新により、内部状態に基づく感情表現についてもユーザの好みに合わせた態様になっていくので、ユーザは自分のプリンタ付きデジタルカメラ10(撮像装置)に愛着を持ちやすい。なお、このようなプリンタ付きデジタルカメラ10の状態に応じた感情表現の処理は、起動中に随時行うことができる。
【0090】
上述した処理により、第1の実施形態に係るプリンタ付きデジタルカメラ10のユーザは、自分の好みに合わせた画像を容易に撮影することができ、また自分のプリンタ付きデジタルカメラ10(撮像装置)に愛着を持ちやすい。
【0091】
<第2の実施形態>
第1の実施形態では、プリンタ付きデジタルカメラ10について説明したが、本発明に係る撮像装置の構成はこれに限定されない。本発明のその他の撮像装置としては、例えば、内蔵型または外付け型のPC用カメラ(PC:Personal Computer)、あるいは、以下に説明するような、撮影機能を有する携帯端末装置とすることができる。
【0092】
本発明の撮像装置の一実施形態である携帯端末装置としては、例えば、携帯電話機やスマートフォン、PDA(Personal Digital Assistants)、携帯型ゲーム機が挙げられる。以下の説明は、スマートフォンを例に挙げたものである。
【0093】
図15は本発明の撮像装置の一実施形態であるスマートフォン500(撮像装置)の外観を示す図であり、同図の(a)部分は正面図、(b)部分は背面図である。図15に示すスマートフォン500は平板状の筐体502を有し、筐体502の一方の面に表示部としての表示パネル521(表示装置)と、入力部としての操作パネル522(操作部)とが一体となった表示入力部520を備えている。また、筐体502は、スピーカ531と、マイクロフォン532、操作部540(操作部)と、カメラ部541,542(撮像装置、撮影部)、ストロボ543とを備えている。なお、筐体502の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用してもよいし、折り畳み構造やスライド機構を有する構成を採用してもよい。
【0094】
図16は、図15に示すスマートフォン500の構成を示すブロック図である。図16に示すように、スマートフォン500は、無線通信部511と、表示入力部520と、通話部530と、操作部540と、カメラ部541,542と、ストロボ543と、記憶部550と、外部入出力部560と、GPS受信部570(GPS:Global Positioning System)と、モーションセンサ部580と、電源部590と、を備える。また、スマートフォン500は、主制御部601(カメラ制御部、撮影制御部、通信制御部、表示制御部、評価決定部、感情決定部、感情表現部、学習部、状態検知部、プリント制御部、記憶制御部)を備える。また、スマートフォン500は、主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。
【0095】
無線通信部511は、主制御部601の指示にしたがって、移動通信網に収容された基地局装置に対し無線通信を行い、斯かる無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Webデータやストリーミングデータなどの受信を行う。スマートフォン500は、主制御部601及び無線通信部511を介して外部のプリンタに画像データを送信し、プリントさせることができる。また、スマートフォン500は、第1の実施形態に係るプリンタ付きデジタルカメラ10をプリンタとして使用してもよい。
【0096】
表示入力部520は、主制御部601の制御により、画像(静止画像及び/または動画像)や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル521と、操作パネル522とを備える。
【0097】
表示パネル521においては、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などが表示デバイスとして用いられる。操作パネル522は、表示パネル521の表示面上に表示される画像を視認可能に載置され、ユーザの指やペン等の導体によって操作される1または複数の座標を検出するデバイスである。斯かるデバイスをユーザの指やペン等の導体によって操作すると、操作パネル522は、操作に起因して発生する検出信号を主制御部601に出力する。次いで、主制御部601は、受信した検出信号に基づいて、表示パネル521上の操作位置(座標)を検出する。表示パネル521は、第1の実施形態に係るプリンタ付きデジタルカメラ10におけるディスプレイ28、サブディスプレイ29、及びサブ表示領域28aに対応し、顔の表情または顔の一部(目の部分等)による感情表現(図10~12を参照)を行うことができる。同様に、操作パネル522はディスプレイ28、タッチセンサ45、及び操作部98に対応し、ユーザは操作パネル522を介して撮影画像や感情表現に対する評価を入力する(図8、9を参照)ことができる。
【0098】
図15に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン500の表示パネル521と操作パネル522とは一体となって表示入力部520を構成しているが、操作パネル522が表示パネル521を完全に覆う配置となっている。斯かる配置を採用した場合、操作パネル522は、表示パネル521外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル522は、表示パネル521に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル521に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
【0099】
通話部530は、スピーカ531及びマイクロフォン532を備え、マイクロフォン532(センサ部)を通じて入力されたユーザの音声を主制御部601にて処理可能な音声データに変換して主制御部601に出力すること、無線通信部511あるいは外部入出力部560により受信された音声データを復号してスピーカ531から出力することができる。また、図15に示すように、例えばスピーカ531を表示入力部520が設けられた面と同じ面に搭載し、マイクロフォン532を筐体502の側面に搭載することができる。スマートフォン500は、主制御部601の制御により、スピーカ531(感情表現部)を用いて、擬人化したスマートフォン500の感情を音声及び/または効果音により疑似的に表現(出力)することができる。また、スマートフォン500は、マイクロフォン532(センサ部)を用いて、撮影された画像に対するユーザの評価を音声により検知することができる。
【0100】
操作部540は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるデバイスである。例えば図15に示すように、操作部540は、スマートフォン500の筐体502の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
【0101】
記憶部550(記録装置)は、主制御部601の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶する。また、記憶部550は、スマートフォン内蔵の内部記憶部551と着脱自在な外部メモリスロットを有する外部記憶部552により構成される。記憶部550(状態検知部)は、内部記憶部551及び外部記憶部552の残容量(メモリ残容量)を検知する。なお、記憶部550を構成するそれぞれの内部記憶部551と外部記憶部552は、公知の記録媒体を用いて実現される。
【0102】
外部入出力部560は、スマートフォン500に連結される全ての外部機器とのインターフェースの役割を果たす。スマートフォン500は、外部入出力部560を介して他の外部機器に通信等により直接的または間接的に接続される。通信等の手段としては、例えば、ユニバーサルシリアルバス(USB:Universal Serial Bus)、IEEE1394、ネットワーク(例えば、インターネット、無線LAN)を挙げることができる。この他、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)(登録商標)などを通信等の手段として挙げることができる。さらに、UWB(Ultra Wide Band)(登録商標)、ジグビー(ZigBee)(登録商標)なども通信等の手段として挙げることができる。
【0103】
スマートフォン500に連結される外部機器としては、例えば、有線/無線ヘッドセット、有線/無線外部充電器、有線/無線データポートを挙げることができる。また、カードソケットを介して接続されるメモリカード(Memory card)やSIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)カードも外部機器として挙げることができる。また、オーディオ及びビデオI/O(Input/Output)端子を介して接続される外部オーディオ及びビデオ機器、無線接続される外部オーディオ及びビデオ機器、有線/無線接続されるスマートフォン、有線/無線接続されるPDA、有線/無線接続されるパーソナルコンピュータ、イヤホンなどの外部機器も連結することができる。外部入出力部560は、このような外部機器から伝送を受けたデータをスマートフォン500の内部の各構成要素に伝達することや、スマートフォン500の内部のデータを外部機器に伝送することができる。
【0104】
モーションセンサ部580(センサ部)は、例えば、3軸の加速度センサや角速度センサ、あるいは傾斜センサなどを備え、主制御部601の指示にしたがって、スマートフォン500の物理的な動きを検出する。スマートフォン500の物理的な動きを検出することにより、スマートフォン500の動く方向や加速度、姿勢が検出される。斯かる検出結果は、主制御部601に出力されるものである。モーションセンサ部580は、撮影された画像、及び/または感情表現の態様に対するユーザの評価に関わる操作(スマートフォン500を振り回す等)を検知することができる。電源部590は、主制御部601の指示にしたがって、スマートフォン500の各部に、バッテリ(不図示)に蓄えられる電力を供給する。また、電源部590(状態検知部)は、バッテリの残容量を検知する。
【0105】
主制御部601は、マイクロプロセッサを備え、記憶部550が記憶する制御プログラムや制御データにしたがって動作し、カメラ部541を含むスマートフォン500の各部を統括して制御する。また、主制御部601は、無線通信部511を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
【0106】
また、主制御部601は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画像や動画像のデータ)に基づいて、映像を表示入力部520に表示する等の画像処理機能を備える。画像処理機能とは、主制御部601が、画像データを復号し、斯かる復号結果に画像処理を施して、画像を表示入力部520に表示する機能のことをいう。主制御部601(状態検知部)は、画像処理の負荷を検知する。また、主制御部601は、温度検出部(不図示)によりスマートフォン500の内部温度を検知してもよい。
【0107】
カメラ部541,542(撮影部)は、CMOSやCCDなどの撮像素子を用いて電子撮影するデジタルカメラ(撮像装置)である。また、カメラ部541,542は、主制御部601の制御により、撮像によって得た画像データ(動画、静止画)を例えばMPEGやJPEGなどの圧縮した画像データに変換し、記憶部550に記録することや、外部入出力部560や無線通信部511を通じて出力することができる。図15,16に示すスマートフォン500において、カメラ部541,542の一方を用いて撮影することもできるし、カメラ部541,542を同時に使用して撮影することもできる。カメラ部542を用いる場合はストロボ543を使用することができる。
【0108】
また、カメラ部541,542はスマートフォン500の各種機能に利用することができる。例えば、スマートフォン500は、カメラ部541,542で取得した画像を表示パネル521に表示することができる。また、スマートフォン500は、操作パネル522の操作入力のひとつとして、カメラ部541,542の画像を利用することができる。また、スマートフォン500は、GPS受信部570がGPS衛星ST1,ST2,…,STnからの測位情報に基づいて位置を検出する際に、カメラ部541,542からの画像を参照して位置を検出することもできる。さらには、スマートフォン500は、カメラ部541,542からの画像を参照して、3軸の加速度センサを用いずに、あるいは、3軸の加速度センサと併用して、スマートフォン500のカメラ部541の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、スマートフォン500は、カメラ部541,542からの画像をアプリケーションソフトウェア内で利用することもできる。その他、スマートフォン500は、静止画または動画の画像データにGPS受信部570により取得した位置情報、マイクロフォン532により取得した音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)、モーションセンサ部580により取得した姿勢情報等を付加して記憶部550に記録することもできる。また、スマートフォン500は、これらの静止画または動画の画像データを外部入出力部560や無線通信部511を通じて出力することもできる。
【0109】
上述した構成のスマートフォン500においても、第1の実施形態に係るプリンタ付きデジタルカメラ10と同様に本発明に係る制御方法の処理(撮影された画像に対するユーザの評価を決定、擬人化したスマートフォン500の感情の決定、感情の疑似的な表現、評価の学習と撮影条件への反映、状態の検知等)を実行することができる。具体的には、第1の実施形態においてカメラ制御部100(図6に示す各部)が実行する処理(図7,13,14に示すフローチャートの処理を含む)をスマートフォン500ではカメラ部541,542及び主制御部601が実行できる。その他、プリンタ付きデジタルカメラ10における操作部98、メモリ72及びメモリコントローラ74、ディスプレイ28、サブディスプレイ29、及び表示コントローラ76の機能は、スマートフォン500において操作部540、記憶部550、操作パネル522、表示パネル521、及び主制御部601により実現することができる。
【0110】
これにより、第2の実施形態に係るスマートフォン500においても、第1の実施形態に係るプリンタ付きデジタルカメラ10と同様の効果(ユーザは自分の好みに合わせた画像を容易に撮影することができ、また撮像装置に愛着を持ちやすい等)を得ることができる。
【0111】
なお、スマートフォン500等のデバイス(スマートフォン、タブレット端末等)に対し、その構成(撮像部、センサ部等)に応じて第1の実施形態に係るプリンタ付きデジタルカメラ10と同様の処理(本発明に係る制御方法)を行わせるアプリケーションソフトウェア(プログラム)も、本発明の態様として挙げることができる。また、そのようなアプリケーションソフトウェアのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も、本発明の態様として挙げることができる。この「コンピュータ」は、例えば、上述したCPU等のプロセッサ及び/またはその組み合わせを用いて実現することができる。また、斯かる非一時的記録媒体には、メモリカード等の記録媒体や、ネットワーク上のサーバ等のコンピュータで用いられる光磁気記録装置(ハードディスク、ブルーレイディスク(Blu-ray Disk:登録商標)、半導体メモリ等)が含まれる。
【0112】
以上で本発明の実施形態に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
【符号の説明】
【0113】
10 プリンタ付きデジタルカメラ
12 カメラボディ
14 撮影レンズ
16 レリーズボタン
18 録音ボタン
20 ストロボ発光窓
22a 電源ボタン
22b メニューボタン
22c OKボタン
22d モード切替えボタン
24 マイク穴
26 スピーカ穴
28 ディスプレイ
28a サブ表示領域
29 サブディスプレイ
30 フィルム蓋カバー
32a ジョイスティック
32b プリントボタン
32c 再生ボタン
32d キャンセルボタン
34 フィルム排出口
42 インスタントフィルム
42a 露光面
42b 観察面
42c 露光領域
42d ポッド部
42e 現像処理液ポッド
42f トラップ部
42g 吸収材
42h 観察領域
42i 枠
45 タッチセンサ
46 加速度センサ
47 角速度センサ
48 バイブレータ
49 LED
52 フィルム送出機構
54 フィルム搬送機構
56 プリントヘッド
58 温度検出部
62 レンズ駆動部
64 イメージセンサ
66 イメージセンサ駆動部
68 アナログ信号処理部
70 デジタル信号処理部
72 メモリ
74 メモリコントローラ
76 表示コントローラ
78 通信部
80 アンテナ
82 フィルム送出駆動部
84 フィルム搬送駆動部
86 ヘッド駆動部
88 ストロボ
90 ストロボ発光制御部
92 マイクロフォン
94 スピーカ
96 音声信号処理部
97 時計部
98 操作部
99 バッテリ
100 カメラ制御部
100A 撮影制御部
100B 通信制御部
100C 表示制御部
100D 評価決定部
100E 感情決定部
100F 感情表現部
100G 学習部
100H 状態検知部
100I プリント制御部
100J 記憶制御部
500 スマートフォン
502 筐体
511 無線通信部
520 表示入力部
521 表示パネル
522 操作パネル
530 通話部
531 スピーカ
532 マイクロフォン
540 操作部
541 カメラ部
542 カメラ部
543 ストロボ
550 記憶部
551 内部記憶部
552 外部記憶部
560 外部入出力部
570 GPS受信部
580 モーションセンサ部
590 電源部
601 主制御部
F 矢印
F2 矢印
F3 矢印
M1 丸印
M2 バツ印
S100~S260 プリンタ付きデジタルカメラにおける処理の各ステップ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16