特許 6356963 機械装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6356963

(24)【登録日】2018年6月22日

(45)【発行日】2018年7月11日

(54)【発明の名称】機械装置

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20180702BHJP

   G06Q 50/22 20180101ALI20180702BHJP

   A61B 5/16 20060101ALI20180702BHJP

   A61B 5/0476 20060101ALI20180702BHJP

【ＦＩ】

   G06Q50/10

   G06Q50/22

   A61B5/16 400

   A61B5/04 322

【請求項の数】16

【全頁数】21

(21)【出願番号】特願2013-272576(P2013-272576)

(22)【出願日】2013年12月27日

(65)【公開番号】特開2015-127851(P2015-127851A)

(43)【公開日】2015年7月9日

【審査請求日】2016年12月15日

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(73)【特許権者】

【識別番号】599016431

【氏名又は名称】学校法人 芝浦工業大学

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】平山 義一

(72)【発明者】

【氏名】高階 知巳

(72)【発明者】

【氏名】山陸 芳之

(72)【発明者】

【氏名】水野 正朝

(72)【発明者】

【氏名】米沢 彰

(72)【発明者】

【氏名】堀江 亮太

(72)【発明者】

【氏名】大倉 典子

(72)【発明者】

【氏名】柳 美由貴

【審査官】 大野 朋也

(56)【参考文献】

【文献】 特開２０１２−１２０２０６（ＪＰ，Ａ）

【文献】 国際公開第２００８／０５９８７８（ＷＯ，Ａ１）

【文献】 特開２０００−２３５５８８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１１／０１３４０２６（ＵＳ，Ａ１）

【文献】 特開平１１−０５６８１０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｑ １０／００−９９／００

Ｇ１６Ｈ １０／００−８０／００

Ａ６１Ｂ ５／０４７６

Ａ６１Ｂ ５／１６

(57)【特許請求の範囲】

【請求項1】

感情ごとに独立した脳波の条件を予め格納する条件格納部と、
使用者からの脳波に関する脳波情報を取得し、取得した前記脳波情報に含まれる脳波が前記条件格納部に格納されている前記脳波の条件を満たすか否かを判断する条件判断部と、
被写界を撮像して画像データを生成する制御部と、を備え、
前記制御部は、前記取得した前記脳波情報に含まれる前記脳波が前記脳波の条件を満たすか否かに関わらず被写界の撮像を行い、前記取得した前記脳波情報に含まれる前記脳波が前記脳波の条件を満たさない場合には、前記撮像により作成された前記画像データを事後的に消去する機械装置。

【請求項2】

前記条件格納部は、複数の種類の感情に対応した複数の脳波の条件を格納し、
前記複数の脳波の条件から脳波の条件を選択する脳波条件選択部をさらに備え、
前記条件判断部は、取得した脳波情報に含まれる脳波が、前記脳波条件選択部により選択された脳波の条件を満たすか否かを判断する請求項１に記載の機械装置。

【請求項3】

前記脳波の条件は、事象関連電位以降に発生する脳波の条件を含む請求項１または２に記載の機械装置。

【請求項4】

前記脳波の条件は、刺激の提示から３００ｍｓ付近以降に発生する脳波の条件を含む請求項３に記載の機械装置。

【請求項5】

前記条件判断部は、３００ｍｓ付近以降における前記脳波情報の特定の強度に応じて前記脳波の条件を満たすか否かを判断する請求項４に記載の機械装置。

【請求項6】

前記脳波の条件は、脳波の時間波形および周波数分布および周波数分布の時間変化のいずれか１つに関する条件である請求項１から５の何れか１項に記載の機械装置。

【請求項7】

前記脳波は、前記使用者の頭部の中央部から生じる脳波である請求項１から６の何れか１項に記載の機械装置。

【請求項8】

前記使用者の「興味がある」という感情に対応した前記脳波の条件は、予め前記使用者が自ら「興味がある」として用意した画像を視認した場合に生じる脳波に基づく条件である請求項１から７の何れか１項に記載の機械装置。

【請求項9】

前記条件格納部は、前記使用者の「興味がない」という感情に対応した３００ｍｓ付近以降の前記脳波をさらに格納し、前記使用者の「興味がある」という感情に対応した前記脳波の条件は、前記使用者の「興味がある」という感情に対応した３００ｍｓ付近以降の脳波と、前記使用者の「興味がない」という感情に対応した３００ｍｓ付近以降の脳波との差に基づく脳波の条件である請求項１から８の何れか１項に記載の機械装置。

【請求項10】

前記使用者の「興味がない」という感情に対応した前記脳波の条件は、前記使用者が予め自らが「興味がない」として用意した画像を視認した場合に生じる前記脳波に基づく脳波の条件である請求項９に記載の機械装置。

【請求項11】

前記事象関連電位の計測の起点となるトリガー信号を発生する請求項３から５の何れか１項に記載の機械装置。

【請求項12】

前記使用者の予め定められた動作を検知する動作検知部をさらに備え、
前記動作検知部によって、前記使用者の予め定められた動作が検知された場合に、前記動作検知部は、前記トリガー信号を発生する請求項１１に記載の機械装置。

【請求項13】

前記使用者の予め定められた生体反応を検知する生体反応検知部をさらに備え、
前記生体反応検知部によって、前記使用者の予め定められた生体反応が検知された場合に、前記生体反応検知部は、前記トリガー信号を発生する請求項１１に記載の機械装置。

【請求項14】

外部からの入力を受け付ける外部入力部をさらに備え、
前記外部入力部によって、予め定められた外部からの入力が受けつけられた場合に、前記外部入力部は、前記トリガー信号を発生する請求項１１に記載の機械装置。

【請求項15】

前記使用者に画像を表示する表示部と、
前記表示部に表示された画像が、前記使用者にとって「興味がある」という感情に対応した画像であるか否かを受け付ける入力部と、をさらに備え、
前記入力部で受け付けられた「興味がある」という感情に対応した画像を前記表示部に改めて表示した場合に、前記使用者に生じた脳波情報に基づいて、前記脳波の条件を更新する請求項１から１４の何れか１項に記載の機械装置。

【請求項16】

前記使用者に画像を表示する表示部と、
前記表示部に表示された画像が、前記使用者にとって「興味がある」という感情に対応した画像であるか否かを受け付ける入力部と、をさらに備え、
前記入力部で受け付けられた「興味がある」という感情に対応した画像を前記表示部に改めて表示した場合において、前記使用者に生じた前記脳波情報が、前記脳波の条件を満たしたか否かを区別して前記表示部に表示する請求項１から１５の何れか１項に記載の機械装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械装置に関する。

【背景技術】

【0002】

ユーザーの感情を判別し、「感動」などの状況が検出された場合において、その時の撮像画像を保存する撮像装置が知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２００８−１１８５２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかしながら、上記撮像装置は、「感動」という感情が生じたときに二次的に変化する脈拍等を用いて、感情を判別しているので、実際に「感動」した画像を正確に特定できるものではなかった。

【課題を解決するための手段】

【0004】

本発明の第１の態様においては、感情ごとに独立した脳波の条件を予め格納する条件格納部と、使用者からの脳波に関する脳波情報を取得し、取得した前記脳波情報に含まれる脳波が前記条件格納部に格納されている前記脳波の条件を満たすか否かを判断する条件判断部と、前記条件判断部により前記脳波の条件を満たすと判断された場合に、予め定められた操作を実行する機械装置を提供する。

【0005】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0006】

【図1】実験システム１００の模式図を示す。

【図2】脳波計の電極配置の一例を示す図である。

【図3】脳波プロファイルの一例を示す。

【図4】脳波プロファイルの他の例を示す。

【図5】脳波プロファイルの他の例を示す。

【図6】本実施形態の画像処理システムの一例を説明する図である

【図7】画像処理装置の機能ブロック図を示す。

【図8】画像処理装置の画像処理の一例を説明するフローチャートである。

【図9】表示部に表示される画像の一例を示す。

【図10】デジタル一眼レフカメラ１９の機能ブロック図を示す。

【図11】画像処理装置１２のトレーニング処理の一例を説明するフローチャートである。

【図12】画像処理装置１２のキャリブレーションモードにおける処理の一例を説明するフローチャートである。

【図13】別の画像処理システムを説明する図である。

【図14】画像処理装置の表示部に表示される画像の一例を示す。

【図15】画像処理装置の機能ブロック図を示す。

【図16】元画像の加工条件を決定する画像処理の一例を説明するフローチャートである。

【発明を実施するための形態】

【0007】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0008】

図１は、実験システム１００の模式図を示す。実験システム１００は、映像提示用コンピュータ１０２と、プロジェクター１０４と、１００インチスクリーン１０６と、脳波計測装置１０８とから構成される。また、脳波計測装置１０８は、脳波計測用コンピュータ１１０と、脳波計１１２とを有する。

【0009】

図２は、脳波計１１２の電極配置の一例を示す図である。脳波計１１２は、一般的に用いられている国際１０−２０法に従い、定められた場所に２１個の脳波計１１２が配置されている。

【0010】

実験システム１００において、映像提示用コンピュータ１０２には、被験者１１４が、予め、自らが「かわいい」として用意した画像（以後、かわいい画像という）の画像データと、被験者１１４が、自らが「興味がない」として用意した画像（以後、興味なし画像という）の画像データとが記録されている。

【0011】

被験者の「かわいい」という感情は、被験者の「興味がない」に相反する「興味がある」という感情に含まれる。また、被験者自らが「かわいい」として用意した画像を提示することから、以後、「興味がある」という感情の一例として「かわいい」という感情を用いて説明する。

【0012】

実験システム１００のプロジェクター１０４を用いて、かわいい画像および興味なし画像を１００インチスクリーン１０６に投写して、被験者１１４に提示する。そして、当該画像を、被験者１１４に提示した場合に生じる被験者１１４の脳波を、脳波計１１２を用いて計測する。ここで、脳波とは、人体の頭皮から計測できる電位のことである。図２に示した位置にそれぞれ設けられた脳波計１１２は、当該電位を検出して、脳波計測用コンピュータ１１０に出力する。

【0013】

図３は、脳波プロファイルの一例を示す。図３において、実線は、被験者Ａに、かわいい画像を提示した場合に、Ｃｚ位置の脳波計１１２に生じた脳波プロファイルを示している。また、破線は、同じ被験者Ａに、興味なし画像を提示した場合にＣｚ位置の脳波計１１２に生じた脳波プロファイルを示している。図３に示したプロファイルは、時間波形に関する脳波のプロファイルを示しており、時間を示す横軸の「０」の時点で、かわいい画像または興味なし画像を被験者Ａに提示している。

【0014】

図３より、かわいい画像を提示した場合に生じる脳波には、画像を提示してから３００ｍｓ付近にＰ３００と呼ばれる陽性の振幅を有して出現する事象関連電位が確認されている。そして、３００ｍｓ付近以降においては、電位が低下して再び上昇する脳波プロファイルが確認されている。また、興味なし画像を提示した場合に生じる脳波には、画像を提示してから３００ｍｓ付近にＰ３００が確認された後にも、電位が微増する脳波プロファイルが確認されている。このように、かわいい画像を提示した場合に生じる脳波と、興味なし画像を提示した場合に生じる脳波は、３００ｍｓ付近以降の挙動が異なっている。

【0015】

Ｐ３００の事象関連電位とは、画像の表示からおよそ３００ｍｓ付近以降に、被験者の頭皮上の中心部から後頭部にかけて陽性の振幅を有して出現する脳電位をいう。Ｐ３００の事象関連電位は、被験者に関連した内容を認識した場合に、関連しない内容を認識した場合と比較して、高振幅の陽性の脳電位が生じることが知られている。上記において、かわいい画像も興味なし画像の何れも被験者が用意した画像であり、いずれの画像も被験者が知っている被験者に関連した内容である。したがって、かわいい画像および興味なし画像の両方で、Ｐ３００の事象関連電位が観測されている。しかし、Ｐ３００の事象関連電位の大きさおよびその後の脳波の挙動は、かわいい画像を提示した場合と、興味なし画像を提示した場合とで明らかに異なることがわかる。

【0016】

図４は、脳波プロファイルの他の例を示す。図４において、実線は、被験者Ｂに、かわいい画像を提示した場合に、Ｃｚ位置の脳波計１１２に生じた脳波プロファイルを示している。また、破線は、同じ被験者Ｂに興味なし画像を提示した場合に、Ｃｚ位置の脳波計１１２に生じた脳波プロファイルを示している。図４に示したプロファイルも、図３と同様に、時間波形に関する脳波のプロファイルを示しており、時間を示す横軸の「０」の時点で、かわいい画像または興味なし画像を被験者Ｂに提示している。

【0017】

図４より、かわいい画像を提示した場合に生じる脳波には、画像を提示してから３００ｍｓの後に大きな陽性の振幅を有するＰ３００の事象関連電位が確認されている。３００ｍｓ以降においては、電位が徐々に低下する脳波プロファイルが確認されている。また、興味なし画像を提示した場合に生じる脳波には、画像を提示していから３００ｍｓの後に小さなＰ３００の事象関連電位が確認された後に、電位が徐々に減少していく脳波プロファイルが確認されている。このように、被験者Ｂにおいても、かわいい画像を提示した場合に生じる脳波と、興味なし画像を提示した場合に生じる脳波は、３００ｍｓ付近以降の挙動は明らかに異なっている。

【0018】

また、かわいい画像を提示した場合に生じる被験者Ａの脳波プロファイルと、かわいい画像を提示した場合に生じる被験者Ｂの脳波プロファイルは異なっている。さらに、興味なし画像を提示した場合に生じる被験者Ａの脳波プロファイルと、興味なし画像を提示した場合に生じる被験者Ｂの脳波プロファイルも異なっていることがわかる。

【0019】

図５は、脳波プロファイルの他の例を示す。図５において、実線は、被験者Ａに、かわいい画像を提示した場合に、Ｆｚ位置の脳波計１１２に生じた脳波プロファイルを示している。また、破線は、同じ被験者Ａに、興味なし画像を提示した場合に、Ｆｚ位置の脳波計１１２に生じた脳波プロファイルを示している。

【0020】

図５より、かわいい画像を提示した場合に生じる脳波には、他の脳波プロファイルと同様に、画像を提示してから３００ｍｓ付近に小さいながらもＰ３００の事象関連電位が確認されている。また、３００ｍｓ付近以降においては、電位が低下した後に上昇し、再び低下する脳波プロファイルが確認されている。また、興味なし画像を提示した場合に生じる脳波には、他の脳波プロファイルと同様に、画像を提示していから３００ｍｓ付近にＰ３００の事象関連電位が確認された後に、その電圧を維持して上下する脳波プロファイルが確認されている。このように、Ｆｚの位置に生じる脳波においても、かわいい画像を提示した場合に生じる脳波と、興味なし画像を提示した場合に生じる脳波は、３００ｍｓ付近以降の挙動が明らかに異なっている。さらに、被験者Ａにおいて、かわいい画像を提示した場合にＣｚ位置に生じる脳波と、Ｆｚ位置に生じる脳波は異なり、興味なし画像を提示した場合にＣｚ位置に生じる脳波と、Ｆｚ位置に生じる脳波も異なっている。

【0021】

このように、脳波は、かわいい画像を視認した場合に生じた場合と、興味なし画像を視認した場合とで、当該画像を提示した後から３００ｍｓ付近以降に異なる挙動を示す。したがって、脳波を検出することで、「かわいい」と感じた場合と「興味がない」と感じた場合とで明確に区別可能である。本実施形態は、デジタルスチルカメラ・ビデオカメラにおいて静止画・動画を撮影する場合、および、画像に対する処理、例えば、分類・保存・検索・再利用をする場合に、上記知見を適用する。

【0022】

図６は、上記知見を適用させた本実施形態の画像処理システム１０の一例を説明する図である。画像処理システム１０は、画像処理装置１２と脳波測定装置１３とを備える。なお、画像処理装置１２は、機械装置の一例である。

【0023】

脳波測定装置１３は、使用者１１から脳波に関する脳波情報を取得して、画像処理装置１２に出力する。脳波測定装置１３は、帽子部１４と、ベルト部１５と、脳波計１６とを有する。帽子部１４は、剛性のある布または皮製の帽子であり、使用者１１の頭を覆うように装着される。帽子部１４の左右の両端部には、帽子部１４と同じ材質から構成されるベルト部１５が設けられている。脳波計１６は、帽子部１４の使用者１１の頭皮と接触する側にであって、国際１０‐２０法のＦｚ、Ｃｚ、Ｐｚの三カ所の位置に設けている。脳波計１６は、使用者１１からの脳波を検出して、画像処理装置１２に出力する。なお、画像処理装置１２への出力は無線であっても有線であってもよいが、本実施形態において、脳波計１６は、例えば、ＵＷＢ、ＺｉｇＢｅｅ（登録商標）、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、３Ｇ、および／又は、ＬＴＥ等の無線通信規格に準拠して画像処理装置１２と通信する。

【0024】

ベルト部１５は、帽子部１４を使用者１１の頭皮に密着させるように固定する。これにより、脳波計１６は、使用者１１の頭皮に密着されるので、脳波計１６は、使用者１１の頭皮から発する微弱な脳波を検出できる。

【0025】

また、脳波計１６は、図２に示した国際１０−２０法に従い、２１個の脳波計１６を設けてもよい。しかし、脳波の検出には、少なくとも一つの脳波計１６があればよく、また事象関連電位は、大脳の中央部にある大脳縦裂に沿って大きく検出されるので、本実施形態においては、国際１０−２０法における中央部のＣｚ、Ｆｚ、Ｐｚ位置に脳波計１６を設けている。このように、事象関連電位が測定される部分に絞って脳波計１６を配置することで、脳波の検出精度を低下させず、脳波計の個数を減らすことができ、装置コストを低減できる。

【0026】

画像処理装置１２は、脳波測定装置１３から取得した脳波情報に含まれる脳波が、画像処理装置１２に格納された、感情ごとに独立した脳波の条件を満たすか否かを判断する。画像処理装置１２は、取得した脳波情報が、脳波の条件を満たすと判断した場合、被写界を撮像して画像を生成する。なお、本実施形態において、画像処理装置１２による被写界の撮像は、画像処理装置１２における画像に対する処理の一例である。

【0027】

図７は、画像処理装置１２の機能ブロック図を示す。画像処理装置１２は、撮影レンズ２０と、撮像素子２２と、駆動部２４と、Ａ／Ｄ変換回路２８と、メモリ３０と、制御部３２と、メモリカードＩＦ３４と、メモリカード３６と、ＬＣＤ駆動回路３８と、表示部４０と、ＡＦセンサ４２と、操作部４４と、脳波判断部５０とを有する。また、脳波判断部５０は、条件格納部５２と、条件判断部５４と、画像処理部５６とを有する。

【0028】

撮像素子２２は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子２２は、二次元的に複数の光電変換素子が配された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。

【0029】

駆動部２４は、撮像素子２２の光電変換素子からの画像信号を読み取るべく撮像素子２２を駆動する。画像処理装置１２は、駆動部２４によりタイミング制御されて、受光面上に結像された被写界を画像信号に変換してＡ／Ｄ変換回路２８へ出力する。Ａ／Ｄ変換回路２８は、撮像素子２２が出力する画像信号をデジタル画像信号に変換してメモリ３０へ出力する。

【0030】

制御部３２は、メモリ３０をワークスペースとして種々の画像処理を施して、画像データを生成する。制御部３２によって生成された画像データは、ＬＣＤ駆動回路３８により表示信号に変換され、表示部４０に表示される。また、メモリカードＩＦ３４に装着されているメモリカード３６に記録される。

【0031】

ＡＦセンサ４２は、被写界空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写界像のデフォーカス量を検出する。撮像シーケンスに付随するＡＦ、ＡＥ等の各種動作は、制御部３２に制御されて実行される。例えば、制御部３２は、ＡＦセンサ４２の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。なお、撮像素子２２をＡＦセンサ４２の代わりに用いてもよく、その場合には別個のＡＦセンサ４２は設けなくてよい。

【0032】

条件格納部５２は、感情ごとに独立した脳波の条件を格納する。感情ごとに独立した脳波の条件は、使用者１１が、かわいいと感じた場合に使用者に生じる３００ｍｓ付近以降の脳波プロファイルと、使用者１１が、興味がないと感じた場合に使用者に生じる３００ｍｓ付近以降の脳波プロファイルに基づいて予め定められる。また、使用者１１がかわいいと感じた場合に使用者に生じる３００ｍｓ付近以降の脳波プロファイルと使用者１１が、興味がないと感じた場合に使用者に生じる３００ｍｓ付近以降の脳波プロファイルとの差によって、それぞれの脳波の条件を定めてもよい。なお、当該脳波プロファイルは、予め、使用者１１が用意したかわいい画像と、興味なし画像を使用者１１に視認させて、視認した後に生じる脳波プロファイルを取得して、条件格納部５２に格納されている。

【0033】

「かわいい」という感情の脳波の条件の一例は、かわいいと感じた場合に生じる脳波プロファイルの特徴であって、興味がないと感じた場合に生じる脳波プロファイルには生じない脳波プロファイルの特徴の有無である。例えば、図３に示した例においては、かわいい画像を提示した場合に生じた脳波プロファイルは、３００ｍｓ付近以降に大きな電位の減少が確認されたが、興味なし画像を提示した場合に生じる脳波プロファイルには確認されていない。このように、図３に示した例においては、かわいいと感じた場合に生じる脳波プロファイルの特徴であって、興味なしと感じた場合に生じない３００ｍｓ付近以降に大きな電位の減少の有無を、脳波の条件と設定できる。そして、取得した脳波情報に含まれる脳波から脳波プロファイルを作成した場合において、脳波プロファイルに３００ｍｓ付近以降に大きな電位の減少が確認された場合に、画像処理装置１２は、使用者１１が、かわいいと感じたと判断する。

【0034】

一方、取得された脳波プロファイルに、３００ｍｓ付近以降の大きな電位の減少が確認されなかった場合に、画像処理装置１２は、使用者１１が、かわいいと感じていないと判断する。また、脳波の条件は、複数の脳波計１６のそれぞれにおいて定めることができ、脳波の条件を満たすか否かを、脳波の条件を満たした脳波計１６の個数によって定めてもよい。

【0035】

また、「興味がない」という感情の脳波の条件の一例は、同様に興味がないと感じた場合に生じる脳波プロファイルの特徴であって、かわいいと感じた場合に生じる脳波プロファイルには生じない脳波プロファイルの特徴の有無である。条件格納部５２は、これら感情ごとに独立した脳波の条件を格納する。

【0036】

上記脳波の条件は、横軸を時間とする時間波形に関する条件となるが、脳波の条件は、脳波の周波数分布に関する条件、または周波数分布の時間変化に関する条件で定めてもよい。その場合の脳波の条件は、かわいいと感じた場合に生じる脳波の周波成分を含むとしてもよい。

【0037】

また、脳波の条件として、脳波の測定を開始するトリガー条件も併せて条件格納部５２に格納される。本実施形態において、トリガー条件は、操作部４４を半押しすることとしている。したがって、使用者１１は、被写界を定めて、操作部４４を半押しすることで、脳波の測定が開始される。この場合、操作部４４は、動作検知部として機能する。

【0038】

条件判断部５４は、使用者１１の指示に基づいて、条件格納部５２に格納されている感情ごとに独立した脳波の条件を選択して読み出す。この場合において、条件判断部５４は、脳波条件選択部として機能する。

【0039】

条件判断部５４は、脳波計１６から使用者１１の脳波情報を取得する。脳波情報とは、脳波の電位と時間との関係を示す時間波形に関する情報である。条件判断部５４は、取得した脳波情報から、３００ｍｓ付近以降の脳波プロファイルを作成する。条件判断部５４は、作成した３００ｍｓ付近以降の脳波プロファイルが、条件格納部５２から読み出した脳波の条件を満たすか否かを判断する。画像処理部５６は、条件判断部５４により脳波の条件を満たすと判断された場合に、制御部３２へ撮像信号を出力する。制御部３２は、撮像信号を取得すると、被写界を撮像して画像データを生成する。

【0040】

また、条件判断部５４は、作成した脳波プロファイルに基づいて、感情を定量的に判断してもよい。例えば、かわいいという感情を、図３に示したプロファイルに基づいた脳波の条件で判断する場合において、３００ｍｓ付近以降に生じた電位の減少が小さい場合は、使用者１１が「少しかわいい」と感じているとし、３００ｍｓ付近以降に生じた電位の減少が大きい場合は、使用者１１が「すごくかわいい」と感じているとして、脳波の条件を満たすか否かの判断を変えてもよい。

【0041】

なお、脳波の条件が、脳波の周波数分布に関する条件、または周波数分布の時間変化に関する条件で定められている場合においては、条件判断部５４は、取得した脳波を高速フーリエ変換して、脳波の周波数成分のピークを検出する。そして、検出した周波数成分の予め定めた閾値以上のピークの分布が、かわいいと感じた場合に生じる脳波から検出された閾値以上のピークの分布と同じである場合に、条件判断部５４は、当該条件を満たすと判断してもよい。

【0042】

操作部４４は、使用者１１からの撮像指示を受け付けて、制御部３２に当該撮像信号を入力する。制御部３２は、撮像信号を取得すると、被写界を撮像して画像データを生成する。このように、画像処理装置１２は、画像処理部５６から撮像信号が入力されることによって被写界を撮像するとともに、操作部４４から操作指示が入力されることによっても被写界を撮像できる。また、操作部４４は、条件格納部５２に複数の脳波の条件が格納されている場合に、使用者１１からどの脳波の条件を使用するかの操作指示を受け付ける。

【0043】

図８は、画像処理装置１２の画像処理の一例を説明するフローチャートである。なお、図８に示したフローチャートにおいては、かわいいという感情の脳波の条件を用いて、使用者１１が、かわいいと感じているか否かを判断する例について説明する。図８に示すフローチャートは、画像処理装置１２の電源が入れられ、画像処理装置１２の脳波制御がＯＮとなっており、撮像ができる状態になった場合に開始する。

【0044】

ステップＳ１０１において、条件判断部５４は、使用者１１の確認を行う。例えば、画像処理装置１２の使用を開始する場合に使用者１１のＩＤを登録する場合においては、条件判断部５４は、使用者１１により登録されたＩＤを参照する。

【0045】

条件判断部５４は、条件格納部５２に格納されているトリガー条件を参照して、トリガーを検出する（Ｓ１０２）。本実施形態において、操作部４４の半押しがトリガー条件として条件格納部５２に格納されている。使用者１１が操作部４４を半押しした場合に、操作部４４は、トリガー信号を出力する。条件判断部５４は、当該トリガー信号を検出する。

【0046】

トリガーを検出した後に、条件判断部５４は、脳波の測定を開始するために脳波計１６から脳波情報を取得する（Ｓ１０３）。条件判断部５４は、脳波情報を取得すると、３００ｍｓ付近以降の脳波プロファイルを作成する。条件判断部５４は、使用者１１のＩＤに対応する脳波の条件を条件格納部５２から読み出して、取得した脳波情報が脳波の条件を満たすか否かを判断する（Ｓ１０４）。条件判断部５４は、例えば、図３に示した脳波プロファイルが、使用者１１のＩＤに対応した脳波の条件として条件格納部５２に格納されている場合においては、作成した脳波プロファイルに、３００ｍｓ付近以降の大きな電位の減少が確認された場合に、脳波の条件を満たすと判断し（Ｓ１０４：Ｙｅｓ）、条件判断部５４は、画像処理部５６にその旨を示す信号を出力する。画像処理部５６は、制御部３２に撮像信号を出力する（Ｓ１０５）。

【0047】

制御部３２は、撮像条件を設定する（Ｓ１０６）。撮像条件の設定の一例は、ＡＦセンサ４２の検出信号を解析して、撮影レンズ２０の合焦制御を実行することである。制御部３２は、駆動部２４を用いて撮像素子２２を駆動して、被写界を撮像して、画像データを生成する（Ｓ１０７）。制御部３２は、作成した画像データをメモリカードＩＦ３４に装着されているメモリカード３６に記録する（Ｓ１０８）。

【0048】

一方、ステップＳ１０３において、条件判断部５４は、例えば、作成した脳波プロファイルに、３００ｍｓ付近以降の大きな電位の減少が確認されない場合に、脳波の条件を満たさないと判断し（Ｓ１０４：Ｎｏ）、ステップＳ１０５からステップＳ１０８をスキップして、処理をステップＳ１０９へ進める。制御部３２は、使用者１１から終了指示があったか否かを判断する（Ｓ１０９）。制御部３２は、使用者１１から終了指示があったと判断した場合（Ｓ１０９：Ｙｅｓ）、画像処理を終了する。一方、使用者１１から終了指示があったと判断しない場合（Ｓ１０９：Ｎｏ）、制御部３２は、処理をステップＳ１０２に戻す。

【0049】

図９は、表示部４０に表示される画像の一例を示す。表示部４０には、被写界に存在する被写体４６と、撮像条件４７と、脳波制御のＯＮ／ＯＦＦを表示する脳波制御表示４８とが表示される。画像処理装置１２において、脳波制御のＯＮ／ＯＦＦは、操作部４４を用いて切り替えることができる。そして、表示部４０には、脳波制御のＯＮ／ＯＦＦの切り替えに応じて、脳波制御表示４８を切り変えて表示する。これにより、使用者１１は、現在の画像処理装置１２の脳波制御がＯＮかＯＦＦかを容易に知ることができる。

【0050】

使用者１１が自ら意識してかわいいと判断した場合にシャッターを押す場合、本来の無意識的な感性反応に対して年齢・性別といった社会的制約によって意識的な抑圧がかかってしまい、適切な操作ができない場合がある。以上説明したような、画像処理装置１２は、具体的に、使用者１１から生じる脳波の３００ｍｓ付近以降の脳波プロファイルを用いて、使用者１１の「かわいい」という感情を検出して、被写界を撮像できる。これにより、使用者１１は、年齢・性別といった社会的制約にかかわらず、かわいいと判断した画像を取得できる。

【0051】

なお、脳波の条件を満たすか否かの判断は、少なくとも３００ｍｓ以上の時間を要する。そのため、脳波の条件を満たすか否かの判断を行っているとかわいい瞬間を逃す可能性がある。その場合には、脳波の条件を満たしたか否かに関わらず撮像信号を出力して被写界の撮像を行い、脳波の条件を満たしたか否かの結果を事後的に反映させてもよい。すなわち、仮に、取得した脳波情報が脳波の条件を満たさなかった場合には、当該撮像により作成された画像データを事後的に消去してもよい。これにより、かわいい瞬間を逃すことなく、使用者１１のかわいいという感情を検出して撮像を行うことができる。

【0052】

また、本実施例において、脳波情報の取得を開始するトリガーは、操作部４４の半押しを検出することによって、検出する例で説明したが、これに限られない。他の脳波情報の取得を開始するトリガーの例を、図１０を用いて説明する。

【0053】

図１０は、デジタル一眼レフカメラ１９の機能ブロック図を示す。なお、図１０において、図７と共通の要素には同じ参照番号を付して重複する説明を省略する。デジタル一眼レフカメラ１９は、撮影レンズ２０と、撮像素子２２、ミラー２３、プリズム２５、サブ撮像素子２７、ビューファインダー２９、近接センサ３１、制御部３２と、検出部３３と、脳波判断部５０とを有する。

【0054】

ミラー２３は、撮影レンズ２０から入射した光束を、サブ撮像素子２７の方向に反射する。プリズム２５は、ミラー２３により反射された光束を、サブ撮像素子２７の方向と、ビューファインダー２９の方向とに分割する。サブ撮像素子２７は、プリズム２５によって分割された光束を受光して、画像データを作成する。サブ撮像素子２７は、作成した画像データを検出部３３に出力する。

【0055】

ビューファインダー２９は、使用者１１がデジタル一眼レフカメラ１９の視野を見て、視野を確認するためのファインダーである。近接センサ３１は、ビューファインダー２９に設置され、使用者１１の目が接近したことを検出する。近接センサ３１は、使用者１１の目が接近したことを検出すると、使用者１１の目が近接したことを示す信号を検出部３３に出力する。また、近接センサ３１は、さらに、使用者１１の視線を検出することによって、使用者１１が注目している被写体を検知してもよい。その場合、近接センサ３１は、使用者１１がどの被写体に注目しているかを示す信号を検出部３３に出力する。

【0056】

検出部３３は、サブ撮像素子２７から画像データを取得する。また、検出部３３は、近接センサ３１から使用者１１の目が近接したことを示す信号を取得する。検出部３３は、使用者１１の目が近接したことを示す信号を取得している場合であって、画面の変化を検出すると、使用者１１が注目している被写体が変化したと判断して、トリガー信号を脳波判断部５０に出力する。また、近接センサ３１が、使用者１１がどの被写体に注目しているかを示す信号を検出部３３に出力する場合においては、検出部３３は、使用者１１が注目している被写体画像の変化を検出すると、使用者１１が注目している被写体が変化したと判断して、トリガー信号を脳波判断部５０に出力する。

【0057】

脳波判断部５０は、トリガー信号を取得すると、脳波測定装置１３から脳波情報を取得する。このように、使用者１１が注目している被写体が変化した場合に、検出部３３は、トリガー信号を出力して、脳波判断部５０は、脳波情報の取得を開始する。

【0058】

さらに他のトリガーの例として、他の動作検出部を設け、種々の使用者１１の予め定められた動作を検出してもよい。予め定められた動作とは、例えば、使用者１１の意図的なウィンクまたは瞬き、画像処理装置１２を構える動作、使用者の表情の変化、またはトリガー専用のボタンを設け、当該ボタンを押すことであってよい。他の動作検出部によって上記動作を検知された場合に、他の動作検知部は、トリガー信号を出力する。条件判断部５４は、当該トリガー信号を取得することにより、トリガーが検出されたと判断して、使用者１１の脳波情報の取得を開始してもよい。

【0059】

さらに他のトリガーの例として、画像処理装置１２に、使用者１１の生体反応を検知する生体反応検知部を設け、当該生体反応検知部によって、使用者の予め定められた生体反応が検知された場合に、体反応検知部は、トリガー信号を出力する。条件判断部５４は、当該トリガー信号を取得することにより、トリガーが検出されたと判断して、使用者１１の脳波の測定を開始してもよい。なお、予め定められた生体反応とは、例えば、使用者１１の心拍、血圧または筋電位が予め定められた値を超えた場合である。また、上記トリガーを脳波によって検出してもよく、予め定められた脳波を脳波計１６が検出した場合に、条件判断部５４は、トリガーが検出されたと判断してもよい。判断条件判断部５４は、生体反応検知部により、当該生体反応が検知された場合に、トリガーが検出されたと判断して、使用者１１の脳波情報の取得を開始してもよい。

【0060】

さらに他のトリガーの例として、画像処理装置１２に、外部からの入力を受け付ける外部入力部を設け、当該外部入力部によって、予め定められた外部からの入力が受け付けられた場合に、外部入力部はトリガー信号を出力する。前記条件判断部５４は、当該トリガー信号を取得することにより、トリガーが検出されたと判断して、使用者１１の脳波の測定を開始してもよい。なお、予め定められた外部からの入力とは、外部の明るさ、音、温度の変化であってもよく、被写体または第三者からの入力であってもよい。条件判断部５４は、外部入力部により、外部からの入力が受け付けられた場合に、トリガーが検出されたと判断して、使用者１１の脳波情報の取得を開始してもよい。

【0061】

さらには、画像処理装置１２側でトリガーを定めて、使用者１１にトリガータイミングを知らせてもよい。その場合、画像処理装置１２は、使用者１１に表示部４０からトリガーのタイミングを表示させてもよく、使用者１１に振動、電気刺激または音を与えることによってトリガーのタイミングを知らせてもよい。また、上記に併せて、撮影枚数毎、所定時間経過毎に自動的にトリガーとなる設定としてもよい。

【0062】

また、本実施形態において、かわいいと感じた場合に生じる脳波プロファイルの特徴であって、興味なしと感じた場合に生じない脳波プロファイルの特徴を有するか否かをかわいいという感情の脳波の条件とする例を示した。しかしながら、かわいいと感じた場合に生じた脳波プロファイルにおける特徴的な波形を用いて、パターンマッチングにより、特徴的な波形の有無を、かわいいという感情の脳波の条件として設定してもよい。この場合、トリガーの検出は不要であり、条件判断部５４は、脳波プロファイルを作成しながらパターンマッチングを行う。そして、パターンマッチングにより、当該特徴的な波形が作成した脳波のプロファイルに確認されたことで、条件判断部５４は、脳波の条件を満たすと判断してもよい。

【0063】

さらに、かわいいと感じた場合に生じる脳波プロファイルの複数人の平均の脳波プロファイルと、興味なしと感じた場合に生じる脳波プロファイルの複数人の平均の脳波プロファイルとを算出して、当該平均のプロファイルの特徴的な波形を用いてパターンマッチングを行ってもよい。この場合、複数人の平均を算出する場合において、性別、年齢等で被験者を分けて当該平均の脳波プロファイルを算出してもよい。なお、この場合、条件判断部５４は、使用者１１のＩＤを特定することに代えて、使用者１１の性別、年齢を特定する。

【0064】

さらに、興味なしと感じた場合の脳波プロファイルには生じない波形であって、多くの被験者において、かわいいと感じた場合の脳波プロファイルに確認される特徴的な波形がある場合においては、当該波形の有無をかわいいという感情の脳波の条件として設定してもよい。この場合において、条件判断部５４は、使用者１１のＩＤを特定しなくてもよい。

【0065】

さらに、画像処理装置１２は、かわいいという感情の脳波の条件を満たすことをトレーニングするトレーニングモードを有してもよい。使用者１１は操作部４４を用いて、撮影モードとトレーニングモードとを切り変えることができてもよい。なお、以後の説明において、トレーニングモードに対して、被写界を撮影するモードを撮影モードとよぶ。

【0066】

図１１は、画像処理装置１２のトレーニングモードの処理の一例を説明するフローチャートである。ステップＳ２０１において、条件判断部５４は、使用者１１の確認を行う。例えば、画像処理装置１２の使用を開始する場合に使用者１１のＩＤを登録する場合においては、条件判断部５４は、使用者１１により登録されたＩＤを参照する。

【0067】

条件判断部５４は、参照したＩＤに対応付いて格納されたかわいい画像を条件格納部５２から読み出す（Ｓ２０２）。なお、条件格納部５２には、使用者１１により撮像された画像であって、使用者１１が操作部４４からの入力により、かわいいと選択した画像が、使用者１１のＩＤに対応付いて格納されている。

【0068】

条件判断部５４は、画像処理部５６を介して制御部３２に当該画像を出力する。制御部３２は、当該画像を取得すると、表示部４０にトリガーを表示する（Ｓ２０３）。なお、トリガーの表示として、例えば、制御部３２は、表示部４０に、かわいい画像を表示する旨を表示させる。

【0069】

制御部３２は、表示部４０に、条件判断部５４から取得したかわいい画像を改めて表示する（Ｓ２０４）。そして、条件判断部５４は、脳波計１６から脳波情報を取得する（Ｓ２０５）。条件判断部５４は、取得した脳波情報が脳波の条件を満たすか否かを判断する（Ｓ２０６）。条件判断部５４は、取得した脳波情報が脳波の条件を満たすと判断した場合（Ｓ２０６：Ｙｓｅ）、画像処理部５６に、脳波の条件を満たした旨と、予め格納されたかわいいと感じたときに取得された脳波プロファイルと、作成した脳波のプロファイル画像を出力する。画像処理部５６は、かわいいと感じた場合に取得された脳波プロファイルと作成した脳波プロファイルとを重ねて表示した画像データを作成して、脳波の条件を満たした旨とともに、制御部３２に出力する。

【0070】

制御部３２は、脳波の条件を満たした旨を取得すると、脳波条件を満たしたか否かを区別した、脳波の条件を満たしたことを示す画像データを作成して、表示部４０に表示させる（Ｓ２０７）。また、制御部３２は、かわいいと感じた場合に取得された脳波プロファイルと今回取得された脳波プロファイルとを重ねて表示した画像データも併せて、表示部４０に表示させる（Ｓ２０８）。

【0071】

一方、条件判断部５４は、取得した脳波情報が脳波の条件を満たさないと判断した場合（Ｓ２０６：Ｎｏ）、条件判断部５４は、画像処理部５６に、脳波の条件を満たさなかった旨と、予め格納されたかわいいと感じたときに取得された脳波プロファイルと、作成した脳波のプロファイル画像を制御部３２に出力する。画像処理部５６は、かわいいと感じた場合に取得された脳波プロファイルと作成した脳波のプロファイル画像を取得すると、制御部３２は、かわいいと感じた場合に取得された脳波プロファイルと今回取得された脳波プロファイルとを重ねて表示した画像データを作成して、脳波の条件を満たさない旨とともに、制御部３２に出力する。

【0072】

制御部３２は、脳波の条件を満たさない旨を取得すると、脳波条件を満たしたか否かを区別した、脳波の条件を満たさないことを示す画像データを作成して、表示部４０に表示させる（Ｓ２０９）。また、制御部３２は、かわいいと感じた場合に取得された脳波プロファイルと今回取得された脳波プロファイルとを重ねて表示した画像データも併せて、表示部４０に表示させる（Ｓ２１０）。

【0073】

制御部３２は、トレーニングモードを継続するか否かを判断する（Ｓ２１１）。制御部３２は、トレーニングモードを継続するか否かを問う画像データを作成して、表示部４０に表示させる。制御部３２は、操作部４４を通じて、使用者１１からトレーニングモードを継続するか否かの意思を取得する。制御部３２は、取得した使用者１１の意思がトレーニングモードの継続であった場合（Ｓ２１１：Ｙｅｓ）、その旨を、画像処理部５６を通じて条件判断部５４に出力する。条件判断部５４は、再び、ステップＳ２０１の処理を実行する。なお、２回目以降は、ステップＳ２０１をスキップしてステップＳ２０２の処理を実行してもよい。一方、取得した使用者の意思がトレーニングモード終了であった場合（Ｓ２１１：Ｎｏ）、制御部３２は、モードを撮影モードに戻して（Ｓ２１２）、トレーニングモードは終了する。

【0074】

学習することによって、かわいいと感じた場合に生じる脳波プロファイルを、予め格納された自身がかわいいと感じた場合に生じる脳波プロファイルに近づけることができる。したがって、画像処理装置１２にトレーニングモードを設けることによって、使用者１１は、かわいいと感じた場合に生じる脳波情報を、脳波の条件を満たすようにトレーニングすることができる。

【0075】

さらに、画像処理装置１２は、「かわいい」という感情の脳波の条件を更新するキャリブレーションモードを有してもよい。使用者１１は操作部４４を用いて、撮影モードと条件再設定モードとを切り変えることができてもよい。なお、使用者１１が初めて画像処理装置１２を使用する場合においては、キャリブレーションモードを使用して、使用者１１のＩＤに対応した脳波の条件を設定する。

【0076】

図１２は、画像処理装置１２のキャリブレーションモードにおける処理の一例を説明するフローチャートである。キャリブレーションモードの処理において、ステップＳ２０１、ステップＳ２０２、ステップＳ２０３、ステップＳ２０４、ステップＳ２０５およびステップＳ２１２は、図１１に示したトレーニングモードにおける処理と同じであるので説明を省略する。

【0077】

条件判断部５４は、脳波情報を取得すると（Ｓ２０５）、脳波プロファイルを作成して、画像処理部５６へ出力する。画像処理部５６は、脳波プロファイルを表示した画像データを作成して、制御部３２へ出力する。制御部３２は、取得した画像データを、表示部４０に表示させる（Ｓ３０１）。

【0078】

制御部３２は、取得した脳波情報を脳波の条件に設定するか否かを判断する（Ｓ３０２）制御部３２は、取得した脳波情報を脳波の条件に設定するか否かを問う画像データを作成して、表示部４０に表示させる。制御部３２は、操作部４４を通じて、使用者１１から脳波の条件に設定するか否かの意思を取得する。制御部３２は、取得した使用者１１の意思が、脳波の条件の設定するであった場合（Ｓ３０２：Ｙｅｓ）、その旨を、画像処理部５６を通じて条件判断部５４に出力する。条件判断部５４は、取得した脳波から作成した脳波プロファイルを、かわいいと感じた場合に生じた脳波プロファイルとして更新する（Ｓ３０３）。そして、条件判断部５４は、当該脳波のプロファイルに基づいて、脳波の条件を変更する。

【0079】

一方、取得した使用者の意思が、脳波の条件に設定しないであった場合（Ｓ３０２：Ｎｏ）、制御部３２は、その旨を、画像処理部５６を通じて条件判断部５４に出力する。条件判断部５４は、取得した脳波から作成した脳波プロファイルを消去する（Ｓ３０４）。

【0080】

制御部３２は、キャリブレーションモードを継続するか否かを判断する（Ｓ３０５）。制御部３２は、キャリブレーションモードを継続するか否かを問う画像データを作成して、表示部４０に表示させる。制御部３２は、操作部４４を通じて、使用者１１からキャリブレーションモードを継続するか否かの意思を取得する。制御部３２は、取得した使用者１１の意思がキャリブレーションモードの継続であった場合（Ｓ３０５：Ｙｅｓ）、その旨を、画像処理部５６を通じて条件判断部５４に出力する。条件判断部５４は、再び、ステップＳ２０１の処理を実行する。なお、２回目以降は、ステップＳ２０１をスキップしてステップＳ２０２の処理を実行してもよい。一方、取得した使用者の意思がキャリブレーションモード終了であった場合（Ｓ３０５：Ｎｏ）、制御部３２は、モードを撮影モードに戻して（Ｓ２１２）、キャリブレーションモードは終了する。

【0081】

以上説明したように、キャリブレーションモードを設けることによって、使用者の状況、撮影時期、撮影場所によって、以前に生じた脳波が出現しなくなった場合においても、脳波の条件を修正して、使用者１１のかわいいという感情を検出できる。したがって、使用者１１のかわいいという感情が全く検出されないという状況を回避できる。

【0082】

なお、本実施形態において、脳波判断部５０は画像処理装置１２に含まれる例を示したが、脳波判断部５０と画像処理装置１２とは別の機器であってもよい。さらに、本実施形態において、脳波測定装置１３と脳波判断部５０とは別の機器とした例を示したが、一体であってもよく、さらに、脳波測定装置１３は、画像処理装置１２に含まれてもよい。

【0083】

図１３は、別の画像処理システム６０を説明する図である。なお、図１３において、図６と同じ要素には同じ参照番号を付して重複する説明を省略する。画像処理システム６０は、画像処理装置６２と、脳波測定装置１３とを備える。画像処理装置６２は、操作部６４と表示部６６とを有するパーソナルコンピュータである。なお、画像処理装置６２は、スマートフォンまたはタブレット等の携帯端末であってもよい。

【0084】

図１４は、画像処理装置６２の表示部６６に表示される画像の一例を示す。表示部６６には、メニューバー７８と、パラメータ入力欄８０と、実行釦８１と、ツールボックス８２と、コントロールバー８４と、ドキュメントウインドウ８６と、脳波制御表示８８とが表示される。

【0085】

使用者７０は、ツールボックス８２またはコントロールバー８４に対する指示を操作部６４から入力する。操作部６４は、例えば、マウス、キーバードまたはタッチパネルである。これにより、使用者７０は、画像を加工するパラメータ種類およびパラメータ値を入力できる。画像処理装置６２は、使用者７０に入力されたパラメータ種類およびパラメータ値で加工をした複数の加工画像を作成して表示部６６に表示する。画像処理装置６２は、取得した脳波情報から、使用者７０が、かわいいと感じているパラメータ種類およびパラメータ値を特定する。画像処理装置６２は、特定したパラメータ種およびパラメータ値に基づいて、使用者７０がかわいいと感じたパラメータ種およびパラメータ値で加工した加工画像を作成して、表示部６６に表示する。

【0086】

図１５は、画像処理装置６２の機能ブロック図を示す。なお、図１５において、図７と同じ要素には共通の参照番号を付して、重複する説明を省略する。画像処理装置６２は、操作部６４と、表示部６６と、通信部９０と、画像格納部９２と、条件格納部５２と、条件判断部５４と、画像処理部９４とを有する。

【0087】

使用者７０は、操作部６４から、画像処理部９４で加工する元画像を選択する指示を入力する。なお、加工する元画像は、画像格納部９２に格納されている画像であってもよく、ネットワーク９８を通じて外部サーバ９６に格納されている画像であってもよい。ネットワーク９８を介して外部サーバ９６に格納されている画像を選択した場合、通信部９０は、画像処理部９４に入力された指示に基づいて、ネットワーク９８を介して外部サーバ９６に格納された画像を取得する。画像処理部９４は、使用者７０の選択した画像を、画像格納部９２または通信部９０から読み出し、元画像として表示部６６のドキュメントウインドウ８６に表示する。

【0088】

画像処理部９４は、ドキュメントウインドウ８６に表示された元画像に対し、操作部６４からパラメータ入力欄８０に入力されたパラメータ種類における種々のパラメータで加工をした複数の加工画像を作成して表示部６６に順次表示する。画像処理部９４は、複数の加工画像に対する処理として、複数の加工画像のうち、格納部に格納された脳波の条件を満たすと判断された脳波情報を取得した時点で、表示部６６に表示された加工画像の加工情報に、使用者７０により選択されたことを示す指標を付与する。

【0089】

図１６は、元画像の加工条件を決定する画像処理の一例を説明するフローチャートである。なお、図１６に示したフローチャートにおいては、かわいいという感情の脳波の条件を用いて、使用者７０が、かわいいと感じているか否かを判断する例について説明する。上記画像処理は、パラメータ入力欄８０にパラメータ種類が入力され、実行釦８１が選択されることによって開始する。

【0090】

ステップＳ４０１において、条件判断部５４は、使用者７０の確認を行う。例えば、画像処理装置６２の使用を開始する場合に使用者７０のＩＤを登録する場合においては、条件判断部５４は、使用者７０により登録されたＩＤを参照する。

【0091】

画像処理部９４は、入力されたパラメータ種類の中から変更するパラメータ種類を設定する（Ｓ４０２）。画像処理部９４は、入力されたパラメータ種類の変更可能範囲における全てのパラメータについて、加工条件を記録した加工情報を作成する（Ｓ４０３）。画像処理部９４は、トリガー画像を作成して、表示部６６に表示した後（Ｓ４０４）、画像処理部９４は、ある一つの加工情報に基づいてパラメータ値を変更した加工画像を表示部６６に表示する（Ｓ４０５）。

【0092】

条件判断部５４は、脳波計１６から脳波情報を取得する（Ｓ４０６）。条件判断部５４は、取得した脳波情報が脳波の条件を満たすか否かを判断する（Ｓ４０７）。条件判断部５４は、取得した脳波情報が脳波の条件を満たすと判断した場合（Ｓ４０７：Ｙｅｓ）、条件判断部５４は、加工情報に、選択されたことを示す指標を記録する（Ｓ４０８）。一方、条件判断部５４は、取得した脳波情報が脳波の条件を満たさないと判断した場合（Ｓ４０７：Ｎｏ）、加工情報に、選択されないことを示す指標を記録する（Ｓ４０９）。

【0093】

条件判断部５４は、ステップＳ４０３で作成した全ての加工情報に指標が記録されたか否かを判断する（Ｓ４１０）。条件判断部５４は、全ての加工情報に指標が記録されたと判断すると（Ｓ４１０：Ｙｅｓ）、処理をステップＳ４１２へ進める。一方、条件判断部５４は、全ての加工情報に指標が記録されていないと判断すると（Ｓ４１０：Ｎｏ）、表示部６６に表示する画像の加工情報を、指標が記録されていない加工情報に変更する指示を画像処理部９４に出力して（Ｓ４１１）、処理をステップＳ４０４へ戻す。

【0094】

画像処理部９４は、パラメータ入力欄８０に入力された全てのパラメータ種類で脳波条件を判断したか否かを判断する（Ｓ４１２）。画像処理部９４は、パラメータ種類に指標が記録されていない加工情報があると判断すると、全てのパラメータ種類で脳波の条件を判断していないとして（Ｓ４１２：Ｎｏ）、処理をＳ４０２に戻して、加工情報がないパラメータ種類に変更するパラメータを設定する。一方、画像処理部９４は、全てのパラメータ種類に指標が記録されていない加工情報がないと判断すると、全てのパラメータ種類で脳波の条件を判断したとして（Ｓ４１２：Ｙｅｓ）、選択されて指標が記録された加工情報を読み出し（Ｓ４１３）、当該加工情報に基づいて元画像を加工した画像を生成して、表示部６６のドキュメントウインドウ８６に表示する（Ｓ４１４）。

【0095】

画像処理部９４は、表示した画像を記録するか否かを判断する（Ｓ４１５）。画像処理部９４は、使用者７０に記録するか否かを問う画像データを作成し、当該画像データを表示部６６に表示させる。使用者７０は、操作部６４から、当該画像を記録する旨または記録しない旨を入力する。画像処理部９４は、使用者７０から画像を記録する旨の入力があった場合、表示した画像を記録すると判断し（Ｓ４１５：Ｙｅｓ）、表示部６６に表示した画像データを画像格納部９２に記録して（Ｓ４１６）、画像処理は終了する。一方、使用者７０から画像を記録しない旨の入力があった場合（Ｓ４１５：Ｎｏ）、表示部６６に表示した画像データを消去して（Ｓ４１７）、画像処理は終了する。

【0096】

以上説明したように、画像処理装置６２は、脳波情報を用いて、特定のパラメータで加工した加工画像を、使用者７０が、かわいいと感じているか否かを検出する。そして、使用者７０がかわいいと感じる加工情報を元画像に反映させることによって、使用者７０がかわいいと感じる加工画像を生成して、表示することができる。これにより、使用者７０は、元画像を年齢・性別といった社会的制約にかかわらず、「かわいい」と感じる画像に加工することができる。

【0097】

なお、図１６に示した例において、変更する加工情報を定めて、全ての加工情報を盛り込んだ加工画像を、使用者がかわいいと感じる加工画像であるとした。しかしながら、例えば、同種のパラメータで複数の加工情報が選択された場合においては、同種のパラメータの加工情報を１つずつ組み合わせた組み合わせ画像を加工して、当該画像で脳波の条件を満たすか否かを判断してもよい。また、脳波の条件を満たすか否かの判断において、条件判断部５４は、かわいいと感じた脳波プロファイルに基づいた領域により多く含まれる脳波情報を優先して選択するとしてもよい。また、画像処理装置６２を使用者７０が初めて使用する場合においては、図１２に示したキャリブレーションモードと同じ処理を画像処理装置６２においても実行して、使用者７０の脳波の条件を格納してもよい。

【0098】

また、本実施形態において、脳波情報を用いて元画像の加工条件を決定する処理について説明したが、画像処理装置６２を用いて、アルバムにおける画像レイアウトを決定してもよく、洋服や、家具等の色や形を決定してもよい。

【0099】

また、他の例として、脳波情報および脳波の条件を用いてかわいいという感情を検出して、例えば、メガネのフレームを光らせてもよい。また、同様に、使用者のかわいいという感情を検出して、仮想空間における使用者のアバターにかわいいという感情を表現させてもよい。

【0100】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0101】

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0102】

１０、６０ 画像処理システム、１１、７０ 使用者、１２、６２ 画像処理装置、１３ 脳波測定装置、１４ 帽子部、１５ ベルト部、１６ 脳波計、１９ 一眼レフカメラ、２０ 撮影レンズ、２２ 撮像素子、２３ ミラー、２４ 駆動部、２５ プリズム、２７ サブ撮像素子、２８ Ａ／Ｄ変換回路、２９ ビューファインダー、３０ メモリ、３１ 近接センサ、３２ 制御部、３３ 検出部、３４ メモリカードＩＦ、３６ メモリカード、３８ ＬＣＤ駆動回路、４０、６６ 表示部、４２ ＡＦセンサ、４４、６４ 操作部、４６ 被写体、４７ 撮像条件、４８、８８ 脳波制御表示、５０ 脳波判断部、５２ 条件格納部、５４ 条件判断部、５６、９４ 画像処理部、７８ メニューバー、８０ パラメータ入力欄、８１ 実行釦、８２ ツールボックス、８４ コントロールバー、８６ ドキュメントウインドウ、９０ 通信部、９２ 画像格納部、９６ 外部サーバ、９８ ネットワーク、１００ 実験システム、１０２ 映像提示用コンピュータ、１０４ プロジェクター、１０６ １００インチスクリーン、１０８ 脳波計測装置、１１０ 脳波計測用コンピュータ、１１２ 脳波計、１１４ 被験者

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】