特許 6096654 画像の記録方法、電子機器およびコンピュータ・プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6096654

(24)【登録日】2017年2月24日

(45)【発行日】2017年3月15日

(54)【発明の名称】画像の記録方法、電子機器およびコンピュータ・プログラム

(51)【国際特許分類】

   H04N 5/225 20060101AFI20170306BHJP

   H04N 5/232 20060101ALI20170306BHJP

   H04N 5/91 20060101ALI20170306BHJP

   G03B 15/00 20060101ALI20170306BHJP

【ＦＩ】

   H04N5/225 F

   H04N5/232 Z

   H04N5/91 Z

   G03B15/00 F

【請求項の数】17

【全頁数】23

(21)【出願番号】特願2013-270613(P2013-270613)

(22)【出願日】2013年12月27日

(65)【公開番号】特開2015-126451(P2015-126451A)

(43)【公開日】2015年7月6日

【審査請求日】2015年1月16日

(73)【特許権者】

【識別番号】505205731

【氏名又は名称】レノボ・シンガポール・プライベート・リミテッド

(74)【代理人】

【識別番号】100106699

【弁理士】

【氏名又は名称】渡部 弘道

(74)【代理人】

【識別番号】100132595

【弁理士】

【氏名又は名称】袴田 眞志

(72)【発明者】

【氏名】三和 邦彦

【審査官】 榎 一

(56)【参考文献】

【文献】 特開２０１３−１７９４０３（ＪＰ，Ａ）

【文献】 特開２０１２−１２４７６７（ＪＰ，Ａ）

【文献】 特開２００２−３４５７５６（ＪＰ，Ａ）

【文献】 特開２０１２−０６５３１１（ＪＰ，Ａ）

【文献】 特開２０１３−２１８２７８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２〜２５７

Ｇ０３Ｂ １５／００

Ｈ０４Ｎ ５／９１

(57)【特許請求の範囲】

【請求項1】

画像の記録が可能な電子機器であって、
撮影者の顔と周囲の被写体を撮影してモニター画像を出力するデジタル・カメラと、
マイクロフォンと、
所定の注視条件に基づいて前記被写体に対する前記撮影者の視線の動きを前記モニター画像から同定して注視領域を画定する注視領域画定部と、
前記マイクロフォンから受け取った音声データから所定の人物または所定のオブジェクトを認識したときに前記注視領域画定部に前記所定の注視条件を緩和する指示をする注視条件調整部と、
前記注視領域に対応する前記モニター画像の一部から記録装置に記録する記録画像を生成する記録画像処理部と
を有する電子機器。

【請求項2】

前記記録画像処理部は、前記モニター画像の一部から所定の注目オブジェクトに対応するオブジェクト画像を認識しないときに前記記録画像を破棄する請求項１に記載の電子機器。

【請求項3】

前記記録画像処理部は、前記モニター画像の一部から前記オブジェクト画像を認識したときに、前記オブジェクト画像に欠損が生じないでかつ焦点が当たるように前記モニター画像の一部を加工して所定の記録様式の前記記録画像を生成する請求項２に記載の電子機器。

【請求項4】

前記所定の注目オブジェクトが、前記電子機器が保有する前記撮影者の行動履歴に関連するデータを含む請求項２または請求項３に記載の電子機器。

【請求項5】

前記所定の注視条件を、前記モニター画像における視線の座標の離散量と前記注視領域を画定するまでの注視時間で構成した請求項１に記載の電子機器。

【請求項6】

画像の記録が可能な電子機器であって、
撮影者の顔と周囲の被写体を撮影してモニター画像を出力するデジタル・カメラと、
ＧＰＳモジュールと、
所定の注視条件に基づいて前記被写体に対する前記撮影者の視線の動きを前記モニター画像から同定して注視領域を画定する注視領域画定部と、
前記ＧＰＳモジュールから受け取ったＧＰＳデータから認識した前記電子機器の現在位置に基づいて前記注視領域画定部に前記所定の注視条件を調整する指示をする注視条件調整部と、
前記注視領域に対応する前記モニター画像の一部から記録装置に記録する記録画像を生成する記録画像処理部と
を有する電子機器。

【請求項7】

画像の記録が可能な電子機器であって、
撮影者の顔と周囲の被写体を撮影してモニター画像を出力するデジタル・カメラと、
所定の注視条件に基づいて前記被写体に対する前記撮影者の視線の動きを前記モニター画像から同定して注視領域を画定する注視領域画定部と、
前記モニター画像が含む人物の動画像から人物の所定の動作を認識したときに前記注視領域画定部に前記所定の注視条件を調整する指示をする注視条件調整部と、
前記注視領域に対応する前記モニター画像の一部から記録装置に記録する記録画像を生成する記録画像処理部と
を有する電子機器。

【請求項8】

前記デジタル・カメラが前記撮影者の顔と前記撮影者の周囲の被写体を同時に撮影できる広角レンズまたは超広角レンズを含む請求項１から請求項７のいずれかに記載の電子機器。

【請求項9】

前記超広角レンズを含むデジタル・カメラを前記電子機器の筐体の表面と裏面に配置した請求項８に記載の電子機器。

【請求項10】

デジタル・カメラを搭載した電子機器が画像を記録する方法であって、
前記デジタル・カメラが撮影者の顔と周囲の被写体を含むモニター画像を撮影するステップと、
前記モニター画像に関連付けてマイクロフォンが検出した音声データを記録するステップと、
所定の注視条件に基づいて前記被写体に対する前記撮影者の視線の動きを同定して前記モニター画像に注視領域を画定するステップと、
前記音声データから所定の人物または所定のオブジェクトを認識したときに前記所定の注視条件を緩和するステップと、
前記注視領域に対応する前記モニター画像の一部を記録画像として保存するステップと
を有する方法。

【請求項11】

前記モニター画像の一部が、前記撮影者が注目するオブジェクトに対応するオブジェクト画像を含むか否かを判断するステップと、
前記オブジェクト画像を含まないと判断したときに前記モニター画像の一部を破棄するステップと
を有する請求項１０に記載の方法。

【請求項12】

前記オブジェクト画像を含むと判断したときに前記モニター画像の一部に対して拡大または縮小する処理をしてから所定の記録様式の前記記録画像を生成するステップを有する請求項１１に記載の方法。

【請求項13】

デジタル・カメラを搭載した電子機器が画像を記録する方法であって、
前記デジタル・カメラが撮影者の顔と周囲の被写体を含むモニター画像を撮影するステップと、
前記モニター画像に関連付けてＧＰＳモジュールが検出したＧＰＳデータを記録するステップと、
所定の注視条件に基づいて前記被写体に対する前記撮影者の視線の動きを同定して前記モニター画像に注視領域を画定するステップと、
前記ＧＰＳデータから認識した前記電子機器の現在位置に基づいて前記所定の注視条件を調整するステップと、
前記注視領域に対応する前記モニター画像の一部を記録画像として保存するステップと
を有する方法。

【請求項14】

デジタル・カメラを搭載した電子機器が画像を記録する方法であって、
前記デジタル・カメラが撮影者の顔と周囲の被写体を含むモニター画像を撮影するステップと、
所定の注視条件に基づいて前記被写体に対する前記撮影者の視線の動きを同定して前記モニター画像に注視領域を画定するステップと、
前記モニター画像が含む人物の動画像から人物の所定の動作を認識したときに前記所定の注視条件を調整するステップと、
前記注視領域に対応する前記モニター画像の一部を記録画像として保存するステップと
を有する方法。

【請求項15】

デジタル・カメラから画像データを受け取ることが可能な電子機器に、
前記デジタル・カメラが撮影した撮影者の顔と風景を含むモニター画像を受け取るステップと、
前記モニター画像に関連付けてマイクロフォンが音声データを記録するステップと、
所定の注視条件に基づいて前記撮影者が注視していた前記モニター画像の領域を画定するステップと、
前記音声データから所定の人物または所定のオブジェクトを認識したときに前記所定の注視条件を緩和するステップと、
前記注視していた領域に対応する領域の前記モニター画像を保存するステップと
を有する機能を実現させるためのコンピュータ・プログラム。

【請求項16】

デジタル・カメラから画像データを受け取ることが可能な電子機器に、
前記デジタル・カメラが撮影した撮影者の顔と風景を含むモニター画像を受け取るステップと、
前記モニター画像に関連付けてＧＰＳモジュールがＧＰＳデータを記録するステップと、
所定の注視条件に基づいて前記撮影者が注視していた前記モニター画像の領域を画定するステップと、
前記ＧＰＳデータから認識した前記電子機器の現在位置に基づいて前記所定の注視条件を調整するステップと、
前記注視していた領域に対応する領域の前記モニター画像を保存するステップと
を有する機能を実現させるためのコンピュータ・プログラム。

【請求項17】

デジタル・カメラから画像データを受け取ることが可能な電子機器に、
前記デジタル・カメラが撮影した撮影者の顔と風景を含むモニター画像を受け取るステップと、
所定の注視条件に基づいて前記撮影者が注視していた前記モニター画像の領域を画定するステップと、
前記モニター画像が含む人物の動画像から人物の所定の動作を認識したとき前記所定の注視条件を調整するステップと、
前記注視していた領域に対応する領域の前記モニター画像を保存するステップと
を有する機能を実現させるためのコンピュータ・プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、日常生活やビジネスの場面などの情景を撮影した画像を記録する技術に関し、さらには、撮影者にとって再生価値の高い画像だけを撮影者に負担をかけないで記録する技術に関する。

【背景技術】

【0002】

近年、携帯電話、スマートフォン、またはタブレット端末などにデジタル・カメラを標準的に搭載するようになり、これを人間の生活、体験、行動などの日常生活の状況を動画像、静止画像または音声として記録するいわゆるライフ・ログに利用することが容易になってきた。ライフ・ログの仕組みは、会議や面会などのビジネスの場面を後から顧みるための記録にも利用することができる。以後、ビジネスの状況を記録することをビジネス・ログということにする。

【0003】

特許文献１は、車両の前方画像内で視線が向いた場所に対応する画像を拡大表示することができる運転支援システムを開示する。同システムは、顔撮影カメラで撮影した運転者の顔画像から検出した視線方向が、前方撮影カメラが撮影した前方画像の領域を複数に分割した分割領域のどこに向けられていたかを判定する。

【0004】

判定した分割領域を注目領域として、前方画像データからこの注目領域、または注目領域とこの近傍に対応する画像データを抽出して表示手段に表示する。特許文献２は、被写体に対する注視度の算出精度を向上させる技術を開示する。同文献には、被写体の撮影者の注視点との距離の経時的変化に基づいて注視度を算出することが記載されている。特許文献３は、ライフ・ログ・データの閲覧効率を高めたライフ・ログ表示装置を開示する。同文献には、ユーザが閲覧するときの条件に応じて表示の優先度を可変設定することが記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００６−１７２２１５号公報

【特許文献2】特開２０１３−１７９４０３号公報

【特許文献3】特開２０１２−４３０１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ライフ・ログ画像やビジネス・ログ画像は記録時間が経過するほど膨大になるため、後にみたい画像だけを短時間で探すことが困難になったり、保存媒体の容量が大きくなったりする。特許文献１の運転支援システムは、運転中に視線を向けた対象物を後から確認できるが、撮影したすべての前方画像データ、視線方向データおよび撮像座標を記録するため記憶するデータ量は膨大になる。また、顔撮影カメラと前方撮影カメラをそれぞれ設けており、顔撮影カメラは運転者の顔の中心に光軸を向け、また、前方撮影カメラは画像の中央部を注目領域にするためには視線の方向に光軸が向くように追従制御をする必要がある。

【0007】

そこで本発明の目的は、電子機器が撮影者にとって有益な画像だけを容易に記録する方法を提供することにある。さらに本発明の目的は、撮影者が意識しないうちに電子機器が撮影者にとって有益な画像だけを自動的に記録する方法を提供することにある。さらに本発明の目的は、効率的なライフ・ログ・データをする記録する方法を提供することにある。さらに本発明の目的は、効率的なビジネス・ログ・データを記録する方法を提供することにある。さらに本発明の目的は、そのような方法を実現する電子機器およびコンピュータ・プログラムを提供することにある。

【課題を解決するための手段】

【0008】

本発明は、画像の記録が可能な電子機器に関する。このような電子機器は人体に装着して使用するウェアラブル・コンピュータとすることができるが、スマートフォンやタブレット端末のような携帯式の電子機器、または所定の場所で使用するノートブック型パーソナル・コンピュータまたはデスクトップ型パーソナル・コンピュータであってもよい。電子機器は、撮影者の顔と周囲の被写体を撮影してモニター画像を出力するデジタル・カメラと、モニター画像から被写体に対する撮影者の視線の動きを同定してモニター画像に対して注視領域を画定する注視領域画定部と、注視領域に対応するモニター画像の一部から記録装置に記録する記録画像を生成する記録画像処理部とを有する。記録画像は静止画像でも動画像でもよい。

【0009】

このような構成によれば、撮影者が注視した被写体の画像だけを記録することができる。撮影者が注視したモニター画像の領域は興味があって保存する価値の高い画像を含む可能性が高いため、撮影者は後に容易に有益な記録画像だけを閲覧することができる。撮影者はシャッターを押すような操作をする必要はなく、自然に行動しているだけで電子機器が自動的に有益な記録画像だけを保存することができる。記録装置は電子機器と同じ筐体に収納してもよいが、ネットワークを通じて通信できるようにして遠方に配置するようにしてもよい。

【0010】

記録画像処理部は、モニター画像の一部から所定の注目オブジェクトに対応するオブジェクト画像を認識しないときに、記録画像を生成しないで破棄することができる。注目オブジェクトは、撮影者が入力してもよいが、電子機器が保有している撮影者の行動履歴に関連するデータを使用してもよい。行動履歴に関連するデータは、撮影者が頻繁に訪れている場所のＧＰＳデータ、Ｗｅｂサイトで頻繁に閲覧したテーマなどとすることができる。記録画像処理部は、モニター画像の一部からオブジェクト画像を認識したときに、オブジェクト画像に欠損が生じないでかつ焦点が当たるようにモニター画像の一部を加工することができる。したがって、電子機器は、ユーザの興味があるオブジェクト画像に焦点が当たった均整のとれた記録画像を記録することができる。

【0011】

注視領域画定部は、モニター画像における視線の座標の離散量と注視領域を画定するまでの注視時間で構成した注視条件から注視領域を画定することができる。電子機器は注視領域画定部に注視条件を調整するための指示をする注視条件調整部を含んでもよい。注視条件を調整するための指示を受け取った注視領域画定部は、離散量および注視時間またはいずれか一方を調整して注視条件を緩和または強化することができる。注視条件調整部は、記録画像を生成する価値のある状況をさまざまな情報で予測して有益な記録画像だけを記録するように機能することができる。電子機器がマイクロフォンを有していれば、注視条件調整部は、マイクロフォンから受け取った音声データから所定の人物または所定のオブジェクトを認識したときに注視領域画定部に注視条件を緩和する指示をすることができる。

【0012】

また電子機器がＧＰＳモジュールを有していれば、注視条件調整部は、ＧＰＳモジュールから受け取ったＧＰＳデータから認識した電子機器の現在位置に基づいて注視領域画定部に注視条件を調整するための指示をすることができる。電子機器が加速度センサーを有していれば、注視条件調整部は、加速度センサーから受け取った加速度データからデジタル・カメラの姿勢の変化が少ないと判断したときに注視領域画定部に注視条件を強化する指示をすることができる。

【0013】

また、注視条件調整部は、モニター画像が含む人物の動画像から人物の所定の動作または所定のジェスチャを認識したときに注視領域画定部に注視条件を調整するための指示をすることができる。電子機器がマイクロフォンを有している場合は、記録画像を生成したモニター画像のフレームの撮影時刻の近辺でマイクロフォンが収録した音声データを記録画像に対応付けて記録装置に記録する記録再生処理部を備えることができる。

【0014】

電子機器は、撮影者の顔と周囲の被写体を撮影する２台のデジタル・カメラを搭載してもよいが、撮影者の顔と被写体を同時に撮影できる広角レンズまたは超広角レンズを搭載していれば、複数のカメラを利用する際の画像処理に必要になる各カメラの光軸の関連づけが不要になる。超広角レンズを含むデジタル・カメラは、電子機器の周囲の被写体をすべて撮影できるように、電子機器の筐体の表面と裏面に配置することができる。

【発明の効果】

【0015】

本発明により、電子機器が撮影者にとって有益な画像だけを容易に記録する方法を提供することができた。さらに本発明により、撮影者が意識しないうちに電子機器が撮影者にとって有益な画像だけを自動的に記録する方法を提供することができた。さらに本発明により、効率的なライフ・ログ・データをする記録する方法を提供することができた。さらに本発明により、効率的なビジネス・ログ・データを記録する方法を提供することができた。さらに本発明により、そのような方法を実現する電子機器およびコンピュータ・プログラムを提供することができた。

【図面の簡単な説明】

【0016】

【図1】本実施の形態にかかる画像記録再生システム２００の概要を説明するための図である。

【図2】本実施の形態にかかる画像記録再生システム２００の概要を説明するための図である。

【図3】本実施の形態にかかる画像記録再生システム２００の概要を説明するための図である。

【図4】画像記録再生システム２００を実装した電子機器１０のハードウェアの構成を説明するための機能ブロック図である。

【図5】画像記録再生システム２００のソフトウェアの構成を説明するための機能ブロック図である。

【図6】ユーザ・インターフェースとして機能設定部２１３が提供する入力画面２５０の一例を示す図である。

【図7】同定した視線１０３の座標から注視領域１０５ａ、１０５ｂを画定する方法の一例を説明する図である。

【図8】同定した視線１０３の座標から注視領域１０５ａ、１０５ｂを画定する方法の他の例を説明する図である。

【図9】画像記録再生システム２００の動作を説明するためのフローチャートである。

【発明を実施するための形態】

【0017】

［画像記録再生システムの概要］
図１〜図３は、本実施の形態にかかる画像記録再生システム２００（図５参照）の概要を説明するための図である。図１は、画像記録再生システム２００を実装した電子機器１０の近辺に存在する撮影者１０２が周辺の風景（モニター被写体１００）のある一部の領域を注視している様子を示している。電子機器１０は、撮影者１０２が身体に装着して使用するペンダント式コンピュータ、ヘッド・マウント・ディスプレイ、またはそれらを総称するウェアラブル・コンピュータであってもよい。電子機器１０は、デジタル撮影が可能な超広角レンズを搭載したカメラ・モジュール５３（図４参照）を搭載しており、図２に示すような半球状のモニター被写体１００を撮影することができる。モニター被写体１００は、撮影者１０２の顔と撮影者１０２がみている風景を含む。

【0018】

カメラ・モジュール５３は、モニター被写体１００を撮影して複数のフレームが連続するモニター画像１０１（図３参照）を生成することができる。画像記録再生システム２００は、撮影者１０２の視線１０３をモニター画像１０１上の座標として同定することができる。撮影者１０２は、モニター被写体１００をみているときに常に視線１０３を動かしているが、興味のある対象者や印象の深い被写体に目を向けたときは、視線１０３が当該被写体の付近に集中する。

【0019】

視線１０３がモニター被写体１００の所定の領域に所定の時間以上留まっているときに本実施の形態で定義する注視条件が成立する。注視条件が成立したときの視線１０３の方向にあるモニター被写体１００の領域には、撮影者１０２にとって記録する価値が高いという蓋然性があるとみなすことができる。本実施の形態では注視条件が成立したときに画定したモニター被写体１００に対する視線の移動範囲から特定したモニター画像１０１の領域を注視領域１０５ａ、１０５ｂ（図３参照）として定義する。

【0020】

図２は、モニター被写体１００の任意の位置に複数の注視領域が存在する様子を概念的に示している。各注視領域のサイズは注視条件によって異なる。図３は、モニター画像１０１が背景画像１０７と、雲、飛行機、樹木、川、建物、自動車および花などの複数のオブジェクト画像１０９と、撮影者１０２の顔画像１０２ａを含んでいる様子を示している。ここにオブジェクト画像１０９は、撮影者１０２またはシステムがあらかじめ登録した興味のあるテーマ（注目オブジェクト）の画像を意味し、背景画像１０７はオブジェクト画像１０９と顔画像１０２ａを除いたモニター画像１０１を意味する。

【0021】

一例として画像記録再生システム２００は、モニター画像１０１から注視領域１０５ａが画定する画角（被写体の撮影範囲）の選択画像１２０を抽出する。選択画像１２０は、登録された注目オブジェクトに対応する樹木と飛行機のオブジェクト画像１０９を含んでいるが、樹木の一部は画角から外れている。画像記録再生システム２００は、あらかじめ登録したいずれかの注目オブジェクトに対応するオブジェクト画像１０９を選択画像１２０が含むか否かを判断する。

【0022】

樹木と飛行機のように複数のオブジェクト画像が登録されている場合は、画像記録再生システム２００は各オブジェクト画像に欠損が生じないように選択画像１２０の画角を調整した記録画像１３０を生成する。他の例では、画像記録再生システム２００は選択画像１２０が含む複数の注目オブジェクトに対応する樹木と飛行機のオブジェクト画像１０９のそれぞれに焦点が当たるように画角を調整した複数の記録画像１３１、１３２を生成する。

【0023】

さらに他の例では、画像記録再生システム２００は、モニター画像１０１の注視領域１０５ａで囲まれた領域が、登録された１個の注目オブジェクトに対応するオブジェクト画像１０９を含むときは、当該オブジェクト画像１０９を中心に配置するように画角を調整した記録画像１４０を生成する。さらに他の例では、画像記録再生システム２００は、注視条件が成立したときに画定した注視領域１０５ｂが登録されたいずれの注目オブジェクトに対応するオブジェクト画像１０９を含まない場合でも、モニター画像１０１から注視領域１０５ｂが画定する画角で選択画像１２１を抽出し、保存に都合のよい記録様式に変換した記録画像１５０を生成する。

【0024】

［画像記録再生システムのハードウェア構成］
図４は、画像記録再生システム２００を実装した電子機器１０のハードウェアの構成を説明するための機能ブロック図である。画像記録再生システム２００は、日常の生活に関するライフ・ログ・データの記録や、会議や面会などのビジネスに関するビジネス・ログ・データの記録を撮影者１０２が移動中にまたは特定の場所で行う。図４は、移動中に記録するのに都合のよい携帯式の電子機器１０を例示している。

【0025】

電子機器１０は、本体ユニット１１と装着ユニット５１で構成している。電子機器１０は、画像記録再生システム２００の専用装置であってもよいし、通常のコンピュータに画像記録再生システム２００の機能を組み込んだものでもよい。装着ユニット５１は、人間の頭部、耳、または腕などに帽子、眼鏡、アームバンドの形態で装着してもよいし、撮影時に手にもつようにしてもよい。

【0026】

ここでは本体ユニット１１を、装着ユニット５１を装着した撮影者１０２が移動中に携帯する例を示すが、本体ユニット１１を遠方に配置してネットワークを通じて装着ユニット５１に接続するようにしてもよい。本体ユニット１１と装着ユニット５１は相互に近距離無線通信を行う無線モジュール２４、６２を搭載している。ただし、本体ユニット１１を撮影者１０２が携帯する場合は、本体ユニット１１と装着ユニット５１を有線で接続してもよい。本体ユニット１１は、ＣＰＵ１３、システム・メモリ１５、Ｉ／Ｏインターフェース１７、ＳＳＤ１９、タッチスクリーン２１、およびネットワークと通信する無線モジュール２３などの周知の要素を含む。ＳＳＤ１９は、画像記録再生システム２００の主要な部分を構成するソフトウェアを格納する。

【0027】

装着ユニット５１は、カメラ・モジュール５３、マイクロフォン５５、操作ボタン５７、加速度センサー５９およびＧＰＳモジュール６１などの周知の要素を含む。カメラ・モジュール５３は、ＣＭＯＳまたはＣＣＤなどのイメージ・センサ、イメージ・シグナル・プロセッサ、およびＵＳＢインターフェースなどで構成している。カメラ・モジュール５３は、一例として超広角レンズを搭載しており、水平方向が３６０度で垂直方向が約１８０度の半球状のモニター被写体１００の風景を撮影することができる。カメラ・モジュール５３は、モニター被写体１００の画像を光学処理、画像処理、および撮像素子の配列またはそれらの組み合わせによって歪みを補正した平面状のモニター画像１０１として撮影することができる。

【0028】

カメラ・モジュール５３はＶＧＡ（６４０×４８０）、ＱＶＧＡ（３２０×２４０）、ＷＶＧＡ（８００×４８０）またはＷＱＶＧＡ（４００×２４０）などのモニター画像１０１の画像データを一例として３０ｆｐｓのフレーム・レートで本体ユニット１１に転送する。画像記録再生システム２００は、顔画像１０２ａの目の瞳孔の向きから視線１０３の位置をモニター画像１０１上の座標として同定する。超広角レンズは人間の目よりも広い視野をもち、撮影者１０２の目と注視領域１０５ａ、１０５ｂが囲んだ領域の被写体を同時に撮影することができるため、画像記録再生システム２００は複数のカメラを使用して視線を同定する場合に必要になる各カメラの光軸を関連付けるための処理が不要になる。

【0029】

超広角レンズを使用することで、撮影者１０２と注視領域１０５ａ、１０５ｂの被写体を１つのカメラ・モジュール５３で撮影することができるが、前提として装着ユニット５１は、視線１０３と視線方向の被写体の同時撮影に支障のない位置に装着する必要がある。装着ユニット５１の身体に対する装着のしかたによっては、超広角レンズより画角が狭い広角レンズやより画角が広い魚眼レンズを採用することもできる。

【0030】

たとえば装着ユニット５１を眼鏡のように装着する場合は、画角が超広角レンズより狭い人間の視野程度の広角レンズを採用することができるし、ペンダントのように首からつり下げるときは、画角が超広角レンズより広い魚眼レンズを採用することもできる。魚眼レンズを採用するときは、ソフトウェアで画像の歪みを補正してから記録することができる。また、カメラ・モジュール５３は、２台の超広角レンズ・カメラを装着ユニット５１の筐体に背中合わせに配置することで、球状の全方位に近いモニター被写体を撮影するようにしてもよい。

【0031】

多くのハードウェアの要素は周知であるが、以下においてはこれらが本実施の形態に関係する主要な機能について説明する。本実施の形態においては、マイクロフォン５５、操作ボタン５７、加速度センサー５９、およびＧＰＳモジュール６１は、注視領域１０５ａ、１０５ｂを画定するための注視条件の調整に利用することができる。さらにマイクロフォン５５は、特定の人物やオブジェクトの音声を認識するための音声データの収録に利用することができる。さらにマイクロフォン５５は、記録画像１３０〜１５０とともに記録する音声データの収録に利用することができる。

【0032】

操作ボタン５７は、撮影者１０２の操作で注視領域１０５ａ、１０５ｂを画定するための入力デバイスとして利用する。加速度センサー５９は、装着ユニット５１に生じた３軸方向の加速度データを生成する。画像記録再生システム２００は加速度データによって装着ユニット５１の揺動の程度を判断し、カメラ・モジュール５３の撮影条件の成立を判断することができる。このときカメラ・モジュール５３は、加速度センサー５９からの信号でスリープ状態からウェイクすることができる。さらに画像記録再生システム２００は、加速度センサー５９が生成した重力加速度のデータから装着ユニット５１の姿勢の変化を検出して、姿勢の変化量が少ないときに記録画像の生成頻度を下げたり停止したりすることができる。

【0033】

ＧＰＳモジュール６１は、装着ユニット５１の現在位置を検出してＧＰＳデータを生成する。画像記録再生システム２００は、ＧＰＳデータを利用して、装着ユニット５１が現在撮影者１０２にとって興味のあると考えられる場所に存在するか、そうでないと考えられる場所に存在するかを判断して記録画像の生成頻度を調整することができる。ＳＳＤ１９は、記録画像１３０〜１５０およびそれらの撮影時間帯に収録した音声データなどを記録する。

【0034】

画像記録再生システム２００は、本体ユニット１１および装着ユニット５１をスマートフォン、タブレット端末、または携帯電話などのように人間が保持しながら使用できる携帯式の電子機器に搭載することができる。さらに他の例として画像記録再生システム２００は、特にビジネス・ログをする場合において、停止した位置で使用するノートブック型パーソナル・コンピュータ、デスクトップ型パーソナル・コンピュータまたは専用の画像記録装置に搭載することができる。

【0035】

［画像記録再生システムのソフトウェア構成］
図５は、画像記録再生システム２００の構成を説明するための機能ブロック図である。画像記録再生システム２００は、図４で説明したハードウェア要素とＳＳＤ１９に格納したソフトウェア要素で構成している。画像記録再生システム２００は、モニター画像処理部２０１、記録画像処理部２０３、記録再生処理部２０７、注視領域画定部２０９、注視条件調整部２１１、および機能設定部２１３の主要な機能を形成するソフトウェアを含んでいる。

【0036】

これらのソフトウェアは本体ユニット１１のＳＳＤ１９に格納されておりＣＰＵ１３が実行する。モニター画像処理部２０１、記録画像処理部２０３、記録再生処理部２０７、注視領域画定部２０９、注視条件調整部２１１、および機能設定部２１３は、すべて本体ユニット１１に搭載する必要はなく、一部を装着ユニットに搭載したり、一部またはすべてをネットワークで接続するサーバに搭載したりしてもよい。

【0037】

モニター画像処理部２０１、記録画像処理部２０３、記録再生処理部２０７、注視領域画定部２０９、注視条件調整部２１１、および機能設定部２１３は、ＣＰＵ１３、システム・メモリ１５、およびＩ／Ｏインターフェース１７などと協働して画像記録再生システム２００のハードウェア要素としても機能する。図５に示したソフトウェアを含んで構成した要素は一例であり、当業者が予測できる範囲で各要素を分割したり統合したりする場合も本発明の範囲に含む。また、図５に示したソフトウェアを含んで構成した要素の一部をハードウェアで構成するようにしてもよい。

【0038】

最初に機能設定部２１３の機能を説明する。機能設定部２１３は、撮影者１０２が入力するインターフェースと本体ユニット１１のシステムから情報を取得するインターフェースを備えている。図６は、機能設定部２１３がユーザ・インターフェースとして提供する入力画面２５０の一例を示す図である。画像記録再生装置２００は、入力画面２５０をタッチスクリーン２１に表示する。撮影者１０２は入力画面２５０に対して動作モードと記録モードを設定することができる。

【0039】

一例として動作モードは、ライフ・ログとビジネス・ログに関する複数の記録目的を含んでいる。ライフ・ログには、記録目的として「日常生活」、「買い物」、「旅行」、「散歩」を例示している。ビジネス・ログには、記録目的として「会議」、「面会」、「文章」、および「点検作業」を例示している。撮影者１０２はタッチスクリーン２１が表示する入力画面２５０のチェック・ボックス２５１に記録目的を設定する。各記録目的には、注目オブジェクトを入力するオブジェクト・ウィンドウ２５３、記録画像とともに行う音声の記録を設定するチェック・ボックス２５５、注視条件を調整する調整情報を入力する調整ウィンドウ２５７、２５９、２６１を設けている。

【0040】

注目オブジェクトは、撮影者１０２が特に興味があるテーマ、画像として残しておきたいテーマまたは有益な情報になり得るテーマなどを普通名称またはアイコンなどで抽象化した情報に相当する。さらに注目オブジェクトは、特定の人物を顔認識するための特徴情報を含んでいてもよい。たとえば撮影者１０２は、日常生活の記録目的に対応するオブジェクト・ウィンドウ２５３に、料理、人物、および動物などの日常生活で残しておきたい対象の普通名称を注目オブジェクトとして入力することができる。こうすることで、画像記録再生システム２００は、撮影者１０２の家族、来訪者、食事内容、およびペットなどを記録画像１３０〜１３２として記録することができる。

【0041】

さらに撮影者１０２は会議の記録目的に対応するオブジェクト・ウィンドウ２５３に、プロジェクタ、および人物を入力することができる。こうすることで画像記録再生システム２００は、会議で使用したプロジェクタの画面や参加者の顔画像を記録画像１３０〜１４０として記録することができる。注目オブジェクトとして特定の人物の顔を認識するための特徴情報を入力すれば、画像記録再生システム２００は当該人物だけを記録画像１３１、１３２、１４０として記録することもできる。

【0042】

さらに機能設定部２１３はシステムに対するインターフェースを利用して、画像記録再生システム２００が保存しているカレンダー、ＧＰＳデータ、電子メール、および閲覧したＷｅｂサイトなどから抽出した撮影者１０２の行動履歴や取得した情報から想定した注目オブジェクトを、関連する記録目的のオブジェクト・ウィンドウ２５３に自動的に追加することができる。

【0043】

チェック・ボックス２５５を設定すると、画像記録再生システム２００は、記録画像１３０〜１５０を生成したモニター画像１０１のフレームの撮影時刻の近辺の時間にマイクロフォン５５が収録した音声を記録画像１３０〜１５０の附帯情報として記録することができる。調整ウィンドウ２５７、２５９、２６１には、注視条件を調整するための緩和情報、強化情報、および画定情報を調整情報として肯定形式または否定形式で入力することができる。

【0044】

緩和情報は注視条件の成立を容易にする調整情報で、強化情報は注視条件の成立を困難にする調整情報で、画定情報は注視条件をただちに成立させる調整情報に相当する。調整情報には、注目オブジェクトの一般名称、装着ユニット５１の地理的な位置を評価するためのＧＰＳデータ、装着ユニット５１の姿勢の変化量を評価するための加速度データ、人物を認識するための音声の特徴情報、またはオブジェクトを認識するための画像の特徴情報などを入力することができる。音声の特徴情報には白熱した議論の様子を識別する特徴情報を含めることができる。画像の特徴情報には、特定の人物の顔を識別する特徴情報、または人間の特定の動作を識別する特徴情報を含めることができる。

【0045】

一例では、緩和情報としてＧＰＳデータまたは、音声または画像を認識するための特徴情報を入力することができる。強化情報として加速度データまたはＧＰＳデータを入力することができる。画定情報として注目オブジェクトの名称または人間の動作を認識するための特徴情報を入力することができる。機能設定部２１３は、入力されたチェック・ボックス２５１、２５５、オブジェクト・ウィンドウ２５３、調整ウィンドウ２５７、２５９、２６１の内容を記録画像処理部２０３、記録再生処理部２０７、および注視条件調整部２１１に設定する。

【0046】

記録モードの設定は、ＳＳＤ１９に記録する画像の種類をチェック・ボックス２６３に設定することで行う。記録モードは、複数の注目オブジェクトに対応する複数のオブジェクト画像を含む１つの記録画像１３０、それぞれ単独の注目オブジェクトに対応するオブジェクト画像を含む複数の記録画像１３１＆１３２、単独の注目オブジェクトに対応するオブジェクト画像を含む１つの記録画像１４０、およびオブジェクト画像の存否を判断しないで画定領域１０５ｂで囲まれた領域を記録する記録画像１５０のいずれかを選択することができる。チェック・ボックス２６３は複数を設定してもよい。機能設定部２１３はチェック・ボックス２６３の内容を記録画像処理部２０３および記録再生処理部２０７に設定する。

【0047】

モニター画像処理部２０１は、カメラ・モジュール５３が転送する画像データを受け取る。モニター画像処理部２０１は一例として動画再生の可能な３０ｆｐｓのフレーム・レートで受け取った画像データを、所定の時間の間ＳＳＤ１９に設けたバッファに記録する。画像データのフレーム・レートは、視線１０３のトラッキングに支障がでない程度まで下げることができる。バッファはＳＳＤ１９以外の不揮発性メモリに設けてもよい。

【0048】

カメラ・モジュール５３は、モニター画像の転送を開始するときは、最初にローリング・シャッタの露光時間（露光量）、ホワイト・バランス、およびＡＧＣ回路のゲインなどのキャリブレーションを行い、その時点での撮影環境に最適なパラメータ値を取得して設定する。しかし実際には撮影条件が撮影当初から変化して、モニター画像処理部２０１は望ましい画質のモニター画像を取得できなくなることがある。これに対応するために、モニター画像処理部２０１は、モニター画像を評価した結果に基づいてカメラ・モジュール５３にキャリブレーションを再実行するようにリクエストすることができる。

【0049】

モニター画像処理部２０１は、バッファに記録する画像データにシステムが生成する基準時刻のタイム・スタンプを付加する。画像記録再生システム２００は、ＣＰＵ１３がアイドル状態または使用率が低い状態のときにバッファに記録した画像データを利用して記録画像の生成および記録をすることができる。バッファの容量は、画像記録再生システム２００が、モニター画像１０１を処理するまでの想定時間に応じて小さくすることができる。

【0050】

バッファに記録した画像データは、記録画像１３０〜１５０を生成するためのモニター画像１０１の処理（記録画像を生成しない場合も含む。）が終わると消去することができるため、ＳＳＤ１９には有益な記録画像１３０〜１５０だけを記録することができる。なお、モニター画像処理部２０１は、記録画像を生成したフレームの前後の所定数のフレームをＳＳＤ１９に保存して、後に記録画像の前後のフレームの画像を閲覧できるようにしてもよい。

【0051】

記録画像処理部２０３は、注視領域画定部２０９から注視領域１０５ａ、１０５ｂの座標を受け取ったときに、モニター画像１０１の中の注視領域１０５ａ、１０５ｂで囲まれた領域の画像を選択画像１２０、１２１としてモニター画像処理部２０１から取得する。取得する選択画像１２０、１２１は、注視領域１０５ａ、１０５ｂを画定するために設定した所定の時間（注視時間）にモニター画像処理部２０１が取得した連続する複数のフレームの中から選択することができる。たとえば、注視領域１０５ａ、１０５ｂを画定する際に、３０フレームのモニター画像１０１を使用した場合は、１５フレーム目の画像を選択画像１２０、１２１とすることができる。

【0052】

記録画像処理部２０３は、周知のオブジェクト認識機能を備えており、選択画像１３０〜１３２、１４０のいずれかを記録する記録モードが設定されたときは、選択画像１２０、１２１が含むオブジェクト画像を認識して、オブジェクト・ウィンドウ２５３に入力された注目オブジェクトと比較することができる。記録画像処理部２０３は、記録モードとして複数のオブジェクト画像を含む記録画像１３０が設定されたときに、選択画像１２０、１２１のなかに複数の注目オブジェクトに対応するいずれかのオブジェクト画像１０９が存在するか否かを判断する。記録画像処理部２０３はいずれの注目オブジェクトに対応するオブジェクト画像１０９も存在しないと判断した場合は当該選択画像１２１、１２１を破棄して記録画像１３０〜１５０を生成しないようにすることができる。

【0053】

記録画像処理部２０３は選択画像１２０にいずれかの注目オブジェクトに対応するオブジェクト画像１０９が存在すると判断した場合は、それらがすべて記録様式の画角に収まっているか否かを判断する。記録様式に収まっていないと判断したときは、記録画像処理部２０３は、注視領域１０５ａの中心座標をずらし、かつ、注目オブジェクトに対応するオブジェクト画像が中心に配置されるように拡大または縮小したモニター画像１０１の領域を抽出して記録様式に変換し記録画像１３０を生成する。記録画像処理部２０３は必要に応じて、記録画像１３０が含むオブジェクト画像１０９の天地が記録様式の画角のなかで正しく整合するように回転処理をする。

【0054】

記録画像処理部２０３は、記録モードとしてそれぞれオブジェクト画像１０９を含む複数の記録画像１３１＆１３２が設定されたときに、選択画像１２０のなかに当該注目オブジェクトに対応するいずれかのオブジェクト画像１０９が存在するか否かを判断し記録様式の画角に天地が整合して収まるように調整した記録画像１３１、１３２を生成する。このとき背景画像１０７からオブジェクト画像１０９だけをトリミングする画像処理をしてもよい。

【0055】

記録画像処理部２０３は、記録モードとして１つのオブジェクト画像１０９を含む１つの記録画像１４０が設定されたときに、モニター画像１０１の注視領域１０５ａで囲まれた領域に注目オブジェクトに対応するオブジェクト画像１０９が存在する場合だけ、記録様式に加工した記録画像１４０を生成する。記録画像処理部２０３は、記録モードとしてオブジェクト画像の存否を判断しない記録画像１５０が設定されたときに、注視条件が成立したときの注視領域１０５ｂで切り取った選択画像１２１の画角を調整した記録画像１５０を生成する。

【0056】

このとき、記録画像処理部２０３はオブジェクト・ウィンドウ２５３に注目オブジェクトが入力されていても選択画像１２１について注目オブジェクトに対応するオブジェクト画像１０９の存否を判断しないが、記録画像１４０がオブジェクト・ウィンドウ２５３に入力された注目オブジェクトに対応するオブジェクト画像１０９を偶然含むことはあってもよい。記録画像処理部２０３は望ましい画質の記録画像１３０〜１５０を生成できないときにモニター画像処理部２０１を通じてカメラ・モジュール５３にキャリブレーションの再実行を要求することができる。記録画像処理部２０３は、生成した記録画像１３０〜１５０を記録再生処理部２０７に送る。

【0057】

記録画像処理部２０３は、周知の画像分析機能を備えており、前回生成した選択画像１２０、１２１と今回生成した選択画像１２０、１２１との輝度、明度、彩度、または色相などの分布を分析して差が少ない場合は、選択画像１２０、１２１は類似していると判断して今回生成した選択画像１２０、１２１を破棄することができる。記録画像処理部２０３は、注目オブジェクトを設定しないときに抽出した選択画像１２１において、空や地面などのあらかじめ設定した一般的に意味のないと考えられる画像が大部分を占める場合は、当該選択画像１２１を破棄することができる。

【0058】

記録再生処理部２０７は、機能設定部２１３が設定した動作モードの記録目的ごとに分類したフォルダーに日付、時刻、撮影位置の情報などのメタ情報を付加して記録画像１３０〜１５０をＳＳＤ１９に記録する。記録再生処理部２０７は、チェック・ボックス２５５に音声記録が設定されているときは、注視条件調整部２１１から受け取ったマイクロフォン５５の収録データも記録画像１３０〜１５０の附帯情報として記録する。記録再生処理部２０７は、ＳＳＤ１９に保存した記録画像１３０〜１５０を撮影者１０２が再生する際のインターフェース画面を提供する。インターフェース画面には、保存した記録画像のサムネールを含んでもよい。

【0059】

注視領域画定部２０９は、周知の顔認識機能を備えており、あらかじめ登録した撮影者１０２を認識して、モニター画像１０１が含む他の人物から撮影者１０２の顔を識別することができる。注視領域画定部２０９は周知の視線同定機能を備えており、モニター画像処理部２０１から受け取ったモニター画像１０１が含む顔画像１０２ａの目の動きから、アイ・トラッキング技術を使ってモニター画像１０１の座標における視線１０３の位置を同定する。図７は同定した視線１０３の座標から注視領域１０５ａ、１０５ｂを画定する方法の一例を説明する図である。注視領域画定部２０９は、たとえば０．１秒といった単位時間ごとに取得したモニター画像１０１のフレームから視線１０３の座標を計算する。

【0060】

たとえば、モニター画像１０１のフレーム・レートが３０ｆｐｓのときは、連続するフレームについて３フレームごとのモニター画像１０１から視線１０３の座標１０４を計算する。注視領域画定部２０９は、たとえば１秒といった注視領域１０５ａ、１０５ｂを画定するための注視時間を設定し、注視時間に計算した１０個の座標１０４のうち、図７（Ａ）に示すように最も外側の座標を通過する矩形領域１０６ａを特定する。注視領域画定部２０９は矩形領域１０６ａの面積が所定の上限の閾値以下または所定の上下限の閾値の範囲内と判断したときは、注視条件が成立したとみなすことができる。矩形領域１０６ａの面積は注視時間の間の座標１０４の離散量に相当する。離散量が所定の閾値より小さい場合は、撮影者１０２が記録に値する特定の被写体をみている可能性が高いとみなすことができる。

【0061】

注視領域画定部２０９は、注視条件が成立したときの矩形領域１０６ａを注視領域１０５ａ、１０５ｂとして画定する。なお、注視領域１０５ａ、１０５ｂは矩形以外の形状で画定してもよい。また、新聞のような段組みの文章を読むと判断した場合には、視線１０３はほぼ直線状に動くことを前提にすると、注視領域画定部２０９にオブジェクト認識機能をもたせて新聞を読んでいると判断したときは、読んだ範囲を記録画像に含めるために、最も外側の座標を越えた範囲に矩形領域１０６aを定めるようにしてもよい。

【0062】

注視領域画定部２０９は、図７（Ｂ）に示すように所定の注視時間のなかで同定した１０個の座標１０４が形成する矩形領域１０６ｂの面積が、所定の閾値より大きい場合は注視条件が成立しないとみなして注視領域１０５ａ、１０５ｂを画定しないようにすることができる。この場合は、撮影者１０２の視線１０３の動きが大きいため特に興味をもった被写体をみていないと想定する。

【0063】

注視領域画定部２０９は、図７（Ｃ）に示すように所定の注視時間のなかで同定した１０個の座標１０４が形成する矩形領域１０６ｃの面積が、所定値より小さい場合は、見かけ上は特定の方向を注視しているが、撮影者１０２が意識して風景をみているのではなく考えごとをしたり瞑想したりしているとみなして注視領域１０５ａ、１０５ｂを画定しないようにすることができる。なお、離散量の下限の閾値は設定しないようにしてもよい。

【0064】

図８は注視条件の成立を判定する他の方法を説明する図である。図８は、横軸が経過時間で縦軸が視線１０３の座標１０４の離散距離を示している。離散距離は、座標１０４の離散量に相当する。時間軸上には、注視領域１０５ａ、１０５ｂの判断を開始する開始時刻ｔ０、ｔ１、ｔ２・・・をたとえば１秒といった注視時間ごとに設定する。離散距離は各開始時刻における座標１０４を基準（離散距離０）として、それ以後の各座標１０４についての開始時刻の座標に対する距離を示している。離散距離には、上限と下限の閾値Ｔｈ１、Ｔｈ２を設定する。

【0065】

注視領域画定部２０９は、たとえば隣接する開始時刻ｔ０、ｔ１の間の注視時間に取得した１０個の座標１０４の中で、離散距離が閾値Ｔｈ１と閾値Ｔｈ２の間に入る座標１０４の数が所定値以上のときは注視条件が成立したと判断し、それ以外のときは不成立と判断することができる。そして注視条件が成立したときは、１０個の座標１０４または、閾値Ｔｈ１、Ｔｈ２の範囲に入る座標１０４に対して図７と同様に矩形領域１０６ａを設定し注視領域１０５ａ、１０５ｂを画定することができる。注視領域画定部２０９は、アイ・トラッキング技術に代えて顔の向きと目の間に設定した顔の法線から視線１０３を推定して、擬似的に視線１０３を同定することもできる。

【0066】

注視領域画定部２０９は、注視条件調整部２１１から注視条件を調整するための緩和指示、強化指示、または画定指示を受け取ることができる。注視領域画定部２０９は緩和指示を受け取ったときに、注視時間を短くしたり離散量の閾値を緩めたりして注視条件を緩和することができる。注視領域画定部２０９は強化指示を受け取ったときに、注視時間を長くしたり離散量の閾値を厳しくしたりして注視条件を強化することができる。注視領域画定部２０９は画定指示を受け取ったときに、受け取ったタイミングの前後の所定数のフレームから図７または図８を参照して説明した方法で視線１０３の座標を同定し注視領域１０５ａ、１０５ｂを画定することができる。

【0067】

注視条件調整部２１１は、周知の音声認識機能、顔認識機能、オブジェクト認識機能、および動作認識機能を備えている。注視条件調整部２１１は、マイクロフォン５５、操作ボタン５７、加速度センサー５９、またはＧＰＳモジュール６１の入力を、システムの基準時刻から生成したタイム・スタンプを付加してＳＳＤ１９のバッファに格納する。注視条件調整部２１１は、マイクロフォン５５が収録した音声データ、操作ボタン５７の入力、加速度センサー５９が検出した加速度データ、ＧＰＳモジュール６１が生成したＧＰＳデータまたはモニター画像処理部２０１から取得したモニター画像１０１と、入力画面２５０の調整ウィンドウ２５７、２５９、２６１に入力された調整情報に従って、注視領域画定部２０９に注視条件を調整するための指示をする。

【0068】

注視条件調整部２１１は、たとえば調整ウィンドウ２５７に特定の人物または特定のオブジェクトの音声を認識するための特徴情報が入力されていれば、マイクロフォン５５が検出した音声データから当該人物または当該オブジェクトを認識したときに注視領域画定部２０９に緩和指示をすることができる。音声としては、会議での議論が白熱したときの参加者の音声の高揚を示す特徴情報を入力することもできる。注視条件調整部２１１は、たとえば調整ウィンドウ２５７に特定の人物の顔を認識するための特徴情報が入力されていれば、モニター画像１０１に当該人物の存在を認識したときに注視領域画定部２０９に緩和指示をすることができる。このときの人物としては、ビジネス上の重要人物や注目している人物とすることができる。

【0069】

注視条件調整部２１１は、たとえば調整ウィンドウ２５７にＧＰＳデータが入力されていれば、ＧＰＳモジュール６１が検出したＧＰＳデータから装着ユニット５１が所定の場所に存在すると認識したときに、注視領域画定部２０９に緩和指示をすることができる。このとき調整ウィンドウ２５７に入力するＧＰＳデータは、否定論理で入力した記録したくない日常的な移動範囲または肯定論理で入力した撮影者１０２が特に関心のある場所とすることができる。

【0070】

注視条件調整部２１１は、たとえば調整ウィンドウ２５９に装着ユニット５１の姿勢の変化量を示す加速度データが入力されていれば、選択画像１２０、１２１を前回生成してから今回生成するまでの間に加速度センサー５９が検出した加速度データから装着ユニット５１の姿勢の変化が少ないと判断したときに、注視領域画定部２０９に注視条件を強化するための強化指示をすることができる。装着ユニット５１の姿勢の変化が小さいときは、撮影者が同じ被写体をみている可能性が高いため冗長性の高い記録画像の生成を回避することができる。

【0071】

注視条件調整部２１１は、操作ボタン５７の入力を受け取ったときは、注視領域画定部２０９にただちに注視領域１０５ａ、１０５ｂを画定するように注視条件の画定指示をすることができる。注視条件調整部２１１は、たとえば調整ウィンドウ２６１に人物の特定の動作を示す特徴情報が入力されていれば、モニター画像１０１から当該動作の存在を認識したときに注視領域画定部２０９に注視条件の画定指示をすることができる。

【0072】

この場合に入力しておく動作は、会議に参加している撮影者１０２がメモをとったり、プロジェクタを使って説明したりする会議の重要な場面で行われる自然な行為とすることができる。注視条件調整部２１１は、たとえば調整ウィンドウ２６１に特定の注目オブジェクトが入力されていれば、モニター画像１０１が当該注目オブジェクトに対応するオブジェクト画像１０９を含むときに、注視領域画定部２０９に注視条件の画定指示をすることができる。注視条件調整部２１１は、記録再生処理部２０７の要求に応じて、音声データを記録再生処理部２０７に送る。

【0073】

上述のように記録画像処理部２０３は、記録画像１３０〜１５０の画質が低下したときにカメラ・モジュール５３に対してキャリブレーションを再実行するように要求することがある。このとき、カメラ・モジュール５３とモニター画像処理部２０１と間の通信を無線モジュール２４、６２で行うと、通信条件によってはモニター画像の転送が遅れて注視領域１０５ａ、１０５ｂを画定するタイミングが、撮影者１０２の視線１０３の動きより遅れて撮影機会を逃す場合がある。

【0074】

これに対処するために、画像記録再生システム２００は、モニター画像処理部２０１、記録画像処理部２０３、注視領域画定部２０９、注視条件調整部２１１、および機能設定部２１３を装着ユニット５１に実装することもできる。この場合装着ユニット５１には、各機能を実現するプログラムと、ＣＰＵ、システム・メモリ、Ｉ／Ｏコントローラなどのハードウェアとを実装する。

【0075】

［画像記録再生システムの動作］
つぎに、図９のフローチャートを参照して、画像記録再生システム２００の動作を説明する。ブロック３０１で電子機器１０が通常の動作を開始する。ブロック３０３で撮影者１０２は入力画面２５０を通じて動作モードおよび記録モードを設定する。ここでは記録目的のチェック・ボックス２５１に散歩を設定し、音声記録のチェック・ボックス２５５を設定し、オブジェクト・ウィンドウ２５３に注目オブジェクトとして樹木と飛行機を入力し、調整ウィンドウ２５７、２５９に緩和情報と強化情報としてそれぞれ異なるＧＰＳデータを入力しているものとする。記録モードは、選択画像１３１＆１３２を設定しているものとする。

【0076】

ブロック３０５で加速度センサー５９が検出した振動または揺動を示す加速度データが所定値以下のときに、撮影条件が成立して画像記録再生システム２００が動作を開始する。ブロック３０７で、カメラ・モジュール５３がモニター被写体１００の撮影を開始して、モニター画像１０１を出力する。モニター画像処理部２０１は受け取ったモニター画像１０１にタイム・スタンプを付加してＳＳＤ１９のバッファに記憶する。

【0077】

入力画面２５０で音声記録のチェック・ボックス２５５が設定されているため、ブロック３０９で注視条件調整部２１１は、モニター画像処理部２０１がモニター画像１０１を受け取っている時間帯を含むマイクロフォン５５が収録した音声データをバッファに記憶するために、タイム・スタンプを付加して記録再生処理部２０７に送る。なお、注視条件調整部２１１はいずれかの調整ウィンドウ２５７、２５９、２６１に音声の特徴情報が入力されているときも音声データをバッファに記憶するために、タイム・スタンプを付加して記録再生処理部２０７に送る。さらに、注視条件調整部２１１は、操作ボタン５７、加速度センサー５９およびＧＰＳモジュール６１の入力データをバッファに記憶するために、タイム・スタンプを付加して記録再生処理部２０７に送る。

【0078】

画像記録再生システム２００は、ブロック３０１からブロック３０９までの手順を撮影条件が成立している間は継続して行う。画像記録再生システム２００は所定量の画像データがバッファに記憶された段階で記録画像の生成処理を開始してもよいが、好ましくはＣＰＵ１３の使用率が低下したときに記録処理を開始する。バッファに記憶している画像データ、音声データ、操作ボタンの入力データ、加速度データ、およびＧＰＳデータにはすべて基準時刻のタイム・スタンプを付加しているため画像記録再生システム２００は、各データをモニター画像１０１のフレームを撮影したタイミングに同期させて処理することができる。

【0079】

ブロック３１１で、注視条件調整部２１１は、調整ウィンドウ２５７、２５９に緩和情報および強化情報として入力されているＧＰＳデータと、ＧＰＳモジュール６１から取得した装着ユニット５１の現在の位置を示すＧＰＳデータとを比較する。注視条件調整部２１１はブロック３１３で、緩和情報または強化情報としてのＧＰＳデータと現在位置を示すＧＰＳデータが一致したときは、注視領域画定部２０９に注視条件の緩和指示または強化指示のいずれかをする。注視条件調整部２１１は、調整ウィンドウ２６１に動作を認識するための特徴情報または注目オブジェクトの普通名称が画定情報として入力されているときは、モニター画像１０１が当該画定情報を含むと判断したときに、注視領域画定部２０９に注視条件の画定指示をする。

【0080】

ブロック３１４で注視領域画定部２０９は、ディフォルトの注視条件または注視条件調整部２１１から指示された注視条件にしたがって、モニター画像１０１が含む顔画像１０２ａから撮影者の視線１０３を同定して注視領域１０５ａ、１０５ｂを画定しその座標を記録画像処理部２０３に送る。ブロック３１５で記録画像処理部２０３は、モニター画像１０１から注視領域１０５ａまたは注視領域１０５ｂで囲まれた領域の選択画像１２０または選択画像１２１を抽出する。

【0081】

ここでは、オブジェクト・ウィンドウ２５３に樹木および飛行機の注目オブジェクトが入力されているため、ブロック３１７で記録画像処理部２０３は、選択画像１２０、１２１が、樹木または飛行機のいずれかの注目オブジェクトに対応するオブジェクト画像１０９を含むか否かを判断する。オブジェクト画像１０９を含むと判断したときは、それらが選択画像１２０の中に欠損がない状態で含まれているか否かを判断する。

【0082】

樹木または飛行機のオブジェクト画像１０９に欠損がある場合は、それらを完全に含む選択画像をモニター画像処理部２０１から取得する。選択画像におけるオブジェクト画像１０９のサイズが小さいときはオブジェクト画像１０９が中心になるようにしてさらに拡大した選択画像をモニター画像処理部２０１から取得する。記録画像処理部２０３は、選択画像から樹木と飛行機のオブジェクト画像だけを抽出する。

【0083】

記録画像処理部２０３は、選択画像に対して拡大、縮小、回転の処理をして画角およびオブジェクト画像１０９の天地を調整した記録画像１３１、１３２を生成し記録再生処理部２０７に転送する。記録画像処理部２０３は、注視領域１０５ｂを画定したときは、樹木および飛行機のいずれのオブジェクト画像も含まないため抽出した選択画像１２１を破棄する。ブロック３１９で記録再生処理部２０７は、記録画像１３１、１３２をフォルダーに階層化してＳＳＤ１９に格納する。このとき記録再生処理部２０７は再生時の検索を容易にするために、格納する複数の選択画像のサムネールを生成し、さらに、注目オブジェクト、撮影日時、撮影場所などのメタ情報を合わせて格納することができる。

【0084】

ここでは音声記録のチェック・ボックス２５５が設定されているためブロック３２１で記録再生処理部２０７は、選択画像１２０を抽出するために注視領域１０５ａを画定した時刻の近辺で収録した音声データも合わせてＳＳＤ１９に記録する。記録再生処理部２０７は、処理が終了したフレームの時刻以前のモニター画像１０１、音声データ、ＧＰＳデータ、操作ボタン・データ、加速度データなどを破棄することができる。したがってＳＳＤ１９には、撮影者１０２が後に閲覧したい可能性が高い記録画像１３１、１３２だけを検索や閲覧が容易な様式で記録することができる。

【0085】

つぎに、他の記録目的のチェック・ボックス２５１を設定したときの画像記録再生システム２００の特徴的な動作について説明する。記録目的のチェック・ボックス２５１に会議を設定したときに、たとえば、オブジェクト・ウィンドウ２５３にプロジェクタと人物を注目オブジェクトとして入力し、音声記録のチェック・ボックス２５５を設定すると想定する。また、調整ウィンドウ２５７に重要人物Ａを音声認識するための特徴情報と撮影者１０２の特有の動作を画像認識するための特徴情報を緩和情報として入力し、調整ウィンドウ２６１に重要人物Ｂを音声認識するための特徴情報と特有の動作を認識するための特徴情報を画定情報として入力すると想定する。

【0086】

このとき、ブロック３１１で注視条件調整部２１１は、緩和情報に対応する重要人物Ａの発言があったと判断したとき、または参加者の特定の動作があったと判断したときに注視領域画定部２０９に注視条件の緩和指示をすることができる。また注視条件調整部２１１は、撮影者１０２がメモをとったり、参加者がプロジェクタを参照して説明しているような、会議における特徴的な行為とみなせる動作があったりしたとき、または重要人物Ｂが発言したときに注視領域画定部２０９に注視条件の画定指示をすることができる。このとき、メモを書いた紙やプロジェクタを撮影者１０２がみていいれば、注視時間や離散量で注視条件が画定しなくてもそのコンテンツを記録画像として記録することができる。さらにその際の発言者の音声データも記録するため、記録画像と音声を後に再生することで会議の重要な場面を振り返ることができる。

【0087】

また、記録目的のチェック・ボックス２５１に面会を設定し、記録モードのチェック・ボックス２６３に記録画像１３１＆１３２を設定して、オブジェクト・ウィンドウ２５３に人物を認識するための特徴情報および名刺という名称を入力すれば、面会者の顔と名刺を記録画像として記録することができる。このとき音声記録のチェック・ボックス２５５を設定していれば、面会者と挨拶したときの音声も記録することができる。記録目的のチェック・ボックス２５１に文章を設定し、記録モードのチェック・ボックス２６１に記録画像１３１＆１３２を設定して、注目オブジェクトに文字、写真を認識するための特徴情報を入力すれば、掲示物の文章や写真の中で撮影者１０２が見ている範囲のコンテンツを記録画像１３１、１３２として記録することができる。

【0088】

記録目的のチェック・ボックス２５１に旅行を設定し、調整ウィンドウ２６１に寺院という普通名称を入力すれば、旅行をする間寺院を含む記録画像１３０〜１３２、１４０を記録することができる。記録目的のチェック・ボックス２５１に点検作業を設定し、オブジェクト・ウィンドウ２５３に注目オブジェクトとしてボルト、クラック、および錆を入力しておけば、橋梁やトンネルなどの構造物の重要な箇所の目視点検を確実に行って記録に残すことができる。

【0089】

これまで、記録画像としてスチール画像を例にして説明したが、本発明は動画像に適用することもできる。たとば、撮影者１０２が行った腕や指のジェスチャまたは操作ボタン５７の操作から動画像を撮影する開始と終了のイベントを生成し、その間に撮影者１０２の視線１０３を同定して画定した所定の範囲の被写体の動画像を記録することができる。たとえば、遠方の景色をみている視線１０３がゆっくりと動く場合は、横長の注視領域を画定してパノラマの記録画像を記録することが可能になる。このとき注視領域画定部２０９は、注視領域の面積の変化、移動方向の変化などを検知してカメラ・モジュール５３のズームイン／アウト、パンライト／レフト、およびパンアップ／パンダウンなどの制御を自動的に行うようにすることができる。

【0090】

また、撮影者１０２の目と視線方向の画像を同時に撮影できる超広角レンズ・カメラを使用する画像記録再生システム２００を例にして説明したが、スマートフォンやタブレット端末のように筐体の正面と背面にそれぞれ標準レンズを搭載するデジタル・カメラを配置し、正面のデジタル・カメラで視線を撮影し背面のデジタル・カメラで風景を撮影して、注視領域の被写体を撮影してもよい。ただし、この場合は、視線を風景画像の座標上で同定するためには、２つのカメラの光軸を一致させる処理が必要になる。

【0091】

これまで本発明について図面に示した特定の実施の形態をもって説明してきたが、本発明は図面に示した実施の形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができることはいうまでもないことである。

【符号の説明】

【0092】

１０ 装着式の電子機器
１１ 本体ユニット
５１ 装着ユニット
５３ カメラ・モジュール
５５ マイクロフォン
５７ 操作ボタン
５９ 加速度センサー
６１ ＧＰＳモジュール
１００ モニター被写体
１０２ 撮影者
１０２ａ 撮影者の顔画像
１０３ 視線
１０４ 視線の座標
１０５ａ、１０５ｂ 注視領域
１０６ａ〜１０６ｃ 矩形領域
１０７ 背景画像
１０９ オブジェクト画像
１２０、１２１ 選択画像
１３０、１３１、１３２、１４０、１５０ 記録画像
２００ 画像記録再生システム
２０１ モニター画像処理部
２０３ 記録画像処理部
２０７ 記録再生処理部
２１１ 注視条件調整部
２１３ 機能設定部
２５０ 入力画面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】