特許 6441408 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6441408

(24)【登録日】2018年11月30日

(45)【発行日】2018年12月19日

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 5/232 20060101AFI20181210BHJP

   G03B 15/00 20060101ALI20181210BHJP

   G03B 17/00 20060101ALI20181210BHJP

   H04N 5/225 20060101ALI20181210BHJP

【ＦＩ】

   H04N5/232

   G03B15/00 F

   G03B17/00 Q

   H04N5/225 100

【請求項の数】6

【全頁数】9

(21)【出願番号】特願2017-92037(P2017-92037)

(22)【出願日】2017年5月3日

(65)【公開番号】特開2018-191139(P2018-191139A)

(43)【公開日】2018年11月29日

【審査請求日】2017年9月22日

【早期審査対象出願】

(73)【特許権者】

【識別番号】516265838

【氏名又は名称】株式会社ｂｌｉｎｃａｍ

(74)【代理人】

【識別番号】100101982

【弁理士】

【氏名又は名称】久米川 正光

(72)【発明者】

【氏名】高瀬 昇太

【審査官】 吉川 康男

(56)【参考文献】

【文献】 特開平１１−１６４１８６（ＪＰ，Ａ）

【文献】 特開２００８−１９８０６２（ＪＰ，Ａ）

【文献】 特開２０１７−０４２２６９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １７／００

Ｈ０４Ｎ ５／２２５

(57)【特許請求の範囲】

【請求項1】

眼鏡型または眼鏡に着脱自在な撮像装置において、
撮像部と、
ウインク反応のよい位置に配置され、撮影者のウインクに応じて出力が変動する第１のセンサと、
前記第１のセンサと同種のセンサであって、前記第１のセンサの位置よりもウインク反応の少ない位置に配置された第２のセンサと、
前記第１のセンサの出力を微分した第１の微分波形と、前記第２のセンサの出力を微分した第２の微分波形との差異に基づいて、ウインク以外の要因に起因したノイズの影響を除去し、前記ノイズの影響が除去された第１の微分波形に基づいて、前記撮像部を制御する制御部と
を有することを特徴とする撮像装置。

【請求項2】

前記制御部は、前記第１の微分波形と、前記第２の微分波形との差分を取ることによって、前記第１の微分波形における前記ノイズの影響を除去することを特徴とする請求項１に記載された撮像装置。

【請求項3】

前記第１のセンサは、前記第２のセンサよりも下方に配置されていることを特徴とする請求項２に記載された撮像装置。

【請求項4】

前記第２のセンサの検知領域の少なくとも一部は、眼鏡のツルによって遮られていることを特徴とする請求項３に記載された撮像装置。

【請求項5】

前記制御部は、前記第２の微分波形が前記第１の微分波形よりも大きい場合、前記撮像部の制御を行わないことによって、前記第１の微分波形における前記ノイズの影響を除去することを特徴とする請求項１に記載された撮像装置。

【請求項6】

前記第１のセンサは、前記第２のセンサよりも前方に配置されていることを特徴とする請求項５に記載された撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、眼鏡型または眼鏡に着脱自在な撮像装置に係り、特に、眼鏡の着用者のウインク（瞬き）検知に関する。

【背景技術】

【0002】

例えば、特許文献１には、撮影の煩雑さを解消し、シャッターチャンスを逃すことなく、撮影者が撮影中に他の作業を行うことを可能にする画像記録装置が開示されている。この画像記録装置では、撮像部と変位センサとを眼鏡型のフレームに設け、フレームとカメラ本体とをケーブルを介して接続する。変位センサとしては、周知の心電図検査装置等で利用されているタイプと同様、筋肉の動きを微小電流の変化として検出するタイプの他に、物理的な変位センサや非接触式の変位センサが例示されている。撮影者が眼鏡をかけるようにフレームを装着した状態において、変位センサは、撮影者のこめかみの筋肉の動きを微小電流の変化として検出し、例えば、撮影者が右目を閉じで右こめかみの筋肉を動かした場合はズームイン、両眼を閉じたらレリーズという取り決めに従って画像記録装置を制御する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平１１−１６４１８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した特許文献１を含む従来のウインク検知手法では、撮影者が歩行している際の振動、車に乗っているときの振動、ウインク以外の身体の別の動きなどのノイズを、誤ってウインクと検知してしまう可能性がある。

【0005】

本発明は、かかる事情に鑑みてなされたものであり、その目的は、ウインクの誤検知を有効に防止することである。

【課題を解決するための手段】

【0006】

かかる課題を解決すべく、本発明は、撮像部と、第１のセンサと、第２のセンサと、制御部とを有し、眼鏡型または眼鏡に着脱自在な撮像装置を提供する。第１のセンサは、ウインク反応のよい位置に配置され、撮影者のウインクに応じて出力が変動する。第２のセンサは、第１のセンサと同種のセンサであって、第１のセンサの位置よりもウインク反応の少ない位置に配置されている。制御部は、第１のセンサの出力を微分した第１の微分波形と、第２のセンサの出力を微分した第２の微分波形との差異に基づいて、ウインク以外の要因に起因したノイズの影響を除去し、ノイズの影響が除去された第１の微分波形に基づいて、撮像部を制御する。

【0007】

ここで、本発明において、制御部は、第１の微分波形と、第２の微分波形との差分を取ることによって、第１の微分波形におけるノイズの影響を除去してもよい。この場合、第１のセンサは、第２のセンサよりも下方に配置されていることが好ましく、第２のセンサの検知領域の少なくとも一部は、眼鏡のツルによって遮られていることがより好ましい。

【0008】

本発明において、制御部は、第２の微分波形が第１の微分波形よりも大きい場合、撮像部の制御を行わないことによって、第１の微分波形におけるノイズの影響を除去してもよい。

【発明の効果】

【0009】

本発明によれば、撮影者のウインクを検知するセンサの出力波形そのものではなく、その微分波形を用いて、撮像部を制御する。その際、第１の微分波形には、ウインク（眼輪筋）に起因した変化と、それ以外のノイズに起因した変化とが現れるのに対して、第２の微分波形には、ノイズに起因した変化が現れる。よって、第１の微分波形におけるノイズの影響は、第１の微分波形と、第２の微分波形との差異に基づいて、除去することができる。このように、第１および第２のセンサの双方の微分波形を用いることで、単一センサの微分波形のみを用いる場合と比較して、ウインクの誤検知をより有効に防止できる。

【図面の簡単な説明】

【0010】

【図1】撮像装置の装着状態を示す図

【図2】撮像装置のブロック図

【図3】静電容量センサユニットの平面図

【図4】静電容量センサの出力波形を示す図

【図5】図４の出力波形を微分した微分波形を示す図

【図6】第１の実施形態に係るウインク検知の説明図

【図7】第２の実施形態に係るウインク検知の説明図

【図8】椅子に座ってウインクした場合および歩行中にウインクした場合における微分波形を示す図

【図9】第３の実施形態に係る撮像装置の装着状態を示す図

【図10】第３の実施形態に係るウインク検知の説明図

【図11】第４の実施形態に係る撮像装置の装着状態を示す図

【発明を実施するための形態】

【0011】

図１は、眼鏡に着脱自在な撮像装置の装着状態を示す図である。この撮像装置１は、眼鏡の着用者のウインク（瞬き）を検知し、これに応じて、例えば撮影を開始／停止するといった如く、内蔵された撮像部を制御する。なお、同図に示したように、撮像装置１は、眼鏡とは別体の装置として提供してもよいが、眼鏡と一体化した眼鏡型（眼鏡のツルなどの一部を含む。）の装置として実現してもよい。

【0012】

図２は、撮像装置１のブロック図である。撮像装置１は、静電容量センサ２と、微分波形生成部３と、制御部４と、カメラやビデオなどの撮像部５とを主体に構成されている。静電容量センサ２は、撮影者の眼輪筋の近傍に配置され、撮影者の眼輪筋の動きにより生じるこめかみ又は目尻の近傍の皮膚の動きに基づいて、インクを検知する。周知のとおり、静電容量センサ２は、検出領域内に電界を発生させ、自己が備える導体電極に他の導体や誘電体が接近することによって生じる電極の静電容量の変化を電気信号に変換して、物体の接近（皮膚の位置の変化）を検出する。

【0013】

本実施形態では、静電容量センサ２として、図３に一例を示すように、同種の静電容量センサ（電極）２ａ〜２ｅが１ユニット化されたものを用いている。ここで、「同種」とは、ウインクの検知原理が同一のものをいう。中央の静電容量センサ２ａの周囲には、その上下左右に４つの静電容量センサ２ｂ〜２ｅが設けられており、静電容量センサ２ｃ，２ａ，２ｅは、眼鏡のツルの長手方向に配置されている。後述するように、第１および第２の実施形態では、これらの静電容量センサ２ａ〜２ｅのうちの１つを用いてウインク検知を行い、第３および第４の実施形態では、複数個を用いてウインク検知を行う。

【0014】

なお、撮影者のウインクを検知するセンサとしては、静電容量センサが典型的ではあるが、これに限定されるものではなく、レーザ、赤外線又は超音波などをこめかみ又は目尻の近傍の皮膚に照射することによって、撮影者の眼輪筋の動きにより生じるこめかみ又は目尻の近傍の皮膚の動きを検知するセンサなどを含めて、撮影者のウインクを検知可能な既知のセンサを広く用いることができる。

【0015】

微分波形生成部３は、静電容量センサ２の出力（出力波形）を微分した微分波形を生成する。制御部４は、微分波形生成部３によって生成された微分波形に基づいて、撮影者のウインクによるアクションを判断する。また、制御部４は、判断されたアクションに応じて、撮像部５を制御する。アクションと制御内容との対応関係は、予め割り当てられており、特定のアクションに対応した特定の制御が実行される。制御に割り当てられるアクションは最低限１つ必要だが、複数種類であってもよい。

【0016】

後述する第１から第４の実施形態に共通する特徴は、撮影者のウインクを検知するセンサの出力波形そのものではなく、その微分波形を用いて、ウインク検知を行うことにある。図４は、１つの静電容量センサ２の出力波形を示す図である。この出力波形から分かるように、撮影者がウインクしている間はセンサ出力が低下する。しかしながら、撮影者の身体の姿勢変化や外部環境の状況などによってセンサ出力は著しく変化するため、ウインクの部分だけを精度良く検知することは容易ではない。一方、図５は、図４の出力波形を微分した微分波形を示す図である。出力変位量をΔｙ、時間変化量をΔｔとすると、微分出力ＰはΔｙ／Δｔで表される。この微分波形から分かるように、撮影者がウインクした場合、微分出力Ｐは急激に立ち下がった後に急激に立ち上がる（回路構成によっては逆の場合もある）。このような波形上の特徴は、基本的に、撮影者の身体の姿勢変化や外部環境の状況などに依存しないので、ウインクを検知する上で非常に有用な指標となる。

【0017】

（第１の実施形態）
図６は、第１の実施形態に係るウインク検知の説明図である。制御部４は、微分波形生成部３によって生成された微分波形が以下のウインク判定条件１を満たした場合、撮影者のウインクによるアクションと判断する。

【0018】

（ウインク判定条件１）
ａ．微分出力Ｐが所定の下しきい値Ｐth1を下回ること
ｂ．微分出力Ｐが所定の上しきい値Ｐth2を上回ること
ｃ．上記ａおよびｂが所定の期間内において生じること（ただし、上記ａおよびｂの前後は問わない。）

【0019】

ここで、条件ｃの判定手法としては、以下に例示する３つの手法を含めて、様々なものが考えられる。第１の手法では、微分出力Ｐが下しきい値Ｐth1を下回ったタイミングをｔ1、微分出力Ｐが上しきい値Ｐth2を上回ったタイミングをｔ3とし、この時間差（ｔ3−ｔ1）が所定の期間Ｔth1以内である場合、条件ｃを満たすとする。第２の手法では、微分出力Ｐが下しきい値Ｐth1を下回って最小となるタイミングをｔ2、微分出力Ｐが上しきい値Ｐth2を上回って最大となるタイミングをｔ4とし、この時間差（ｔ4−ｔ2）が所定の期間Ｔth2以内である場合、条件ｃを満たすとする。第３の手法では、微分波形の平均値（振幅の基準値）に対して、下しきい値Ｐth1に向けて立ち下がるタイミングをｔ0、上しきい値Ｐth2から上記平均値に向けて立ち下がるタイミングをｔ5とし、この時間差（ｔ5−ｔ0）が所定の期間Ｔth3以内である場合、条件ｃを満たすとする。条件ｃの判定は、ここに例示した単一の手法を用いて行ってもよいが、複数の手法を組み合わせて行うことも可能である。

【0020】

上記しきい値Ｐth1，Ｐth2は、ウインクを適切に判別可能な値として、実験やシミュレーション等を通じて適切に設定されている。また、時間的なしきい値である期間Ｔth1〜Ｔth3を適切に設定することも重要である。微分出力Ｐの立ち下がりと、立ち上がりとの間隔は、撮影者によって異なり、ウインクの仕方によっても変わってくるので、シーンに応じて決定することが好ましい。また、間隔があまり広すぎると、歩いたり座ったりする際の動作に起因したノイズも拾ってしまうので、基本的には短い方が好ましい。

【0021】

このように、第１の実施形態によれば、撮影者のウインクを検知するセンサの出力波形そのものではなく、その微分波形を用い、上下のしきい値Ｐth1，Ｐth2と比較することによって、撮影者のウインクによるアクションを判断する。上下のしきい値Ｐth1，Ｐth2や時間的なしきい値である期間Ｔth1〜Ｔth3を適切に設定することで、ウインク以外の要因に起因したノイズを、誤ってウインクと検知してしまうことを有効に防止できる。

【0022】

（第２の実施形態）
図７は、第２の実施形態に係るウインク検知の説明図である。制御部４は、微分波形生成部３によって生成された微分波形が以下のウインク判定条件２を満たした場合、撮影者のウインクによるアクションと判断する。なお、本ウインク判定条件２としては、条件ａ，ｂ，ｄの他に、上述したウインク判定条件１の条件ｃを加えてもよい。

【0023】

（ウインク判定条件２）
ａ．微分出力Ｐが所定の下しきい値Ｐth1を下回ること
ｂ．微分出力Ｐが所定の上しきい値Ｐth2を上回ること
ｄ．微分出力Ｐが下しきい値Ｐth1を下回っている期間Ｔ1と，微分出力Ｐが上しきい値Ｐth2を上回っている期間Ｔ2とが、それぞれ所定の時間範囲Ｔth内（例えば０．０５秒以上で１秒以下）であること

【0024】

このように、第２の実施形態によれば、ウインク判定条件２として条件ｄを追加することで、ウインクとそれ以外のノイズとを更に明確に区分することができ、ウインク検知の精度を高めることができる。また、上記条件ｄを満たす２つの領域の遷移区間に、一定時間を超えない範囲で、絶対値がしきい値未満の部分が存在することを許容する判定により、人によるウインクの速さの違いを許容・吸収することが可能になる。なお、時間範囲Ｔthは、期間Ｔ1および期間Ｔ2で同一である必要はなく、異なる時間範囲を設定してもよい。

【0025】

（第３の実施形態）
上述した第１および第２の実施形態では、単独の静電容量センサ２を用いてウインク検知を行う例について説明した。しかしながら、静電容量センサ２が単独の場合、例えば図８に示すように、歩行中や車の中など振動や身体の動きがある場合にはそれがノイズとして重畳されるため、ウインク検知の一層の精度向上を図る上で限界がある。そこで、第３および第４の実施形態では、互いに近傍して配置された複数の静電容量センサ２を用いて、ウインク検知の精度向上を図る手法について説明する。

【0026】

図９は、第３の実施形態に係る撮像装置１の装着状態を示す図である。本実施形態では、図３に示した１ユニット化された同種の静電容量センサ２ａ〜２ｅのうち、上下方向に隣接して配置された２つ（例えば２ａ，２ｄ）を用いる。上方の静電容量センサ２ａの検知領域は、その少なくとも一部が眼鏡のツルによって遮られていると共に、撮影者のコメカミ部分の皮膚の動きの少ないところで反応するため、ウインク反応は少ない。一方、下方の静電容量センサ２ｄは、撮影者の頬近くに配置されており、遮蔽物もなくウインク反応がよい。そこで、一方の静電容量センサ２ｄの微分出力をｄＤ、他方の静電容量センサ２ａの微分出力をｄＵとすると、これらを統合した微分出力ｄＹを下式より算出する。

【0027】

ｄＹ ＝ ｄＤ − ｄＵ

【0028】

図１０は、第３の実施形態に係るウインク検知の説明図である。ウインクに起因した変化は、下方の静電容量センサ２ｄの微分出力ｄＤのみに現れる一方、ウインク以外のノイズに起因した変化は、上下の静電容量センサ２ａ，２ｄの双方の微分出力ｄＤ，ｄＵに現れる。これらの微分出力ｄＤ，ｄＵの差分を取ることで、ノイズに起因した変化がキャンセルされるので、ウインクに起因した部分の特定・抽出が容易になる。

【0029】

このように、第３の実施形態によれば、上下方向に配置された複数の静電容量センサ２を用い、これらの微分波形の差異（微分出力ｄＹ）を求めることでノイズの影響を除去でき、これにより、ウインク検知の精度を高めることができる。なお、本実施形態に係る手法は、上述した第１または第２の実施形態に係る手法と併用してもよい。

【0030】

（第４の実施形態）
図１１は、第４の実施形態に係る撮像装置の装着状態を示す図である。静電容量センサ２は、撮影者の筋肉の動きの影響を受ける。ウインクで主に取得したいものは眼輪筋などのウインク関連の筋肉の動作だが、撮像装置１の取付位置によっては咬筋の動きにも反応してしまう。その結果、ウインクではない他の動作、例えばガムを噛んだり、食べ物を食べたりする動作も拾ってしまうことになる。本実施形態では、このような動作をノイズとして除去すべく、前後方向に近接した複数の静電容量センサ（例えば２ｃ，２ｄ）を用いる。

【0031】

前方の静電容量センサ２ｃは、眼輪筋の近傍に配置されており、主に眼輪筋の動きを検知する。後方の静電容量センサ２ｅは、咬筋の近傍に配置されており、主に咬筋の動きを検知する。咬筋に起因したノイズの除去は、前後の静電容量センサ２ｃ，２ｅの微分出力Ｐを大小関係を比較することによって行われる。具体的には、まず、前後の静電容量センサ２ｃ，２ｅに関する微分出力Ｐの振幅を正規化する。前方の静電容量センサ２ｃの方が後方の静電容量センサ２ｅよりも微分出力Ｐが大きい場合には、ウインクとみなされる。この場合、制御部４は、上述したウインク判定条件を満たすことを前提として、撮像部５を制御する。一方、前方の静電容量センサ２ｃよりも後方の静電容量センサ２ｅの方が微分出力Ｐが大きい場合には、咬筋に起因したノイズとみなされる。この場合、制御部４は、上述したウインク判定条件を満たすか否かに関わりなく、撮像部５の制御を行わない。

【0032】

このように、第４の実施形態によれば、前後方向に配置された複数の静電容量センサ２を用い、これらの微分波形の差異（大小関係）に基づいてノイズの影響を除去することで、ウインク検知の精度を高めることができる。なお、本実施形態に係る手法は、上述した第１から第３の実施形態に係る手法と併用してもよい。

【0033】

なお、上述した各実施形態では、静電容量センサ２ａ〜２ｅのうち、最も大きな振幅が出力される１チャンネルのみをウインク検知用の主センサとして用いている。しかしながら、実際には、個々の撮像者によってチャンネル毎の波形の出やすさが異なるため、予め定められた１チャンネルのみを固定的に使用することは必ずしも好ましくない。そこで、全ての静電容量センサ２ａ〜２ｅを活用し、どれでもウインク検知用に使用可能にすることが好ましい。これにより、例えば、あるチャネルにあまり触れることがない人でも他のチャネルが触れることで、適切にウインクが検知できるので、個人差を低減することができる。この場合、静電容量センサ２ａ〜２ｅのうち、微分出力が大きい静電容量センサの出力（例えば、微分出力が最大の静電容量センサ）をウインク検知に用い、微分出力が小さい静電容量センサの出力はウインク検知に用いない。また、撮像装置の使用を開始した時点や、撮像装置の使用中の適宜のタイミングで取得した静電容量センサの出力に基づきウインク検知に用いる一又は複数の特定の静電容量センサを決定し、当該特定の静電容量センサの出力をウインク検知に用いてもよい。

【符号の説明】

【0034】

１ 撮像装置
２，２ａ〜２ｅ 静電容量センサ
３ 微分波形生成部
４ 制御部
５ 撮像部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】