特許 6227234 端末装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6227234

(24)【登録日】2017年10月20日

(45)【発行日】2017年11月8日

(54)【発明の名称】端末装置

(51)【国際特許分類】

   G06F 3/0484 20130101AFI20171030BHJP

   G06F 3/0346 20130101ALI20171030BHJP

   H04M 1/00 20060101ALI20171030BHJP

【ＦＩ】

   G06F3/0484 150

   G06F3/0346 426

   H04M1/00 L

   H04M1/00 R

【請求項の数】13

【全頁数】16

(21)【出願番号】特願2012-200557(P2012-200557)

(22)【出願日】2012年9月12日

(65)【公開番号】特開2014-56402(P2014-56402A)

(43)【公開日】2014年3月27日

【審査請求日】2015年3月18日

【審判番号】不服2016-17343(P2016-17343/J1)

【審判請求日】2016年11月21日

(73)【特許権者】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】110002343

【氏名又は名称】特許業務法人 東和なぎさ国際特許事務所

(72)【発明者】

【氏名】仲山 久美子

(72)【発明者】

【氏名】上野 美奈子

【合議体】

【審判長】 新川 圭二

【審判官】 和田 志郎

【審判官】 稲葉 和生

(56)【参考文献】

【文献】 特開２０１１−１３８４４９（ＪＰ，Ａ）

【文献】 特開２０１１−４１０６７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

G06F 3/048 - 3/0489

H04M 1/00

(57)【特許請求の範囲】

【請求項1】

表示部と、
端末装置の所定の座標系における重力の方向を検出する重力方向検出部と、
前記表示部に平行な面をｘｙ平面とした場合、当該ｘｙ平面に平行な重力の検出方向の変化を検出する変化検出部と、
ユーザの顔の映像を撮影する撮像部と、
前記撮像部で撮影したユーザの顔の映像に基づいて、前記端末装置を基準としたユーザの顔の向きを判定する向き判定部と、
前記変化検出部による検出結果における前記重力の検出方向と前記向き判定部による判定結果に基づいて、前記表示部に表示された画像の表示の向きを制御する表示制御部と、
を備えることを特徴とする端末装置。

【請求項2】

前記向き判定部による判定結果が、前記端末装置を基準として前記ユーザの顔の向きが変化していると判定されたとき、前記画像の表示の向きを変更することを特徴とする請求項１に記載の端末装置。

【請求項3】

前記向き判定部による判定結果が、前記端末装置を基準として前記ユーザの顔の向きが変化していないと判定されたとき、前記画像の表示の向きを変更しないことを特徴とする請求項１に記載の端末装置。

【請求項4】

前記向き判定部が前記ユーザの顔の認識に成功しなかった場合、前記撮像部の動作を停止することを特徴とする請求項１に記載の端末装置。

【請求項5】

前記向き判定部が前記ユーザの顔の認識に成功しなかった場合、前記表示制御部は、前記変化検出部による検出結果と前記向き判定部による判定結果に基づいた、前記画像の表示の向きを制御しないことを特徴とする請求項１に記載の端末装置。

【請求項6】

前記重力の検出方向が変化していない場合、前記撮像部は前記ユーザの顔の映像を撮影しないことを特徴とする請求項１に記載の端末装置。

【請求項7】

前記重力の検出方向が変化していない場合、前記画像の表示の向きを変更しないことを特徴とする請求項１に記載の端末装置。

【請求項8】

前記向き判定部は、前記ユーザの両目の位置に基づいて前記顔の向きを判定することを特徴とする請求項１に記載の端末装置。

【請求項9】

前記向き判定部は、前記ユーザの白目および黒目の位置に基づいて前記顔の向きを判定することを特徴とする請求項１に記載の端末装置。

【請求項10】

前記向き判定部は、前記ユーザがかけているメガネの形状に基づいて前記顔の向きを判定することを特徴とする請求項１に記載の端末装置。

【請求項11】

前記向き判定部は、前記ユーザの顔認識を行い、該顔認識の結果に基づいて前記顔の向きを判定することを特徴とする請求項１に記載の端末装置。

【請求項12】

端末装置の所定の座標系における重力の方向を検出する重力方向検出ステップと、
上記端末装置の表示部に平行な面をｘｙ平面とした場合、当該ｘｙ平面に平行な重力の検出方向の変化を検出する変化検出部と、
表示部に平行な重力の検出方向の変化を検出する変化検出ステップと、
ユーザの顔の映像を撮影する撮像ステップと、
前記撮像ステップで撮影したユーザの顔の映像に基づいて、前記端末装置を基準としたユーザの顔の向きを判定する向き判定ステップと、
前記変化検出ステップによる検出結果における前記重力の検出方向と前記向き判定ステップによる判定結果に基づいて、前記表示部に表示された画像の表示の向きを制御する表示制御ステップと、
を備えることを特徴とする表示制御方法。

【請求項13】

請求項１２に記載の表示制御方法をコンピュータに実行させることを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、端末装置に関し、詳しくは、画像を表示する携帯型の端末装置に関する。

【背景技術】

【0002】

近年、スマートフォンやタブレットＰＣなどの携帯型の端末装置が広く普及している。このような端末装置には、画像表示の下方向を重力の方向に常に一致させる画像表示の回転機能が備わっている。すなわち、端末装置を縦に持っても横に持っても、画像表示の方向が変化しないようにすることができる（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００５−２２９４９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した従来技術では、ユーザの姿勢に適した画像表示を行うことが難しいという問題があった。図１６、図１７は、このような従来の問題について説明する図である。

【0005】

図１６に示すように、体を起こしている姿勢（姿勢Ａ）から、横になった姿勢（姿勢Ｂ）にユーザが姿勢を変えると、上述した画像表示の回転機能により、画像表示の下方向が重力の方向と一致するように画像表示の向きが変更される。

【0006】

しかし、画像表示の向きが変更されると、横になったユーザにとって画像表示が横になり、画像がかえって見にくくなるという問題がある。横になったユーザにとって、画像表示の方向は維持されることが望ましい。

【0007】

また、図１７に示すように、姿勢Ｂ以外でも、ユーザはさまざまな姿勢で端末装置の画像をみる可能性があるので、それぞれの姿勢に適した画像表示を行うことができれば、ユーザにとって端末装置がより使いやすいものとなる。しかし、上述した従来技術は、このような目的を達するものではない。

【0008】

本発明は、上記実情に鑑み、ユーザがさまざまな姿勢で端末装置に表示された画像をみる場合に、その姿勢に適した向きで画像表示を行うことを可能とする端末装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

上記課題を解決する為に、本発明の第１の技術手段は、表示部と、端末装置の所定の座標系における重力の方向を検出する重力方向検出部と、前記表示部に平行な面をｘｙ平面とした場合、当該ｘｙ平面に平行な重力の検出方向の変化を検出する変化検出部と、ユーザの顔の映像を撮影する撮像部と、前記撮像部で撮影したユーザの顔の映像に基づいて、前記端末装置を基準としたユーザの顔の向きを判定する向き判定部と、前記変化検出部による検出結果における前記重力の検出方向と前記向き判定部による判定結果に基づいて、前記表示部に表示された画像の表示の向きを制御する表示制御部と、を備えることを特徴とする。
本発明の第２の技術手段は、第１の技術手段において、前記向き判定部による判定結果が、前記端末装置を基準として前記ユーザの顔の向きが変化していると判定されたとき、前記画像の表示の向きを変更することを特徴とする。
本発明の第３の技術手段は、第１の技術手段において、前記向き判定部による判定結果が、前記端末装置を基準として前記ユーザの顔の向きが変化していないと判定されたとき、前記画像の表示の向きを変更しないことを特徴とする。

【0010】

本発明の第４の技術手段は、第１の技術手段において、前記向き判定部が前記ユーザの顔の認識に成功しなかった場合、前記撮像部の動作を停止することを特徴とする。
本発明の第５の技術手段は、第１の技術手段において、前記向き判定部が前記ユーザの顔の認識に成功しなかった場合、前記表示制御部は、前記変化検出部による検出結果と前記向き判定部による判定結果に基づいた、前記画像の表示の向きを制御しないことを特徴とする。
本発明の第６の技術手段は、第１の技術手段において、前記重力の検出方向が変化していない場合、前記撮像部は前記ユーザの顔の映像を撮影しないことを特徴とする。
本発明の第７の技術手段は、第１の技術手段において、前記重力の検出方向が変化していない場合、前記画像の表示の向きを変更しないことを特徴とする。

【0011】

本発明の第８の技術手段は、第１の技術手段において、前記向き判定部は、前記ユーザの両目の位置に基づいて前記顔の向きを判定することを特徴とする。

【0012】

本発明の第９の技術手段は、第１の技術手段において、前記向き判定部は、前記ユーザの白目および黒目の位置に基づいて前記顔の向きを判定することを特徴とする。

【0013】

本発明の第１０の技術手段は、第１の技術手段において、前記向き判定部は、前記ユーザがかけているメガネの形状に基づいて前記顔の向きを判定することを特徴とする。

【0014】

本発明の第１１の技術手段は、第１の技術手段において、前記向き判定部は、前記ユーザの顔認識を行い、該顔認識の結果に基づいて前記顔の向きを判定することを特徴とする。
本発明の第１２の技術手段は、端末装置の所定の座標系における重力の方向を検出する重力方向検出ステップと、上記端末装置の表示部に平行な面をｘｙ平面とした場合、当該ｘｙ平面に平行な重力の検出方向の変化を検出する変化検出ステップと、ユーザの顔の映像を撮影する撮像ステップと、前記撮像ステップで撮影したユーザの顔の映像に基づいて、前記端末装置を基準としたユーザの顔の向きを判定する向き判定ステップと、前記変化検出ステップによる検出結果における前記重力の検出方向と前記向き判定ステップによる判定結果に基づいて、前記表示部に表示された画像の表示の向きを制御する表示制御ステップと、を備えることを特徴とする。
本発明の第１３の技術手段は、第１２の技術手段をコンピュータに実行させることを特徴とするコンピュータプログラムであることを特徴とする。

【発明の効果】

【0015】

本発明によれば、ユーザの顔の向きを判定し、その判定結果に基づいて、画像の表示の向きを制御することとしたので、ユーザがさまざまな姿勢で端末装置に表示された画像をみる場合に、その姿勢に適した向きで画像表示を行うことができる。

【図面の簡単な説明】

【0016】

【図1】本発明の実施形態１に係る端末装置の構成の一例を示す図である。

【図2】顔の向きの判定について説明する図である。

【図3】両目の位置関係から顔の向きを判定する処理について説明する図である。

【図4】白目・黒目の位置から顔の向きを判定する処理について説明する図である。

【図5】メガネの形状から顔の向きを判定する処理について説明する図である。

【図6】画像の表示の向きの制御について説明する図である。

【図7】本発明の実施形態１に係る画像表示制御処理の処理手順の一例を示すフローチャートである。

【図8】図７のステップＳ１０４に示した顔向き判定処理の処理手順の一例を示すフローチャートである。

【図9】図７のステップＳ１０４に示した顔向き判定処理の処理手順の別の一例を示すフローチャートである。

【図10】図７のステップＳ１０４に示した顔向き判定処理の処理手順の別の一例を示すフローチャートである。

【図11】図７のステップＳ１０４に示した顔向き判定処理の処理手順の別の一例を示すフローチャートである。

【図12】本発明の実施形態２に係る端末装置の構成の一例を示す図である。

【図13】画像の表示の向きの制御について説明する図である。

【図14】本発明の実施形態２に係る画像表示制御処理の処理手順の一例を示すフローチャートである。

【図15】本発明の実施形態２に係る画像表示制御処理の処理手順の一例を示すフローチャートである。

【図16】従来の問題について説明する図である。

【図17】従来の問題について説明する図である。

【発明を実施するための形態】

【0017】

以下、本発明の実施形態について図面を参照して詳細に説明する。

【0018】

（実施形態１）
図１は、本発明の実施形態１に係る端末装置１０の構成の一例を示す図である。端末装置１０は、例えば、スマートフォンやタブレットＰＣなどの携帯型の端末装置である。端末装置１０は、撮像部１１、タッチパネル部１２、通信処理部１３、記憶部１４、制御部１５を備える。

【0019】

撮像部１１は、カメラを備え、カメラで映像を撮影する処理部である。タッチパネル部１２は、ユーザから情報の入力を受け付ける入力部と、種々の情報を表示する表示部とからなるタッチパネルである。通信処理部１３は、無線ネットワーク、または、有線ネットワークを介して、他の装置と無線通信、または、有線通信をそれぞれ行う処理部である。

【0020】

記憶部１４は、メモリやハードディスク装置などの記憶デバイスである。記憶部１４は、画像データ１４ａ、顔向きデータ１４ｂなどを記憶する。画像データ１４ａは、タッチパネル部１２により表示される画像のデータである。顔向きデータ１４ｂは、後に説明する向き判定部１５ａにより判定されたユーザの顔の向きのデータである。

【0021】

制御部１５は、端末装置１０の各部を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの制御デバイスである。制御部１５は、向き判定部１５ａ、および、表示制御部１５ｂを備える。

【0022】

向き判定部１５ａは、ユーザの顔の向きを判定する処理部である。具体的には、向き判定部１５ａは、撮像部１１により撮影された映像を用いて顔全体を認識する認識処理を行い、その結果に基づいてユーザの顔の向きを判定する。このように、顔全体を認識することにより、ユーザの顔の向きを精度よく判定することができる。

【0023】

図２は、顔の向きの判定について説明する図である。向き判定部１５ａは、顔認識処理の結果、ユーザの顔全体が認識できた場合、ユーザの顔が、図２（Ａ）に示すように、縦向きなのか、図２（Ｂ）に示すように、横向きなのかを判定する。その際、向き判定部１５ａは、端末装置１０を基準として、縦向きか横向きかを判定する。

【0024】

ここで、撮像部１１は、短い所定の間隔でユーザの顔画像を撮影する。そして、向き判定部１５ａは、撮影された各顔画像について順次顔認識処理を行い、顔が縦向きや横向きに変化しているか否かを判定する。向き判定部１５ａは、この変化を追跡することにより、ユーザの顔が逆さまか否か、ユーザの顔が右側に傾いているのか、左側に傾いているのかを判定することができる。

【0025】

図２（Ａ）には、ユーザの顔の向きが上下逆さまではない例が示されており、図２（Ｂ）には、ユーザの顔が、ユーザの左側に傾いている例が示されている。

【0026】

また、向き判定部１５ａは、撮影された映像に対する顔認識処理により両目を検出し、両目の位置関係から顔の向きを判定することとしてもよい。これにより、効率的に顔の向きを判定することができる。図３は、両目の位置関係から顔の向きを判定する処理について説明する図である。

【0027】

図３（Ａ）に示されるように、両目が横に並んでいる場合は、向き判定部１５ａは、ユーザの顔が縦向きであると判定する。また、図３（Ｂ）に示されるように、両目が縦に並んでいる場合は、向き判定部１５ａは、ユーザの顔が横向きであると判定する。この判定の際、向き判定部１５ａは、端末装置１０を基準として、縦向きか横向きかを判定する。

【0028】

この場合も、撮像部１１は、短い所定の間隔でユーザの顔画像を撮影する。そして、向き判定部１５ａは、撮影された各顔画像について順次顔認識処理を行い、両目の位置関係が変化しているか否かを判定する。向き判定部１５ａは、この変化を追跡することにより、ユーザの顔が逆さまか否か、ユーザの顔が右側に傾いているのか、左側に傾いているのかを判定することができる。

【0029】

図３（Ａ）には、ユーザの顔の向きが上下逆さまではない例が示されており、図３（Ｂ）には、ユーザの顔が、ユーザの左側に傾いている例が示されている。

【0030】

さらに、向き検出部１６ａは、ユーザの白目・黒目の位置からユーザの顔の向きを判定することとしてもよい。これにより、ユーザの顔の映像において片目しか認識されない場合でも、顔の向きを判定することが可能となる。図４は、白目・黒目の位置から顔の向きを判定する処理について説明する図である。

【0031】

図４（Ａ）に示されるように、白目と黒目が横に並んでいる場合は、向き判定部１５ａは、ユーザの顔が縦向きであると判定する。また、図４（Ｂ）に示されるように、白目と黒目が縦に並んでいる場合は、向き判定部１５ａは、ユーザの顔が横向きであると判定する。この判定の際、向き判定部１５ａは、端末装置１０を基準として、縦向きか横向きかを判定する。

【0032】

この場合も、撮像部１１は、短い所定の間隔でユーザの顔画像を撮影する。そして、向き判定部１５ａは、撮影された各顔画像について順次顔認識処理を行い、白目・黒目の位置が変化しているか否かを判定する。向き判定部１５ａは、この変化を追跡することにより、ユーザの顔が逆さまか否か、ユーザの顔が右側に傾いているのか、左側に傾いているのかを判定することができる。

【0033】

図４（Ａ）には、ユーザの顔の向きが上下逆さまではない例が示されており、図４（Ｂ）には、ユーザの顔が、ユーザの左側に傾いている例が示されている。

【0034】

また、ユーザがサングラスなどのメガネを着用している場合は、撮影した映像の画像認識処理によりメガネを検出し、メガネの形状から顔の向きを判定することとしてもよい。これにより、たとえユーザがサングラスなどのメガネを着用している場合でも、ユーザの顔の向きを判定することができる。図５は、メガネの形状から顔の向きを判定する処理について説明する図である。

【0035】

図５（Ａ）に示されるように、２つのレンズが横に並んでいる場合は、向き判定部１５ａは、ユーザの顔が縦向きであると判定する。また、図５（Ｂ）に示されるように、２つのレンズが縦に並んでいる場合は、向き判定部１５ａは、ユーザの顔が横向きであると判定する。この判定の際、向き判定部１５ａは、端末装置１０を基準として、縦向きか横向きかを判定する。

【0036】

この場合も、撮像部１１は、短い所定の間隔でユーザの顔画像を撮影する。そして、向き判定部１５ａは、撮影された各顔画像について順次顔認識処理を行い、レンズの位置関係が変化しているか否かを判定する。向き判定部１５ａは、この変化を追跡することにより、ユーザの顔が逆さまか否か、ユーザの顔が右側に傾いているのか、左側に傾いているのかを判定することができる。

【0037】

図５（Ａ）には、ユーザの顔の向きが上下逆さまではない例が示されており、図５（Ｂ）には、ユーザの顔が、ユーザの左側に傾いている例が示されている。

【0038】

図１の説明に戻ると、表示制御部１５ｂは、向き判定部１５ａによる判定結果に基づいて、画像の表示の向きを制御する処理部である。図６は、画像の表示の向きの制御について説明する図である。

【0039】

表示制御部１５ｂは、向き判定部１５ａによりユーザの顔が横向きであると判定された場合に、タッチパネル部１２に、画像２０を横向きに表示させる。その際、表示制御部１５ｂは、ユーザの顔が、ユーザの右側に傾いているのか、左側に傾いているのかに応じて、ユーザに対して画像２０が逆さまに表示されないようにする。

【0040】

また、表示制御部１５ｂは、向き判定部１５ａによりユーザの顔が縦向きであると判定された場合に、タッチパネル部１２に、画像２０を縦向きに表示させる。その際、表示制御部１５ｂは、ユーザの顔の向きが、上下逆さまか否かに応じて、ユーザに対して画像２０が逆さまに表示されないようにする。

【0041】

つぎに、本発明の実施形態１に係る画像表示制御処理の処理手順について説明する。図７は、本発明の実施形態１に係る画像表示制御処理の処理手順の一例を示すフローチャートである。

【0042】

まず、図１に示した端末装置１０の撮像部１１は、カメラを起動し（ステップＳ１０１）、ユーザの映像を撮影する（ステップＳ１０２）。そして、向き判定部１５ａは、ユーザの映像から、図２〜図５で説明したようにして、ユーザの顔の向きの判定処理を行う（ステップＳ１０３）。この処理の処理手順については、後に詳しく説明する。

【0043】

続いて、向き判定部１５ａは、ステップＳ１０３における顔の向きの判定処理が初回の判定処理か否かを判定する（ステップＳ１０４）。顔の向きの判定処理が初回の判定処理である場合（ステップＳ１０４においてＹＥＳの場合）、記憶部１４は、判定の結果得られた顔の向きの情報を、顔向きデータ１４ｂとして記憶する（ステップＳ１０５）。その後、ステップＳ１０２以降の処理が再度実行される。

【0044】

ステップＳ１０４において、顔の向きの判定処理が初回の判定処理でないと判定された場合（ステップＳ１０４においてＮＯの場合）、向き判定部１５ａは、顔向きデータ１４ｂとして記憶部１４に記憶された顔の向きの情報と、ステップＳ１０３における判定の結果得られた顔の向きの情報とを比較し、顔の向きが変化したか否かを判定する（ステップＳ１０６）。

【0045】

顔の向きが変化した場合（ステップＳ１０６においてＹＥＳの場合）、表示制御部１５ｂは、顔の向きに応じて、図６を用いて説明したように、画像の表示の向きを変更する（ステップＳ１０７）。そして、記憶部１４は、ステップＳ１０３で判定された顔の向きの情報を、顔向きデータ１４ｂとして記憶する（ステップＳ１０８）。この情報は、つぎにステップＳ１０６の判定処理がなされる場合に参照される。

【0046】

ステップＳ１０８の処理の後、または、ステップＳ１０６において、顔の向きが変化していない場合（ステップＳ１０６においてＮＯの場合）、向き判定部１５ａは、この画像表示制御処理の終了指示をユーザから受け付けたか否かを判定する（ステップＳ１０９）。この終了指示は、例えば、画像の向きの変更を行わないようにする指示などである。

【0047】

ステップＳ１０９において、画像表示制御処理の終了指示をユーザから受け付けた場合（ステップＳ１０９においてＹＥＳの場合）、撮像部１１は、カメラを停止する（ステップＳ１１０）。そして、この画像表示制御処理は終了する。画像表示制御処理の終了指示をユーザから受け付けていない場合（ステップＳ１０９においてＮＯの場合）、ステップＳ１０２以降の処理が再度実行される。

【0048】

つぎに、図７のステップＳ１０３に示した顔向き判定処理について説明する。図８は、図７のステップＳ１０３に示した顔向き判定処理の処理手順の一例を示すフローチャートである。具体的には、図８は、図２で説明した顔認識処理により顔の向きを判定する場合のフローチャートである。

【0049】

まず、端末装置１０の向き判定部１５ａは、顔認識処理を実行する（ステップＳ２０１）。そして、向き判定部１５ａは、顔の認識が成功したか否かを判定する（ステップＳ２０２）。顔の認識が成功した場合（ステップＳ２０２においてＹＥＳの場合）、向き判定部１５ａは、顔の認識結果に基づいて、図２で説明したようにして、端末装置１０を基準とした顔の向きを判定する（ステップＳ２０３）。

【0050】

具体的には、向き判定部１５ａは、顔の向きが縦向きか、横向きかを判定する。さらに、向き判定部１５ａは、ユーザの顔の向きが縦向きの場合、それが上下逆さまか否かを判定する。また、向き判定部１５ａは、ユーザの顔の向きが横向きの場合、ユーザの顔が、ユーザの右側に傾いているのか、左側に傾いているのかを判定する。

【0051】

ステップＳ２０２において、顔の認識が成功しなかった場合（ステップＳ２０２においてＮＯの場合）、図７に示したステップＳ１０９以降の処理が実行される。

【0052】

つぎに、図３で説明したように、ユーザの顔の両目を検出することにより顔の向きを判定する場合について説明する。図９は、図７のステップＳ１０３に示した顔向き判定処理の処理手順の別の一例を示すフローチャートである。

【0053】

まず、端末装置１０の向き判定部１５ａは、両目の認識処理を実行する（ステップＳ３０１）。そして、向き判定部１５ａは、両目の認識が成功したか否かを判定する（ステップＳ３０２）。両目の認識が成功した場合（ステップＳ３０２においてＹＥＳの場合）、向き判定部１５ａは、両目の認識結果に基づいて、図３で説明したようにして、端末装置１０を基準とした顔の向きを判定する（ステップＳ３０３）。

【0054】

具体的には、向き判定部１５ａは、顔の向きが縦向きか、横向きかを判定する。さらに、向き判定部１５ａは、ユーザの顔の向きが縦向きの場合、それが上下逆さまか否かを判定する。また、向き判定部１５ａは、ユーザの顔の向きが横向きの場合、ユーザの顔が、ユーザの右側に傾いているのか、左側に傾いているのかを判定する。

【0055】

ステップＳ３０２において、両目の認識が成功しなかった場合（ステップＳ３０２においてＮＯの場合）、図７に示したステップＳ１０９以降の処理が実行される。

【0056】

つぎに、図４で説明したように、ユーザの白目および黒目を検出することにより顔の向きを判定する場合について説明する。図１０は、図７のステップＳ１０３に示した顔向き判定処理の処理手順の別の一例を示すフローチャートである。

【0057】

まず、端末装置１０の向き判定部１５ａは、白目および黒目の認識処理を実行する（ステップＳ４０１）。そして、向き判定部１５ａは、白目および黒目の認識が成功したか否かを判定する（ステップＳ４０２）。白目および黒目の認識が成功した場合（ステップＳ４０２においてＹＥＳの場合）、向き判定部１５ａは、白目および黒目の認識結果に基づいて、図４で説明したようにして、端末装置１０を基準とした顔の向きを判定する（ステップＳ３０３）。

【0058】

具体的には、向き判定部１５ａは、顔の向きが縦向きか、横向きかを判定する。さらに、向き判定部１５ａは、ユーザの顔の向きが縦向きの場合、それが上下逆さまか否かを判定する。また、向き判定部１５ａは、ユーザの顔の向きが横向きの場合、ユーザの顔が、ユーザの右側に傾いているのか、左側に傾いているのかを判定する。

【0059】

ステップＳ４０２において、白目および黒目の認識が成功しなかった場合（ステップＳ４０２においてＮＯの場合）、図７に示したステップＳ１０９以降の処理が実行される。

【0060】

つぎに、図５で説明したように、ユーザが着用するメガネの形状を検出することにより顔の向きを判定する場合について説明する。図１１は、図７のステップＳ１０３に示した顔向き判定処理の処理手順の別の一例を示すフローチャートである。

【0061】

まず、端末装置１０の向き判定部１５ａは、メガネの２つのレンズの認識処理を実行する（ステップＳ５０１）。そして、向き判定部１５ａは、２つのレンズの認識が成功したか否かを判定する（ステップＳ５０２）。２つのレンズの認識が成功した場合（ステップＳ５０２においてＹＥＳの場合）、向き判定部１５ａは、２つのレンズの認識結果に基づいて、図５で説明したようにして、端末装置１０を基準とした顔の向きを判定する（ステップＳ５０３）。

【0062】

具体的には、向き判定部１５ａは、顔の向きが縦向きか、横向きかを判定する。さらに、向き判定部１５ａは、ユーザの顔の向きが縦向きの場合、それが上下逆さまか否かを判定する。また、向き判定部１５ａは、ユーザの顔の向きが横向きの場合、ユーザの顔が、ユーザの右側に傾いているのか、左側に傾いているのかを判定する。

【0063】

ステップＳ５０２において、２つのレンズの認識が成功しなかった場合（ステップＳ５０２においてＮＯの場合）、図７に示したステップＳ１０９以降の処理が実行される。

【0064】

（実施形態２）
上記実施形態１では、顔の向きの判定結果に基づいて、画像の表示の向きを制御することとしたが、さらに重力の方向に基づいて、画像の表示の向きを制御することとしてもよい。本実施形態２では、このような場合について説明する。

【0065】

図１２は、本発明の実施形態２に係る端末装置３０の構成の一例を示す図である。端末装置３０は、例えば、スマートフォンやタブレットＰＣなどの携帯型の端末装置である。端末装置３０は、重力方向検出部３１、撮像部３２、タッチパネル部３３、通信処理部３４、記憶部３５、制御部３６を備える。

【0066】

重力方向検出部３１は、端末装置３０において設定された所定の座標系における重力の方向を検出するセンサである。撮像部３２は、カメラを備え、カメラで映像を撮影する処理部である。この撮像部３２は、後述する変化検出部３６ａにより、上記所定の座標系における重力の検出方向の変化が検出された場合に、ユーザの映像を撮影する。撮影された映像は、ユーザの顔の向きを判定するために用いられる。

【0067】

重力の検出方向の変化が検出された場合、ユーザの顔の向きが変化した可能性が高いと考えられる。そのため、重力の検出方向の変化が検出された場合にカメラでユーザの映像を撮影し、ユーザの顔の向きを判定することにより、ユーザの顔の向きの判定を効率的に行うことができる。

【0068】

図１２の説明に戻ると、タッチパネル部３３、通信処理部３４は、図１で説明したタッチパネル部１２、通信処理部１３と同様のものである。

【0069】

記憶部３５は、メモリやハードディスク装置などの記憶デバイスである。記憶部３５は、画像データ３５ａ、顔向きデータ３５ｂ、重力方向データ３５ｃなどを記憶する。画像データ３５ａ、顔向きデータ３５ｂは、図１で説明した画像データ１４ａ、顔向きデータ１４ｂと同様のものである。重力方向データ３５ｃは、重力方向検出部３１により検出された重力の方向のデータである。

【0070】

制御部３６は、端末装置３０の各部を制御するＣＰＵなどの制御デバイスである。制御部３６は、変化検出部３６ａ、向き判定部３６ｂ、および、表示制御部３６ｃを備える。

【0071】

変化検出部３６ａは、重力の検出方向の変化を検出する処理部である。向き判定部３６ｂは、図１で説明した向き判定部１５ａと同様のものである。表示制御部３６ｃは、変化検出部３６ａによる検出結果や、向き判定部３６ｂによる判定結果に基づいて、画像の表示の向きを制御する処理部である。図１３は、画像の表示の向きの制御について説明する図である。

【0072】

図１３（Ａ）には、顔の向きは変化しないが、重力の向きが変化する場合が示されている。重力の向きがｘ方向からｙ方向に変化する場合、すなわち、縦向きに保持されていた端末装置１０が横向きに保持される場合、表示制御部３６ｃは、画面２０を９０度左に回転させる。その際、表示制御部３６ｃは、ユーザの顔の向きが、上下逆さまか否かに応じて、ユーザに対して画像２０が逆さまに表示されないようにする。

【0073】

また、重力の向きがｙ方向からｘ方向に変化する場合、すなわち、横向きに保持されていた端末装置１０が縦向きに保持される場合、表示制御部３６ｃは、画面２０を右に９０度回転させる。この場合も、表示制御部３６ｃは、ユーザの顔の向きが、上下逆さまか否かに応じて、ユーザに対して画像２０が逆さまに表示されないようにする。

【0074】

一方、図１３（Ｂ）には、顔の向きと、重力の向きがともに変化する場合が示されている。顔の向きが縦向きから横向きに変化するとともに、重力の向きがｘ方向からｙ方向に変化する場合、すなわち、縦向きに保持されていた端末装置１０が横向きに保持される場合、表示制御部３６ｃは、画面２０の表示の方向を維持する。

【0075】

また、顔の向きが横向きから縦向きに変化するとともに、重力の向きがｙ方向からｘ方向に変化する場合、すなわち、横向きに保持されていた端末装置１０が縦向きに保持される場合も、表示制御部３６ｃは、画面２０の表示の方向を維持する。

【0076】

つぎに、本発明の実施形態２に係る画像表示制御処理の処理手順について説明する。図１４、図１５は、本発明の実施形態２に係る画像表示制御処理の処理手順の一例を示すフローチャートである。

【0077】

まず、図１２に示した端末装置３０の撮像部３２は、カメラを起動し（ステップＳ６０１）、ユーザの映像を撮影する（ステップＳ６０２）。そして、向き判定部１５ａは、ユーザの映像から、図２〜図５で説明したようにして、ユーザの顔の向きの判定処理を行う（ステップＳ６０３）。この処理の処理手順は、図８〜図１１を用いて説明したものと同様である。

【0078】

そして、記憶部３５は、ステップＳ６０３で判定された顔の向きの情報を、顔向きデータ３５ｂとして記憶する（ステップＳ６０４）。この情報は、ステップＳ６１２の判定処理がなされる場合に参照される。

【0079】

その後、重力方向検出部３１は、重力の方向を検出する（ステップＳ６０５）。そして、変化検出部３６ａは、ステップＳ６０５における重力の検出処理が初回の検出処理か否かを判定する（ステップＳ６０６）。

【0080】

重力の方向の検出処理が初回の検出処理である場合（ステップＳ６０６においてＹＥＳの場合）、記憶部３５は、検出の結果得られた重力の方向の情報を、重力方向データ３５ｂｃとして記憶する（ステップＳ６０７）。その後、ステップＳ６０５以降の処理が再度実行される。

【0081】

重力の方向の検出処理が初回の検出処理でない場合（ステップＳ６０６においてＮＯの場合）、変化検出部３６ａは、重力方向データ３５ｃとして記憶部３５に記憶された重力の方向の情報と、ステップＳ６０５における検出の結果得られた重力の方向の情報とを比較し、重力の検出方向が変化したか否かを判定する（ステップＳ６０８）。

【0082】

ステップＳ６０８において、重力の検出方向が変化していない場合（ステップＳ６０８においてＮＯの場合）、ステップＳ６０５以降の処理が再度実行される。ステップＳ６０８において、重力の検出方向が変化した場合（ステップＳ６０８においてＹＥＳの場合）、記憶部３５は、ステップＳ６０５で検出された重力の方向を重力方向データ３５ｃとして記憶する（ステップＳ６０９）。

【0083】

その後、図１５に示されるように、撮像部３２は、ユーザの映像を撮影する（ステップＳ６１０）。続いて、向き判定部３６ｂは、ユーザの映像から、図２〜図５で説明したようにして、ユーザの顔の向きを判定する処理を行う（ステップＳ６１１）。この判定処理の処理手順は、図８〜図１１を用いて説明したものと同様である。

【0084】

そして、向き判定部３６ｂは、顔向きデータ３５ｂとして記憶部３５に記憶された顔の向きの情報と、ステップＳ６１１における判定の結果得られた顔の向きの情報とを比較し、端末装置３０を基準として、顔の向きが変化したか否かを判定する（ステップＳ６１２）。

【0085】

顔の向きが変化した場合（ステップＳ６１２においてＹＥＳの場合）、表示制御部３６ｃは、図１３（Ａ）を用いて説明したように、重力の方向に応じて、画像の表示の向きを変更する（ステップＳ６１３）。そして、記憶部３５は、ステップＳ６１１で判定された顔の向きの情報を、顔向きデータ３５ｂとして記憶する（ステップＳ６１４）。この情報は、つぎにステップＳ６１２の判定処理がなされる場合に参照される。

【0086】

一方、ステップＳ６１２において、顔の向きが変化していない場合（ステップＳ６１２においてＮＯの場合）、表示制御部３６ｃは、図１３（Ｂ）を用いて説明したように、画像の表示の向きを維持する（ステップＳ６１５）。

【0087】

ステップＳ６１４の処理の後、ステップＳ６１５の処理の後、または、図８のステップＳ２０２、図９のステップＳ３０２、図１０のステップＳ４０２、若しくは、図１１のステップＳ５０２においてＮＯと判定された場合、向き判定部３６ｂは、この画像表示制御処理の終了指示をユーザから受け付けたか否かを判定する（ステップＳ６１６）。この終了指示は、例えば、画像の向きの変更を行わないようにする指示などである。

【0088】

画像表示制御処理の終了指示をユーザから受け付けた場合（ステップＳ６１６においてＹＥＳの場合）、撮像部３２は、カメラを停止する（ステップＳ６１７）。その後、この画像表示制御処理は終了する。

【0089】

ステップＳ６１６において、画像表示制御処理の終了指示をユーザから受け付けていない場合（ステップＳ６１６においてＮＯの場合）、図１４に示したステップＳ６０５以降の処理が再度実行される。

【0090】

また、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲内で各種の変形、修正が可能である。

【符号の説明】

【0091】

１０…端末装置、１１…撮像部、１２…タッチパネル部、１３…通信処理部、１４…記憶部、１４ａ…画像データ、１４ｂ…顔向きデータ、１５…制御部、１５ａ…向き判定部、１５ｂ…表示制御部、２０…画像、３０…端末装置、３１…重力方向検出部、３２…撮像部、３３…タッチパネル部、３４…通信処理部、３５…記憶部、３５ａ…画像データ、３５ｂ…顔向きデータ、３５ｃ…重力方向データ、３６…制御部、３６ａ…変化検出部、３６ｂ…向き判定部、３６ｃ…表示制御部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】