特許 5747114 画像表示装置、画像表示方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5747114

(24)【登録日】2015年5月15日

(45)【発行日】2015年7月8日

(54)【発明の名称】画像表示装置、画像表示方法及びプログラム

(51)【国際特許分類】

   G06F 3/0488 20130101AFI20150618BHJP

   G06F 3/0485 20130101ALI20150618BHJP

   G06F 3/041 20060101ALI20150618BHJP

【ＦＩ】

   G06F3/048 620

   G06F3/048 656D

   G06F3/041 595

【請求項の数】5

【全頁数】8

(21)【出願番号】特願2014-210698(P2014-210698)

(22)【出願日】2014年10月15日

(62)【分割の表示】特願2012-167560(P2012-167560)の分割

【原出願日】2012年7月27日

(65)【公開番号】特開2015-46177(P2015-46177A)

(43)【公開日】2015年3月12日

【審査請求日】2014年10月15日

【早期審査対象出願】

(73)【特許権者】

【識別番号】504437801

【氏名又は名称】グリー株式会社

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100109830

【弁理士】

【氏名又は名称】福原 淑弘

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100075672

【弁理士】

【氏名又は名称】峰 隆司

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100140176

【弁理士】

【氏名又は名称】砂川 克

(74)【代理人】

【識別番号】100158805

【弁理士】

【氏名又は名称】井関 守三

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100124394

【弁理士】

【氏名又は名称】佐藤 立志

(74)【代理人】

【識別番号】100112807

【弁理士】

【氏名又は名称】岡田 貴志

(74)【代理人】

【識別番号】100111073

【弁理士】

【氏名又は名称】堀内 美保子

(72)【発明者】

【氏名】芳賀 洋行

【審査官】 佐藤 匡

(56)【参考文献】

【文献】 特開２０１１−１７０５０１（ＪＰ，Ａ）

【文献】 特開２０１１−１３３９４９（ＪＰ，Ａ）

【文献】 国際公開第２０１２／０９６０６５（ＷＯ，Ａ１）

【文献】 国際公開第２００６／０８２７８９（ＷＯ，Ａ１）

【文献】 特開２０１２−１６８７９０（ＪＰ，Ａ）

【文献】 特開２００９−１３９４５２（ＪＰ，Ａ）

【文献】 特開平０８−０１６８０８（ＪＰ，Ａ）

【文献】 特開２０１１−０４４８２１（ＪＰ，Ａ）

【文献】 特開２００７−１１０２８８（ＪＰ，Ａ）

【文献】 特開２００６−１４８２９２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０４１，３／０４８５，３／０４８８

Ｇ０９Ｇ ５／３４

(57)【特許請求の範囲】

【請求項1】

画像を表示する表示部と、上記表示部と一体にして設けられ、タッチ操作を受付けるタッチ入力部とを備えた装置での画像表示方法であって、
上記タッチ入力部で受付ける移動方向を指示するタッチ操作に対し、上記移動方向に応じた画像を取得する画像取得工程と、
上記画像取得工程で取得した移動方向に応じた画像を基本ブロック単位で低解像度化する解像度変換工程と、
上記解像度変換工程により低解像度化された移動方向に応じた画像を、上記タッチ入力部で受付けた移動方向への移動途中に表示する表示制御工程と、
上記移動方向を指示するタッチ操作の移動速度を検出する移動速度検出工程と、
上記移動速度検出工程により検出されたタッチ操作の移動速度に基づいて、上記基本ブロックのサイズを変更するサイズ変更工程とを具備し、
上記解像度変換工程、表示制御工程、移動速度検出工程及びサイズ変更工程は、上記タッチ入力部で受付けたタッチ操作の移動速度に基づくタッチ操作の種別に基づいて実行の有無が選択される、
画像表示方法。

【請求項2】

上記移動方向を指示するタッチ操作の種別は、予め設定された速度より高い移動速度で操作するフリック操作及び上記予め設定された移動速度よりも遅い速度で操作するスライド操作を含み、
上記選択工程は、上記フリック操作が行なわれた場合に、上記解像度変換工程、表示制御工程、移動速度検出工程及びサイズ変更工程の実行を選択することを特徴とする請求項１記載の画像表示方法。

【請求項3】

上記解像度変換工程は、上記タッチ入力部で検出したタッチ操作の移動速度に応じて画像を低解像度化する度合いを可変設定する
ことを特徴とする請求項１記載の画像表示方法。

【請求項4】

画像を表示する表示部と、
上記表示部と一体にして設けられ、タッチ操作を受付けるタッチ入力部と、
上記タッチ入力部で受付ける移動方向を指示するタッチ操作に対し、上記移動方向に応じた画像を取得する画像取得手段と、 上記画像取得手段で取得した上記移動方向に応じた画像を基本ブロック単位で低解像度化する解像度変換手段と、
上記解像度変換手段により低解像度化された移動方向に応じた画像を、上記タッチ入力部で受付けた移動方向への移動途中に表示する表示制御手段と
上記移動方向を指示するタッチ操作の移動速度を検出する移動速度検出手段と、
上記移動速度検出手段により検出されたタッチ操作の移動速度に基づいて、上記基本ブロックのサイズを変更するサイズ変更手段と、
上記タッチ入力部で受付けたタッチ操作の移動速度に基づくタッチ操作の種別に基づいて、上記解像度変換手段、表示制御手段、移動速度検出手段及びサイズ変更手段の実行の有無を選択する選択手段と
を具備する画像表示装置。

【請求項5】

画像を表示する表示部と、上記表示部と一体にして設けられ、タッチ操作を受付けるタッチ入力部とを備えた装置が内蔵するコンピュータが実行するプログラムであって、
上記コンピュータに、
上記タッチ入力部で受付ける移動方向を指示するタッチ操作に対し、上記移動方向に応じた画像を取得する画像取得ステップと、 上記画像取得ステップで取得した上記移動方向に応じた画像を基本ブロック単位で低解像度化する解像度変換ステップと、
上記解像度変換ステップにより低解像度化された移動方向に応じた画像を、上記タッチ入力部で受付けた移動方向への移動途中に表示する表示制御ステップと、
上記移動方向を指示するタッチ操作の移動速度を検出する移動速度検出ステップと、
上記移動速度検出ステップにより検出されたタッチ操作の移動速度に基づいて、上記基本ブロックのサイズを変更するサイズ変更ステップとを実行させ、
上記解像度変換ステップ、表示制御ステップ、移動速度検出ステップ及びサイズ変更ステップは、上記タッチ入力部で受付けたタッチ操作の移動速度に基づくタッチ操作の種別に基づいて実行の有無が選択される、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えばスマートフォン等に好適な画像表示装置、画像表示方法及びプログラムに関する。

【背景技術】

【0002】

近時、スマートフォンと総称される、携帯電話機能を備えた小型のコンピュータ端末が広く普及している。この種のスマートフォンではそのほとんどの機種が、一般的なキー入力やスタイラスなどを必要とせず、指で直接画面上のアイコンやキーボード、ボタン等に触れるタッチスクリーン方式を採用しており、その操作方法等に応じた技術が各種提案されている。（例えば、特許文献１）

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２−１０８６７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

スマートフォンのタッチスクリーン方式の基本的な操作の１つに、画面を指で素早く上下左右にはらうように操作する「フリック」と称される技術がある。この操作を行なうことにより、画面内に表示されている画像の範囲を素早く移動させることができる。

【0005】

しかしながら、表示する画像を素早く移動させることにより、端末側での描画処理に要する負荷が大きいため、メモリの消費が大きく、特にグラフィクス用のプロセッサなど端末のハードウェアの演算性能が低い場合には、移動速度の点でユーザが意図する操作感が得られないなど、なんらかの負荷を軽減する技術が望まれている。

【0006】

本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、画面で表示する画像移動時にかかる負荷を充分軽減することが可能な画像表示装置、画像表示方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0007】

本発明の一態様は、画像を表示する表示部と、上記表示部と一体にして設けられ、タッチ操作を受付けるタッチ入力部とを備えた装置での画像表示方法であって、上記タッチ入力部で受付ける移動方向を指示するタッチ操作に対し、上記移動方向に応じた画像を取得する画像取得工程と、上記画像取得工程で取得した移動方向に応じた画像を基本ブロック単位で低解像度化する解像度変換工程と、上記解像度変換工程により低解像度化された移動方向に応じた画像を、上記タッチ入力部で受付けた移動方向への移動途中に表示する表示制御工程と、上記移動方向を指示するタッチ操作の移動速度を検出する移動速度検出工程と、上記移動速度検出工程により検出されたタッチ操作の移動速度に基づいて、上記基本ブロックのサイズを変更するサイズ変更工程とを具備し、上記解像度変換工程、表示制御工程、移動速度検出工程及びサイズ変更工程は、上記タッチ入力部で受付けたタッチ操作の移動速度に基づくタッチ操作の種別に基づいて実行の有無が選択される、画像表示方法、である。

【発明の効果】

【0008】

本発明によれば、画面で表示する画像移動時にかかる負荷を充分軽減することが可能となる。

【図面の簡単な説明】

【0009】

【図1】本発明の一実施形態に係るスマートフォンの機能回路構成を示すブロック図。

【図2】同実施形態に係るタッチパネルでの移動操作に対する処理内容を示すフローチャート。

【図3】同実施形態に係る画像データの解像度変換の内容を簡易化して示す図。

【発明を実施するための形態】

【0010】

以下、本発明をスマートフォンに適用した場合の一実施形態について図面を参照して説明する。

【0011】

図１は、本実施形態に係るスマートフォン１０の機能回路構成を示すブロック図である。同図で、１１がこのスマートフォン１０内の制御動作を統括するＣＰＵであり、キャッシュメモリやＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を纏めて１チップ化して構成される。

【0012】

このＣＰＵ１１に対し、システムバスＳＢを介してメインメモリ１２、ストレージ部１３、広域通信部１４、近距離通信部１５、表示コントローラ１６、タッチパネルコントローラ１７、送受話処理部１８、撮影画像処理部１９、及びセンサ群２０が接続される。

【0013】

メインメモリ１２は、例えばＤＲＡＭで構成され、ＣＰＵ１１のワークメモリとして機能するもので、ＣＰＵ１１と共に１チップ化する構成を採っても良い。ストレージ部１３は、例えばＨＤＤ（ハードディスク装置）またはフラッシュメモリ等の半導体メモリで構成され、ＯＳやアプリケーションを含むすべての動作プログラム、各種データ等を記憶する媒体である。

【0014】

広域通信部１４は、２Ｇ（ＧＳＭ（登録商標）／ＧＰＲＳ／ＥＤＧＥ）及び３Ｇ（Ｗ−ＣＤＭＡ／ＣＤＭＡ２０００ １ｘＭＣ／ＣＤＭＡ２０００ １ｘＥＶ−ＤＯ）の各通信方式に対応し、アンテナ２１を介して最寄りの図示しない基地局との間でセルラー方式のデータの送受信を行なう。

【0015】

近距離通信部１５は、Ｗｉ−Ｆｉ（ＩＥＥＥ８０２．１１ｂ／ｇ／ｎ）及びＢｌｕｅｔｏｏｔｈ（登録商標）４．０−ＨＳの通信方式に対応し、アンテナ２２を介して近距離内で図示しない他の対応機器の間でのデータ通信を行なう。

【0016】

表示コントローラ１６は、システムバスＳＢを介して与えられる画像データに基づき、例えば対角３．５インチ、アスペクト比３：２のバックライト付きカラーＴＦＴ液晶パネルで構成されるディスプレイ２３を駆動して画像を表示させる。

【0017】

タッチパネルコントローラ１７は、上記ディスプレイ２３上に一体にして構成されたタッチパネル２４を駆動し、ユーザのマルチタッチを含むタッチ操作に応じた操作位置を示す座標を算出し、操作信号として上記ＣＰＵ１１へ送出する。

【0018】

送受話処理部１８は、送話器のマイクロホン２５及び受話器のスピーカ２６を接続し、音声通話時にマイクロホン２５から入力される音声信号をデジタルデータ化する一方で、広域通信部１４から送られてくる相手側の音声のデジタルデータをアナログ化してスピーカ２６より拡声放音させる。

【0019】

撮影画像処理部１９は、カメラ機能時に、例えばＣＭＯＳイメージセンサで構成される固体撮像素子２８を駆動し、撮影レンズ２７を介して合焦された画像データを取得し、静止画撮影であればＪＰＥＧファイル、動画撮影であればＭＰＥＧファイルにデータ圧縮してファイル化する。

【0020】

センサ群２０は、例えばスマートフォン１０の筐体のそばに（ユーザの）耳があることを検知するための近接センサ、周囲の明るさを検知してディスプレイ２３での発光輝度を調整するための輝度センサ、スマートフォン１０の筐体の姿勢を検出するための３軸加速度センサ、デジタルコンパスとして方位を検出するための地磁気センサ等を備え、必要により検知結果をＣＰＵ１１へ出力する。

【0021】

次に上記実施形態の動作について説明する。
図２は、ディスプレイ２３で表示する画像に対し、ユーザがタッチパネル２４上を上下左右任意の方向に移動するような操作に応答してＣＰＵ１１が実行する処理を抽出して示す。

【0022】

その当初にＣＰＵ１１は、タッチパネル２４で移動操作がなされるのをタッチパネルコントローラ１７からの入力により待機しており（ステップＳ０１）、操作がなされたと判断した時点で、画像を移動して表示する処理を開始する。

【0023】

まず、画像の移動がまだ終了していないことを確認した上で（ステップＳ０２）、操作された方向へ表示するべき画像データを取得する（ステップＳ０３）。ここで、まだ画像データのブロック単位の処理が終了していないことを確認した上で（ステップＳ０４）、取得した画像データから最初のブロックを抽出する（ステップＳ０５）。

【0024】

図３は、この画像データを構成するブロック単位の処理を簡易化して示す図である。
例えば画像データが縦１２０画素×横１６０画素のアスペクト比３：４の構成であった場合、左上から所定の正方形ブロック、例えば縦４画素×横４画素を基本ブロックとして抽出し、それら各画素の階調の平均値を算出する（ステップＳ０６）。

【0025】

図３（Ａ）は、本実施形態の概念を簡略化して示すべく、縦２画素×横２画素を基本ブロックとした場合の最初の（左上端の）処理対象となる基本ブロックを示している。こうして示すブロック内の各画素の階調の平均値を四捨五入により算出し、当該ブロックの代表値として取扱う。

【0026】

なお、実際には表示するカラーの画像データを構成する各画素とも、Ｒ，Ｇ，Ｂの独立した階調値を有しているため、Ｒ，Ｇ，Ｂの各階調に関して同様の処理を行なうが、ここでは説明を簡易化している。

【0027】

図３（Ｂ）は、こうしてブロック毎に平均値を算出した画像データの構成を示す。上述したように縦４画素×横４画素を基本ブロックとした場合、縦１２０画素×横１６０画素の画像データは縦３０ブロック×横４０ブロックの構成となり、それぞれのブロック毎に階調の平均値がそのブロックの代表値として算出される。

【0028】

平均値を算出した結果に従い、そのブロック内の全画素を算出した平均値で置換した後（ステップＳ０７）、次のブロックにも同様の処理を行なうべく、再び上記ステップＳ０４からの処理に戻る。

【0029】

こうしてブロックの数だけ上記ステップＳ０４〜０７の処理を繰返し実行し、すべてのブロックに関しての処理を終了すると、続くステップＳ０４でそれを判断し、算出した平均値に基づく低解像度化した簡易処理を移動途中の画像としてディスプレイ２３で表示させる（ステップＳ０８）。

【0030】

図３（Ｃ）は、こうして移動に途中で表示される、低解像度化した簡易画像データの内容を示す。縦４画素×横４画素を基本ブロックとした場合、実際にはそのブロック単位で画素の階調値が平均値化されるが、ここでは上記図３（Ａ），（Ｂ）に倣って縦２画素×横２画素を基本ブロックとした場合の平均値化した例を示している。

【0031】

こうして移動操作に応じた移動途中の簡易画像を表示した上で、当該移動操作の早さとストローク量により、さらなる次の移動画像の表示が必要であるか否かを上記ステップＳ０２で判断し、必要であれば上記ステップＳ０３以下の処理を繰返す。

【0032】

そして、ユーザの移動操作の早さとストローク量に応じた数だけ同様の処理を繰返し実行し、移動途中での簡易画像を順次ディスプレイ２３で表示させる。

【0033】

その後、移動途中での簡易画像の表示を終えた時点で、上記ステップＳ０２においてそれを判断したＣＰＵ１１は、移動後に表示すべき画像データを取得する（ステップＳ０９）。

【0034】

取得した画像データを上記低解像度化による簡易画像とせず、そのまま元の解像度を保った状態でディスプレイ２３で表示させ（ステップＳ１０）、以上で移動操作に伴う一連の処理を終えたものとして、次の操作に備えるべく上記ステップＳ０１からの処理に戻る。

【0035】

以上詳述した如く本実施形態によれば、画像移動途中で表示すべき画像を意図的に低解像度化し、画像データの量を大幅に削減して取扱うものとしたので、それほど画質が問われない移動途中での画像に限ってあえて簡易画像を表示することで、ＣＰＵ１１とＣＰＵ１１内の画像描画を行なうＧＰＵ、及びグラフィックスに用いるメモリの制御に係る負荷を大幅に軽減できる。

【0036】

なお、タッチパネル２４でのユーザの移動操作に関し、画面をなぞるようなゆっくりした「スライド」と称される操作ではなく、特に予め設定された速度より高い速度で操作する「フリック」と称される素早い操作であった場合に限定し、それに呼応して表示動作を制御するＣＰＵ１１側の負担を軽減するために、上述した図２の処理を実行するものとしても良く、ＣＰＵ１１側に必要とされる負荷の度合いに応じて制御の実行の有無を選択できる。

【0037】

また上記実施形態では説明しなかったが、タッチパネル２４でのユーザの移動操作に関し、その移動速度を検出して段階的に認識し、認識した結果に基づいて、画像を低解像度化する際の基本ブロックのサイズを可変設定するものとしても良い。

【0038】

この場合、移動操作が早いものであった場合ほど基本ブロックのサイズを大きく設定し、より低解像度化することで、画像の移動表示をより高速化しなければならない場合のＣＰＵ１１側の負担を軽減しつつ、画質劣化が目立たない範囲内で本実施形態による動作を最適化できる。

【0039】

なお上記実施形態は、本発明をスマートフォンに適用した場合について説明したものであるが、本発明はこれに限らず、ディスプレイと一体化したタッチパネルにより画像の移動を操作するような装置であれば、タブレット端末や各種モバイル機器など各種装置のユーザインターフェイスとしても同様に適用可能である。

【0040】

その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。

【符号の説明】

【0041】

１０…スマートフォン、１１…ＣＰＵ、１２…メインメモリ、１３…ストレージ部、１４…広域通信部、１５…近距離通信部、１６…表示コントローラ、１７…タッチパネルコントローラ、１８…送受話処理部、１９…撮影画像処理部、２０…センサ群、２１，２２…アンテナ、２３…ディスプレイ、２４…タッチパネル、２５…マイクロホン、２６…スピーカ、２７…撮影レンズ、２８…固体撮像素子、ＳＢ…システムバス。

【図1】

【図2】

【図3】