(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-08
(45)【発行日】2023-08-17
(54)【発明の名称】表示装置、表示制御プログラムおよび表示制御方法
(51)【国際特許分類】
G06F 3/04845 20220101AFI20230809BHJP
G06F 3/0488 20220101ALI20230809BHJP
G09G 5/00 20060101ALI20230809BHJP
G09G 5/22 20060101ALI20230809BHJP
G09G 5/34 20060101ALI20230809BHJP
【FI】
G06F3/04845
G06F3/0488
G09G5/00 510H
G09G5/00 550A
G09G5/22 630G
G09G5/34 A
(21)【出願番号】P 2019047038
(22)【出願日】2019-03-14
【審査請求日】2022-03-07
(73)【特許権者】
【識別番号】318012780
【氏名又は名称】FCNT株式会社
(74)【代理人】
【識別番号】110002860
【氏名又は名称】弁理士法人秀和特許事務所
(72)【発明者】
【氏名】辰巳 宴克
(72)【発明者】
【氏名】増田 勲
【審査官】滝谷 亮一
(56)【参考文献】
【文献】特開2015-046054(JP,A)
【文献】特開2008-287735(JP,A)
【文献】特開2009-182544(JP,A)
【文献】特開2009-272714(JP,A)
【文献】特開2007-256529(JP,A)
【文献】特開2013-252622(JP,A)
【文献】特開2001-101164(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/04845
G06F 3/0488
G09G 5/00
G09G 5/22
G09G 5/34
(57)【特許請求の範囲】
【請求項1】
表示部の表示画面に対するタッチ操作を検出する検出部と、
前記表示画面に表示されるコンテンツに、背景色との色差に基づいて抽出される表示物のブロックが複数ある状態において、前記複数のブロックのうちの何れかに対するタッチ操作を検出した場合、当該タッチ操作が行われたブロックを、当該ブロックの上下方向及び左右方向の少なくとも何れかの方向における中心が当該表示画面内に設定される表示領域の中央になるように配置し、当該ブロックの少なくとも一部を所定の拡大率で当該表示領域に表示させる表示処理部と、を備え
、
前記表示処理部は、
タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まる大きさの場合には、当該ブロックの全域を当該表示領域に当該所定の拡大率で表示させ、
タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合には、当該所定の拡大率で当該表示領域に表示できる大きさに当該ブロックを分割した複数の分割領域のうち何れかの分割領域を、当該所定の拡大率で当該表示領域に表示させると共に、当該分割領域に隣接する他の分割領域へ表示を移動するための移動を示唆する標識を前記表示画面に表示させる、
表示装置。
【請求項2】
前記表示処理部は、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が横書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの左右方向における中心が前記表示領域の中央になるように配置し、当該文章ブロックの横幅が当該表示領域の横幅に収まる前記所定の拡大率で当該文章ブロックの少なくとも一部を当該表示画面に表示させ、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が縦書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの上下方向における中心が前記表示領域の中央になるように配置し、当該文章ブロックの縦幅が当該表示領域の縦幅に収まる前記所定の拡大率で当該文章ブロックの少なくとも一部を当該表示画面に表示させる、
請求項1に記載の表示装置。
【請求項3】
前記表示処理部は、タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合には、当該所定の拡大率で当該表示領域に表示できる大きさに当該ブロックを分割した複数の分割領域のうち、当該タッチ操作が行われた当該ブロック内における位置に対応する分割領域を、当該所定の拡大率で当該表示領域に表示させる、
請求項
1又は2に記載の表示装置。
【請求項4】
前記表示処理部は、タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合において、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が横書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの横幅が前記表示領域の横幅に収まる前記所定の拡大率で前記分割領域を当該表示領域に表示させると共に、当該分割領域に隣接する他の分割領域へ縦方向を示唆する縦移動標識を前記表示画面に表示させ、画面領域のタッチした側にスクロールし、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が縦書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの縦幅が前記表示領域の縦幅に収まる前記所定の拡大率で前記分割領域を当該表示領域に表示させると共に、当該分割領域に隣接する他の分割領域へ横方向を示唆する横移動標識を前記表示画面に表示させ、画面領域のタッチした側にスクロールする、
請求項
1から3の何れか一項に記載の表示装置。
【請求項5】
前記表示処理部は、タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合において、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が横書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの横幅が前記表示領域の横幅に収まる前記所定の拡大率で前記複数の分割領域のうち最も上側にある分割領域を当該表示領域に表示させ
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が縦書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの縦幅が前記表示領域の縦幅に収まる前記所定の拡大率で前記複数の分割領域のうち最も右側にある分割領域を当該表示領域に表示させる、
請求項
1に記載の表示装置。
【請求項6】
前記表示処理部は、タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が文字列と推定される文章ブロックであった場合、当該文章ブロックに関する属性情報に基づいて前記所定の拡大率を算出する、
請求項1から
5の何れか一項に記載の表示装置。
【請求項7】
表示部の表示画面に対するタッチ操作を検出する検出処理と、
前記表示画面に表示されるコンテンツに、背景色との色差に基づいて抽出される表示物のブロックが複数ある状態において、前記複数のブロックのうちの何れかに対するタッチ操作を検出した場合、当該タッチ操作が行われたブロックを、当該ブロックの上下方向及び左右方向の少なくとも何れかの方向における中心が当該表示画面内に設定される表示領域の中央になるように配置し、当該ブロックの少なくとも一部を所定の拡大率で当該表示領域に表示させる表示処理と、をコンピュータに実行させ
、
前記表示処理においては、
タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まる大きさの場合には、当該ブロックの全域を当該表示領域に当該所定の拡大率で表示さ
せ、
タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合には、当該所定の拡大率で当該表示領域に表示できる大きさに当該ブロックを分割した複数の分割領域のうち何れかの分割領域を、当該所定の拡大率で当該表示領域に表示させると共に、当該分割領域に隣接する他の分割領域へ表示を移動するための移動を示唆する標識を前記表示画面に表示させる、
表示制御プログラム。
【請求項8】
表示部の表示画面に対するタッチ操作を検出する検出処理と、
前記表示画面に表示されるコンテンツに、背景色との色差に基づいて抽出される表示物のブロックが複数ある状態において、前記複数のブロックのうちの何れかに対するタッチ操作を検出した場合、当該タッチ操作が行われたブロックを、当該ブロックの上下方向及び左右方向の少なくとも何れかの方向における中心が当該表示画面内に設定される表示領域の中央になるように配置し、当該ブロックの少なくとも一部を所定の拡大率で当該表示領域に表示させる表示処理と、をコンピュータが実行
し、
前記表示処理においては、
タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まる大きさの場合には、当該ブロックの全域を当該表示領域に当該所定の拡大率で表示させ、
タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合には、当該所定の拡大率で当該表示領域に表示できる大きさに当該ブロックを分割した複数の分割領域のうち何れかの分割領域を、当該所定の拡大率で当該表示領域に表示させると共に、当該分割領域に隣接する他の分割領域へ表示を移動するための移動を示唆する標識を前記表示画面に表示させる、
表示制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、表示装置、表示制御プログラムおよび表示制御方法に関する。
【背景技術】
【0002】
近年、スマートフォンやスマートウォッチ、タブレット、携帯電話等の携帯型の端末装置は、様々な情報を画面に表示可能である。画面に様々な情報が表示されると、例えばシニア層などのユーザーでは、画面に表示されている文字が読み難いと感じることがある。このようなユーザーに対し、画面に表示されている文字等の表示内容を読み易くする技術としては、ユーザーから拡大操作を受け付けた場合に表示内容を拡大表示するものが知られている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開平11-86014号公報
【文献】特開2011-118659号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
表示内容の拡大操作を受け付けるために通常用意されている操作方法としては、例えば、画面に触れる操作、押ボタン式のメカニカルスイッチを押す操作、指紋認証機能等の諸機能を実現するために用意されたセンサに触れる操作などが挙げられる。画面に触れて行う拡大操作としては、例えば、2つの指先を画面に接触させた状態で指同士の間隔を広げるピンチアウト、画面を指先で連打するダブルタップ、画面を指先で長押しするロングタップなどが挙げられる。通常、ユーザは、拡大したい表示内容が画面からはみ出さないようにこれらの操作を行うが、表示内容の種類、拡大操作の操作性、その他の原因により、拡大したい表示内容の一部が画面に収まらないことがある。拡大した表示内容が、例えば、一定の長さで改行されている文章であり、画面に拡大表示された文章の各行の先頭或いは末尾が画面からはみ出ている場合、ユーザは、当該文章を読むために、一行を読んでいる途中で画面内でスライドさせるか、或いは、表示内容の縮小操作を行うことになる。
【0005】
そこで、開示の技術の1つの側面は、一覧性を維持した拡大表示を容易に行うことが可能な表示技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
開示の技術の1つの側面は、次のような表示装置によって例示される。本表示装置は、表示部の表示画面に対するタッチ操作を検出する検出部と、表示画面に表示されるコンテンツに、背景色との色差に基づいて抽出される表示物のブロックが複数ある状態において、複数のブロックのうちの何れかに対するタッチ操作を検出した場合、当該タッチ操作が行われたブロックを、当該ブロックの上下方向及び左右方向の少なくとも何れかの方向における中心が当該表示画面内に設定される表示領域の中央になるように配置し、当該ブロックの少なくとも一部を所定の拡大率で当該表示領域に表示させる表示処理部と、を備える。
【発明の効果】
【0007】
本表示装置は、一覧性を維持した拡大表示を容易に行うことが可能である。
【図面の簡単な説明】
【0008】
【
図1】
図1は、実施形態にかかる情報処理装置の機能構成例を示すブロック図である。
【
図2】
図2は、実施形態にかかる情報処理装置1の動作例を示すフローチャートである。
【
図3】
図3は、画面更新の確認処理の一例を示すフローチャートである。
【
図4】
図4は、画面更新の有無を解説した図である。
【
図6】
図6は、背景色の検出処理の一例を示すフローチャートである。
【
図7】
図7は、表示物の検出処理を解説した図である。
【
図8】
図8は、コントラスト比が所定比以上と判定された画素の一例を示した図である。
【
図9】
図9は、表示物領域について解説した図である。
【
図10】
図10は、ブロックの検出処理を解説した第1の図である。
【
図11】
図11は、ブロックの検出処理を解説した第2の図である。
【
図13】
図13は、画面全体の特徴の検出処理の一例を示すフローチャートである。
【
図14】
図14は、アイコン提示の前処理の一例を示すフローチャートである。
【
図15】
図15は、アイコンが表示された画面の一例を示した図である。
【
図16】
図16は、拡大表示の処理を示す第1のフローチャートである。
【
図17】
図17は、拡大表示の処理を示す第2のフローチャートである。
【
図18】
図18は、拡大表示の処理を示す第3のフローチャートである。
【
図19】
図19は、実施形態の情報処理装置で実現される拡大表示の第1例を示した図である。
【
図20】
図20は、実施形態の情報処理装置で実現される拡大表示の第2例を示した図である。
【
図21】
図21は、実施形態の情報処理装置で実現される拡大表示の第3例を示した図である。
【発明を実施するための形態】
【0009】
以下、図面を参照して、実施形態にかかる表示装置、表示制御プログラムおよび表示制御方法を説明する。実施形態において同一の機能を有する構成には同一の符号を付し、重複する説明は省略する。なお、以下の実施形態で説明する表示装置、表示制御プログラムおよび表示制御方法は、一例を示すに過ぎず、実施形態を限定するものではない。また、以下の各実施形態は、矛盾しない範囲内で適宜組みあわせてもよい。
【0010】
図1は、実施形態にかかる情報処理装置の機能構成例を示すブロック図である。
図1に示すように、情報処理装置1は、制御部10、通信部11、音声入出力部12、記憶部13、操作部14および表示部15を有する。情報処理装置1は、表示装置の一例であり、例えばスマートフォンやタブレット端末などを適用できる。本実施形態では、情報処理装置1は、一例として、スマートフォンであるものとする。
【0011】
制御部10は、CPU(Central Processing Unit)などの情報処理装置1全体の処
理を司る処理部であり、記憶部13からプログラム13Aを読み出してプロセスを実行する。制御部10は、プロセスを実行することで、検出部10Aおよび表示処理部10Bの機能構成を実現し、例えば表示部15に表示を行わせる表示制御を実現する。
【0012】
通信部11は、制御部10の制御のもと、アンテナ11Aを用いて、他の移動機や基地局装置と無線通信を実行する。具体的には、通信部11は、LTE(Long Term Evolution)通信やWiFi(登録商標、Wireless Fidelity)通信などの通信方式を用いて、
他の移動機や基地局装置との無線通信を行う。例えば、通信部11は、制御部10の制御のもと、ウェブブラウザでの選択操作により選択されたウェブサイトの情報の送受信をLTE通信やWiFi通信を介して行う。
【0013】
音声入出力部12は、制御部10から入力された音声をスピーカ12Aより出力する。また、音声入出力部12は、音声をマイク12Bより集音して制御部10に出力する。
【0014】
記憶部13は、メモリやSSD(Solid State Drive)などの記憶装置である。記憶
部13は、プログラム13Aおよび定義情報13Bを格納する。定義情報13Bは、プログラム13Aがプロセスを実行する際に読み出される各種の定義内容を示す情報である。定義情報13Bの内容は、ユーザーなどにより事前に登録される。例えば、定義情報13Bには、アプリケーションごとに設定された検出対象領域を示す検出対象領域情報や、拡大表示の可否を示す拡大可否情報、ユーザ操作により設定された表示倍率(大・中・小)の設定情報などがある。
【0015】
操作部14は、操作キーや表示部15の表示画面に重畳して配設されたタッチパネルなどであり、ユーザーからの各種入力を受け付けて制御部10へ出力する。表示部15は、液晶画面などであり、制御部10の制御のもと各種情報を表示画面に表示する。
【0016】
検出部10Aは、操作部14において行われたユーザーの操作をもとに、表示部15の表示画面における操作を検出する。具体的には、検出部10Aは、表示部15の表示画面に重畳して配設されたタッチパネルよりユーザーのタッチ操作を検出する。例えば、制御部10は、ユーザーの操作による表示画面についての拡大操作などを検出する。
【0017】
表示処理部10Bは、検出部10Aによる検出結果をもとに、表示部15における表示画面上での操作を受け付け、受け付けた操作に応じた表示を行うなど、表示部15の表示画面における表示制御にかかる表示制御処理を行う。例えば、表示処理部10Bは、ウェブブラウザにおいてウェブサイトを表示するWEB画面における表示制御を行う。
【0018】
表示処理部10Bは、検出部10Aより表示画面における拡大操作を検出した場合、表示画面に表示するコンテンツにおいて背景と区別される表示物、すなわち写真や文字などを拡大表示する。以下、表示処理部10Bにおける拡大表示の詳細を説明する。
図2は、実施形態にかかる情報処理装置1の動作例を示すフローチャートである。
【0019】
図2に示すように、処理が開始されると、表示処理部10Bは、ウェブブラウザ等のアプリケーションによる表示部15へのコンテンツの画面表示を行う(S1)。コンテンツが表示部15に表示されると、ユーザーは、当該コンテンツにある文字や絵などの表示物を読むことが可能となる。
【0020】
次いで、表示処理部10Bは、表示画面150に表示されている画面の更新状態を監視し、画面の更新停止を判定する(S2)。画面の更新状態の監視とは、表示部15に表示されているコンテンツの表示状態の変化の有無を判定するものである。情報処理装置1では、表示部15に表示するコンテンツの拡大表示を行うために、表示部15に表示されているコンテンツのイメージデータを解析して拡大表示する後述の各種処理(S3~S12)を実行する。よって、表示処理部10Bは、本ステップS2において、画面のスクロール操作や回転操作などによって、表示部15に表示されている画面が時間的に変化している途中であるかを否かを監視することで、更新途中の画面に対する無用な処理が行われないようにする。
【0021】
図3は、画面更新の確認処理の一例を示すフローチャートである。すなわち、表示処理
部10Bは、まず、表示部15に表示されている画面(「画A」とする)のキャプチャを行う(S2A)。次いで、表示処理部10Bは、予め設定された時間(例えば、数msec~数百msec)が経過するまで待機する(S2B)。そして、表示処理部10Bは、表示部15に表示されている画面(「画B」とする)のキャプチャを行う(S2C)。
【0022】
次いで、表示処理部10Bは、キャプチャした2つの画面を比較し、同一性の検証を行う。すなわち、表示処理部10Bは、キャプチャした2つの画面の各画素のRGB値を比較する処理(S2F)を縦横(S2D、S2E、S2G、S2H)に行う。表示処理部10Bは、ステップS2Fの処理で否定判定を行った場合、ステップS2Aでキャプチャした画面(画A)を、ステップS2Cでキャプチャした画面(画B)に置き換える(S2I)。ステップS2Aでキャプチャした画面(画A)とステップS2Cでキャプチャした画面(画B)の各画素のRGB値が全て一致している場合、全ての画素の比較が完了した時点で、ステップS2DからステップS2Hまでの一連のループ処理が終了するため、表示処理部10Bは、ステップS2AからステップS2Hまでの一連の処理、すなわち、ステップS2の処理を終了する。
【0023】
図4は、画面更新の有無を解説した図である。例えば、
図4(A)に示すように、画面に接触している指Hがスライドするフリック操作が行われている場合、ステップS2Aでキャプチャした画面(画A)とステップS2Cでキャプチャした画面(画B)とを比較すると、特定の位置にある画素が文字色を表す場合と背景色を表す場合とでRGB値が変化する。よって、表示処理部10Bは、ステップS2Fにおいて否定判定を行う。一方、例えば、
図4(B)に示すように、画面に対する操作が何ら行われていない場合、当該画素のRGB値は変化しない。よって、表示処理部10Bは、ステップS2Fにおいて肯定判定を行い、全画素のRGB値の比較が完了すると、ステップS2の処理を終了する。
【0024】
ウェブブラウザのように表示物をスクロール可能な画面において、ユーザがフリック操作を行うと、当該画面に表示されているコンテンツは、ユーザが指を離してもスクロールがしばらく続く。スクロールが続いている間、画面の表示内容が変化し続ける。よって、スクロールが続いている間、表示処理部10Bは、ステップS2Fにおいて否定判定を行う。そして、スクロールが停止すると、表示処理部10Bは、ステップS2Fにおいて肯定判定を行い、全画素のRGB値の比較が完了すると、ステップS2の処理を終了する。すなわち、表示処理部10Bは、画面更新が無くなったと判断できる。
【0025】
なお、画面更新の有無の判定は、画面全域を比較する形態に限定されるものではない。画面更新の有無の判定は、
図4(C)に示すように、画面を複数の領域に分割し、特定の領域を対象に行ってもよい。または、分割した複数の領域毎に画面更新の有無の判定を行い、更新領域の割合から画面全体の更新有無を判断してもよい。例えば、動画やアニメーション表示、スクロール表示が画面の特定の領域で行われている場合に、画面更新の有無の判定を、当該特定の領域以外の領域を対象に行えば、判定対象の領域における画面更新の有無を判定することが可能となる。
【0026】
また、画面更新の有無の判定は、RGB値の比較を用いたものに限定されるものではない。画面更新の有無の判定は、例えば、画素の輝度を用いたものであってもよい。
【0027】
再び
図2のフローチャートに沿って説明する。表示処理部10Bは、以降の処理を、ステップS2Cでキャプチャした画面(画B)を使って行うが、ステップS2Aでキャプチャした画面(画A)を使って行ってもよい。
【0028】
表示処理部10Bは、ステップS2の処理を終えると、次に、検出対象領域の設定を行う(S3)。すなわち、表示処理部10Bは、定義情報13Bを参照し、アプリケーショ
ンごとに設定された検出対象領域情報の中から、拡大操作が行われた際に表示部15に拡大表示させる領域の情報である検出対象領域情報を取得する。具体的には、表示処理部10Bは、フォアグラウンドのプロセスとして表示部15に画面表示中のアプリケーションの情報を取得し、定義情報13Bにおける検出対象領域情報の中から画面表示中のアプリケーションに該当するものを取得する。
【0029】
図5は、検出対象領域を解説した図である。例えば、
図5において上側の図に示すように、表示部15にウェブブラウザが画面表示されている場合、表示部15の画面には、インターネット上のコンテンツを表示する表示領域の他に、当該表示領域のコンテンツをスクロールするためのスクロールバーやメニュー表示、操作ボタン等を表示するための表示領域が存在する。スクロールバーやメニュー表示、操作ボタンは、ユーザーが閲覧するコンテンツではないため、本実施形態の拡大表示の対象としていない。よって、表示処理部10Bは、検出対象領域情報を取得することにより、
図5において下側の図に示すように、表示部15に画面表示中のアプリケーションがコンテンツを表示している領域を検出対象領域として設定する。
【0030】
なお、
図5では、表示部15の画面の横方向をx、縦方向をyとし、画素の座標を(x,y)としている。そして、表示処理部10Bが取得する検出対象領域情報として、当該座標系における位置と形状を示す情報、すなわち、検出対象領域の左上隅の座標(x0,y0)、横幅(Width)、高さ(または縦幅)(Height)が例示されている。しかし、検出対象領域は、矩形の形態に限定されるものではない。検出対象領域は、例えば、円形、台形、その他の形態であってもよい。
【0031】
再び
図2のフローチャートに沿って説明する。表示処理部10Bは、ステップS3の処理を終えると、次に、検出対象領域について画面キャプチャを行い、検出対象領域において背景部分に対応する背景色を、画面キャプチャによって取得した画像データから検出する(S4)。
図6は、背景色の検出処理の一例を示すフローチャートである。
図6に示すように、背景色の検出処理が開始されると、表示処理部10Bは、縦方向に1画素ずつ処理する縦のループ(y=0,Height-1,1)処理を行う(S4A~S4E)。
【0032】
縦のループ処理内では、表示処理部10Bは、横方向に1画素ずつ処理する横のループ(x=0,Width-1,1)処理を行う(S4B~S4D)。これにより、表示処理
部10Bは、検出対象領域における各画素の色情報を取得する(S4C)。
【0033】
S4Eに次いで、表示処理部10Bは、取得した各画素の色情報をもとに、検出対象領域を占める割合が最も大きい色を背景色と確定し(S4F)、処理を終了する。
【0034】
具体的には、表示処理部10Bは、検出対象領域に含まれる全種類の色(R,G、B)のヒストグラムを算出し、それぞれの色がどの割合で使用されているかを算出する。なお、ヒストグラムを算出する際の色の幅は、所定の幅があってもよい。
【0035】
次いで、表示処理部10Bは、算出した割合が所定値以上(例えば8%以上)の色を抽出し、抽出した色のうち、最も割合が大きい色を背景色とする。
【0036】
例えば、色の割合が次のとおりとする。
(R,G、B)=(255,255,255):61%
(R,G、B)=(101,121,110):12%
(R,G、B)=(051,051,051):5%
(R,G、B)=(000,108,204):1%
【0037】
この場合、表示処理部10Bは、8%以上の色として、(R,G、B)=(255,255,255)、(101,121,110)の色を抽出する。次いで、表示処理部10Bは、8%以上かつ最も割合が大きい、(R,G、B)=(255,255,255)を背景色とする。
【0038】
再び
図2のフローチャートに沿って説明する。表示処理部10Bは、ステップS4の処理を終えると、次に、表示物の検出を行う(S5)。表示物とは、コンテンツを構成しており、且つ、背景と区別されるものであり、例えば、文字、絵、写真、マーク等が該当する。
【0039】
図7は、表示物の検出処理を解説した図である。検出対象領域の画面の左上隅を原点とし、横方向をx、縦方向をyとした状態において、y=0の行について最も左の画素(x=0)から右へ向かって順に画素の色と背景色との比較を行い、背景色と一致する最も左(xが最小)の画素をy=0の背景画素とする。y=0の行について最も右の画素に至っても背景色と一致する画素が無かった場合は、y=0の行で最も左の画素(x=0)を背景画素とする。次に、背景画素の右隣りの画素から最も右の画素まで順に背景画素とのコントラスト比を算出し、コントラスト比が所定比以上(例えば、3:1以上)かを判定する。この処理を、全てのy(検出対象領域の画面の上端から下端まで)について行う。
図8は、コントラスト比が所定比以上と判定された画素の一例を示した図である。コントラスト比が画素毎に算出されるため、コントラスト比が所定比以上と判定された画素をイメージで表すと、例えば、
図8に示されるように、文字を構成する非背景色の画素が特定される。
【0040】
次いで、表示処理部10Bは、コントラスト比が所定比以上の画素について、互いに近接する画素同士を抽出し、抽出された各画素群のそれぞれにおいて、近接する画素の上下左右で最も外側の画素によって画定される範囲内を表示物領域と設定する。そして、表示処理部10Bは、画面の座標系における表示物領域の位置と形状を示す表示物領域情報として、表示物領域の左上隅の座標(x0,y0)、横幅(Width)、高さ(または縦幅)(Height)を記憶部13に格納する。
図9は、表示物領域について解説した図である。例えば、検出対象領域に6つのひらがなが存在していた場合、表示処理部10Bは、
図9に示されるように、当該検出対象領域において6つの表示物領域を設定する。そして、表示処理部10Bは、6つの表示物領域のそれぞれの位置と形状を示す表示物領域情報を記憶部13に格納する。なお、ここでは、ひらがなの文字が表示されている領域を表示物領域として設定したが、表示物領域として設定される表示物は、絵や写真といった文字以外の場合もある。また、
図9では、表示物領域の境界を示す境界線が図示されているが、当該境界線は本実施形態を解説するために示した仮想の線であり、当該境界線は表示部15に画面表示されない。
【0041】
再び
図2のフローチャートに沿って説明する。表示処理部10Bは、ステップS5の処理を終えると、次に、ブロックの検出を行う(S6)。ブロックとは、一乃至複数の表示物が集まる領域であり、例えば、文字列で構成される文章ブロックと、絵や写真などで構成される非文章ブロックが挙げられる。
【0042】
表示処理部10Bは、検出対象領域内の表示物領域同士の距離から、近接する表示物領域を結合し、上下左右で最も外側の画素で確定される範囲内をブロックとして設定する。そして、表示処理部10Bは、画面の座標系におけるブロックの位置と形状を示すブロック領域情報として、ブロックの左上隅の座標(x0,y0)、横幅(Width)、高さ(または縦幅)(Height)を記憶部13に格納する。
図10は、ブロックの検出処理を解説した第1の図である。
【0043】
例えば、
図10において検出対象領域の上側の部分に示すように、当該検出対象領域に文字列が存在していた場合、表示処理部10Bは、表示物領域同士の距離から、文字列故に近接している文字の表示物領域同士を結合し、結合体の上下左右で最も外側の画素で確定される範囲内をブロック(以下、「文章ブロック」という)として設定する。そして、表示処理部10Bは、画面の座標系における当該文章ブロックの位置と形状を示すブロック領域情報として、ブロックの左上隅の座標(x0,y0)、横幅(Width)、高さ(または縦幅)(Height)を記憶部13に格納する。
【0044】
また、例えば、
図10において検出対象領域の下側の部分に示すように、当該検出対象領域に写真が存在していた場合、表示処理部10Bは、表示物領域同士の距離、および、表示物領域内の背景色の割合から、当該写真を単体の表示物とし、当該単体の表示物の上下左右で最も外側の画素で確定される範囲内をブロック(以下、「非文章ブロック」という)として設定する。そして、表示処理部10Bは、画面の座標系における当該非文章ブロックの位置と形状を示すブロック領域情報として、ブロックの左上隅の座標(x0,y0)、横幅(Width)、高さ(または縦幅)(Height)を記憶部13に格納する。
【0045】
なお、
図10では、ブロックの境界を示す境界線が図示されているが、当該境界線は本実施形態を解説するために示した仮想の線であり、当該境界線は表示部15に画面表示されない。また、
図10では、文字列で構成される文章ブロックと、写真で構成される非文章ブロックの2つが検出対象領域において設定される様子が図示されていたが、表示処理部10Bは、文字列の表示物で構成される文章ブロックを検出対象領域に2つ以上設定する場合もある。また、表示処理部10Bは、写真等の文字以外の表示物で構成される非文章ブロックを検出対象領域に2つ以上設定する場合もある。
【0046】
図11は、ブロックの検出処理を解説した第2の図である。例えば、
図11において検出対象領域の上側の部分と下側の部分のそれぞれに示すように、当該検出対象領域に文字列が複数箇所に存在していた場合、表示処理部10Bは、表示物領域同士の距離から、文字列故に近接している文字の表示物領域同士を結合し、結合体の上下左右で最も外側の画素で確定される範囲内を文章ブロックとして設定する。よって、
図11において検出対象領域の上側の部分と下側の部分のそれぞれに示すように、表示処理部10Bは、文字の表示物領域同士であっても、互いの距離が比較的離れている文字の表示物領域同士については結合を行わず、別個の文章ブロックとして設定する。そして、表示処理部10Bは、画面の座標系における当該各文章ブロックの位置と形状を示すブロック領域情報として、各ブロックの左上隅の座標(x0,y0)、横幅(Width)、高さ(または縦幅)(Height)を記憶部13に格納する。
【0047】
再び
図2のフローチャートに沿って説明する。表示処理部10Bは、ステップS6の処理を終えると、次に、ステップS6で検出した一乃至複数の各文章ブロックの書字方向の検出を行う(S7)。表示処理部10Bは、各文章ブロック内において隣り合う表示物領域同士の間隔(以下、「文字間隔」という)を算出し、算出した文字間隔に基づいてその文章ブロックの書字方向が縦書きと横書きの何れであるかを検出する。
【0048】
図12は、書字方向の検出方法を解説した図である。表示処理部10Bは、各文章ブロック内において隣り合う表示物領域同士の間隔を算出する。横方向(X軸方向)における表示物同士の間隔(w00、w01・・・)は、例えば、各表示物の右上隅のX座標とその右側にある他の表示物の左上隅のX座標との差分から算出してもよいし、或いは、その他の部位同士の各座標の差分から算出してもよい。また、縦方向(Y軸方向)における表示物同士の間隔(h00、h01、h02・・・)は、例えば、各表示物の右下隅のY座標とその下側にある他の表示物の右上隅のY座標との差分から算出してもよいし、或いは
、その他の部位同士の各座標の差分から算出してもよい。
【0049】
次いで、表示処理部10Bは、文章ブロック内において横方向に沿って隣り合う表示物領域同士の間隔の平均値(Wave)と、文章ブロック内において縦方向に沿って隣り合う表示物領域同士の間隔の平均値(have)とを比較する。そして、表示処理部10Bは、平均値(have)が平均値(Wave)より大きければ当該文章ブロックの書字方向は横書きと判定し、平均値(Wave)が平均値(have)より大きければ当該文章ブロックの書字方向は縦書きと判定する。表示処理部10Bは、判定結果を記憶部13のブロック領域情報に追加する。
【0050】
再び
図2のフローチャートに沿って説明する。表示処理部10Bは、ステップS7の処理を終えると、次に、画面全体の特徴の検出を行う(S8)。画面全体の特徴とは、コンテンツを画面表示した場合にユーザが感じる見やすさの度合いを定量的に表したものであり、後述する拡大表示における拡大率の決定に用いられる。表示処理部10Bは、既述した各表示物領域について、当該領域の属性情報(例えば、文字の大きさ、間隔、濃さ(コントラスト)、書字方向など)を取得し、これらの情報から画面の見やすさの特徴を捉える。
【0051】
図13は、画面全体の特徴の検出処理の一例を示すフローチャートである。画面全体の特徴の検出処理では、
図13に示すように、表示処理部10Bは、表示物領域情報を取得する(S8A)。各表示物領域の左上隅の座標(x0,y0)、横幅(Width)、高さ(または縦幅)(Height)等の表示物領域情報については、ステップS5で記憶部13に格納した情報を参照することにより取得される。次いで、表示処理部10Bは、計算で用いる変数(高さ合計)を初期化する(S8B)。そして、表示処理部10Bは、文章ブロックや非文章ブロック等のブロック毎に、各ブロックにおける各表示物領域の高さの合計を、各表示物の高さに適当な重みを乗算しながら積算するループ処理を行う(S8C~S8E)。
【0052】
次いで、表示処理部10Bは、上記のループ処理(S8C~S8E)で得た値を用いて見やすさ度合いの算出を行う(S8F)。具体的には、表示処理部10Bは、各ブロックにおける各表示物領域の重み付きの高さの合計を当該ブロック内の表示物領域数で除算することにより、当該ブロック内にある表示物領域の重み付きの高さの平均値を算出する。そして、表示処理部10Bは、各ブロックの当該平均値の合計値をブロック数で除算した値を、見やすさ度合いとする。
【0053】
再び
図2のフローチャートに沿って説明する。表示処理部10Bは、ステップS8の処理を終えると、次に、アイコン提示の前処理を行う(S9)。アイコン提示の前処理とは、ステップS8で検出された画面全体の特徴(見やすさ度合い)から、後述する拡大表示を行う場合の拡大方法の確定とアイコン提示の有無、提示するアイコンの種類を決定する処理である。
【0054】
図14は、アイコン提示の前処理の一例を示すフローチャートである。アイコン提示の前処理が開始されると、
図14に示すように、表示処理部10Bは、定義情報13Bを参照し、表示部15の画面に表示中のアプリケーションに関する拡大可否情報を取得する(S9A)。次いで、表示処理部10Bは、取得した拡大可否情報に基づき、表示部15の画面に表示中のアプリケーションが、拡大表示に対応可能であるか否かの判別を行う(S9B)。次いで、表示処理部10Bは、拡大回数の取得を行う(S9C)。ステップS9Cの実行時、表示部15の画面が既に拡大表示の状態になっていれば、表示処理部10Bは、後述する拡大操作が行われた回数の値を取得する。次いで、表示処理部10Bは、ステップS8で算出した見やすさ度合いを取得する(S9D)。次いで、表示処理部10B
は、拡大回数および見やすさ度合いに基づき、画面の拡大方法(縦横拡大率、表示中心、拡大操作方法)と、画面に提示するアイコンの種類や位置を決定する(S9E)。縦横の拡大率は、定義情報13Bに設定されている表示倍率(大・中・小)の設定情報、及び、設計時に予め定められている標準の拡大率を基に決定される。表示処理部10Bは、決定した拡大方法やアイコンの種類、位置の情報を記憶部13に記憶させる。
【0055】
再び
図2のフローチャートに沿って説明する。表示処理部10Bは、ステップS9の処理を終えると、次いで、ステップS9で決定したアイコンを表示部15の画面に提示する(S10)。
図15は、アイコンが表示された画面の一例を示した図である。表示処理部10Bは、ステップS1の処理で
図15(A)に示すような画面表示を行い、ステップS2からステップS9までの一連の処理を実行すると、
図15(B)に示すようなアイコン151を表示部15の表示画面150に提示する。
【0056】
そして、後述する処理が実行されることにより、アイコン151に対するタップ操作(「タッチ操作」の一例であり、画面を1回だけ押す操作である)が行われると、表示処理部10Bは、
図15(C)に示すように、拡大表示機能が無効な非アクティブの状態であることを示すグレーアウト表示だったアイコン151を、拡大表示機能が有効なアクティブの状態であることを示す明瞭な表示のアイコン152に変更すると共に、表示画面150に表示しているコンテンツを拡大する。また、表示処理部10Bは、
図15(C)の画面でコンテンツの何れかの部位がタップ操作されると、
図15(D)に示すように、アイコン152を、位置変更操作がブロック単位で可能な旨を表したアイコン153に変更すると共に、当該タップ操作が行われた部位に対応するブロックの拡大表示を行う。拡大表示されるブロックの拡大率は、ステップS9Eで決定された拡大率である。
【0057】
アイコン152は、表示画面150に表示されているコンテンツのを拡大表示可能な旨を表している。拡大表示可能な旨を表すデザインの一例として、アイコン152では、文字(「A」)と、当該文字の上側において当該文字から放射状に広がる複数の線とを有するデザインが採用されている。このようなデザインであれば、ユーザは、当該デザインから文字の拡大表示を想起するため、拡大表示が可能な旨を直感的に把握することができる。このアイコン152に対するタップ操作が行われると、表示処理部10Bは、拡大表示機能を解除した状態、すなわち、すなわち、
図15(A)に示す画面の状態に画面表示150を戻す。
【0058】
アイコン153は、コンテンツの拡大表示される部位の位置変更操作がブロック単位で可能な旨を表している。位置変更操作がブロック単位で可能な旨を表すデザインの一例として、アイコン153では、略矩形を形成する4つの角を有するデザインが採用されている。このようなデザインであれば、ユーザは、当該デザインからブロックを想起するため、位置変更操作がブロック単位で可能な旨を直感的に把握することができる。なお、アイコン153は、位置変更操作がブロック単位で可能な旨を表すものであるが、ブロック単位の位置変更操作を受け付けるボタンではない。アイコン153に対するタップ操作が行われると、表示処理部10Bは、ブロックの拡大表示を行う前の状態、すなわち、
図15(C)に示す画面の状態に画面表示150を戻す。
【0059】
再び
図2のフローチャートに沿って説明する。ステップS10の処理の後にアイコン151がユーザ操作によって押されると、表示処理部10Bは、コンテンツの拡大表示を行い、コンテンツにある全ての表示物の上下端と左右端が表示画面150の縁に位置(フィット)するように、コンテンツの表示を横方向と縦方向にそれぞれ拡大する(
図15(C)を参照)。そして、表示処理部10Bは、表示画面150に表示されているコンテンツの何れかの部位に対するタップ操作を検知すると(S11)、以下の処理を実行することにより、タップ操作が行われた部位に対応するブロックの拡大表示を行う(
図15(D)
を参照)。
【0060】
図16は、拡大表示の処理を示す第1のフローチャートである。表示処理部10Bは、ステップS11のタップ操作が行われた位置(座標)を取得する(S12A)。次いで、表示処理部10Bは、ステップS6の処理によって記憶部13に格納されているブロック領域情報を参照し、ステップS12Aで取得したタップ操作の位置が、文章ブロックとして設定した範囲内であるか否かの判定を行う(S12B)。そして、タップ操作の位置が文章ブロックであった場合、表示処理部10Bは、ステップS12Bで肯定を行った後、表示情報の算出処理を実行する。
【0061】
図17は、拡大表示の処理を示す第2のフローチャートである。表示処理部10Bは、ステップS12Bで肯定判定を行った後、ステップS6の処理によって記憶部13に格納されているブロック領域情報を参照する(S12CA)。次いで、表示処理部10Bは、参照したブロック領域情報を基に、当該文章ブロックの書字方向を判別する(S12CB)。
【0062】
表示処理部10Bは、ステップS12CBの処理で当該文章ブロックの書字方向が縦書きと判別すると、当該文章ブロックの分割方向を横方向に設定する(S12CC)。ここで、文章ブロックの分割とは、当該文章ブロックを拡大表示すると当該文章ブロックが画面に収まらない場合に、拡大表示された当該文章ブロックの見やすさを向上するために当該文章ブロックを複数個に分割して表示するために行う処理である。
【0063】
表示処理部10Bは、分割方向を横方向に設定すると、次に、ステップS9Eで決定した拡大率を記憶部13から取得する(S12CD)。そして、表示処理部10Bは、当該文章ブロックを当該拡大率で拡大した場合の横幅を画面の横幅で除算し、分割数を算出する(S12CE)。そして、表示処理部10Bは、算出した分割数で当該文章ブロックを分割した場合の各分割エリアの座標とサイズを算出し、当該算出結果を記憶部13に記憶させる(S12CF)。
【0064】
また、表示処理部10Bは、ステップS12CBの処理で当該文章ブロックの書字方向が横書きと判別すると、当該文章ブロックの分割方向を縦方向に設定する(S12CG)。そして、表示処理部10Bは、ステップS9Eで決定した拡大率を記憶部13から取得する(S12CH)。そして、表示処理部10Bは、当該文章ブロックを当該拡大率で拡大した場合の高さ(縦幅)を画面の高さ(縦幅)で除算し、分割数を算出する(S12CI)。そして、表示処理部10Bは、算出した分割数で当該文章ブロックを分割した場合の各分割エリアの座標とサイズを算出し、当該算出結果を記憶部13に記憶させる(S12CJ)。
【0065】
再び
図16のフローチャートに沿って説明する。表示処理部10Bは、ステップS12CEで算出した分割数を取得する(S12D)。そして、表示処理部10Bは、分割数が2以上であるか否かの判別を行う(S12E)。そして、表示処理部10Bは、分割数が2以上であれば、ステップS12Aで取得したタップ位置の情報を基に、当該文章ブロック内におけるタップ位置を取得する(S12F)。そして、表示処理部10Bは、当該文章ブロック内におけるタップ位置に基づき、ステップS12CJで算出した各分割エリアのうちタップ位置に対応する分割エリアを特定する。そして、表示処理部10Bは、特定した分割エリアの中心を画面の中心に配置し、ステップS12CHで取得した拡大率で画面に表示させる(S12G)。次いで、表示処理部10Bは、表示切替の処理を行う(S12H)。
【0066】
図18は、拡大表示の処理を示す第3のフローチャートである。表示処理部10Bは、
ステップS12CCまたはS12CGで設定した分割方向の情報に基づき、ステップS12Gで拡大表示した文章ブロックの分割方向を判別する(S12HA)。
【0067】
表示処理部10Bは、ステップS12HAの処理で当該文章ブロックの分割方向が横方向と判別すると、次に、ステップS12CJの処理で記憶部13に記憶された各分割エリアの座標とサイズの情報を基に、ステップS12Gで画面に表示した分割エリアの左側に、当該文章ブロックの他の分割エリアが存在しているか否かの判別を行う(S12HB)。そして、表示処理部10Bは、ステップS12HBの処理で肯定判定を行った場合、
図15(D)に示す左スクロールボタン154を画面に表示する(S12HC)。次に、表示処理部10Bは、ステップS12Gで画面に表示した分割エリアの右側に、当該文章ブロックの他の分割エリアが存在しているか否かの判別を行う(S12HD)。表示処理部10Bは、ステップS12HDの処理で肯定判定を行った場合、
図15(D)に示す右スクロールボタン155を画面に表示する(S12HE)。そして、表示処理部10Bは、これらのスクロールボタンがタップ操作されると、タップ操作された方の分割エリアが画面に現れるように文章ブロックを左または右へスライドする。
【0068】
また、表示処理部10Bは、ステップS12HAの処理で当該文章ブロックの分割方向が縦方向と判別すると、次に、ステップS12CJの処理で記憶部13に記憶された各分割エリアの座標とサイズの情報を基に、ステップS12Gで画面に表示した分割エリアの上側に、当該文章ブロックの他の分割エリアが存在しているか否かの判別を行う(S12HF)。そして、表示処理部10Bは、ステップS12HFの処理で肯定判定を行った場合、上スクロールボタンを画面に表示する(S12HG)。次に、表示処理部10Bは、ステップS12Gで画面に表示した分割エリアの下側に、当該文章ブロックの他の分割エリアが存在しているか否かの判別を行う(S12HH)。表示処理部10Bは、ステップS12HHの処理で肯定判定を行った場合、下スクロールボタンを画面に表示する(S12HI)。そして、表示処理部10Bは、これらのスクロールボタンがタップ操作されると、タップ操作された方の分割エリアが画面に現れるように文章ブロックを上または下へスライドする。
【0069】
再び
図16のフローチャートに沿って説明する。表示処理部10Bは、ステップS12Bの処理において否定判定を行った場合、すなわち、タップ操作されたのが非文章ブロックであった場合、当該非文章ブロックを、当該非文章ブロックにおけるタップ位置を画面の中心に配置し、ステップS9Eで決定した拡大率で画面に表示させる(S12I)。また、表示処理部10Bは、ステップS12Eの処理において否定判定を行った場合、すなわち、タップ操作されたのが文章ブロックであった分割するサイズでなかった場合、当該文章ブロックを、当該非文章ブロックの中心を画面の中心に配置し、ステップS9Eで決定した拡大率で画面に表示させる(S12J)。
【0070】
本実施形態の情報処理装置1では、表示部15にコンテンツが表示される度に上記一連の処理(S1~S12)が実行されることで、以下のような拡大表示が実現される。
【0071】
図19は、本実施形態の情報処理装置1で実現される拡大表示の第1例を示した図である。例えば、
図19(A)に示されるように、表示画面150に縦書きの文章ブロックB1が存在し、当該文章ブロックB1が拡大表示しても横幅が画面に収まる大きさであったと仮定する。
図19(A)において文章ブロックB1を示す矩形の破線は、説明の便宜上付した仮想線であり、表示画面150に実際には表示されない。このような文章ブロックB1に対して指Hによるタップ操作が行われると、表示処理部10Bは、ステップS12Jの処理を実行し、
図19(B)に示されるように、文章ブロックB1全体を表示画面150に収まる大きさで拡大表示させる。
【0072】
図20は、本実施形態の情報処理装置1で実現される拡大表示の第2例を示した図である。例えば、
図20に示されるように、表示画面150に横書きの文章ブロックB2が存在し、当該文章ブロックB2が拡大表示すると縦幅が画面に収まらない大きさであったと仮定する。
【0073】
このような文章ブロックB2において、
図20(A1)に示されるように、当該文章ブロックB2の上端付近に対して指Hによるタップ操作が行われると、表示処理部10Bは、ステップS12Gの処理を実行し、
図20(B1)に示されるように、文章ブロックB2の上端付近の分割ブロックを表示画面150に収まる大きさで拡大表示させる。また、表示処理部10Bは、ステップS12HIの処理を実行し、下スクロールボタン157を表示画面150の下端付近に表示させる。
【0074】
また、このような文章ブロックB2において、
図20(A2)に示されるように、当該文章ブロックB2の中央部付近に対して指Hによるタップ操作が行われると、表示処理部10Bは、ステップS12Gの処理を実行し、
図20(B2)に示されるように、文章ブロックB2の中央部付近の分割ブロックを表示画面150に収まる大きさで拡大表示させる。また、表示処理部10Bは、ステップS12HGとステップS12HIの処理を実行し、上スクロールボタン156を表示画面150の上端付近に、下スクロールボタン157を表示画面150の下端付近に表示させる。
【0075】
また、このような文章ブロックB2において、
図20(A3)に示されるように、当該文章ブロックB2の下端付近に対して指Hによるタップ操作が行われると、表示処理部10Bは、ステップS12Gの処理を実行し、
図20(B3)に示されるように、文章ブロックB2の下端付近の分割ブロックを表示画面150に収まる大きさで拡大表示させる。また、表示処理部10Bは、ステップS12HGの処理を実行し、上スクロールボタン156を表示画面150の上端付近に表示させる。
【0076】
図21は、本実施形態の情報処理装置1で実現される拡大表示の第3例を示した図である。例えば、
図21に示されるように、表示画面150に縦書きの文章ブロックB3が存在し、当該文章ブロックB3が拡大表示すると横幅が画面に収まらない大きさであったと仮定する。
【0077】
このような文章ブロックB3において、
図21(A1)に示されるように、当該文章ブロックB3の左端付近に対して指Hによるタップ操作が行われると、表示処理部10Bは、ステップS12Gの処理を実行し、
図21(B1)に示されるように、文章ブロックB3の左端付近の分割ブロックを表示画面150に収まる大きさで拡大表示させる。また、表示処理部10Bは、ステップS12HEの処理を実行し、右スクロールボタン155を表示画面150の右端付近に表示させる。
【0078】
また、このような文章ブロックB3において、
図21(A2)に示されるように、当該文章ブロックB3の中央部付近に対して指Hによるタップ操作が行われると、表示処理部10Bは、ステップS12Gの処理を実行し、
図21(B2)に示されるように、文章ブロックB3の中央部付近の分割ブロックを表示画面150に収まる大きさで拡大表示させる。また、表示処理部10Bは、ステップS12HCとステップS12HEの処理を実行し、左スクロールボタン154を表示画面150の左端付近に、右スクロールボタン155を表示画面150の右端付近に表示させる。
【0079】
また、このような文章ブロックB3において、
図21(A3)に示されるように、当該文章ブロックB3の右端付近に対して指Hによるタップ操作が行われると、表示処理部10Bは、ステップS12Gの処理を実行し、
図21(B3)に示されるように、文章ブロ
ックB3の右端付近の分割ブロックを表示画面150に収まる大きさで拡大表示させる。また、表示処理部10Bは、ステップS12HCの処理を実行し、左スクロールボタン154を表示画面150の左端付近に表示させる。
【0080】
本実施形態の情報処理装置1であれば、画面に表示するコンテンツを、一覧性を維持した状態で拡大表示することが可能な状態になると、当該拡大表示が可能となったことを示すアイコンが表示される。そして、当該アイコンによって拡大表示可能となったことを知ったユーザは、文章の部分をタップ操作することにより、各行の両端が画面に収まる状態で拡大表示された文章を読むことができる。すなわち、拡大表示された文章の各行の先頭或いは末尾が画面からはみ出ず、一覧性を維持した状態の拡大表示が行われる。よって、ユーザは、当該文章を読むために、一行を読んでいる途中で画面内でスライドさせたり、或いは、表示内容の縮小操作を行わなくても、拡大された文章を読むことが可能となる。
【0081】
スマートフォンやスマートウォッチ、タブレット、携帯電話等の携帯機器では、表示画面の情報を拡大して見やすくする際、従来技術の拡大方法では、拡大後の情報が画面内に収まらず、連続する文章が途切れてしまったり、画像の一部が、見えなくなってしまうという問題が生じていた。一方、上記実施形態の情報処理装置1では、見やすさ向上と情報の一覧性との両立を図るために、上述したように、表示画面のキャプチャー画像を取得し、その画像に含まれる色のヒストグラムを算出して背景色を特定したあと、背景色に対するコントラストの変化から文章ブロックを検出することによって、ユーザがタップ操作で指定した文章ブロックの一覧性を維持しながら拡大表示を行う。また、文章ブロック内の属性(ブロックのサイズ、文字を書き進める方向(縦書き/横書き)、列幅/行高)によって、画面の拡大率、および、文章ブロックの分割表示数を決定し、1回、または、複数回に分けてブロック表示することで、見やすさと一覧性との両立を図る。
【0082】
なお、本実施形態の情報処理装置1において、表示処理部10Bは、文章ブロックを複数の分割エリアに分割する場合、ステップS12Gの処理において、各分割エリアのうちタップ位置に対応する分割エリアを拡大表示していた。しかし、表示処理部10Bは、文章ブロックを複数の分割エリアに分割する場合であっても、ステップS12Gの処理において、各分割エリアのうち当該文章ブロックの文章の先頭行が位置する分割ブロックを表示するようにしてもよい。このような変形例の場合、例えば、文章ブロックが縦書きであれば、表示処理部10Bは、ステップS12Gの処理において、各分割エリアのうち当該文章ブロックにおいて最も右側にある分割ブロックを表示する。また、例えば、文章ブロックが横書きであれば、表示処理部10Bは、ステップS12Gの処理において、各分割エリアのうち当該文章ブロックにおいて最も上側にある分割ブロックを表示する。このような変形例であれば、ユーザは、タップ操作を行って拡大表示された文章ブロックの文章を、先頭行から直ちに読み進めることができる。
【0083】
また、上記実施形態では、文章ブロック及び非文章ブロックに対する操作の一例として、タップ操作が例示されていたが、文章ブロック及び非文章ブロックに対する操作は、タップ操作に限定されない。文章ブロック及び非文章ブロックに対する操作は、例えば、非タッチ操作、すなわち、タッチパネルとは別途に用意されたメカニカルスイッチによる選択操作、マウス等のポインティングデバイスによるクリック操作、その他の操作によるものであってもよい。
【0084】
また、上記実施形態では、ブロックの拡大表示が、当該ブロックの中心を表示画面150の中心に配置した状態で行われていたが、表示処理部10Bは、例えば、表示画面150の一部に画定した表示領域の中心にブロックの中心を配置した状態で、当該表示領域内に当該ブロックを拡大表示するようにしてもよい。
【0085】
また、上記実施形態では、アイコンが表示画面150の右下に配置されていたが、アイコンは、ユーザの設定操作等により、適宜の位置へ変更することもできる。
【0086】
また、上記実施形態では、拡大表示可能な旨を表すデザインの一例として、
図15(C)にアイコン152を例示したが、拡大表示可能な旨を表すデザインはこれに限定されない。アイコン152は、例えば、「A」以外の文字と、当該文字から放射状に広がる複数の線とを有するものであってもよいし、或いは、その他のデザインであってもよい。
【0087】
また、上記実施形態では、位置変更操作がブロック単位で可能な旨を表すデザインの一例として、
図15(D)にアイコン153を例示したが、位置変更操作がブロック単位で可能な旨を表すデザインはこれに限定されない。アイコン153は、例えば、略矩形を形成する4つの角を有するデザイン以外のデザインであってもよい。
【0088】
また、上記実施形態では、4種類のスクロールボタン154~157が押された場合に画面がスクロールしていたが、情報処理装置1は、スクロールボタンが表示された状態または非表示の状態において、スクロールボタンの付近をタップ操作した場合にスクロールが行われるようにしてもよい。
【0089】
また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0090】
また、情報処理装置1で行われる各種処理機能は、CPU(またはMPU、MCU(Micro Controller Unit)等のマイクロ・コンピュータ)上で、その全部または任意の一
部を実行するようにしてもよい。また、各種処理機能は、CPU(またはMPU、MCU等のマイクロ・コンピュータ)で解析実行されるプログラム上、またはワイヤードロジックによるハードウエア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。
【0091】
また、記憶部13のプログラム13aについては、最初から記憶部13に記憶させておかなくてもよい。例えば、情報処理装置1に挿入されるフレキシブルディスク、いわゆるFD、CD-ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」にプログラム13aを記憶させる。そして、情報処理装置1がこれらの可搬用の物理媒体からプログラム13aを取得して実行するようにしてもよい。また、公衆回線、インターネット、LAN、WANなどを介して情報処理装置1に接続される他のコンピュータまたはサーバ装置などにプログラム13aを記憶させておき、情報処理装置1がこれらからプログラム13aを取得して実行するようにしてもよい。
【0092】
また、本願は、以下の付記的事項を開示する。
(付記1)
表示部の表示画面に対するタッチ操作を検出する検出部と、
前記表示画面に表示されるコンテンツに、背景色との色差に基づいて抽出される表示物のブロックが複数ある状態において、前記複数のブロックのうちの何れかに対するタッチ操作を検出した場合、当該タッチ操作が行われたブロックを、当該ブロックの上下方向及び左右方向の少なくとも何れかの方向における中心が当該表示画面内に設定される表示領域の中央になるように配置し、当該ブロックの少なくとも一部を所定の拡大率で当該表示領域に表示させる表示処理部と、を備える、
表示装置。
(付記2)
前記表示処理部は、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が横書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの左右方向における中心が前記表示領域の中央になるように配置し、当該文章ブロックの横幅が当該表示領域の横幅に収まる前記所定の拡大率で当該文章ブロックの少なくとも一部を当該表示画面に表示させ、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が縦書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの上下方向における中心が前記表示領域の中央になるように配置し、当該文章ブロックの縦幅が当該表示領域の縦幅に収まる前記所定の拡大率で当該文章ブロックの少なくとも一部を当該表示画面に表示させる、
付記1に記載の表示装置。
(付記3)
前記表示処理部は、
タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まる大きさの場合には、当該ブロックの全域を当該表示領域に当該所定の拡大率で表示させ、
タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合には、当該所定の拡大率で当該表示領域に表示できる大きさに当該ブロックを分割した複数の分割領域のうち何れかの分割領域を、当該所定の拡大率で当該表示領域に表示させる、
付記1または2に記載の表示装置。
(付記4)
前記表示処理部は、タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合には、当該所定の拡大率で当該表示領域に表示できる大きさに当該ブロックを分割した複数の分割領域のうち、当該タッチ操作が行われた当該ブロック内における位置に対応する分割領域を、当該所定の拡大率で当該表示領域に表示させる、
付記3に記載の表示装置。
(付記5)
前記表示処理部は、タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合には、前記分割領域を前記所定の拡大率で前記表示領域に表示させると共に、当該分割領域に隣接する他の分割領域へ表示を移動するための移動を示唆する標識を前記表示画面に表示させる、
付記3または4に記載の表示装置。
(付記6)
前記表示処理部は、タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合において、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が横書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの横幅が前記表示領域の横幅に収まる前記所定の拡大率で前記分割領域を当該表示領域に表示させると共に、当該分割領域に隣接する他の分割領域へ縦方向を示唆する縦移動標識を前記表示画面に表示させ、画面領域のタッチした側にスクロールし、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が縦書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの縦幅が前記表示領域の縦幅に収まる前記所定の拡大率で前記分割領域を当該表示領域に表示させると共に、当該分割領域に隣接する他の分割領域へ横方向を示唆する横移動標識を前記表示画面に表示させ、画面領域のタッチした側にスクロールする、
付記3から5の何れか一項に記載の表示装置。
(付記7)
前記表示処理部は、タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合において、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が横書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの横幅が前記表示領域の横幅に収まる前記所定の拡大率で前記複数の分割領域のうち最も上側にある分割領域を当該表示領域に表示させ
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が縦書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの縦幅が前記表示領域の縦幅に収まる前記所定の拡大率で前記複数の分割領域のうち最も右側にある分割領域を当該表示領域に表示させる、
付記3に記載の表示装置。
(付記8)
前記表示処理部は、タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が文字列と推定される文章ブロックであった場合、当該文章ブロックに関する属性情報に基づいて前記所定の拡大率を算出する、
付記1から7の何れか一項に記載の表示装置。
(付記9)
表示部の表示画面に対するタッチ操作を検出する検出処理と、
前記表示画面に表示されるコンテンツに、背景色との色差に基づいて抽出される表示物のブロックが複数ある状態において、前記複数のブロックのうちの何れかに対するタッチ操作を検出した場合、当該タッチ操作が行われたブロックを、当該ブロックの上下方向及び左右方向の少なくとも何れかの方向における中心が当該表示画面内に設定される表示領域の中央になるように配置し、当該ブロックの少なくとも一部を所定の拡大率で当該表示領域に表示させる表示処理と、をコンピュータに実行させる、
表示制御プログラム。
(付記10)
前記表示処理では、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が横書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの左右方向における中心が前記表示領域の中央になるように配置し、当該文章ブロックの横幅が当該表示領域の横幅に収まる前記所定の拡大率で当該文章ブロックの少なくとも一部を当該表示画面に表示させ、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が縦書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの上下方向における中心が前記表示領域の中央になるように配置し、当該文章ブロックの縦幅が当該表示領域の縦幅に収まる前記所定の拡大率で当該文章ブロックの少なくとも一部を当該表示画面に表示させる、
付記9に記載の表示制御プログラム。
(付記11)
前記表示処理では、
タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まる大きさの場合には、当該ブロックの全域を当該表示領域に当該所定の拡大率で表示させ、
タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合には、当該所定の拡大率で当該表示領域に表示できる大きさに当該ブロックを分割した複数の分割領域のうち何れかの分割領域を、当該所定の拡大率で当該表示領域に表示させる、
付記9または10に記載の表示制御プログラム。
(付記12)
前記表示処理では、タッチ操作が行われたブロックが、前記所定の拡大率で表示すると
前記表示領域に収まらない大きさの場合には、当該所定の拡大率で当該表示領域に表示できる大きさに当該ブロックを分割した複数の分割領域のうち、当該タッチ操作が行われた当該ブロック内における位置に対応する分割領域を、当該所定の拡大率で当該表示領域に表示させる、
付記11に記載の表示制御プログラム。
(付記13)
前記表示処理では、タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合には、前記分割領域を前記所定の拡大率で前記表示領域に表示させると共に、当該分割領域に隣接する他の分割領域へ表示を移動するための移動を示唆する標識を前記表示画面に表示させる、
付記11または12に記載の表示制御プログラム。
(付記14)
前記表示処理では、タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合において、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が横書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの横幅が前記表示領域の横幅に収まる前記所定の拡大率で前記分割領域を当該表示領域に表示させると共に、当該分割領域に隣接する他の分割領域へ縦方向を示唆する縦移動標識を前記表示画面に表示させ、画面領域のタッチした側にスクロールさせ、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が縦書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの縦幅が前記表示領域の縦幅に収まる前記所定の拡大率で前記分割領域を当該表示領域に表示させると共に、当該分割領域に隣接する他の分割領域へ横方向を示唆する横移動標識を前記表示画面に表示させ、画面領域のタッチした側にスクロールさせる、
付記11から13の何れか一項に記載の表示制御プログラム。
(付記15)
前記表示処理では、タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合において、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が横書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの横幅が前記表示領域の横幅に収まる前記所定の拡大率で前記複数の分割領域のうち最も上側にある分割領域を当該表示領域に表示させ
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が縦書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの縦幅が前記表示領域の縦幅に収まる前記所定の拡大率で前記複数の分割領域のうち最も右側にある分割領域を当該表示領域に表示させる、
付記11に記載の表示制御プログラム。
(付記16)
前記表示処理では、タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が文字列と推定される文章ブロックであった場合、当該文章ブロックに関する属性情報に基づいて前記所定の拡大率を算出させる、
付記9から15の何れか一項に記載の表示制御プログラム。
(付記17)
表示部の表示画面に対するタッチ操作を検出する検出処理と、
前記表示画面に表示されるコンテンツに、背景色との色差に基づいて抽出される表示物のブロックが複数ある状態において、前記複数のブロックのうちの何れかに対するタッチ操作を検出した場合、当該タッチ操作が行われたブロックを、当該ブロックの上下方向及び左右方向の少なくとも何れかの方向における中心が当該表示画面内に設定される表示領域の中央になるように配置し、当該ブロックの少なくとも一部を所定の拡大率で当該表示領域に表示させる表示処理と、をコンピュータが実行する、
表示制御方法。
(付記18)
前記表示処理では、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が横書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの左右方向における中心が前記表示領域の中央になるように配置し、当該文章ブロックの横幅が当該表示領域の横幅に収まる前記所定の拡大率で当該文章ブロックの少なくとも一部を当該表示画面に表示し、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が縦書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの上下方向における中心が前記表示領域の中央になるように配置し、当該文章ブロックの縦幅が当該表示領域の縦幅に収まる前記所定の拡大率で当該文章ブロックの少なくとも一部を当該表示画面に表示する、
付記17に記載の表示制御方法。
(付記19)
前記表示処理では、
タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まる大きさの場合には、当該ブロックの全域を当該表示領域に当該所定の拡大率で表示し、
タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合には、当該所定の拡大率で当該表示領域に表示できる大きさに当該ブロックを分割した複数の分割領域のうち何れかの分割領域を、当該所定の拡大率で当該表示領域に表示する、
付記17または18に記載の表示制御方法。
(付記20)
前記表示処理では、タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合には、当該所定の拡大率で当該表示領域に表示できる大きさに当該ブロックを分割した複数の分割領域のうち、当該タッチ操作が行われた当該ブロック内における位置に対応する分割領域を、当該所定の拡大率で当該表示領域に表示する、
付記19に記載の表示制御方法。
(付記21)
前記表示処理では、タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合には、前記分割領域を前記所定の拡大率で前記表示領域に表示させると共に、当該分割領域に隣接する他の分割領域へ表示を移動するための移動を示唆する標識を前記表示画面に表示する、
付記19または20に記載の表示制御方法。
(付記22)
前記表示処理では、タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合において、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が横書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの横幅が前記表示領域の横幅に収まる前記所定の拡大率で前記分割領域を当該表示領域に表示させると共に、当該分割領域に隣接する他の分割領域へ縦方向を示唆する縦移動標識を前記表示画面に表示させ、画面領域のタッチした側にスクロールし、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が縦書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの縦幅が前記表示領域の縦幅に収まる前記所定の拡大率で前記分割領域を当該表示領域に表示させると共に、当該分割領域に隣接する他の分割領域へ横方向を示唆する横移動標識を前記表示画面に表示させ、画面領域のタッチした側にスクロールする、
付記19から21の何れか一項に記載の表示制御方法。
(付記23)
前記表示処理では、タッチ操作が行われたブロックが、前記所定の拡大率で表示すると前記表示領域に収まらない大きさの場合において、
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が横書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの横幅が前記表示領域の横幅に収まる前記所定の拡大率で前記複数の分割領域のうち最も上側にある分割領域を当該表示領域に表示し
タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が縦書きの文字列と推定される文章ブロックであった場合、当該文章ブロックの縦幅が前記表示領域の縦幅に収まる前記所定の拡大率で前記複数の分割領域のうち最も右側にある分割領域を当該表示領域に表示する、
付記19に記載の表示制御方法。
(付記24)
前記表示処理では、タッチ操作が行われたブロックが、前記背景色との色差に基づいて抽出される表示物の配列から当該表示物が文字列と推定される文章ブロックであった場合、当該文章ブロックに関する属性情報に基づいて前記所定の拡大率を算出する、
付記17から23の何れか一項に記載の表示制御方法。
【符号の説明】
【0093】
1・・情報処理装置
10・・制御部
10A・・検出部
10B・・表示処理部
11・・通信部
11A・・アンテナ
12・・音声入出力部
12A・・スピーカ
12B・・マイク
13・・記憶部
13A・・プログラム
13B・・定義情報
14・・操作部
15・・表示部
150・・表示画面
151・・アイコン
152・・アイコン
153・・アイコン
154・・左スクロールボタン
155・・右スクロールボタン
156・・上スクロールボタン
157・・下スクロールボタン
B1・・文章ブロック
B2・・文章ブロック
B3・・文章ブロック
H・・指