IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 理想科学工業株式会社の特許一覧

<>
  • 特開-画像処理装置およびプログラム 図1
  • 特開-画像処理装置およびプログラム 図2
  • 特開-画像処理装置およびプログラム 図3
  • 特開-画像処理装置およびプログラム 図4
  • 特開-画像処理装置およびプログラム 図5
  • 特開-画像処理装置およびプログラム 図6
  • 特開-画像処理装置およびプログラム 図7
  • 特開-画像処理装置およびプログラム 図8
  • 特開-画像処理装置およびプログラム 図9
  • 特開-画像処理装置およびプログラム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022102204
(43)【公開日】2022-07-07
(54)【発明の名称】画像処理装置およびプログラム
(51)【国際特許分類】
   H04N 1/60 20060101AFI20220630BHJP
   G09G 5/02 20060101ALI20220630BHJP
   G09G 5/32 20060101ALI20220630BHJP
   G06T 1/00 20060101ALI20220630BHJP
   H04N 1/387 20060101ALI20220630BHJP
   G06F 3/0481 20220101ALI20220630BHJP
【FI】
H04N1/60
G09G5/02 Z
G09G5/32 640S
G06T1/00 510
H04N1/387 110
G06F3/0481
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2020216804
(22)【出願日】2020-12-25
(71)【出願人】
【識別番号】000250502
【氏名又は名称】理想科学工業株式会社
(74)【代理人】
【識別番号】100128451
【弁理士】
【氏名又は名称】安田 隆一
(72)【発明者】
【氏名】石 圭一郎
【テーマコード(参考)】
5B057
5C076
5C079
5C182
5E555
【Fターム(参考)】
5B057CA01
5B057CA08
5B057CA12
5B057CB01
5B057CB08
5B057CB12
5B057CE04
5B057CE16
5B057DB02
5B057DB06
5B057DB09
5B057DC19
5B057DC25
5C076AA26
5C079HB01
5C079HB05
5C079HB11
5C079LA02
5C079LA06
5C079LA31
5C079LB11
5C079NA06
5C079PA05
5C182AA03
5C182AB02
5C182AB08
5C182AC02
5C182BA12
5C182CA32
5C182DA69
5C182FA68
5E555AA22
5E555AA71
5E555BA02
5E555BA04
5E555BA62
5E555BA82
5E555BA86
5E555BB02
5E555BB04
5E555BC20
5E555BE08
5E555CC22
5E555DB41
5E555DB51
5E555DC09
5E555DC13
5E555DC14
5E555DC35
5E555DC75
5E555EA05
5E555EA14
5E555FA00
(57)【要約】
【課題】画像データに対して追加して表示される情報を、色弱者が識別し易い色で表示することができる画像処理装置およびプログラムを提供する。
【解決手段】入力された画像データを画面上に表示させ、かつ画面上に表示された画像に対して追加情報を追加して表示させる表示制御部12bと、色弱者の種類を特定する特定部12cと、画像データと特定部12cにより特定された色弱者の種類に基づいて、追加情報の色を決定する色決定部12dとを備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
入力された画像データを画面上に表示させ、かつ前記画面上に表示された画像に対して追加情報を追加して表示させる表示制御部と、
色弱者の種類を特定する特定部と、
前記画像データと前記特定部により特定された色弱者の種類に基づいて、前記追加情報の色を決定する色決定部とを備えた画像処理装置。
【請求項2】
前記色決定部は、前記画像データを構成する各画素の情報をxy色度図上の点に変換し、該変換した点を、前記色弱者の種類に応じた混同色線を用いて前記色弱者が認識可能な直線上に投影した結果に基づいて、前記追加情報の色を決定する請求項1記載の画像処理装置。
【請求項3】
前記色決定部が、前記色弱者が認識可能な直線上に投影した結果に基づいてヒストグラムを生成し、該生成したヒストグラムを用いて前記追加情報の色を決定する請求項1または2記載の画像処理装置。
【請求項4】
前記色決定部が、前記ヒストグラムを所定の関数でフィッティングし、該フィッティングした関数の極小値に基づいて、前記追加情報の色を決定する請求項3記載の画像処理装置。
【請求項5】
前記色決定部が、前記画像データに対して解像度を低下させる処理を施し、該処理後の各画素の情報をxy色度図上の点に変換する請求項1から4いずれか1項記載の画像処理装置。
【請求項6】
入力された画像データを画面上に表示させるステップと、
色弱者の種類を特定するステップと、
前記画像データと前記特定した色弱者の種類に基づいて、前記追加情報の色を決定するステップと、
前記画面上に表示された画像に対して、前記追加情報を前記決定した色で追加して表示させるステップとをコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像データを画面上に表示させるとともに、その画像データに対して追加情報を追加して表示させる画像処理装置およびプログラムに関する。
【背景技術】
【0002】
従来、画像データを表示する際、色弱者(色覚異常者)が適切に認識できるように画像データに対して所定の処理を行うことが提案されている。
【0003】
たとえば特許文献1においては、第1の色と第2の色とを含む画像を構成する画像データを表示する際、色弱者が、第1の色と第2の色とを区別できないと判定した場合には、第1の色と第2の色とのいずれか一方に対して、複数の明度が混在する明度差ディザを加算することが提案されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2014-138249号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ここで、画像データを画面上に表示した後、その画像データに関する情報を追加して表示することがある。たとえば文章を含む画像データを表示する際、その文章に対するコメントを追加して表示する場合や、画像データに対して凡例を追加して表示する場合などが考えられる。
【0006】
このような場合、色弱者が、追加したコメントや凡例の色を周囲の画像データの色と判別できず、コメントや凡例を認識できない問題が起こり得る。
【0007】
特許文献1では、表示される画像データ自体に処理を施すことは提案されているが、上述したように画像データに対して追加して表示されるコメントや凡例を、色弱者が認識可能に表示する方法については何も提案されていない。
【0008】
本発明は、上記事情に鑑み、画像データに対して追加して表示される情報を、色弱者が識別し易い色で表示することができる画像処理装置およびプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【0009】
本発明の画像処理装置は、入力された画像データを画面上に表示させ、かつ画面上に表示された画像に対して追加情報を追加して表示させる表示制御部と、色弱者を特定する特定部と、画像データと特定部より特定された色弱者の種類に基づいて、追加情報の色を決定する色決定部とを備える。
【発明の効果】
【0010】
本発明の画像処理装置およびプログラムによれば、画像データを画面上に表示させ、かつ画面上に表示された画像に対して追加情報を追加して表示させる際、色弱者を特定し、画像データと特定した色弱者の種類に基づいて、上記追加情報の色を決定する。
【0011】
これにより、画像データに対して追加して表示される追加情報を、色弱者が識別し易い色で表示することができ、追加情報の可読性を向上することができる。
【図面の簡単な説明】
【0012】
図1】本発明の画像処理装置の一実施形態を用いた画像表示システムの概略構成を示すブロック図
図2】本発明の画像処理装置の一実施形態を用いた画像表示システムにおける色決定処理を説明するためのフローチャート
図3】xy色度図上に表した各画素の色情報を混同色線を利用して直線P上に投影する様子を説明するための図
図4】xy色度図における直線P上に投影された各投影点のヒストグラムの一例を示す図
図5】ヒストグラムのフィッティングを説明するための図
図6】フィッティング関数およびその極小値の一例を示す図
図7】画像データに含まれる文章に対してコメントC1およびコメントC2を追加してポップアップ表示した例を示す図
図8】極小値を持たないヒストグラムから追加情報の色を決定する方法を説明するための図
図9】頂点を持たないヒストグラムの一例を示す図
図10】xy色度図における直線P上に投影した各投影点から最も遠い点Xを求める方法の一例を説明するための図
【発明を実施するための形態】
【0013】
以下、図面を参照して本発明の画像処理装置の一実施形態を用いた画像表示システムについて詳細に説明する。図1は、本実施形態の画像表示システム1の概略構成を示すブロック図である。
【0014】
本実施形態の画像表示システム1は、図1に示すように、表示制御装置10と、表示装置20とを備えている。表示制御装置10と表示装置20とは、有線または無線の通信回線で接続されており、互いに通信可能に構成されている。
【0015】
表示制御装置10は、画像データ生成部11および画像処理部12を備えている。そして、画像処理部12は、画像データ解析部12a、表示制御部12b、特定部12cおよび色決定部12dを備えている。
【0016】
本実施形態の表示制御装置10は、たとえばユーザが作成した文章などを含む画像データを表示装置20に表示させるとともに、その文章を解析し、読み手が読みやすい文章となるように、文章に対するコメントを上記画像データに重ねてポップアップ表示させる。
【0017】
画像データ生成部11は、たとえばMicrosoft社製のWordなどの文書作成アプリケーションを起動することによって、ユーザが作成した文章などを含む画像データを生成する。
【0018】
画像処理部12は、画像データ生成部11によって生成された画像データに対して所定の処理を施して表示装置20に表示させる。なお、本実施形態の画像処理部12は、本発明の画像処理装置に相当する構成である。以下、画像処理部12の各部の構成について説明する。
【0019】
画像データ解析部12aは、画像データ生成部11によって生成された画像データが入力され、その画像データに含まれる文章を解析し、読み手が読みやすい文章であるか否かを解析する。画像データ解析部12aは、たとえば文章を構成する文字の大きさや行間が適切に設定されているか否かを解析するが、解析内容についてはこれに限らず、その他の公知な技術を用いることができる。なお、画像データ解析部12aに入力される画像データは、Wordによって作成された画像データそのものでもよいし、これをPDF(Portable Document Format)化したファイルでもよい。また、本実施形態においては、画像データ解析部12aの解析結果が、本発明の追加情報に相当する。
【0020】
表示制御部12bは、画像データ生成部11によって生成された画像データを表示装置20に表示させるとともに、画像データ解析部12aの解析結果を上記画像データに追加して表示装置20に表示させる。
【0021】
そして、表示制御部12bは、画像データに重ねて解析結果であるコメントをポップアップ表示する際、そのポップアップ表示が、その周囲の画像データの色に対して色弱者にとって認識し易い色で表示する。
【0022】
特定部12cは、色弱者の種類を特定する。色弱者の種類としては、たとえば1型2色覚、2型2色覚、3型2色覚、1型3色覚、2型3色覚および3型3色覚などがある。特定部12cは、たとえば表示装置20上に表示された色弱者の種類の設定画面上で指定された色弱者の種類を取得し、これにより色弱者の種類を特定する。
【0023】
色決定部12dは、画像データ生成部11によって生成された画像データと特定部12cによって特定された色弱者の種類とに基づいて、画像データ解析部12aの解析結果であるコメントをポップアップ表示する際に用いられる色、すなわち色弱者が認識し易い色を決定する。色決定部12dにおける色決定処理については、後で詳述する。
【0024】
表示制御装置10は、コンピュータから構成されるものであり、CPU(Central Processing Unit)、ROM(Read Only Memory)およびRAM(Random access memory)などの半導体メモリ、ハードディスクなどのストレージ、並びに通信I/Fを備えている。そして、表示制御装置10のストレージには、本発明の画像処理プログラムの一実施形態がインストールされており、この画像処理プログラムがCPUによって実行されることによって、表示制御装置10の画像処理部12が動作する。
【0025】
なお、本実施形態においては、画像処理部12の各部の機能を画像処理プログラムにより実現するようにしたが、これに限らず、一部または全部の機能もしくは制御をASIC(Application Specific Integrated Circuit)やFPGA(Field-Programmable Gate Array)、その他の電気回路などのハードウェアによって実現するようにしてもよい。
【0026】
表示装置20は、液晶ディスプレイなどの表示デバイスから構成される。なお、本実施形態においては、表示制御装置10と表示装置20とを別々に構成しているが、たとえばノート型パソコンやタブレット端末を用いて、表示制御装置10と表示装置20を一体化した構成としてもよい。
【0027】
次に、本実施形態の画像表示システム1における色決定処理について、図2に示すフローチャートを参照しながら説明する。
【0028】
まず、画像データ生成部11において、ユーザが作成した文章などを含む画像データが生成され、その生成された画像データが、画像データ解析部12aによって取得される(S10)。そして、画像データ解析部12aにおいて、画像データに含まれる文章の解析が行われる(S12)。
【0029】
画像データ解析部12aにおける文章の解析によって、コメントを追加表示する必要があると判断された場合には(S14,YES)、色決定部12dにおける色決定処理が行われる。以下、本実施形態における色決定処理について、詳細に説明する。
【0030】
まず、特定部12cによって色弱者の種類が特定される(S16)。次いで、色決定部12dは、画像データ生成部11において生成されたRGBの画像データをXYZ表色系に変換し、さらに画像データを構成する各画素の信号をxy色度図上の色情報に変換する(S18)。なお、RGBからXYZ表色系への変換およびXYZ表色系からxy色度図上の色情報への変換については、既存の式を用いることができる。XYZ表色系からxy色度図上の色情報への変換については、たとえば下式を用いることができる。
x=X/(X+Y+Z)
y=Y/(X+Y+Z)
【0031】
次いで、色決定部12dは、図3に示すように、xy色度図上に表した各画素(たとえば図3に示すP1、P2およびP3)の色情報を混同色線を利用して、xy色度図上の直線P上に投影する。具体的には、色決定部12dは、各画素の色情報を含む混同色線と直線Pとの交点を計算する(S20)。
【0032】
ここで、混同色線とは、図3に示す混同色中心Cから放射状に無数に引かれる直線である。色弱者は、混同色線上の色が、全て直線Pとの交点に位置する色に見える。すなわち、色弱者は、混同色線上の色同士を区別することができない。なお、混同色中心Cは、1型2色覚の色弱者の場合、(x,y)=(0.7465,0.2534)であり、2型2色覚の色弱者の場合、(x,y)=(1.400,-0.400)であり、3型2色覚の色弱者の場合、(x,y)=(0.1748,0.0)である。
【0033】
また、図3に示す直線Pは、1型2色覚の色弱者の場合の直線であり、下式で表すことができる。
y=1.415919x-0.082680
【0034】
そして、上述した1型2色覚の他、2型2色覚、3型2色覚、1型3色覚、2型3色覚および3型3色覚の色弱者の場合も、xy色度図上で認識可能な直性Pが存在する。
【0035】
色決定部12dには、色弱者の種類に応じた混同色線および直線Pが予め設定されており、色決定部12dは、特定部12cにより特定された色弱者の種類に基づいて、混同色線および直線Pを決定する。
【0036】
そして、色決定部12dは、上述したように直線P上に投影された各投影点の頻度を算出し、図4に示すようなヒストグラムを計算する(S22)。次いで、色決定部12dは、図5に示すように、S22で計算したヒストグラムを混合ガウス分布でフィッティングする(S24)。
【0037】
次に、色決定部12dは、図6に示すように、フィッティング関数の極小値(微分係数がゼロになる点)を計算する(S26)。そして、色決定部12dは、極小値におけるフィッティング関数の値が小さい順に、コメントに使用する色を決定する(S28)。すなわち、色決定部12dは、コメントが1つの場合には、フィッティング関数の値が最も小さい極小値における色をコメントの色として決定する。また、色決定部12dは、コメントが複数である場合には、上述したように極小値におけるフィッティング関数の値が小さい順に、コメントに使用する色を決定する。
【0038】
次いで、色決定部12dは、S26で決定した色情報を表示制御部12bに出力し、表示制御部12bは、入力されたxy色度図上のxyzの値をXYZ表色系に変換し、さらにXYZ表色系をRGBの信号に変換する(S30)。
【0039】
そして、表示制御部12bは、S28で変換されたRGBの信号を用いて、画像データ上にコメントを追加表示する(S32)。図7は、画像データに含まれる文章に対してコメントC1およびコメントC2を追加してポップアップ表示した例を示す図である。
【0040】
なお、S12における画像データの解析の結果、その文章に対するコメントが無い場合には(S14,NO)、特にポップアップ表示など行うことなく、そのまま処理を終了する。
【0041】
上記実施形態の画像表示システム1によれば、画像データを画面上に表示させ、かつ画面上に表示された画像に対して追加情報を追加して表示させる際、画像データと色弱者の種類とに基づいて、上記追加情報の色を決定する。
【0042】
これにより、画像データに対して追加して表示される追加情報を、色弱者が識別し易い色で表示することができ、追加情報の可読性を向上することができる。
【0043】
また、上記実施形態の画像表示システム1によれば、画像データを構成する各画素の情報をxy色度図上の点に変換し、その変換した点を混同色線を用いて色弱者が認識可能な直線P上に投影した結果に基づいて、上記追加情報の色を決定するようにしたので、色弱者の種類に応じた混同色線および直線Pを用いてことによって、色弱者の種類に応じた適切な色を決定することができる。
【0044】
また、上記実施形態の画像表示システム1によれば、色弱者が認識可能な直線P上に投影した結果に基づいてヒストグラムを生成し、その生成したヒストグラムを用いて追加情報の色を決定するようにしたので、画像データの色を考慮して追加情報の色を決定することができる。
【0045】
また、上記実施形態の画像表示システム1によれば、ヒストグラムを所定の関数でフィッティングし、そのフィッティングした関数の極小値に基づいて、追加情報の色を決定するようにしたので、簡易な演算方法によって画像データの色を考慮した追加情報の色を決定することができる。
【0046】
なお、上記実施形態においては、色決定部12dが、画像データを構成する各画素の信号をxy色度図上の色情報に変換するようにしたが、この際、画像データに対して解像度を低下させる処理を施し、その処理後の各画素の信号をxy色度図上の点に変換するようにしてもよい。これにより、色決定処理の処理速度を上げることができる。
【0047】
解像度を低下させる処理としては、たとえば画素の間引き処理や、隣接する複数画素をまとめて1つの画素に変換する処理などを用いるようにすればよい。
【0048】
また、画像データを構成する各画素の信号をxy色度図上の色情報に変換する際、全ての画素の信号を変換するのではなく、コメントを表示する位置周辺の一部の画素の信号のみを変換するようにしてもよい。これにより、色決定処理の処理速度を上げることができる。なお、コメントを表示する位置周辺の範囲については、予め設定するようにすればよい。
【0049】
また、上記実施形態においては、ユーザによって作成された文章の解析結果を追加情報として追加表示するようにしたが、追加情報としてはこれに限らず、たとえばユーザが任意に設定入力したコメントを追加情報としてもよいし、凡例を追加情報としてもよく、画像データに対して追加表示される情報であれば如何なるものでもよい。
【0050】
また、上記実施形態においては、色決定部12dが、ヒストグラムをフィッティングしたフィッティング関数の極小値を用いて色を決定するようにしたが、たとえば図8Aに示すようにヒストグラムが極小値を持たない場合もあり得る。
【0051】
このような場合、色決定部12dは、図8Bに示すようにヒストグラムを混合ガウス分布でフィッティングした頂点の色または単純に最も頻度が高い色から、直線P上で予め設定された閾値以上離れた点の色をコメントの色として決定する。
【0052】
また、色決定部12dで生成したヒストグラムが、図9に示すように頂点を持たないヒストグラムである場合もあり得る。この場合、色決定部12dは、ヒストグラムの各頻度の各色の明度と、予め設定した無彩色の各色(たとえば(R,G,B)=(0,0,0)、(R,G,B)=(68,68,68)、(R,G,B)=(128,128,128)、(R,G,B)=(196,196,196)および(R,G,B)=(255,255,255)など)の明度との明度差を算出し、最も明度差が大きい色をコメントの色として決定する。
【0053】
また、上記実施形態においては、色決定部12dが、ヒストグラムを用いてコメントの色を決定するようにしたが、ヒストグラムを用いずに色を決定するようにしてもよい。具体的には、色決定部12dは、直線P上に投影した各投影点から、直線P上において最も遠い点Xの色をコメントの色として決定するようにしてもよい。
【0054】
上述した最も遠い点Xを求める方法としては、たとえば図10に示すように直線P上で点Xを端から少しずつ移動させ、移動後の各位置の場合について、それぞれ各投影点からの距離(図10に示す例の場合、距離D、距離Dおよび距離D)を求め、その合計を計算する。色決定部12dは、上記合計値が大きい点Xの順でコメントの色を決定する。
【0055】
また、最も遠い点Xを求めるその他の方法として、直線P上の各投影点の座標の平均値を最も遠い点Xとしてもよい。なお、この場合、点Xが一つしか求まらないため、複数のコメントの色を決定する場合には、たとえば求めた点Xを既存の投影点の一つとして加え、さらに平均値を求めることで2番目以降のコメントの色を決定するようにすればよい。
【0056】
本発明に関し、さらに以下の付記を開示する。
(付記)
【0057】
本発明の画像処理装置において、色決定部は、画像データを構成する各画素の情報をxy色度図上の点に変換し、その変換した点を、色弱者の種類に応じた混同色線を用いて上記色弱者が認識可能な直線上に投影した結果に基づいて、追加情報の色を決定することができる。
【0058】
本発明の画像処理装置において、色決定部は、色弱者が認識可能な直線上に投影した結果に基づいてヒストグラムを生成し、その生成したヒストグラムを用いて追加情報の色を決定することができる。
【0059】
また、本発明の画像処理装置において、色決定部は、ヒストグラムを所定の関数でフィッティングし、そのフィッティングした関数の極小値に基づいて、追加情報の色を決定することができる。
【0060】
また、本発明の画像処理装置において、色決定部は、画像データに対して解像度を低下させる処理を施し、その処理後の各画素の情報をxy色度図上の点に変換することができる。
【0061】
本発明の画像処理プログラムは、入力された画像データを画面上に表示させるステップと、画像データを構成する各画素をxy色度図上の点に変換し、その変換した点を混同色線を用いて色弱者が認識可能な直線上に投影した結果に基づいて、追加情報の色を決定するステップと、画面上に表示された画像に対して、追加情報を決定した色で追加して表示させるステップとをコンピュータに実行させる。
【符号の説明】
【0062】
1 画像表示システム
10 表示制御装置
11 画像データ生成部
12 画像処理部
12a 画像データ解析部
12b 表示制御部
12c 特定部
12d 色決定部
20 表示装置
C 混同色中心
C1 コメント
C2 コメント
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10