7208740 情報処理装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-11

(45)【発行日】2023-01-19

(54)【発明の名称】情報処理装置、及びプログラム

(51)【国際特許分類】

   H04N 21/431 20110101AFI20230112BHJP

   H04L 67/02 20220101ALI20230112BHJP

   H04N 21/439 20110101ALI20230112BHJP

【ＦＩ】

H04N21/431

H04L67/02

H04N21/439

【請求項の数】 5

(21)【出願番号】P 2018152468

(22)【出願日】2018-08-13

(65)【公開番号】P2020028046

(43)【公開日】2020-02-20

【審査請求日】2021-07-13

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】東 真希子

(72)【発明者】

【氏名】半田 拓也

(72)【発明者】

【氏名】伊藤 均

【審査官】鈴木 順三

(56)【参考文献】

【文献】特開２０１６－０７１０９６（ＪＰ，Ａ）

【文献】特開２００１－３３１１６４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ － ２１／８５８

Ｈ０４Ｌ ６７／００ － ６７／７５

(57)【特許請求の範囲】

【請求項1】

入力されたコンテンツの画像及び音の少なくとも一方を、視覚または聴覚に障害をもつユーザに適合するように変換し、提示する情報処理装置であって、
前記ユーザを認識するユーザ認識部と、
前記コンテンツに含まれる画像、及び音の少なくとも一方を取得する取得部と、
前記ユーザ認識部により認識された前記ユーザの情報が登録されていない場合、前記ユーザの視覚特性、または聴覚特性を判定する判定部と、
前記判定部により判定されたユーザ毎の視覚特性を示す情報、または聴覚特性を示す情報を含む感覚特性情報を記憶する記憶部と、
前記ユーザ認識部により認識された前記ユーザに対する前記感覚特性情報に基づいて、前記取得部により取得された画像、及び音の少なくとも一方を前記ユーザに適合するように調整する調整部と、を有し、
前記ユーザ認識部は、
前記ユーザが日本語または手話ＣＧのいずれかを選択するように提示し、
当該ユーザ認識部にて認識された前記ユーザに対する前記感覚特性情報に基づいて出力装置を選択し、選択した出力装置に、前記調整部により調整された日本語の字幕または手話ＣＧを出力する出力制御部を有する情報処理装置。

【請求項2】

前記取得部は、前記コンテンツに含まれる触覚提示用のデータを取得し、
前記出力制御部は、前記ユーザ認識部にて認識された前記ユーザに対する前記感覚特性情報に基づいて、テレビジョン受像機、ディスプレイ、スピーカー、タブレット端末、触覚提示装置、字幕表示装置、及び手話ＣＧ提示装置の少なくとも一つの出力装置を選択し、選択した出力装置に、前記調整部により調整されたコンテンツ、及び前記触覚提示用のデータの少なくとも一つを出力する、
請求項１に記載の情報処理装置。

【請求項3】

入力されたコンテンツの画像及び音の少なくとも一方を、視覚または聴覚に障害をもつユーザに適合するように変換し、提示する情報処理装置であって、
前記ユーザを認識するユーザ認識部と、
前記コンテンツに含まれる画像、及び音の少なくとも一方を取得する取得部と、
前記ユーザ認識部により認識された前記ユーザの情報が登録されていない場合、前記ユーザの視覚特性、または聴覚特性を判定する判定部と、
前記判定部により判定されたユーザ毎の視覚特性を示す情報、または聴覚特性を示す情報を含む感覚特性情報を記憶する記憶部と、
前記ユーザ認識部により認識された前記ユーザに対する前記感覚特性情報に基づいて、前記取得部により取得された画像、及び音の少なくとも一方を前記ユーザに適合するように調整する調整部と、を有し、
前記視覚特性は、前記ユーザが識別可能な色の組み合わせの情報を含み、
前記調整部は、前記取得部により取得された画像に含まれる、文字、及び背景に対して動く物体の少なくとも一方を含む所定のオブジェクトの色を、前記ユーザが前記所定のオブジェクトの背景の色と識別可能な色に変更する情報処理装置。

【請求項4】

前記調整部は、前記所定のオブジェクトの色を、前記ユーザが前記所定のオブジェクトの色と識別可能な色のうち、前記所定のオブジェクトの色に最も近い色に変更する、
請求項３に記載の情報処理装置。

【請求項5】

コンピュータを、請求項１乃至４のいずれか一項に記載の情報処理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、及びプログラムに関する。

【背景技術】

【0002】

従来、視覚や聴覚等に障害があるユーザへ情報提示するための手法や装置の研究等が行われている。例えば、特許文献１には、触覚情報を含む感覚情報を個々のコンテンツに対応させてユーザに提示することにより、多種の感覚で情報を提供する（マルチモーダル）手法が提案されている。

【0003】

一方、特許文献２には、利用者の感覚を定量的に分析し、利用者の感覚に応じた情報を特定するクロスモーダルデータを提示する技術も提案されている。

【0004】

また、特許文献３には、放送波により提供される放送サービスと通信ネットワークを介して提供される通信サービスとを融合した放送通信連携サービスにおいて、視覚および聴覚以外の感覚の情報を、コンテンツに同期させて触覚情報として提供する技術が提案されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１６－２１３６６７号公報

【文献】特開２０１７－０２１６１３号公報

【文献】特許第６２５４８５２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、各ユーザの障害の程度に応じて複数の装置を適切に調整し、ユーザごとに最適な情報の提示が行えないという問題がある。そこで、本発明は、上述した問題点に鑑みなされたものであり、視覚または聴覚等に障害をもつユーザに適合するようにコンテンツを含む情報の提示を行うことができる技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

一つの態様では、入力されたコンテンツの画像及び音の少なくとも一方を、視覚または聴覚に障害をもつユーザに適合するように変換し、提示する情報処理装置が、前記ユーザを認識するユーザ認識部と、前記コンテンツに含まれる画像、及び音の少なくとも一方を取得する取得部と、前記ユーザ認識部により認識された前記ユーザの情報が登録されていない場合、前記ユーザの視覚特性、または聴覚特性を判定する判定部と、前記判定部により判定されたユーザ毎の視覚特性を示す情報、または聴覚特性を示す情報を含む感覚特性情報を記憶する記憶部と、前記ユーザ認識部により認識された前記ユーザに対する前記感覚特性情報に基づいて、前記取得部により取得された画像、及び音の少なくとも一方を前記ユーザに適合するように調整する調整部と、を有し、前記ユーザ認識部は、前記ユーザが日本語または手話ＣＧのいずれかを選択するように提示し、当該ユーザ認識部にて認識された前記ユーザに対する前記感覚特性情報に基づいて出力装置を選択し、選択した出力装置に、前記調整部により調整された日本語の字幕または手話ＣＧを出力する出力制御部を有する。

【発明の効果】

【0008】

開示の技術によれば、ユーザにとってより適切な態様で情報提示を行うことができる。

【図面の簡単な説明】

【0009】

【図1】実施形態に係る情報処理システムの構成例を示す図である。

【図2】実施形態に係る情報処理装置の機能構成を示す機能ブロック図である。

【図3】実施形態に係る情報処理装置の処理の一例を示すフローチャートである。

【図4】実施形態に係る感覚特性情報の一例を示す図である。

【図5】実施形態に係る検査画像の一例について説明する図である。

【図6】実施形態に係る、所定のユーザに対する色覚に関する視覚特性を示す情報の一例について説明する図である。

【図7】実施形態に係る視覚特性に応じた調整処理の一例を示すフローチャートである。

【図8】実施形態に係る視覚特性に応じた調整処理の一例について説明する図である。

【図9】実施形態に係る、所定のユーザに対する周波数に関する聴覚特性を示す情報の一例について説明する図である。

【図10】実施形態に係る聴覚特性に応じた調整処理の一例を示すフローチャートである。

【図11】実施形態に係る、所定のユーザに対する周波数に関する聴覚特性を示す情報の一例について説明する図である。

【図12】実施形態に係る聴覚特性に応じた調整処理の一例について説明する図である。

【発明を実施するための形態】

【0010】

以下、図面を参照しながら本発明の実施形態について説明する。

【0011】

＜システム構成＞
図１は、実施形態に係る情報処理システム１の構成例を示す図である。図１において、情報処理システム１は、情報処理装置１０、テレビジョン受像機である出力装置２０－１、触覚提示装置である出力装置２０－２、・・・（以下で、それぞれを区別する必要がない場合は、単に「出力装置２０」と称する。）、及びコンテンツ提供装置３０を有する。

【0012】

コンテンツ提供装置３０は、例えば、放送波により提供される放送サービスと通信ネットワークを介して提供される通信サービスとを融合したサービスにおいて、視覚および聴覚を含むコンテンツの他に、視覚および聴覚以外の感覚の情報を、コンテンツに同期させて提供する。具体的には、放送局の放送装置およびインターネット等の通信網に接続されたサーバを用い、手話ＣＧ、触覚提示用のデータ、動画像、及び音声等を含むコンテンツを提供する装置である。コンテンツ提供装置３０は、例えば、テレビジョン放送、またはインターネット等の通信網４０を介して、視覚特性または聴覚特性に応じた信号調整処理を行うための情報処理装置１０または出力装置２０に、当該コンテンツデータを送信する。なお、触覚提示用のデータとは、例えば、触覚提示装置の駆動部を制御するための制御データでもよい。

【0013】

出力装置２０は、例えば、テレビジョン受像機、ディスプレイ、スピーカー、タブレット（携帯）端末、触覚提示装置、字幕表示装置、手話ＣＧ提示装置等を含む出力装置であり、コンテンツ提供装置３０から送信されたコンテンツを情報処理装置１０による調整結果に基づいて出力する。触覚提示装置は、例えば、振動によりユーザに触覚を提示する装置でもよい。この場合、触覚提示装置は、スマートフォン等の振動装置を有する携帯端末でもよい。

【0014】

情報処理装置１０は、例えば、パーソナルコンピュータ等の情報処理装置である。情報処理装置１０は、コンテンツ提供装置３０から送信されたコンテンツを各ユーザの感覚の特性に応じて、信号を適切に調整して、テレビジョン受像機、ディスプレイ、スピーカー、タブレット端末、触覚提示装置、字幕表示装置、手話ＣＧ提示装置等を含む出力装置２０に出力させる。

【0015】

＜機能構成＞
図２は、実施形態に係る情報処理装置１０の機能構成を示す機能ブロック図である。次に、図２を参照し、実施形態に係る情報処理装置１０の機能構成について説明する。

【0016】

情報処理装置１０は、記憶部１１、ユーザ認識部１２、視覚特性判定部１３、聴覚特性判定部１４、取得部１５、調整部１６、及び出力制御部１７を有する。

【0017】

記憶部１１は、ユーザ毎の視覚特性を示す情報、及び聴覚特性を示す情報を含む感覚特性情報１１１を記憶するものである。ユーザ認識部１２は、情報処理装置１０の各ユーザを、例えば、ユーザにより入力される認証番号や公知の顔認証等により認識（識別）するものである。

【0018】

ユーザ認識部１２は、手話ＣＧ表示手段を含み、ユーザが入力した認証番号または顔認証により認証できなかった場合には、ユーザに対し、第一言語が日本語または手話のいずれかを選択するよう画面にて提示する。そして、第一言語が日本語と入力された場合には、以後の案内を日本語で提示し、手話ＣＧと選択した場合には、後述する設定案内を手話ＣＧにて提示する。手話ＣＧの提示には、例えば、特開２０１５－２３０６４０号公報の技法により文脈に合った適切な顔表情のキャラクタにより手話ＣＧを提供してもよい。

【0019】

視覚特性判定部１３は、ユーザ認識部１２により認識されたユーザの情報が、感覚特性情報１１１に登録されていない場合、ユーザの視覚特性を予め定めた判定基準に基づいて判定し、判定した視覚特性を示す情報を感覚特性情報１１１に登録する。聴覚特性判定部１４は、ユーザ認識部１２により認識されたユーザの情報が、感覚特性情報１１１に登録されていない場合、ユーザの聴覚特性を予め定めた判定基準に基づいて判定し、判定した聴覚特性を示す情報を感覚特性情報１１１に登録する。

【0020】

取得部１５は、コンテンツ提供装置３０から送信された静止画、及び動画を含む画像、音声、及び字幕等を含むコンテンツを取得する。

【0021】

調整部１６は、ユーザ認識部１２にて認識されたユーザに対応付けて感覚特性情報１１１に登録されている情報に基づいて、取得部１５により取得された画像、及び音声等を調整する。なお、感覚特性情報１１１の詳細については後述する。

【0022】

出力制御部１７は、ユーザ認識部１２にて認識されたユーザに対応付けて感覚特性情報１１１に登録されている情報に基づいて、テレビジョン受像機、ディスプレイ、スピーカー、タブレット端末、触覚提示装置、字幕表示装置、及び手話ＣＧ提示装置等の出力装置２０のうち、コンテンツを提示する１以上の出力装置２０を選択する。そして、出力制御部１７は、選択した出力装置２０に、調整部１６により調整されたコンテンツ、及び触覚提示装置用のデータを出力する。

【0023】

＜処理＞
次に、図３を参照し、情報処理装置１０の処理について説明する。図３は、実施形態に係る情報処理装置１０の処理の一例を示すフローチャートである。図４は、実施形態に係る感覚特性情報１１１の一例を示す図である。

【0024】

ステップＳ１において、ユーザ認識部１２は、過去に登録された個々のユーザの感覚特性情報１１１を即座に利用できるようにユーザを認識する。ここで、ユーザ認識部１２は、例えば、カメラにより撮影されたユーザの画像に基づいて、公知の顔認識技術等を用いてユーザを認識してもよい。また、ユーザ認識部１２は、例えば、リモコン等におけるユーザを指定するためのボタン操作により、認証番号を入力することによりユーザの認識をしてもよい。

【0025】

続いて、ステップＳ２において、ユーザ認識部１２は、当該ユーザに対する感覚特性の情報が感覚特性情報１１１に登録されているか否かを判定する。図４の例では、感覚特性情報１１１には、ユーザＩＤに対応付けて、視覚特性を示す情報、及び聴覚特性を示す情報が記憶されている。

【0026】

当該ユーザに対する視覚や聴覚を含む感覚特性の情報が登録されている場合（ステップＳ２でＹＥＳ）、後述するステップＳ６の処理に進む。

【0027】

ステップＳ３において、当該ユーザに対する感覚特性の情報が登録されている場合（ステップＳ２でＮＯ）、視覚特性判定部１３は、当該ユーザの視覚特性を判定する。ステップＳ３については、後で詳述する。

【0028】

続いて、ステップＳ４において、聴覚特性判定部１４は、当該ユーザの聴覚特性を判定する。

【0029】

続いて、ステップＳ５において、記憶部１１は、視覚特性判定部１３、及び聴覚特性判定部１４により判定された、視覚特性を示す情報、及び聴覚徳性を示す情報を、当該ユーザのユーザＩＤに対応付けて、感覚特性情報１１１に登録する。

【0030】

続いて、ステップＳ６において、調整部１６は、感覚特性情報１１１に登録されている、視覚特性を示す情報に基づいて、取得部１５により取得された動画像、字幕、及び手話ＣＧ等の画像を調整する。続いて、ステップＳ７において、調整部１６は、感覚特性情報１１１に登録されている、聴覚特性を示す情報に基づいて、取得部１５により取得された音を調整する。

【0031】

続いて、ステップＳ８において、出力制御部１７は、調整部１６により調整された画像、及び音を出力装置２０に出力させる。ここで、出力制御部１７は、ユーザ認識部１２により認識されたユーザの視覚特性、及び聴覚特性を示す情報に基づいて、出力装置２０－１、２０－２、・・・のうち、コンテンツを出力させる１以上の出力装置２０を選択し、選択した出力装置２０にコンテンツを出力してもよい。この場合、出力制御部１７は、聴覚に障がいのあるユーザに対しては、例えば、ユーザからの設定に応じて、字幕を字幕表示装置に表示させる、または手話ＣＧ（Computer Graphics）を手話ＣＧ提示装置に表示させてもよい。また、出力制御部１７は、視覚に障がいのあるユーザに対しては、例えば、周知の触覚提示装置等を用いて、点字等をユーザに伝達してもよい。

【0032】

≪視覚特性の判定処理≫
次に、図３のステップＳ３の、視覚特性判定部１３によるユーザの視覚特性を判定する処理について説明する。

【0033】

視覚特性判定部１３は、盲、弱視、近視、及び色覚異常を検査するための検査画像を出力装置２０に表示させ、ユーザからのリモコン等の操作により、当該検査画像に対する回答を取得する。視覚特性判定部１３は、例えば、予め定めた調整法を用いて、ユーザの視覚特性を判定してもよい。この場合、視覚特性判定部１３は、検査画像に対するユーザの回答に基づいて、予め用意した表示用の検査画像を順次に決定し、当該検査画像を出力装置２０に表示させる、そして、視覚特性判定部１３は、ユーザからの音声やリモコン等の操作により、検査画像に対する回答を取得する処理を、繰り返してもよい。なお、検査画像は、例えば、文字の大きさや色、背景色と文字色の組み合わせ等が異なる画像でもよい。

【0034】

図５は、実施形態に係る検査画像の一例について説明する図である。図５は、色覚異常を検査するための検査画像であり、それぞれ色の濃さが異なる複数の赤色の円により構成するものである。ここで、数字の「６」の領域５０１と、それぞれ色の濃さが異なる複数の茶色の円により構成される背景の領域５０２とを有する画像である。視覚特性判定部１３は、図５の検査画像、及び「何の数字が見えますか？」等の質問文を出力装置２０に表示する。そして、ユーザから音声やリモコン操作等により「６」が入力された場合は、当該ユーザが赤と茶とを区別して認識できると判定する。なお、視覚特性判定部１３は、近視、及び弱視を検査する場合、検査画像のサイズを徐々に大きくして表示させ、ユーザからの回答が正解となった際の当該検査画像における文字のサイズを、ユーザが認識できる文字のサイズであると判定してもよい。この場合、視覚特性判定部１３は、例えば、図５の検査画像に対して正解である「６」が入力されなかった場合、当該検査画像の表示サイズを一定程度（例えば、１０％）ずつ大きくして表示させ、正解である「６」が入力された際の「６」の大きさを、ユーザが認識できる文字のサイズであると判定する。

【0035】

図６は、実施形態に係る、所定のユーザに対する色覚に関する視覚特性を示す情報の一例について説明する図である。図６の例は、所定のユーザの視覚特性の一例を示す情報であり、当該所定のユーザが識別可能な色の組み合わせの情報を含むものである。図６の例では、当該所定のユーザが、色Ａ（例えば、赤）と色１（例えば、茶色）とを識別できることが○で示されている。また、当該所定のユーザが、色Ｃ（例えば、オレンジ色）と色１とを識別できないことが×で示されている。

【0036】

≪視覚特性に応じた調整処理≫
図７は、実施形態に係る視覚特性に応じた調整処理の一例を示すフローチャートである。図８は、実施形態に係る視覚特性に応じた調整処理の一例について説明する図である。

【0037】

図７、及び図８を参照し、図３のステップＳ６の、調整部１６による感覚特性情報１１１に登録されている視覚特性を示す情報に基づいて、画像を調整する処理について説明する。

【0038】

ステップＳ１０１において、調整部１６は、取得部１５により取得された画像における所定の種別のオブジェクトを検出する。ここで、調整部１６は、例えば、周知の動き検出処理等により、当該画像における文字（情景文字）、及び背景に対して動く物体を検出してもよい。情景文字の検出には、例えば、特開２０１７－２１１９７６に開示される画像処理装置を用いることができる。調整部１６は、文字として、例えば、当該画像中の字幕（テロップ）の文字、及び当該画像中の被写体である看板等における文字等を検出する。また、調整部１６は、背景に対して動く物体として、例えば、スポーツ競技の映像におけるボール等を検出する。

【0039】

なお、ステップＳ１０１において、調整部１６が所定の種別のオブジェクトが複数検出された場合は、以下の処理において、検出された各オブジェクトに対してそれぞれ実行されてもよい。

【0040】

続いて、ステップＳ１０２において、調整部１６は、図６の色覚に関する視覚特性を示す情報を参照し、所定のユーザが、当該オブジェクトの色と、当該オブジェクトの背景の色とを識別できるか否かを判定する。

【0041】

所定のユーザが、当該オブジェクトの色と、当該オブジェクトの背景の色とを識別できる場合（ステップＳ１０２でＹＥＳ）、処理を終了する。

【0042】

所定のユーザが、当該オブジェクトの色と、当該オブジェクトの背景の色とを識別できない場合（ステップＳ１０２でＮＯ）、ステップＳ１０３において、調整部１６は、当該オブジェクトの色と、当該オブジェクトの背景の色との少なくとも一方の色を変更し、処理を終了する。ここで、調整部１６は、例えば、図６の色覚に関する視覚特性を示す情報において、背景の色に対して、当該所定のユーザが識別可能な色のうち、当該オブジェクトの色に近い色を決定する。そして、調整部１６は、テロップの文字の色を、決定した色に変換した画像のデータを生成する。これにより、当該所定のユーザに対して、背景の印象を変更せずに、当該文字を認識させることができる。

【0043】

例えば、テロップの背景の色が「薄い青」であり、テロップの文字が「薄い緑」であり、図６の色覚に関する視覚特性を示す情報において、当該所定のユーザが、「薄い青」と「薄い緑」とを識別できないことが記憶されている場合であるとする。この場合、調整部１６は、図６の色覚に関する視覚特性を示す情報において、当該所定のユーザが、背景の色である「薄い青」に対して識別可能な色のうち、テロップの文字の色である「薄い緑」に近い色を決定する。この場合、調整部１６は、例えば、図８に示すように、国際照明委員会（ＣＩＥ; Commission Internationale de l'Eclairage）が定める表色系であるｘｙ色度図等において、当該所定のユーザがテロップの文字の色である「薄い緑」に対して識別可能な色のうち、当該「薄い緑」に最も近い色を決定してもよい。

【0044】

例えば、図６の色覚に関する視覚特性を示す情報において、図８のｘｙ色度図で示される「薄い青」８０１に対して当該所定のユーザが識別可能な色として、図８のｘｙ色度図で示される「緑」８０２、「黄色」８０３、「紫」８０４等が記憶されているものとする。この場合、調整部１６は、テロップの文字である「薄い緑」８０５から、「緑」８０２、「黄色」８０３、及び「紫」８０４等までの図８のｘｙ色度図上の距離８１１乃至距離８１３等をそれぞれ算出する。そして、調整部１６は、「緑」８０２、「黄色」８０３、及び「紫」８０４等のうち、テロップの文字である「薄い緑」８０５から図８のｘｙ色度図上で最も距離が近い「緑」８０２を、背景の色に対して識別可能な色のうち当該オブジェクトの色に近い色として決定する。そして、調整部１６は、取得部１５により取得された画像におけるテロップの文字の内部（内側）の領域を「薄い緑」から「緑」に変換した画像のデータを生成する。

【0045】

また、例えば、スポーツ中継の映像において、ボールの背景の色が、「明るい茶色」であり、当該ボールの色が、「暗い茶色」であり、図６の色覚に関する視覚特性を示す情報において、当該所定のユーザが、「明るい茶色」と「暗い茶色」とを識別できないことが記憶されている場合であるとする。この場合、調整部１６は、図６の色覚に関する視覚特性を示す情報において、当該所定のユーザが背景の色である「明るい茶色」に対して識別可能な色のうち、当該ボールの色である「暗い茶色」に近い色を決定する。そして、調整部１６は、当該ボールの色を、決定した色に変換した画像のデータを生成する。これにより、当該所定のユーザに対して、背景の印象を変更せずに、当該ボールを認識させることができる。

【0046】

≪聴覚特性の判定処理≫
次に、図３のステップＳ４の、聴覚特性判定部１４によるユーザの聴覚特性を判定する処理について説明する。

【0047】

聴覚特性判定部１４は、聴覚を検査するための検査音を出力装置２０に出力させ、ユーザからのリモコン等の操作により、当該検査音に対する回答を取得する。聴覚特性判定部１４は、例えば、複数の周波数の音について、それぞれ、音の音量を徐々に大きくし、ユーザが所定の操作を行った際の音量を、当該ユーザが当該音の周波数において認識できる（聞き取れる）音量であると判定する。

【0048】

図９は、実施形態に係る、所定のユーザに対する周波数に関する聴覚特性を示す情報の一例について説明する図である。図９の例では、所定のユーザが、周波数が１００Ｈｚの音は１０ｄＢ以上で認識できることが示されている。また、当該所定のユーザが、周波数が１ｋＨｚの音は２０ｄＢ以上で認識できること等が示されている。

【0049】

また、聴覚特性判定部１４は、例えば、所定の音量（例えば、６０ｄＢ）で所定の語句が発話された音声における背景の背景音の音量を徐々に大きくし、ユーザが当該所定の語句を聞き取れなくなった際の背景音の音量を、当該ユーザが発話を聞き取れなくなる背景音の音量であると判定する。なお、背景音とは、例えば、人の発話による音声以外の音のことである。

【0050】

この場合、聴覚特性判定部１４は、例えば、背景音の音量が４２ｄＢの際にリモコン等によりユーザから所定の操作を受け付けた場合、当該ユーザが、所定の音量の音声を、背景音（騒音）が４２ｄＢ未満の場合は聞き取れ、４２ｄＢ以上の場合は聞き取れないと判定する。そして、聴覚特性判定部１４は、感覚特性情報１１１の聴覚特性を示す情報に、所定の操作を受け付けた際の、背景音の音量である４２ｄＢを、ユーザが発話を聞き取れなくなる背景音の音量として記憶しておく。

【0051】

なお、聴覚特性判定部１４は、予め定めた調整法を用いて、ユーザの聴覚特性を判定してもよい。この場合、聴覚特性判定部１４は、検査音に対するユーザの回答に基づいて、次に表示させる検査音を決定し、当該検査音を出力装置２０に出力させ、ユーザからのリモコン等の操作により、検査音に対する回答を取得する処理を繰り返してもよい。例えば、一の周波数において、小さい音量から検査し、「聞こえない」旨の回答をユーザから受け付けると、同じ周波数で少し音量を上げて検査し、「聞こえる」旨の回答をユーザから受け付けると、次の周波数に対する検査を行うようにしてもよい。

【0052】

≪聴覚特性に応じた調整処理≫
次に、図１０乃至図１１を参照し、図３のステップＳ７の、調整部１６による感覚特性情報１１１に登録されている聴覚特性を示す情報に基づいて、画像を調整する処理について説明する。図１０は、実施形態に係る聴覚特性に応じた調整処理の一例を示すフローチャートである。図１１は、実施形態に係る、所定のユーザに対する周波数に関する聴覚特性を示す情報の一例について説明する図である。図１２は、実施形態に係る聴覚特性に応じた調整処理の一例について説明する図である。

【0053】

ステップＳ２０１において、調整部１６は、感覚特性情報１１１の聴覚特性を示す情報に記憶されている、図９の周波数に関する聴覚特性を示す情報に基づいて、取得部１５により取得された音における各周波数の音量を調整する。これにより、例えば、所定の周波数帯域が聞こえ難いユーザに対して、当該所定の周波数帯域の音量を大きくして出力装置２０に出力させることができる。

【0054】

ここで、調整部１６は、例えば、取得部１５により取得された音の各周波数の音量を、図９の周波数に関する聴覚特性を示す情報に基づいて、各周波数の音に対してユーザが認識できる音量以上に調整する。図１１の例では、図９の周波数に関する聴覚特性を示す情報に含まれる各周波数に対するユーザが認識できる音量が、横軸を音の各周波数の対数とし、縦軸をユーザが認識できる音量とした座標系における点１１０１乃至点１１０４として示されている。また、図１１の例では、調整部１６により算出された、点１１０１乃至点１１０４を通る滑らかな曲線（スプライン曲線）１１１０が示されている。

【0055】

調整部１６は、図１２の曲線１２０１に示すように、図１１の曲線１１１０において、縦軸の値が所定値（例えば、２０ｄＢ）以下となる周波数に対する倍率を１とする。また、図１１の曲線１１１０において、縦軸の値が当該所定値を超える周波数に対する倍率を、曲線１１１０の縦軸の値を、当該所定値で除算した値とする。図１１及び図１２に示すように、例えば、１０ｋＨｚの周波数に対する曲線１１１０の縦軸の値が４０ｄＢの場合、１０ｋＨｚの周波数に対する倍率は２（＝４０ｄＢ／２０ｄＢ）となる。

【0056】

次に、調整部１６は、例えば、取得部１５により取得された音の各周波数に対する音量を算出する。そして、調整部１６は、例えば、一の周波数に対する音量が、所定の閾値（例えば、２０ｄＢ）以上であり、当該一の周波数に対する曲線１０１０上の音量より小さい場合、図１２に示す曲線１２０１に基づいて、当該一の周波数に対する音量を、当該一の周波数に対する曲線１０１０上の音量以上に変更する。この場合、調整部１６は、例えば、取得部１５により取得された音の１０ｋＨｚの周波数に対する音量が２０ｄＢである場合、当該音量に、図１２に示す曲線１２０１の１０ｋＨｚの周波数に対する倍率である「２」を乗算し、４０ｄＢに変更する。また、調整部１６は、例えば、取得部１５により取得された音の１０ｋＨｚの周波数に対する音量が３０ｄＢである場合、当該音量を、同様に２倍に変更し、６０ｄＢに変更する。これにより、例えば、所定の周波数帯域が聞こえ難いユーザに対して、テレビ等の音声を、通常のユーザが感じる音量と同様の音量で感じられるようにすることができる。

【0057】

続いて、ステップＳ２０２において、調整部１６は、感覚特性情報１１１の聴覚特性を示す情報に記憶されている、ユーザが発話を聞き取れなくなる背景音の音量に基づいて、取得部１５により取得された音における、背景音の音量、及び音声の音量の少なくとも一方を調整する。これにより、例えば、背景音と人の音声とを判別し難いユーザに対して、背景音の音量を小さくして、または人の音声の音量を大きくして出力装置２０に出力させることができる。ここで、調整部１６は、例えば、取得部１５により取得された音に含まれる背景音の音量を、ユーザが所定の音量の音声を認識できない背景音の音量未満に調整する。

【0058】

まず、調整部１６は、取得部１５により取得された音における音声の音量を算出する。この場合、調整部１６は、例えば、番組の音声信号と背景音信号とが混合された信号から背景音信号の大きさを調整する特許第６３１３６１９号公報における音声処理装置などを用いて当該音に含まれる音声を抽出し、抽出した音声の音量を判定してもよいし、当該音に含まれる人間音声の特徴量を算出し、音声を検出してもよい。

【0059】

そして、調整部１６は、取得部１５により取得された音における音声の音量が所定の音量（例えば、６０ｄＢ）以上であり、かつ、当該音における背景音が、感覚特性情報１１１の聴覚特性を示す情報に記憶されている、ユーザが発話を聞き取れなくなる背景音の音量以上である場合、当該音における背景音を、ユーザが発話を聞き取れなくなる背景音の音量未満に変更する。この場合、調整部１６は、例えば、ＡＩ等を用いて当該音に含まれる音声と、背景音とを分離し、当該背景音を、ユーザが発話を聞き取れなくなる背景音の音量未満に変更してもよい。または、調整部１６は、例えば、当該音に含まれる人間の声の周波数帯域以外の周波数の音量を、ユーザが発話を聞き取れなくなる背景音の音量未満に変更してもよい。

【0060】

≪触覚特性の判定処理≫
触覚情報は、触覚提示装置２０－２により番組コンテンツ（放送番組）と連動して提示されるため、聴覚特性判定部１４が、聴覚を検査するための検査音を出力装置２０に出力させると同時に、触覚提示装置２０－２にも触覚情報をユーザに提示し、ユーザからのリモコン等の操作により、当該触覚情報に対する回答を取得する。触覚特性判定部（図示せず）は、例えば、ピンディスプレイのピンの出具合（高さ）を徐々に大きくし、ユーザが所定の操作を行った際の出具合（高さ）を、当該ユーザがピンが出たと認識可能な高さと判定し、感覚特性情報１１１の当該ユーザに対応付けられた触覚特性を示す情報に記憶する。

【0061】

＜情報処理装置のハードウェア構成＞
上述した情報処理装置１０の各部は、情報処理装置１０にインストールした１以上のプログラムが、情報処理装置１０のＣＰＵに実行させることより実現することができる。

【0062】

情報処理装置１０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等の揮発性の記憶媒体、ＲＯＭ（Read Only Memory）等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像、データを表示する表示部、並びに外部と通信するためのインターフェースを備えたコンピュータによって構成することができる。

【0063】

したがって、情報処理装置１０が有する各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。

【0064】

＜変形例＞
情報処理装置１０の各機能部は、例えば複数のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。また、情報処理装置１０、及び出力装置２０を、例えば、同一の筐体内に収容し、一体の装置として構成してもよい。

【0065】

情報処理装置１０の各機能部における処理の少なくとも一部を、出力装置２０にて実行させるようにしてもよい。この場合、例えば、調整部１６を、出力装置２０に設けた構成としてもよい。この場合、情報処理装置１０の出力制御部１７は、例えば、視覚特性判定部１３、及び聴覚特性判定部１４により判定した情報を、出力装置２０にコマンドとして送信し、出力装置２０の調整部１６が、受信した情報に基づいて、画像、及び音を調整するようにしてもよい。

【0066】

なお、視覚特性判定部１３、及び聴覚特性判定部１４は、「判定部」の一例である。

【0067】

以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。また、上述した各実施例の一部又は全部を組み合わせることも可能である。

【符号の説明】

【0068】

１ 情報処理システム
１０ 情報処理装置
１１ 記憶部
１１１ 感覚特性情報
１２ ユーザ認識部
１３ 視覚特性判定部
１４ 聴覚特性判定部
１５ 取得部
１６ 調整部
１７ 出力制御部
２０ 出力装置
３０ コンテンツ提供装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】