▶ アジュ ユニバーシティ インダストリー−アカデミック コーポレーション ファウンデーションの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022106296
(43)【公開日】2022-07-19
(54)【発明の名称】ＨＤＲイメージ生成装置および方法
(51)【国際特許分類】
G06T 5/00 20060101AFI20220711BHJP
G06T 7/00 20170101ALI20220711BHJP
【ＦＩ】
G06T5/00 740
G06T7/00 350C
【審査請求】有
【請求項の数】18
【出願形態】ＯＬ
(21)【出願番号】P 2022001194
(22)【出願日】2022-01-06
(31)【優先権主張番号】10-2021-0001617
(32)【優先日】2021-01-06
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】515131404
【氏名又は名称】アジュ ユニバーシティー インダストリー－アカデミック コーオペレイション ファウンデーション
【氏名又は名称原語表記】ＡＪＯＵ ＵＮＩＶＥＲＳＩＴＹ ＩＮＤＵＳＴＲＹ－ＡＣＡＤＥＭＩＣ ＣＯＯＰＥＲＡＴＩＯＮ ＦＯＵＮＤＡＴＩＯＮ
(74)【代理人】
【識別番号】100137095
【弁理士】
【氏名又は名称】江部 武史
(74)【代理人】
【識別番号】100091627
【弁理士】
【氏名又は名称】朝比 一夫
(72)【発明者】
【氏名】ミュン フン スンウ
(72)【発明者】
【氏名】ビョン デ リ
【テーマコード（参考）】
5B057
5L096
【Ｆターム（参考）】
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CD08
5B057CE11
5B057DA16
5B057DB02
5B057DB09
5B057DC40
5L096DA01
5L096FA32
5L096GA10
5L096GA51
5L096HA11
5L096KA04
5L096KA15
(57)【要約】 （修正有）
【課題】ＨＤＲイメージを生成するための装置及び方法を提供する。
【解決手段】ＨＤＲイメージ生成装置１００は、原本イメージに含まれた各ピクセルの明るさの値が特定値以上の領域を含む第１イメージ及び原本イメージにおいて特定値以上の領域を除いた残りの領域を含む第２イメージを生成する入力イメージ生成部１１０と、第１神経網、第２神経網および第３神経網を含む事前学習されたモデルを用いて第１イメージおよび第２イメージから原本イメージのダイナミックレンジを拡張させたＨＤＲイメージを生成するＨＤＲイメージ生成部１２０と、を含む。
【選択図】図１
【解決手段】ＨＤＲイメージ生成装置１００は、原本イメージに含まれた各ピクセルの明るさの値が特定値以上の領域を含む第１イメージ及び原本イメージにおいて特定値以上の領域を除いた残りの領域を含む第２イメージを生成する入力イメージ生成部１１０と、第１神経網、第２神経網および第３神経網を含む事前学習されたモデルを用いて第１イメージおよび第２イメージから原本イメージのダイナミックレンジを拡張させたＨＤＲイメージを生成するＨＤＲイメージ生成部１２０と、を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
原本イメージに含まれた各ピクセルの明るさの値に基づいて前記原本イメージにおいて前記明るさの値が特定値以上の領域を含む第１イメージおよび前記原本イメージにおいて前記特定値以上の領域を除いた残りの領域を含む第２イメージを生成するステップと、
第１神経網、第２神経網および第３神経網を含む事前学習されたモデルを用いて前記第１イメージおよび前記第２イメージから前記原本イメージのダイナミックレンジ（Ｄｙｎａｍｉｃ Ｒａｎｇｅ）を拡張させたＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）イメージを生成するステップと、を含み、
前記第１神経網は、前記第１イメージに基づいて明るさの値が増加される方向に前記第１イメージの明るさの値の範囲を拡張させた第３イメージを出力するように事前学習され、
前記第２神経網は、前記第２イメージに基づいて明るさの値を減少する方向に前記第２イメージの明るさの値の範囲を拡張させた第４イメージを出力するように事前学習され、
前記第３神経網は、前記第３イメージおよび前記第４イメージに基づいて前記ＨＤＲイメージを生成するように事前学習されるＨＤＲイメージ生成方法。
第１神経網、第２神経網および第３神経網を含む事前学習されたモデルを用いて前記第１イメージおよび前記第２イメージから前記原本イメージのダイナミックレンジ（Ｄｙｎａｍｉｃ Ｒａｎｇｅ）を拡張させたＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）イメージを生成するステップと、を含み、
前記第１神経網は、前記第１イメージに基づいて明るさの値が増加される方向に前記第１イメージの明るさの値の範囲を拡張させた第３イメージを出力するように事前学習され、
前記第２神経網は、前記第２イメージに基づいて明るさの値を減少する方向に前記第２イメージの明るさの値の範囲を拡張させた第４イメージを出力するように事前学習され、
前記第３神経網は、前記第３イメージおよび前記第４イメージに基づいて前記ＨＤＲイメージを生成するように事前学習されるＨＤＲイメージ生成方法。
【請求項2】
前記第１イメージおよび前記第２イメージを生成するステップは、
前記各ピクセルの明るさの値に基づいてマスク（Ｍａｓｋ）を生成するステップと、
前記マスクを用いて前記原本イメージをマスキング（Ｍａｓｋｉｎｇ）して前記第１イメージを生成するステップと、
前記第１イメージの明るさを反転させて前記第２イメージを生成するステップと、を含む請求項１に記載のＨＤＲイメージ生成方法。
前記各ピクセルの明るさの値に基づいてマスク（Ｍａｓｋ）を生成するステップと、
前記マスクを用いて前記原本イメージをマスキング（Ｍａｓｋｉｎｇ）して前記第１イメージを生成するステップと、
前記第１イメージの明るさを反転させて前記第２イメージを生成するステップと、を含む請求項１に記載のＨＤＲイメージ生成方法。
【請求項3】
前記マスクを生成するステップは、下記式１を用いて前記マスクを生成する請求項２に記載のＨＤＲイメージ生成方法。
[式１]
（このとき、Ｐ（ｉ、ｊ）は、原本イメージの（ｉ、ｊ）ピクセルに対応する明るさの値、スレショルド（Ｔｈｒｅｓｈｏｌｄ）は、前記各ピクセルの明るさの値に基づいて決定されたしきい値）
[式１]
【請求項4】
前記しきい値は、前記各ピクセルの明るさの平均値に基づいて設定される請求項３に記載のＨＤＲイメージ生成方法。
【請求項5】
前記第１神経網は、前記第１イメージにコンボルーション（Ｃｏｎｖｏｌｕｔｉｏｎ）演算を行い、前記第１イメージについての第１特徴ベクトルを出力する第１コンボルーション層（Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）および前記第１特徴ベクトルについての最大プーリング（Ｍａｘ Ｐｏｏｌｉｎｇ）を行う第１プーリング層（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）を含み、
前記第２神経網は、前記第２イメージにコンボルーション演算を行い、前記第２イメージについての第２特徴ベクトルを出力する第２コンボルーション層および前記第２特徴ベクトルについての最小プーリング（Ｍｉｎ Ｐｏｏｌｉｎｇ）を行う第２プーリング層を含む請求項１に記載のＨＤＲイメージ生成方法。
前記第２神経網は、前記第２イメージにコンボルーション演算を行い、前記第２イメージについての第２特徴ベクトルを出力する第２コンボルーション層および前記第２特徴ベクトルについての最小プーリング（Ｍｉｎ Ｐｏｏｌｉｎｇ）を行う第２プーリング層を含む請求項１に記載のＨＤＲイメージ生成方法。
【請求項6】
前記第３神経網は、前記第３イメージおよび前記第４イメージを合成した第５イメージから第３特徴ベクトルを抽出し、前記抽出された第３特徴ベクトルに基づいて前記ＨＤＲイメージを生成するように事前学習される請求項１に記載のＨＤＲイメージ生成方法。
【請求項7】
前記事前学習されたモデルは、前記原本イメージについてのサブサンプリング（Ｓｕｂ－Ｓａｍｐｌｉｎｇ）を行い、前記原本イメージについての特徴ベクトルを生成するように事前学習された第４神経網をさらに含む請求項１に記載のＨＤＲイメージ生成方法。
【請求項8】
前記第１神経網は、前記第１イメージについての第１特徴ベクトルを抽出し、前記第１イメージについての第１特徴ベクトルおよび前記原本イメージについての特徴ベクトルに基づいて前記第３イメージを生成するように事前学習され、
前記第２神経網は、前記第２イメージについての第２特徴ベクトルを抽出し、前記第２イメージについての第２特徴ベクトルおよび前記原本イメージについての特徴ベクトルに基づいて前記第４イメージを生成するように事前学習される請求項７に記載のＨＤＲイメージ生成方法。
前記第２神経網は、前記第２イメージについての第２特徴ベクトルを抽出し、前記第２イメージについての第２特徴ベクトルおよび前記原本イメージについての特徴ベクトルに基づいて前記第４イメージを生成するように事前学習される請求項７に記載のＨＤＲイメージ生成方法。
【請求項9】
前記第３神経網は、前記第３イメージおよび前記第４イメージを合成した第５イメージから第３特徴ベクトルを抽出し、前記第３特徴ベクトルと前記原本イメージについての特徴ベクトルに基づいて前記ＨＤＲイメージを生成するように事前学習される請求項７に記載のＨＤＲイメージ生成方法。
【請求項10】
原本イメージに含まれた各ピクセルの明るさの値に基づいて前記原本イメージにおいて前記明るさの値が特定値以上の領域を含む第１イメージおよび前記原本イメージにおいて前記特定値以上の領域を除いた残りの領域を含む第２イメージを生成する入力イメージ生成部と、
第１神経網、第２神経網および第３神経網を含む事前学習されたモデルを用いて前記第１イメージおよび前記第２イメージから前記原本イメージのダイナミックレンジ（Ｄｙｎａｍｉｃ Ｒａｎｇｅ）を拡張させたＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）イメージを生成するＨＤＲイメージ生成部と、を含み、
前記第１神経網は、前記第１イメージに基づいて明るさの値が増加される方向に前記第１イメージの明るさの値の範囲を拡張させた第３イメージを出力するように事前学習され、
前記第２神経網は、前記第２イメージに基づいて明るさの値を減少する方向に前記第２イメージの明るさの値の範囲を拡張させた第４イメージを出力するように事前学習され、
前記第３神経網は、前記第３イメージおよび前記第４イメージに基づいて前記ＨＤＲイメージを生成するように事前学習されるＨＤＲイメージ生成装置。
第１神経網、第２神経網および第３神経網を含む事前学習されたモデルを用いて前記第１イメージおよび前記第２イメージから前記原本イメージのダイナミックレンジ（Ｄｙｎａｍｉｃ Ｒａｎｇｅ）を拡張させたＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）イメージを生成するＨＤＲイメージ生成部と、を含み、
前記第１神経網は、前記第１イメージに基づいて明るさの値が増加される方向に前記第１イメージの明るさの値の範囲を拡張させた第３イメージを出力するように事前学習され、
前記第２神経網は、前記第２イメージに基づいて明るさの値を減少する方向に前記第２イメージの明るさの値の範囲を拡張させた第４イメージを出力するように事前学習され、
前記第３神経網は、前記第３イメージおよび前記第４イメージに基づいて前記ＨＤＲイメージを生成するように事前学習されるＨＤＲイメージ生成装置。
【請求項11】
前記入力イメージ生成部は、
前記各ピクセルの明るさの値に基づいてマスク（Ｍａｓｋ）を生成し、前記マスクで前記原本イメージをマスキング（Ｍａｓｋｉｎｇ）して前記第１イメージを生成し、前記第１イメージの明るさを反転させて前記第２イメージを生成する請求項１０に記載のＨＤＲイメージ生成装置。
前記各ピクセルの明るさの値に基づいてマスク（Ｍａｓｋ）を生成し、前記マスクで前記原本イメージをマスキング（Ｍａｓｋｉｎｇ）して前記第１イメージを生成し、前記第１イメージの明るさを反転させて前記第２イメージを生成する請求項１０に記載のＨＤＲイメージ生成装置。
【請求項12】
前記入力イメージ生成部は、下記式１を用いて前記マスクを生成する請求項１１に記載のＨＤＲイメージ生成装置。
[式１]
（このとき、Ｐ（ｉ、ｊ）は、原本イメージの（ｉ、ｊ）ピクセルに対応する明るさの値、スレショルド（Ｔｈｒｅｓｈｏｌｄ）は、前記各ピクセルの明るさの値に基づいて決定されたしきい値）
[式１]
【請求項13】
前記しきい値は、前記各ピクセルの明るさの平均値に基づいて設定される請求項１２に記載のＨＤＲイメージ生成装置。
【請求項14】
前記第１神経網は、前記第１イメージにコンボルーション（Ｃｏｎｖｏｌｕｔｉｏｎ）演算を行い、前記第１イメージについての第１特徴ベクトルを出力する第１コンボルーション層（Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）および前記第１特徴ベクトルについての最大プーリング（Ｍａｘ Ｐｏｏｌｉｎｇ）を行う第１プーリング層（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）を含み、
前記第２神経網は、前記第２イメージにコンボルーション演算を行い、前記第２イメージについての第２特徴ベクトルを出力する第２コンボルーション層および前記第２特徴ベクトルについての最小プーリング（Ｍｉｎ Ｐｏｏｌｉｎｇ）を行う第２プーリング層を含む請求項１０に記載のＨＤＲイメージ生成装置。
前記第２神経網は、前記第２イメージにコンボルーション演算を行い、前記第２イメージについての第２特徴ベクトルを出力する第２コンボルーション層および前記第２特徴ベクトルについての最小プーリング（Ｍｉｎ Ｐｏｏｌｉｎｇ）を行う第２プーリング層を含む請求項１０に記載のＨＤＲイメージ生成装置。
【請求項15】
前記第３神経網は、第３イメージおよび前記第４イメージを合成した第５イメージから第３特徴ベクトルを抽出し、前記抽出された第３特徴ベクトルに基づいて前記ＨＤＲイメージを生成するように事前学習される請求項１０に記載のＨＤＲイメージ生成装置。
【請求項16】
前記事前学習されたモデルは、前記原本イメージについてのサブサンプリング（Ｓｕｂ－Ｓａｍｐｌｉｎｇ）を行い、前記原本イメージについての特徴ベクトルを生成するように事前学習された第４神経網をさらに含む請求項１０に記載のＨＤＲイメージ生成装置。
【請求項17】
前記第１神経網は、前記第１イメージについての第１特徴ベクトルを抽出し、前記第１特徴ベクトルおよび前記原本イメージについての特徴ベクトルに基づいて前記第３イメージを生成するように事前学習され、
前記第２神経網は、前記第２イメージについての第２特徴ベクトルを抽出し、前記第２特徴ベクトルおよび前記原本イメージについての特徴ベクトルに基づいて前記第４イメージを生成するように事前学習される請求項１６に記載のＨＤＲイメージ生成装置。
前記第２神経網は、前記第２イメージについての第２特徴ベクトルを抽出し、前記第２特徴ベクトルおよび前記原本イメージについての特徴ベクトルに基づいて前記第４イメージを生成するように事前学習される請求項１６に記載のＨＤＲイメージ生成装置。
【請求項18】
前記第３神経網は、前記第３イメージおよび前記第４イメージを合成した第５イメージから第３特徴ベクトルを抽出し、前記第３特徴ベクトルと前記原本イメージについての特徴ベクトルに基づいて前記ＨＤＲイメージを生成するように事前学習される請求項１６に記載のＨＤＲイメージ生成装置。
【発明の詳細な説明】
【技術分野】
【0001】
開示される実施形態は、ＨＤＲイメージを生成するための技術に関する。
【背景技術】
【0002】
ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）は、人が目で見ることを最大限に近く再現するためにイメージの最も明るい所から最も暗い所まで明るさの範囲を拡張する技術である。しかし、ＨＤＲイメージを生成するためには、ＨＤＲ専用機器で撮影をしなければならないという限界が存在する。このような限界を克服するために一部においては、単一ＬＤＲ（Ｌｏｗ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）イメージでＨＤＲイメージを具現しようとする試みが多数行われていた。その中で代表的な方法として、同じ場面を互いに異なる露出で撮影し、撮影された複数のＬＤＲイメージを併合してＨＤＲイメージを生成する方法が紹介される。しかし、このような方法は、複雑なパラメータが必要であり、互いに異なる露出で撮影したイメージは、原本イメージの情報の一部が欠落する問題点が存在する。
【0003】
このような問題を解決するために、最近は、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）を用いてＨＤＲイメージを生成する方法が活発に研究されている。ＨＤＲイメージ生成技術の最近の研究動向によると、ＬＤＲイメージ１枚をディープラーニングネットワークに入力してＨＤＲイメージを作る方式、ディープラーニングを介して互いに異なる露出値を有するＬＤＲイメージを生成した後、これを併合してＨＤＲを具現する方式、Ｅｎｄ ｔｏ Ｅｎｄ方式でディープラーニングネットワークのみを用いてＬＤＲイメージをＨＤＲイメージとして具現する方式などのディープラーニングを介してＬＤＲイメージをＨＤＲイメージとして生成する方法が脚光を浴びている。
【0004】
しかし、ディープラーニングを用いてＨＤＲイメージを生成する技術も、生成されたＨＤＲイメージの明るさの値の範囲が均一でないという問題を持っている。したがって、ディープラーニングを用いてＨＤＲイメージを生成する技術に関連する従来技術が存在するにもかかわらず、依然として改善された方式のＨＤＲイメージ生成方法が必要となる。
【0005】
しかし、ディープラーニングを用いてＨＤＲイメージを生成する技術も、生成されたＨＤＲイメージの明るさの値の範囲が均一でないという問題を持っている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】韓国登録特許公報第１０－１１９２６４９０号
【発明の概要】
【発明が解決しようとする課題】
【0007】
開示される実施形態は、ＨＤＲイメージを生成するための装置および方法を提供するためのものである。
【課題を解決するための手段】
【0008】
一実施形態によるＨＤＲイメージ生成方法は、原本イメージに含まれた各ピクセルの明るさの値に基づいて前記原本イメージにおいて前記明るさの値が特定値以上の領域を含む第１イメージおよび前記原本イメージにおいて前記特定値以上の領域を除いた残りの領域を含む第２イメージを生成するステップと、第１神経網、第２神経網および第３神経網を含む事前学習されたモデルを用いて前記第１イメージおよび前記第２イメージから前記原本イメージのダイナミックレンジ（Ｄｙｎａｍｉｃ Ｒａｎｇｅ）を拡張させたＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）イメージを生成するステップと、を含み、前記第１神経網は、前記第１イメージに基づいて明るさの値が増加される方向に前記第１イメージの明るさの値の範囲を拡張させた第３イメージを出力するように事前学習され、前記第２神経網は、前記第２イメージに基づいて明るさの値を減少する方向に前記第２イメージの明るさの値の範囲を拡張させた第４イメージを出力するように事前学習され、前記第３神経網は、前記第３イメージおよび前記第４イメージに基づいて前記ＨＤＲイメージを生成するように事前学習される。
【0009】
前記第１イメージおよび前記第２イメージを生成するステップは、前記各ピクセルの明るさの値に基づいてマスク（Ｍａｓｋ）を生成するステップと、前記マスクを用いて前記原本イメージをマスキング（Ｍａｓｋｉｎｇ）して前記第１イメージを生成するステップと、前記第１イメージの明るさを反転させて前記第２イメージを生成するステップと、を含み得る。
【0010】
前記マスクを生成するステップは、下記式１を用いて前記マスクを生成し得る。
[式１]
[式１]
【0011】
【0012】
このとき、Ｐ（ｉ、ｊ）は、原本イメージの（ｉ、ｊ）ピクセルに対応する明るさの値、スレショルド（Ｔｈｒｅｓｈｏｌｄ）は、各ピクセルの明るさの値に基づいて決定されたしきい値である。
【0013】
前記しきい値は、前記各ピクセルの明るさの平均値に基づいて設定され得る。
【0014】
前記第１神経網は、前記第１イメージにコンボルーション（Ｃｏｎｖｏｌｕｔｉｏｎ）演算を行い、前記第１イメージについての第１特徴ベクトルを出力する第１コンボルーション層（Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）および前記第１特徴ベクトルについての最大プーリング（Ｍａｘ Ｐｏｏｌｉｎｇ）を行う第１プーリング層（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）を含み、前記第２神経網は、前記第２イメージにコンボルーション演算を行い、前記第２イメージについての第２特徴ベクトルを出力する第２コンボルーション層および前記第２特徴ベクトルについての最小プーリング（Ｍｉｎ Ｐｏｏｌｉｎｇ）を行う第２プーリング層を含み得る。
【0015】
前記第３神経網は、前記第３イメージおよび前記第４イメージを合成した第５イメージから第３特徴ベクトルを抽出し、前記抽出された第３特徴ベクトルに基づいて前記ＨＤＲイメージを生成するように事前学習され得る。
【0016】
前記事前学習されたモデルは、前記原本イメージについてのサブサンプリング（Ｓｕｂ－Ｓａｍｐｌｉｎｇ）を行い、前記原本イメージについての特徴ベクトルを生成するように事前学習された第４神経網をさらに含み得る。
【0017】
前記第１神経網は、前記第１イメージについての第１特徴ベクトルを抽出し、前記第１イメージについての第１特徴ベクトルおよび前記原本イメージについての特徴ベクトルに基づいて前記第３イメージを生成するように事前学習され、前記第２神経網は、前記第２イメージについての第２特徴ベクトルを抽出し、前記第２イメージについての第２特徴ベクトルおよび前記原本イメージについての特徴ベクトルに基づいて前記第４イメージを生成するように事前学習され得る。
【0018】
前記第３神経網は、前記第３イメージおよび前記第４イメージを合成した第５イメージから第３特徴ベクトルを抽出し、前記第３特徴ベクトルと前記原本イメージについての特徴ベクトルに基づいて前記ＨＤＲイメージを生成するように事前学習され得る。
【0019】
一実施形態によるＨＤＲイメージ生成装置は、原本イメージに含まれた各ピクセルの明るさの値に基づいて前記原本イメージにおいて前記明るさの値が特定値以上の領域を含む第１イメージおよび前記原本イメージにおいて前記特定値以上の領域を除いた残りの領域を含む第２イメージを生成する入力イメージ生成部と、第１神経網、第２神経網および第３神経網を含む事前学習されたモデルを用いて前記第１イメージおよび前記第２イメージから前記原本イメージのダイナミックレンジ（Ｄｙｎａｍｉｃ Ｒａｎｇｅ）を拡張させたＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）イメージを生成するＨＤＲイメージ生成部と、を含み、前記第１神経網は、前記第１イメージに基づいて明るさの値が増加される方向に前記第１イメージの明るさの値の範囲を拡張させた第３イメージを出力するように事前学習され、前記第２神経網は、前記第２イメージに基づいて明るさの値を減少する方向に前記第２イメージの明るさの値の範囲を拡張させた第４イメージを出力するように事前学習され、前記第３神経網は、前記第３イメージおよび前記第４イメージに基づいて前記ＨＤＲイメージを生成するように事前学習される。
【0020】
前記入力イメージ生成部は、前記各ピクセルの明るさの値に基づいてマスク（Ｍａｓｋ）を生成し、前記マスクで前記原本イメージをマスキング（Ｍａｓｋｉｎｇ）して前記第１イメージを生成し、前記第１イメージの明るさを反転させて前記第２イメージを生成し得る。
【0021】
前記入力イメージ生成部は、下記式１を用いて前記マスクを生成し得る。
[式１]
[式１]
【0022】
【0023】
このとき、Ｐ（ｉ、ｊ）は、原本イメージの（ｉ、ｊ）ピクセルに対応する明るさの値、スレショルド（Ｔｈｒｅｓｈｏｌｄ）は、前記各ピクセルの明るさの値に基づいて決定されたしきい値である。
【0024】
前記しきい値は、前記各ピクセルの明るさの平均値に基づいて設定され得る。
【0025】
前記第１神経網は、前記第１イメージにコンボルーション（Ｃｏｎｖｏｌｕｔｉｏｎ）演算を行い、前記第１イメージについての第１特徴ベクトルを出力する第１コンボルーション層（Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）および前記第１特徴ベクトルについての最大プーリング（Ｍａｘ Ｐｏｏｌｉｎｇ）を行う第１プーリング層（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）を含み、前記第２神経網は、前記第２イメージにコンボルーション演算を行い、前記第２イメージについての第２特徴ベクトルを出力する第２コンボルーション層および前記第２特徴ベクトルについての最小プーリング（Ｍｉｎ Ｐｏｏｌｉｎｇ）を行う第２プーリング層を含み得る。
【0026】
前記第３神経網は、第３イメージおよび前記第４イメージを合成した第５イメージから第３特徴ベクトルを抽出し、前記抽出された第３特徴ベクトルに基づいて前記ＨＤＲイメージを生成するように事前学習され得る。
【0027】
前記事前学習されたモデルは、前記原本イメージについてのサブサンプリング（Ｓｕｂ－Ｓａｍｐｌｉｎｇ）を行い、前記原本イメージについての特徴ベクトルを生成するように事前学習された第４神経網をさらに含み得る。
【0028】
前記第１神経網は、前記第１イメージについての第１特徴ベクトルを抽出し、前記第１特徴ベクトルおよび前記原本イメージについての特徴ベクトルに基づいて前記第３イメージを生成するように事前学習され、前記第２神経網は、前記第２イメージについての第２特徴ベクトルを抽出し、前記第２特徴ベクトルおよび前記原本イメージについての特徴ベクトルに基づいて前記第４イメージを生成するように事前学習され得る。
【0029】
前記第３神経網は、前記第３イメージおよび前記第４イメージを合成した第５イメージから第３特徴ベクトルを抽出し、前記第３特徴ベクトルと前記原本イメージについての特徴ベクトルに基づいて前記ＨＤＲイメージを生成するように事前学習され得る。
【発明の効果】
【0030】
開示される実施形態によると、別個に学習された神経網を用いて原本イメージのうち、明るい領域はより明るく、暗い領域はより暗くなるように生成されたイメージに基づいてＨＤＲイメージを生成し得るため、従来技術と比較して明るさの値の範囲が均等に拡張されたＨＤＲイメージを生成し得る。
【図面の簡単な説明】
【0031】
【図1】一実施形態によるＨＤＲイメージ生成装置を説明するためのブロック図。
【0032】
【図2】一実施形態による入力イメージ生成部によって第１イメージおよび第２イメージが生成される過程を説明するための図面。
【0033】
【図3】一実施形態による事前学習されたモデルの構造を説明するための図面。
【0034】
【図4】一実施形態によるＨＤＲイメージ生成方法を説明するための流れ図（フローチャート）。
【0035】
【図5】一実施形態によるコンピューティング装置を含むコンピューティング環境を例示して説明するためのブロック図。
【発明を実施するための形態】
【0036】
以下、図面を参照して一実施形態の具体的な実施形態を説明する。以下の詳細な説明は、本明細書における記述された方法、装置および／またはシステムについての包括的な理解を助けるために提供される。しかし、これは例示に過ぎず、本発明はこれに限定されない。
【0037】
一実施形態を説明するにおいて、本発明に係る公知技術についての具体的な説明が一実施形態の要旨を不必要に曖昧にすることができると判断される場合には、その詳細な説明を省略する。そして、後述される用語は、本発明における機能を考慮して定義された用語として、これは使用者、運用者の意図または慣例などによって変わることができる。したがって、その定義は、本明細書の全般にわたる内容に基づいてなされるべきである。詳細な説明で使用される用語は、単に一実施形態を記述するためのものであり、決して限定的ではならない。明確に他に使用されない限り、単数形態の表現は、複数形態の意味を含む。本説明において、「含み」または「備え」のような表現は、ある特性、数字、ステップ、動作、要素、これらの一部または組み合せを示すためのものであり、記述されたもの以外に１つまたはそれ以上の他の特性、数字、ステップ、動作、要素、これらの一部または組み合せの存在または可能性を排除するように解釈されてはならない。
【0038】
図１は、一実施形態によるＨＤＲイメージ生成装置１００を説明するためのブロック図である。
【0039】
図１を参照すると、一実施形態によるＨＤＲイメージ生成装置１００は、入力イメージ生成部１１０およびＨＤＲイメージ生成部１２０を含む。
【0040】
以下の実施形態において、各構成は、以下に記述されたもの以外に異なる機能および能力を有し得、以下に記述されていないもの以外にも追加の構成を含み得る。
【0041】
また、以下の実施形態において、入力イメージ生成部１１０およびＨＤＲイメージ生成部１２０は、物理的に区分された１つ以上の装置を用いて具現されるか、または１つ以上のプロセッサまたは１つ以上のプロセッサおよびソフトウェアの結合によって具現でき、図示された例とは異なり、具体的動作において明確に区分されないことがある。
【0042】
入力イメージ生成部１１０は、原本イメージ２０１に含まれた各ピクセルの明るさの値に基づいて原本イメージ２０１において明るさの値が特定値以上の領域を含む第１イメージ２０３および原本イメージ２０１において特定値以上の領域を除いた残りの領域を含む第２イメージ２０５を生成する。
【0043】
図２は、一実施形態による入力イメージ生成部１１０によって第１イメージ２０３および第２イメージ２０５が生成される過程を説明するための図面である。
【0044】
図２を参照すると、一実施形態による入力イメージ生成部１１０は、原本イメージ２０１をマスキング（Ｍａｓｋｉｎｇ）して第１イメージ２０３および第２イメージ２０５を生成し得る。
【0045】
一実施形態によるＨＤＲイメージ生成装置１００は、原本イメージ２０１のうち、明るい領域は第１神経網３１０に、原本イメージ２０１のうち、暗い領域は第２神経網３２０に用い得る。
【0046】
すなわち、ＨＤＲイメージ生成装置１００は、ＨＤＲイメージを生成する前に原本イメージ２０１のうち、相対的に明るい領域と暗い領域を先決的に区分する必要がある。
【0047】
したがって、一実施形態による入力イメージ生成部１１０は、図２のように、原本イメージ２０１のうち、明るい領域と暗い領域を区分するための方法としてマスキング技法を用い得る。
【0048】
具体的に、一実施形態による入力イメージ生成部１１０は、原本イメージ２０１の各ピクセルの明るさの値に基づいてマスク（Ｍａｓｋ）を生成し、マスクで原本イメージ２０１をマスキングして第１イメージ２０３を生成し、第１イメージ２０３の明るさを反転させて前記第２イメージ２０５を生成し得る。
【0049】
但し、一実施形態による入力イメージ生成部１１０が算出されたマスクを用いて第１イメージ２０３を生成し得る。
【0050】
これを考慮すると、入力イメージ生成部１１０は、同じ概念で（１－マスク）で原本イメージ２０１をマスキングし、原本イメージ２０１のうち、相対的に暗い領域である第２イメージ２０５を生成し得る。
【0051】
一実施形態によると、このときのマスクは、下記式１を用いて生成され得る。
[式１]
[式１]
【0052】
【0053】
このとき、Ｐ（ｉ、ｊ）は、原本イメージ２０１の（ｉ、ｊ）ピクセルに対応する明るさの値、スレショルド（Ｔｈｒｅｓｈｏｌｄ）は、前記各ピクセルの明るさの値に基づいて決定されたしきい値を示す。
【0054】
一実施形態によると、入力イメージ生成部１１０は、原本イメージ２０１の特性を考慮して第１イメージ２０３および第２イメージ２０５を生成するために、マスクのしきい値は、原本イメージ２０１の各ピクセルの明るさの平均値に基づいて設定され得る。
【0055】
具体的に、しきい値は、原本イメージ２０１の各ピクセルの明るさの平均値と事前設定されたパラメータ値を加えて調節できる。
【0056】
一方、一実施形態による入力イメージ生成部１１０は、イメージ分割に係る従来技術に比べ、算出されたマスクを用いて柔らかな境界を有する第１イメージ２０３および第２イメージ２０５を生成し得る。
【0057】
図３は、一実施形態による事前学習されたモデル３００の構造を説明するための図面である。
【0058】
事前学習されたモデル３００は、第１神経網３１０、第２神経網３２０および第３神経網３３０を含む。
【0059】
但し、図３のように、一実施形態による事前学習されたモデル３００は、第１神経網３１０、第２神経網３２０、第３神経網３３０および第４神経網３４０を含み得る。
【0060】
一方、ＨＤＲイメージ生成部１２０は、事前学習されたモデル３００を用いてＨＤＲイメージを生成する。
【0061】
具体的に、ＨＤＲイメージ生成部１２０は、第１神経網３１０、第２神経網３２０および第３神経網３３０を含む事前学習されたモデル３００を用いて第１イメージ２０３および第２イメージ２０５から原本イメージ２０１のダイナミックレンジ（Ｄｙｎａｍｉｃ Ｒａｎｇｅ）を拡張させたＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）イメージを生成する。
【0062】
このとき、第１神経網３１０は、第１イメージ２０３に基づいて明るさの値が増加される方向に第１イメージ２０３の明るさの値の範囲を拡張させた第３イメージを出力するように事前学習される。
【0063】
第２神経網３２０は、第２イメージ２０５に基づいて明るさの値を減少する方向に第２イメージ２０５の明るさの値の範囲を拡張させた第４イメージを出力するように事前学習される。
【0064】
第３神経網３３０は、第３イメージおよび前記第４イメージに基づいてＨＤＲイメージを生成するように事前学習される。
【0065】
一実施形態によると、第３神経網３３０は、第３イメージおよび第４イメージを合成した第５イメージから第３特徴ベクトルを抽出し、抽出された第３特徴ベクトルに基づいてＨＤＲイメージを生成するように学習され得る。
【0066】
一実施形態によると、第４神経網３４０は、原本イメージ２０１についてのサブサンプリング（Ｓｕｂ－Ｓａｍｐｌｉｎｇ）を行い、原本イメージ２０１についての特徴ベクトルを生成するように事前学習され得る。
【0067】
具体的に、第１神経網３１０は、第１イメージ２０３についての第１特徴ベクトルを抽出し、第１イメージ２０３についての第１特徴ベクトルおよび原本イメージ２０１についての特徴ベクトルに基づいて第３イメージを生成し得る。
【0068】
第２神経網３２０は、第２イメージ２０５についての第２特徴ベクトルを抽出し、第２イメージ２０５についての第２特徴ベクトルおよび原本イメージ２０１についての特徴ベクトルに基づいて第４イメージを生成するように事前学習され得る。
【0069】
すなわち、第１神経網３１０および第２神経網３２０は、原本イメージ２０１についての特徴ベクトルを考慮して第３イメージおよび第４イメージを生成するように事前学習され得る。
【0070】
これにより、第１神経網３１０および第２神経網３２０は、出力された第３イメージおよび第４イメージに原本イメージ２０１の特性が欠落することを防止できる。
【0071】
また、一実施形態によると、第１神経網３１０は、第１イメージ２０３にコンボルーション演算を行い、前記第１イメージ２０３についての第１特徴ベクトルを出力する第１コンボルーション層および前記第１特徴ベクトルについての最大プーリング（Ｍａｘ Ｐｏｏｌｉｎｇ）を行う第１プーリング層（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）を含み得る。
【0072】
一実施形態によると、第２神経網３２０は、第２イメージ２０５にコンボルーション演算を行い、前記第２イメージ２０５についての第２特徴ベクトルを出力する第２コンボルーション層および前記第２特徴ベクトルについての最小プーリング（Ｍｉｎ Ｐｏｏｌｉｎｇ）を行う第２プーリング層を含み得る。
【0073】
すなわち、第１神経網３１０は、第１コンボルーション層を介して第１特徴ベクトルを出力し、出力された第１特徴ベクトルの元素値に最大プーリングを行う第１プーリング層によって第１イメージ２０３の明るさの値が増加する方向に第１イメージ２０３の明るさの値の範囲を拡張させた第３イメージを出力するように事前学習され得る。
【0074】
同様に、第２神経網３２０は、第２コンボルーション層を介して第２特徴ベクトルを出力し、出力された第２特徴ベクトルの元素値の間に最小プーリングを行う第２プーリング層を介して第２イメージ２０５の明るさの値が減少する方向に第２イメージ２０５の明るさの値の範囲を拡張させた第４イメージを出力するように事前学習され得る。
【0075】
すなわち、一実施形態によるＨＤＲイメージ生成部１２０は、従来技術に比べ、明るさの範囲がより広いＨＤＲイメージを生成するために、第１神経網３１０を介して原本イメージ２０１のうち、明るい領域の明るさの値が増加される方向に明るさの範囲が拡張された第３イメージと原本イメージ２０１のうち、暗い領域の明るさの値が減少される方向に明るさの範囲が拡張された第４イメージに基づいてＨＤＲイメージを生成し得る。
【0076】
ここで、第１イメージ２０３と第２イメージ２０５の明るさの範囲が拡張されるということは、第１イメージ２０３の明るい部分はより明るく、第２イメージ２０５の暗い部分はより暗く変化することを意味し得る。
【0077】
図４は、一実施形態によるＨＤＲイメージ生成方法を説明するための流れ図（フローチャート）である。
【0078】
【0079】
図４を参照すると、ＨＤＲイメージ生成装置１００は、原本イメージ２０１に含まれた各ピクセルの明るさの値に基づいて原本イメージ２０１において明るさの値が特定値以上の領域を含む第１イメージ２０３および原本イメージ２０１において特定値以上の領域を除いた残りの領域を含む第２イメージ２０５を生成する（ステップ４１０）。
【0080】
以後、ＨＤＲイメージ生成装置１００は、第１神経網３１０、第２神経網３２０および第３神経網３３０を含む事前学習されたモデル３００を用いて第１イメージ２０３および第２イメージ２０５から前記原本イメージ２０１のダイナミックレンジを拡張させたＨＤＲイメージを生成する（ステップ４２０）。
【0081】
このとき、第１神経網３１０は、第１イメージ２０３に基づいて明るさの値が増加される方向に第１イメージ２０３の明るさの値の範囲を拡張させた第３イメージを出力するように事前学習される。
【0082】
第２神経網３２０は、第２イメージ２０５に基づいて明るさの値を減少する方向に第２イメージ２０５の明るさの値の範囲を拡張させた第４イメージを出力するように事前学習される。
【0083】
第３神経網３３０は、第３イメージおよび第４イメージに基づいてＨＤＲイメージを生成するように事前学習される。
【0084】
前記示された図４においては、前記方法を複数のステップに分けて記載しているが、少なくとも一部のステップは、順序を変えて行われるか、他のステップと結合されて一緒に行われるか、省略されるか、詳細ステップに分けて行われるか、または図示されていない１つ以上のステップが付加されて行われ得る。
【0085】
図５は、一実施形態によると、コンピューティング装置１２を含むコンピューティング環境１０を例示して説明するためのブロック図である。図示された実施形態において、各コンポーネントは、以下に記述されるものに加えて異なる機能および能力を有し得、以下に記述されないものに加えて追加のコンポーネントを含み得る。
【0086】
図示されたコンピューティング環境１０は、コンピューティング装置１２を含む。一実施形態において、コンピューティング装置１２は、ＨＤＲイメージ生成装置１００に含まれた１つ以上のコンポーネントであり得る。
【0087】
コンピューティング装置１２は、少なくとも１つのプロセッサ１４、コンピュータ読み取り可能な格納媒体１６および通信バス１８を含む。プロセッサ１４は、コンピューティング装置１２をして前述した例示的な実施形態によって動作させることができる。例えば、プロセッサ１４は、コンピュータ読み取り可能な格納媒体１６に格納された１つ以上のプログラムを実行し得る。前記１つ以上のプログラムは、１つ以上のコンピュータ実行可能な命令語を含み得、前記コンピュータ実行可能な命令語は、プロセッサ１４によって実行される場合、コンピューティング装置１２をして例示的な実施形態による動作を実行させるように構成できる。
【0088】
コンピュータ読み取り可能な格納媒体１６は、コンピュータ実行可能な命令語ないしプログラムコード、プログラムデータおよび／または他の適した形態の情報を格納するように構成される。コンピュータ読み取り可能な格納媒体１６に格納されたプログラム２０は、プロセッサ１４によって実行可能な命令語の集合を含む。一実施形態において、コンピュータ読み取り可能な格納媒体１６は、メモリ（ランダムアクセスメモリのような揮発性メモリ、不揮発性メモリ、またはこれらの適切な組み合せ）、１つ以上の磁気ディスク格納デバイス、光学ディスク格納デバイス、フラッシュメモリデバイス、その他、コンピューティング装置１２によってアクセスされ、欲しい情報を格納できる他の形態の格納媒体、またはこれらの適した組み合せであり得る。
【0089】
通信バス１８は、プロセッサ１４、コンピュータ読み取り可能な格納媒体１６を含み、コンピューティング装置１２の他の様々なコンポーネントを相互接続する。
【0090】
コンピューティング装置１２は、また１つ以上の入出力装置２４のためのインターフェースを提供する１つ以上の入出力インターフェース２２および１つ以上のネットワーク通信インターフェース２６を含み得る。入出力インターフェース２２およびネットワーク通信インターフェース２６は、通信バス１８に接続される。入出力装置２４は、入出力インターフェース２２を介してコンピューティング装置１２の他のコンポーネントに接続され得る。例示的な入出力装置２４は、ポインティング装置（マウスまたはトラックパッドなど）、キーボード、タッチ入力装置（タッチパッドまたはタッチスクリーンなど）、音声または音入力装置、様々な種類のセンサー装置および／または撮影装置のような入力装置、および／またはディスプレー装置、プリンター、スピーカーおよび／またはネットワークカードのような出力装置を含み得る。例示的な入出力装置２４は、コンピューティング装置１２を構成する一コンポーネントとしてコンピューティング装置１２の内部に含まれ得、コンピューティング装置１２とは区別される別の装置としてコンピューティング装置１２と接続され得る。
【0091】
以上、代表的な実施形態により、本発明について具体的に説明したが、本発明が属する技術分野における通常の知識を有する者は、前述した実施形態について本発明の範疇から逸脱しない範囲内で様々な変形が可能であることを理解するであろう。したがって、本発明の権利の範囲は、説明された実施形態に限定されて定められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なものなどによって定められるべきである。
【符号の説明】
【0092】
１０：コンピューティング環境
１２：コンピューティング装置
１４：プロセッサ
１６：コンピュータ読み取り可能な格納媒体
１８：通信バス
２０：プログラム
２２：入出力インターフェース
２４：入出力装置
２６：ネットワーク通信インターフェース
１００：ＨＤＲイメージ生成装置
１１０：入力イメージ生成部
１２０：ＨＤＲイメージ生成部
２０１：原本イメージ
２０３：第１イメージ
２０５：第２イメージ
３００：事前学習されたモデル
３１０：第１神経網
３２０：第２神経網
３３０：第３神経網
３４０：第４神経網
１２：コンピューティング装置
１４：プロセッサ
１６：コンピュータ読み取り可能な格納媒体
１８：通信バス
２０：プログラム
２２：入出力インターフェース
２４：入出力装置
２６：ネットワーク通信インターフェース
１００：ＨＤＲイメージ生成装置
１１０：入力イメージ生成部
１２０：ＨＤＲイメージ生成部
２０１：原本イメージ
２０３：第１イメージ
２０５：第２イメージ
３００：事前学習されたモデル
３１０：第１神経網
３２０：第２神経網
３３０：第３神経網
３４０：第４神経網
【図1】
【図2】
【図3】
【図4】
【図5】
