知財求人 - 知財ポータルサイト「IP Force」
▶ エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024025738
(43)【公開日】2024-02-26
(54)【発明の名称】木造建築物の組物推論装置および方法
(51)【国際特許分類】
G06F 30/27 20200101AFI20240216BHJP
G06F 30/13 20200101ALI20240216BHJP
【ＦＩ】
G06F30/27
G06F30/13
【審査請求】有
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2023130088
(22)【出願日】2023-08-09
(31)【優先権主張番号】10-2022-0100662
(32)【優先日】2022-08-11
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2023-0086698
(32)【優先日】2023-07-04
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】596099882
【氏名又は名称】エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート
【氏名又は名称原語表記】ＥＬＥＣＴＲＯＮＩＣＳ ＡＮＤ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＲＥＳＥＡＲＣＨ ＩＮＳＴＩＴＵＴＥ
(74)【代理人】
【識別番号】110002952
【氏名又は名称】弁理士法人鷲田国際特許事務所
(72)【発明者】
【氏名】イ スン－ジェ
(72)【発明者】
【氏名】コ ジョン－グク
(72)【発明者】
【氏名】イ ス－ウン
(72)【発明者】
【氏名】イ ヨン－シク
(72)【発明者】
【氏名】イ ジュ－ウォン
(72)【発明者】
【氏名】チョン ダ－ウン
【テーマコード（参考）】
5B146
【Ｆターム（参考）】
5B146AA04
5B146DC03
5B146DE13
5B146DE14
(57)【要約】
【課題】木造建築物の組物推論装置および方法を提供すること。
【解決手段】本発明の実施例による木造建築物の組物推論方法は、少なくとも１つの組物イメージから予め学習されたディープラーニングモデルに基づいて組物を構成する少なくとも１つの部材オブジェクトを検出するステップと、検出された少なくとも１つの部材オブジェクト情報に基づいて組物の段情報および出目情報を推論するステップと、組物の段情報および出目情報に基づいて組物の構造および部材リストを生成するステップと、を含むことができる。
【選択図】図１
【解決手段】本発明の実施例による木造建築物の組物推論方法は、少なくとも１つの組物イメージから予め学習されたディープラーニングモデルに基づいて組物を構成する少なくとも１つの部材オブジェクトを検出するステップと、検出された少なくとも１つの部材オブジェクト情報に基づいて組物の段情報および出目情報を推論するステップと、組物の段情報および出目情報に基づいて組物の構造および部材リストを生成するステップと、を含むことができる。
【選択図】図１
【特許請求の範囲】
【請求項1】
少なくとも１つの組物イメージから予め学習されたディープラーニングモデルに基づいて組物を構成する少なくとも１つの部材オブジェクトを検出するステップと、
検出された少なくとも１つの部材オブジェクト情報に基づいて組物の段情報および出目情報を推論するステップと、
組物の段情報および出目情報に基づいて組物の構造および部材リストを生成するステップと、
を行う、木造建築物の組物推論方法。
検出された少なくとも１つの部材オブジェクト情報に基づいて組物の段情報および出目情報を推論するステップと、
組物の段情報および出目情報に基づいて組物の構造および部材リストを生成するステップと、
を行う、木造建築物の組物推論方法。
【請求項2】
組物イメージは、
組物のＸＹ平面イメージおよびＺＹ平面イメージを含む、
請求項１に記載の木造建築物の組物推論方法。
組物のＸＹ平面イメージおよびＺＹ平面イメージを含む、
請求項１に記載の木造建築物の組物推論方法。
【請求項3】
組物イメージは、
設計図面の場合、組物の立面図および断面図を含み、
実写イメージの場合、組物の正面と、左側面または右側面の少なくとも１つを撮影した実写イメージを含む、
請求項２に記載の木造建築物の組物推論方法。
設計図面の場合、組物の立面図および断面図を含み、
実写イメージの場合、組物の正面と、左側面または右側面の少なくとも１つを撮影した実写イメージを含む、
請求項２に記載の木造建築物の組物推論方法。
【請求項4】
少なくとも１つの部材オブジェクトを検出するステップは、
少なくとも１つの部材オブジェクトそれぞれの種類、位置および大きさを検出する、
請求項１に記載の木造建築物の組物推論方法。
少なくとも１つの部材オブジェクトそれぞれの種類、位置および大きさを検出する、
請求項１に記載の木造建築物の組物推論方法。
【請求項5】
少なくとも１つの部材オブジェクトを検出するステップは、
少なくとも１つの部材オブジェクトそれぞれの長（ｌｏｎｇ）または短（ｓｈｏｒｔ）の認識対象イメージでの長さ情報を検出する、
請求項４に記載の木造建築物の組物推論方法。
少なくとも１つの部材オブジェクトそれぞれの長（ｌｏｎｇ）または短（ｓｈｏｒｔ）の認識対象イメージでの長さ情報を検出する、
請求項４に記載の木造建築物の組物推論方法。
【請求項6】
段の高さおよび出目情報を推論するステップは、
ＸＹ平面イメージから検出された少なくとも１つの部材オブジェクトそれぞれの位置情報に基づいてＹ軸基準の段の高さを推論するステップと、
ＺＹ平面イメージから検出された少なくとも１つの部材オブジェクトそれぞれの位置情報に基づいてＺ軸基準の出目情報を推論するステップと、
を含む、請求項２に記載の木造建築物の組物推論方法。
ＸＹ平面イメージから検出された少なくとも１つの部材オブジェクトそれぞれの位置情報に基づいてＹ軸基準の段の高さを推論するステップと、
ＺＹ平面イメージから検出された少なくとも１つの部材オブジェクトそれぞれの位置情報に基づいてＺ軸基準の出目情報を推論するステップと、
を含む、請求項２に記載の木造建築物の組物推論方法。
【請求項7】
段の高さを推論するステップは、
ＸＹ平面イメージから検出された少なくとも１つの部材オブジェクトのうち小櫨をＹ軸位置を基準としてグルーピングするステップと、
少なくとも１つのグループに含まれた小櫨のＹ軸位置の平均を算出して少なくとも１つの段の高さを算出するステップと、
を含む、 請求項６に記載の木造建築物の組物推論方法。
ＸＹ平面イメージから検出された少なくとも１つの部材オブジェクトのうち小櫨をＹ軸位置を基準としてグルーピングするステップと、
少なくとも１つのグループに含まれた小櫨のＹ軸位置の平均を算出して少なくとも１つの段の高さを算出するステップと、
を含む、 請求項６に記載の木造建築物の組物推論方法。
【請求項8】
出目情報を推論するステップは、
ＺＹ平面イメージから検出された少なくとも１つの部材オブジェクトの少なくとも１つの桁または檐遮のうちＺ軸位置を基準としてグルーピングするステップと、
少なくとも１つのグループに含まれた桁または檐遮のＺ軸位置を基準として出目情報を算出するステップと、
含む、請求項６に記載の木造建築物の組物推論方法。
ＺＹ平面イメージから検出された少なくとも１つの部材オブジェクトの少なくとも１つの桁または檐遮のうちＺ軸位置を基準としてグルーピングするステップと、
少なくとも１つのグループに含まれた桁または檐遮のＺ軸位置を基準として出目情報を算出するステップと、
含む、請求項６に記載の木造建築物の組物推論方法。
【請求項9】
組物の構造および部材リストを生成するステップは、
ＸＹ平面イメージおよびＺＹ平面イメージそれぞれから検出された部材オブジェクト認識結果を段の高さを基準として整列するステップと、
段の高さ別にＸＹ平面イメージおよびＺＹ平面イメージをマッチングして組物を構成する部材リストを生成するステップと、
段の高さ別の部材リストに基づいて必要な部材と組立順序を推論するステップと、
を含む、請求項６に記載の木造建築物の組物推論方法。
ＸＹ平面イメージおよびＺＹ平面イメージそれぞれから検出された部材オブジェクト認識結果を段の高さを基準として整列するステップと、
段の高さ別にＸＹ平面イメージおよびＺＹ平面イメージをマッチングして組物を構成する部材リストを生成するステップと、
段の高さ別の部材リストに基づいて必要な部材と組立順序を推論するステップと、
を含む、請求項６に記載の木造建築物の組物推論方法。
【請求項10】
部材リストを生成するステップは、
組物が左右対称の場合、柱頭は１個と認識するステップと、
組物が左右対称の場合、小櫨はＸＹ平面イメージを基準として最小個数を把握するステップと、
檐遮はＸＹ平面イメージまたはＺＹ平面イメージを基準として個数を把握し、出目情報として区別するステップと、
山彌はＸＹ平面イメージまたはＺＹ平面イメージを基準として個数を把握するステップと、
梁はＺＹ平面イメージを基準として個数を把握するステップと、
長▲れい▼はＸＹ平面イメージを基準として個数を把握するステップと、
昌枋はＸＹ平面イメージまたはＺＹ平面イメージを基準として個数を把握するステップと、
桁はＸＹ平面を基準として個数を把握し、出目情報として区別するステップと、
のうち、少なくとも１つを含む、請求項９に記載の木造建築物の組物推論方法。
組物が左右対称の場合、柱頭は１個と認識するステップと、
組物が左右対称の場合、小櫨はＸＹ平面イメージを基準として最小個数を把握するステップと、
檐遮はＸＹ平面イメージまたはＺＹ平面イメージを基準として個数を把握し、出目情報として区別するステップと、
山彌はＸＹ平面イメージまたはＺＹ平面イメージを基準として個数を把握するステップと、
梁はＺＹ平面イメージを基準として個数を把握するステップと、
長▲れい▼はＸＹ平面イメージを基準として個数を把握するステップと、
昌枋はＸＹ平面イメージまたはＺＹ平面イメージを基準として個数を把握するステップと、
桁はＸＹ平面を基準として個数を把握し、出目情報として区別するステップと、
のうち、少なくとも１つを含む、請求項９に記載の木造建築物の組物推論方法。
【請求項11】
少なくとも１つの組物イメージから組物の対称性の有無を判別するステップ
をさらに含み、
組物の構造および部材リストを生成するステップは、
対称性分類結果に基づいて組物の構造および部材リスト情報を生成する、
請求項１０に記載の木造建築物の組物推論方法。
をさらに含み、
組物の構造および部材リストを生成するステップは、
対称性分類結果に基づいて組物の構造および部材リスト情報を生成する、
請求項１０に記載の木造建築物の組物推論方法。
【請求項12】
組物の構造および部材リストに基づいて組物をモデリングするステップ
をさらに含む、請求項１に記載の木造建築物の組物推論方法。
をさらに含む、請求項１に記載の木造建築物の組物推論方法。
【請求項13】
少なくとも１つのプログラムが記録されたメモリと、
プログラムを実行するプロセッサと、
を含み、
プログラムは、
組物のＸＹ平面イメージおよびＺＹ平面イメージそれぞれから予め学習されたディープラーニングモデルに基づいて組物を構成する少なくとも１つの部材オブジェクトを検出し、
検出された少なくとも１つの部材オブジェクト情報に基づいて組物の段情報および出目情報を推論し、
組物の段情報および出目情報に基づいて組物の構造および部材リストを生成する、
木造建築物の組物推論装置。
プログラムを実行するプロセッサと、
を含み、
プログラムは、
組物のＸＹ平面イメージおよびＺＹ平面イメージそれぞれから予め学習されたディープラーニングモデルに基づいて組物を構成する少なくとも１つの部材オブジェクトを検出し、
検出された少なくとも１つの部材オブジェクト情報に基づいて組物の段情報および出目情報を推論し、
組物の段情報および出目情報に基づいて組物の構造および部材リストを生成する、
木造建築物の組物推論装置。
【請求項14】
プログラムは、
少なくとも１つの部材オブジェクトを検出するにあたり、少なくとも１つの部材オブジェクトそれぞれの種類、位置および大きさとともに、長（ｌｏｎｇ）または短（ｓｈｏｒｔ）の認識対象イメージでの長さ情報を検出する、
請求項１３に記載の木造建築物の組物推論装置。
少なくとも１つの部材オブジェクトを検出するにあたり、少なくとも１つの部材オブジェクトそれぞれの種類、位置および大きさとともに、長（ｌｏｎｇ）または短（ｓｈｏｒｔ）の認識対象イメージでの長さ情報を検出する、
請求項１３に記載の木造建築物の組物推論装置。
【請求項15】
プログラムは、
段の高さおよび出目情報を推論するにあたり、ＸＹ平面イメージから検出された少なくとも１つの部材オブジェクトそれぞれの位置情報に基づいてＹ軸基準の段の高さを推論し、
ＺＹ平面イメージから検出された少なくとも１つの部材オブジェクトそれぞれの位置情報に基づいてＺ軸基準の出目情報を推論する、
請求項１４に記載の木造建築物の組物推論装置。
段の高さおよび出目情報を推論するにあたり、ＸＹ平面イメージから検出された少なくとも１つの部材オブジェクトそれぞれの位置情報に基づいてＹ軸基準の段の高さを推論し、
ＺＹ平面イメージから検出された少なくとも１つの部材オブジェクトそれぞれの位置情報に基づいてＺ軸基準の出目情報を推論する、
請求項１４に記載の木造建築物の組物推論装置。
【請求項16】
プログラムは、
組物の構造および部材リスト情報を生成するにあたり、ＸＹ平面イメージおよびＺＹ平面イメージそれぞれから検出された部材オブジェクト認識結果を段の高さを基準として整列し、
段の高さ別にＸＹ平面イメージおよびＺＹ平面イメージをマッチングして組物を構成する部材リストを生成し、
段の高さ別の部材リストに基づいて必要な部材と組立順序を推論する、
請求項１５に記載の木造建築物の組物推論装置。
組物の構造および部材リスト情報を生成するにあたり、ＸＹ平面イメージおよびＺＹ平面イメージそれぞれから検出された部材オブジェクト認識結果を段の高さを基準として整列し、
段の高さ別にＸＹ平面イメージおよびＺＹ平面イメージをマッチングして組物を構成する部材リストを生成し、
段の高さ別の部材リストに基づいて必要な部材と組立順序を推論する、
請求項１５に記載の木造建築物の組物推論装置。
【請求項17】
プログラムは、
部材リストを生成するにあたり、組物が左右対称の場合、柱頭は１個と認識するステップと、
組物が左右対称の場合、小櫨はＸＹ平面イメージを基準として最小個数を把握するステップと、
檐遮はＸＹ平面イメージまたはＺＹ平面イメージを基準として個数を把握し、出目情報として区別するステップと、
山彌はＸＹ平面イメージまたはＺＹ平面イメージを基準として個数を把握するステップと、
梁はＺＹ平面イメージを基準として個数を把握するステップと、
長▲れい▼はＸＹ平面イメージを基準として個数を把握するステップと、
昌枋はＸＹ平面イメージまたはＺＹ平面イメージを基準として個数を把握するステップと、
桁はＸＹ平面を基準として個数を把握し、出目情報として区別するステップと、
のうち、少なくとも１つを行う、請求項１６に記載の木造建築物の組物推論装置。
部材リストを生成するにあたり、組物が左右対称の場合、柱頭は１個と認識するステップと、
組物が左右対称の場合、小櫨はＸＹ平面イメージを基準として最小個数を把握するステップと、
檐遮はＸＹ平面イメージまたはＺＹ平面イメージを基準として個数を把握し、出目情報として区別するステップと、
山彌はＸＹ平面イメージまたはＺＹ平面イメージを基準として個数を把握するステップと、
梁はＺＹ平面イメージを基準として個数を把握するステップと、
長▲れい▼はＸＹ平面イメージを基準として個数を把握するステップと、
昌枋はＸＹ平面イメージまたはＺＹ平面イメージを基準として個数を把握するステップと、
桁はＸＹ平面を基準として個数を把握し、出目情報として区別するステップと、
のうち、少なくとも１つを行う、請求項１６に記載の木造建築物の組物推論装置。
【請求項18】
プログラムは、
少なくとも１つの組物イメージから組物の対称性の有無を判別し、
組物の構造および部材リストを生成するにあたり、対称性分類結果に基づいて組物の構造および部材リスト情報を生成する、
請求項１３に記載の木造建築物の組物推論装置。
少なくとも１つの組物イメージから組物の対称性の有無を判別し、
組物の構造および部材リストを生成するにあたり、対称性分類結果に基づいて組物の構造および部材リスト情報を生成する、
請求項１３に記載の木造建築物の組物推論装置。
【請求項19】
プログラムは、
組物の構造および部材リストに基づいて組物をモデリングする、
請求項１３に記載の木造建築物の組物推論装置。
組物の構造および部材リストに基づいて組物をモデリングする、
請求項１３に記載の木造建築物の組物推論装置。
【請求項20】
組物のＸＹ平面イメージおよびＺＹ平面イメージそれぞれから予め学習されたディープラーニングモデルに基づいて組物を構成する少なくとも１つの部材オブジェクトそれぞれを検出するステップと、
ＸＹ平面イメージから検出された少なくとも１つの部材オブジェクトそれぞれの位置情報に基づいてＹ軸基準の段の高さを推論するステップと、
ＺＹ平面イメージから検出された少なくとも１つの部材オブジェクトそれぞれの位置情報に基づいてＺ軸基準の出目情報を推論するステップと、
組物のＸＹ平面イメージおよびＺＹ平面イメージから組物の対称性の有無を判別するステップと、
ＸＹ平面イメージおよびＺＹ平面イメージそれぞれから検出された部材オブジェクト認識結果を段の高さを基準として整列するステップと、
組物の対称性の有無とともに、段の高さ別にＸＹ平面イメージおよびＺＹ平面イメージをマッチングした結果に基づいて組物を構成する部材リストを生成するステップと、
段の高さ別の部材リストに基づいて必要な部材と組立順序を推論するステップと、
組物の構造および部材リストに基づいて組物をモデリングするステップと、
を含む、木造建築物の組物推論方法。
ＸＹ平面イメージから検出された少なくとも１つの部材オブジェクトそれぞれの位置情報に基づいてＹ軸基準の段の高さを推論するステップと、
ＺＹ平面イメージから検出された少なくとも１つの部材オブジェクトそれぞれの位置情報に基づいてＺ軸基準の出目情報を推論するステップと、
組物のＸＹ平面イメージおよびＺＹ平面イメージから組物の対称性の有無を判別するステップと、
ＸＹ平面イメージおよびＺＹ平面イメージそれぞれから検出された部材オブジェクト認識結果を段の高さを基準として整列するステップと、
組物の対称性の有無とともに、段の高さ別にＸＹ平面イメージおよびＺＹ平面イメージをマッチングした結果に基づいて組物を構成する部材リストを生成するステップと、
段の高さ別の部材リストに基づいて必要な部材と組立順序を推論するステップと、
組物の構造および部材リストに基づいて組物をモデリングするステップと、
を含む、木造建築物の組物推論方法。
【発明の詳細な説明】
【技術分野】
【0001】
記載された実施例は、イメージまたは図面イメージに基づいて木造建築物の組物（韓国の「▲きょう▼包」、Ｂｒａｃｋｅｔ Ｓｅｔ）を構成する部材および構造を推論する技術に関する。
【背景技術】
【0002】
伝統的な木造建築物は、設計当時の情報を把握する図面情報が不足しており、解体修理前はその内部を把握することが困難である。特に、木造建築物において建物の垂直的拡張と屋根部の荷重を分散する組物はその構造が非常に複雑である。木のねじりと変形により、修理、復元過程で組物の把握は必須であり、今のところ、組物の部材と構造を解体修理する前は把握できないという困難がある。
【0003】
現在、文化財保存の観点から、現状態を記録するために、写真撮影をしたり、３Ｄスキャナにより精密スキャンを行っている。しかし、このような方式は、単純な記録に近く、実際的な文化財の保存、復元に活用できないままである。
【0004】
構造物とこれを構成する部品の推論に関する研究は、主にポイントクラウド（Ｐｏｉｎｔ Ｃｌｏｕｄ）ベースで行われてきている。このような研究のために、周辺の事物に対して精密に注釈（Ａｎｎｏｔａｔｉｏｎ）が生成されたＳｈａｐｅＮｅｔ、ＰａｒｔＮｅｔなどのデータが公開され、これをベースとしたＰｏｉｎｔＮｅｔなどが提案された。
【0005】
最近は、イメージ入力により対象構造物を構成するための部品オブジェクトを推論する方法が提案された。このような技術のためには、予め構造物をなす部品に対してポイントクラウド（Ｐｏｉｎｔ Ｃｌｏｕｄ）を構成しなければならない。言い換えれば、部品の構成を予め把握し、３Ｄスキャナでその部品のポイントクラウドを生成しなければならない問題点がある。
【0006】
ところが、伝統的な木造建築物では、予め部品、すなわち部材をすべて把握できず、解体修理前は部品に対するスキャニングなどの作業が不可能である。このような制約によって、伝統的な木造建築物の構造を把握するためには、イメージあるいは既存に作業されていたり、残っている手書き図面などのイメージだけが活用可能である。
【0007】
したがって、伝統的な木造建築物の構造を把握するために、作業者が直接部品を把握し、構造を推論しなければならないので、人件費および作業時間が増加する。
【発明の概要】
【発明が解決しようとする課題】
【0008】
記載された実施例は、取得可能な木造建築物の組物の実写イメージまたは既存に確保された図面イメージに基づいて自動的に組物を推論することで、人件費および作業時間を大幅に減少させることを目的とする。
【課題を解決するための手段】
【0009】
実施例による木造建築物の組物推論方法は、少なくとも１つの組物イメージから予め学習されたディープラーニングモデルに基づいて組物を構成する少なくとも１つの部材オブジェクトを検出するステップと、検出された少なくとも１つの部材オブジェクト情報に基づいて組物の段情報および出目情報を推論するステップと、組物の段情報および出目情報に基づいて組物の構造および部材リストを生成するステップと、を含むことができる。
【0010】
組物イメージは、組物のＸＹ平面イメージおよびＺＹ平面イメージを含むことができる。
【0011】
設計図面の場合、組物の立面図および断面図を含み、実写イメージの場合、組物の正面と、左側面または右側面の少なくとも１つを撮影した実写イメージを含むことができる。
【0012】
少なくとも１つの部材オブジェクトを検出するステップは、少なくとも１つの部材オブジェクトそれぞれの種類、位置および大きさを検出することができる。
【0013】
少なくとも１つの部材オブジェクトを検出するステップは、少なくとも１つの部材オブジェクトそれぞれの長（ｌｏｎｇ）または短（ｓｈｏｒｔ）の認識対象イメージでの長さ情報を検出することができる。
【0014】
段の高さおよび出目情報を推論するステップは、ＸＹ平面イメージから検出された少なくとも１つの部材オブジェクトそれぞれの位置情報に基づいてＹ軸基準の段の高さを推論するステップと、ＺＹ平面イメージから検出された少なくとも１つの部材オブジェクトそれぞれの位置情報に基づいてＺ軸基準の出目情報を推論するステップと、を含むことができる。
【0015】
段の高さを推論するステップは、ＸＹ平面イメージから検出された少なくとも１つの部材オブジェクトのうち小櫨をＹ軸位置を基準としてグルーピングするステップと、少なくとも１つのグループに含まれた小櫨のＹ軸位置の平均を算出して少なくとも１つの段の高さを算出するステップと、を含むことができる。
【0016】
出目情報を推論するステップは、ＺＹ平面イメージから検出された少なくとも１つの部材オブジェクトの少なくとも１つの桁または檐遮のうちＺ軸位置を基準としてグルーピングするステップと、少なくとも１つのグループに含まれた桁または檐遮のＺ軸位置を基準として出目情報を算出するステップと、を含むことができる。
【0017】
組物の構造および部材リストを生成するステップは、ＸＹ平面イメージおよびＺＹ平面イメージそれぞれから検出された部材オブジェクト認識結果を段の高さを基準として整列するステップと、段の高さ別にＸＹ平面イメージおよびＺＹ平面イメージをマッチングして組物を構成する部材リストを生成するステップと、段の高さ別の部材リストに基づいて必要な部材と組立順序を推論するステップと、を含むことができる。
【0018】
部材リストを生成するステップは、組物が左右対称の場合、柱頭は１個と認識するステップと、組物が左右対称の場合、小櫨はＸＹ平面イメージを基準として最小個数を把握するステップと、檐遮はＸＹ平面イメージまたはＺＹ平面イメージを基準として個数を把握し、出目情報として区別するステップと、山彌はＸＹ平面イメージまたはＺＹ平面イメージを基準として個数を把握するステップと、梁はＺＹ平面イメージを基準として個数を把握するステップと、長▲れい▼はＸＹ平面イメージを基準として個数を把握するステップと、昌枋はＸＹ平面イメージまたはＺＹ平面イメージを基準として個数を把握するステップと、桁はＸＹ平面を基準として個数を把握し、出目情報として区別するステップと、のうち、少なくとも１つを含むことができる。
【0019】
少なくとも１つの組物イメージから組物の対称性の有無を判別するステップをさらに行い、組物の構造および部材リストを生成するステップは、対称性分類結果に基づいて組物の構造および部材リスト情報を生成することができる。
【0020】
組物の構造および部材リストに基づいて組物をモデリングするステップをさらに含むことができる。
【0021】
実施例による木造建築物の組物推論装置は、少なくとも１つのプログラムが記録されたメモリと、プログラムを実行するプロセッサと、を含み、プログラムは、組物のＸＹ平面イメージおよびＺＹ平面イメージそれぞれから予め学習されたディープラーニングモデルに基づいて組物を構成する少なくとも１つの部材オブジェクトを検出し、検出された少なくとも１つの部材オブジェクト情報に基づいて組物の段情報および出目情報を推論し、組物の段情報および出目情報に基づいて組物の構造および部材リストを生成することができる。
【0022】
プログラムは、少なくとも１つの部材オブジェクトを検出するにあたり、少なくとも１つの部材オブジェクトそれぞれの種類、位置および大きさとともに、長（ｌｏｎｇ）または短（ｓｈｏｒｔ）の認識対象イメージでの長さ情報を検出することができる。
【0023】
プログラムは、段の高さおよび出目情報を推論するにあたり、ＸＹ平面イメージから検出された少なくとも１つの部材オブジェクトそれぞれの位置情報に基づいてＹ軸基準の段の高さを推論し、ＺＹ平面イメージから検出された少なくとも１つの部材オブジェクトそれぞれの位置情報に基づいてＺ軸基準の出目情報を推論することができる。
【0024】
プログラムは、組物の構造および部材リスト情報を生成するにあたり、ＸＹ平面イメージおよびＺＹ平面イメージそれぞれから検出された部材オブジェクト認識結果を段の高さを基準として整列し、段の高さ別にＸＹ平面イメージおよびＺＹ平面イメージをマッチングして組物を構成する部材リストを生成し、段の高さ別の部材リストに基づいて必要な部材と３次元組立可能な順序で推論することができる。
【0025】
プログラムは、部材リストを生成するにあたり、組物が左右対称の場合、柱頭は１個と認識するステップと、組物が左右対称の場合、小櫨はＸＹ平面イメージを基準として最小個数を把握するステップと、檐遮はＸＹ平面イメージまたはＺＹ平面イメージを基準として個数を把握し、出目情報として区別するステップと、山彌はＸＹ平面イメージまたはＺＹ平面イメージを基準として個数を把握するステップと、梁はＺＹ平面イメージを基準として個数を把握するステップと、長▲れい▼はＸＹ平面イメージを基準として個数を把握するステップと、昌枋はＸＹ平面イメージまたはＺＹ平面イメージを基準として個数を把握するステップと、桁はＸＹ平面を基準として個数を把握し、出目情報として区別するステップと、のうち、少なくとも１つを行うことができる。
【0026】
プログラムは、少なくとも１つの組物イメージから組物の対称性の有無を判別し、組物の構造および部材リストを生成するにあたり、対称性分類結果に基づいて組物の構造および部材リスト情報を生成することができる。
【0027】
プログラムは、組物の構造および部材リストに基づいて組物の組立を視覚化することができる。
【0028】
実施例による木造建築物の組物推論方法は、組物のＸＹ平面イメージおよびＺＹ平面イメージそれぞれから予め学習されたディープラーニングモデルに基づいて組物を構成する少なくとも１つの部材オブジェクトそれぞれを検出するステップと、ＸＹ平面イメージから検出された少なくとも１つの部材オブジェクトそれぞれの位置情報に基づいてＹ軸基準の段の高さを推論するステップと、ＺＹ平面イメージから検出された少なくとも１つの部材オブジェクトそれぞれの位置情報に基づいてＺ軸基準の出目情報を推論するステップと、組物のＸＹ平面イメージおよびＺＹ平面イメージから組物の対称性の有無を判別するステップと、ＸＹ平面イメージおよびＺＹ平面イメージそれぞれから検出された部材オブジェクト認識結果を段の高さを基準として整列するステップと、組物の対称性の有無とともに、段の高さ別にＸＹ平面イメージおよびＺＹ平面イメージをマッチングした結果に基づいて組物を構成する部材リストを生成するステップと、段の高さ別の部材リストに基づいて必要な部材と組立順序を推論するステップと、組物の構造および部材リストに基づいて組物をモデリングするステップと、を含むことができる。
【発明の効果】
【0029】
記載された実施例により、取得可能な木造建築物の組物の実写イメージまたは既存に確保された図面イメージに基づいて自動的に組物を推論することで、人件費および作業時間を大幅に減少させることができる。
【0030】
記載された実施例により、伝統的な木造建築物の実写イメージまたは設計図面イメージに基づいて組物を構成する部材および部材が連結された構造を推論することで、実際に伝統的な木造建築物のように解体不可能な文化財を対象に内部構造を理解し、原型の保存、修理の段階で事前モデリングなどを行うことができる。
【図面の簡単な説明】
【0031】
【図1】実施例による木造建築物の組物推論方法を説明するためのフローチャートである。
【図2】実施例による組物のＸＹ平面イメージ認識結果の例示図である。
【図3】実施例による組物のＺＹ平面イメージ認識結果の例示図である。
【図4】実施例による組物の部材認識結果の座標系表示の例示図である。
【図5】実施例による段の高さおよび出目情報を推論するステップを詳しく説明するためのフローチャートである。
【図6】実施例による段の高さ推論の例示図である。
【図7】実施例による出目情報推論の例示図である。
【図8】鬼包の実写イメージの例示図である。
【図9】主包の実写イメージの例示図である。
【図10】実施例による段の高さおよび出目情報を推論するステップを詳しく説明するためのフローチャートである。
【図11】実施例によるＸＹ平面イメージに段の高さを基準として整列される部材オブジェクト認識結果表示の例示図である。
【図12】実施例によるＺＹ平面イメージに段の高さを基準として整列される部材オブジェクト認識結果表示の例示図である。
【図13】実施例により推論された組物の構造および組立形状の例示図である。
【図14】実施例によるコンピュータシステムの構成を示す図である。
【発明を実施するための形態】
【0032】
本発明の利点および特徴、そしてそれらを達成する方法は、添付した図面とともに詳細に後述する実施例を参照すれば明確になる。しかし、本発明は以下に開示される実施例に限定されるものではなく、互いに異なる多様な形態で実現され、単に本実施例は本発明の開示が完全となるようにし、本発明の属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明は請求項の範疇によってのみ定義される。明細書全体にわたって同一の参照符号は同一の構成要素を指す。
【0033】
「第１」または「第２」などが多様な構成要素を述べるために使われるが、このような構成要素は前記のような用語によって限定されない。前記のような用語は単に１つの構成要素を他の構成要素と区別するために使われる。したがって、以下に言及される第１構成要素は、本発明の技術的思想内で第２構成要素であってもよい。
【0034】
本明細書で使われた用語は実施例を説明するためのものであり、本発明を制限しようとするものではない。本明細書において、単数形は、文言で特に言及しない限り、複数形も含む。明細書で使われる「含む（ｃｏｍｐｒｉｓｅｓ）」または「含む（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素または段階が１つ以上の他の構成要素または段階の存在または追加を排除しないという意味を含む。
【0035】
他に断りがなければ、本明細書で使われるすべての用語は、本発明の属する技術分野における通常の知識を有する者に共通して理解できる意味で解釈できる。また、一般的に使われる辞書に定義されている用語は、明らかに特別に定義されていない限り、理想的または過度に解釈されない。
【0036】
【0037】
図１は、実施例による木造建築物の組物推論方法を説明するためのフローチャートである。
【0038】
図１を参照すれば、実施例による木造建築物の組物推論方法は、少なくとも１つの組物（韓国の「▲きょう▼包」）イメージから予め学習されたディープラーニングモデルに基づいて組物を構成する少なくとも１つの部材オブジェクト（Ｏｂｊｅｃｔ）を検出するステップＳ１０５～Ｓ１１０と、検出された少なくとも１つの部材オブジェクト情報に基づいて組物の段情報および出目情報を推論するステップＳ１２０と、組物の段情報および出目情報に基づいて組物の構造および部材リストを生成するステップＳ１３０と、を行うことができる。
【0039】
実施例による木造建築物の組物推論方法は、少なくとも１つの組物イメージから組物の対称性の有無を判別するステップＳ１４０をさらに行い、組物の構造および部材リストを生成するステップＳ１３０は、対称性分類結果に基づいて組物の構造および部材リスト情報を生成することができる。
【0040】
実施例による木造建築物の組物推論方法は、組物の構造および部材リストに基づいて組物をモデリングするステップＳ１５０をさらに含むことができる。
【0041】
ステップＳ１０５において、入力される少なくとも１つの組物イメージは、組物のＸＹ平面イメージおよびＺＹ平面イメージを含むことができる。Ｘ軸、Ｙ軸およびＺ軸は、互いに直交する。
【0042】
例えば、組物イメージは、設計図面の場合、ＸＹ平面イメージとして組物の立面図およびＺＹ平面イメージとして組物の断面図を含むことができる。
【0043】
また、実写イメージの場合、ＸＹ平面イメージとして組物の正面を撮影した実写イメージ、ＺＹ平面イメージとして組物の左側面または右側面の少なくとも１つを撮影した実写イメージを含むことができる。
【0044】
すると、少なくとも１つの部材オブジェクトを検出するステップＳ１１０において、組物のＸＹ平面イメージおよびＺＹ平面イメージは、予め学習されたディープラーニングモデルに入力され、ディープラーニングモデルは、組物のＸＹ平面イメージおよびＺＹ平面イメージそれぞれに含まれた少なくとも１つの部材オブジェクトの個数と、部材オブジェクトそれぞれの種類、位置および大きさを検出することができる。
【0045】
ここで、部材オブジェクトは、ディープラーニングモデルによってＸＹ平面イメージまたはＺＹ平面イメージから組物を構成する部材として推定されるオブジェクトであってもよい。このように推定された少なくとも１つの部材オブジェクトの中から、後のＳ１３０で最終的に組物を構成する部材が決定される。
【0046】
少なくとも１つの部材オブジェクトを検出するステップＳ１１０は、少なくとも１つの部材オブジェクトそれぞれの長（ｌｏｎｇ）または短（ｓｈｏｒｔ）のＸＹ平面イメージおよびＺＹ平面イメージそれぞれでの長さ情報を検出することができる。
【0047】
すなわち、同一の１つの部材オブジェクトが撮影された方向によって長く見えるか、または短く見える。したがって、実施例では、ＸＹ平面イメージおよびＺＹ平面イメージそれぞれにおいて長いか短く見える同一の部材オブジェクトの名称に長（ｌｏｎｇ）または短（ｓｈｏｒｔ）という長さ情報を追加する。
【0048】
ディープラーニングモデルを学習させるために、予め組物を構成する少なくとも１つの部材オブジェクトそれぞれが定義され、収集された実写イメージまたは設計図面イメージを対象に学習データが構成されなければならない。
【0049】
前述のように、部材オブジェクトの撮影方向による長さ情報を認識するために、同一の部材オブジェクトでも長（ｌｏｎｇ）または短（ｓｈｏｒｔ）という長さ情報が追加された異なる名称が付与された学習データが用意される。したがって、ディープラーニングモデルは、同一の部材オブジェクトでも長さ情報の異なる名称が付与された学習データで学習される。
【0050】
また、ディープラーニングモデルは、ＸＹ平面イメージ推論モデルおよびＺＹ平面イメージ推論モデルを含む少なくとも２つ以上のモデルがそれぞれ別途に学習されてもよい。
【0051】
検出情報の少なくとも１つは、ＸＹ平面イメージおよびＺＹ平面イメージそれぞれに表示されて出力される。
【0052】
【0053】
図２および図３に示されるように、ＸＹ平面イメージおよびＺＹ平面イメージそれぞれに検出されたオブジェクトそれぞれにバウンディングボックス（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）が表示され、バウンディングボックスの所定領域１にオブジェクトの種類、すなわち、名称が記載される。ただし、図２および図３は、本発明の理解のための一例に過ぎず、本発明はこれに限定されない。すなわち、他の構造および部材を有する他の組物にも、本発明の木造建築物の組物推論方法が適用可能であることを明らかにする。
【0054】
例えば、桁１０－１、１０－２、昌枋長▲れい▼２０－１、２０－２、２０－３、２０－４、山彌３０－１、３０－２、梁４０、檐遮５０－１、５０－２、柱頭６０、堀立（ｈｕｔ）檐遮７０および小櫨８０－１、．．．、８０－９、８０－１０のような検出された部材オブジェクトそれぞれの名称が記載される。
【0055】
ここで、桁は、垂木（ｒａｆｔｅｒ）の真下に長く置かれた部材であってもよい。
【0056】
昌枋は、柱頭を左右に連結する部材であり、長▲れい▼は、桁の下に置かれる桁の支え部材で、桁に比べて幅が狭く、桁とともに垂木（ｒａｆｔｅｒ）の荷重を分担することができる。
【0057】
柱頭は、組物の最下部に置かれた部材で、組物に沿って下る荷重を柱に伝達する役割をする。
【0058】
小櫨は、柱頭と形状は同じであるものの、サイズが小さいが、山彌と山彌との間に置かれて、上部の荷重を下に伝達する役割をする。
【0059】
檐遮は、桁方向に置かれた部材で、位置によって柱心檐遮および出目檐遮などに区分される。また、柱頭から梁方向に半分の檐遮が抜け出て、１出目檐遮を支える部材が堀立（ｈｕｔ）檐遮と呼ばれる。
【0060】
山彌は、檐遮と直交して梁方向にかかる組物部材を通称して呼ぶ名称である。
【0061】
ところが、同一の部材オブジェクトが、ＸＹ平面イメージおよびＺＹ平面イメージのうちの１つでは長く（ｌｏｎｇ）認識され、他の１つでは短く（ｓｈｏｒｔ）認識される。したがって、検出情報は、長（ｌｏｎｇ）または短（ｓｈｏｒｔ）の当該平面での長さ情報をさらに含むことができる。
【0062】
例えば、図２に示されたＸＹ平面イメージでは、「桁＿長（ｌｏｎｇ）」１０－１、１０－２として名称と長さ情報が併記され、図３に示されたＺＹ平面イメージでは、「桁＿短（ｓｈｏｒｔ）」１０－１、１０－２として名称と長さ情報が併記される。
【0063】
また、検出情報は、少なくとも１つの部材オブジェクトそれぞれの検出情報が座標系での数値情報として出力される。
【0064】
図４は、実施例による組物の部材認識結果の座標系表示の例示図である。
【0065】
図４を参照すれば、検出された少なくとも１つの部材オブジェクトそれぞれの位置が座標系上に表示される。そして、部材オブジェクトそれぞれの種類（Ｃｌａｓｓ）、座標系上での中心座標（Ｘ、Ｙ）および大きさ（Ｗ（Ｗｉｄｔｈ）、Ｈ（Ｈｅｉｇｈｔ））を含む部材オブジェクト情報が別途にメモリに格納される。
【0066】
図５は、実施例による段の高さおよび出目情報を推論するステップを詳しく説明するためのフローチャートであり、図６は、実施例による段の高さ推論の例示図であり、図７は、実施例による出目情報推論の例示図である。
【0067】
図５を参照すれば、実施例による段の高さおよび出目情報を推論するステップＳ１２０は、ＸＹ平面イメージから検出された少なくとも１つの部材オブジェクトそれぞれの位置情報に基づいてＹ軸基準の段の高さを推論するステップＳ１２１～Ｓ１２２と、ＺＹ平面イメージから検出された少なくとも１つの部材オブジェクトそれぞれの位置情報に基づいてＺ軸基準の出目情報を推論するステップＳ１２３～Ｓ１２４と、を含むことができる。
【0068】
段の高さを推論するステップＳ１２１～Ｓ１２２は、ＸＹ平面イメージから検出された少なくとも１つの部材オブジェクトのうち小櫨をＹ軸位置を基準としてグルーピングするステップＳ１２１と、少なくとも１つのグループそれぞれに含まれた小櫨のＹ軸位置の平均を算出して少なくとも１つの段の高さを算出するステップＳ１２２と、を含むことができる。
【0069】
すなわち、段情報を推論するためには、認識された部材オブジェクト対象のうち小櫨を対象に前の段の小櫨の高さが次の段の小櫨の高さより大きくてはならないという事実に基づいて閾値（Ｔｈｒｅｓｈｏｌｄ Ｖａｌｕｅ）を定め、組物の段の高さ値を定義することができる。
【0070】
例えば、図６を参照すれば、小櫨８０－１のＹ軸上の高さに基づいて０段の高さを決定し、複数の小櫨８０－２、８０－３、８０－４のＹ軸上の高さの平均値に基づいて１段の高さを決定し、複数の小櫨８０－５、８０－６、８０－７、８０－８、８０－９のＹ軸上の高さの平均値に基づいて２段の高さを決定することができる。
【0071】
その後、ＺＹ平面イメージを段の高さに合わせてＸＹ平面にマッチングさせることができる。例えば、図６を参照すれば、ＸＹ平面イメージおよびＺＹ平面イメージそれぞれにおいて小櫨８０－１のＹ軸上の高さに基づいて０段をマッチングさせ、複数の小櫨８０－２、８０－３、８０－４のＹ軸上の高さに基づいて１段をマッチングさせ、複数の小櫨８０－５、８０－６、８０－７、８０－８、８０－９のＹ軸上の高さに基づいて２段をマッチングさせることができる。
【0072】
出目情報を推論するステップＳ１２３～Ｓ１２４は、ＺＹ平面イメージから検出された少なくとも１つの部材オブジェクトの少なくとも１つの桁または檐遮のうちＺ軸位置を基準としてグルーピングするステップＳ１２３と、少なくとも１つのグループに含まれた桁または檐遮のＺ軸の位置を基準として出目情報を算出するステップＳ１２４と、を含むことができる。
【0073】
出目は、檐下を支持するために柱外に部材を配置したもので、図７に示されるように、ＺＹ平面で定義されて、桁または檐遮の断面を基準として出目が確認される。
【0074】
すなわち、段の高さと類似して、同一の出目の桁と檐遮のＺ軸上の位置の値が、次のステップの出目のＺ軸上の位置の値より大きくてはならないという原理を利用して、出目情報を推論する。
【0075】
例えば、図７を参照すれば、桁１０－１および檐遮５０－１のＺ軸上の位置である柱心出目と、桁１０－２および檐遮５０－２のＺ軸上の位置である外出目と、で出目情報が推論される。
【0076】
このように推論された段の高さおよび出目情報を用いて、後のＳ１３０で組物の構造および部材リストを生成する。この時、Ｓ１１０で検出された部材オブジェクト検出情報の重複または誤認識が訂正されてもよい。
【0077】
入力された実写イメージあるいは図面イメージは、最終的な部材の種類、個数を把握し、構造を出力するために、組物の対称性を判別する必要がある。
【0078】
一般的に、木造建築物の組物は、建物の前後中心の主包と、木造建築物の外角隅部分である鬼包と、に分けられる。
【0079】
【0080】
【0081】
このような対称性の有無は、組物の構造および部材リストの推論結果に差を発生させることができる。したがって、組物の構造および部材リストの推論のための事前情報として対称性有無情報が必要でありうる。
【0082】
したがって、実施例では、少なくとも１つの組物イメージから組物の対称性の有無を判別するステップＳ１４０を行うことができる。
【0083】
一実施例により、Ｓ１４０で組物のＸＹ平面イメージおよびＺＹ平面イメージから鬼包と主包とを区別する分類器を構成して簡単に分類することができる。
【0084】
このような分類器を予め学習するために別のデータが要求されることがある。設計図面イメージの場合、ＸＹ平面イメージである立面図を基準として中心線に対して対称の有無を判別しても可能であるが、実写イメージの場合、撮影者が中心線を考慮しない場合、比較が難しいことがあり、簡単な分類器（ｃｌａｓｓｉｆｉｅｒ）を学習して使用することが好ましい。
【0085】
図１０は、実施例による組物の構造および部材リストを生成するステップを詳しく説明するためのフローチャートであり、図１１は、実施例によるＸＹ平面イメージに段の高さを基準として整列される部材オブジェクト認識結果表示の例示図であり、図１２は、実施例によるＺＹ平面イメージに段の高さを基準として整列される部材オブジェクト認識結果表示の例示図であり、図１３は、実施例により推論された組物の構造および組立形状の例示図である。
【0086】
図１０を参照すれば、組物の構造および部材リストを生成するステップＳ１３０は、ＸＹ平面イメージおよびＺＹ平面イメージそれぞれから検出された部材オブジェクト認識結果を段の高さを基準として整列するステップＳ１３１と、段の高さ別にＸＹ平面イメージおよびＺＹ平面イメージをマッチングして組物を構成する部材リストを生成するステップＳ１３２と、段の高さ別の部材リストに基づいて必要な部材と組立順序を推論するステップＳ１３３と、を含むことができる。
【0087】
【0088】
この時、設計図面の場合、ＸＹ平面イメージである立面図およびＺＹ平面イメージである断面図の部材認識結果を整列し、実写イメージ場合、ＸＹ平面イメージである正面イメージ、ＺＹ平面イメージである左側面イメージおよび右側面イメージの部材認識結果を整列することができる。この時、対称性がある場合、左側イメージまたは右側面イメージの部材結果のみを活用することができる。
【0089】
一方、部材リストを生成するステップＳ１３２は、整列された図１１のＸＹ平面イメージと図１２のＺＹ平面イメージにおいて同一の段に位置する部材オブジェクトをマッチングして部材の種類および種類別の個数を含む部材リストを生成することができる。例えば、同一の種類の部材オブジェクトがＸＹ平面イメージおよびＺＹ平面イメージの同一の段の高さでそれぞれ「桁＿長（ｌｏｎｇ）」１０－１および「桁＿短（ｓｈｏｒｔ）」１０－１と認識された部材オブジェクトが１個ずつ存在することが検出された場合、組物の当該段の高さに１個の桁が存在するものとして部材リストに記録される。
【0090】
部材リストを生成するステップＳ１３２は、詳しくは、次の＜表１＞のような規則の少なくとも１つに基づいて行われる。ただし、＜表１＞は、本発明の一実施例に過ぎず、本発明はこれに限定されない。すなわち、他の構造および部材を有する他の組物を推論する時にも、実施例によるＳ１３１～Ｓ１３４ステップが適用されて部材オブジェクトリストおよび構造が推論できることを明らかにする。
【0091】
【表1】
【0092】
前述のようなＳ１３１～Ｓ１３３を組物を構成する下段から上段まで繰り返し（Ｓ１３４）行って部材を順に推論して構成部品をリスト化して提供することができる。図１１および図１２に示されるように、実施例により対称性のある主包に対して段の高さに応じて組物をなす部材をまとめることができ、これに基づいて段によって構成される部材と構造を推論することができる。
【0093】
例えば、０段では、図１１に示されたＸＹ平面イメージにおいて柱頭、小櫨および昌枋長▲れい▼がそれぞれ１個と認識され、図１２に示されたＺＹ平面イメージでは、柱頭、小櫨および堀立（ｈｕｔ）檐遮がそれぞれ１個と認識されたという情報を基準として、結論的に、０段では、柱頭、小櫨、昌枋長▲れい▼および堀立（ｈｕｔ）檐遮が１個ずつ構成されることを推論することができる。
【0094】
したがって、実施例による組物の構造および部材リストに基づいて組物をモデリングするステップＳ１５０において、前述のように抽出された部材リストおよび構造情報に基づいて、図１３に示されるように、組物の部材が組立てられて３次元構造でモデリングされる。
【0095】
この時、部材リストに含まれた部材それぞれに対するユーザの選択信号（例えば、マウスクリック）が入力されることにより、ディスプレイ画面に当該部材それぞれが３次元構造で視覚化されてもよい。
【0096】
図１４は、実施例によるコンピュータシステムの構成を示す図である。
【0097】
実施例による木造建築物の組物推論装置は、コンピュータ可読記録媒体のようなコンピュータシステム１０００で実現できる。
【0098】
コンピュータシステム１０００は、バス１０２０を介して互いに通信する１つ以上のプロセッサ１０１０と、メモリ１０３０と、ユーザインターフェース入力装置１０４０と、ユーザインターフェース出力装置１０５０と、ストレージ１０６０と、を含むことができる。また、コンピュータシステム１０００は、ネットワーク１０８０に連結されるネットワークインターフェース１０７０をさらに含むことができる。プロセッサ１０１０は、中央処理装置またはメモリ１０３０やストレージ１０６０に格納されたプログラムまたは処理命令を実行する半導体装置であってもよい。メモリ１０３０およびストレージ１０６０は、揮発性媒体、不揮発性媒体、分離型媒体、非分離型媒体、通信媒体、または情報伝達媒体の少なくとも１つ以上を含む記憶媒体であってもよい。例えば、メモリ１０３０は、ＲＯＭ１０３１やＲＡＭ１０３２を含むことができる。
【0099】
以上、添付した図面を参照して本発明の実施例を説明したが、本発明の属する技術分野における通常の知識を有する者は、本発明がその技術的思想や必須の特徴を変更することなく他の具体的な形態で実施できることを理解するであろう。そのため、以上に述べた実施例はすべての面で例示的であり、限定的ではないと理解しなければならない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】