JP4448653B2 - データ解析方法 - Google Patents
データ解析方法 Download PDFInfo
- Publication number
- JP4448653B2 JP4448653B2 JP2002353833A JP2002353833A JP4448653B2 JP 4448653 B2 JP4448653 B2 JP 4448653B2 JP 2002353833 A JP2002353833 A JP 2002353833A JP 2002353833 A JP2002353833 A JP 2002353833A JP 4448653 B2 JP4448653 B2 JP 4448653B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- analysis
- dimensional
- distribution feature
- wafer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Complex Calculations (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、広く産業界で取り扱われるデータ間の関連を把握し、産業上優位な結果をもたらすための有意性のある結果を抽出するデータ解析方法に関し、さらに、解析対象とするデータ値やその平均値だけに注目していては判別が困難である知識や情報を抽出するデータ解析方法に関する。
【０００２】
特に、２次元のデータ解析を可能とし、たとえば、解析対象としてウェーハの面上に配置されたチップの特性値等のデータと、ウェーハ面上における各チップの２次元の配置位置によりデータ分布特徴量を得て解析対象の２次元のデータ解析を効率的におこなうデータ解析方法に関する。
【０００３】
【従来の技術】
解析対象としてウェーハ上のチップの歩留り解析を例にとって説明する。特に、プロセスデータ解析のように、その解析結果から品質、生産性向上の対策決定のための参考データを得ようとする場合には、その精度、信頼度等が重要であり、これについては本願発明者等により既に出願されている（たとえば、下記特許文献１参照。ほか、特願２００１−１２７５３４）。
【０００４】
歩留り低下要因をできるだけ速やかに見つけて対策を実施するために、装置履歴、試験結果、設計情報、各種測定データ等から歩留りに効いている要因やその要因に効いている別の要因を見つけるためのデータ解析がおこなわれる。
【０００５】
データ解析において、歩留り値のように解析対象となるものを目的変数、目的変数の要因となる装置履歴、試験結果、設計情報、各種測定データ等は説明変数といわれる。その際に各種統計学的手法が適用されるが、そのうちの一つとしてデータマイニングを適用することで、多種大量のデータから判別しにくい価値ある情報や規則性を抽出することができる。
【０００６】
半導体デバイスの不良要因を解析するためには、収集されたデータをより多面的に科学的根拠に基づいて解析し、より多くの有意差を抽出するのが重要である。そのため、従来は計算機システムに蓄積されたオリジナルデータの値やその平均値がよく活用されている。しかし、複雑に絡み合ったオリジナルデータ群から不良要因等を抽出するのが困難な場合もある。そのような場合、ウェーハ面内チップやロット内ウェーハの各種測定結果や歩留り等に関して特徴的なデータ分布が存在すれば、それに基づいて不良データの解析を進めることができる。
【０００７】
半導体デバイスの歩留りに関するデータ解析をおこなうには、歩留り値のように計算機システムに蓄積されているデータ値を用いる他に、これらのデータ値を編集した値、たとえば、ロット内ウェーハ歩留り値の分布特徴を活用することも有用である。本出願人は、ロット内データ分布特徴という１次元の特徴量を対象としてデータ解析をおこなう構成を出願している（特願２００１−３３８１８５）。
【０００８】
図９は、従来のデータ解析時に用いる表示画面を示す図である。従来、ウェーハ面内における２次元のデータ分布特徴の解析は、図示のような表示画面を用いておこなっていた。図示の例は、指定されたロット（複数ロットの指定も可能）のウェーハ面内における歩留りの分布状態をイメージ表示したものである。表示画面１００の左側１００ａには、ウェーハＷの面内を複数枠１０１に分割し、各枠１０１、すなわち、ウェーハＷの同一位置にそれぞれ存在するチップの各歩留りが示されている。
【０００９】
また、表示画面１００の右側上部１００ｂには、半導体製造プロセスの焼き付けショット時における２つのショット位置を例とした場合における歩留りがイメージおよび数値で表示されている。また、表示画面１００の右側中央部１００ｃには、ウェーハＷの中心から所定幅ずつ同じ径方向に輪切り（計８領域）に分割したとき、各分割領域に属するチップの歩留りがイメージおよび数値で表示されている。また、表示画面１００の右側下部１００ｄには、ウェーハＷを縦横および斜め方向（計８領域）に分割したとき、各分割領域に属するチップの歩留りがイメージおよび数値で表示されている。各イメージ内のマークは、大きいほど歩留りが高いことを示している。
【００１０】
次に、図１０は、特性試験で合格とされたチップのウェーハ面内分布を示す図である。図示において不良チップは空白で示されるが、この不良チップの発生状態は、ウェーハＷの面内において一様に分布しているのではなく、特徴があることが示されている。
【００１１】
そして、ウェーハ面内の同一位置に属するチップやウェーハ面内を前述した各分割パターンにしたがい、固定的に分割した各領域について、各領域に属するチップの属性値を集計し、解析者が上記表示画面を用いて視覚的に確認することができる。この他にもウェーハ面内のデータ分布特徴には、より多くの解析にとって有用な情報が存在している。
【００１２】
【特許文献１】
特開２００１−３０６９９９号公報
【００１３】
【発明が解決しようとする課題】
しかしながら、実際にはデータ数値の不連続性や、複数の各領域にまたがる特徴が存在するなど、特に、ウェーハ面内における２次元の特徴量抽出となると、解析者がパターン認知する能力を有していても有効な情報を容易に認識することができなかった。加えて、このような２次元の特徴量を全ロットおよびウェーハについてすべて視覚的に確認する作業は膨大な作業量となった。
【００１４】
したがって、図９に示したパターンを用いるだけに限らず、より汎用的なデータ分布の２次元特徴量を自動的に抽出する技術、および抽出されたデータ分布の２次元の特徴量を解析する方法が求められていた。また、従来、半導体の歩留りのデータ解析では、ウェーハ面内のデータ分布特徴、すなわち２次元の特徴量を用いた解析は、技術者の経験やノウハウが必要とされていた。
【００１５】
この発明は、上記問題点に鑑みてなされたものであって、技術者の経験、ノウハウに依存する割合を減らし２次元のデータ分布特徴量を容易に定義、抽出でき、抽出されたデータ分布特徴量を用いてデータ解析を効率的におこなうことができるデータ解析方法を提供することを目的とする。
【００１６】
【課題を解決するための手段】
上記目的を達成するため、本発明は、解析対象のデータ解析に必要なウェーハ上のチップ歩留まりデータをオリジナルデータの中から抽出するデータ抽出工程と、前記データ抽出工程により抽出されたウェーハ上のチップ歩留まりデータが解析対象の２次元座標上であらかじめ設定された複数の帰属領域のうちのどの帰属領域に該当するかを判定する帰属領域判定工程と、前記データ抽出工程によって抽出されたウェーハ上のチップ歩留まりデータを用いて前記帰属領域判定工程によって判定された帰属領域別に２次元のデータ分布特徴量を抽出する２次元データ分布特徴量抽出工程と、前記２次元データ分布特徴量抽出工程によって抽出された２次元のデータ分布特徴量を用いたデータの解析をおこなうデータ解析工程とを含み、前記２次元データ分布特徴量抽出工程は、前記２次元のデータ分布特徴量を、複数の前記帰属領域を２つの領域に２分割し、分割した２つの領域の代表値を用いた所定の算出式に基づき連続値として算出することで前記２次元のデータ分布特徴量を抽出することを特徴とする。
【００１７】
この発明によれば、解析対象の２次元の特徴量抽出の対象の個々のデータがどの分割領域に属しているかを、個々のデータの２次元座標を抽出し、それが各領域分割パターン毎にどの領域に属するかを判定することにより、連続値として得ることができる。そして、２次元の座標上で特徴量が一様に分布していない場合等、この２次元のデータ分布の特徴量を容易に抽出でき、データ解析を効率的におこなえるようになる。
【００１８】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかるデータ解析方法の好適な実施の形態を詳細に説明する。この実施の形態では、解析対象の具体例としてウェーハの面内における２次元のデータ分布特徴を抽出し、データ解析する例を説明する。
【００１９】
図１は、本発明の実施の形態にかかるデータ解析方法の実施に供せられる計算機システムのハードウェア構成の一例を示す図である。この計算機システムは、図１に示すように、入力装置１、中央処理装置２、出力装置３および記憶装置４から構成される。
【００２０】
図２は、図１に示す構成の計算機システムにより実現されるデータ解析装置の機能構成の一例を示すブロック図である。このデータ解析装置は、図２に示すように、複数のオリジナルデータを含むデータベース４１からなるオリジナルデータ群４２を有する。このデータベース４１は、図１に示す計算機システムの記憶装置４において構築されている。
【００２１】
また、データ解析装置は、オリジナルデータ群４２の中に存在する１以上のデータの分布特徴を定量的に評価して抽出する（データ分布特徴の抽出）手段２１、抽出した１以上のデータ分布特徴量の中から解析対象とする特徴量を選択する（解析対象特徴量の選択）手段２２、解析対象に選択したデータ分布特徴量を目的変数として回帰木分析手法などによるデータマイニングをおこない、データ分布に潜む特徴や規則性などのルールファイル２４を抽出する（データマイニング）手段２３、抽出した特徴、規則性（ルールのファイル）２４を用いてオリジナルデータの分布特徴を解析する統計解析コンポーネント２５や図表作成コンポーネント２６などの解析ツール群２７を備える。
【００２２】
以上の各手段２１，２２，２３および解析ツール群２７は、それぞれの処理をおこなうためのプログラムを中央処理装置２で実行することにより実現される。抽出されたルールファイル２４は記憶装置４に記憶されるとともに、表示装置や印刷装置などの出力装置３により出力される。意思決定５は解析ツール群２７による解析結果に基づいてなされる。
【００２３】
また、上述したルールファイル２４を抽出する手段２３は、オリジナルデータ群４２の中のオリジナルデータ、データ分布特徴の抽出手段２１により抽出された２次元のデータ分布特徴、または解析ツール群２７による解析結果に対してもデータマイニングをおこなうようになっている。また、解析ツール群２７は、オリジナルデータ群４２の中のオリジナルデータ、データ分布特徴の抽出手段２１により抽出された２次元のデータ分布特徴、または解析ツール群２７の出力結果に対しても解析をおこなうようになっている。また、解析ツール群２７による解析結果は、解析対象特徴量の選択手段２２やオリジナルデータ群４２にフィードバックされる。また、オリジナルデータ群４２には、データ分布特徴の抽出手段２１の出力がフィードバックされる。
【００２４】
ここでデータ分布特徴の抽出手段２１における特徴量の抽出について説明する。前述したロット内のウェーハ歩留り値等の分布特徴は、１次元における特徴量であり、この１次元の特徴量は、このようなロット内のウェーハ歩留り、ウェーハの電気的特性値、あるいは時間変動する歩留り値や電気的特性値等から計算される。特徴量抽出の対象の個々のデータの属性値（ロット内のウェーハ番号、時刻等）を、特徴量抽出のための変数としてそのまま使用する。
【００２５】
これに対し、この発明のデータ解析装置では、２次元の特徴量を抽出する。この２次元の特徴量は、ウェーハ内チップ、チップ群の歩留り、電気的特性値等から、各分割領域毎にまとめて計算される。このため、特徴量抽出の対象の個々のデータがどの分割領域に属しているかの判定が、個々の分割パターンにより必要となる。個々のデータの２次元座標を抽出し、それが各領域分割パターン毎にどの領域に属するかを判定する必要が生じる。
【００２６】
図３は、２次元のデータ分布特徴の抽出手段２１が抽出する分布特徴の定義を示す図である。分布特徴の対象は、ウェーハＷを所定の分割方法で分割した際の各領域の属性値とする。そして、分割タイプは複数種類用意される。図３（ａ）に示す分割タイプは、ウェーハＷの面内を中央と４方に計５分割した例である。図３（ｂ）に示す分割タイプは、ウェーハＷの面内を中心から８等分した例である。図３（ｃ）に示す分割タイプは、ウェーハＷの面内を中心から所定径毎に円形状（円環状）に３分割した例である。上記例に限らず、他にも不良要因を絞り込むのに適した分割タイプの追加および削除が可能である。
【００２７】
後述するデータ解析処理では、各分割タイプそれぞれについて、どの２分割領域およびその組み合わせが他の領域や組み合わせに比べて対象とするデータ値についてどの程度の有意差が見いだせるかを判別するようになっている。
【００２８】
次に、２次元のデータ分布特徴を数値化する手段について説明する。図３（ａ）に示した分割タイプを例に具体的に説明する。属性値の大小を考慮した計５つの領域（ＺＯＮＥ１〜ＺＯＮＥ５）の２分割方法の組み合わせは、３０通り（＝ 5Ｃ1 ＋5Ｃ2 ＋5Ｃ3 ＋5Ｃ4 ）となる。ここで、ｘｉを各領域でのデータ値とし、全５領域を任意の２領域に分割する。図４は、複数領域を２分割した例を示す図である。図示の例では、２分割した領域の一方ａ（データ値がｘｈ）をＺＯＮＥ１，２，３とし、他方ｂ（データ値がｘｌ）をＺＯＮＥ４，５とした場合である。
【００２９】
ここで、
ｘｉ：全領域（ＺＯＮＥ１〜５）のｘｉの平均値
ｘ1〜3 ：一方の領域（ｘｈ：ＺＯＮＥ１，２，３）のｘｉの平均値
ｘ4〜5 ：他方の領域（ｘｌ：ＺＯＮＥ４，５）のｘｉの平均値
とすれば、図４に示す各分割領域ｘｈ，ｘｌの平均値ｘ1〜3 と、ｘ4〜5 は、ａ，ｂを変数としてそれぞれ、下記式（１），（２）で表される。
【００３０】
【数１】
【００３１】
となる。ここで、２分割したａ，ｂの領域について、（ａ−ｂ）は、３０の領域分割方法すべてについて得られるので、これを各分割方法についての特徴量として定量的に定義でき、（ａ−ｂ）の値により、ウェーハＷの面上における２次元のデータ分布特徴量が定義できる。ここで、特徴量としては、領域ａ，ｂそれぞれの代表値（たとえば、平均値，中央値，最小値，最大値，標準偏差等）を用い、上記のような領域ａ，ｂの差（ａ−ｂ）、比（ａ：ｂ）を用いることができる。また、いずれの場合でも上記数式等の演算により、値として連続値を得ることができる。
【００３２】
以上の説明は、図３（ａ）に示した分割タイプについての２次元のデータ分布特徴量の算出に関するものであるが、図３（ｂ）、（ｃ）についても同様に上記式（１）、（２）で算出することができる。すなわち、領域の分割タイプが異なっても、差（ａ−ｂ）の値は同様な意味を持つため、異なった領域の分割タイプにより得られた差（ａ−ｂ）の値であっても特徴量としては同等に扱うことができる。したがって、各ウェーハＷについて図３（ａ）〜（ｃ）に示す領域の分割タイプ毎ではなく、総合的にみてどの領域の分割タイプのどの分割方法による特徴が最も顕著であるかを判別することが可能となる。
【００３３】
上記ａ，ｂの領域の差（ａ−ｂ）については、絶対値｜ａ−ｂ｜の値が大きいほど、データ分布特徴が顕著に現れ、判別が容易になる。そして、図３（ａ）〜（ｃ）に示す各領域の分割タイプ毎に得られた２次元の特徴量は、各レコード（ウェーハＷ）毎に定義される。
【００３４】
図５は、各領域の分割タイプ毎に得られた特徴量を示す図である。これらの特徴量は、データ解析時の目的変数として扱われる。図示のように、各ウェーハＷ毎のｎ個のレコード１〜Ｎには、それぞれ分割タイプ毎のｎ個の特徴量０１〜ｎが連続値で定義される。各特徴項目の特徴量はロット単位で求められる。図には、図３（ａ）〜（ｃ）の各分割タイプについて、それぞれ異なる算出法による特徴量が格納される。たとえば、分割タイプａ（図３（ａ）に相当）における特徴３０とは、上述した属性値の大小まで考慮した計５つの領域（ＺＯＮＥ１〜ＺＯＮＥ５）に関する計３０通りの２分割方法で得られた２次元の特徴量（連続値）である。
【００３５】
次に、上記２次元の特徴量を目的変数とした回帰木分析について説明する。回帰木分析は、説明変数を同じにして抽出された各特徴量を順次目的変数に選択して、自動的に回帰木分析をおこない、それによって各特徴量を左右する要因がそれぞれについて抽出される。特に、何を解析すべきかが明確となっていない場合には、考えられるすべての特徴量を抽出し、それらを目的変数として回帰木分析を実行する。その結果、上述したように種々の解析結果が得られるので、その中で最も有意差が大とみなされる項目を歩留り改善のための対策項目の候補とする。このように従来の解析方法では容易に抽出されなかった多くの有意差が効率的に抽出される。
【００３６】
ここで、回帰木分析および評価用統計値リストについて説明する。まず、回帰木分析について簡単に説明する。回帰木分析は、複数の属性を示す説明変数とそれにより影響を受ける目的変数からなるレコードの集合を対象とし、その目的変数に最も影響を与える属性と属性値を判別するものである。データマイニングをおこなってルールファイル２４を抽出する手段２３（回帰木分析エンジン）からはデータの特徴や規則性を示すルールが出力される。
【００３７】
回帰木分析の処理は、各説明変数（属性）のパラメータ値（属性値）に基づいて集合の２分割を繰り返していくことで実現される。その集合分割の際、分割前の目的変数の平方和をＳ０、分割後の２つの集合のそれぞれの目的変数の平方和をＳ１およびＳ２としたとき、式（３）で示すΔＳが最大となるように、分割するレコードの説明変数とそのパラメータ値を求める。
【００３８】
ΔＳ＝Ｓ０−（Ｓ１＋Ｓ２） ・・・（３）
【００３９】
ここで得られる説明変数とそのパラメータ値は、回帰木では分岐点に対応している。以降、分割された集合についても同様な処理を繰り返し、説明変数の目的変数に対する影響を調べる。以上が、一般によく知られている回帰木分析の手法であるが、集合分割の明確さをより詳しく把握するために、複数の上位分割候補に関して、ΔＳの他に以下のパラメータ（ａ）〜（ｄ）も回帰木分析結果の定量的な評価として使用する。これらのパラメータは評価用統計値リストとして出力される。
【００４０】
（ａ）Ｓ比：
集合分割による平方和の低減率であり、集合分割により平方和がどの程度低減したかを示すパラメータである。この値が小さいほど集合分割の効果は大きく、集合分割が明確におこなわれているので、有意差が大である。
【００４１】
Ｓ比＝（（Ｓ１＋Ｓ２）／２）／Ｓ０ ・・・（４）
【００４２】
（ｂ）ｔ値：
回帰木分析エンジンにより集合が２分割されるが、分割された２つの集合の平均（／Ｘ１，／Ｘ２）の差の検定のための値である。ここで、"／"は上線を示す。統計のｔ検定は、分割された集合における目的変数の平均値の有意差を示す基準となる。自由度、すなわちデータ数が同じであるなら、ｔが大きいほど集合が明確に分割されており、有意差が大である。
【００４３】
この際、分割された集合の分散に有意差がない場合には次の（５）式によりｔ値を求め、分割された集合の分散に有意差がある場合には（６）式によりｔ値を求める。ここで、Ｎ１およびＮ２は、それぞれ分割した集合１および集合２の要素数である。また、／Ｘ１および／Ｘ２はそれぞれ分割後の各集合の平均である。Ｓ１およびＳ２は、それぞれ分割後の各集合の目的変数の平方和である。
【００４４】
【数２】
【００４５】
【数３】
【００４６】
（ｃ）分割された集合の目的変数の平均値の差：
この値が大きいほど有意差が大である。
【００４７】
（ｄ）分割された各集合のデータ数：
両者の差が小さいほど異常値（ノイズ）による影響が小である。
【００４８】
そして、図５に示した特徴量が生じた要因をウェーハ検査時等の電気的特性値（たとえば電流値、電圧値、抵抗値）を説明変数として定義し回帰木分析を実行する。図６は、実際に回帰木分析を実行する際の入力データの一例を示す図である。図には、２次元のデータ分布特徴の抽出手段２１により抽出されたデータ分布特徴量をＣＳＶ形式で出力した例が示されている。各特徴量は、レコード毎に独立して求められるので、独立して扱われる。たとえば、図６に示すように、各特徴量はＣＳＶ形式で自動的に出力されるので、各特徴量毎に効率的に有意な解析をおこなうことが可能となる。上記２次元の特徴量を抽出する処理をあらかじめプログラムに組み込んでおくか、あるいは抽出する特徴量を定義したファイルを用意して、そのファイルを読み込み実行することができる。
【００４９】
いずれの特徴量も、ウェーハＷの面内における２次元の分布であり、特徴量の値についても離散値ではなく、その特徴がどの程度の強さであるかという連続値で定義されている。値が連続値であるため、従来のように離散値化による情報の欠落が生じないので、より良好な解析結果が期待される。
【００５０】
そして、目的変数とする２次元の特徴量が複数個０１〜ｎ（図５参照）あるとして、順次回帰木分析を実行する。ｎ個の各特徴量は、それぞれ異なる分割方式（たとえば、図３参照）により得られた２次元の特徴量である。図７は、回帰木分析結果を示す図である。図には目的変数を図６に示す特徴０２とし、説明変数を電流Ｉ１〜Ｉ９、電圧Ｖ１〜Ｖ５、抵抗Ｒ１、Ｒ２として回帰木分析をおこなった結果の例が示されている。図の上部には回帰木分析の結果を示す回帰木図が表され、図の下部にはこの回帰木分析の信頼度情報を表す評価用統計値リスト（Evaluation Data）が表されている。
【００５１】
回帰木分析結果であるこの図７に基づいて、電流Ｉ７が０．６７以下であるか否かが特徴０２の値に最も影響を及ぼしていることが判明する。この図に示す評価用統計値リストには、説明変数を変えたときにある目的変数（特徴０２）に最も影響を及ぼす順番が上下順に図表化して表示されている。
【００５２】
この評価用統計値リストの第２行以下の項目Ｓ比，ｔ値は、第１行目の項目のものに比べて大きく異なっていることから、電流Ｉ７の値の影響が際立っていることが判る。加えて、他の特徴量を目的変数とした回帰木分析結果については、評価用統計値リストの第１行目における項目のＳ比，ｔ値は、第２行以下の項目のものに比べてさほど差があるものはみられなかった。第１候補のものと第２候補のものとでは、それほど差がない。これは、同じ程度の複数の要因があるため、不良対策を施しにくいことを示している。以上によって、仮に、値が特徴０２よりも大きい特徴量（目的変数）が生じたとしても不良の発生要因が明確な特徴０２（電流Ｉ７が０．６７以下であるか否か）を不良対策として選定することが適切であると容易に判明できるようになる。
【００５３】
図８は、本発明にかかるデータ解析方法の概略を示すフローチャートである。以上説明したように、このデータ解析方法が開始されると、まずオリジナルデータ群４２の中から解析の対象とするデータ、たとえばウェーハＷの歩留り値や各種測定値等のデータが選択されて抽出される（ステップＳ１）。つづいて、抽出された個々のデータの帰属領域が判定される（ステップＳ２）。この帰属領域の判定は、ウェーハＷ上における個々のデータの２次元座標を抽出し、各データの座標が図３に示した各領域分割パターン毎にどの領域に属するかを判定する。次に、抽出されたデータに対してウェーハＷの面内における２次元のデータ分布特徴量を抽出する処理がおこなわれる（ステップＳ３）。
【００５４】
そして、解析対象とするデータ分布特徴量が選択され、それを目的変数として回帰木分析等のデータマイニングがおこなわれる（ステップＳ４）。ステップＳ３で抽出されたすべてのデータ分布特徴量について回帰木分析がおこなわれ（ステップＳ５：Ｎｏ〜ステップＳ４のループ）、回帰木分析が終了したら（ステップＳ５：Ｙｅｓ）、分析結果が出力され、技術者はその確認をおこなう（ステップＳ６）。そして、技術者は、分析結果に基づいて意思決定をおこなう（ステップＳ７）。ステップＳ６、ステップＳ７は、図７に示す評価用統計値リストを用いてＳ比の値やｔの値等を用いた上述の評価機能をコンピュータに自動実行させる構成とすることもできる。
【００５５】
上述した実施の形態によれば、解析対象であるウェーハＷのオリジナルデータ群内に存在するウェーハ面内の２次元のデータ分布特徴量を複数、定義および抽出し、これらを定量化する。そして、各データ分布特徴量を順次目的変数に選択して解析をおこなうことにより、不良解析等のデータ解析に有効な統計的有意差を抽出できるようになる。これにより、多種多様なデータであっても、埋もれて判別が困難であった関連性や有意差を、技術者の主観によらずに客観的に、また効率的および定量的に抽出することができるようになる。
【００５６】
なお、上記実施の形態において説明した２次元のデータ分布特徴の抽出は、解析対象であるたとえばウェーハＷを例にとると、最小単位で１枚のウェーハＷに適用でき、１ロット単位あるいは複数ロットを単位とすることができ、オリジナルデータ群から規定した単位毎におこなうことができる。また、この発明は、３次元のデータ分布特徴の抽出についても容易に適用できるものである。
【００５７】
以上説明したデータ解析方法は、あらかじめ用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。このプログラムは、各種記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネット等のネットワークを介して配布することが可能な伝送媒体であってもよい。
【００５８】
（付記１）解析対象のデータ解析に必要なデータをオリジナルデータの中から抽出するデータ抽出工程と、
前記データ抽出工程により抽出されたデータが解析対象の２次元座標上であらかじめ設定された複数の帰属領域のうちのどの帰属領域に該当するかを判定する帰属領域判定工程と、
前記データ抽出工程によって抽出されたデータを用いて前記帰属領域判定工程によって判定された帰属領域別に２次元のデータ分布特徴量を抽出する２次元データ分布特徴量抽出工程と、
前記２次元データ分布量抽出工程によって抽出された２次元のデータ分布特徴量を用いたデータの解析をおこなうデータ解析工程と、
を含むことを特徴とするデータ解析方法。
【００５９】
（付記２）前記２次元データ分布特徴量抽出工程は、
前記２次元のデータ分布特徴量を前記帰属領域を判定するための算出式に基づき連続値として算出することで前記２次元のデータ分布特徴量を抽出することを特徴とする付記１に記載のデータ解析方法。
【００６０】
（付記３）前記解析対象毎のレコードを設定してファイル化し、各レコードに含まれる複数の前記２次元のデータ分布特徴量が互いに独立して設定されることを特徴とする付記１または２に記載のデータ解析方法。
【００６１】
（付記４）前記データ解析工程は、
前記２次元のデータ分布特徴量を目的変数として、解析すべき２次元のデータの特徴や規則を表すルールをデータマイニングにより抽出することを特徴とする付記１〜３のいずれか一つに記載のデータ解析方法。
【００６２】
（付記５）前記データ解析工程は、
前記抽出された２次元のデータ分布特徴量のうちいずれのデータ分布特徴量が最もデータ解析に有意な結果を与える目的変数であるかを前記データマイニングにより抽出することを特徴とする付記４に記載のデータ解析方法。
【００６３】
（付記６）前記ルールの信頼度を表す情報として、前記データ解析工程により得たデータの集合を２分割する際の分割の明確度を表す集合分割評価値を求める評価工程を含むことを特徴とする付記４または５に記載のデータ解析方法。
【００６４】
（付記７）前記評価工程は、
前記集合分割評価値として次の式で表されるＳ比の値を用いることを特徴とする付記６に記載のデータ解析方法。
Ｓ比＝（（Ｓ１＋Ｓ２）／２）Ｓ０
ただし、Ｓ０は、複数のオリジナルデータよりなる集合を２分割する前の目的変数の平方和、Ｓ１およびＳ２はそれぞれ分割後の各集合の目的変数の平方和である。
【００６５】
（付記８）前記評価工程は、
前記集合分割評価値として次の式で表されるｔの値を用いることを特徴とする付記６に記載のデータ解析方法。
【数４】
【００６６】
（付記９）前記評価工程は、
前記２分割した後の各分割集合に属する前記抽出されたデータの個数比を用いることを特徴とする付記６に記載のデータ解析方法。
【００６７】
（付記１０）前記評価工程は、
前記２分割を繰り返して得られた後の各分割集合が示す前記Ｓ比の値が小さく、かつ、ｔの値が大きい順に説明変数を附した評価用統計値リストを作成することを特徴とする付記６に記載のデータ解析方法。
【００６８】
（付記１１）解析対象の品質の変動を示す目的変数と、該目的変数の変動を説明する説明変数とを含むオリジナルデータのデータ解析をおこなうデータ解析プログラムであって、
前記解析対象のデータ解析に必要なデータをオリジナルデータの中から抽出させるデータ抽出工程と、
前記データ抽出工程によって抽出されたデータが前記解析対象の２次元座標上であらかじめ設定された複数の帰属領域のうちのどの帰属領域に該当するかを判定させる帰属領域判定工程と、
前記データ抽出工程によって抽出されたデータを用いて前記判定された帰属領域別に２次元のデータ分布特徴量を抽出させる２次元データ分布特徴量抽出工程と、
前記２次元データ分布特徴量抽出工程によって抽出された２次元のデータ分布特徴量を用いたデータの解析をおこなわせることを特徴とするデータ解析プログラム。
【００６９】
（付記１２）解析対象のデータ解析に必要なデータをオリジナルデータの中から抽出するデータ抽出手段と、
前記データ抽出手段により抽出されたデータが解析対象の２次元座標上であらかじめ設定された複数の帰属領域のうちのどの帰属領域に該当するかを判定する帰属領域判定手段と、
前記データ抽出手段によって抽出されたデータを用いて前記帰属領域判定手段によって判定された帰属領域別に２次元のデータ分布特徴量を抽出する２次元データ分布特徴量抽出手段と、
前記抽出された２次元のデータ分布特徴量を用いたデータの解析をおこなうデータ解析手段と、
を備えたことを特徴とするデータ解析装置。
【００７０】
（付記１３）前記データ解析手段により解析された２次元のデータの特徴や規則であるルールの信頼度を表す情報として、前記データ解析手段により得たデータの集合を２分割する際の分割の明確度を表す集合分割評価値を求める評価手段を備えたことを特徴とする付記１２に記載のデータ解析装置。
【００７１】
（付記１４）前記解析対象は、半導体用ウェーハの面上に複数配置される各チップであり該各チップの特性値が前記オリジナルデータとして出力され、
前記帰属領域判定手段は、前記ウェーハの面上を複数の領域に分割し、該分割された複数の領域を任意の２領域のいずれかに含ませて前記帰属領域を判定することを特徴とする付記１３に記載のデータ解析装置。
【００７２】
（付記１５）前記２次元データ分布特徴量抽出手段は、
前記任意の２領域にそれぞれ属する各データの代表値を特徴量とし、該２領域の総合値同士の差分、あるいは比を２次元のデータ分布特徴量とすることを特徴とする付記１４に記載のデータ解析装置。
【００７３】
【発明の効果】
本発明によれば、解析対象の２次元の特徴量抽出の対象の個々のデータがどの分割領域に属しているかを、個々のデータの２次元座標を抽出し、それが各領域分割パターン毎にどの領域に属するかを判定し、連続値として得ることができるため、技術者の経験、ノウハウに依存する割合を減らし２次元の特徴量を容易に定義、抽出でき、抽出された特徴量を用いて２次元の座標上でのデータ分布特徴を容易に抽出でき、データ解析を効率的におこなうことができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかるデータ解析方法の実施に供せられる計算機システムのハードウェア構成の一例を示す図である。
【図２】図１に示す構成の計算機システムにより実現されるデータ解析装置の機能構成の一例を示すブロック図である。
【図３】２次元のデータ分布特徴の抽出手段が抽出する分布特徴の定義を示す図である。
【図４】複数領域を２分割した例を示す図である。
【図５】各領域の分割タイプ毎に得られた特徴量を示す図である。
【図６】実際に回帰木分析を実行する際の入力データの一例を示す図である。
【図７】回帰木分析結果を示す図である。
【図８】本発明にかかるデータ解析方法の概略を示すフローチャートである。
【図９】従来のデータ解析時に用いる表示画面を示す図である。
【図１０】特性試験で合格とされたチップのウェーハ面内分布を示す図である。
【符号の説明】
１ 入力装置
２ 中央処理装置
３ 出力装置
４ 記憶装置
２１ データ分布特徴の抽出手段
２２ 解析対象特徴量の選択手段
２３ データマイニング手段
２４ 特徴、規則性のルールファイル
２５ 統計解析コンポーネント
２６ 図表作成コンポーネント
２７ 解析ツール群
４１ データベース
４２ オリジナルデータ群
【発明の属する技術分野】
この発明は、広く産業界で取り扱われるデータ間の関連を把握し、産業上優位な結果をもたらすための有意性のある結果を抽出するデータ解析方法に関し、さらに、解析対象とするデータ値やその平均値だけに注目していては判別が困難である知識や情報を抽出するデータ解析方法に関する。
【０００２】
特に、２次元のデータ解析を可能とし、たとえば、解析対象としてウェーハの面上に配置されたチップの特性値等のデータと、ウェーハ面上における各チップの２次元の配置位置によりデータ分布特徴量を得て解析対象の２次元のデータ解析を効率的におこなうデータ解析方法に関する。
【０００３】
【従来の技術】
解析対象としてウェーハ上のチップの歩留り解析を例にとって説明する。特に、プロセスデータ解析のように、その解析結果から品質、生産性向上の対策決定のための参考データを得ようとする場合には、その精度、信頼度等が重要であり、これについては本願発明者等により既に出願されている（たとえば、下記特許文献１参照。ほか、特願２００１−１２７５３４）。
【０００４】
歩留り低下要因をできるだけ速やかに見つけて対策を実施するために、装置履歴、試験結果、設計情報、各種測定データ等から歩留りに効いている要因やその要因に効いている別の要因を見つけるためのデータ解析がおこなわれる。
【０００５】
データ解析において、歩留り値のように解析対象となるものを目的変数、目的変数の要因となる装置履歴、試験結果、設計情報、各種測定データ等は説明変数といわれる。その際に各種統計学的手法が適用されるが、そのうちの一つとしてデータマイニングを適用することで、多種大量のデータから判別しにくい価値ある情報や規則性を抽出することができる。
【０００６】
半導体デバイスの不良要因を解析するためには、収集されたデータをより多面的に科学的根拠に基づいて解析し、より多くの有意差を抽出するのが重要である。そのため、従来は計算機システムに蓄積されたオリジナルデータの値やその平均値がよく活用されている。しかし、複雑に絡み合ったオリジナルデータ群から不良要因等を抽出するのが困難な場合もある。そのような場合、ウェーハ面内チップやロット内ウェーハの各種測定結果や歩留り等に関して特徴的なデータ分布が存在すれば、それに基づいて不良データの解析を進めることができる。
【０００７】
半導体デバイスの歩留りに関するデータ解析をおこなうには、歩留り値のように計算機システムに蓄積されているデータ値を用いる他に、これらのデータ値を編集した値、たとえば、ロット内ウェーハ歩留り値の分布特徴を活用することも有用である。本出願人は、ロット内データ分布特徴という１次元の特徴量を対象としてデータ解析をおこなう構成を出願している（特願２００１−３３８１８５）。
【０００８】
図９は、従来のデータ解析時に用いる表示画面を示す図である。従来、ウェーハ面内における２次元のデータ分布特徴の解析は、図示のような表示画面を用いておこなっていた。図示の例は、指定されたロット（複数ロットの指定も可能）のウェーハ面内における歩留りの分布状態をイメージ表示したものである。表示画面１００の左側１００ａには、ウェーハＷの面内を複数枠１０１に分割し、各枠１０１、すなわち、ウェーハＷの同一位置にそれぞれ存在するチップの各歩留りが示されている。
【０００９】
また、表示画面１００の右側上部１００ｂには、半導体製造プロセスの焼き付けショット時における２つのショット位置を例とした場合における歩留りがイメージおよび数値で表示されている。また、表示画面１００の右側中央部１００ｃには、ウェーハＷの中心から所定幅ずつ同じ径方向に輪切り（計８領域）に分割したとき、各分割領域に属するチップの歩留りがイメージおよび数値で表示されている。また、表示画面１００の右側下部１００ｄには、ウェーハＷを縦横および斜め方向（計８領域）に分割したとき、各分割領域に属するチップの歩留りがイメージおよび数値で表示されている。各イメージ内のマークは、大きいほど歩留りが高いことを示している。
【００１０】
次に、図１０は、特性試験で合格とされたチップのウェーハ面内分布を示す図である。図示において不良チップは空白で示されるが、この不良チップの発生状態は、ウェーハＷの面内において一様に分布しているのではなく、特徴があることが示されている。
【００１１】
そして、ウェーハ面内の同一位置に属するチップやウェーハ面内を前述した各分割パターンにしたがい、固定的に分割した各領域について、各領域に属するチップの属性値を集計し、解析者が上記表示画面を用いて視覚的に確認することができる。この他にもウェーハ面内のデータ分布特徴には、より多くの解析にとって有用な情報が存在している。
【００１２】
【特許文献１】
特開２００１−３０６９９９号公報
【００１３】
【発明が解決しようとする課題】
しかしながら、実際にはデータ数値の不連続性や、複数の各領域にまたがる特徴が存在するなど、特に、ウェーハ面内における２次元の特徴量抽出となると、解析者がパターン認知する能力を有していても有効な情報を容易に認識することができなかった。加えて、このような２次元の特徴量を全ロットおよびウェーハについてすべて視覚的に確認する作業は膨大な作業量となった。
【００１４】
したがって、図９に示したパターンを用いるだけに限らず、より汎用的なデータ分布の２次元特徴量を自動的に抽出する技術、および抽出されたデータ分布の２次元の特徴量を解析する方法が求められていた。また、従来、半導体の歩留りのデータ解析では、ウェーハ面内のデータ分布特徴、すなわち２次元の特徴量を用いた解析は、技術者の経験やノウハウが必要とされていた。
【００１５】
この発明は、上記問題点に鑑みてなされたものであって、技術者の経験、ノウハウに依存する割合を減らし２次元のデータ分布特徴量を容易に定義、抽出でき、抽出されたデータ分布特徴量を用いてデータ解析を効率的におこなうことができるデータ解析方法を提供することを目的とする。
【００１６】
【課題を解決するための手段】
上記目的を達成するため、本発明は、解析対象のデータ解析に必要なウェーハ上のチップ歩留まりデータをオリジナルデータの中から抽出するデータ抽出工程と、前記データ抽出工程により抽出されたウェーハ上のチップ歩留まりデータが解析対象の２次元座標上であらかじめ設定された複数の帰属領域のうちのどの帰属領域に該当するかを判定する帰属領域判定工程と、前記データ抽出工程によって抽出されたウェーハ上のチップ歩留まりデータを用いて前記帰属領域判定工程によって判定された帰属領域別に２次元のデータ分布特徴量を抽出する２次元データ分布特徴量抽出工程と、前記２次元データ分布特徴量抽出工程によって抽出された２次元のデータ分布特徴量を用いたデータの解析をおこなうデータ解析工程とを含み、前記２次元データ分布特徴量抽出工程は、前記２次元のデータ分布特徴量を、複数の前記帰属領域を２つの領域に２分割し、分割した２つの領域の代表値を用いた所定の算出式に基づき連続値として算出することで前記２次元のデータ分布特徴量を抽出することを特徴とする。
【００１７】
この発明によれば、解析対象の２次元の特徴量抽出の対象の個々のデータがどの分割領域に属しているかを、個々のデータの２次元座標を抽出し、それが各領域分割パターン毎にどの領域に属するかを判定することにより、連続値として得ることができる。そして、２次元の座標上で特徴量が一様に分布していない場合等、この２次元のデータ分布の特徴量を容易に抽出でき、データ解析を効率的におこなえるようになる。
【００１８】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかるデータ解析方法の好適な実施の形態を詳細に説明する。この実施の形態では、解析対象の具体例としてウェーハの面内における２次元のデータ分布特徴を抽出し、データ解析する例を説明する。
【００１９】
図１は、本発明の実施の形態にかかるデータ解析方法の実施に供せられる計算機システムのハードウェア構成の一例を示す図である。この計算機システムは、図１に示すように、入力装置１、中央処理装置２、出力装置３および記憶装置４から構成される。
【００２０】
図２は、図１に示す構成の計算機システムにより実現されるデータ解析装置の機能構成の一例を示すブロック図である。このデータ解析装置は、図２に示すように、複数のオリジナルデータを含むデータベース４１からなるオリジナルデータ群４２を有する。このデータベース４１は、図１に示す計算機システムの記憶装置４において構築されている。
【００２１】
また、データ解析装置は、オリジナルデータ群４２の中に存在する１以上のデータの分布特徴を定量的に評価して抽出する（データ分布特徴の抽出）手段２１、抽出した１以上のデータ分布特徴量の中から解析対象とする特徴量を選択する（解析対象特徴量の選択）手段２２、解析対象に選択したデータ分布特徴量を目的変数として回帰木分析手法などによるデータマイニングをおこない、データ分布に潜む特徴や規則性などのルールファイル２４を抽出する（データマイニング）手段２３、抽出した特徴、規則性（ルールのファイル）２４を用いてオリジナルデータの分布特徴を解析する統計解析コンポーネント２５や図表作成コンポーネント２６などの解析ツール群２７を備える。
【００２２】
以上の各手段２１，２２，２３および解析ツール群２７は、それぞれの処理をおこなうためのプログラムを中央処理装置２で実行することにより実現される。抽出されたルールファイル２４は記憶装置４に記憶されるとともに、表示装置や印刷装置などの出力装置３により出力される。意思決定５は解析ツール群２７による解析結果に基づいてなされる。
【００２３】
また、上述したルールファイル２４を抽出する手段２３は、オリジナルデータ群４２の中のオリジナルデータ、データ分布特徴の抽出手段２１により抽出された２次元のデータ分布特徴、または解析ツール群２７による解析結果に対してもデータマイニングをおこなうようになっている。また、解析ツール群２７は、オリジナルデータ群４２の中のオリジナルデータ、データ分布特徴の抽出手段２１により抽出された２次元のデータ分布特徴、または解析ツール群２７の出力結果に対しても解析をおこなうようになっている。また、解析ツール群２７による解析結果は、解析対象特徴量の選択手段２２やオリジナルデータ群４２にフィードバックされる。また、オリジナルデータ群４２には、データ分布特徴の抽出手段２１の出力がフィードバックされる。
【００２４】
ここでデータ分布特徴の抽出手段２１における特徴量の抽出について説明する。前述したロット内のウェーハ歩留り値等の分布特徴は、１次元における特徴量であり、この１次元の特徴量は、このようなロット内のウェーハ歩留り、ウェーハの電気的特性値、あるいは時間変動する歩留り値や電気的特性値等から計算される。特徴量抽出の対象の個々のデータの属性値（ロット内のウェーハ番号、時刻等）を、特徴量抽出のための変数としてそのまま使用する。
【００２５】
これに対し、この発明のデータ解析装置では、２次元の特徴量を抽出する。この２次元の特徴量は、ウェーハ内チップ、チップ群の歩留り、電気的特性値等から、各分割領域毎にまとめて計算される。このため、特徴量抽出の対象の個々のデータがどの分割領域に属しているかの判定が、個々の分割パターンにより必要となる。個々のデータの２次元座標を抽出し、それが各領域分割パターン毎にどの領域に属するかを判定する必要が生じる。
【００２６】
図３は、２次元のデータ分布特徴の抽出手段２１が抽出する分布特徴の定義を示す図である。分布特徴の対象は、ウェーハＷを所定の分割方法で分割した際の各領域の属性値とする。そして、分割タイプは複数種類用意される。図３（ａ）に示す分割タイプは、ウェーハＷの面内を中央と４方に計５分割した例である。図３（ｂ）に示す分割タイプは、ウェーハＷの面内を中心から８等分した例である。図３（ｃ）に示す分割タイプは、ウェーハＷの面内を中心から所定径毎に円形状（円環状）に３分割した例である。上記例に限らず、他にも不良要因を絞り込むのに適した分割タイプの追加および削除が可能である。
【００２７】
後述するデータ解析処理では、各分割タイプそれぞれについて、どの２分割領域およびその組み合わせが他の領域や組み合わせに比べて対象とするデータ値についてどの程度の有意差が見いだせるかを判別するようになっている。
【００２８】
次に、２次元のデータ分布特徴を数値化する手段について説明する。図３（ａ）に示した分割タイプを例に具体的に説明する。属性値の大小を考慮した計５つの領域（ＺＯＮＥ１〜ＺＯＮＥ５）の２分割方法の組み合わせは、３０通り（＝ 5Ｃ1 ＋5Ｃ2 ＋5Ｃ3 ＋5Ｃ4 ）となる。ここで、ｘｉを各領域でのデータ値とし、全５領域を任意の２領域に分割する。図４は、複数領域を２分割した例を示す図である。図示の例では、２分割した領域の一方ａ（データ値がｘｈ）をＺＯＮＥ１，２，３とし、他方ｂ（データ値がｘｌ）をＺＯＮＥ４，５とした場合である。
【００２９】
ここで、
ｘｉ：全領域（ＺＯＮＥ１〜５）のｘｉの平均値
ｘ1〜3 ：一方の領域（ｘｈ：ＺＯＮＥ１，２，３）のｘｉの平均値
ｘ4〜5 ：他方の領域（ｘｌ：ＺＯＮＥ４，５）のｘｉの平均値
とすれば、図４に示す各分割領域ｘｈ，ｘｌの平均値ｘ1〜3 と、ｘ4〜5 は、ａ，ｂを変数としてそれぞれ、下記式（１），（２）で表される。
【００３０】
【数１】
となる。ここで、２分割したａ，ｂの領域について、（ａ−ｂ）は、３０の領域分割方法すべてについて得られるので、これを各分割方法についての特徴量として定量的に定義でき、（ａ−ｂ）の値により、ウェーハＷの面上における２次元のデータ分布特徴量が定義できる。ここで、特徴量としては、領域ａ，ｂそれぞれの代表値（たとえば、平均値，中央値，最小値，最大値，標準偏差等）を用い、上記のような領域ａ，ｂの差（ａ−ｂ）、比（ａ：ｂ）を用いることができる。また、いずれの場合でも上記数式等の演算により、値として連続値を得ることができる。
【００３２】
以上の説明は、図３（ａ）に示した分割タイプについての２次元のデータ分布特徴量の算出に関するものであるが、図３（ｂ）、（ｃ）についても同様に上記式（１）、（２）で算出することができる。すなわち、領域の分割タイプが異なっても、差（ａ−ｂ）の値は同様な意味を持つため、異なった領域の分割タイプにより得られた差（ａ−ｂ）の値であっても特徴量としては同等に扱うことができる。したがって、各ウェーハＷについて図３（ａ）〜（ｃ）に示す領域の分割タイプ毎ではなく、総合的にみてどの領域の分割タイプのどの分割方法による特徴が最も顕著であるかを判別することが可能となる。
【００３３】
上記ａ，ｂの領域の差（ａ−ｂ）については、絶対値｜ａ−ｂ｜の値が大きいほど、データ分布特徴が顕著に現れ、判別が容易になる。そして、図３（ａ）〜（ｃ）に示す各領域の分割タイプ毎に得られた２次元の特徴量は、各レコード（ウェーハＷ）毎に定義される。
【００３４】
図５は、各領域の分割タイプ毎に得られた特徴量を示す図である。これらの特徴量は、データ解析時の目的変数として扱われる。図示のように、各ウェーハＷ毎のｎ個のレコード１〜Ｎには、それぞれ分割タイプ毎のｎ個の特徴量０１〜ｎが連続値で定義される。各特徴項目の特徴量はロット単位で求められる。図には、図３（ａ）〜（ｃ）の各分割タイプについて、それぞれ異なる算出法による特徴量が格納される。たとえば、分割タイプａ（図３（ａ）に相当）における特徴３０とは、上述した属性値の大小まで考慮した計５つの領域（ＺＯＮＥ１〜ＺＯＮＥ５）に関する計３０通りの２分割方法で得られた２次元の特徴量（連続値）である。
【００３５】
次に、上記２次元の特徴量を目的変数とした回帰木分析について説明する。回帰木分析は、説明変数を同じにして抽出された各特徴量を順次目的変数に選択して、自動的に回帰木分析をおこない、それによって各特徴量を左右する要因がそれぞれについて抽出される。特に、何を解析すべきかが明確となっていない場合には、考えられるすべての特徴量を抽出し、それらを目的変数として回帰木分析を実行する。その結果、上述したように種々の解析結果が得られるので、その中で最も有意差が大とみなされる項目を歩留り改善のための対策項目の候補とする。このように従来の解析方法では容易に抽出されなかった多くの有意差が効率的に抽出される。
【００３６】
ここで、回帰木分析および評価用統計値リストについて説明する。まず、回帰木分析について簡単に説明する。回帰木分析は、複数の属性を示す説明変数とそれにより影響を受ける目的変数からなるレコードの集合を対象とし、その目的変数に最も影響を与える属性と属性値を判別するものである。データマイニングをおこなってルールファイル２４を抽出する手段２３（回帰木分析エンジン）からはデータの特徴や規則性を示すルールが出力される。
【００３７】
回帰木分析の処理は、各説明変数（属性）のパラメータ値（属性値）に基づいて集合の２分割を繰り返していくことで実現される。その集合分割の際、分割前の目的変数の平方和をＳ０、分割後の２つの集合のそれぞれの目的変数の平方和をＳ１およびＳ２としたとき、式（３）で示すΔＳが最大となるように、分割するレコードの説明変数とそのパラメータ値を求める。
【００３８】
ΔＳ＝Ｓ０−（Ｓ１＋Ｓ２） ・・・（３）
【００３９】
ここで得られる説明変数とそのパラメータ値は、回帰木では分岐点に対応している。以降、分割された集合についても同様な処理を繰り返し、説明変数の目的変数に対する影響を調べる。以上が、一般によく知られている回帰木分析の手法であるが、集合分割の明確さをより詳しく把握するために、複数の上位分割候補に関して、ΔＳの他に以下のパラメータ（ａ）〜（ｄ）も回帰木分析結果の定量的な評価として使用する。これらのパラメータは評価用統計値リストとして出力される。
【００４０】
（ａ）Ｓ比：
集合分割による平方和の低減率であり、集合分割により平方和がどの程度低減したかを示すパラメータである。この値が小さいほど集合分割の効果は大きく、集合分割が明確におこなわれているので、有意差が大である。
【００４１】
Ｓ比＝（（Ｓ１＋Ｓ２）／２）／Ｓ０ ・・・（４）
【００４２】
（ｂ）ｔ値：
回帰木分析エンジンにより集合が２分割されるが、分割された２つの集合の平均（／Ｘ１，／Ｘ２）の差の検定のための値である。ここで、"／"は上線を示す。統計のｔ検定は、分割された集合における目的変数の平均値の有意差を示す基準となる。自由度、すなわちデータ数が同じであるなら、ｔが大きいほど集合が明確に分割されており、有意差が大である。
【００４３】
この際、分割された集合の分散に有意差がない場合には次の（５）式によりｔ値を求め、分割された集合の分散に有意差がある場合には（６）式によりｔ値を求める。ここで、Ｎ１およびＮ２は、それぞれ分割した集合１および集合２の要素数である。また、／Ｘ１および／Ｘ２はそれぞれ分割後の各集合の平均である。Ｓ１およびＳ２は、それぞれ分割後の各集合の目的変数の平方和である。
【００４４】
【数２】
【数３】
（ｃ）分割された集合の目的変数の平均値の差：
この値が大きいほど有意差が大である。
【００４７】
（ｄ）分割された各集合のデータ数：
両者の差が小さいほど異常値（ノイズ）による影響が小である。
【００４８】
そして、図５に示した特徴量が生じた要因をウェーハ検査時等の電気的特性値（たとえば電流値、電圧値、抵抗値）を説明変数として定義し回帰木分析を実行する。図６は、実際に回帰木分析を実行する際の入力データの一例を示す図である。図には、２次元のデータ分布特徴の抽出手段２１により抽出されたデータ分布特徴量をＣＳＶ形式で出力した例が示されている。各特徴量は、レコード毎に独立して求められるので、独立して扱われる。たとえば、図６に示すように、各特徴量はＣＳＶ形式で自動的に出力されるので、各特徴量毎に効率的に有意な解析をおこなうことが可能となる。上記２次元の特徴量を抽出する処理をあらかじめプログラムに組み込んでおくか、あるいは抽出する特徴量を定義したファイルを用意して、そのファイルを読み込み実行することができる。
【００４９】
いずれの特徴量も、ウェーハＷの面内における２次元の分布であり、特徴量の値についても離散値ではなく、その特徴がどの程度の強さであるかという連続値で定義されている。値が連続値であるため、従来のように離散値化による情報の欠落が生じないので、より良好な解析結果が期待される。
【００５０】
そして、目的変数とする２次元の特徴量が複数個０１〜ｎ（図５参照）あるとして、順次回帰木分析を実行する。ｎ個の各特徴量は、それぞれ異なる分割方式（たとえば、図３参照）により得られた２次元の特徴量である。図７は、回帰木分析結果を示す図である。図には目的変数を図６に示す特徴０２とし、説明変数を電流Ｉ１〜Ｉ９、電圧Ｖ１〜Ｖ５、抵抗Ｒ１、Ｒ２として回帰木分析をおこなった結果の例が示されている。図の上部には回帰木分析の結果を示す回帰木図が表され、図の下部にはこの回帰木分析の信頼度情報を表す評価用統計値リスト（Evaluation Data）が表されている。
【００５１】
回帰木分析結果であるこの図７に基づいて、電流Ｉ７が０．６７以下であるか否かが特徴０２の値に最も影響を及ぼしていることが判明する。この図に示す評価用統計値リストには、説明変数を変えたときにある目的変数（特徴０２）に最も影響を及ぼす順番が上下順に図表化して表示されている。
【００５２】
この評価用統計値リストの第２行以下の項目Ｓ比，ｔ値は、第１行目の項目のものに比べて大きく異なっていることから、電流Ｉ７の値の影響が際立っていることが判る。加えて、他の特徴量を目的変数とした回帰木分析結果については、評価用統計値リストの第１行目における項目のＳ比，ｔ値は、第２行以下の項目のものに比べてさほど差があるものはみられなかった。第１候補のものと第２候補のものとでは、それほど差がない。これは、同じ程度の複数の要因があるため、不良対策を施しにくいことを示している。以上によって、仮に、値が特徴０２よりも大きい特徴量（目的変数）が生じたとしても不良の発生要因が明確な特徴０２（電流Ｉ７が０．６７以下であるか否か）を不良対策として選定することが適切であると容易に判明できるようになる。
【００５３】
図８は、本発明にかかるデータ解析方法の概略を示すフローチャートである。以上説明したように、このデータ解析方法が開始されると、まずオリジナルデータ群４２の中から解析の対象とするデータ、たとえばウェーハＷの歩留り値や各種測定値等のデータが選択されて抽出される（ステップＳ１）。つづいて、抽出された個々のデータの帰属領域が判定される（ステップＳ２）。この帰属領域の判定は、ウェーハＷ上における個々のデータの２次元座標を抽出し、各データの座標が図３に示した各領域分割パターン毎にどの領域に属するかを判定する。次に、抽出されたデータに対してウェーハＷの面内における２次元のデータ分布特徴量を抽出する処理がおこなわれる（ステップＳ３）。
【００５４】
そして、解析対象とするデータ分布特徴量が選択され、それを目的変数として回帰木分析等のデータマイニングがおこなわれる（ステップＳ４）。ステップＳ３で抽出されたすべてのデータ分布特徴量について回帰木分析がおこなわれ（ステップＳ５：Ｎｏ〜ステップＳ４のループ）、回帰木分析が終了したら（ステップＳ５：Ｙｅｓ）、分析結果が出力され、技術者はその確認をおこなう（ステップＳ６）。そして、技術者は、分析結果に基づいて意思決定をおこなう（ステップＳ７）。ステップＳ６、ステップＳ７は、図７に示す評価用統計値リストを用いてＳ比の値やｔの値等を用いた上述の評価機能をコンピュータに自動実行させる構成とすることもできる。
【００５５】
上述した実施の形態によれば、解析対象であるウェーハＷのオリジナルデータ群内に存在するウェーハ面内の２次元のデータ分布特徴量を複数、定義および抽出し、これらを定量化する。そして、各データ分布特徴量を順次目的変数に選択して解析をおこなうことにより、不良解析等のデータ解析に有効な統計的有意差を抽出できるようになる。これにより、多種多様なデータであっても、埋もれて判別が困難であった関連性や有意差を、技術者の主観によらずに客観的に、また効率的および定量的に抽出することができるようになる。
【００５６】
なお、上記実施の形態において説明した２次元のデータ分布特徴の抽出は、解析対象であるたとえばウェーハＷを例にとると、最小単位で１枚のウェーハＷに適用でき、１ロット単位あるいは複数ロットを単位とすることができ、オリジナルデータ群から規定した単位毎におこなうことができる。また、この発明は、３次元のデータ分布特徴の抽出についても容易に適用できるものである。
【００５７】
以上説明したデータ解析方法は、あらかじめ用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。このプログラムは、各種記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネット等のネットワークを介して配布することが可能な伝送媒体であってもよい。
【００５８】
（付記１）解析対象のデータ解析に必要なデータをオリジナルデータの中から抽出するデータ抽出工程と、
前記データ抽出工程により抽出されたデータが解析対象の２次元座標上であらかじめ設定された複数の帰属領域のうちのどの帰属領域に該当するかを判定する帰属領域判定工程と、
前記データ抽出工程によって抽出されたデータを用いて前記帰属領域判定工程によって判定された帰属領域別に２次元のデータ分布特徴量を抽出する２次元データ分布特徴量抽出工程と、
前記２次元データ分布量抽出工程によって抽出された２次元のデータ分布特徴量を用いたデータの解析をおこなうデータ解析工程と、
を含むことを特徴とするデータ解析方法。
【００５９】
（付記２）前記２次元データ分布特徴量抽出工程は、
前記２次元のデータ分布特徴量を前記帰属領域を判定するための算出式に基づき連続値として算出することで前記２次元のデータ分布特徴量を抽出することを特徴とする付記１に記載のデータ解析方法。
【００６０】
（付記３）前記解析対象毎のレコードを設定してファイル化し、各レコードに含まれる複数の前記２次元のデータ分布特徴量が互いに独立して設定されることを特徴とする付記１または２に記載のデータ解析方法。
【００６１】
（付記４）前記データ解析工程は、
前記２次元のデータ分布特徴量を目的変数として、解析すべき２次元のデータの特徴や規則を表すルールをデータマイニングにより抽出することを特徴とする付記１〜３のいずれか一つに記載のデータ解析方法。
【００６２】
（付記５）前記データ解析工程は、
前記抽出された２次元のデータ分布特徴量のうちいずれのデータ分布特徴量が最もデータ解析に有意な結果を与える目的変数であるかを前記データマイニングにより抽出することを特徴とする付記４に記載のデータ解析方法。
【００６３】
（付記６）前記ルールの信頼度を表す情報として、前記データ解析工程により得たデータの集合を２分割する際の分割の明確度を表す集合分割評価値を求める評価工程を含むことを特徴とする付記４または５に記載のデータ解析方法。
【００６４】
（付記７）前記評価工程は、
前記集合分割評価値として次の式で表されるＳ比の値を用いることを特徴とする付記６に記載のデータ解析方法。
Ｓ比＝（（Ｓ１＋Ｓ２）／２）Ｓ０
ただし、Ｓ０は、複数のオリジナルデータよりなる集合を２分割する前の目的変数の平方和、Ｓ１およびＳ２はそれぞれ分割後の各集合の目的変数の平方和である。
【００６５】
（付記８）前記評価工程は、
前記集合分割評価値として次の式で表されるｔの値を用いることを特徴とする付記６に記載のデータ解析方法。
【数４】
（付記９）前記評価工程は、
前記２分割した後の各分割集合に属する前記抽出されたデータの個数比を用いることを特徴とする付記６に記載のデータ解析方法。
【００６７】
（付記１０）前記評価工程は、
前記２分割を繰り返して得られた後の各分割集合が示す前記Ｓ比の値が小さく、かつ、ｔの値が大きい順に説明変数を附した評価用統計値リストを作成することを特徴とする付記６に記載のデータ解析方法。
【００６８】
（付記１１）解析対象の品質の変動を示す目的変数と、該目的変数の変動を説明する説明変数とを含むオリジナルデータのデータ解析をおこなうデータ解析プログラムであって、
前記解析対象のデータ解析に必要なデータをオリジナルデータの中から抽出させるデータ抽出工程と、
前記データ抽出工程によって抽出されたデータが前記解析対象の２次元座標上であらかじめ設定された複数の帰属領域のうちのどの帰属領域に該当するかを判定させる帰属領域判定工程と、
前記データ抽出工程によって抽出されたデータを用いて前記判定された帰属領域別に２次元のデータ分布特徴量を抽出させる２次元データ分布特徴量抽出工程と、
前記２次元データ分布特徴量抽出工程によって抽出された２次元のデータ分布特徴量を用いたデータの解析をおこなわせることを特徴とするデータ解析プログラム。
【００６９】
（付記１２）解析対象のデータ解析に必要なデータをオリジナルデータの中から抽出するデータ抽出手段と、
前記データ抽出手段により抽出されたデータが解析対象の２次元座標上であらかじめ設定された複数の帰属領域のうちのどの帰属領域に該当するかを判定する帰属領域判定手段と、
前記データ抽出手段によって抽出されたデータを用いて前記帰属領域判定手段によって判定された帰属領域別に２次元のデータ分布特徴量を抽出する２次元データ分布特徴量抽出手段と、
前記抽出された２次元のデータ分布特徴量を用いたデータの解析をおこなうデータ解析手段と、
を備えたことを特徴とするデータ解析装置。
【００７０】
（付記１３）前記データ解析手段により解析された２次元のデータの特徴や規則であるルールの信頼度を表す情報として、前記データ解析手段により得たデータの集合を２分割する際の分割の明確度を表す集合分割評価値を求める評価手段を備えたことを特徴とする付記１２に記載のデータ解析装置。
【００７１】
（付記１４）前記解析対象は、半導体用ウェーハの面上に複数配置される各チップであり該各チップの特性値が前記オリジナルデータとして出力され、
前記帰属領域判定手段は、前記ウェーハの面上を複数の領域に分割し、該分割された複数の領域を任意の２領域のいずれかに含ませて前記帰属領域を判定することを特徴とする付記１３に記載のデータ解析装置。
【００７２】
（付記１５）前記２次元データ分布特徴量抽出手段は、
前記任意の２領域にそれぞれ属する各データの代表値を特徴量とし、該２領域の総合値同士の差分、あるいは比を２次元のデータ分布特徴量とすることを特徴とする付記１４に記載のデータ解析装置。
【００７３】
【発明の効果】
本発明によれば、解析対象の２次元の特徴量抽出の対象の個々のデータがどの分割領域に属しているかを、個々のデータの２次元座標を抽出し、それが各領域分割パターン毎にどの領域に属するかを判定し、連続値として得ることができるため、技術者の経験、ノウハウに依存する割合を減らし２次元の特徴量を容易に定義、抽出でき、抽出された特徴量を用いて２次元の座標上でのデータ分布特徴を容易に抽出でき、データ解析を効率的におこなうことができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかるデータ解析方法の実施に供せられる計算機システムのハードウェア構成の一例を示す図である。
【図２】図１に示す構成の計算機システムにより実現されるデータ解析装置の機能構成の一例を示すブロック図である。
【図３】２次元のデータ分布特徴の抽出手段が抽出する分布特徴の定義を示す図である。
【図４】複数領域を２分割した例を示す図である。
【図５】各領域の分割タイプ毎に得られた特徴量を示す図である。
【図６】実際に回帰木分析を実行する際の入力データの一例を示す図である。
【図７】回帰木分析結果を示す図である。
【図８】本発明にかかるデータ解析方法の概略を示すフローチャートである。
【図９】従来のデータ解析時に用いる表示画面を示す図である。
【図１０】特性試験で合格とされたチップのウェーハ面内分布を示す図である。
【符号の説明】
１ 入力装置
２ 中央処理装置
３ 出力装置
４ 記憶装置
２１ データ分布特徴の抽出手段
２２ 解析対象特徴量の選択手段
２３ データマイニング手段
２４ 特徴、規則性のルールファイル
２５ 統計解析コンポーネント
２６ 図表作成コンポーネント
２７ 解析ツール群
４１ データベース
４２ オリジナルデータ群
Claims (4)
- 解析対象のデータ解析に必要なウェーハ上のチップ歩留まりデータをオリジナルデータの中から抽出するデータ抽出工程と、
前記データ抽出工程により抽出されたウェーハ上のチップ歩留まりデータが解析対象の２次元座標上であらかじめ設定された複数の帰属領域のうちのどの帰属領域に該当するかを判定する帰属領域判定工程と、
前記データ抽出工程によって抽出されたウェーハ上のチップ歩留まりデータを用いて前記帰属領域判定工程によって判定された帰属領域別に２次元のデータ分布特徴量を抽出する２次元データ分布特徴量抽出工程と、
前記２次元データ分布特徴量抽出工程によって抽出された２次元のデータ分布特徴量を用いたデータの解析をおこなうデータ解析工程とを含み、
前記２次元データ分布特徴量抽出工程は、
前記２次元のデータ分布特徴量を、複数の前記帰属領域を２つの領域に２分割し、分割した２つの領域の代表値を用いた所定の算出式に基づき連続値として算出することで前記２次元のデータ分布特徴量を抽出することを特徴とするウェーハ上のチップ歩留まりのデータ解析方法。 - 前記解析対象毎のレコードを設定してファイル化し、各レコードに含まれる複数の前記２次元のデータ分布特徴量が互いに独立して設定されることを特徴とする請求項１に記載のウェーハ上のチップ歩留まりのデータ解析方法。
- 前記データ解析工程は、
前記２次元のデータ分布特徴量を目的変数として、解析すべき２次元のデータの特徴や規則を表すルールをデータマイニングにより抽出することを特徴とする請求項１または２に記載のウェーハ上のチップ歩留まりのデータ解析方法。 - 前記ルールの信頼度を表す情報として、前記データ解析工程により得たデータの集合を２分割する際の分割の明確度を表す集合分割評価値を求める評価工程を含むことを特徴とする請求項３に記載のウェーハ上のチップ歩留まりのデータ解析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002353833A JP4448653B2 (ja) | 2002-12-05 | 2002-12-05 | データ解析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002353833A JP4448653B2 (ja) | 2002-12-05 | 2002-12-05 | データ解析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004186562A JP2004186562A (ja) | 2004-07-02 |
| JP4448653B2 true JP4448653B2 (ja) | 2010-04-14 |
Family
ID=32755025
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002353833A Expired - Fee Related JP4448653B2 (ja) | 2002-12-05 | 2002-12-05 | データ解析方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4448653B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5614297B2 (ja) * | 2011-01-18 | 2014-10-29 | 富士通株式会社 | 指標算出プログラム及び方法並びに設計支援装置 |
-
2002
- 2002-12-05 JP JP2002353833A patent/JP4448653B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004186562A (ja) | 2004-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100414032B1 (ko) | 반도체검사장치, 반도체결함해석장치, 반도체설계데이터수정장치, 반도체검사방법, 반도체결함해석방법, 반도체설계데이터수정방법 및 컴퓨터판독가능한 기록매체 | |
| US6826735B2 (en) | Inspection data analysis program, defect inspection apparatus, defect inspection system and method for semiconductor device | |
| US9418199B2 (en) | Method and apparatus for extracting systematic defects | |
| US6629090B2 (en) | method and device for analyzing data | |
| TWI783400B (zh) | 誤差因子的推定裝置及推定方法 | |
| US8081814B2 (en) | Linear pattern detection method and apparatus | |
| US20020170022A1 (en) | Data analysis apparatus, data analysis method, and computer products | |
| JP2008511140A (ja) | 局所的外れ値の検出のための方法および装置 | |
| US20040044484A1 (en) | Method and apparatus for analyzing defect information | |
| US11321633B2 (en) | Method of classifying defects in a specimen semiconductor examination and system thereof | |
| US9142014B2 (en) | System and method for identifying systematic defects in wafer inspection using hierarchical grouping and filtering | |
| JP5405245B2 (ja) | 画像検査方法及び画像検査装置 | |
| JP2011187836A (ja) | 半導体製造装置の管理方法及び管理システム | |
| CN112612765A (zh) | 一种基于漂移检测的流程变体差异分析方法与系统 | |
| JP4448653B2 (ja) | データ解析方法 | |
| JP2003086689A (ja) | 半導体の不良解析用ｃａｄツール及び半導体の不良解析方法 | |
| JPH10275168A (ja) | 設計支援方法および設計支援システム | |
| JP2008250910A (ja) | データマイニング方法及び工程管理方法 | |
| JP2006210931A (ja) | 半導体設計データ修正方法 | |
| JP2002324206A (ja) | データ解析方法及び装置 | |
| JP4136109B2 (ja) | 電子デバイス検査システム | |
| JP2008117380A (ja) | 診断プロセス支援方法とそのためのプログラム | |
| JP4866520B2 (ja) | データ解析方法、データ解析プログラムおよびデータ解析装置 | |
| JP4276503B2 (ja) | 半導体不良原因絞込み方法 | |
| JP5767836B2 (ja) | 検査システム、検査方法、および検査プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051125 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20080730 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090901 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090903 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091014 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091110 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091214 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100119 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100125 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130129 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130129 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130129 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140129 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |