JPWO2018173300A1 - I/o制御方法およびi/o制御システム - Google Patents
I/o制御方法およびi/o制御システム Download PDFInfo
- Publication number
- JPWO2018173300A1 JPWO2018173300A1 JP2019506925A JP2019506925A JPWO2018173300A1 JP WO2018173300 A1 JPWO2018173300 A1 JP WO2018173300A1 JP 2019506925 A JP2019506925 A JP 2019506925A JP 2019506925 A JP2019506925 A JP 2019506925A JP WO2018173300 A1 JPWO2018173300 A1 JP WO2018173300A1
- Authority
- JP
- Japan
- Prior art keywords
- data
- virtual computer
- request
- access method
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 129
- 238000012545 processing Methods 0.000 claims abstract description 162
- 238000004458 analytical method Methods 0.000 claims abstract description 51
- 230000007246 mechanism Effects 0.000 claims abstract description 11
- 238000007726 management method Methods 0.000 description 46
- 238000010586 diagram Methods 0.000 description 19
- 230000015654 memory Effects 0.000 description 18
- 238000013523 data management Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000012634 fragment Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/14—Handling requests for interconnection or transfer
- G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/382—Information transfer, e.g. on bus using universal interface adapter
- G06F13/385—Information transfer, e.g. on bus using universal interface adapter for adaptation of a particular data processing system to different peripheral devices
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
- H03M13/03—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words
- H03M13/05—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits
- H03M13/13—Linear codes
- H03M13/15—Cyclic codes, i.e. cyclic shifts of codewords produce other codewords, e.g. codes defined by a generator polynomial, Bose-Chaudhuri-Hocquenghem [BCH] codes
- H03M13/151—Cyclic codes, i.e. cyclic shifts of codewords produce other codewords, e.g. codes defined by a generator polynomial, Bose-Chaudhuri-Hocquenghem [BCH] codes using error location or error correction polynomials
- H03M13/154—Error and erasure correction, e.g. by using the error and erasure locator or Forney polynomial
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
- H03M13/37—Decoding methods or techniques, not specific to the particular type of coding provided for in groups H03M13/03 - H03M13/35
- H03M13/373—Decoding methods or techniques, not specific to the particular type of coding provided for in groups H03M13/03 - H03M13/35 with erasure correction and erasure determination, e.g. for packet loss recovery or setting of erasures for the decoding of Reed-Solomon codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45579—I/O management, e.g. providing access to device drivers or storage
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F2213/38—Universal adapter
- G06F2213/3808—Network interface controller
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Pure & Applied Mathematics (AREA)
- Hardware Redundancy (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】I/O処理を実行するI/Oデバイスを有する計算機で稼働する仮想計算機のI/O要求に係る制御を行うI/O制御方法であって、I/O分析部が、前記仮想計算機のI/O要求と、データ冗長化処理の実行可否を識別可能な設定情報とに基づいて、前記I/O要求についてのデータ冗長化処理の実行可否を判定する第1のステップと、コントローラ部が、前記第1のステップの判定結果に基づいてデータ冗長化処理を実行するデータ冗長化機構に前記I/O要求に係るI/Oコマンドを送信する第2のステップとを設けるようにした。
Description
図1において、1は全体として第1の実施の形態によるI/O制御システムを示す。このI/O制御システム1では、サーバ機能とストレージ機能とが統合された仮想化基盤(HCI:Hyper Converged Infrastructure)である物理ノード100(本例では、物理ノード100−1〜物理ノード100−n)と管理サーバ112とがネットワーク111を介して接続される。なお、物理ノード100−1〜100−nは、同じ構成を有するので、以下では、物理ノード100−1を例に挙げて説明し、その他の物理ノード100−2〜100−nについては、その説明を省略する。
本実施の形態では、仮想サーバ105のWrite要求時、データアクセス方式に基づいてEC処理の実行可否を判定し、EC処理を実行しない場合、Write対象のデータを中間データとして中間データ領域900に格納する点が第1の実施の形態と異なるので、その点について主に説明する。
本実施の形態では、Write要求時、データパスに基づいてEC処理の実行可否を判定し、EC処理を実行しない場合、Write対象のデータを中間データとして中間データ領域900に格納する点が第1の実施の形態と異なるので、その点について主に説明する。
本実施の形態では、Write要求時、仮想サーバ105のデータアクセス方式および仮想サーバ105が使用するデータパスに基づいてEC処理の実行可否を判定し、EC処理を実行しない場合、Write対象のデータを中間データとして中間データ領域900に格納する点が第1の実施の形態と異なるので、その点について主に説明する。
本実施の形態では、上述した実施の形態のEC利用管理テーブル204の情報を、管理画面を介して設定する点について説明する。
なお上述の第1〜第5の実施の形態においては、本発明をI/O制御システム1に適用するようにした場合について述べたが、本発明はこれに限らず、この他種々のI/O制御システムに広く適用することができる。
Claims (12)
- I/O処理を実行するI/Oデバイスを有する計算機で稼働する仮想計算機のI/O要求に係る制御を行うI/O制御方法であって、
I/O分析部が、前記仮想計算機のI/O要求と、データ冗長化処理の実行可否を識別可能な設定情報とに基づいて、前記I/O要求についてのデータ冗長化処理の実行可否を判定する第1のステップと、
コントローラ部が、前記第1のステップの判定結果に基づいてデータ冗長化処理を実行するデータ冗長化機構に前記I/O要求に係るI/Oコマンドを送信する第2のステップと、
を備えることを特徴とするI/O制御方法。 - 前記設定情報は、データ冗長化処理の実行可否と前記仮想計算機のデータアクセス方式とが対応付けられた情報であり、
前記I/O分析部は、前記仮想計算機のI/O要求と、前記設定情報と、前記仮想計算機のデータアクセス方式と、に基づいて、前記仮想計算機のI/O要求についてのデータ冗長化処理の実行可否を判定する、
ことを特徴とする請求項1に記載のI/O制御方法。 - 前記設定情報は、データ冗長化処理の実行可否と前記仮想計算機が使用するデータパスとが対応付けられた情報であり、
前記I/O分析部は、前記仮想計算機のI/O要求と、前記設定情報と、前記仮想計算機が使用するデータパスとに基づいて、前記仮想計算機のI/O要求についてのデータ冗長化処理の実行可否を判定する、
ことを特徴とする請求項1に記載のI/O制御方法。 - 前記設定情報は、データ冗長化処理の実行可否と前記仮想計算機のデータアクセス方式と前記仮想計算機が使用するデータパスとが対応付けられた情報であり、
前記I/O分析部は、前記仮想計算機のI/O要求と、前記設定情報と、前記仮想計算機のデータアクセス方式と、前記仮想計算機が使用するデータパスと、に基づいて、前記仮想計算機のI/O要求についてのデータ冗長化処理の実行可否を判定する、
ことを特徴とする請求項1に記載のI/O制御方法。 - 管理装置が、前記設定情報を入力する第3のステップと、
前記管理装置が、前記設定情報を前記計算機に送信する第4のステップと、
を更に備えることを特徴とする請求項1に記載のI/O制御方法。 - 前記I/Oデバイスは、SR−IOV(Single Root I/O Virtualization)対応の物理NIC(Network Interface Card)であり、
前記データ冗長化機構は、EC(Erasure Coding)であり、
前記設定情報は、前記ECによるデータ冗長化処理の実行可否と前記仮想計算機のデータアクセス方式と前記仮想計算機が使用するデータパスとが対応付けられた情報であり、
I/Oポーリング部が、前記仮想計算機のI/O要求を取得し、
前記I/O分析部は、前記I/Oポーリング部で取得されたI/O要求がRead要求であるかWrite要求であるかを判定し、前記I/O要求がWrite要求であると判定した場合、前記仮想計算機のデータアクセス方式が前記ECによるデータ冗長化処理の実行に対応付けられたデータアクセス方式であるか否かを判定し、前記仮想計算機のデータアクセス方式が前記ECによるデータ冗長化処理の実行に対応付けられたデータアクセス方式であると判定したとき、前記仮想計算機が使用するデータパスが前記ECによるデータ冗長化処理の実行に対応付けられていないデータパスであるか否かを判定し、前記仮想計算機のデータアクセス方式が前記ECによるデータ冗長化処理の実行に対応付けられたデータアクセス方式でないと判定したとき、前記仮想計算機が使用するデータパスが前記ECによるデータ冗長化処理の実行に対応付けられたデータパスであるか否かを判定し、
前記コントローラ部は、前記I/O分析部によりWrite要求であると判定され、かつ、
前記仮想計算機のデータアクセス方式が前記ECによるデータ冗長化処理の実行に対応付けられたデータアクセス方式であると判定され、前記仮想計算機が使用するデータパスが前記ECによるデータ冗長化処理の実行に対応付けられていないデータパスでないと判定された場合、または、前記仮想計算機のデータアクセス方式が前記ECによるデータ冗長化処理の実行に対応付けられたデータアクセス方式でないと判定され、前記仮想計算機のデータパスが前記ECによるデータ冗長化処理の実行に対応付けられたデータパスであると判定された場合、前記ECにWriteコマンドを送信すると共に、前記I/Oデバイスに、前記Write要求に係るWriteコマンドを記憶デバイスに送信させ、
前記仮想計算機のデータアクセス方式が前記ECによるデータ冗長化処理の実行に対応付けられたデータアクセス方式でないと判定され、前記仮想計算機のデータパスが前記ECによるデータ冗長化処理の実行に対応付けられたデータパスでないと判定された場合、前記記憶デバイスとは異なる記憶デバイスにWriteコマンドを送信する、
ことを特徴とする請求項1に記載のI/O制御方法。 - I/O処理を実行するI/Oデバイスを有する計算機で稼働する仮想計算機のI/O要求に係る制御を行うI/O制御システムであって、
前記仮想計算機のI/O要求と、データ冗長化処理の実行可否を識別可能な設定情報とに基づいて、前記I/O要求についてのデータ冗長化処理の実行可否を判定するI/O分析部と、
前記I/O分析部の判定結果に基づいてデータ冗長化処理を実行するデータ冗長化機構に前記I/O要求に係るI/Oコマンドを送信するコントローラ部と、
を備えることを特徴とするI/O制御システム。 - 前記設定情報は、データ冗長化処理の実行可否と前記仮想計算機のデータアクセス方式とが対応付けられた情報であり、
前記I/O分析部は、前記仮想計算機のI/O要求と、前記設定情報と、前記仮想計算機のデータアクセス方式と、に基づいて、前記仮想計算機のI/O要求についてのデータ冗長化処理の実行可否を判定する、
ことを特徴とする請求項7に記載のI/O制御システム。 - 前記設定情報は、データ冗長化処理の実行可否と前記仮想計算機が使用するデータパスとが対応付けられた情報であり、
前記I/O分析部は、前記仮想計算機のI/O要求と、前記設定情報と、前記仮想計算機が使用するデータパスと、に基づいて、前記仮想計算機のI/O要求についてのデータ冗長化処理の実行可否を判定する、
ことを特徴とする請求項7に記載のI/O制御システム。 - 前記設定情報は、データ冗長化処理の実行可否と前記仮想計算機のデータアクセス方式と前記仮想計算機が使用するデータパスとが対応付けられた情報であり、
前記I/O分析部は、前記仮想計算機のI/O要求と、前記設定情報と、前記仮想計算機のデータアクセス方式と、前記仮想計算機が使用するデータパスと、に基づいて、前記仮想計算機のI/O要求についてのデータ冗長化処理の実行可否を判定する、
ことを特徴とする請求項7に記載のI/O制御システム。 - 前記設定情報を入力する管理装置を更に備え、
前記管理装置は、前記設定情報を前記計算機に送信する、
ことを特徴とする請求項7に記載のI/O制御システム。 - 前記I/Oデバイスは、SR−IOV(Single Root I/O Virtualization)対応の物理NIC(Network Interface Card)であり、
前記データ冗長化機構は、EC(Erasure Coding)であり、
前記設定情報は、前記ECによるデータ冗長化処理の実行可否と前記仮想計算機のデータアクセス方式と前記仮想計算機が使用するデータパスとが対応付けられた情報であり、
前記仮想計算機のI/O要求を取得するI/Oポーリング部を更に備え、
前記I/O分析部は、前記I/Oポーリング部で取得されたI/O要求がRead要求であるかWrite要求であるかを判定し、前記I/O要求がWrite要求であると判定した場合、前記仮想計算機のデータアクセス方式が前記ECによるデータ冗長化処理の実行に対応付けられたデータアクセス方式であるか否かを判定し、前記仮想計算機のデータアクセス方式が前記ECによるデータ冗長化処理の実行に対応付けられたデータアクセス方式であると判定したとき、前記仮想計算機が使用するデータパスが前記ECによるデータ冗長化処理の実行に対応付けられていないデータパスであるか否かを判定し、前記仮想計算機のデータアクセス方式が前記ECによるデータ冗長化処理の実行に対応付けられたデータアクセス方式でないと判定したとき、前記仮想計算機が使用するデータパスが前記ECによるデータ冗長化処理の実行に対応付けられたデータパスであるか否かを判定し、
前記コントローラ部は、前記I/O分析部によりWrite要求であると判定され、かつ、
前記仮想計算機のデータアクセス方式が前記ECによるデータ冗長化処理の実行に対応付けられたデータアクセス方式であると判定され、前記仮想計算機が使用するデータパスが前記ECによるデータ冗長化処理の実行に対応付けられていないデータパスでないと判定された場合、または、前記仮想計算機のデータアクセス方式が前記ECによるデータ冗長化処理の実行に対応付けられたデータアクセス方式でないと判定され、前記仮想計算機のデータパスが前記ECによるデータ冗長化処理の実行に対応付けられたデータパスであると判定された場合、前記ECにWriteコマンドを送信すると共に、前記I/Oデバイスに、前記Write要求に係るWriteコマンドを記憶デバイスに送信させ、
前記仮想計算機のデータアクセス方式が前記ECによるデータ冗長化処理の実行に対応付けられたデータアクセス方式でないと判定され、前記仮想計算機のデータパスが前記ECによるデータ冗長化処理の実行に対応付けられたデータパスでないと判定された場合、前記記憶デバイスとは異なる記憶デバイスにWriteコマンドを送信する、
ことを特徴とする請求項7に記載のI/O制御システム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/012194 WO2018173300A1 (ja) | 2017-03-24 | 2017-03-24 | I/o制御方法およびi/o制御システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018173300A1 true JPWO2018173300A1 (ja) | 2019-06-27 |
JP6653786B2 JP6653786B2 (ja) | 2020-02-26 |
Family
ID=63585196
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019506925A Active JP6653786B2 (ja) | 2017-03-24 | 2017-03-24 | I/o制御方法およびi/o制御システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10628349B2 (ja) |
JP (1) | JP6653786B2 (ja) |
WO (1) | WO2018173300A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210101693A (ko) * | 2020-02-10 | 2021-08-19 | 삼성전자주식회사 | 스토리지를 포함하는 전자 장치 및 이를 이용한 스토리지로 파일 시스템의 디스카드 커맨드 전달 방법 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8458287B2 (en) * | 2009-07-31 | 2013-06-04 | Microsoft Corporation | Erasure coded storage aggregation in data centers |
US8775774B2 (en) * | 2011-08-26 | 2014-07-08 | Vmware, Inc. | Management system and methods for object storage system |
WO2016051512A1 (ja) | 2014-09-30 | 2016-04-07 | 株式会社日立製作所 | 分散型ストレージシステム |
US9792231B1 (en) * | 2014-12-15 | 2017-10-17 | Amazon Technologies, Inc. | Computer system for managing I/O metric information by identifying one or more outliers and comparing set of aggregated I/O metrics |
JP2017010102A (ja) * | 2015-06-17 | 2017-01-12 | 株式会社日立製作所 | 二重系システム |
-
2017
- 2017-03-24 WO PCT/JP2017/012194 patent/WO2018173300A1/ja active Application Filing
- 2017-03-24 US US16/333,756 patent/US10628349B2/en active Active
- 2017-03-24 JP JP2019506925A patent/JP6653786B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
WO2018173300A1 (ja) | 2018-09-27 |
JP6653786B2 (ja) | 2020-02-26 |
US10628349B2 (en) | 2020-04-21 |
US20190361824A1 (en) | 2019-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10362101B2 (en) | Mechanism for providing load balancing to an external node utilizing a clustered environment for storage management | |
US20200278880A1 (en) | Method, apparatus, and system for accessing storage device | |
US8560686B2 (en) | Communicating with an in-band management application through an out-of-band communications channel | |
US11734137B2 (en) | System, and control method and program for input/output requests for storage systems | |
US20180032249A1 (en) | Hardware to make remote storage access appear as local in a virtualized environment | |
KR20200017363A (ko) | 호스트 스토리지 서비스들을 제공하기 위한 NVMe 프로토콜에 근거하는 하나 이상의 호스트들과 솔리드 스테이트 드라이브(SSD)들 간의 관리되는 스위칭 | |
US10423332B2 (en) | Fibre channel storage array having standby controller with ALUA standby mode for forwarding SCSI commands | |
US20220001279A1 (en) | High-Speed Save Data Storage for Cloud Gaming | |
JP2011154697A (ja) | Raidと関連するアプリケーションの実行のための方法およびシステム | |
US20150237140A1 (en) | Data storage systems and methods | |
JP7100941B2 (ja) | アプリケーションによって制御された早期書込み確認応答をサポートするメモリ・アクセス・ブローカ・システム | |
US11635970B2 (en) | Integrated network boot operating system installation leveraging hyperconverged storage | |
US8140810B2 (en) | Storage management command control in virtualized environment | |
KR102001641B1 (ko) | 가상화 환경에서의 gpu 자원 관리 방법 및 장치 | |
JP6653786B2 (ja) | I/o制御方法およびi/o制御システム | |
US8549349B2 (en) | Storage controller and storage control method | |
CN104836833A (zh) | 用于提供数据服务的san装置上的存储代理方法 | |
US9674105B2 (en) | Applying a platform code level update to an operational node | |
US20220317910A1 (en) | Array-based copy mechanism for migration, replication, and backup | |
US20230359533A1 (en) | User Triggered Virtual Machine Cloning for Recovery/Availability/Scaling | |
US20250086129A1 (en) | Method and system for extending sdxi to include ip addresses | |
US10740130B1 (en) | Administrative system for rendering a user interface within a virtual machine to allow a user to administer the virtual machine and group of underlying hardware of a hypervisor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191001 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200128 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6653786 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |