KR20150061258A - 분산 raid 시스템에서 패리티 청크 운용 방법과 이를 지원하는 데이터 서버 장치 - Google Patents
분산 raid 시스템에서 패리티 청크 운용 방법과 이를 지원하는 데이터 서버 장치 Download PDFInfo
- Publication number
- KR20150061258A KR20150061258A KR1020130145137A KR20130145137A KR20150061258A KR 20150061258 A KR20150061258 A KR 20150061258A KR 1020130145137 A KR1020130145137 A KR 1020130145137A KR 20130145137 A KR20130145137 A KR 20130145137A KR 20150061258 A KR20150061258 A KR 20150061258A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- parity
- chunk
- chunks
- partial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012545 processing Methods 0.000 title description 30
- 238000011084 recovery Methods 0.000 claims abstract description 24
- 239000000872 buffer Substances 0.000 claims description 61
- 238000004891 communication Methods 0.000 claims description 19
- 238000007726 management method Methods 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 7
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/16—Protection against loss of memory contents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2211/00—Indexing scheme relating to details of data-processing equipment not covered by groups G06F3/00 - G06F13/00
- G06F2211/10—Indexing scheme relating to G06F11/10
- G06F2211/1002—Indexing scheme relating to G06F11/1076
- G06F2211/1028—Distributed, i.e. distributed RAID systems with parity
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Detection And Correction Of Errors (AREA)
Abstract
Description
도 2는 본 발명과 관련한 비대칭 클러스터링 파일시스템에서 데이터 및 패리티의 분산 저장 구조를 설명하기 위한 도면.
도 3은 본 발명에서 제안하는 비동기적 패리티 갱신을 수행하는 시스템 운용을 설명하기 위한 도면.
도 4a는 본 발명에서 제안하는 부분 패리티를 활용한 데이터 갱신 처리를 설명하기 위한 도면.
도 4b는 본 발명에서 제안하는 부분 패리티를 활용한 데이터 갱신 처리 흐름도.
도 5는 본 발명에서 제안하는 부분 패리티 청크 파일의 레이아웃 구조.
도 6a는 본 발명에서 제안하는 패리티 및 부분 패리티 청크 파일의 저장 구조.
도 6b는 본 발명에서 제안하는 부분 패리티 전송 요청 처리 흐름도.
도 6c는 본 발명에서 제안하는 부분 패리티 청크 파일의 세그먼트 관리 설명을 위한 도면.
도 7a는 본 발명에서 제안하는 패리티 갱신 처리를 설명하기 위한 도면.
도 7b는 본 발명에서 제안하는 패리티 갱신 처리 흐름도.
도 8c는 본 발명에서 제안하는 시스템에서 Degraded read 처리 흐름도.
도 8b는 본 발명에서 제안하는 시스템에서 Degraded write 처리 흐름도.
도 9는 본 발명에서 제안하는 데이터 관리를 수행하는 데이터 서버 장치 구성도.
도 10은 본 발명에서 제안하는 패리티 운용을 수행하는 데이터 서버 장치 구성도.
110 : 클라이언트
120 : 데이터 서버
Claims (20)
- 파일의 데이터를 청크 단위로 나누고, 오류 복구를 위한 패리티를 산출하여 스트라입을 구성하고, 스트라입에 포함되는 데이터 청크 및 패리티 청크를 다수의 데이터 서버로 분산 저장하는 환경에서,
스트라입을 구성하는 데이터 청크를 수신하는 통신부;
상기 데이터 청크를 저장하는 저장소;
갱신 데이터 청크를 수신하는 경우 이전 저장된 데이터 청크와 상기 갱신 데이터 청크 간의 연산을 수행하여 부분 패리티를 산출하고, 산출된 부분 패리티를 상기 스트라입을 구성하는 패리티 청크를 관리하는 서버 장치에 전송하는 제어부;를 포함하는 것을 특징으로 하는 데이터 서버 장치. - 제1항에 있어서,
상기 제어부는
상기 갱신 데이터 청크 저장을 위한 버퍼;
상기 이전 저장된 데이터 청크 저장을 위한 버퍼; 할당을 제어하는 것을 특징으로 하는 데이터 서버 장치. - 제2항에 있어서,
상기 제어부는
상기 갱신 데이터 청크와 상기 이전 저장된 데이터 청크 간의 XOR 연산 결과 값을 부분 패리티로 산출하는 것을 특징으로 하는 데이터 서버 장치. - 제3항에 있어서,
상기 제어부는
상기 부분 패리티 산출 이후 상기 버퍼 반환을 제어하는 것을 특징으로 하는 데이터 서버 장치. - 제1항에 있어서,
상기 제어부는
상기 데이터 청크 식별자를 상기 부분 패리티의 파일명으로 정의하는 것을 특징으로 하는 데이터 서버 장치. - 파일의 데이터를 청크 단위로 나누고, 오류 복구를 위한 패리티를 산출하여 스트라입을 구성하고, 스트라입에 포함되는 데이터 청크 및 패리티 청크를 다수의 데이터 서버로 분산 저장하는 환경에서,
스트라입을 구성하는 상기 패리티 청크를 수신하는 통신부;
상기 패리티 청크를 저장하는 저장소;
갱신 데이터 청크와 이전 저장된 데이터 청크 간의 연산을 수행하여 산출된 부분 패리티를 수신하여 저장 관리하는 제어부;를 포함하는 것을 특징으로 하는 데이터 서버 장치. - 제6항에 있어서,
상기 제어부는
상기 부분 패리티 수신을 위한 버퍼를 할당하여 부분 패리티를 저장하고 해당 부분 패리티 청크 파일에 대한 접근을 제한시키며, 상기 버퍼에 저장된 부분 패리티를 청크 데이터 영역의 해당 세그먼트 영역에 저장한 후 부분 패리티 청크 파일에 대한 접근 제한을 해제하도록 제어하는 것을 특징으로 하는 데이터 서버 장치. - 제7항에 있어서,
상기 제어부는
상기 할당된 버퍼들을 메모리로 반환하고 상기 부분 패리티 전송 요청에 대한 응답을 반환하도록 제어하는 것을 특징으로 하는 데이터 서버 장치. - 제7항에 있어서,
상기 제어부는
상기 부분 패리티의 상기 세그먼트 영역 저장에서 세그먼트 영역을 확장하거나, 세그먼트를 삽입하거나, 새 세그먼트를 추가하거나, 이전 세그먼트와 병합하여 세그먼트 정보 배열 조정을 수행하는 것을 특징으로 하는 데이터 서버 장치. - 제6항에 있어서,
상기 제어부는
상기 부분 패리티를 이용하여 상기 패리티 청크를 갱신하는 것을 특징으로 하는 데이터 서버 장치. - 제10항에 있어서,
상기 제어부는
클라이언트로부터 데이터 읽기 장애 처리 요청 수신 시 패리티 청크 파일에 대한 접근을 제한하고, 패리티 갱신을 수행한 후 원격으로 수신된 데이터 청크들에 대하여 복구된 데이터를 클라이언트로 전송하고 패리티 청크 파일에 대한 접근 제한을 해제시키는 것을 특징으로 하는 데이터 서버 장치. - 제10항에 있어서,
상기 제어부는
상기 데이터 쓰기 장애 복구 요청 수신 시 상기 패리티 갱신을 수행하고, 갱신된 패리티 청크를 기반으로 이전 데이터를 복구한 후, 이전 데이터 갱신 데이터 및 현재 패리티 데이터 연산을 통해 산출된 신규 패리티를 저장하는 것을 특징으로 하는 데이터 서버 장치. - 파일의 데이터를 청크 단위로 나누고, 오류 복구를 위한 패리티를 산출하여 스트라입을 구성하고, 스트라입에 포함되는 데이터 청크 및 패리티 청크를 다수의 데이터 서버로 분산 저장하는 환경에서,
스트라입 구조의 데이터 청크 및 패리티 청크를 데이터 서버들이 저장하는 저장 과정;
상기 데이터 청크를 저장한 데이터 서버가 갱신 데이터 청크 저장 과정에서 이전 데이터 청크를 상기 생신 데이터 청크를 이용한 부분 패리티를 생성하는 부분 패리티 생성 과정;
상기 부분 패리티를 상기 패리티 청크를 저장하는 데이터 서버에 전송하는 부분 패리티 전송 과정;을 포함하는 것을 특징으로 하는 패리티 청크 운용 방법. - 제13항에 있어서,
상기 부분 패리티 생성 과정은
상기 데이터 청크를 저장하는 데이터 서버가 상기 갱신 데이터 청크 저장을 위한 버퍼 및 상기 이전 저장된 데이터 청크 저장을 위한 버퍼 할당을 수행하는 과정;을 더 포함하는 것을 특징으로 하는 패리티 청크 운용 방법. - 제14항에 있어서,
상기 데이터 청크를 저장하는 데이터 서버가 상기 갱신 데이터 청크와 상기 이전 저장된 데이터 청크 간의 XOR 연산 결과 값을 부분 패리티로 산출하는 과정;
상기 부분 패리티 산출 이후 상기 버퍼를 반환하는 과정;을 더 포함하는 것을 특징으로 하는 패리티 청크 운용 방법. - 제13항에 있어서,
상기 패리티 청크를 저장하는 데이터 서버가 상기 부분 패리티 수신을 위한 버퍼를 할당하여 부분 패리티를 저장하는 과정;
해당 부분 패리티 청크 파일에 대한 접근을 제한하는 과정;
상기 버퍼에 저장된 부분 패리티를 청크 데이터 영역의 해당 세그먼트 영역에 저장하는 과정;
상기 부분 패리티 청크 파일에 대한 접근 제한을 해제하는 과정;
상기 할당된 버퍼들을 메모리로 반환하고 상기 부분 패리티 전송 요청에 대한 응답을 반환하는 과정;을 더 포함하는 것을 특징으로 하는 패리티 청크 운용 방법. - 제16항에 있어서,
상기 부분 패리티의 상기 세그먼트 영역 저장 과정에서 세그먼트 영역을 확장하는 과정, 세그먼트를 삽입하는 과정, 새 세그먼트를 추가하는 과정, 이전 세그먼트와 병합하는 과정 중 적어도 하나를 포함하는 세그먼트 정보 배열 조정 과정;을 더 포함하는 것을 특징으로 하는 패리티 청크 운용 방법. - 제13항에 있어서,
상기 부분 패리티를 이용하여 상기 패리티 청크를 갱신하는 과정;을 더 포함하는 패리티 청크 운용 방법. - 제18항에 있어서,
클라이언트로부터 데이터 읽기 장애 처리 요청을 수신하는 과정;
상기 패리티 청크 파일에 대한 접근을 제한하는 과정;
상기 패리티 갱신을 수행한 후 원격으로 수신된 데이터 청크들에 대하여 데이터를 복구하는 과정;
상기 복구된 데이터를 클라이언트로 전송하고 패리티 청크 파일에 대한 접근 제한을 해제시키는 과정;을 더 포함하는 것을 특징으로 하는 패리티 청크 운용 방법. - 제19항에 있어서,
상기 데이터 쓰기 장애 복구 요청을 수신하는 과정;
상기 패리티 갱신을 수행하는 과정;
상기 갱신된 패리티 청크를 기반으로 이전 데이터를 복구하는 과정;
상기 이전 데이터, 갱신 데이터 및 현재 패리티 데이터들의 연산을 통해 산출된 신규 패리티를 저장하는 과정;을 더 포함하는 것을 특징으로 하는 패리티 청크 운용 방법.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130145137A KR20150061258A (ko) | 2013-11-27 | 2013-11-27 | 분산 raid 시스템에서 패리티 청크 운용 방법과 이를 지원하는 데이터 서버 장치 |
US14/244,388 US9411685B2 (en) | 2013-11-27 | 2014-04-03 | Parity chunk operating method and data server apparatus for supporting the same in distributed raid system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130145137A KR20150061258A (ko) | 2013-11-27 | 2013-11-27 | 분산 raid 시스템에서 패리티 청크 운용 방법과 이를 지원하는 데이터 서버 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20150061258A true KR20150061258A (ko) | 2015-06-04 |
Family
ID=53183733
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130145137A Ceased KR20150061258A (ko) | 2013-11-27 | 2013-11-27 | 분산 raid 시스템에서 패리티 청크 운용 방법과 이를 지원하는 데이터 서버 장치 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9411685B2 (ko) |
KR (1) | KR20150061258A (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020041298A1 (en) * | 2018-08-21 | 2020-02-27 | Micron Technology, Inc. | Tracking error-correction parity calculations |
KR20200109726A (ko) * | 2019-03-14 | 2020-09-23 | 주식회사 티맥스티베로 | 데이터베이스 관리 시스템에서의 로그 레코드 관리를 위한 기법 |
Families Citing this family (135)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8589640B2 (en) | 2011-10-14 | 2013-11-19 | Pure Storage, Inc. | Method for maintaining multiple fingerprint tables in a deduplicating storage system |
US10574754B1 (en) | 2014-06-04 | 2020-02-25 | Pure Storage, Inc. | Multi-chassis array with multi-level load balancing |
US11652884B2 (en) | 2014-06-04 | 2023-05-16 | Pure Storage, Inc. | Customized hash algorithms |
US11068363B1 (en) | 2014-06-04 | 2021-07-20 | Pure Storage, Inc. | Proactively rebuilding data in a storage cluster |
US12137140B2 (en) | 2014-06-04 | 2024-11-05 | Pure Storage, Inc. | Scale out storage platform having active failover |
US9836234B2 (en) | 2014-06-04 | 2017-12-05 | Pure Storage, Inc. | Storage cluster |
US9218244B1 (en) | 2014-06-04 | 2015-12-22 | Pure Storage, Inc. | Rebuilding data across storage nodes |
US9367243B1 (en) | 2014-06-04 | 2016-06-14 | Pure Storage, Inc. | Scalable non-uniform storage sizes |
US9213485B1 (en) | 2014-06-04 | 2015-12-15 | Pure Storage, Inc. | Storage system architecture |
US11960371B2 (en) | 2014-06-04 | 2024-04-16 | Pure Storage, Inc. | Message persistence in a zoned system |
US9003144B1 (en) | 2014-06-04 | 2015-04-07 | Pure Storage, Inc. | Mechanism for persisting messages in a storage system |
US9021297B1 (en) | 2014-07-02 | 2015-04-28 | Pure Storage, Inc. | Redundant, fault-tolerant, distributed remote procedure call cache in a storage system |
US11886308B2 (en) | 2014-07-02 | 2024-01-30 | Pure Storage, Inc. | Dual class of service for unified file and object messaging |
US9836245B2 (en) | 2014-07-02 | 2017-12-05 | Pure Storage, Inc. | Non-volatile RAM and flash memory in a non-volatile solid-state storage |
US11604598B2 (en) | 2014-07-02 | 2023-03-14 | Pure Storage, Inc. | Storage cluster with zoned drives |
US8868825B1 (en) | 2014-07-02 | 2014-10-21 | Pure Storage, Inc. | Nonrepeating identifiers in an address space of a non-volatile solid-state storage |
US9811677B2 (en) | 2014-07-03 | 2017-11-07 | Pure Storage, Inc. | Secure data replication in a storage grid |
US10853311B1 (en) | 2014-07-03 | 2020-12-01 | Pure Storage, Inc. | Administration through files in a storage system |
US12182044B2 (en) | 2014-07-03 | 2024-12-31 | Pure Storage, Inc. | Data storage in a zone drive |
US9747229B1 (en) | 2014-07-03 | 2017-08-29 | Pure Storage, Inc. | Self-describing data format for DMA in a non-volatile solid-state storage |
US12158814B2 (en) | 2014-08-07 | 2024-12-03 | Pure Storage, Inc. | Granular voltage tuning |
US10983859B2 (en) | 2014-08-07 | 2021-04-20 | Pure Storage, Inc. | Adjustable error correction based on memory health in a storage unit |
US9483346B2 (en) | 2014-08-07 | 2016-11-01 | Pure Storage, Inc. | Data rebuild on feedback from a queue in a non-volatile solid-state storage |
US9495255B2 (en) | 2014-08-07 | 2016-11-15 | Pure Storage, Inc. | Error recovery in a storage cluster |
US9082512B1 (en) | 2014-08-07 | 2015-07-14 | Pure Storage, Inc. | Die-level monitoring in a storage cluster |
US10079711B1 (en) | 2014-08-20 | 2018-09-18 | Pure Storage, Inc. | Virtual file server with preserved MAC address |
JP6367704B2 (ja) * | 2014-12-25 | 2018-08-01 | 株式会社バイオス | 記憶制御システム及び記憶制御装置 |
US9940234B2 (en) | 2015-03-26 | 2018-04-10 | Pure Storage, Inc. | Aggressive data deduplication using lazy garbage collection |
US10082985B2 (en) | 2015-03-27 | 2018-09-25 | Pure Storage, Inc. | Data striping across storage nodes that are assigned to multiple logical arrays |
US10178169B2 (en) | 2015-04-09 | 2019-01-08 | Pure Storage, Inc. | Point to point based backend communication layer for storage processing |
US9672125B2 (en) | 2015-04-10 | 2017-06-06 | Pure Storage, Inc. | Ability to partition an array into two or more logical arrays with independently running software |
US9817576B2 (en) | 2015-05-27 | 2017-11-14 | Pure Storage, Inc. | Parallel update to NVRAM |
CN105095013B (zh) * | 2015-06-04 | 2017-11-21 | 华为技术有限公司 | 数据存储方法、恢复方法、相关装置以及系统 |
US10846275B2 (en) | 2015-06-26 | 2020-11-24 | Pure Storage, Inc. | Key management in a storage device |
US10983732B2 (en) | 2015-07-13 | 2021-04-20 | Pure Storage, Inc. | Method and system for accessing a file |
KR20170010273A (ko) * | 2015-07-17 | 2017-01-26 | 에스케이하이닉스 주식회사 | 데이터 저장 장치 및 그것의 동작 방법 |
US10466914B2 (en) * | 2015-08-31 | 2019-11-05 | Pure Storage, Inc. | Verifying authorized access in a dispersed storage network |
US10108355B2 (en) | 2015-09-01 | 2018-10-23 | Pure Storage, Inc. | Erase block state detection |
US11269884B2 (en) | 2015-09-04 | 2022-03-08 | Pure Storage, Inc. | Dynamically resizable structures for approximate membership queries |
US11341136B2 (en) | 2015-09-04 | 2022-05-24 | Pure Storage, Inc. | Dynamically resizable structures for approximate membership queries |
US12271359B2 (en) | 2015-09-30 | 2025-04-08 | Pure Storage, Inc. | Device host operations in a storage system |
US9768953B2 (en) | 2015-09-30 | 2017-09-19 | Pure Storage, Inc. | Resharing of a split secret |
US10853266B2 (en) | 2015-09-30 | 2020-12-01 | Pure Storage, Inc. | Hardware assisted data lookup methods |
US10762069B2 (en) | 2015-09-30 | 2020-09-01 | Pure Storage, Inc. | Mechanism for a system where data and metadata are located closely together |
US9843453B2 (en) | 2015-10-23 | 2017-12-12 | Pure Storage, Inc. | Authorizing I/O commands with I/O tokens |
US10007457B2 (en) | 2015-12-22 | 2018-06-26 | Pure Storage, Inc. | Distributed transactions with token-associated execution |
KR101995056B1 (ko) | 2015-12-30 | 2019-07-02 | 한국전자통신연구원 | 분산 파일 시스템 및 이의 운영방법 |
US10261690B1 (en) | 2016-05-03 | 2019-04-16 | Pure Storage, Inc. | Systems and methods for operating a storage system |
US12235743B2 (en) | 2016-06-03 | 2025-02-25 | Pure Storage, Inc. | Efficient partitioning for storage system resiliency groups |
US10102067B2 (en) | 2016-07-14 | 2018-10-16 | International Business Machines Corporation | Performing a desired manipulation of an encoded data slice based on a metadata restriction and a storage operational condition |
US11861188B2 (en) | 2016-07-19 | 2024-01-02 | Pure Storage, Inc. | System having modular accelerators |
US9672905B1 (en) | 2016-07-22 | 2017-06-06 | Pure Storage, Inc. | Optimize data protection layouts based on distributed flash wear leveling |
US10768819B2 (en) | 2016-07-22 | 2020-09-08 | Pure Storage, Inc. | Hardware support for non-disruptive upgrades |
US11604690B2 (en) | 2016-07-24 | 2023-03-14 | Pure Storage, Inc. | Online failure span determination |
US11797212B2 (en) | 2016-07-26 | 2023-10-24 | Pure Storage, Inc. | Data migration for zoned drives |
US11734169B2 (en) | 2016-07-26 | 2023-08-22 | Pure Storage, Inc. | Optimizing spool and memory space management |
US11886334B2 (en) | 2016-07-26 | 2024-01-30 | Pure Storage, Inc. | Optimizing spool and memory space management |
US10203903B2 (en) | 2016-07-26 | 2019-02-12 | Pure Storage, Inc. | Geometry based, space aware shelf/writegroup evacuation |
US10366004B2 (en) | 2016-07-26 | 2019-07-30 | Pure Storage, Inc. | Storage system with elective garbage collection to reduce flash contention |
US11422719B2 (en) | 2016-09-15 | 2022-08-23 | Pure Storage, Inc. | Distributed file deletion and truncation |
US9747039B1 (en) | 2016-10-04 | 2017-08-29 | Pure Storage, Inc. | Reservations over multiple paths on NVMe over fabrics |
US10545861B2 (en) | 2016-10-04 | 2020-01-28 | Pure Storage, Inc. | Distributed integrated high-speed solid-state non-volatile random-access memory |
US20180095788A1 (en) | 2016-10-04 | 2018-04-05 | Pure Storage, Inc. | Scheduling operations for a storage device |
US10481798B2 (en) | 2016-10-28 | 2019-11-19 | Pure Storage, Inc. | Efficient flash management for multiple controllers |
US10359942B2 (en) | 2016-10-31 | 2019-07-23 | Pure Storage, Inc. | Deduplication aware scalable content placement |
CN106598491A (zh) * | 2016-11-29 | 2017-04-26 | 新华三技术有限公司 | 一种数据处理方法及装置 |
US11550481B2 (en) | 2016-12-19 | 2023-01-10 | Pure Storage, Inc. | Efficiently writing data in a zoned drive storage system |
US11307998B2 (en) | 2017-01-09 | 2022-04-19 | Pure Storage, Inc. | Storage efficiency of encrypted host system data |
US11955187B2 (en) | 2017-01-13 | 2024-04-09 | Pure Storage, Inc. | Refresh of differing capacity NAND |
US9747158B1 (en) | 2017-01-13 | 2017-08-29 | Pure Storage, Inc. | Intelligent refresh of 3D NAND |
CN106991118A (zh) * | 2017-02-17 | 2017-07-28 | 深圳市中博睿存信息技术有限公司 | 基于ceph纠删除容错的读取文件方法及装置 |
US10528488B1 (en) | 2017-03-30 | 2020-01-07 | Pure Storage, Inc. | Efficient name coding |
US11016667B1 (en) | 2017-04-05 | 2021-05-25 | Pure Storage, Inc. | Efficient mapping for LUNs in storage memory with holes in address space |
US10516645B1 (en) | 2017-04-27 | 2019-12-24 | Pure Storage, Inc. | Address resolution broadcasting in a networked device |
US10141050B1 (en) | 2017-04-27 | 2018-11-27 | Pure Storage, Inc. | Page writes for triple level cell flash memory |
US11467913B1 (en) | 2017-06-07 | 2022-10-11 | Pure Storage, Inc. | Snapshots with crash consistency in a storage system |
WO2018226228A1 (en) * | 2017-06-08 | 2018-12-13 | Hitachi Data Systems Corporation | Deduplicating distributed erasure coded objects |
US11782625B2 (en) | 2017-06-11 | 2023-10-10 | Pure Storage, Inc. | Heterogeneity supportive resiliency groups |
US10425473B1 (en) | 2017-07-03 | 2019-09-24 | Pure Storage, Inc. | Stateful connection reset in a storage cluster with a stateless load balancer |
US10402266B1 (en) | 2017-07-31 | 2019-09-03 | Pure Storage, Inc. | Redundant array of independent disks in a direct-mapped flash storage system |
US10831935B2 (en) | 2017-08-31 | 2020-11-10 | Pure Storage, Inc. | Encryption management with host-side data reduction |
US10685010B2 (en) * | 2017-09-11 | 2020-06-16 | Amazon Technologies, Inc. | Shared volumes in distributed RAID over shared multi-queue storage devices |
US10379942B2 (en) * | 2017-09-27 | 2019-08-13 | International Business Machines Corporation | Efficient transfer of objects between containers on the same vault |
US10719260B2 (en) * | 2017-09-29 | 2020-07-21 | Apple Inc. | Techniques for storing and retrieving data from a computing device |
US10789211B1 (en) | 2017-10-04 | 2020-09-29 | Pure Storage, Inc. | Feature-based deduplication |
US12067274B2 (en) | 2018-09-06 | 2024-08-20 | Pure Storage, Inc. | Writing segments and erase blocks based on ordering |
US11354058B2 (en) | 2018-09-06 | 2022-06-07 | Pure Storage, Inc. | Local relocation of data stored at a storage device of a storage system |
US10545687B1 (en) | 2017-10-31 | 2020-01-28 | Pure Storage, Inc. | Data rebuild when changing erase block sizes during drive replacement |
US11024390B1 (en) | 2017-10-31 | 2021-06-01 | Pure Storage, Inc. | Overlapping RAID groups |
US10496330B1 (en) | 2017-10-31 | 2019-12-03 | Pure Storage, Inc. | Using flash storage devices with different sized erase blocks |
US10860475B1 (en) | 2017-11-17 | 2020-12-08 | Pure Storage, Inc. | Hybrid flash translation layer |
US10990566B1 (en) | 2017-11-20 | 2021-04-27 | Pure Storage, Inc. | Persistent file locks in a storage system |
US10929226B1 (en) | 2017-11-21 | 2021-02-23 | Pure Storage, Inc. | Providing for increased flexibility for large scale parity |
US10976948B1 (en) | 2018-01-31 | 2021-04-13 | Pure Storage, Inc. | Cluster expansion mechanism |
US10467527B1 (en) | 2018-01-31 | 2019-11-05 | Pure Storage, Inc. | Method and apparatus for artificial intelligence acceleration |
US11036596B1 (en) | 2018-02-18 | 2021-06-15 | Pure Storage, Inc. | System for delaying acknowledgements on open NAND locations until durability has been confirmed |
US12079494B2 (en) | 2018-04-27 | 2024-09-03 | Pure Storage, Inc. | Optimizing storage system upgrades to preserve resources |
US11385792B2 (en) | 2018-04-27 | 2022-07-12 | Pure Storage, Inc. | High availability controller pair transitioning |
CN108763589B (zh) * | 2018-06-20 | 2021-12-07 | 程慧泉 | 一种分布式文件系统的目录系统及其实现方法 |
CN108958660B (zh) * | 2018-07-02 | 2021-03-19 | 深圳市茁壮网络股份有限公司 | 分布式存储系统及其数据处理方法和装置 |
US11500570B2 (en) | 2018-09-06 | 2022-11-15 | Pure Storage, Inc. | Efficient relocation of data utilizing different programming modes |
US11868309B2 (en) | 2018-09-06 | 2024-01-09 | Pure Storage, Inc. | Queue management for data relocation |
US12050580B2 (en) * | 2018-10-15 | 2024-07-30 | Ocient Inc. | Data segment storing in a database system |
US10976947B2 (en) | 2018-10-26 | 2021-04-13 | Pure Storage, Inc. | Dynamically selecting segment heights in a heterogeneous RAID group |
US11194473B1 (en) | 2019-01-23 | 2021-12-07 | Pure Storage, Inc. | Programming frequently read data to low latency portions of a solid-state storage array |
US11099986B2 (en) | 2019-04-12 | 2021-08-24 | Pure Storage, Inc. | Efficient transfer of memory contents |
US12001355B1 (en) | 2019-05-24 | 2024-06-04 | Pure Storage, Inc. | Chunked memory efficient storage data transfers |
US11487665B2 (en) | 2019-06-05 | 2022-11-01 | Pure Storage, Inc. | Tiered caching of data in a storage system |
US11281394B2 (en) | 2019-06-24 | 2022-03-22 | Pure Storage, Inc. | Replication across partitioning schemes in a distributed storage system |
CN110502365B (zh) * | 2019-07-11 | 2024-03-01 | 平安科技(深圳)有限公司 | 数据存储及恢复的方法、装置及计算机设备 |
CN110442535B (zh) * | 2019-07-19 | 2021-06-11 | 华中科技大学 | 提高分布式固态盘键值缓存系统可靠性的方法及系统 |
WO2021046693A1 (zh) | 2019-09-09 | 2021-03-18 | 华为技术有限公司 | 存储系统中数据处理方法、装置以及存储系统 |
US10998919B2 (en) * | 2019-10-02 | 2021-05-04 | Microsoft Technology Licensing, Llc | Coded stream processing |
US11893126B2 (en) | 2019-10-14 | 2024-02-06 | Pure Storage, Inc. | Data deletion for a multi-tenant environment |
US11157179B2 (en) | 2019-12-03 | 2021-10-26 | Pure Storage, Inc. | Dynamic allocation of blocks of a storage device based on power loss protection |
US11847331B2 (en) | 2019-12-12 | 2023-12-19 | Pure Storage, Inc. | Budgeting open blocks of a storage unit based on power loss prevention |
US11704192B2 (en) | 2019-12-12 | 2023-07-18 | Pure Storage, Inc. | Budgeting open blocks based on power loss protection |
US11416144B2 (en) | 2019-12-12 | 2022-08-16 | Pure Storage, Inc. | Dynamic use of segment or zone power loss protection in a flash device |
US11188432B2 (en) | 2020-02-28 | 2021-11-30 | Pure Storage, Inc. | Data resiliency by partially deallocating data blocks of a storage device |
US11573711B2 (en) * | 2020-03-23 | 2023-02-07 | Vmware, Inc. | Enhanced data encryption in distributed datastores using random tweaks stored in data blocks |
US11474986B2 (en) | 2020-04-24 | 2022-10-18 | Pure Storage, Inc. | Utilizing machine learning to streamline telemetry processing of storage media |
US12056365B2 (en) | 2020-04-24 | 2024-08-06 | Pure Storage, Inc. | Resiliency for a storage system |
US11487455B2 (en) | 2020-12-17 | 2022-11-01 | Pure Storage, Inc. | Dynamic block allocation to optimize storage system performance |
US12093545B2 (en) | 2020-12-31 | 2024-09-17 | Pure Storage, Inc. | Storage system with selectable write modes |
US12229437B2 (en) | 2020-12-31 | 2025-02-18 | Pure Storage, Inc. | Dynamic buffer for storage system |
US11847324B2 (en) | 2020-12-31 | 2023-12-19 | Pure Storage, Inc. | Optimizing resiliency groups for data regions of a storage system |
US12067282B2 (en) | 2020-12-31 | 2024-08-20 | Pure Storage, Inc. | Write path selection |
US11614880B2 (en) | 2020-12-31 | 2023-03-28 | Pure Storage, Inc. | Storage system with selectable write paths |
US12061814B2 (en) | 2021-01-25 | 2024-08-13 | Pure Storage, Inc. | Using data similarity to select segments for garbage collection |
JP2022143899A (ja) * | 2021-03-18 | 2022-10-03 | 株式会社東芝 | 磁気ディスク装置 |
US11507597B2 (en) | 2021-03-31 | 2022-11-22 | Pure Storage, Inc. | Data replication to meet a recovery point objective |
CN113626250B (zh) * | 2021-07-08 | 2024-06-28 | 华中科技大学 | 一种基于纠删码的条带合并方法及系统 |
US11782778B2 (en) | 2021-07-28 | 2023-10-10 | Alibaba Singapore Holding Private Limited | Data recovery bypassing protocol for cloud network storage system |
US20240406248A1 (en) * | 2023-05-31 | 2024-12-05 | Microsoft Technology Licensing, Llc | UDP File Serialization In One-Way Transfer Systems |
US12204788B1 (en) | 2023-07-21 | 2025-01-21 | Pure Storage, Inc. | Dynamic plane selection in data storage system |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3661205B2 (ja) * | 1994-09-09 | 2005-06-15 | 株式会社日立製作所 | ディスクアレイシステムおよびディスクアレイシステムのパリティデータの生成方法 |
US5574882A (en) * | 1995-03-03 | 1996-11-12 | International Business Machines Corporation | System and method for identifying inconsistent parity in an array of storage |
US6446237B1 (en) * | 1998-08-04 | 2002-09-03 | International Business Machines Corporation | Updating and reading data and parity blocks in a shared disk system |
US7779294B2 (en) * | 2005-04-15 | 2010-08-17 | Intel Corporation | Power-safe disk storage apparatus, systems, and methods |
US7831768B2 (en) * | 2006-11-03 | 2010-11-09 | Hewlett-Packard Development Company, L.P. | Method and apparatus for writing data to a disk array |
KR100922584B1 (ko) | 2006-12-01 | 2009-10-21 | 한국전자통신연구원 | 객체 기반 분산 공유 시스템 및 그의 방법 |
US8583866B2 (en) * | 2010-02-22 | 2013-11-12 | International Business Machines Corporation | Full-stripe-write protocol for maintaining parity coherency in a write-back distributed redundancy data storage system |
US8103903B2 (en) * | 2010-02-22 | 2012-01-24 | International Business Machines Corporation | Read-modify-write protocol for maintaining parity coherency in a write-back distributed redundancy data storage system |
KR101694984B1 (ko) | 2010-12-08 | 2017-01-11 | 한국전자통신연구원 | 비대칭 클러스터링 파일시스템에서의 패리티 산출 방법 |
-
2013
- 2013-11-27 KR KR1020130145137A patent/KR20150061258A/ko not_active Ceased
-
2014
- 2014-04-03 US US14/244,388 patent/US9411685B2/en not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020041298A1 (en) * | 2018-08-21 | 2020-02-27 | Micron Technology, Inc. | Tracking error-correction parity calculations |
US10754726B2 (en) | 2018-08-21 | 2020-08-25 | Micron Technology, Inc. | Tracking error-correction parity calculations |
KR20200109726A (ko) * | 2019-03-14 | 2020-09-23 | 주식회사 티맥스티베로 | 데이터베이스 관리 시스템에서의 로그 레코드 관리를 위한 기법 |
US11210281B2 (en) | 2019-03-14 | 2021-12-28 | TmaxData Co., Ltd. | Technique for log records management in database management system |
Also Published As
Publication number | Publication date |
---|---|
US20150149819A1 (en) | 2015-05-28 |
US9411685B2 (en) | 2016-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20150061258A (ko) | 분산 raid 시스템에서 패리티 청크 운용 방법과 이를 지원하는 데이터 서버 장치 | |
KR101694984B1 (ko) | 비대칭 클러스터링 파일시스템에서의 패리티 산출 방법 | |
JP6347802B2 (ja) | データ記憶方法、データ回復方法、関係する装置及びシステム | |
US9830221B2 (en) | Restoration of erasure-coded data via data shuttle in distributed storage system | |
US9690657B2 (en) | Writing data across storage devices in an erasure-coded system | |
US9811405B2 (en) | Cache for file-based dispersed storage | |
US9229950B2 (en) | Method and device for processing files of distributed file system | |
CN110651246B (zh) | 一种数据读写方法、装置和存储服务器 | |
WO2010064328A1 (en) | Information processing system and method of acquiring backup in an information processing system | |
CN107885612A (zh) | 数据处理方法和系统及装置 | |
GB2534956A (en) | Storage system and storage control method | |
WO2023082556A1 (zh) | 一种面向内存键值纠删码的混合数据更新方法及存储系统 | |
US10067831B2 (en) | Slice migration in a dispersed storage network | |
CN110383251A (zh) | 存储系统、计算机可读记录介质、系统的控制方法 | |
US10394484B2 (en) | Storage system | |
CN109597903A (zh) | 图像文件处理装置和方法、文件存储系统及存储介质 | |
US9891992B2 (en) | Information processing apparatus, information processing method, storage system and non-transitory computer readable storage media | |
US8832395B1 (en) | Storage system, and method of storage control for storage system | |
CN107766170B (zh) | 单一存储池的差量日志式纠删码更新方法 | |
CN112783698A (zh) | 一种存储系统中的元数据的管理方法及装置 | |
JP2021086289A (ja) | 分散ストレージシステムおよび分散ストレージシステムのパリティ更新方法 | |
JP6942748B2 (ja) | 分散ストレージシステム、データ管理方法、及びデータ管理プログラム | |
JP2002288014A (ja) | ファイル管理システム及びファイルデータ書込方法 | |
JP6318902B2 (ja) | 冗長システムおよび冗長化方法 | |
CN108366217B (zh) | 监控视频采集存储方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20131127 |
|
PG1501 | Laying open of application | ||
PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20180411 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 20131127 Comment text: Patent Application |
|
E902 | Notification of reason for refusal | ||
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20190828 Patent event code: PE09021S01D |
|
E601 | Decision to refuse application | ||
PE0601 | Decision on rejection of patent |
Patent event date: 20191112 Comment text: Decision to Refuse Application Patent event code: PE06012S01D Patent event date: 20190828 Comment text: Notification of reason for refusal Patent event code: PE06011S01I |