System
Amazon Web Services
AWS docs
AWS Storage

AWS Storage

AWS Storage

S3 ( Simple Storage Service )

S3

  • 웹 서비스 인터페이스( HTTP ) 를 이용하여 웹에서 언제 어디서나 원하는 양의 데이터를 저장하고 검색할 수 있는 스토리지
  • 버킷( Bucket )과 객체 ( Object )로 나뉘며, 저장하고자 하는 모든 요소는 하나의 객체로 저장되고, 객체를 담는 곳이 버킷
  • S3 자체는 글로벌 서비스이지만 버킷을 생성 할 때에는 리전을 선택해야 함
  • 객체는 객체 데이터와 메타 데이터로 나뉘며, 각자의 고유한 URL을 가지며 해당 URL로 접속 가능

버킷( Bucket )의 정의와 특징

  • 객체를 담고 있는 구성 요소
  • 크기는 무제한, 리전을 지정하여 버킷을 생성해야 함
  • 버킷의 이름은 반드시 고유해야하며, 증복이 불가능
  • 한번 설정된 버킷의 이름은 다른 계정에서 사용불가

객체( Object ) 의 정의와 특징

  • S3에 업로드되는 1개의 데이터를 객체라 함
  • 키, 버전 ID, 값, 메타데이터 등으로 구성
  • 객체 하나의 최소 크기는 1(0) byte ~ 5TB
  • 스토리지 클래스, 암호화, 태그, 메타데이터, 객체 잠금 설정 가능
  • 객체의 크기가 매우 클 경우 멀티파트 업로드를 통해 신속하게 업로드 가능

객체의 스토리지 클래스

  • 객체의 접근빈도 및 저장기안에 따라 결정되는 객체의 특성
  • Standard Type : 클래스를 선택하지 않을 경우 선택되는 일반적인 클래스
  • Strandard_IA(Ifrequent Access ) : 자주 엑세스하지는 않지만 즉시 액세스할 수 있는 데이터여야하는 경우 선택되는 클래스
  • One Zone_iA : Standard_IA와 기능은 동일하나 Standard_IA의 경우 세 곳의 AZ에 저장되는 것과 달리 한 군데의 AZ에만 저장되어 해당 AZ가 파괴될 경우 정보 손실 가능성 존재 ( 저장 요금이 적음 )
  • Intelligent tiering : 엑세스 빈도가 불규칙하여 빈도를 가늠하기 어려운 경우 선택되는 클래스
  • Glancier : 검색이 아닌 저장이 주용도인 스토리지로 저장요금이 위 클래스들보다 훨씬 저렴한, 다만 저장이 주용도이기 때문에 검색이 3~ 5시간이 소요
  • Glacier Deep Archive : 10년 이상 저장할 데이터를 저장하는 스토리지 클래스

S3 사용

S3 생성

AWS

1. S3를 선택합니다.

S3

2. S3 사용을 위해 버킷을 생성합니다.

S3 S3 S3

버킷 생성이 주의사항

  • 버킷 이름에 대문자사용이 불가능
  • 버킷 이름에 특수문자 사용 불가능
  • 버킷 이름이 중첩될 수 없음
  • 퍼블릭 엑세스 차단을 위한 버킷설정
    • S3 사용자의 설정에 따라 엑세스를 차단& 허용 설정이 가능

3. Bucket의 생성되었습니다.

S3

4. 버킷을 선택하면 버킷을 사용할 수 있습니다.

S3

5. 버킷의 파일을 사용자의 옵션에 맞춰 업로드합니다.

S3 S3 S3 S3

6. 업로드가 완료되었습니다.

S3

7. 업로드 파일을 선택하면, 퍼블릭 전환, 다운로드 링크 등의 기능을 사용가능합니다.

S3

8. 권한이 없는 사용자가 링크로 접근하면 다음과 같은 오류가 발생됩니다.

S3

AWS

윈도우 예약 작업과 S3 활용

윈도우 S3 연동

AWS

1. 연동을 위해 Bucket의 backup 폴더를 생성합니다.

S3

2. 계정 생성을 위해 IAM 서비스로 이동합니다.

S3

3. 사용자 추가를 선택하여 사용자의 옵션에 맞춰 새로운 사용자를 생성합니다.

S3 S3 S3 S3

4. 사용자 생성이 완료되었습니다.

사용자 생성 후, 연동을 위해 CLI를 설치합니다.

S3 S3

5. 설치가 완료되면, cmd 창에서 configure를 입력 후, 다운받은 csv파일의 정보들을 입력합니다.

S3

  • AWS Access Key ID : ex.csv 파일의 엑세스 ID 값
  • AWS Secret Access Key :ex.csv 파일의 보안 엑세스 키 값
  • Default region name : region 이름으로 ap-northeast-2 입력
  • Default output format : 포맷 형식으로 json을 입력

6. aws s3 sync [ 저장한 윈도우의 경로 ] s3 [ 저장될 버킷의 경로 ]를 입력합니다.

aws s3 sync c:\backup s3://mybucketbucket/backup

S3 S3

7. 자동화를 위해 .bat 파일을 생성합니다.

S3

8. bat 파일을 작업 스케줄러에 등록합니다.

S3

S3

S3

S3

9. 등록이 완료되었습니다. 확인을 위해 실행을 클릭합니다.

S3

AWS

 

Amazon EFS ( Elastic File System )

EFS

  • AWS 클라우드 서비스와 온프레미스 리소스에서 사용할 수 있는 탄력적인 완전 관리형 탄력적 NFS 파일 시스템
  • 애플리케이션을 중단하지 않고 온디맨드 방식으로 구성
  • 파일의 추가/ 제거 함에 따라 자동적으로 용량의 확장 및 축소
  • 데이터 일관성 및 보안체계 제공
  • 네트워크 파일 시스템( NFS v4 )를 사용하는 파일 스토리지 서비스
  • VPC 내에서 생성되며, 파일 시스템 인터페이스를 통해 EC2에 엑세스
  • 수천 개의 EC2에서 동시에 엑세스 가능하며, 탄력적으로 파일을 추가하고 삭제함에 따라 자동으로 Auto Scaling 가능, 즉 미리 크기를 프로비저닝 할 필요가 없음
  • 페타바이트단위 데이터까지 확장 가능
  • 최대 1천개의 파일 시스템 생성

스토리지 클래스

  • Standard Class : 자주 액세스하는 파일을 저장하는 데 사용하는 클래스
  • Infrequent Access( IA ) Class : 저장기간이 길지만 자주 액세스하지 않는 파일을 저장하기 위한 클라스

가용성

  • 여러 가용영역에서 엑세스 가능
  • 여러 가용영역에 중복 저장되기 때문에 하나의 가용영역이 파괴되더라도 다른 AZ에서 서비스 제공 가능
  • IPSEC VPN 또는 Direct Connect를 통해 On-premise에서 접속 가능

성능 모드/ 처리량 모드

  • 성능 모드에 있어서 대부분의 파일시스템에 Bursting Mode를 권장하지만 처리량이 많을 경우, Provisioned Mode를 권장

수명 주기 관리

  • Standard Class: 자주 액세스하는 클래스

파일시스템 정책

  • 여러 가용영역에서 엑세스 가능
  • 여러 가용영역에 중복 저장되기 때문에 하나의

 

Amazon Glacier

Glacier

  • Glacier는 자주 사용하지 않는 데이터로 “Cold Data"에 최적화된 스토리지 서비스
  • 데이터 보관 및 백업을 목적으로 보안 기능과 함께 내구성 있는 저장 공간을 제공하는 매우 저렴한 스토리지 서비스

Glacier의 종류

  • 아카이브
    • Glacler에 데이터가 저장되는 최소 단위, 하나의 파일
  • 볼트
    • Glacler에 생성할 수 있는 최상위 디렉토리, 볼트는 리전별로 생성해야 하며, 각 리전별로 최대 1000개까지 가능
  • 볼트 인벤토리
    • 볼트에 저장된 아카이브의 목록과 크기, 생성 날짜 등 아카이브 정보, 24시간에 한 번씩 업데이트

 

Storage Gateway

SG

  • On-premise 환경에서 Cloud 상의 Storage를 지원할 수 있게 하는 하이브리드 스토리지
  • 이름이 Storage ‘Gateway’인 이유는 Storage Gateway 자체가 스토리지의 역할을 하는 것이 아닌 스토리지( S3 )의 Gateway 역할을 하기 때문
  • Volume Gateway의 Stored Volume을 제외하고 나머지 유형은 EC2를 Gateway로 활용하여 Mount Point로 활용 가능
  • 모든 Storage Gateway는 말 그대로 ‘Gateway‘를 생성해야 함
    • 그 대상은 EC2 혹은 하드웨어 어플라이언스가 해당될 수 있음
    • EC2의 공인 IP를 Mount point로 지정하여 외부 네트워크에서 연결 가능
  • 일반 PC에 마운트하여 사용하는 둥, 다양한 용도로 사용 가능

File Gateway

  • FNFS와 SMB를 지원하는 Storage Gateway 유형
  • S3를 스토리지로 사용하며, Gateway( EC2 등 )을 통해 S3에 데이터를 저장하고 이를 직접 S3에서 엑세스 할 수 있음
  • 하나의 파일을 하나의 오브젝트로 관리됨
  • S3에 오브젝트로 관리되는 만큼, S3의 다른 기능을 사용할 수 있음

Volume Gateway

  • iSCSI를 지원하는 Storage Gateway 유형
  • 두 가지 유형으로 나뉨
    • Cached Volume: S3를 기본 데이터 스토리로 사용하되, 자주 엑세스하는 데이터를 온프레미스 스토리지 게이트웨이의 캐시 및 업로드 버퍼 스토리지에 보관
    • Stored Volume: On-premise 스토리지를 기본 데이터 스토리지로 사용하고, 해당 데이터를 EBS Snapshot 형식으로 S3에 비동기 백업을 실시

Tape Gateway

  • VTL ( Vitual tape Library )를 지원하는 Storage Gateway
  • 가상 테이프데이터는 S3나 S3 Glacier에 저장될 수 있음

 

EBS ( Elastic Block Stroe )

EBS

  • EBS 지원 EC2가 갖는 블록 형태의 스토리지
  • 애플리케이션의 기본 스토리지로 쓰거나 시스템 드라이브용으로 쓰기 적합
  • 인스턴스 생성 시 루트 디바이스 볼륨이 생성되며 사용 중에는 언마운트할 수 없음, 추가로 여러 볼륨의 마운트가 가능하며, 추가볼륨에 대해서는 사용중이라도 마운트/ 언마운트가 가능
  • EBS를 특정 AZ에서 생성하더라도 다른 AZ의 인스턴스에 즉시 붙일 수 있음
  • 인스턴스 스토어 볼륨과는 달리 EBS 기반 인스턴스는 중지 / 재시작이 가능
  • 사용중인 EBS더라도 볼륨 유형과 사이즈를 변경할 수 있음( 사이즈의 축소는 불가 )

EBS의 볼륨 유형

  • 범용 SSD( gp2 ): 시스템 부트 사용 가능, 대부분의 워크로드에서 사용
  • 프로비져닝된 IOPS SSD( io1 ): 지속적인 IOPS 성능이나 16.000 IOPS 이상의 볼륨당 처리량을 필요로 하는 경우 적합 ( DB 워크로드 )
  • 처리량 최적회돤 HDD( st1 ): 시스템 부트 사용 불가능, IOPS가 아닌 처리량을 기준으로 하며 자주 엑세스하는 워크로드에 적합한 저비용 HDD 볼륨, 빅데이터나 데이터 웨어 하우스에 사용
  • Cold HDD( sc1 ): 시스템 부트 사용 불가능, 자주 엑세스하지 않는 대용량 데이터 처리에 적합, 스토리지 비용이 최대한 낮아야 할 경우 사용

RSS Feed
마지막 수정일자
AWS DatabaseAWS Network