Amazon Simple Storage Service (hay còn gọi là Amazon S3) là một dịch vụ nổi tiếng của Amazon Web Services (AWS) để khách hàng có thể sử dụng để lưu trữ dữ liệu an toàn và đáng tin cậy. Sử dụng Amazon S3, doanh nghiệp sẽ có thể xây dựng một giải pháp lưu trữ chi phí thấp, nhưng khả dụng cao. Để xứng đáng với 11 số 9 (99.999999999%) về SLA, Amazon S3 cung cấp tính năng có sẵn để sao chép (replicate) sang một region khác, tính năng này cho phép dễ dàng sao lưu tự động nhiều region khác nhau (Multi-region S3 Replication).
Tổng Quan
Bài viết dưới đây tham khảo một dự án AWS CDK (Cloud Development Kit) sử dụng TypeScript. Sử dụng AWS CDK cùng với AWS CloudFormation StackSets, khách hàng có thể triển khai các tài nguyên sau đây:
-
Amazon S3 Bucket trên region chính (primary region) với custom KMS key.
-
AWS CloudFormation StackSet để replicate các bản sang nhiều region khác nhau.
-
AWS IAM Role với quyền truy cập cho khu vực chính và các bản sao.
Điều thú vị là, bạn có thể triển khai những tài nguyên này trên những Region mong muốn (trong đó sẽ đáp ứng Multi-Region S3 Replication), CHỈ VỚI 01 DÒNG LỆNH DUY NHẤT!!!
Các bước tiến hành triển khai Multi-Region S3 Replication
Bước 1: Bắt buộc ban đầu
Để sử dụng StackSets tự quản lý (self-managed StackSets), trước tiên bạn cần tạo hai IAM roles. Bạn có thể tạo chúng theo cách thủ công bằng AWS Management Console hoặc sử dụng các template CloudFormation chính thức do AWS cung cấp, click vào để tải:
Dự án này được lấy từ một Repository chứa template được đóng gói sẵn trên Github, link tại đây. Chỉ cần điều chỉnh một số thông số cho CloudFormation Stack là có thể sử dụng được.
// Configured ./aws/index.ts
const option = {
env: {
region: 'ap-southeast-1'
},
replications: [
'ap-northeast-1',
'ap-southeast-2',
'...'
]
}Sau đó, chạy bằng lệnh bên dưới để triển khai mọi thứ.
npx cdk deployBước 2: Sửa thông số Primary Region và Data Source
Những thay đổi tới dữ liệu bên trong Amazon S3 bucket tại primary region được replicate sang những region khác của AWS, ví dụ ở đây region chính VTI Cloud đang thực hiện là ap-southeast-1 (Singapore) và các region khác lần lượt là ap-northeast-1 (Tokyo) và ap-southeast-2 (Sydney).
Tại primary region, bạn cần có Amazon S3 bucket có custom KMS (Key Management System) key để mã hóa.
Tìm hiểu thêm về AWS KMS tại đây: https://aws.amazon.com/kms/.
import * as s3 from '@aws-cdk/aws-s3'
import * as kms from '@aws-cdk/aws-kms'
const key = new kms.Key(this, 'Key')
const alias = key.addAlias('archive')
const bucket = new s3.Bucket(this, 'Bucket', {
bucketName: `${props.prefix}-archive`,
encryption: s3.BucketEncryption.KMS,
encryptionKey: alias,
blockPublicAccess: s3.BlockPublicAccess.BLOCK_ALL,
bucketKeyEnabled: true,
versioned: true,
removalPolicy: cdk.RemovalPolicy.RETAIN
})Để sử dụng tính năng S3 bucket replication, bạn cần tạo IAM role với quyền permission để truy cập được dữ liệu trong Amazon S3 và sử dụng được KMS key:
import * as iam from '@aws-cdk/aws-iam'
const role = new iam.Role(this, 'ReplicationRole', {
assumedBy: new iam.ServicePrincipal('s3.amazonaws.com'),
path: '/service-role/'
});
role.addToPolicy(
new iam.PolicyStatement({
resources: [
bucket.bucketArn
],
actions: [
's3:GetReplicationConfiguration',
's3:ListBucket'
]
})
);
role.addToPolicy(
new iam.PolicyStatement({
resources: [
bucket.arnForObjects('*')
],
actions: [
's3:GetObjectVersion',
's3:GetObjectVersionAcl',
's3:GetObjectVersionForReplication',
's3:GetObjectVersionTagging'
]
})
);
role.addToPolicy(
new iam.PolicyStatement({
resources: [
key.keyArn
],
actions: [
'kms:Decrypt'
]
})
);Sau khi hoàn tất các bước trên, công đoạn tiếp theo là tạo một Amazon S3 bucket với KMS key có thể sử dụng trong mọi region mà bạn muốn replicate, ở đây VTI Cloud cấu hình KMS key trong region ap-northeast-1 (Tokyo) và ap-southeast-2 (Sydney).
Bước 3: Tạo CloudFormation StackSet cho Multi-Region S3 Replication
Để tránh trường hợp phải tạo từng CloudFormation Stack tại từng region bạn muốn replicate dữ liệu Amazon S3 bucket, AWS CloudFormation StackSet được sử dụng để tự động hóa công đoạn triển khai từ region. Hiện tại, AWS CDK chỉ hỗ trợ quyền truy cập thấp (low-level access) vào tài nguyên CloudFormation StackSet:
import * as cdk from '@aws-cdk/core'
new cdk.CfnStackSet(this, "StackSet", {
stackSetName: `${props.prefix}-archive-replication`,
permissionModel: "SELF_MANAGED",
parameters: [
{
parameterKey: 'Prefix',
parameterValue: props.prefix
},
{
parameterKey: 'ReplicationRole',
parameterValue: role.roleArn
}
],
stackInstancesGroup: [
{
regions: props.replications,
deploymentTargets: {
accounts: [AccountId],
},
},
],
templateBody:templateReplicationData, #đây là template chứa Amazon S3 và KMS cho mọi region
});Thông số ReplicationRole là bắt buộc để cấp quyền truy cập vào KMS key theo vùng mà IAM role sử dụng để thực hiện công đoạn replication.
Parameters:
Prefix:
Type: String
ReplicationRole:
Type: String
Resources:
Key:
Type: AWS::KMS::Key
Properties:
KeyPolicy:
Version: 2012-10-17
Id: access-account
Statement:
- Sid: Enable IAM User Permissions
Effect: Allow
Principal:
AWS: !Sub arn:aws:iam::${AWS::AccountId}:root
Action: kms:*
Resource: '*'
- Sid: Replication
Effect: Allow
Principal:
AWS: !Ref ReplicationRole
Action:
- kms:Encrypt
- kms:ReEncrypt*
- kms:GenerateDataKey*
- kms:DescribeKey
Resource: '*'
KeyAlias:
Type: AWS::KMS::Alias
Properties:
AliasName: alias/archive/replication
TargetKeyId: !Ref Key
Bucket:
Type: AWS::S3::Bucket
DeletionPolicy: Retain
Properties:
BucketName: !Sub ${Prefix}-archive-replication-${AWS::Region}
AccessControl: Private
PublicAccessBlockConfiguration:
BlockPublicAcls: Yes
BlockPublicPolicy: Yes
IgnorePublicAcls: Yes
RestrictPublicBuckets: Yes
VersioningConfiguration:
Status: Enabled
BucketEncryption:
ServerSideEncryptionConfiguration:
- BucketKeyEnabled: Yes
ServerSideEncryptionByDefault:
SSEAlgorithm: aws:kms
KMSMasterKeyID: !Sub arn:aws:kms:${AWS::Region}:${AWS::AccountId}:${KeyAlias}Tài nguyên AWS trong region được replicate sử dụng những name pattern riêng để phân biệt, VTI Cloud sẽ ví dụ ap-northeast-1 trong cấu hình sau:
-
KMS Key
arn:aws:kms:ap-northeast-1:11223344:alias/archive/replication -
S3 Bucket
arn:aws:s3:::prefix-archive-replication-ap-northeast-1
Sử dụng name pattern này, bạn có thể mở rộng IAM role sử dụng cho các region replication từ role tại primary region:
role.addToPolicy( new iam.PolicyStatement({
resources: props.replications.map(
region => `arn:aws:kms:${region}:$(AccountId):alias/archive/replication`
),
actions: [
'kms:Encrypt'
]
})
);
role.addToPolicy(
new iam.PolicyStatement({
resources: props.replications.map(
region => `arn:aws:s3:::${props.prefix}-archive-replication-${region}/*`
),
actions: [
's3:ReplicateDelete',
's3:ReplicateObject',
's3:ReplicateTags'
]
})
);
role.addToPolicy(
new iam.PolicyStatement({
resources: props.replications.map(
region => `arn:aws:s3:::${props.prefix}-archive-replication-${region}`
),
actions: [
's3:List*',
's3:GetBucketVersioning',
's3:PutBucketVersioning'
]
})
);Bước 4: Cấu hình Multi-Region S3 Replication
Thiết lập S3 Replication Configuration tại Amazon S3 bucket tại vị trí chính (primary region). Ở bước này, AWS CDK vẫn có thể sử dụng những object low-level để cấu hình replication:
const cfnBucket = bucket.node.defaultChild as s3.CfnBucket;
cfnBucket.replicationConfiguration = {
role: role.roleArn,
rules: props.replications.map(
(region, index) => (
{
id: region,
destination: {
bucket: `arn:aws:s3:::${props.prefix}-archive-replication-${region}`,
encryptionConfiguration: {
replicaKmsKeyId: `arn:aws:kms:${region}:${AccountID}:alias/archive/replication`
}
},
priority: index,
deleteMarkerReplication: {
status: 'Enabled'
},
filter: {
prefix: ''
},
sourceSelectionCriteria: {
sseKmsEncryptedObjects: {
status: 'Enabled'
}
},
status: 'Enabled'
}
)
)
}Bước 5: Triển khai
Như đã nói ở trên, sau khi chạy bằng lệnh bên dưới, mọi thứ sẽ được triển khai.
npx cdk deployTổng Kết
Chỉ với AWS Cloud Development Kit, bạn có thể tạo ra AWS CloudFormation template.
Từ template này, bạn tạo được AWS CloudFormation Stack. Stack này sẽ giúp bạn triển khai các dịch vụ như Amazon S3 bucket, AWS Identity & Access Management role, an AWS Key Management Service key và 01 AWS CloudFormation StackSet.
AWS CloudFormation StackSet sau đó sử dụng template ở trên để tạo AWS CloudFormation Stack cho các region khác nhau, và Stack này lại tiếp tục được dùng để tạo các tài nguyên như S3 bucket, IAM role và KMS key, trong đó Amazon S3 bucket có tính năng S3 Replication Configuration.
Về VTI Cloud
VTI Cloud là Đối tác cấp cao (Advanced Consulting Partner) của AWS, với đội ngũ hơn 50+ kỹ sư về giải pháp được chứng nhận bởi AWS. Với mong muốn hỗ trợ khách hàng trong hành trình chuyển đổi số và dịch chuyển lên đám mây AWS, VTI Cloud tự hào là đơn vị tiên phong trong việc tư vấn giải pháp, phát triển phần mềm và triển khai hạ tầng AWS cho khách hàng tại Việt Nam và Nhật Bản.
Xây dựng các kiến trúc an toàn, hiệu suất cao, linh hoạt, và tối ưu chi phí cho khách hàng là nhiệm vụ hàng đầu của VTI Cloud trong sứ mệnh công nghệ hóa doanh nghiệp.
