DynamoDB – 数据管道

Data Pipeline 允许向/从表、文件或 S3 存储桶导出和导入数据。这当然在备份、测试以及类似的需求或场景中证明是有用的。

在导出中，您使用 Data Pipeline 控制台创建新管道并启动 Amazon EMR (Elastic MapReduce) 集群来执行导出。EMR 从 DynamoDB 读取数据并写入目标。我们将在本教程后面详细讨论 EMR。

在导入操作中，您使用数据管道控制台，它创建管道并启动 EMR 来执行导入。它从源读取数据并写入目标。

注– 导出/导入操作会根据所使用的服务产生成本，特别是 EMR 和 S3。

使用数据管道

使用数据管道时，您必须指定操作和资源权限。您可以利用 IAM 角色或策略来定义它们。执行导入/导出的用户应注意他们需要活动的访问密钥 ID 和秘密密钥。

数据管道的 IAM 角色

您需要两个 IAM 角色才能使用 Data Pipeline –

• DataPipelineDefaultRole – 这包含您允许管道为您执行的所有操作。

• DataPipelineDefaultResourceRole – 这包含您允许管道为您提供的资源。

如果您不熟悉 Data Pipeline，则必须生成每个角色。由于现有角色，所有以前的用户都拥有这些角色。

使用 IAM 控制台为 Data Pipeline 创建 IAM 角色，并执行以下四个步骤 –

步骤 1 – 登录位于https://console.aws.amazon.com/iam/的 IAM 控制台

步骤 2 –从仪表板中选择角色。

步骤 3 – 选择创建新角色。然后在Role Name字段中输入 DataPipelineDefaultRole ，并选择Next Step。在Role Type面板的AWS Service Roles列表中，导航到Data Pipeline，然后选择Select。在“审阅”面板中选择“创建角色”。

步骤 4 – 选择创建新角色。