亚马逊S3
要将RAW导出管道设置为Mixpanel的S3存储桶,您必须配置S3以接收导出的数据,然后创建管道导出数据。
以下文档总结了编辑S3存储桶权限的步骤,以便接受Mixpanel导出。咨询AWS文档对于任何特定特定任务,例如创建S3桶和编辑权限。
要为传入数据准备S3:
- 创建一个S3存储桶。
- 给Mixpanel所需的权限写入水桶。
S3存储桶许可
Mixpanel支持广泛的配置,以在S3上保护和管理您的数据。为了访问资源,管道使188金宝搏备用网址用AWS交叉计数角色。
本节重点介绍了您必须根据目标S3存储桶的配置给予MixPanel的权限。
数据修改策略
从Mixpanel到AWS的所有导出都要求您创建新的数据修改策略,或将以下权限添加到现有数据修改策略中。
更换
和
在插入此JSON之前,请使用您的存储桶名称并选择SID:
{“版本”:“版本”,“语句”:[{“ sid”:“” “,”效果“:”允许”,“ action”:[“ s3:putobject”,“ s3:getObject”,“ S3:ListBucket”,“ S3:deleteObject”],“资源”:[“ ARN:AWS:S3 :::: ”,“ Arn:aws:aws:s3 ::: /*“]]}]}}
服务器端加密
MixPanel总是在TLS加密连接上将数据发送到您的S3存储桶。为了在S3上确保您的数据确保您的数据,您可以启用服务器端加密(SSE)。
使用SSE时有两种选择:使用Amazon S3管理的密钥(SSE-S3)加密,并使用AWS KMS管理的密钥(SSE-KMS)加密
使用亚马逊S3管理的钥匙加密(SSE-S3)
Bucket上的此设置使用使用S3管理的键的AES-256算法在REST上加密数据。
如果您使用此类型的SSE,则只需要通过传递来配置管道S3_Encryption = AES
调用MixPanel数据仓库导出API时参数。看AWS S3和胶参数。
使用AWS KMS管理的密钥(SSE-KMS)加密
对于S3存储桶,您可以选择一个名为name的默认键AWS/S3
。如果您选择使用默认键,则需要通过传递来配置管道s3_encryption = kms
和s3_kms_key_id =
调用MixPanel数据仓库导出API时,您可以选择使用自己的自定义键来加密存储桶的内容
无论哪种情况,您都需要允许MixPanel使用键在将数据写入存储桶时正确加密数据。
为了实现这一目标,创建一个IAM策略,该策略允许Mixpanel使用KMS密钥。使用以下JSON摘要并替换
和
使用您的自定义密钥(或AWS托管默认CMK)ARN并选择SID:
{“版本”:“ value”,“语句”:[{“ sid”:“”“ kms:生成塔基”,“ kms:recryptto”,“ kms:oferatedAtakeyWithOutPlaintext”,“ kms:docorcekey”,“ kms:reencryptfrom”],“资源”,“ resource”:“ ”}}}
您必须通过通过s3_encryption = kms
和s3_kms_key_id =
调用MixPanel数据仓库导出API时。
S3访问角色
在上面的各节中制定策略后,您必须创建一个跨帐户角色,以将政策分配给角色。
- 去aws iam在控制台上的服务。
- 点击角色在侧边栏中。
- 点击创建角色。
- 选择其他AWS帐户在“信托策略”页面上,输入帐户ID的“ 485438090326”。
- 在里面权限页面,查找并选择您上面创建的策略。
- 在里面审查页面,输入角色的名称和描述,然后单击节省。
接下来,将信任关系限制为Mixpanel导出用户,以确保仅Mixpanel才能扮演此特定角色。
- 导航到aws iam控制台的服务。
- 点击角色在侧边栏中。
- 查找并单击您刚刚创建的角色。
- 导航到信任关系标签。
- 点击编辑信任关系。
- 用以下JSON替换内容:
{“版本”:“ 2012-10-17”,“语句”:[{“效果”:“允许”,“ principtal”:{“ aws”:“ arn:aws:iam :: 485438090326:user/mixpanel-导出“},“ action”:“ sts:asherole”,“条件”:{}}]}
使用AWS外部ID
亚马逊引入了外部ID用于交叉账户访问的使用困惑的代理人问题。由于MixPanel使用跨帐户访问来导出数据,因此您可以使用此功能使数据传输更安全。
与AWS交谈时,Mixpanel将您的项目令牌作为外部ID。为了启用这一点,您只需要编辑作为上一步的一部分创建的信任关系,并添加一个条件来检查传递的外部ID实际上是您的Mixpanel项目令牌。因此,您的信任关系的最终JSON将是:
{“版本”:“ 2012-10-17”,“语句”:[{“效果”:“允许”,“ principtal”:{“ aws”:“ arn:aws:iam :: 485438090326:user/mixpanel-导出“},“ action”:“ sts:asherole”,“条件”:{“ string equals”:{“ sts:externalId”:“ ”}}}}}}}
使用数据管道API
授予许可后,请使用数据管道API创建管道。这是一个示例请求:
curl https://data.www.jy710.com/api/2.0/nessie/pipeline/pipeline/create \ -u api_secret:\ -d type =“ s3 -raw” \ -d from_date =“ 2019-08-10s3_bucket =“示例s3-export” \ -d s3_region =“ us-west-2” \ -d s3_prefix =“ test” \ -d s3_role =“ arn:aws:aws:aws:iam :: account-id>example-s3-lole“ \ -d s3_encryption =“ aes” \
更新 12个月前