云摄入概述

如果您已经收集了事件数据,这些指南提供了一些快速整合Mixpanel的方法。目标是在几分钟内将Mixpanel插入现有数据管道中。

我们提供参考指南:

这些指南中的方法需要编写一些代码,但可以使您完全控制和可配置发送给MixPanel的数据。

注意:即使您使用我们在此处不明确列出的工具,例如Spark,Airflow,Perfect,Dagster或Kafka,也很容易集成Mixpanel。最终,所有这些摄入方法都归结为击中我们的简单,可扩展的HTTP API使用您最熟悉的工具。

最佳实践

  • 事件是不可变的,因此我们建议在测试项目中进行测试,然后在自信时才将其路由到您的生产项目。
  • 我们建议您明确有关Mixpanel所跟踪的内容,而不是出于性能和安全原因而隐式跟踪所有内容。避免发送用户生成的内容,高心电图ID或大型半结构对象。
  • 在回填历史数据之前,首先进口了最新的时间窗口(最后7天或最后30天)。Mixpanel的自动完成菜单根据数据的最后30天填充了事件和属性,因此这是测试数据看起来如预期的最佳方法。
  • 利用批处理和压缩。每个请求 /导入可以将2000个事件发送到Mixpanel,并且可以使用GZIP发送压缩。本指南中的示例代码同时兼而有之。
  • 使用云存储时,将文件分配到JSON的〜200MB(或〜200K记录)中。每个文件都是通过云功能/lambda并行处理的,必须在配置的超时内摄入该功能。
  • 记录API返回的任何400个错误。这些是不可退回的,表明与数据畸形。一旦API启动并运行,这应该极不可能。如果一批包含有效和无效数据的混合物,我们将摄入有效的数据。

极限

我们的进口API构建为每天摄入数十亿美元的活动。也就是说,我们确实在很高的规模上限制了限制,以确保服务质量和实时摄入。请参考我们的导入API文档有关详细信息。

我们的所有示例代码都透明地重试和退缩,从速率限制异常。如果您需要1次回填的更高限制,请在[电子邮件保护]

本地测试

我们建议在本地进行测试以快速迭代并熟悉我们的API。

这是您可以运行的示例脚本,并且以Mixpanel格式的方式进行了示例以供参考。只需在顶部填写您的凭据即可尝试。

“”“示例脚本适用于MixPanel事件格式。”“导入GZIP导入json导入时间导入时间intim intim intim intim project_id =“”#www.jy710.com/project/  user =“#service offerct offect unce account under account under pass =”“#服务帐户密码sample_events = [{“ event”:“ my_test_event”,“ properties”:{#这些属性是“ time”:int(time.time(time()),“ dimption_id”:“ test_user”,“ test_user”,“” $insert_id“:” 04CE0CF4-A633-4371-B665-9B45317B4976“,#其他任何其他属性都是可选的“城市”:“ san Francisco”,},},},{“ event” event“ event”:“ eyt_event”:“ eyter_event properties”,“ properties”,“”,“”,“”:{“”。“:int(time.time()),“ dimption_id”:“ test_user_2”,“ $ insert_id”:“ 3B033B9A-6BC9-4BC9-4B70-90C3-A53E11F6896E”,“ city”,“ city”:“ SETTLE(“摄入”,sample_events)##转换为ndjson pareload =“ \ n”。join([json.dumps(e)for Sample_events in sample_events]))导入”,params = {“ strict”:“ 1”,“ project_id”:project_id},auth =(user,pass),headers = {“ content-type”:“ application/x-ndjson”,“ content-incoding inging inging”:“ gzip”},data = gzip.compress(payload.encode(“ utf-8”)),)print(desp.json())
{“ event”:“ test_event”,“ properties”:{“ distract_id”:“ sunrostern”,“ $ insert_id”:“ 28096095”,“标题”:“创建者赠品出版笔记”,“ url”,“ url”:“ https:” https:“ https:” https:“ https:”//www.viewert.com“,“得分”:“ 1”,“ TIME”:1628315585}}}} {“ event”:“ test_event”,“ properties”:{“ dimption_id”:“ feross”:“ feross”,“ $ insert_id”:“ 28059483”,“ title”:“`'at`for相对索引的方法,“ url”:“ https://v8.dev/features/at-method”,“得分”:“ 1”:“ 1”,“ TIME”:1628074042}}} {“ event”:“ test_event”,“ properties”:{“ distract_id”:“ prostoalex”,“ $ insert_id”:“ 28069645”,“ 28069645”,“标题”,“”:\ u2019re a卖点“,” url“:” https://www.wsj.com/articles/home-classrooms-covid-real-estate-11628100036“}}} {“ event”:“ test_event”,“ properties”:{“ distract_id”:“ bingewave”,“ $ insert_id”:“ 28063639”,“标题”:“构建直播电影应用程序和直播电视网站\ u2013ReactJS“,” url”:“ https://medium.com/bingewave/building-a-live-treaming-movie-app-live-tv-website-part-1-D0857AAAC8EA“,“得分”:“ 1”,“ TIME”:1628097439}}} {“ event”:“ test_event”,“ properties”:{“ distract_id”:““ 28063632”,“标题”:“数据可视化中的经典研究”,“ url”:“ https://observablehq.com/@tophtucker/classic-research-research-in-data-visaualization”,“得分”,“得分”:,“时间”:1628097398}}} {“ event”:“ test_event”,“ properties”:{“ distract_id”:“ ivandiblasi68”,“ $ insert_id”:“ $ insert_id”:“ 28091778”,“un lansomware”,“ url”:“ https://www.kaspersky.it/blog/irish-health-service-ransomware/24680/”,“得分”:“ 1”,“时间”:1628278340}}}} {事件“:“ test_event”,“ properties”:{“ dimption_id”:“ akdav”,“ $ insert_id”:“ 28091776”,“标题”:“ defi and kyc”,“ url”:“ https:// link。edim.com/BSN7Z9JMVIB“,”得分“:”:“ 1”,“ TIME”:1628278312}}} {“ event”:“ test_event”,“ properties”:{“ dimption_id”:“ webs_id”:“ webscraping99”,“28085411“,”标题:“ LinkedIn个人资料细节刮刀\ U2013 Ahmad Software Technologies”,“ url”:“ https:// ahmadsoftwaretechnologies3.mypixieset.com/linkedin-profile-detail-scrapers/", "score": "1", "time": 1628246831}} {"event": "test_event", "properties": {"distinct_id": "Dorimoody", "$insert_id": "28064346", "title": "Our Children and Our Citations: Each One, Both Together", "url": "https://www.plough.com/en/topics/life/work/our-children-and-our-citations-each-one-both-together", "score": "1", "time": 1628101041}} {"event": "test_event", "properties": {"distinct_id": "feross", "$insert_id": "28064342", "title": "The SEC Has Its Eye on Crypto", "url": "https://www.bloomberg.com/opinion/articles/2021-08-04/the-sec-has-its-eye-on-crypto", "score": "1", "time": 1628101019}}

运行此脚本后,您可以看到事件出现在实时视图