找出比AHA时刻更好的事情

AHA时刻是产品生活中的神话点，当用户停止警惕并开始上瘾时。

在Facebook的沙拉时代，该公司“弄清楚”，如果他们可以在10天内强迫用户结交七个朋友，那么这些用户很可能会在长期内保留。目前尚不清楚这个故事是否是伪经，但人们认为这是一个暂停的产品。

作为一家公司和博客，我们长期以来有一个复杂的关系aha时刻。一方面，这个想法使产品经理对找到用户体验的拐点感到兴奋。另一方面，对于产品经理来说，这是一个奇怪的关注，根据定义，他们应该是不断的磨削，而不是一个丰富的发现。

最终，AHA时刻正在达到改善产品的方法，或者发现如何将其与用户的兴趣保持一致。但这并不是一个非常严格的到达那里的方式。然而讽刺的是，我们建立了一个AHA时刻的生成器……有点。烤进一点。

这是一个故事信号，一种可以比人类能力更快的产品更快的产品，但仅仅是因为其发展围绕一个非常人类的问题而成功。这个问题是我们的用户坚持问我们的问题。

不可预测的东西

一年半前，我们的机器学习团队建立了预测，该产品可以预测用户完成某些操作的可能性。我们的通知功能很受欢迎，因此我们认为为客户提供基于机器学习的方法来识别其最佳用户并重新接触它们将是成功的。

基本上，预测根据他们之前采取的行动以及这些动作与目标行为的相关性如何为用户提供A，B，C或D等级。如果您希望某人进行应用内购买，则可能倾向于向他们发送通知。有了预测，您可以知道谁是A和谁是D。

因此，这是一个强大的工具，基于其预测，基于数万亿个数据点的见解。通过创建机器学习产品，我们将Mixpanel致力于以比以往更具创新的方式从其数据中学习的承诺加倍。

但是一些用户对预测感到沮丧。他们不知道该将信件分级绑定到什么。为什么鲍勃（Bob）是“ A”，比“ C”简（Jane）更有可能执行某个动作？就像玩耍的孩子一样，这个问题总是回到但为什么？

Mixpanel的机器学习工程师Marshall Louis Reaves总结说：“最大的反馈是人们想知道不知道谁可能会转换，但是为什么。以及这个问题背后的问题：如何使我的产品变得更好？透明

预测帮助Mixpanel客户找到了最有价值的用户，并使他们采取行动，但最终，它并没有解决他们的核心。无论AHA时刻都有误导，它的根本情感就是这样。

因此，当启动Mixpanel最新的自动见解产品时，机器学习团队做了他们最擅长的事情。他们利用各种很酷的数学来为产品经理做繁重的工作，并从另一个中拯救了数据科学家特设要求。但是他们也反复回到了产品经理的核心问题，马歇尔提出了这一点：如何使我的产品变得更好？。

马歇尔（Marshall）在信号中认为，Mixpanel已经以权力和目的回答了这个问题。

回来

但是首先，酷数学。

预测不是一些用户想要的产品，但这是一个开始。它是为了了解哪些动作使产品成功的设计，即使不一定要告诉您它们是什么。因此，机器学习团队认为他们可能已经为成为信号的作业做了一些作业。

马歇尔说：“我们最初认为我们可能要做的就是拉回我们设计的重量的窗帘，以实际建立预测模型。”“最大的问题是，模型是复杂的，丑陋的，难以解释。它通常以难以采取行动的方式提供数据。”

作为地图，预测的内部工作是详细介绍的，但很难阅读。在这里，机器学习团队被迫回到启发信号的问题：我如何使我的产品变得更好？

马歇尔说：“我们回到绘图板上思考。”“假设检验或因果推理的类型是什么，我们可以尝试揭示结果高度可行和容易解释。我们不希望您成为数据科学家才能了解发生了什么。”

人们必须做的分析产品越少，他们就能完成的建筑和优化越多。或者，正如马歇尔（Marshall）所说，“我们可以为您制造的实际最佳产品是Mixpanel机器学习团队抬头看着您的肩膀，并告诉您结果的含义。”

该团队需要一个易于提供输入的公式，但也提供了强大的输出。他们挖到研发越多，他们发现自己一次又一次地返回某种查询格式：在采取行动的Z天内，至少在y时执行X动作如何与目标B相关？

这个公式感觉正确。这很容易理解。它旨在专门衡量参与度。

马歇尔说：“这种格式对于人们提出这些问题而受欢迎，因为它具有互动组成部分。”“至少在Z天内。它还具有此事件的重点，那就是动作x。在产品分析领域已经存在了很长时间。”188金宝博金宝博188滚球

只有一个问题。他们不是鼓励AHA时刻狩猎吗？

不仅仅是瞬间

创建AHA时刻生成器的问题在于它优化了错误的行为。它不问，如何使我的产品变得更好？它问，如何神奇地获取或保留大量用户？

马歇尔说：“在那个世界上有很多争议。”“啊哈时刻是否存在，它们不存在吗？事实证明，可能没有一个关键行动，这对于您公司的成功和您尚不了解。”

不过，可能会有更好的东西。在构建信号中，机器学习团队意识到他们的产品并不是要使用数学来识别一个神奇的时刻。这是关于发现影响用户生命周期的一些时刻。

在原型设计信号的同时，该团队一直在挖掘Mixpanel自己的数据。他们想知道某些操作如何影响Mixpanel用户在移动应用程序上的保留，例如添加移动仪表板或接收异常通知。

Marshall说：“我们发现了针对移动应用程序数据运行的早期信号非常有用的东西。”“我们意识到动作的频率和时机组成部分可能会有细微的细节。也许这不是一个AHA时刻，但对用户生命周期仍然很重要。”

例如，团队发现查看登录页面然后登录，这表明了Mixpanel移动用户的长期保留。这是一个基本的见解信号可以告诉您：如果移动应用程序的目标是长期保留，信号说查看登录页面和登录量与成功高度相关。

但这也很明显。

马歇尔说：“如果您只看一个特定价值，那不是很有趣。”“说，保留与这一特定动作之间的最大相关性是什么，您会发现它在14天内大于一次。”

当然，几次登录是一个很好的指标。但是，登录太多次呢？事实证明，这是痛苦的迹象。

虽然要查看移动应用程序的登录页面至关重要，但对于不要看太多次。因此，而不是让公式至少y次，信号的灵活性更大：不超过y时，完全是y时，等等

马歇尔说：“我们开始注意到何时超越典型的计算，在某些情况下，频率确实很重要。”“在这些独特的示例中，如果您做太多次的事情太早了，那与较低的保留率不良或相关，但是该动作本身对于在用户生命周期过程中执行的操作本身很重要。”

换句话说，在驱动用户操作方面，实际上可能会有太多的好事。这就是为什么人们建立产品体验需要分开的原因为什么？，但从生命周期的角度来看，而不是暂时的。

工作的一个正确工具

任何有钱的科技公司都可以在那里出去并建立一个具有数学严格的机器学习团队。我们喜欢认为我们也有目的地建造我们的。有了预测，Mixpanel制造了一个强大的产品，但是当它掉落时，我们就学会了一些有关目的的东西。

在开发信号时，机器学习团队一次又一次地返回到每个Mixpanel客户最基本的问题，如何使我的产品变得更好？如果信号没有回答，它需要精巧。

随着时间的流逝，团队能够创建一些非常有用和可操作的东西。他们能够避免AHA时刻的谬论，并激发产品经理的严格工作，但比以往任何时候都更快。

“我有一个最喜欢的报价老无所依，”马歇尔说。“安东·奇格尔（Anton Chigurh）说，‘您选择了一个合适的工具。’在信号和预测的情况下，我认为每个工具都是工作的一种正确工具。”

建造任何产品都是胡扯。先进的数学和机器学习可以10倍我们的产品的功能，但它也可以通过大量弯曲的肌肉和很少的升力来分散真正的目的。在艰难的方法中了解到这一点后，我们的机器学习团队通过不断确保它是工作的一种正确工具来接近信号。

这是信号的美：我们为您制造合适产品的旅程将大大缩短您为用户建造正确产品的旅程。使用信号，团队可以快速看到其产品和行为中最佳改进机会。

Marshall说：“通常，产品经理对产品的工作方式以及用户与产品的互动方式有强烈或紧密的假设。”“我们创建了信号，以便他们可以快速评估这些信念。”