我想将事件添加到 BigQuery 中，以便使用以下服务通过图表查看它们模式分析 https://modeanalytics.com.
我不确定是否掌握了 BigQuery 的完整概念，也许我对它做出了错误的假设，但我想使用它的目的是拥有一个（某种）表“事件”，并根据关于事件名称。
这可能类似于“新帐户”、“用户搜索”等。
但我能找到的所有文档都是关于从其他表、csv、json 文件等加载大量数据的。
我无法找到有关仅执行诸如 POST 请求之类的操作并将数据添加到“事件”表的文档。
我能怎么做 ？
我建议多读一点 BigQuery。您似乎还没有完全掌握它实际上是什么的概念。尝试here https://cloud.google.com/bigquery/对于初学者。想想“利用 Google 基础设施的力量，使用 SQL 进行大规模可扩展的数据分析”。之后，再看看它的流媒体 API 功能 https://cloud.google.com/bigquery/streaming-data-into-bigquery。这允许您通过其 RESTful API 使用 http POST 请求插入“事件”。
一旦你明白了这一点，那么就有一些解决方案可以流式传输数据。你可以直接访问 BigQuery，但这不是一个好主意 - 原因很明显。正如 varun 的回答中提到的，您确实可以连接 Pub/Sub 和数据流，但我觉得这可能超出了您的需求。
因此，一个常见的模式/解决方案是使用队列，并让某些东西异步消耗该队列中的事件，并将它们批量推送到 BigQuery。我们的许多项目都是这样做的，而且效果非常好。
您不必使用 GAE 来实现此目的。您可以使用任何类型的队列，或者简单地构建您自己的自定义队列。例如，我们使用 SQS 在 AWS 上运行一些队列（我们的事件源自 EC2 上运行的 Apache 节点），然后有一个应用程序异步消耗 SQS 上的事件。
我们也使用Redis来达到同样的效果。它在生产中运行，具有可扩展性，每分钟为我们处理大约 50K 个事件到 BigQuery。我们的一位工程师写了一篇关于它的博客文章here https://blog.shinetech.com/2014/12/19/license-to-queue/.
因此，正如您所看到的，有很多方法可以构建解决方案。然而，基本前提是拥有某种队列来异步处理您的“事件”，并将它们批量推送到 BigQuery，然后您可以在其中进行分析并插入 BI 工具来制作漂亮的图表。此外，您选择什么解决方案取决于您的具体用例，例如您的事件源自哪里？你的技能是什么样的？ ETC。
希望这可以帮助。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
