如何在云（AWS、heroku 等）中跨多个节点建立时钟同步？

我想在云中运行一个大型节点集群（AWS、Heroku，或者可能是自我管理的 VMS），其时钟必须与预定义的容差同步。我正在寻找大约 200 毫秒的容差。这意味着，如果我有 250 个节点，那么这 250 个节点之间的最大时钟差异不应超过 200 毫秒。我并不真正关心世界的实际日期/时间。该解决方案必须是容错的，并且不需要依赖于任何一个系统的时钟的准确性——事实上，很可能没有一个时钟是非常准确的。

该要求足够强烈，如果出于任何原因确定时钟同步对于任何特定节点来说不可靠，我宁愿由于时钟不同步而从集群中删除节点 - 因此对于任何可疑的故障，我都会希望能够对该节点执行某种类型的受控关闭。

我很想使用 NTP 之类的东西，但根据 NTP已知问题 http://twiki.ntp.org/bin/view/Support/KnownOsIssues:

NTP 并非设计用于在虚拟机内运行。 它需要高分辨率的系统时钟，以及对时钟中断的响应时间 提供高精度服务。没有已知的虚拟机 能够满足这些要求。

尽管同一个 twiki 然后描述了解决这种情况的各种方法（例如在主机操作系统上运行 ntp），但我不相信我有能力使用 AWS 或在 horoku 上修改环境以遵守解决方法。

即使我没有在虚拟机中运行，一位拥有多年运行 ntp 经验的值得信赖的运营经理告诉我，由于本地时钟漂移每隔一段时间就会导致 ntp 可能并且会放弃同步（或者简单地得到时间错误）。这种情况并不经常发生，但确实会发生，并且随着机器的增加，发生这种情况的机会也会增加。 AFAIK，检测距离有多远需要停止 ntpd，运行查询模式命令，然后再次启动它，并且可能需要很长时间才能得到答案。

总而言之——我需要一个时钟同步，其主要目标如下：

• 在操作控制有限的虚拟机（即：“云服务提供商”）中运行良好
• 集群中所有参与者之间的时间容差约为 200 毫秒
• 能够检测坏节点并积极做出反应
• 容错（无单点故障）
• 可扩展（当你添加更多节点时，东西不会倒塌——绝对避免 n^2）
• 可以支持数百个节点
• 不应认为任何节点比任何其他节点具有更优越的时间概念
• 整个集群发生漂移（在合理范围内）是可以的——只要它一致漂移

从描述来看，似乎是伯克利算法 http://en.wikipedia.org/wiki/Berkeley_Algorithm在这里可能是正确的选择，但它已经实施了吗？

很高兴拥有：

• 最小配置（节点自动注册参与）——对于启动新节点很重要
• HTML 仪表板或（REST？）API，报告参与时钟同步的节点以及相对时间偏移量
• 漂亮的图表？

Since NTP 常见问题解答 http://twiki.ntp.org/bin/view/Support/KnownOsIssues#Section_9.2.2.具体说明了为什么 NTP 时间同步在虚拟机下无法“正常”工作，这可能是一个无法克服的问题。

大多数机器都有一个 RTC（实时时钟），在 PC 上它是您存储时间的方式，以便您可以“粗略”猜测时间，如果 ntp 不可用，一旦系统加载，就会出现“时钟的分辨率更高——这就是 NTP 设置的。

该滴答时钟会受到虚拟机漂移的影响，因为滴答可能会或可能不会以正确的间隔发生 - 您尝试使用的任何时间机制都将受到该漂移的影响。

如果机器 A 和 B 的增量为 200 毫秒，而机器 B 和 C 的增量为 200 毫秒，则 C 可能与 A 相差 400 毫秒，尝试在虚拟机上强制执行 ntp 同步可能是次优的设计。您无法控制这一点。

你最好使用像 Zeromq 这样的集中式消息系统来让每个人都与作业队列同步，这会增加开销，但依赖系统滴答时间充其量是一件狡猾的事情。有许多集群解决方案使用各种可靠的机制来考虑集群参与，以确保每个人都同步，看看 corosync 或 spread - 他们已经解决了诸如两阶段提交之类的问题。

顺便说一句，当漂移太高时 ntp“放弃”可以通过指示 ntp 将时间“猛击”到新值而不是“转换”来避免。默认情况下，ntp 将增量更新系统时间以解决其与“实时”的偏差。我忘记了如何在 ntpd 中配置它，但如果你使用 ntpdate，标志是 -B

-B      Force the time to always be slewed using the adjtime(2) system call, even if the measured 
offset is greater than +-128 ms.  The default is to step the time using settimeofday(2) if the offset 
is greater than +-128 ms.  Note that, if the offset is much greater than +-128 ms in this case, it
can take a long time (hours) to slew the clock to the correct value.  During this time, the host 
should not be used to synchronize clients.