我在服务结构有状态服务中有一本可靠的字典。我有一个简单的 linq 表达式。
我正在使用 Ix-Async 包来构建异步枚举。
using (ITransaction tx = this.StateManager.CreateTransaction())
{
var result = (await customers.CreateLinqAsyncEnumerable(tx))
.Where(x => x.Value.NameFirst != null && x.Value.NameFirst.EndsWith(n, StringComparison.InvariantCultureIgnoreCase))
.Select(y => y.Value);
return await result.ToList();
}
数据分为 2 个分区,每个分区中约有 75,000 条记录。我使用 Int64 范围作为分区键。在上面的代码中,“Result.ToList()”为每个分区执行大约需要 1 分钟。另一个奇怪的事情是,实际结果是空的!在 sql server 中运行的相同 sql 返回客户名字以“c”结尾的行。但是,这不是重点。我最关心的是“ReliableDictionary”linq 查询的性能。
Regards
可靠字典定期从内存中删除最近最少使用的值。这是为了启用
- 大型可靠词典
- 更高的密度:每个副本的可靠集合密度更高,每个节点的副本密度更高。
代价是,这会增加读取延迟:需要磁盘 IO 来检索未缓存在内存中的值。
有几个选项可以降低枚举延迟。
1) 关键过滤枚举:您可以将要在查询中使用的字段移至 ReliableDictionary 的 TKey(上例中的 NameFirst)。这将允许您使用创建枚举异步 https://learn.microsoft.com/en-us/dotnet/api/microsoft.servicefabric.data.collections.ireliabledictionary-2#Microsoft_ServiceFabric_Data_Collections_IReliableDictionary_2_CreateEnumerableAsync_Microsoft_ServiceFabric_Data_ITransaction_System_Func__0_System_Boolean__Microsoft_ServiceFabric_Data_Collections_EnumerationMode_接受关键过滤器的过载。键过滤器允许 Reliable Dictionary 避免从磁盘中检索与查询不匹配的键的值。这种方法的一个限制是 TKey(因此其中的字段)无法更新。
2) 使用通知的内存二级索引: 可靠的词典通知 https://learn.microsoft.com/en-us/azure/service-fabric/service-fabric-reliable-services-notifications可用于构建任意数量的二级索引。您可以构建一个二级索引,将所有值保留在内存中,从而交换内存资源以提供更低的读取延迟。此外,由于您可以完全控制二级索引,因此您可以保持二级索引有序(例如,通过示例中的 NameFirst 的反向)。
我们还考虑使 Reliable Dictionary 的内存中 TValue 扫描策略可配置。这样,如果读取延迟是您的首要任务,您将能够配置可靠字典以将所有值保留在内存中。
由于在您的场景中,枚举的大部分时间都花在磁盘 IO 上,因此您还可以从使用您的自定义序列化器 https://learn.microsoft.com/en-us/dotnet/api/microsoft.servicefabric.data.ireliablestatemanager?redirectedfrom=MSDN#Microsoft_ServiceFabric_Data_IReliableStateManager_TryAddStateSerializer__1_Microsoft_ServiceFabric_Data_IStateSerializer___0__这可以减少磁盘和网络占用空间。
谢谢你的问题。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)