我有一个方法尝试从多个 URL 并行下载数据,并返回一个IEnumerable
反序列化类型
该方法如下所示:
public IEnumerable<TContent> DownloadContentFromUrls(IEnumerable<string> urls)
{
var list = new List<TContent>();
Parallel.ForEach(urls, url =>
{
lock (list)
{
_httpClient.GetAsync(url).ContinueWith(request =>
{
var response = request.Result;
//todo ensure success?
response.Content.ReadAsStringAsync().ContinueWith(text =>
{
var results = JObject.Parse(text.Result)
.ToObject<IEnumerable<TContent>>();
list.AddRange(results);
});
});
}
});
return list;
}
在我的单元测试中(我存根 _httpClient 以返回一组已知的文本)我基本上得到
序列不包含元素
这是因为该方法在任务完成之前返回。
如果我在 .ContinueWith() 调用末尾添加 .Wait() ,它就会通过,但我确信我在这里滥用了 API...
如果您想要使用 HttpClient.GetAsync 方法并行下载的阻塞调用,那么您应该像这样实现它:
public IEnumerable<TContent> DownloadContentFromUrls<TContent>(IEnumerable<string> urls)
{
var queue = new ConcurrentQueue<TContent>();
using (var client = new HttpClient())
{
Task.WaitAll(urls.Select(url =>
{
return client.GetAsync(url).ContinueWith(response =>
{
var content = JsonConvert.DeserializeObject<IEnumerable<TContent>>(response.Result.Content.ReadAsStringAsync().Result);
foreach (var c in content)
queue.Enqueue(c);
});
}).ToArray());
}
return queue;
}
这将创建一组任务,每个 Url 对应一个任务,代表 GetAsync/Deserialize 操作。这是假设 Url 返回 TContent 的 Json 数组。空数组或单个成员数组可以很好地反序列化,但单个无数组对象则不行。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)