c# – Parallel.ForEach中的WebClient.DownloadFile()

这段代码工作正常:

Parallel.ForEach(photos, item =>
            {
                WebClient webClient = new WebClient();
                webClient.DownloadFile(item.src_big, "C:\\pic" + item.ID + ".jpg");
            });

虽然此代码抛出“WebClient请求期间发生异常”. :

foreach (Photo p in photos)
        {
            Task.Factory.StartNew(() =>
                {
                    WebClient webClient = new WebClient();
                    webClient.DownloadFile(p.src_big, "C:\\pic" + p.ID + ".jpg");
                });
        }

我有两个问题:

1)在第一个代码中,我使用多个WebClient对象进行下载.第二个代码也是如此,为什么我会得到异常呢?

2)我正在尝试这两个版本来确定什么是下载照片的最快方式,在我的情况下从Facebook.我想知道是否有另一种方法更快,也许WebRequest.Create()?

在第二种情况下你是 closing over the loop variable – 试试这个:

foreach (Photo p in photos)
        {
            Photo photo = p;
            Task.Factory.StartNew(() =>
                {
                    WebClient webClient = new WebClient();
                    webClient.DownloadFile(photo.src_big, "C:\\pic" + photo.ID + ".jpg");
                });
        }

Parallel.ForEach()也是同步的 – 在执行之后,所有文件都已下载.另一方面,任务可能仍在进行中,因此您必须等待它们完成,可能这样的事情更适合第二种情况:

var tasks = photos.Select(  p => Task.Factory.StartNew(() =>
        {
            using(WebClient webClient = new WebClient())
            webClient.DownloadFile(p.src_big, string.Format(@"C:\pic{0}.jpg",p.ID));
        })).ToArray();
Task.WaitAll(tasks);

正如你所看到的,在这种情况下,Parallel.ForEach()是首选,因为语法非常简洁,它们都使用线程池,所以选择你可以使用的最简单的选项,特别是因为你不需要增加的复杂性.

另外我认为你不会使用WebRequest更快地获取数据 – 大部分延迟都是由网络/互联网造成的,而不是你选择的那两个 – 这就是我选择更简单的代码,这肯定是使用WebClient.

总结一下:我会选择带有WebClient的Parallel.ForEach(),选项1.

相关文章
相关标签/搜索