go 中 ioutil.ReadAll 的替代方案？

对于我正在制作的程序，此函数作为 for 循环中的 goroutine 运行，具体取决于传入的 url 数量（没有设定数量）。

func makeRequest(url string, ch chan<- string, errors map[string]error){
  res, err := http.Get(url)
  if err != nil {
    errors[url] = err
    close(ch)
    return
  }

  defer res.Body.Close()
  body, _ := ioutil.ReadAll(res.Body)
  ch <- string(body)
}

必须使用响应的整个正文，因此 ioutil.ReadAll 似乎非常适合，但对可以传入的 url 数量没有限制，而且 ReadAll 的性质是它全部存储在内存中，因此开始感觉不那么重要就像金票一样。我对 Go 相当陌生，所以如果你决定回答，如果你能在你的解决方案背后给出一些解释，我将不胜感激！

当我学习如何使用 Go 时，我得到的一个见解是，ReadAll 对于大读者来说通常效率低下，并且就像您的情况一样，它会受到非常大的任意输入的影响，并且可能会泄漏内存。当我开始时，我曾经这样进行 JSON 解析：

data, err := ioutil.ReadAll(r)
if err != nil {
    return err
}
json.Unmarshal(data, &v)

然后，我学到了一种更有效的解析 JSON 的方法，那就是简单地使用Decoder type.

err := json.NewDecoder(r).Decode(&v)
if err != nil {
    return err
}

这不仅更简洁，而且在内存和时间方面都更加高效：

• 解码器不必分配一个巨大的字节片来容纳数据读取 - 它可以简单地重用一个微小的缓冲区，该缓冲区将用于Read方法获取所有数据并解析它。这节省了大量的分配时间并消除了 GC 的压力
• JSON 解码器可以在第一个数据块进入时立即开始解析数据 - 它不必等待所有内容完成下载。

现在，当然你的问题与 JSON 无关，但这个例子很有用，可以说明如果你可以使用Read直接一次解析数据块，就可以了。特别是对于 HTTP 请求，解析比读取/下载更快，因此这可能会导致解析的数据在请求正文完成到达时几乎立即准备就绪。

就您而言，您目前似乎并未实际对数据进行任何处理，因此没有太多建议可以专门帮助您。但是io.Reader和io.Writer接口在 Go 中相当于 UNIX 管道，因此您可以在许多不同的地方使用它们：

将数据写入文件：

f, err := os.Create("file")
if err != nil {
    return err 
}
defer f.Close()

// Copy will put all the data from Body into f, without creating a huge buffer in memory
// (moves chunks at a time)
io.Copy(f, resp.Body)

将所有内容打印到标准输出：

io.Copy(os.Stdout, resp.Body)

将响应的正文通过管道传输到请求的正文：

resp, err := http.NewRequest("POST", "https://example.com", resp.Body)