如何修复获取 URL 时出现的 HTTP 错误。爬行时java中的Status = 500？

我试图从评论页面抓取用户对 imdb 电影的评分： （我的数据库中的电影数量约为 600,000）。我使用jsoup来解析页面，如下所示：（抱歉，我没有在这里写完整的代码，因为它太长了）

try {
  //connecting to mysql db
  ResultSet res = st
        .executeQuery("SELECT id, title, production_year " +
                "FROM title " +
                "WHERE kind_id =1 " +
                "LIMIT 0 , 100000");
  while (res.next()){
       .......
       .......
     String baseUrl = "http://www.imdb.com/search/title?release_date=" +
            ""+year+","+year+"&title="+movieName+"" +
            "&title_type=feature,short,documentary,unknown";
    Document doc = Jsoup.connect(baseUrl)
            .userAgent("Mozilla")
            .timeout(0).get();
      .....
      ..... 
//insert ratings into database
      ...

我对数据库中的前 100 部电影、前 500 部电影以及前 2000 部电影进行了测试，效果很好。但问题是，当我测试 100,000 部电影时，我得到了这个错误：

org.jsoup.HttpStatusException: HTTP error fetching URL. Status=500,   URL=http://www.imdb.com/search/title?release_date=1899,1899&title='Columbia'%20Close%20to%20the%20Wind&title_type=feature,short,documentary,unknown
at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:449)
at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:424)
at org.jsoup.helper.HttpConnection.execute(HttpConnection.java:178)
at org.jsoup.helper.HttpConnection.get(HttpConnection.java:167)
at imdb.main(imdb.java:47)

我搜索了很多这个错误，发现这是一个服务器端错误，错误号为 5xx。

然后我决定设置一个条件，当连接失败时，它会再尝试 2 次，然后如果仍然无法连接，则不会停止并转到下一个网址。因为我是java新手，所以我尝试搜索类似的问题并在stackoverflow中阅读这些答案：

从网站提取数据时出现异常 https://stackoverflow.com/questions/12984961/exceptions-while-i-am-extracting-data-from-a-web-site

Jsoup无法连接网站时的错误处理 https://stackoverflow.com/questions/19619003/jsoup-error-handling-when-couldnt-connect-to-website?rq=1

处理连接错误和 JSoup https://stackoverflow.com/questions/10245519/handling-connection-errors-and-jsoup

但是，当我按照他们的建议尝试使用“Connection.Response”时，它告诉我“Connection.Response 无法解析为类型”。

如果有人可以帮助我，我很感激，因为我只是一个新手，我知道这可能很简单，但我不知道如何解决它。

好吧，我可以通过添加“ignoreHttpError(true)”来修复 http 错误状态 500，如下所示：

org.jsoup.Connection con = Jsoup.connect(baseUrl).userAgent("Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.21 (KHTML, like Gecko) Chrome/19.0.1042.0 Safari/535.21");
con.timeout(180000).ignoreHttpErrors(true).followRedirects(true);
Response resp = con.execute();
Document doc = null;

if (resp.statusCode() == 200) {
    doc = con.get();
......

希望可以帮助那些有同样错误的人。

然而，在爬取了22907部电影的评论页面（大约12个小时）后，我又得到了另一个错误：
“读取超时”。

我很感激任何修复此错误的建议。

将我的评论升级为答案：

Connection.Response is org.jsoup.Connection.Response

允许document仅当存在有效的 http 代码 (200) 时，才将调用分为 3 部分；Connection, Response, Document

因此，上面的代码部分被修改为：

while (res.next()){
       .......
       .......
       String baseUrl = "http://www.imdb.com/search/title?release_date=" + ""
                + year + "," + year + "&title=" + movieName + ""
                + "&title_type=feature,short,documentary,unknown";
       Connection con = Jsoup.connect(baseUrl).userAgent("Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.21 (KHTML, like Gecko) Chrome/19.0.1042.0 Safari/535.21").timeout(10000);
       Connection.Response resp = con.execute();
       Document doc = null;
        if (resp.statusCode() == 200) {
            doc = con.get();
                    ....
        }