Google Apps 抓取脚本会定期运行，直到提取所有网站的内页吗？

我已经完成了一个抓取脚本，通过爬行逐一抓取任何网站（要输入的网址）的内部页面，获取其他内部网址并继续获取所有页面并提取其纯文本（剥离的html）。 该脚本运行良好，但 google 脚本运行限制为 6 分钟，因此对于大型网站，它无法运行（6 分钟后停止，并且 google 文档文件中没有输出）。

function onOpen() { 
    DocumentApp.getUi() // Or DocumentApp or FormApp.
      .createMenu('New scrape web docs')
      .addItem('Enter Url', 'showPrompt')
      .addToUi(); 
}

function showPrompt() { 
  var ui = DocumentApp.getUi();   
  var result = ui.prompt(
      'Scrape whole website into text!',
      'Please enter website url (with http(s)://):',
      ui.ButtonSet.OK_CANCEL); 

// Process the user's response.
  var button = result.getSelectedButton();
  var url = result.getResponseText();  
  var links=[];  
  var base_url = url; 

  if (button == ui.Button.OK) 
  {     
      // gather initial links 
      var inner_links_arr = scrapeAndPaste(url, 1); // first run and clear the document
      links = links.concat(inner_links_arr); // append an array to all the links
      var new_links=[]; // array for new links  
      var processed_urls =[url]; // processed links
      var link, current;

      while (links.length) 
      {  
         link = links.shift(); // get the most left link (inner url)
         processed_urls.push(link);
         current = base_url + link;  
         new_links = scrapeAndPaste(current, 0); // second and consecutive runs we do not clear up the document
         //ui.alert('Processed... ' + current                  + '\nReturned links: ' + new_links.join('\n') );
         // add new links into links array (stack) if appropriate
         for (var i in new_links){
           var item = new_links[i];
           if (links.indexOf(item) === -1 && processed_urls.indexOf(item) === -1)
               links.push(item);
         }    
     }
  } 
}

function scrapeAndPaste(url, clear) { 
  var text; 
  try {
    var html = UrlFetchApp.fetch(url).getContentText();
    // some html pre-processing 
    if (html.indexOf('</head>') !== -1 ){ 
       html = html.split('</head>')[1];
    }
    if (html.indexOf('</body>') !== -1 ){ // thus we split the body only
       html = html.split('</body>')[0] + '</body>';
    }       
   // fetch inner links
    var inner_links_arr= [];
    var linkRegExp = /href="(.*?)"/gi; // regex expression object 
    var match = linkRegExp.exec(html);
    while (match != null) {
      // matched text: match[0]
      if (match[1].indexOf('#') !== 0 
       && match[1].indexOf('http') !== 0 
       //&& match[1].indexOf('https://') !== 0  
       && match[1].indexOf('mailto:') !== 0 
       && match[1].indexOf('.pdf') === -1 ) {
         inner_links_arr.push(match[1]);
      }    
      // match start: match.index
      // capturing group n: match[n]
      match = linkRegExp.exec(html);
    }

    text = getTextFromHtml(html);
    outputText(url, text, clear); // output text into the current document with given url
    return inner_links_arr; //we return all inner links of this doc as array  

  } catch (e) { 
    MailApp.sendEmail(Session.getActiveUser().getEmail(), "Scrape error report at " 
      + Utilities.formatDate(new Date(), "GMT", "yyyy-MM-dd  HH:mm:ss"), 
      "\r\nMessage: " + e.message
      + "\r\nFile: " +  e.fileName+ '.gs' 
      + "\r\nWeb page under scrape: " + url
      + "\r\nLine: " +  e.lineNumber); 
    outputText(url, 'Scrape error for this page cause of malformed html!', clear);   
  } 
}

function getTextFromHtml(html) {
  return getTextFromNode(Xml.parse(html, true).getElement());
}
function getTextFromNode(x) {
  switch(x.toString()) {
    case 'XmlText': return x.toXmlString();
    case 'XmlElement': return x.getNodes().map(getTextFromNode).join(' ');
    default: return '';
  }
}

function outputText(url, text, clear){
  var body = DocumentApp.getActiveDocument().getBody();
  if (clear){ 
    body.clear(); 
  }
  else {
    body.appendHorizontalRule();       
  }
  var section = body.appendParagraph(' * ' + url);
  section.setHeading(DocumentApp.ParagraphHeading.HEADING2);
  body.appendParagraph(text); 
} 

我的想法是使用额外的电子表格来保存抓取的链接并自动在常规基础上重新启动脚本（使用 ScriptApp.newTrigger）。但也出现了一些障碍：

1. 当通过触发器调用时，脚本的运行时间仅为 30 秒。
2. 如果从触发器运行，用户无法与脚本交互！我应该再次使用电子表格单元格来输入初始基本网址吗？
3. 如何在脚本因运行限制时间（30 秒或 6 分钟）而停止之前将抓取的内容刷新到 google doc 文件中？
4. 如果所有站点链接都已处理，如何通过触发器停止脚本调用？

为了方便起见，您可以单独回答每个问题。

是否有更好的解决方案来爬行网站页面、抓取并将输出保存为一个文本文件？

1. AFAIK，您需要在触发器之间至少间隔 6 分钟，然后它将再运行 6 分钟。

2. 您可以一次请求所有 URL 并将它们保存在属性中，然后在触发器中调用这些属性。

3. 您可以定期检查时间，知道它只会运行 6 分钟，如果达到 5 分钟，则粘贴所有内容然后设置触发器。

4. 将当前需要处理的链接保存在属性中，然后当触发器调用脚本时，它只检索需要处理的 URL。

您可能无法将整个网站保存在属性中，因为它有 100kb 的限制，但您可以将每个页面拆分为不同的属性，不知道它是否会达到这种限制。

另一种替代方法是使用 HTMLService 或 setTimeout 使检索调用异步运行。我没有在 GAS 脚本中使用 setTimeout，但在 HTML Javascript 中效果很好。