程序员经验分享-hwhale

从远程服务器检索数十亿行？

2023-11-22

我正在尝试从远程 SQL Server 检索大约 2000 亿行。为了优化这一点，我将查询限制为仅使用索引列作为过滤器，并仅选择列的子集以使查询如下所示：

SELECT ColA, ColB, ColC FROM <Database> WHERE RecordDate BETWEEN '' AND ''

但看起来除非我将查询限制在几个小时的时间窗口内，否则查询在所有情况下都会失败，并出现以下错误：

OLE DB provider "SQLNCLI10" for linked server "<>" returned message "Query timeout expired".
Msg 7399, Level 16, State 1, Server M<, Line 1
The OLE DB provider "SQLNCLI10" for linked server "<>" reported an error. Execution terminated by the provider because a resource limit was reached.
Msg 7421, Level 16, State 2, Server <>, Line 1
Cannot fetch the rowset from OLE DB provider "SQLNCLI10" for linked server "<>".

由于执行查询计划需要时间，因此超时可能是一个问题。由于我无法控制服务器，我想知道除了简单的方法之外是否还有一种检索此数据的好方法SELECT我在用。我可以使用任何 SQL Server 特定技巧吗？也许告诉远程服务器对数据进行分页而不是发出多个查询或其他什么？关于如何改进这个问题有什么建议吗？


这更像是一种工作SSIS适合.即使像 ReadFromOleDbSource->WriteToOleDbSource 这样的简单流程也可以处理此问题，为您创建必要的批处理。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

sql

sqlserver

sqlserver2008

从远程服务器检索数十亿行？ 的相关文章

  • 如何授予所有表的 REFERENCES 权限

    我必须授予REFERENCES登录权限说sql login 我可以给予资助REFERENCES对单个表的权限 例如 GRANT REFERENCES ON Mytable TO sql login 有什么办法可以授予REFERENCES允许

  • 模式更新后 jOOQ 生成的类的运行时验证？

    我用org jooq util DefaultGenerator在构建过程中生成 jOOQ 类来表示我的数据库模式 当应用程序运行时 架构预计会在应用程序不知情的情况下发生更改 此类更改可能与已生成的代码兼容 也可能不兼容 如何在运行时检测

  • 插入多行并返回主键时 Sqlalchemy 的奇怪行为

    插入多行并返回主键时 我注意到一些奇怪的事情 如果我在 isert 查询中添加使用参数值 我会得到预期的行为 但是当将值传递给游标时 不会返回任何内容 这可能是一个错误还是我误解了什么 我的sqlachemy版本是0 9 4 下面如何重现错

  • sql查询将两列与一列连接起来

    我在 MS Access 2010 中有 2 个表 如下所示 USERS u id u name LOAN l id l from ref users u id l to ref users u id l amount Users u id

  • 根据表sql中的行替换字符串中的字符

    我需要用一些映射的字符替换字符串中的字符列表 我有一个表 dbo CharacterMappings 有 2 列 CharacterToFilter 和 ReplacementCharacter 假设这个表中有3条记录 Filter Rep

  • Scrapy - 如何抓取网站并将数据存储在 Microsoft SQL Server 数据库中？

    我正在尝试从我们公司创建的网站中提取内容 我在 MSSQL Server 中为 Scrapy 数据创建了一个表 我还设置了 Scrapy 并配置了 Python 来抓取和提取网页数据 我的问题是 如何将Scrapy爬取的数据导出到我本地的M

  • SQL服务器事务

    我需要了解sql server事务 我浏览了谷歌上的一些文章 但我什么也没理解 谁能帮我 您可以通过写入显式启动事务BEGIN TRANSACTION 您可以通过运行来结束事务COMMIT TRANSACTION 之前COMMIT运行时 受

  • 在 SQL Server 中处理日期

    我正在开发一个 ASP NET 网站 我从网页获取日期 然后根据用户输入我想从 SQL Server 数据库获取结果 使用存储过程 问题是我只能从用户界面获取这种格式的日期2016 10 08这是字符串类型 但在数据库中 我有一个类型为da

  • 将 UUID 存储为 base64 字符串

    我一直在尝试使用 UUID 作为数据库键 我希望占用尽可能少的字节数 同时仍然保持 UUID 表示形式的可读性 我认为我已经使用 base64 将其减少到 22 个字节 并删除了一些尾随的 这些 对于我的目的来说似乎没有必要存储 这种方法有

  • 分层查询

    我希望我能够解释困扰我的问题 我有以下分层数据集 这只是 34K 记录的子集 PARENT ID CHILD ID EXAM TUDA12802 TUDA12982 N TUDA12982 TUDA12984 J TUDA12984 TUD

  • Kerberos 双跳

    我们遇到了臭名昭著的 Kerberos 双跳问题 这是一个全新的域 是从以前使用模拟和委派的另一个提供商迁移而来的 我们已将操作系统升级到最新的 SQL 服务器 2017 WPF 应用程序 使用域凭据 gt Web 服务 IIS 10 上的

  • 使用 JSON 参数的 Postgres 批量 INSERT 函数

    这是一个plpgsqlpostgres 的函数9 6 它试图INSERT一行 如果插入没有失败 由于违反键约束 那么它会运行更多命令 CREATE FUNCTION foo int text text RETURNS void AS BEG

  • 避免连接失败时出现空指针

    我有我的域类 带有命名查询 class Atendimento implements Serializable Funcionario funcionario static mapping funcionario column FUNCOD

  • Mysql 中 UNION 子句的替代方案

    我有两张桌子 表 a 表 b table a ID 1 2 3 4 5 7 table b ID 2 3 4 5 6 我必须得到这样的输出而无需UNION命令 ID 1 2 3 4 5 6 7 注意 我有一个联合解决方案 select fr

  • 独立对列进行排序，使得所有空值都位于每列的最后

    这是一个名为的示例表animal name color fox brown fox red dog gold 现在 我想要的是这样的结果 fox dog brown gold red 名称应该是结果的列 不同颜色值作为行 我的第一个想法是

  • sql server 按组排名

    问题看似简单 但我却无法理解 这是针对 sql 服务器的 what I have in a table What I need as a output cksum id cksum id 2162514679 204 2162514679

  • 如何在存储过程中实现 sql 搜索功能 (Sql Server 2008)

    我需要编写一个存储过程 该过程将使用 sql server 2008 根据可选参数搜索表 将会有两种模式 基本搜索模式 我们只传递一些文本 高级搜索模式 使用可选参数而不使用 SearchText 为了进行测试 我使用 AdventureW

  • 在 Sql Server 中转换为日期时间 MM/dd/yyyy HH:mm:ss

    如何将给定的日期格式转换为MM dd yyyy HH mm ss 我尝试了下面这个但没有实现 谁能帮我 SELECT CONVERT VARCHAR 20 GETDATE 120 SQL Server 2005及以上版本支持 SELECT

  • 如何从 PostgreSQL 中的时间戳列值提取一天中的时间（或小时）？

    我正在尝试从 PostgreSQL 中的 时间戳 列中提取一天中的时间 这是我的做法 但是 太糟糕了 知道如何做得更好吗 SELECT date part hour date demande text hours date part min

  • 在 SQL 数据库中存储“列表”的最正确方法是什么？

    因此 我读了很多关于如何将多个值存储到一个列中是一个坏主意 并且违反了数据标准化的第一条规则 令人惊讶的是 这不是 不要谈论数据标准化 所以我需要一些帮助 目前我正在为我工 作的地方设计一个 ASP NET 网页 我想根据此人所属的 Act

随机推荐

  • 如何在flutter中获取唯一的设备ID？

    在 Android 中我们有 Settings Secure ANDROID ID 我不知道 iOS 的等效项 有没有flutter插件或者一种方法可以在flutter中获取Android和IOS的唯一设备ID 空安全代码 Use 设备信息

  • UML 图表在“现实世界”中使用的频率如何？ [关闭]

    Closed 这个问题是基于意见的 目前不接受答案 几乎我的每一门编程课程都使用了 UML 但没有人真正解释过它何时何地可以在专业环境中使用 是否对项目中的每个文件都执行了此操作 或者是否有一些您何时需要使用它的经验法则 另外 它更常见的是

  • 如何在 Javascript 中检测 ALT 键被按下？

    We are creating a web user interface that looks like a desktop window Now we need to handle the Alt key When Alt key is

  • 如何在 apollo 客户端中将 Mutations 链接在一起

    我的状态中存储了一堆信息 我需要使用突变将其传递到我的 graphQL 服务器 但我需要在调用下一个突变之前使用每个突变的结果 因为我需要 在我的数据库中创建一个新对象 使用为该对象生成的 id 创建另一个对象 修改原对象 存储第二个对象生

  • 使用python通过串口发送十六进制

    这个周末我要做一个小项目 我有一个太阳能电池逆变器 丹佛斯 ULX 3600i 我将尝试将其连接到我的 Linux 机器 看看我是否可以从中获取数据 创建多少能量 例如统计数据 其上有一个用于RJ45连接的输入 但带有RS485 我用电缆通

  • 密度图下的面积不等于 1

    我正在尝试使用 ggplot 绘制概率密度图 我的问题是曲线下的面积不等于一 感谢建议 示例图表 生成此图表的代码如下 Y 轴看起来像是小型垃圾箱的计数 而不是落入该垃圾箱的概率 示例代码here 是我在准备此图表时借鉴的来源之一 示例代码

  • Spring JavaConfig：为自定义 Servlet 添加映射

    在基于 javaconfig 的 Spring 4 0 项目中 如何将某个 URL 的映射添加到除 Spring DispatcherServlet 之外的 Servlet 我的情况是 我想使用 H2 数据库中的 h2console 该数据

  • 尝试了解编写 Python/C++ 混合体的链接过程

    我想开始更多地了解如何使用 SWIG 和其他方法来连接 Python 和 C 首先 我想编译这个简单的程序另一个帖子 include

  • Android，前置和后置摄像头方向，横向

    在我的相机应用程序中 您可以在前置摄像头和后置摄像头之间切换 当我用后置摄像头拍照时 图片与预览所示相同 但是当我切换到前置摄像头时 图片是镜像的 我认为这与前置和后置摄像头处于横向模式有关 我已经尝试了几乎所有给出的答案 如果有人能指出我

  • 传递给 Illuminate\Auth\Guard::login() 的参数 1 必须实现接口 Illuminate\Auth\UserInterface，给定 open 为 null：

    我使用 OAuth2 执行 Facebook 登录 然后使用 Laravel 4 的内置身份验证系统让用户在重新访问时重新登录 对于大多数用户来说 我认为我所拥有的没有任何问题 但对于一名用户来说 他在登录时看到以下错误 ErrorExce

  • 从 Grails 中的布局视图访问模型

    我在 Grails 中使用布局支持 sitemesh 效果很好 我想调整我的布局 使其取决于用户是否登录 我的 grails app views layouts main gsp 包含以下代码

  • 如何使用 awk 将带标题的新列添加到 csv

    我在处理 CSV 的 bash 脚本中使用了一些 awk awk 这样做 ORIG FILE score model csv NEW FILE updates score model csv awk v d 2017 01 F BEGIN

  • Python .split() 不带 'u

    在Python中 如果我有一个像这样的字符串 a Hello to everybody 我也这么做 a split 然后我得到 u Hello u to u everybody 这只是一个例子 我怎样才能得到一个简单的列表而不让你烦恼 Th

  • 如何将对象传递给公开的 luaj 函数？

    我正在尝试使用 Luaj java 构建一个控制器 我有以下java类 public class Duck public void talk System out println Duck quacks public void walk S

  • 检测溢出中的滚动尝试：隐藏页面？

    我想检测用户何时尝试在我的页面上向上或向下滚动 但由于我不想允许实际滚动 所以我设置了一个溢出 隐藏主体 代码是这样的 html body css overflow hidden window scroll function event c

  • 获取所有元素的触发事件

    为了提供一些背景信息 我正在进行一项专注于数字营销和用户体验的研究 为了进行研究 我必须能够从 UI 中的每个组件获取事件日志 这样我就能够创建可用性模式的数据集 要在网络界面中执行此操作 例如使用 JavaScript 这非常简单 win

  • 关于将“uint8”转换为“int8”的困惑

    我想转换uint8 to int 所以我写了一个const0xfc 并尝试使用int8 0xfc 来转换它 但是代码会引发错误 package main import fmt func main a int8 0xfc compile er

  • 使用 underscore.js 过滤多维数组

    我有一个数组event称为的对象events Each event has markets 一个数组包含market对象 这里还有另一个数组叫做outcomes 包含outcome对象 我想使用 Underscore js 或其他方法来查找

  • 解码 json 并迭代 django 模板中的项目

    您好 我正在使用 simplejson 导入一些 json 然后解码以在 django 模板中使用 这是解码后的 json u ServerID 1 u Cache u CacheBusted False u FromCache True

  • 从远程服务器检索数十亿行？

    我正在尝试从远程 SQL Server 检索大约 2000 亿行 为了优化这一点 我将查询限制为仅使用索引列作为过滤器 并仅选择列的子集以使查询如下所示 SELECT ColA ColB ColC FROM

热门标签