从 SQL Server 批量获取记录的最佳方法是什么

2023-11-22

Scenario:我们正在从 SQL Server 获取行到 C#.Net 控制台应用程序,并通过存储过程对从 SQL Server 检索到的数据执行操作;执行操作后,新数据将使用 C#-MongoDB-Driver 存储到 MongoDB 中。

Issue:有数十亿行。我的存储过程包含查询如下:

select * from table_name

为了计算出一些批量逻辑,没有标识列或任何日期列等。

信息:到目前为止,应用程序正在获取最多 3500 - 5000 条记录并将其存储到 MongoDB 中,然后抛出错误,如下所示:

System.Runtime.InteropServices.SEHException (0x80004005):外部组件引发异常。

Question:任何人都可以建议我一些逻辑来解决从 SQL Server 批量读取/获取的问题吗?


如果你不能使用OFFSET-FETCH在 SQL Server 2012 中,假设表有一个主键或列,可以让您唯一地标识一行,我们称其为UniqueKey,那么在 2005 年以上您可以使用ROW_NUMBER像这样...

SELECT UniqueKey, col2, col3 
FROM 
(
  SELECT UniqueKey, col2, col3, ROW_NUMBER() OVER (ORDER BY UniqueKey) AS RowNum 
  FROM YourTable
) sub
WHERE sub.RowNum BETWEEN @startRow AND @endRow
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

从 SQL Server 批量获取记录的最佳方法是什么 的相关文章

  • 类型中的属性名称必须是唯一的

    我正在使用 Entity Framework 5 并且有以下实体 public class User public Int32 Id get set public String Username get set public virtual
  • 如何从 Visual Studio 将视图导航到其控制器?

    问题是解决方案资源管理器上有 29 个项目 而且项目同时具有 ASP NET MVC 和 ASP NET Web 表单结构 在MVC部分中 Controller文件夹中有大约100个子文件夹 每个文件夹至少有3 4个控制器 视图完全位于不同
  • 从经典 ASP 调用 .Net C# DLL 方法

    我正在开发一个经典的 asp 项目 该项目需要将字符串发送到 DLL DLL 会将其序列化并发送到 Zebra 热敏打印机 我已经构建了我的 DLL 并使用它注册了regasm其次是 代码库这使得 IIS 能够识别它 虽然我可以设置我的对象
  • 如何连接重叠的圆圈?

    我想在视觉上连接两个重叠的圆圈 以便 becomes 我已经有部分圆的方法 但现在我需要知道每个圆的重叠角度有多大 但我不知道该怎么做 有人有主意吗 Phi ArcTan Sqrt 4 R 2 d 2 d HTH Edit 对于两个不同的半
  • 如何在 C++ 中标记字符串?

    Java有一个方便的分割方法 String str The quick brown fox String results str split 在 C 中是否有一种简单的方法可以做到这一点 The 增强分词器 http www boost o
  • 无限循环与无限递归。两者都是未定义的吗?

    无副作用的无限循环是未定义的行为 看here https coliru stacked crooked com view id 24e0a58778f67cd4举个例子参考参数 https en cppreference com w cpp
  • 用于 FTP 的文件系统观察器

    我怎样才能实现FileSystemWatcherFTP 位置 在 C 中 这个想法是 每当 FTP 位置添加任何内容时 我都希望将其复制到我的本地计算机 任何想法都会有所帮助 这是我之前问题的后续使用 NET 进行选择性 FTP 下载 ht
  • 人脸 API DetectAsync 错误

    我想创建一个简单的程序来使用 Microsoft Azure Face API 和 Visual Studio 2015 检测人脸 遵循 https social technet microsoft com wiki contents ar
  • C# - 当代表执行异步任务时,我仍然需要 System.Threading 吗?

    由于我可以使用委托执行异步操作 我怀疑在我的应用程序中使用 System Threading 的机会很小 是否存在我无法避免 System Threading 的基本情况 只是我正处于学习阶段 例子 class Program public
  • x:将 ViewModel 方法绑定到 DataTemplate 内的事件

    我基本上问同样的问题这个人 https stackoverflow com questions 10752448 binding to viewmodels property from a template 但在较新的背景下x Bind V
  • 如何在当前 Visual Studio 主机内的 Visual Studio 扩展中调试使用 Roslyn 编译的代码?

    我有一个 Visual Studio 扩展 它使用 Roslyn 获取当前打开的解决方案中的项目 编译它并从中运行方法 程序员可以修改该项目 我已从当前 VisualStudioWorkspace 成功编译了 Visual Studio 扩
  • 复制目录下所有文件

    如何将一个目录中的所有内容复制到另一个目录而不循环遍历每个文件 你不能 两者都不Directory http msdn microsoft com en us library system io directory aspx nor Dir
  • 如何在 Android 中使用 C# 生成的 RSA 公钥?

    我想在无法假定 HTTPS 可用的情况下确保 Android 应用程序和 C ASP NET 服务器之间的消息隐私 我想使用 RSA 来加密 Android 设备首次联系服务器时传输的对称密钥 RSA密钥对已在服务器上生成 私钥保存在服务器
  • 有没有办法让 doxygen 自动处理未记录的 C 代码?

    通常它会忽略未记录的 C 文件 但我想测试 Callgraph 功能 例如 您知道在不更改 C 文件的情况下解决此问题的方法吗 设置变量EXTRACT ALL YES在你的 Doxyfile 中
  • 为什么C++代码执行速度比java慢?

    我最近用 Java 编写了一个计算密集型算法 然后将其翻译为 C 令我惊讶的是 C 的执行速度要慢得多 我现在已经编写了一个更短的 Java 测试程序和一个相应的 C 程序 见下文 我的原始代码具有大量数组访问功能 测试代码也是如此 C 的
  • 当文件流没有新数据时如何防止fgets阻塞

    我有一个popen 执行的函数tail f sometextfile 只要文件流中有数据显然我就可以通过fgets 现在 如果没有新数据来自尾部 fgets 挂起 我试过ferror and feof 无济于事 我怎样才能确定fgets 当
  • C++ 中的参考文献

    我偶尔会在 StackOverflow 上看到代码 询问一些涉及函数的重载歧义 例如 void foo int param 我的问题是 为什么会出现这种情况 或者更确切地说 你什么时候会有 对参考的参考 这与普通的旧参考有何不同 我从未在现
  • Spark.read 在 Databricks 中给出 KrbException

    我正在尝试从 databricks 笔记本连接到 SQL 数据库 以下是我的代码 jdbcDF spark read format com microsoft sqlserver jdbc spark option url jdbc sql
  • 指针和内存范围

    我已经用 C 语言编程有一段时间了 但对 C 语言还是很陌生 有时我对 C 处理内存的方式感到困惑 考虑以下有效的 C 代码片段 const char string void where is this pointer variable l
  • 从 mvc 控制器使用 Web api 控制器操作

    我有两个控制器 一个mvc控制器和一个api控制器 它们都在同一个项目中 HomeController Controller DataController ApiController 如果我想从 HomeController 中使用 Dat

随机推荐

  • 将 C99 代码转换为 C89

    如何将c99源代码自动转换为c89 我想用Visual C 编译c99库 但MSVC只支持c89 许多更改只是语法上的 例如结构初始值设定项 您可以编写一个工具来自动 de c99 代码 这个预处理器存在吗 基于 Clang 的源到源转换器
  • 如何使用 php 检查 $_GET['id'] 是否已设置且不为空

    这是一段php代码 if isset GET id do something else redirect index php redirect is a function 现在 如果设置了 id 例如 index php id 12 则执行
  • 在 MATLAB 中显示 CPU 内核利用率

    无论如何 任何功能等 都要显示CPU cores utilization in MATLAB in a GUI喜欢我们的Task Manager窗口 性能选项卡 Thanks 据我所知 没有任何 Matlab 函数可以在进程使用级别访问系统
  • 鼠标焦点没有轮廓,但键盘焦点仍有轮廓?

    当页面的元素获得焦点 例如链接或按钮 时 它们会显示轮廓 我希望此轮廓仅在键盘 而不是鼠标 赋予该元素焦点时显示 是否可以通过 JavaScript 确定该元素如何获得焦点 如果是这样 我如何控制浏览器自己的大纲功能 浏览器使用CSSout
  • 无法在 php 中解码 JSON 字符串

    我有以下 JSON 字符串 我尝试使用 php json decode 但 postarray 进行解码 总是 NULL 不明白这是为什么 在 Debian 5 0 Linux 上运行 php 客户端 API 版本 gt 5 0 51a J
  • 如何使用更短的名称调用 Perl 类?

    我正在编写一个 Perl 模块Galaxy SGE MakeJobSH与面向对象 我想用MakeJobSH gt new 代替Galaxy SGE MakeJobSH gt new 或其他一些简称 我怎样才能做到这一点 您可以建议您的用户使
  • ListView 在滚动期间更改项目

    我正在使用自定义 ArrayAdapter 来实现 ListFragment 来填充列表 每个行项目都有一个 ImageView 和三个 TextView 数据通过 XML 进行解析 图像进行异步加载 我遇到的问题是 ListView 填充
  • 为什么我在 Windows SDK 中找不到 cfgmgr32.lib?

    我正在尝试使用配置管理器 API 例如CM Get Device ID 文档说要链接到cfgmgr32 lib 但是 当我这样做时 我从链接器收到一条错误消息 错误 1 错误 LNK1104 无法打开文件 cfgmgr32 lib 我找不到
  • 如何在 Android 中使用系统提供的图标(例如 Expander_ic_maximized)

    你能告诉我如何使用android的图标expander ic maximized吗 我发现在frameworks base core res res drawable hdpi expanderic minimized 9 png 这是我的
  • 给元素添加点击事件?

    如何将单击事件分配给任意范围 eg lt span id foo gt foo lt span gt 在 ST2 应用程序中 我有一个简单的例子来说明我想做的事情的想法 在示例中 我写了字母A B C我想告诉用户他们点击了哪个字母 这是一张
  • 如何在 SharedPreferences 中存储整数数组?

    我想使用保存 调用整数数组共享首选项 这可能吗 您可以尝试这样做 将整数放入字符串中 用字符 例如逗号 分隔每个整数 然后将它们保存为字符串 SharedPreferences prefs getPreferences MODE PRIVA
  • 如何在 Swift 3 中声明具有新优先级组的指数/幂运算符?

    Xcode 8 beta 6 的 Swift 3 发生了变化 现在我无法像以前那样声明我的操作符 infix operator public func radix Double power Double gt Double return p
  • 无法让自定义存储库工作

    我正在遵循 Symfony2 教程 第 4 章 但我在检索时遇到问题getLatestBlogs我的自定义存储库中的方法 我在 Linux Mint 上使用 Symfony 2 2 和 Phar 我自己创建了存储库 但我很困惑 我收到此错误
  • 如何将焦点设置到已经处于运行状态的应用程序?

    我开发了一个 C Windows 应用程序并创建了它的 exe 我想要的是 当我尝试运行应用程序时 如果它已经处于运行状态 则激活该应用程序实例 否则启动新应用程序 这意味着我不想多次打开同一个应用程序 使用以下代码将焦点设置到当前应用程序
  • 估计由一组点生成的图像面积(Alpha 形状??)

    I have a set of points in an example ASCII file showing a 2D image I would like to estimate the total area that these po
  • MySQL“IN”子句中的逗号分隔值

    我的一个表中有一个列 其中存储多个用逗号分隔的 id 有没有一种方法可以在查询的 IN 子句中使用此列的值 专栏 city 的值如下6 7 8 16 21 2 我需要用作 select from table where e ID in Se
  • 执行 argc=0 的进程

    是否可以执行 argc 0 的进程 我需要执行一个程序 但它的 argc 等于 0 非常重要 有没有办法做到这一点 我尝试在命令行中放入 2 32 个参数 这样看起来就好像 argc 0 但参数数量有最大限制 您可以编写一个程序来调用exe
  • 如何使用单个锚标记打开多个链接

    所以这是一个简单但有趣的问题 如何使用单个链接打开多个链接 a 元素 使用它只会打开第一个href a href http www yahoo com target blank Click Here a 你当然可以尝试这个 Demo a h
  • 如何避免这种非常繁重的查询会减慢应用程序的速度?

    我们有一个在生产环境中运行的 Web 应用程序 有时客户抱怨应用程序变得多么慢 当我们检查应用程序和数据库的情况时 我们发现这个 宝贵 的查询正在由多个用户同时执行 从而对数据库服务器造成极高的负载 SELECT NULL AS table
  • 从 SQL Server 批量获取记录的最佳方法是什么

    Scenario 我们正在从 SQL Server 获取行到 C Net 控制台应用程序 并通过存储过程对从 SQL Server 检索到的数据执行操作 执行操作后 新数据将使用 C MongoDB Driver 存储到 MongoDB 中