检测数据何时发生变化

好吧，故事是这样的：

-- 我有很多特定格式的文件（相当大，大约 25GB），需要导入到数据存储中

-- 这些文件不断更新数据，有时是新的，有时是相同的数据

-- 我正在尝试找出一种算法来检测文件中特定行是否发生更改，以便最大限度地减少更新数据库所花费的时间

-- 目前的工作方式是，我每次都会删除数据库中的所有数据，然后重新导入它，但这将不再起作用，因为我需要一个项目更改时的时间戳。

-- 文件包含字符串和数字（​​标题、订单、价格等）

我能想到的唯一解决方案是：

-- 计算数据库中每一行的哈希值，将其与文件中的行的哈希值进行比较，如果不同则更新数据库

-- 保留文件的 2 个副本，以前的文件和当前的文件，并对其进行比较（这可能比更新数据库更快），并基于这些副本更新数据库。

由于数据量非常大，我现在没有选择。从长远来看，我将删除这些文件，并将数据直接推入数据库，但问题仍然存在。

任何建议将被认真考虑。

所理解的问题定义.

假设您的文件包含

ID,Name,Age
1,Jim,20
2,Tim,30
3,Kim,40

正如您所说，可以添加/更新行，因此文件变为

ID,Name,Age
1,Jim,20    -- to be discarded 
2,Tim,35    -- to be updated
3,Kim,40    -- to be discarded 
4,Zim,30    --  to be inserted 

现在的需求是通过在两个sql查询或包含两个sql语句的1个批量查询中仅插入/更新以上2条记录来更新数据库。

我正在做以下假设 here

• 您无法修改现有的文件创建过程。
• 您正在使用一些批处理[从文件读取-在内存中处理-在数据库中写入] 上传数据库中的数据。

将记录 [Name,Age] 的哈希值与 ID 存储在内存映射中，其中 ID 是键，值是哈希 [如果需要可扩展性，请使用 hazelcast ]。

您的批处理框架加载数据[再次假设将一行文件视为一条记录]，需要根据内存中映射中的 ID 检查计算的哈希值。第一次创建也可以使用批处理框架来读取文件。

 If (ID present)
--- compare hash 
---found same then discard it
—found different create an update sql 
In case ID not present in in-memory hash,create an insert sql and insert the hashvalue

您可能会使用 spring-batch 和 hazelcast 进行并行处理、块处理和内存中数据分区。

http://www.hazelcast.com/ http://www.hazelcast.com/

http://static.springframework.org/spring-batch/ http://static.springframework.org/spring-batch/

希望这可以帮助。