什么是NoSQL,为什么要使用NoSQL?

2023-11-05

详见: 什么是NoSQL,为什么要使用NoSQL?_曲健磊的个人博客的博客-CSDN博客_nosql

https://baike.so.com/doc/5569749-5784951.html

1 为什么用 NoSQL?

1.1 单机 MySQL 的美好时代

在90年代,一个网站的访问量一般都不大,用单个数据库完全可以轻松应付。 
在那个时候,更多的都是静态网页,动态交互类型的网站不多。

上述架构下,我们来看看数据存储的瓶颈是什么?

DAL : Data Access Layer(数据访问层 – Hibernate,MyBatis)

数据量的总大小一个机器放不下时。
数据的索引(B+ Tree)一个机器的内存放不下时。
访问量(读写混合)一个实例不能承受。
如果满足了上述1 or 3个时,只能对数据库的整体架构进行重构。

1.2 Memcached(缓存)+MySQL+垂直拆分
后来,随着访问量的上升,几乎大部分使用MySQL架构的网站在数据库上都开始出现了性能问题,web程序不再仅仅专注在功能上,同时也在追求性能。程序员们开始大量的使用缓存技术来缓解数据库的压力,优化数据库的结构和索引。开始比较流行的是通过文件缓存来缓解数据库压力,但是当访问量继续增大的时候,多台web机器通过文件缓存不能共享,大量的小文件缓存也带了了比较高的IO压力。在这个时候,Memcached就自然的成为一个非常时尚的技术产品。

Memcached作为一个独立的分布式的缓存服务器,为多个web服务器提供了一个共享的高性能缓存服务,在Memcached服务器上,又发展了根据hash算法来进行多台Memcached缓存服务的扩展,然后又出现了一致性hash来解决增加或减少缓存服务器导致重新hash带来的大量缓存失效的弊端。

1.3 Mysql主从读写分离
由于数据库的写入压力增加,Memcached只能缓解数据库的读取压力。读写集中在一个数据库上让数据库不堪重负,大部分网站开始使用主从复制技术来达到读写分离,以提高读写性能和读库的可扩展性。Mysql的master-slave模式成为这个时候的网站标配了。

1.4 分库分表+水平拆分+mysql集群
在Memcached的高速缓存,MySQL的主从复制,读写分离的基础之上,这时MySQL主库的写压力开始出现瓶颈,而数据量的持续猛增,由于MyISAM在写数据的时候会使用表锁,在高并发写数据的情况下会出现严重的锁问题,大量的高并发MySQL应用开始使用InnoDB引擎代替MyISAM。

ps:这就是为什么 MySQL 在 5.6 版本之后使用 InnoDB 做为默认存储引擎的原因 – MyISAM 写会锁表,InnoDB 有行锁,发生冲突的几率低,并发性能高。

同时,开始流行使用分表分库来缓解写压力和数据增长的扩展问题。这个时候,分表分库成了一个热门技术,是面试的热门问题也是业界讨论的热门技术问题。也就在这个时候,MySQL推出了还不太稳定的表分区,这也给技术实力一般的公司带来了希望。虽然MySQL推出了MySQL Cluster集群,但性能也不能很好满足互联网的要求,只是在高可靠性上提供了非常大的保证。

1.5 MySQL的扩展性瓶颈
MySQL数据库也经常存储一些大文本字段,导致数据库表非常的大,在做数据库恢复的时候就导致非常的慢,不容易快速恢复数据库。比如1000万4KB大小的文本就接近40GB的大小,如果能把这些数据从MySQL省去,MySQL将变得非常的小。关系数据库很强大,但是它并不能很好的应付所有的应用场景。MySQL的扩展性差(需要复杂的技术来实现),大数据下IO压力大,表结构更改困难,正是当前使用MySQL的开发人员面临的问题。

1.6 今天是什么样子?

最前面的是企业级防火墙,后面通过负载均衡主机(软负载:Nginx,硬负载:F5)在 web 服务器集群之间进行调度,再由具体的 web 服务器(Tomcat)去访问缓存,访问数据库。

1.7 为什么用NoSQL?
今天我们可以通过第三方平台(如:Google,Facebook等)可以很容易的访问和抓取数据。用户的个人信息,社交网络,地理位置,用户生成的数据和用户操作日志已经成倍的增加。我们如果要对这些用户数据进行挖掘,那SQL数据库已经不适合这些应用了, NoSQL数据库的发展也却能很好的处理这些大的数据。

2. 什么是NoSQL?
2.1 NoSQL 概述
NoSQL(NoSQL = Not Only SQL ),意即“不仅仅是SQL”, 
泛指非关系型的数据库。随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题,而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战,尤其是大数据应用难题,包括超大规模数据的存储。

(例如谷歌或Facebook每天为他们的用户收集万亿比特的数据)。这些类型的数据存储不需要固定的模式,无需多余操作就可以横向扩展。

2.2 NoSQL代表
MongDB、 Redis、Memcache

3. 关系型数据库与NoSQL的区别?
3.1 RDBMS
高度组织化结构化数据
结构化查询语言(SQL)
数据和关系都存储在单独的表中。
数据操纵语言,数据定义语言
严格的一致性
基础事务
ACID
关系型数据库遵循ACID规则 
事务在英文中是transaction,和现实世界中的交易很类似,它有如下四个特性:

A (Atomicity) 原子性 
原子性很容易理解,也就是说事务里的所有操作要么全部做完,要么都不做,事务成功的条件是事务里的所有操作都成功,只要有一个操作失败,整个事务就失败,需要回滚。比如银行转账,从A账户转100元至B账户,分为两个步骤:1)从A账户取100元;2)存入100元至B账户。这两步要么一起完成,要么一起不完成,如果只完成第一步,第二步失败,钱会莫名其妙少了100元。

C (Consistency) 一致性 
一致性也比较容易理解,也就是说数据库要一直处于一致的状态,事务的运行不会改变数据库原本的一致性约束。

I (Isolation) 独立性 
所谓的独立性是指并发的事务之间不会互相影响,如果一个事务要访问的数据正在被另外一个事务修改,只要另外一个事务未提交,它所访问的数据就不受未提交事务的影响。比如现有有个交易是从A账户转100元至B账户,在这个交易还未完成的情况下,如果此时B查询自己的账户,是看不到新增加的100元的

D (Durability) 持久性 
持久性是指一旦事务提交后,它所做的修改将会永久的保存在数据库上,即使出现宕机也不会丢失。

3.2 NoSQL
代表着不仅仅是SQL
没有声明性查询语言
没有预定义的模式
键 - 值对存储,列存储,文档存储,图形数据库
最终一致性,而非ACID属性
非结构化和不可预知的数据
CAP定理
高性能,高可用性和可伸缩性
分布式数据库中的CAP原理(了解) 
CAP定理:

Consistency(一致性), 数据一致更新,所有数据变动都是同步的
Availability(可用性), 好的响应性能
Partition tolerance(分区容错性) 可靠性 
P: 系统中任意信息的丢失或失败不会影响系统的继续运作。
定理:任何分布式系统只可同时满足二点,没法三者兼顾。

CAP理论的核心是:一个分布式系统不可能同时很好的满足一致性,可用性和分区容错性这三个需求,

因此,根据 CAP 原理将 NoSQL 数据库分成了满足 CA 原则、满足 CP 原则和满足 AP 原则三 大类:

CA - 单点集群,满足一致性,可用性的系统,通常在可扩展性上不太强大。
CP - 满足一致性,分区容忍性的系统,通常性能不是特别高。
AP - 满足可用性,分区容忍性的系统,通常可能对一致性要求低一些。
CAP理论就是说在分布式存储系统中,最多只能实现上面的两点。

而由于当前的网络硬件肯定会出现延迟丢包等问题,所以分区容忍性是我们必须需要实现的。

所以我们只能在一致性和可用性之间进行权衡,没有NoSQL系统能同时保证这三点。

说明:C:强一致性 A:高可用性 P:分布式容忍性

举例:

CA:传统Oracle数据库

AP:大多数网站架构的选择

CP:Redis、Mongodb

注意:分布式架构的时候必须做出取舍。

一致性和可用性之间取一个平衡。多余大多数web应用,其实并不需要强一致性。

因此牺牲C换取P,这是目前分布式数据库产品的方向。

4. 当下NoSQL的经典应用
当下的应用是 SQL 与 NoSQL 一起使用的。 
代表项目:阿里巴巴商品信息的存放。 
去 IOE 化。

ps:I 是指 IBM 的小型机,很贵的,好像好几万一台;O 是指 Oracle 数据库,也很贵的,好几万呢;M 是指 EMC 的存储设备,也很贵的。

难点:

数据类型多样性。
数据源多样性和变化重构。
数据源改造而服务平台不需要大面积重构。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

什么是NoSQL,为什么要使用NoSQL? 的相关文章

  • 多字段匹配查询

    我对弹性搜索相当陌生 想编写一个涉及两个字段的查询 我的意思是字段的内容包含指定的子字符串 我有一个包含字段的文档 如下所示 name n tag t 我试过这个 search d query match name n tag t 但查询结
  • 使用 Cassandra API 获取所有键——类似于“SELECT id FROM table;”

    Cassandra 命令行实用程序sstablekeys可用于从物理 SSTABLE 文件中提取所有定义的行键 sstablekeys cassandra data Keyspace1 Standard1 N Data db Cassand
  • 为什么我不能让单个 Redis 客户端在同一连接中充当 PUB 和 Sub ?

    我的思维模型是 聊天 我订阅了某个频道 并且可以向该频道发布消息 由于 pub sub 是异步的 因此发布的消息可能随时出现 包括当您期望命令响应时 尽管 Redis 是单线程的 通常会阻止此类事情 但网络延迟可能会导致一些有趣的影响 根据
  • HBase单调递增键的行键设计

    我有一个 HBase 表 我在其中编写行键 例如
  • Cassandra - 使用主键列的任意子集按主键搜索

    是否有可能在 Cassandra 中找到主键与所有主键字段的任意子集匹配的记录 Example 使用下面描述的表 可以找到主键具有特定的记录type and name没有指定id or size CREATE TABLE playlists
  • 当我的数据非规范化时(Firebase),如何按上次更新时间对我的聊天组进行排序?

    我正在使用 Firebase 和 AngularJS 构建一个聊天应用程序 并且我有一个与上的数据结构类似的数据结构此 Firebase 文档页面 https firebase google com docs database web st
  • 是否有一个 nosql 存储也允许存储实体之间的关系?

    我正在寻找 nosql 键值存储 它还提供存储 维护存储实体之间的关系 我知道 Google App Engine 的数据存储允许实体之间拥有和不拥有的关系 任何流行的 nosql 商店都提供类似的东西吗 尽管它们中的大多数都是无模式的 但
  • 查询 mongodb 返回今天创建的文档

    我如何编写今天创建的结果文档的过滤器 我知道 ObjectId 有时间戳 我试过这个 db doc find id gte ObjectId getTimestamp getTime 我可以写吗 db doc find id getTime
  • 库存管理系统的 SQL 与 NoSQL

    我正在开发一个基于 JAVA 的网络应用程序 主要目的是拥有在多个称为渠道的网站上销售的产品的库存 我们将担任所有这些渠道的管理者 我们需要的是 用于管理每个渠道的库存更新的队列 库存表 其中包含每个通道上分配的正确快照 将会话 ID 和其
  • Neo4j 入门

    我对 neo4j 完全陌生 很抱歉问这样一个基本问题 我已经安装了 neo4j 我正在使用 shell localhost 7474 webadmin console 我正在寻找一个很好的示例 它使用一些 shell 命令从预先存在的图形数
  • 检查 DynamoDB 中是否存在表的最佳方法是什么?

    检查 DynamoDb 中是否存在表的最佳方法是什么 如果代码是 PHP 语言 我将不胜感激 要么活跃 要么不活跃 稍后作为错误代码 400 的各种情况的示例添加 检查表是否存在很容易 它可以有以下之一 表状态 gt 创建 活动 删除或更新
  • ScyllaDB 是否支持 OR 运算符?

    scyladb 中 SELECT 语句的 WHERE 子句中的 OR 条件如何工作 我已经在电子邮件上创建了二级索引 下面的查询工作正常并返回结果 cqlsh gt select from test d emp where email em
  • redis - 使用哈希

    我正在使用 redis 为我的 Web 应用程序实现社交流和通知系统 我是 redis 的新手 我对哈希值及其效率有一些疑问 我读过这篇很棒的文章Instagram 帖子 http instagram engineering tumblr
  • 在 mongodb 和 nodejs 中对博客和评级进行建模

    我有一个博客集合 其中包含用户给予的标题 正文和综合评分 另一个集合 评级 其架构引用了博客 以对象 ID 的形式对博客进行评级 如果有的话 的用户以及他们给出的评级 即 1 或 1 当特定用户按照 最新优先 的顺序浏览博客时 比如每页 4
  • 当我们有多对多关系时,如何在 firebase 中获取数据

    我读了这个问题Firebase 中的多对多关系 https stackoverflow com questions 41527058 many to many relationship in firebase 这里描述了如何在 fireba
  • AWS DynamoDB 写后读一致性 - 理论上它是如何工作的?

    大多数nosql解决方案仅使用最终一致性 并且考虑到DynamoDB将数据复制到三个数据中心 如何保持写后读一致性 解决此类问题的通用方法是什么 我认为这很有趣 因为即使在 MySQL 复制中 数据也是异步复制的 我将详细告诉您 Dynam
  • Android 上的 SQLite 和 MongoDB 具有同步功能

    是否可以在 Android 上使用 SQLite 在服务器上使用像 MongoDB 这样的 NoSQL 数据库 并在两者之间进行 2 路数据复制 同步 或者最好在两端使用 SQL 或者在两端使用 NoSQL 但不要混合使用 有几种不同的方法
  • Firestore从集合中获取文档ID

    我正在尝试使用 id 检索我的文档 但无法弄清楚 目前我像这样检索我的文档 const racesCollection AngularFirestoreCollection
  • 何时使用 NoSql,使用哪一种? [关闭]

    就目前情况而言 这个问题不太适合我们的问答形式 我们希望答案得到事实 参考资料或专业知识的支持 但这个问题可能会引发辩论 争论 民意调查或扩展讨论 如果您觉得这个问题可以改进并可能重新开放 访问帮助中心 help reopen questi
  • 国外收藏的查找和排序

    所以我有一个收藏users 并且此集合中的每个文档以及其他属性都有另一个集合中文档的 id 数组 workouts 集合中的每个文档workouts有一个名为date 这就是我想要得到的 对于特定用户 我想要获取属于该用户的锻炼的 work

随机推荐

  • QT css样式 详解

    font family 楷体 为设置字体类型 标准形式需要加双引号 不加也可能会生效 具体看系统是否支持 中英文都支持 但要保证字体编码支持 一般程序编码为 utf 8 时没问题 font style normal 为设置字体斜体样式 it
  • Qt实现端口扫描器

    首先展示一下效果 界面通过Qt设计师做出来的 主要有两个类 首先主函数 include mainwindow h include
  • CSRF的攻击与法防御

    CSRF的攻击与法防御 一 CSRF漏洞原理 CSRF Cross Site Request Forgery 跨站点伪造请求 是一种网络攻击方式 该攻击可以在受害者毫不知情的情况下以受害者名义伪造请求发送给受攻击站点 从而在未授权的情况下执
  • 【vivo2021届秋季校招】1. 编译依赖问题 <拓扑排序、堆>

    vivo2021届秋季校招 1 编译依赖问题 一个完整的软件项目往往会包含很多由代码和文档组成的源文件 编译器在编译整个项目的时候 可能需要按照依赖关系来依次编译每个源文件 比如 A cpp 依赖 B cpp 那么在编译的时候 编译器需要先
  • Embedded Mono: Invoking a C# generic method (Part 2)

    Embedded Mono Invoking a C generic method Part 2 A while ago I wrote about how to invoke a C generic method by using a h
  • Java项目,内存泄漏问题排查与总结,拓展容器相关知识Dockerfile

    问题场景 现象 有一次发现容器里面启动的java项目探活每过一段时间 大概半小时 就失败 导致项目在容器中重复的重启 服务时好时断 问题描述 在容器中排查问题的时候发现了两个问题 进入容器查看启动日志发现 项目启动之初是能够正常运行并且访问
  • WIFI学习第二天

    Wi Fi 6 802 11ax Wi Fi 6是下一代802 11ax标准的简称 随着Wi Fi标准的演进 WFA为了便于WiFi用户和设备厂商轻松了解其设备连接或支持的Wi Fi型号 选择使用数字序号来对WiFi重新命名 另一方面 选择
  • 参考文献对齐方法

    参考文献对齐方法 首先把符号和文本之间的空格都删掉 复制粘贴到记事本中 把每一条参考文献的 符号和文本之间以及文本最后加上Tab键 复制粘贴回word中 全选后右键 段落 两端对齐 悬挂缩进2字符 完成
  • ffmpeg常用音频处理

    使用ffmpeg分析修改音频 ffmpeg layouts查看音频的布局情况 1 双声道合并单声道 ffmpeg i music mp3 ac 1 music aac 2 双声道的提取 map channel input file id s
  • 大数据业务模型和技术架构简图

    大数据业务模型和技术架构简图 1 背景 大数据技术随着互联网的发展而兴起于21世纪初 最早遇到海量数据技术问题的是搜索引擎公司 如谷歌 数据量级别的暴增是由于2010年之后的互联网兴起 网络用户数量暴涨带来的海量用户数据暴增 对大数据处理的
  • firefox火狐能打开http网址,针对所有https网址无法打开

    1 常规的做法 遇到https无法打开时 最常用的做法就是各种百度 然后找到的解决方案就是像下面链接处理的这种 https blog csdn net u011650143 article details 70303894 utm sour
  • linux 网络编程易错点

    1 网络字节序 l 网络字节序存在的意义是实现不同主机字节序的兼容 2 accept l 生成一个新的套接字 这个是所有socket通讯模型的基础 3 sendto l 该函数一定要指定dest len的大小 否则接收端接收不到数据 4 广
  • CMAKE 中add_definitions的用法

    If you are in China please add this CMake flag DTHIRD PARTY MIRROR aliyun to speed up the downloading procedure for some
  • Linux压缩解压命令

    1 tar 解包 tar xvf FileName tar 打包 tar cvf FileName tar DirName 注 tar是打包 不是压缩 2 gz 解压1 gunzip FileName gz 解压2 gzip d FileN
  • mysql 批量 update 多个条件_MySQL更新表数据(八)

    更新数据是使用数据库时最重要的任务之一 在本教程中 您将学习如何使用MySQL UPDATE语句来更新表中的数据 1 MySQL UPDATE语句简介 我们使用UPDATE语句来更新表中的现有数据 也可以使用UPDATE语句来更改表中单个行
  • 15 行代码在 wangEditor v5 使用数学公式

    前言 wangEditor v5 正式版发布在即 为了验证它的扩展性 我开发了几个常用的第三方插件 本文介绍一下 formula 插件的设计和使用 插入数学公式要使用 LateX 语法 渲染公式需要依赖工具 KateX 如 c pm sqr
  • ctf-攻防世界-web:disabled_button

    wp 一 提示是前端知识 有一个不能按的按钮 我们F12开发者工具来看看这个按钮 咦 有一个disabled 只要把这个disabled 删掉 按钮就可以按下了 点一下按钮 flag出现 完美 二 或者审计代码 hackbar用post方式
  • Android 获取USB设备的类型

    Version info Linux 3 10 Android 4 2 一 问题 现在有USB设备插入Android系统 那么如何得知插入的设备类型 是USB打印机 U盘 还是USB鼠标 二 USB类型规定 对于USB类型 USB组织是有规
  • 数据监控与报警:将Scrapyd与监控工具集成,实现爬虫异常时的自动警报通知

    目录 1 数据监控与报警的重要性 2 集成监控工具 3 监控爬虫运行状态 4 监控网站结构变化
  • 什么是NoSQL,为什么要使用NoSQL?

    详见 什么是NoSQL 为什么要使用NoSQL 曲健磊的个人博客的博客 CSDN博客 nosql https baike so com doc 5569749 5784951 html 1 为什么用 NoSQL 1 1 单机 MySQL 的