互联网背景下为什么会出现NoSQL?

2023-11-02

一、传统应用模式 (ALL IN ONE)
所有的东西都部署在一台机器上,包括站点、数据库、文件等等(现在阿里云的出现方便了很多)。核心工作就是:前端传过来一些数据,然后业务逻辑层拼装,然后访问数据库,数据库返回数据,数据拼装成页面,最终返回到浏览器。
这时候数据库可能会率先成为瓶颈,在流量峰值期容易宕机,第一可以优化sql语句,第二,典型的应用都是读数据库频率远大于写数据库频率。这时候可以采用读写分离,多读一写的数据库架构(一般是20%是写库,80%是读库);

这时候的主要矛盾点已经变为业务复杂度的提升带来的耦合,导致升级困难,开发容易引入bug,维护成本也提升。

1、Memcached 分布式缓存服务器,通过文件缓存来缓解数据库压力,为多个web服务器提供了一个共享的高性能缓存服务。在Memcached服务器上,又发展了根据hash算法来进行多台Memcached缓存服务的扩展,然后又出现了一致性hash来解决增加或减少缓存服务器导致重新hash带来的大量缓存失效的弊端。

不足:
由于数据库的写入压力增加,Memcached只能缓解数据库的读取压力。读写集中在一个数据库上让数据库不堪重负,大部分网站开始使用主从复制技术来达到读写分离,以提高读写性能和读库的可扩展性。Mysql的master-slave模式成为这个时候的网站标配了。

2、主从复制读写分离
主从复制:往主服务里插入一条数据的同时,也往从服务里写入一条数据(备份、容灾)
读写分离:一般主作为写(20%),从作为读(80%)

3、在Memcached 高速缓存、MySQL主从复制,读写分离的基础之上,由于大量数据的增加,写压力开始出现瓶颈,由于MyISAM使用表锁,在高并发下会出现严重的锁问题,大量的高并发MySQL应用开始使用InnoDB引擎代替MyISAM。
同时开始使用分库分表来缓解压力。
MySQL的扩展性差(需要复杂的技术来实现),大数据下IO压力大,表结构更改困难,正是当前使用MySQL的开发人员面临的问题。

4、为什么用NoSQL?
今天我们可以通过第三方平台(如:Google,Facebook等)可以很容易的访问和抓取数据。用户的个人信息,社交网络,地理位置,用户生成的数据和用户操作日志已经成倍的增加。
我们如果要对这些用户数据进行挖掘,那SQL数据库已经不适合这些应用了, NoSQL数据库的发展也却能很好的处理这些大的数据。

二、什么是NoSQL?

NoSQL(NoSQL = Not Only SQL ),意即“不仅仅是SQL”, 泛指非关系型的数据库。

1、作用
NoSQL数据库种类繁多,但是一个共同的特点都是去掉关系数据库的关系型特性。数据之间无关系,这样就非常容易扩展。也无形之间,在架构的层面上带来了可扩展的能力。
NoSQL数据库都具有非常高的读写性能,尤其在大数据量下,这得益于它的无关系性,数据库的结构简单。
NoSQL无需事先为要存储的数据建立字段,随时可以存储自定义的数据格式。而在关系数据库里,增删字段是一件非常麻烦的事情。如果是非常大数据量的表,增加字段简直就是一个噩梦。

2、关系型数据库(RDBMS)VS 非关系型数据库(NoSQL)
RDBMS:

  • 高度组织化结构化数据
  • 结构化查询语言(SQL)
  • 数据和关系都存储在单独的表中。
  • 数据操纵语言,数据定义语言
  • 严格的一致性
  • 基础事务

    NoSQL:

  • 代表着不仅仅是SQL
  • 没有声明性查询语言
  • 没有预定义的模式
  • 键 - 值对存储,列存储,文档存储,图形数据库
  • 最终一致性,而非ACID属性
  • 非结构化和不可预知的数据
  • CAP定理
  • 高性能,高可用性和可伸缩性

总结: RDBMS 和NoSQL都有各自的特点和使用的应用场景,让关系数据库关注在关系上,NoSQL关注在存储上。

三、互联网时代面临的问题
1、3V 和 3高
3V: 海量的数据流量;多样(商品种类、各式各样);实时的数据需求
3高: 高并发;高可用;高性能

四、NoSQL 数据模型简介
传统的关系型数据模型的设计基本上是 基于数据库范式建立1:1 / 1:N / N:N,主外键的关系设计。
1、NoSQL的设计:
使用Bson() 类似于json的一种二进制形式的存储格式,简称 Binary JSON,它也同样支持内嵌的文档对象和数组对象。
2、聚合模型
高并发的操作是不太建议有关联查询的,互联网公司用冗余数据来避免关联查询,分布式事务是支持不了太多的并发的。
3、NoSQL数据库的四大分类:
①KV键值对:redis,内容缓存,主要用于处理大量数据的高访问负载等;
②bson:文档数据库,MongoDB 是一个基于分布式文件存储的数据库,C++编写的。皆在为web应用提供可扩展的高性能数据存储解决方案。它介于关系型数据库与非关系型数据库之间的产品,是非关系型中功能最丰富的,且最像关系型数据库的;
③列存储数据库:分布式文件系统
④图关系型数据库 :它不是放图的,放的是 关系:如朋友圈社交网络等。专注于关系图谱。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

互联网背景下为什么会出现NoSQL? 的相关文章

  • 在 Spring 4 中干掉通用的 RedisTemplate

    我读到你可以拥有 Autowired从 Spring 4 开始泛型 这太棒了 我有一个摘要RedisService我想参加的课程 Autowired一个通用的 RestTemplate 如下所示 public abstract class
  • Firestore从集合中获取文档ID

    我正在尝试使用 id 检索我的文档 但无法弄清楚 目前我像这样检索我的文档 const racesCollection AngularFirestoreCollection
  • 如何配置Lettuce Redis集群异步连接池

    我正在配置我的生菜重新分配池 当我按照官方文档配置时 连接池无法正常初始化 无法获取连接 官方文档指出 RedisClusterClient clusterClient RedisClusterClient create RedisURI
  • 在 Spring Boot 中重新加载/刷新缓存

    我正在使用 Spring Boot 对于缓存 我使用 Ehcache 到目前为止一切正常 但现在我必须重新加载 刷新 那么我该如何执行此操作 以便我的应用程序不会出现任何停机时间 我在Spring Ehcache中尝试了很多方法 但它不起作
  • Apache“无法初始化模块”,因为更改 PHP 配置后模块和 PHP 的 API 不匹配

    php v 给出了这个 PHP Warning PHP Startup memcache Unable to initialize module Module compiled with module API 20060613 PHP co
  • Laravel Redis 配置

    我目前正在使用 Laravel 和 Redis 创建一个应用程序 几乎一切都工作正常 我按照文档中的说明扩展了身份验证 用户可以订阅 登录 注销 我可以创建内容 所有内容都存储在 Redis 中 但我有一个问题 我无法运行 php arti
  • 在 Mongoose 中保存模型无法保存嵌套组件

    我有以下模型架构 var memberSchema mongoose Schema project type Schema Types ObjectId ref Project first String last String email
  • 使用环境变量在 redis.conf 中设置动态路径

    我有一个环境变量MY HOME其中有一个目录的路径 home abc 现在 我有一个redis conf文件 我需要像这样设置这个路径 redis conf pidfile MY HOME local var pids redis pid
  • 使用 Redis 中的键

    我是 Redis 和键值数据库的新手 你能告诉我如何在redis中正确实现这种关系方法吗 我有一个关系表 其中两个键对应一个值 master id slave id 价值 Example 主站 ID 从属ID 价值 1 1 值1 2 1 值
  • ServiceStack PooledRedisClientManager 故障转移如何工作?

    根据 git commit 消息 ServiceStack 最近添加了故障转移支持 我最初认为这意味着我可以关闭我的一个 Redis 实例 并且我的池客户端管理器将优雅地处理故障转移并尝试与我的备用 Redis 实例之一连接 不幸的是 我的
  • Redis 是否使用用户名进行身份验证?

    我已经在我的环境中设置了Redis 并且只看到了通过密码授权的部分 有没有办法也设置用户名 还是只能通过密码验证 Redis 6 上有 ACL 这些都有一个用户名 查看https redis io topics acl https redi
  • 为什么我们需要 Redis 来运行 CKAN?

    我想知道为什么我们需要 Redis 服务器来运行 CKAN 如果需要 为什么 我如何使用 CKAN 配置它 附注 我正在 RHEL7 中运行我的 ckan 实例 Update Redis 已成为一项要求从CKAN 2 7开始 https d
  • 适用于 Windows 的键值数据库?

    除了 MongoDB 和 Memcached 之外 Windows 上还运行哪些键值存储 我见过的大多数似乎只能在 Linux 上运行 Hypertable Redis Lightcloud 相关链接 是否有经过商业验证的云存储 Key g
  • 当键具有不同的时间范围并且缓存已满时,memcached 过期行为是什么?

    我知道 redis 会自行使键过期 释放内存 并想知道 memcached 是否会有同样的行为 假设我有一种很少过期的缓存密钥 我们称之为 A 另一种每 5 分钟过期 使用 Ruby on Rails expires in 5 minute
  • Spymemcached-Memcached/Membase 故障转移

    平台 64位Windows操作系统 spymemcached 2 7 3 jar J2EE 我们想使用两个 memcache membase 服务器来实现缓存解决方案 我们希望为每个 memcache membase 服务器分配 1 GB
  • 如何决定使用哪种NoSQL技术? [关闭]

    Closed 这个问题正在寻求书籍 工具 软件库等的推荐 不满足堆栈溢出指南 help closed questions 目前不接受答案 MongoDB 基于文档 HBase 基于列 和 Neo4j 对象图 的优缺点是什么 我特别有兴趣了解
  • 任何允许标记内容的分布式缓存系统?

    我想知道是否有任何分布式缓存系统 例如 memcached velocity 或共享缓存 它们允许我使用名称以外的内容来标记内容 或者可以将项目相互关联 因此 如果我使一个项目的缓存无效 也使相关项目无效 例如 如果我有两个引用相同数据的页
  • Redis AOF fsync(始终)与 LSM 树

    我对日志结构化合并树 LSM 树 的理解是 它利用了附加到磁盘非常快 因为它不需要查找 这一事实 只需将更新附加到预写日志并返回到客户端即可 我的理解是 这仍然提供了立即的持久性 同时仍然非常快 我不认为 Redis 使用 LSM 树 它似
  • 为什么 NoSQL 比 RDBMS 更擅长“横向扩展”?

    我在a中读过以下文字技术博客 http tekedia com 12083 nosql database advantages and disadvantages 讨论NoSQL的优缺点 多年来 为了提高数据库服务器的性能 数据库管理员不得
  • spring中如何使用jackson代替JdkSerializationRedisSerializer

    我在我的一个 Java 应用程序中使用 Redis 并且正在序列化要存储在 Redis 中的对象列表 但是 我注意到使用 RedisTemplate 会使用 JdkSerializationRedisSerializer 相反 我想使用 J

随机推荐