大数据学习之二 MYSQL进阶

大数据学习之二 MYSQL进阶

文章目录

5 MySQL体系结构5.1 MyISAM5.2 Innodb5.2.1 系统表空间和独立表空间要如何选择5.2.2 Innodb存储引擎的特性5.2.3 Innodb状态检查5.2.4 适用场景5.2.4 (拓展) 什么是锁5.2.3.1 什么是锁?5.2.3.2 锁的类型:5.2.3.3 写锁和读锁的兼容关系(对一行的兼容性情况)5.2.3.4 锁的粒度:5.2.3.5 阻塞和死锁5.3 CSV存储引擎5.3.1 CSV存储引擎的特点5.3.2 CSV存储引擎的适用场景5.4 Archive存储引擎5.4.1 文件系统存储特点5.4.2 Archive存储引擎的特点5.4.3 Archive存储引擎使用场景5.5 Memory存储引擎5.5.1 文件系统存储特点5.5.2 Memory的功能特点5.5.3 Memory中容易混淆的概念5.5.4 Memory的使用场景5.6 Federated存储引擎5.6.1 Federated的特点5.6.2 Federated如何使用5.6.3 Federated的适用场景6 如何选择正确的存储引擎

接上一篇文章

5 MySQL体系结构

在这里插入图片描述
下面我们选一些比较常用的存储引擎进行简单的说明,mysql所使用的存储引擎会对数据库的性能产生直接的影响,还希望各位能仔细的了解存储引擎的一些特点,完了之后才使用存储引擎。

5.1 MyISAM

MyISAM在MySQL5.5之前版本是默认的存储引擎。由于这个原因,还有很多服务器在使用MyISAM这个存储引擎。同时,MyISAM目前是很多系统表,临时表所使用的存储引擎,这里说的临时表不是我们通过create table创建出来的表,是指在排序、分组等操作中,当数量超过一定的大小之后,有查询优化器建立的临时表。
MyISAM存储引擎是由MYD和MYI组成,MYD是数据文件的扩展名,MYI是索引文件的扩展名,这个存储引擎是将表存储在以这两个为扩展名的数据文件和索引文件中。

特性:

并发性与锁级别
MyISAM使用的是表级锁,并不是行级锁,这也就意味着对表中的数据进行修改时,需要对整个表进行加锁,而在对表的读取时也对所有的表加共享锁,从这里我们可以看到,使用MyISAM做引擎的表读取和写入两种操作是互斥的。由此可以看到MyISAM对于读写的并发操作并不会很好。如果只对于只读取操作的话,就并发性而言,性能也还不错,因为共享锁不会阻塞共享锁。表损坏修复
MyISAM支持由于任意意外关闭而损坏的MyISAM表,进行检查和修复操作,但是这里说的修复并不是数据的恢复,因为MyISAM并不是一种事务性的存储引擎,所以它不能进行事务恢复所需要的相关日志,所以要注意MyISAM表的恢复可能会造成数据的丢失。
我们可以通过check table tablename对表进行检查,通过repair table tablename对表进行恢复。MyISAM表支持的索引类型
MyISAM支持全文索引,并且在mysql5.7版本之前唯一原生就支持全文索引的官方存储引擎。MyISAM表支持数据压缩
如果MyISAM表示一张很大的只读表,也就是在表创建完导入数据后,就不会对表进行任何修改操作了,那我们就可以对表进行压缩了,以减少磁盘I/O。 我们可以使用myisampack命令来对表进行压缩。压缩是对表独立进行压缩的,因此读取一行数据的时候,不必对整个表进行解压。

限制:

版本 mysql5.0时默认支持位256TB

适用场景:

非事务性应用只读类应用(报表之类)空间类应用

5.2 Innodb

Innodb是MySQL5.5及之后版本默认的存储引擎,Innodb是事务存储的存储引擎,也就是说支持事务的处理。
Innodb有自己的表空间的概念,然后数据是存储在表空间之中的,是由innodb_file_per_table这个参数来决定的,如果这个参数为ON,则会对每个Innodb表建立一个扩展名为ibd的系统文件,如果这个参数为OFF时,则会把数据存储到系统的共享表空间,也就是ibdataXX代表的时一个数字,默认从1开始。
查看这个参数的命令为:
show variables like 'innodb_file_per_table';
修改这个参数的命令为:
set global innodb_file_per_table=off;

5.2.1 系统表空间和独立表空间要如何选择

比较:

系统表空间 独立表空间

无法简单的收缩文件大小可以通过optimize table命令收缩系统文件会产生IO瓶颈可以同时向多个文件刷新数据

建议:

对Innodb使用独立表空间

把原来存在于系统表空间中的表转移到独立表空间中的方法。
步骤:

使用mysqldump导出所有数据库表数据停止MySQL服务,修改参数,并删除Innodb相关文件重启MySQL服务,重建Innodb系统表空间重新导入数据

5.2.2 Innodb存储引擎的特性

Innodb是一种事务性存储引擎完全支持事务的ACID特性(之前介绍过的原子性,一致性等)Redo Log 和 Undo Log
Redo Log实现了事务的持久性,有两部分组成,其中一个是内存中的工作日志持久缓冲区,是由innodb_log_buffer_size决定它的大小,另一个是重构日志文件,也就是我们在文件系统中看到的ib_logflie的相关文件。Undo Log实现了事务的原子性,在事务失败时进行回滚操作。Redo Log是顺序读写的,Undo Log是随机读写的,如果可以的话可以将数据存储在固态硬盘中,以提高性能。Innodb支持行级锁
行级锁和表级锁是不一样的,行级锁的特点就是可以最大程度的支持并发,行级锁是由存储引擎层实现的。

5.2.3 Innodb状态检查

可以使用以下命令对Innodb状态进行检查:
show engine innodb status

5.2.4 适用场景

Innodb适合于大多数OLTP应用,因为在mysql5.7版本之后,Innodb已经支持了全文索引和空间函数。

5.2.4 (拓展) 什么是锁

5.2.3.1 什么是锁?

锁最主要作用是管理共享资源的并发访问锁用于实现事务的隔离性

5.2.3.2 锁的类型:

共享锁(也称读锁)独占锁(也称写锁)

5.2.3.3 写锁和读锁的兼容关系(对一行的兼容性情况)

写锁 读锁

写锁不兼容不兼容读锁不兼容兼容

在实际情况中,可能与上表的结果会有所不同,主要是因为Innodb中的锁机制是很复杂的一样东西,还有很多锁的存在影响最终的结果。

5.2.3.4 锁的粒度:

表级锁行级锁

5.2.3.5 阻塞和死锁

阻塞:阻塞是因为不同锁之间的兼容性的关系,在有些时刻一个事务中的锁需要等待另一事务的锁释放,它所占用的资源形成了阻塞。
死锁:死锁是指两个或两个以上的事务执行过程中,相互占用了对方等待的资源而产生的一种异常。从定义中可以看到,处在阻塞中的多个事务占用了被阻塞的事务等待的资源,而死锁是多个阻塞的事务互相占用了对方等待的资源。

5.3 CSV存储引擎

初阶PHP Apache MySQL网站设计 初阶PHP Apache MySQL网站设计

初阶PHP Apache MySQL网站设计来自作者多年学习、应用和讲授PHP的经验与体会,是专为学习PHP+MySQL数据库编程人员编与的入门教材。在最后二章设计了2个贴近实际应用的典型案例:留言本系统和论坛系统,每个案例先介绍开发思路、步骤,再给出全部源代码,使所学内容与实际应用紧密结合,特别是论坛系统将全书的案例串讲起来,力求使读者学到最贴近应用前沿的知识和技能。

初阶PHP Apache MySQL网站设计 377 查看详情 初阶PHP Apache MySQL网站设计

CSV存储引擎可以将csv文件作为mysql的表文件来处理,这种存储引擎的存储格式就是普通的csv文件,在csv存储引擎的数据存储方式非常的由特点,如果我们把表存储在MyISAM或者Innodb中,其数据文件我们是不能直接查看的,因为这两种文件的存储是以二进制的格式来存储的,而CSV存储引擎则不同,CSV的数据是以文本的方式存储在文件中的,也就是我们可以通过查看文件的命令来查看,如more,或者使用vi命令来查看编辑csv存储引擎中的表,只要符合CSV文件的格式和要求,我们就不用担心损坏数据。
当我们在mysql中建立了CSV存储引擎表时,我们应该可以看到3个文件系统中的文件。这3个都是以表名为文件名,但是会分别以csv,csm,frm为后缀,其中csv文件就是CSV存储引擎中的数据文件。csm文件存储表的元数据和表状态和数据量。frm文件存储表结构信息。

5.3.1 CSV存储引擎的特点

最大的特点是以CSV格式进行数据存储
CSV中的每一列都是以,来分隔的,并且文本的内容是以双引号来引起来的,如下图所示:
在这里插入图片描述所有列必须都是不能为NULL的
在建表的时候所有的列都必须是非空的,不能存储为NULL的值不支持索引
不适合大表,不适合在线处理可以对数据文件直接编辑
保存文本文件内容

5.3.2 CSV存储引擎的适用场景

CSV存储引擎适合作为数据交换的中间表
在这里插入图片描述
在这里插入图片描述

5.4 Archive存储引擎

5.4.1 文件系统存储特点

Archive存储引擎会缓存所有的写,并且利用zlib对插入的行进行压缩,因此Archive存储引擎相对于MyISAM存储引擎的表更加节省磁盘I/O,对于同样数量级的数据,Archive存储引擎相对于MyISAM和Innodb更加节省存储空间。一个几T的Innodb的表存储在Archive存储引擎当中,可能只需要几百兆的存储空间。
Archive存储引擎的表的数据是以ARZ为后缀的一个文件,和其他引擎一样,也存在一个以frm为后缀的系统文件,用于存储表的结构信息。

5.4.2 Archive存储引擎的特点

只支持insertselect操作只允许在自增ID列上加索引

5.4.3 Archive存储引擎使用场景

场景1:日志和数据采集类数据
因为Archive不支持修改和删除,而我们ORDB一定会对数据进行修改的,但是对于一些仓库类型的应用,或者一些特殊的表,还是有用的,比如说,记录日志的表或者是数据采集类的表,因为它需要采集大量数据,所以比较适合使用Archive存储引擎。因为Archive存储引擎在所有引擎中来说,它的存储空间是最小的,但是还是要注意,即使在数据采集或日志的应用中,Archive存储引擎是无法对这些数据进行更新的,所以在记录日志或者在数据采集类应用中对数据进行修改的话,可能也无法使用Archive存储引擎。

5.5 Memory存储引擎

5.5.1 文件系统存储特点

Memory存储引擎也称之为HEAP存储引擎,所以数据都保存在内存中, 这就意味着这中数据的表是一次性的,一旦MySQL服务重启,所有Memory存储引擎的数据都会消失,但是表结构会保留下来,因为在Memory存储引擎下创建表,只会生成一个frm系统文件,该文件是用于保存表结构的。这就是为什么重启MySQL服务器数据会丢失,表结构不会的原因。
从它的文件存储特点我们可以知道,Memory存储引擎的I/O效率会比MyISAM高很多,因为MyISAM只有索引会保存在内存中,而数据则由操作系统来缓存的,而Memory存储引擎所有数据和索引都保存在内存中,下面我们看一下Memory存储引擎的功能特点。

5.5.2 Memory的功能特点

功能特点:

支持HASH索引(默认)和BTree索引
如果是HASH索引在做等值查询的时候会非常的快,如果是做范围查询的话就无法使用HASH索引了,所以在表创建的时候我们需要注意,如果表需要大量的等值查询就用HASH索引,范围查询就使用BTree索引。不同索引类型会对性能产生很大的影响。所有字段都为固定长度 varchar(10) = char(10)
这就要求我们在定义表结构时,一定要符合要求最小的字段长度,否则浪费大量的内存。不支持BLOG和TEXT等大字段Memory存储引擎使用表级锁最大大小由max_heap_table_size参数决定
这个参数的默认值只有16兆,如果我们要在Memory存储引擎表中存储大量数据,就要修改这个参数,而这个参数修改是对已经存在的Memory存储引擎的表是不生效的,如果需要对存在表生效的话就需要通过对已经存在的表进行重建。

5.5.3 Memory中容易混淆的概念

Memory存储引擎表:
对所有的系统都可以使用,它并不是一种临时表。
临时表:
临时表分为两种,一种是查询优化器在优化查询时所使用的系统使用临时表,也就是内部临时表,系统使用临时表在超过限制(使用BLOB或TEXT大字段)时使用MyISAM临时表,未超限制使用Memory表。
另一种是通过命令create temporary table建立的临时表,建立的表可以使用任何存储引擎。
无论是哪种临时表,只对内部可见。

5.5.4 Memory的使用场景

用于查找或者映射表,例如邮编和地区的对应表用于保存数据分析中产生的中间表用于缓存周期聚合数据的结果表

Memory数据易丢失,所以要求数据可再生。

5.6 Federated存储引擎

5.6.1 Federated的特点

提供了访问远程MySQL服务器上表的方法
由于Federated存储引擎只是在本地建立了到远程服务器的一个连接,所以可以说我们所要访问的表全部还是放在远程服务器上,在本地并不存储数据。每次访问Federated存储引擎表的时候,查询都会被发送到远程服务器上运行,并从远程的MySQL服务器上获取相关的数据。本地不存储数据,数据全部放到远程服务器上本地需要保存表结构和远程服务器的连接信息
因此也会在系统中存在一个frm文件,用于存于远程信息以及如何连接远程表的相关信息。

5.6.2 Federated如何使用

Federated存储引擎可以实现SQL Server连接服务器的功能,但是由于本身的性能并不太好,通常可以通过复制等实现相同的目的,所以在当前的MySQL版本中,Federated存储引擎默认是禁止的。如果需要使用Federated存储引擎,则需要在/usr/local/mysql/my.cnf中加入federated=1,接着重启MySQL服务器,我们可以通过show engine来确认当前MySQL服务器是否支持Federated存储引擎。
而在create table语句中使用下面的连接字符串,
mysql://user_name[:password]@host_name[:port_num]/db_name/tbl_name
远程服务器绑定连接:
grant select,update,insert,delete on remote.remote_fet to fred_link@'127.0.0.1' identified by '123456'
就可以决定查询的远程服务器的相关信息以及相关的数据库表的一些信息。

5.6.3 Federated的适用场景

偶尔的统计分析及手工查询
由于Federated的性能较慢,只适用于偶尔的统计分析及手工查询。

6 如何选择正确的存储引擎

参考条件:

事务备份崩溃恢复存储引擎的特有特性
尽量避免混合使用存储引擎。

更多相关免费学习推荐:mysql教程(视频)

以上就是大数据学习之二 MYSQL进阶的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/765827.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
CentOS上Zookeeper的高可用性配置
上一篇 2025年11月26日 03:00:51
LINUX怎么让程序在后台运行不被挂断_LINUX后台常驻进程运行技巧
下一篇 2025年11月26日 03:00:58

相关推荐

  • composer require-dev和require有什么不同_Composer Require与Require-Dev区别解析

    require用于声明项目运行必需的依赖,如框架、数据库组件和第三方SDK,这些包会随项目部署到生产环境;2. require-dev用于声明仅在开发和测试阶段需要的工具,如PHPUnit、PHPStan、Faker等,不会默认部署到生产环境;3. 安装时composer install根据环境决定…

    2026年5月10日
    1000
  • 开源免费PHP工具 PHP开发效率提升利器

    推荐开源免费PHP开发工具以提升效率:VS Code、Sublime Text轻量高效,PhpStorm专业强大;调试用Xdebug、Kint、Ray;依赖管理选Composer;代码质量工具包括PHPStan、Psalm、PHP_CodeSniffer;数据库管理可用%ignore_a_1%MyA…

    2026年5月10日
    000
  • Golang JSON序列化:控制敏感字段暴露的最佳实践

    本教程探讨golang中如何高效控制结构体字段在json序列化时的可见性。当需要将包含敏感信息的结构体数组转换为json响应时,通过利用`encoding/json`包提供的结构体标签,特别是`json:”-“`,可以轻松实现对特定字段的忽略,从而避免敏感数据泄露,确保api…

    2026年5月10日
    000
  • 怎么在PHP代码中实现图片上传功能_PHP图片上传功能实现与安全处理教程

    首先创建含enctype的HTML表单,再用PHP接收文件,检查目录、移动临时文件,验证类型与大小,生成唯一文件名,并调整php.ini限制以确保上传成功。 如果您尝试在PHP项目中添加图片上传功能,但服务器无法正确接收或保存文件,则可能是由于表单配置、文件处理逻辑或安全限制的问题。以下是实现该功能…

    2026年5月10日
    100
  • 获取日期中的周数:CodeIgniter 教程

    本教程旨在帮助开发者在 CodeIgniter 框架中,从日期字符串中准确提取周数。我们将使用 PHP 内置的 DateTime 类,并提供详细的代码示例和注意事项,确保您能够轻松地在项目中实现此功能。 使用 DateTime 类获取周数 PHP 的 DateTime 类提供了一种便捷的方式来处理日…

    2026年5月10日
    000
  • 比特币新手教程 比特币交易平台有哪些

    比特币是一种去中心化的数字货币,基于区块链技术实现点对点交易,具有匿名性、有限发行和不可篡改等特点;新手可通过交易所购买,P2P交易获得比特币,常用平台包括Binance、OKX和Huobi;交易流程包括注册账户、实名认证、绑定支付方式、充值法币并下单购买,可选择市价单或限价单;比特币存储方式有交易…

    2026年5月10日
    000
  • c++中的SFINAE技术是什么_c++模板编程中的SFINAE原理与应用

    SFINAE 是“替换失败不是错误”的原则,指模板实例化时若参数替换导致错误,只要存在其他合法候选,编译器不报错而是继续重载决议。它用于条件启用模板、类型检测等场景,如通过 decltype 或 enable_if 控制函数重载,实现类型特征判断。尽管 C++20 引入 Concepts 简化了部分…

    2026年5月10日
    000
  • Go语言mgo查询构建:深入理解bson.M与日期范围查询的正确实践

    本文旨在解决go语言mgo库中构建复杂查询时,特别是涉及嵌套`bson.m`和日期范围筛选的常见错误。我们将深入剖析`bson.m`的类型特性,解释为何直接索引`interface{}`会导致“invalid operation”错误,并提供一种推荐的、结构清晰的代码重构方案,以确保查询条件能够正确…

    2026年5月10日
    100
  • Golang goroutine与channel调试技巧

    使用go run -race检测数据竞争,结合runtime.NumGoroutine监控协程数量,通过pprof分析阻塞调用栈,利用select超时避免永久阻塞,有效排查goroutine泄漏、死锁和数据竞争问题。 Go语言的goroutine和channel是并发编程的核心,但它们也带来了调试上…

    2026年5月10日
    000
  • 使用 Jupyter Notebook 进行探索性数据分析

    Jupyter Notebook通过单元格实现代码与Markdown结合,支持数据导入(pandas)、清洗(fillna)、探索(matplotlib/seaborn可视化)、统计分析(describe/corr)和特征工程,便于记录与分享分析过程。 Jupyter Notebook 是进行探索性…

    2026年5月10日
    000
  • 《魔兽世界》将于6月11日开启国服回归技术测试

    《魔兽世界》将于6月11日开启国服回归技术测试《魔兽世界》将于6月11日开启国服回归技术测试《魔兽世界》将于6月11日开启国服回归技术测试《魔兽世界》将于6月11日开启国服回归技术测试

    《%ign%ignore_a_1%re_a_1%》官方宣布,将于6月11日开启国服回归技术测试,时间为7天,并称可以在6月内正式开服,玩家们可以访问官网下载战网客户端并预下载“巫妖王之怒”客户端,技术测试详情见下图。 WordAi WordAI是一个AI驱动的内容重写平台 53 查看详情 以上就是《…

    2026年5月10日 用户投稿
    200
  • php常量怎么用_PHP常量(define/const)定义与使用方法

    PHP中可通过define函数和const关键字定义常量,用于存储不可变值。define适用于全局作用域,支持动态名称和条件定义,如define(‘SITE_NAME’, ‘MyWebsite’);const在编译时生效,语法简洁但限制多,只能在类或全…

    2026年5月10日
    000
  • 如何在HTML中插入表单元素_HTML表单控件与输入类型使用指南

    HTML表单通过标签构建,包含action和method属性定义数据提交目标与方式,常用input类型如text、password、email等适配不同输入需求,配合label、required、placeholder提升可用性,结合textarea、select、button等控件实现完整交互,是…

    2026年5月10日
    000
  • 创建指定大小并填充特定数据的Golang文件教程

    本文将介绍如何使用Golang创建一个指定大小的文件,并用特定数据填充它。我们将使用 `os` 包提供的函数来创建和截断文件,从而实现快速生成大文件的目的。示例代码展示了如何创建一个10MB的文件,并将其填充为全零数据。掌握这些方法,可以方便地在例如日志系统或磁盘队列等场景中,预先创建测试文件或初始…

    2026年5月10日
    000
  • Python命令怎样使用profile分析脚本性能 Python命令性能分析的基础教程

    使用Python的cProfile模块分析脚本性能最直接的方式是通过命令行执行python -m cProfile your_script.py,它会输出每个函数的调用次数、总耗时、累积耗时等关键指标,帮助定位性能瓶颈;为进一步分析,可将结果保存为文件python -m cProfile -o ou…

    2026年5月10日
    000
  • 如何插入查询结果数据_SQL插入Select查询结果方法

    如何插入查询结果数据_SQL插入Select查询结果方法如何插入查询结果数据_SQL插入Select查询结果方法如何插入查询结果数据_SQL插入Select查询结果方法如何插入查询结果数据_SQL插入Select查询结果方法

    使用INSERT INTO…SELECT语句可高效插入数据,通过NOT EXISTS、LEFT JOIN、MERGE语句或唯一约束避免重复;表结构不一致时可通过别名、类型转换、默认值或计算字段处理;结合存储过程可提升可维护性,支持参数化与动态SQL。 将查询结果数据插入到另一个表中,可以…

    2026年5月10日 用户投稿
    000
  • 使用 WebCodecs VideoDecoder 实现精确逐帧回退

    本文档旨在解决在使用 WebCodecs VideoDecoder 进行视频解码时,实现精确逐帧回退的问题。通过比较帧的时间戳与目标帧的时间戳,可以避免渲染中间帧,从而提高用户体验。本文将提供详细的解决方案和示例代码,帮助开发者实现精确的视频帧控制。 在使用 WebCodecs VideoDecod…

    2026年5月10日
    000
  • PHP动态生成表单输入与POST数据获取实践指南

    本教程详细阐述了如何在php中根据动态数据源(如数据库值)生成多个表单输入框,并演示了如何通过post方法准确无误地获取这些动态生成的输入值。文章强调了正确的输入框命名策略,避免了常见的命名误区,并提供了完整的代码示例,确保开发者能够高效处理动态表单数据。 动态生成表单输入 在Web开发中,我们经常…

    2026年5月10日
    000
  • Discord.py 交互按钮超时与持久化解决方案

    本教程旨在解决Discord.py中交互按钮在一段时间后出现“This Interaction Failed”错误的问题。我们将深入探讨视图(View)的超时机制,并提供通过正确设置timeout参数以及利用bot.add_view()方法实现按钮持久化的具体方案,确保您的机器人交互功能稳定可靠,即…

    2026年5月10日
    000
  • Debian Copilot的社区活跃度如何

    debian copilot是codeberg社区维护的ai助手,旨在为debian用户提供服务。尽管搜索结果中没有直接提供关于debian copilot社区支持活跃度的具体数据,但我们可以通过debian社区的整体活跃度和特点来推断其活跃性。 Debian社区的一般情况: Debian拥有详尽的…

    2026年5月10日
    000

发表回复

登录后才能评论
关注微信