mysql存储设计

① 在mysql中怎样设计一个存储过程，根据"学号"返回成绩表中平均成绩在60分以上的学生的学分

drop procere if exists type;
delimiter $
create procere type(
in shuruxuehao VARCHAR(20),
out shuchuxuefen int(11)
)
BEGIN
set shuchuxuefen = 0;
set @num = 0;
set @xuefen = 0;
select sum(chengji1 +chengji2 + ... + chengjiN )/ n as num,xuefen into
@num, @xuefen from table where xuehao = shuruxuehao;/*chengji 是各科成绩的字段*/
if num >=60 then
set shuchuxuefen = @xuefen;
else
set shuchuxuefen = 0;
end if ;
END
$
delimiter ;

② k8s中的Mysql数据库持久化存储

 

一、配置：

环境：

CentOS7 

VMware

笔者配置了四台虚拟机：

K8S-Master节点: 3GB内存   2核CPU   20GB硬盘空间

K8S-node1节点:  2GB内存   2核CPU   30GB硬盘空间

K8S-node2节点:  2GB内存   2核CPU   30GB硬盘空间

镜像仓库节点:      2GB内存   2核CPU   50GB硬盘空间

二、节点规划：

使用三台虚拟机搭建K8S集群，使用一台虚拟机搭建镜像仓库。

每台虚拟机配置两块网卡，其中一块为“NAT模式”，用于拉取镜像等功能。

另外一块网卡为“仅主机模式”，用于集群节点间的通信。归划如下：

K8s-master节点:

仅主机模式：10.10.10.200

NAT模式：  192.168.200.130

K8S-node1节点:

仅主机模式：10.10.10.201

NAT模式：  192.168.200.131

K8S-node2节点:

仅主机模式：10.10.10.202

NAT模式：  192.168.200.132

镜像仓库节点:

仅主机模式：10.10.10.101

NAT模式：  192.168.200.150

三、版本信息

Linux内核版本：

Linux version 3.10.0-862.el7.x86_64 ([email protected])

(gcc version 4.8.5 20150623 (Red Hat 4.8.5-28) (GCC) )

 #1 SMP Fri Apr 20 16:44:24 UTC 2018

K8s集群版本为1.15.0版本：

四、基于StatefulSet与PV/PVC的MySql持久化存储实验

1. 在每个节点安装nfs服务

在“镜像仓库”节点，执行以下命令：

yum install -y nfs-common nfs-utils rpcbind

在k8s集群，执行以下命令：

yum install -y nfs-utils rpcbind

2. 在“镜像仓库”节点下，配置nfs服务器

mkdir /nfs_mysql

Chmod 777 /nfs_mysql/

(在测试环境中，为了不考虑用户属性，暂时赋予777权限，但在生产环境不推荐这样做)

Chown nfsnobody /nfs_mysql/

echo “/nfs_mysql *(rw,no_root_squash,no_all_squash,sync)” >> /etc/exports

cat /etc/exports

/nfs_mysql *(rw,no_root_squash,no_all_squash,sync)

systemctl start rpcbind

systemctl start nfs

3. 测试nfs服务是否可用

mkdir /test

showmount -e 10.10.10.101

可见/nfs_mysql *已暴露于共享目录，接下来测试挂载是否可用：

在master节点下执行：

mount -t nfs 10.10.10.101:/nfs_mysql /test/

echo "hello-world">>/test/1.txt

在镜像仓库节点下查看1.txt是否存在，若存在则挂载成功：

可见nfs服务可以正常使用，接下来删除test目录和1.txt

在镜像仓库下：

[root@hub nfs_mysql]# rm -f 1.txt

在Master节点下:

[root@k8s-master ~]# umount /test/

[root@k8s-master ~]# rm -rf /test/

同理,依照以上步骤同时创建：（提供多个mysql副本进行挂载）

nfs_mysql1

nfs_mysql2

完成后需要重启nfs服务

systemctl restart rpcbind

systemctl restart nfs

最终效果：

4. 将nfs封装成pv

创建mysql_test文件夹，将yaml文件统一保存在此目录下

mkdir mysql_test

cd mysql_test

vim mysql-pv.yml

mysql-pv.yml配置如下：

apiVersion: v1

kind: PersistentVolume

metadata:

  name: mysql-pv

spec:

  capacity:

    storage: 5Gi

  accessModes:

    -  ReadWriteOnce

  persistentVolumeReclaimPolicy: Retain

  storageClassName: nfs

  nfs:

    path: /nfs_mysql

    server: 10.10.10.101

---

apiVersion: v1

kind: PersistentVolume

metadata:

  name: mysql-pv1

spec:

  capacity:

    storage: 5Gi

  accessModes:

    -  ReadWriteOnce

  persistentVolumeReclaimPolicy: Retain

  storageClassName: nfs

  nfs:

    path: /nfs_mysql1

    server: 10.10.10.101

---

apiVersion: v1

kind: PersistentVolume

metadata:

  name: mysql-pv2

spec:

  capacity:

    storage: 5Gi

  accessModes:

    -  ReadWriteOnce

  persistentVolumeReclaimPolicy: Retain

  storageClassName: nfs

  nfs:

    path: /nfs_mysql2

    server: 10.10.10.101

注意：

在k8s集群15版本中recycle回收策略已被删除，只能用retain策略或者Delete策略。这里我们使用 persistentVolumeReclaimPolicy: Retain

 

执行命令：

kubectl create -f mysql-pv.yml

kubectl get pv

如图所示，即为Pv创建成功。

5. 部署MySQL，在mysql_test目录下编写mysql.yml，配置文件如下

apiVersion: v1

kind: Service

metadata:

  name: mysql

  labels:

    app: mysql

spec:

  ports:

  - port: 3306

    name: mysql

  clusterIP: None

  selector:

    app: mysql

---

apiVersion: apps/v1

kind: StatefulSet

metadata:

  name: mysql

spec:

  selector:

    matchLabels:

      app: mysql

  serviceName: "mysql"

  replicas: 3

  template:

    metadata:

      labels:

        app: mysql

    spec:

      containers:

      - name: mysql

        image: mysql:5.6

        env:

        - name: MYSQL_ROOT_PASSWORD

          value: password

        ports:

        - containerPort: 3306

          name: mysql

        volumeMounts:

        - name: mysql-persistent-storage

          mountPath: /var/lib/mysql

  volumeClaimTemplates:

  - metadata:

      name: mysql-persistent-storage

    spec:

      accessModes: ["ReadWriteOnce"]

      storageClassName: "nfs"

      resources:

        requests:

          storage: 1Gi  

执行以下命令，部署mysql服务：

kubectl create -f mysql.yml

如图可知，mysql按StatefulSet依次创建了mysql-0 mysql-1 mysql-2

查看各个Pod部在哪个节点：

6. 通过创建临时容器，使用MySQL客户端发送测试请求给MySQL master节点

注意：

主机名为mysql-0.mysql；跨命名空间的话，主机名请使用mysql-0.mysql. [NAMESPACE_NAME].如果没有指定命名空间，默认为default，即 mysql-0.mysql. default。

   

这里笔者打算关闭node2节点来模拟node2宕机，来测试是否实现数据的持久化存储，

所以我们向node2上的mysql1写入数据。

 

执行以下命令，访问mysql1：

kubectl run mysql-client --image=mysql:5.6 -it --rm --restart=Never -- mysql -h mysql-1.mysql.default -p password

创建数据库demo,并向messages表中写入hello-world

CREATE DATABASE demo; 

CREATE TABLE demo.messages (message VARCHAR(250)); 

INSERT INTO demo.messages VALUES ('hello-world');

如图所示

接下来我们来关闭k8s-node2虚拟机，模拟宕机

查看nodes的运行状态，可知node2的状态已转变为NotReady

一段时间后，k8s将Pod MySql -1迁移到节点k8s-node1

由于时间过长，笔者把三个Pod都删除重启后，验证数据：

MySQL服务恢复，数据完好无损！

③ mysql存储地图经纬度的表怎么设计

可以设计两张关联表 一个用来保存信息 一个用来保存X.Y点的信息 或者Mysql也支持空间数据，Geometry类型即可。
若有问题，请您及时追问我
若满意，请您及时采纳
谢谢您的关照~

④ mysql存储方式MyISAM 和 InnoDB的区别

MYISAM 表是典型的数据与索引分离存储，主键和二级索引没有本质区别。比如在 MYISAM 表里主键、唯一索引是一样的，没有本质区别。
INNODB 表本身是索引组织表，也就是说索引就是数据。下图表T1的数据行以聚簇索引的方式展示，非叶子节点保存了主键的值，叶子节点保存了主键的值以及对应的数据行，并且每个页有分别指向前后两页的指针。
INNODB 表不同于 MYISAM，INNODB 表有自己的数据页管理，默认 16KB。MYISAM 表数据的管理依赖文件系统，比如文件系统一般默认 4KB，MYISAM的块大小也是 4KB，MYISAM 表的没有自己的一套崩溃恢复机制，全部依赖于文件系统。
INNODB 表这样设计的优点有两个：
1. 数据按照主键顺序存储。主键的顺序也就是记录行的物理顺序，相比指向数据行指针的存放方式，避免了再次排序。我们知道，排序消耗最大。
2. 两个叶子节点分别含有指向前后两个节点的指针，这样在插入新行或者进行页分裂时，只需要移动对应的指针即可。
INNODB 二级索引的非叶子节点保存索引的字段值，上图索引为表 t1 的字段 age。叶子节点含有索引字段值和对应的主键值。
这样做的优点是当出现数据行移动或者数据页分裂时，避免二级索引不必要的维护工作。当数据需要更新的时候，二级索引不需要重建，只需要修改聚簇索引即可。
但是也有缺点：
1. 二级索引由于同时保存了主键值，体积会变大。特别是主键设计不合理的时候，比如用 UUID 做主键。
2. 对二级索引的检索需要检索两次索引树。第一次通过检索二级索引叶子节点，找到过滤行对应的主键值；第二次通过这个主键的值去聚簇索引中查找对应的行。

⑤ Mysql或者sql，小说数据库，储存设计

文本文件不推荐存储在数据库中，应该单独放在某个磁盘目录下面，然后再数据库中，记录文件的存放目录。

⑥ mysql存储金额类型，用什么数据类型比较可靠，一般企业数据用什么数据类型

对于游戏币等代币，一般存储为int类型是可行的。问题在于越界，int类型长度为11位。

在存储人民币相关的金额的时候，则只能存储到9长度的人民币，也就是说，最大只能存储999999999，不到10亿的数值，如果业务增长很快的话，就会给自己留下隐患。

Decimal：Decimal为专门为财务相关问题设计的数据类型。

DECIMAL从MySQL5.1引入，列的声明语法是DECIMAL(M,D)。在MySQL5.1中，参量的取值范围如下：M是数字的最大数（精度）。其范围为1～65（在较旧的MySQL版本中，允许的范围是1～254），M的默认值是10。

D是小数点右侧数字的数目（标度）。其范围是0～30，但不得超过M。说明：float占4个字节，double占8个字节，decimail(M,D)占M+2个字节。

如DECIMAL(5,2)的最大值为9999.99，因为有7个字节可用。能够解决数据的范围和精度的问题。

(6)mysql存储设计扩展阅读

MySQL数据类型DECIMAL用法：

MySQLDECIMAL数据类型用于在数据库中存储精确的数值。我们经常将DECIMAL数据类型用于保留准确精确度的列，例如会计系统中的货币数据。

要定义数据类型为DECIMAL的列，请使用以下语法：column_nameDECIMAL(P,D);

在上面的语法中：

P是表示有效数字数的精度。P范围为1〜65。

D是表示小数点后的位数。D的范围是0~30。MySQL要求D小于或等于(<=)P。

DECIMAL(P，D)表示列可以存储D位小数的P位数。十进制列的实际范围取决于精度和刻度。

与INT数据类型一样，DECIMAL类型也具有UNSIGNED和ZEROFILL属性。如果使用UNSIGNED属性，则DECIMALUNSIGNED的列将不接受负值。

如果使用ZEROFILL，MySQL将把显示值填充到0以显示由列定义指定的宽度。另外，如果我们对DECIMAL列使用ZEROFILL，MySQL将自动将UNSIGNED属性添加到列。

⑦ MYSQL数据库的物理设计都包括哪些内容，怎么设计

Log File物理结构

log block结构分为日志头段、日志记录、日志尾部

Block Header

这个部分是每个Block的头部，主要记录的块的信息

⑧ MYSQL存储引擎InnoDB（三十五）：临时表空间

InnoDB使用会话临时表空间和全局临时表空间。

在InnoDB配置为磁盘内部临时表的存储引擎时，会话临时表空间存储用户创建的临时表和优化器创建的内部临时表。从 MySQL 8.0.16 开始，用于磁盘内部临时表的存储引擎固定为InnoDB。（之前，存储引擎由internal_tmp_disk_storage_engine的值决定 ）

在第一次请求创建磁盘临时表时会话临时表空间从临时表空间池中被分配给会话。一个会话最多分配两个表空间，一个用于用户创建的临时表，另一个用于优化器创建的内部临时表。分配给会话的临时表空间用于会话创建的所有磁盘临时表。当会话断开连接时，其临时表空间将被截断并释放回池中。服务器启动时会创建一个包含 10 个临时表空间的池。池的大小永远不会缩小，并且表空间会根据需要自动添加到池中。临时表空间池在正常关闭或中止初始化时被删除。会话临时表空间文件在创建时大小为 5 页，并且具有.ibt文件扩展名。

InnoDB为会话临时表空间保留了40 万个空间 ID。因为每次启动服务器时都会重新创建会话临时表空间池，所以会话临时表空间的空间 ID 在服务器关闭时不会保留，并且可以重复使用。

innodb_temp_tablespaces_dir 变量定义了创建会话临时表空间的位置。默认位置是 #innodb_temp数据目录中的目录。如果无法创建临时表空间池，则会拒绝启动。

在基于语句的复制 (SBR) 模式下，在副本上创建的临时表驻留在单个会话临时表空间中，该临时表空间仅在 MySQL 服务器关闭时被截断。

INNODB_SESSION_TEMP_TABLESPACES 表提供有关会话临时表空间的元数据。

该INFORMATION_SCHEMA.INNODB_TEMP_TABLE_INFO表提供有关在InnoDB实例中处于活动状态的用户创建的临时表的元数据。

全局临时表空间 ( ibtmp1) 存储对用户创建的临时表所做的更改的回滚段。

innodb_temp_data_file_path 变量定义了全局临时表空间数据文件的相对路径、名称、大小和属性。如果没有为innodb_temp_data_file_path指定值 ，则默认行为是创建innodb_data_home_dir目录中命名为ibtmp1的单个自动扩展数据文件。初始文件大小略大于 12MB。

全局临时表空间在正常关闭或中止初始化时被删除，并在每次服务器启动时重新创建。全局临时表空间在创建时会收到一个动态生成的空间 ID。如果无法创建全局临时表空间，则拒绝启动。如果服务器意外停止，则不会删除全局临时表空间。在这种情况下，数据库管理员可以手动删除全局临时表空间或重新启动 MySQL 服务器。重新启动 MySQL 服务器会自动删除并重新创建全局临时表空间。

全局临时表空间不能驻留在原始设备上。

INFORMATION_SCHEMA.FILES提供有关全局临时表空间的元数据。发出与此类似的查询以查看全局临时表空间元数据：

默认情况下，全局临时表空间数据文件会自动扩展并根据需要增加大小。

要确定全局临时表空间数据文件是否正在自动扩展，请检查以下 innodb_temp_data_file_path 设置：

要检查全局临时表空间数据文件的大小，请使用与此类似的查询来查询INFORMATION_SCHEMA.FILES表：

TotalSizeBytes显示全局临时表空间数据文件的当前大小。

或者，检查操作系统上的全局临时表空间数据文件大小。全局临时表空间数据文件位于 innodb_temp_data_file_path 变量定义的目录中。

要回收全局临时表空间数据文件占用的磁盘空间，请重新启动 MySQL 服务器。重新启动服务器会根据innodb_temp_data_file_path定义的属性删除并重新创建全局临时表空间数据文件 。

要限制全局临时表空间数据文件的大小，请配置 innodb_temp_data_file_path以指定最大文件大小。例如：

配置 innodb_temp_data_file_path 需要重新启动服务器。

⑨ MySQL分表实现上百万上千万记录分布存储的批量查询设计模式详解

我们知道可以将一个海量记录的
MySQL
大表根据主键、时间字段，条件字段等分成若干个表甚至保存在若干服务器中。
唯一的问题就是跨服务器批量查询麻烦，只能通过应用程序来解决。谈谈在Java中的解决思路。其他语言原理类似。
这里说的分表不是
MySQL
5.1
的
partition，而是人为把一个表分开存在若干表或不同的服务器。
1.
应用程序级别实现
见示意图
electThreadManager
分表数据查询管理器
它为分表的每个database
or
server
建立一个
thread
pool
addTask()
-
添加任务
stopTask()
-
停止任务
getResult()
-
获取执行结果
最快的执行时间
=
最慢的
MySQL
节点查询消耗时间
最慢的执行时间
=
超时时间
某个
ThreadPool
忙时候处理流程
1.
假如
ThreadPoolN
非常忙，(也意味
DB
N
非常忙)；
2.
新的查询任务到来，addTask(),
新的任务的一个thread加到ThreadPoolN任务排队中
3.
外层应用已经获得其他
thread
返回结果，继续等待
4.
外层应用等待超时的时间到，调用
stopTask()
设置该任务全部
thread
中的停止标志,
外层应用返回。
5.
若干时间后，ThreadPoolN取到该排队
Thread,
因为设置了停止位，线程直接运行完成。
2.
JDBC
层实现
做一个
JDBC
Driver
的包装，拦截
PreparedStatement,
Statement
的
executeQuery()
然后调用
SelectThreadManager
完成
3.
MySQL
partition
MySQL
5.1
的
partition
功能由于单张表的数据跨文件，批量查询时候同样存在上述问题，不过它是在
MySQL
内部实现的，不需要外部调用者关心。其查询实现的原理应该大致类似。
但
partition
只解决了
IO
的瓶颈，并不能解决
CPU
计算的瓶颈，因此无法代替传统的手工分表方式。