正则表达式学习

以BP神经网络为例

SSL：Secure Socket Layer，安全套接字层

TLS：Transport LayerSecurity，传输层安全协议

SSL是Netscape开发的专门用户保护Web通讯的，目前版本为3.0。最新版本的TLS 1.0是IETF(工程任务组)制定的一种新的协议，它建立在SSL 3.0协议规范之上，是SSL 3.0的后续版本，两者差别极小。

分库分表

分库分表很明显，一个主表（也就是很重要的表，例如用户表）无限制的增长势必严重影响性能，分库与分表是一个很不错的解决途径，也就是性能优化途径，现在的案例是我们有一个1000多万条记录的用户表members,查询起来非常之慢，做法是将其散列到100个表中。

修改表结构

不停机修改mysql表结构，同样还是members表，前期设计的表结构不尽合理，随着数据库不断运行，其冗余数据也是增长巨大

索引的建立

索引应建立在那些将用于Join，Where判断和orderBy排序的字段上。尽量不要对数据库中某个含有大量重复的值的字段建立索引。

sql语句执行顺序

select -> wherer -> group by -> having -> order by

explain

参考链接：MySQL explain 应用详解(吐血整理🤩) - SegmentFault 思否

使用优化器可以模拟优化器执行SQL查询语句，从而知道MySQL怎么处理你的SQL语句的，分析你的查询语句和表结构的性能瓶颈。

explain能够干什么？

• 读取表的顺序
• 哪些索引能够被使用
• 数据读取操作的操作类型
• 哪些索引能够被实际使用
• 表之间的引用
• 每张表有多少行被物理查询

explain的使用，如下所示：

1

explain select * from course;

输出如下：

explain各个字段代表的意思：

• id ：select查询的序列号，包含一组数字，表示查询中执行select子句或操作表的顺序
• select_type ：查询类型 或者是 其他操作类型
• table ：正在访问哪个表
• partitions ：匹配的分区
• type ：访问的类型
• possible_keys ：显示可能应用在这张表中的索引，一个或多个，但不一定实际使用到
• key ：实际使用到的索引，如果为NULL，则没有使用索引
• key_len ：表示索引中使用的字节数，可通过该列计算查询中使用的索引的长度
• ref ：显示索引的哪一列被使用了，如果可能的话，是一个常数，哪些列或常量被用于查找索引列上的值
• rows ：根据表统计信息及索引选用情况，大致估算出找到所需的记录所需读取的行数
• filtered ：查询的表行占表的百分比
• Extra ：包含不适合在其它列中显示但十分重要的额外信息

Id与table

1. id相同时，执行顺序由上至下
2. 如果是子查询，id的序号会递增，id值越大优先级越高，越先被执行
3. id如果相同，可以认为是一组，从上往下顺序执行；在所有组中，id值越大，优先级越高，越先执行

select_type字段

• SIMPLE 简单查询，不包括子查询和union查询
• PRIMARY 当存在子查询时，最外面的查询被标记为主查询
• SUBQUERY 子查询
• UNION 当一个查询在UNION关键字之后就会出现UNION
• UNION RESULT 连接几个表查询后的结果

partitions字段

该列显示的为分区表命中的分区情况。非分区表该字段为空（null）。

type字段

首先说一下这个字段，要记住以下10个状态，（从左往右，越靠左边的越优秀）

1

NULL > system > const > eq_ref > ref > ref_or_null > index_merge > range > index > ALL

• NULL：MySQL能够在优化阶段分解查询语句，在执行阶段用不着再访问表或索引
• system：表只有一行记录（等于系统表），这是const类型的特列，平时不大会出现，可以忽略。

Python的内存管理机制：引入计数、垃圾回收、内存池机制

参考链接：Python内存管理机制 - GeaoZhang - 博客园 (cnblogs.com)

1. 定义

闭包是函数式编程的一个重要的语法结构，函数式编程是一种编程范式 (而面向过程编程和面向对象编程也都是编程范式)。

在面向过程编程中，我们见到过函数(function)；

在面向对象编程中，我们见过对象(object)；

函数和对象的根本目的是以某种逻辑方式组织代码，并提高代码的可重复使用性(reusability)；

Python数据结构模块：

• collections
• functools
• heapq
• operator
• itertools

B树

定义

B树也称B-树,它是一颗多路平衡查找树。我们描述一颗B树时需要指定它的阶数，阶数表示了一个结点最多有多少个孩子结点，一般用字母m表示阶数。当m取2时，就是我们常见的二叉搜索树。

定义如下：

• 每个节点最多有m-1个关键字

• 根节点最少可以有1个关键字

• 非根节点至少有 math.ceil(m/2)-1个关键字

  ceil上取整，floor下取整

• 每个节点中的关键字按从小到大的顺序排列，每个关键字中的左子树都小于它，而右子树中的所有关键字都大于它。

• 所有叶子节点都位于同一层，或者说根节点到每个叶子节点的长度都相同。

上图是一颗阶数为4的B树。在实际应用中的B树的阶数m都非常大（通常大于100），所以即使存储大量的数据，B树的高度仍然比较小。

每个结点中存储了关键字（key）和关键字对应的数据（data），以及孩子结点的指针。

我们将一个key和其对应的data称为一个记录。但为了方便描述，除非特别说明，后续文中就用key来代替（key, value）键值对这个整体。

在数据库中我们将B树（和B+树）作为索引结构，可以加快查询速速，此时B树中的key就表示键，而data表示了这个键对应的条目在硬盘上的逻辑地址。

插入操作

插入操作是指插入一条记录，即（key, value）的键值对。

果B树中已存在需要插入的键值对，则用需要插入的value替换旧的value。若B树不存在这个key,则一定是在叶子结点中进行插入操作。

1. 根据要插入的key的值，找到叶子结点并插入。

2. 判断当前结点key的个数是否小于等于m-1，若满足则结束，否则进行第3步。

   节点有没有满

3. 以结点中间的key为中心分裂成左右两部分，然后将这个中间的key插入到父结点中，这个key的左子树指向分裂后的左半部分，这个key的右子支指向分裂后的右半部分，然后将当前结点指向父结点，继续进行第3步。

下面以5阶B树为例，介绍B树的插入操作，在5阶B树中，结点最多有4个key,最少有2个key

在实现B树的代码中，为了使代码编写更加容易，我们可以将结点中存储记录的数组长度定义为m而非m-1，这样方便底层的结点由于分裂向上层插入一个记录时，上层有多余的位置存储这个记录。同时，每个结点还可以存储它的父结点的引用，这样就不必编写递归程序。

一般来说，对于确定的m和确定类型的记录，结点大小是固定的，无论它实际存储了多少个记录。

但是分配固定结点大小的方法会存在浪费的情况，比如key为28,29所在的结点，还有2个key的位置没有使用，但是已经不可能继续在插入任何值了，因为这个结点的前序key是27,后继key是30,所有整数值都用完了。

所以如果记录先按key的大小排好序，再插入到B树中，结点的使用率就会很低，最差情况下使用率仅为50%。

13,17,21,22,23,24,26,27,28,29,30,31,32,33,34,35,36,39,40,41,53,97

删除操作

删除操作是指，根据key删除记录，如果B树中的记录中不存对应key的记录，则删除失败。

1. 如果当前需要删除的key位于非叶子结点上，则用后继key（这里的后继key均指后继记录的意思）覆盖要删除的key，然后在后继key所在的子支中删除该后继key。此时后继key一定位于叶子结点上，这个过程和二叉搜索树删除结点的方式类似。删除这个记录后执行第2步。

2. 该结点key（移出后继节点的节点）个数大于等于Math.ceil(m/2)-1，结束删除操作，否则执行第3步。

3. 如果兄弟结点key个数大于Math.ceil(m/2)-1，则父结点中的key（移上去的后继节点）下移到该结点，兄弟结点中的一个key上移，删除操作结束。

   否则，将父结点中的key下移与当前结点及它的兄弟结点中的key合并，形成一个新的结点。父结点中的key的两个孩子指针就变成了一个孩子指针，指向这个新结点。然后当前结点的指针指向父结点，重复上第2步。

   有些结点它可能即有左兄弟，又有右兄弟，那么我们任意选择一个兄弟结点进行操作即可。

   合并操作会将当前指针，指向被合并节点的父节点

B+树

定义

维基百科上所定义的方式，即关键字个数比孩子结点个数小1，这种方式是和B树基本等价的。上图就是一颗阶数为4的B+树。

除此之外B+树还有以下的要求：

1. B+树包含2种类型的结点：内部结点（也称索引结点）和叶子结点。根结点本身即可以是内部结点，也可以是叶子结点。根结点的关键字个数最少可以只有1个。
2. B+树与B树最大的不同是内部结点不保存数据，只用于索引，所有数据（或者说记录）都保存在叶子结点中。
3. m阶B+树表示了内部结点最多有m-1个关键字（或者说内部结点最多有m个子树），阶数m同时限制了叶子结点最多存储m-1个记录。
4. 内部结点中的key都按照从小到大的顺序排列，对于内部结点中的一个key，左树中的所有key都小于它，右子树中的key都大于等于它。叶子结点中的记录也按照key的大小排列。
5. 每个叶子结点都存有相邻叶子结点的指针，叶子结点本身依关键字的大小自小而大顺序链接。

插入操作

1. 若为空树，创建一个叶子结点，然后将记录插入其中，此时这个叶子结点也是根结点，插入操作结束。
2. 针对叶子类型结点：根据key值找到叶子结点，向这个叶子结点插入记录。
   • 插入后，若当前结点key的个数小于等于m-1，则插入结束。
   • 否则将这个叶子结点分裂成左右两个叶子结点，左叶子结点包含前m/2个记录，右结点包含剩下的记录，将第m/2+1个记录的key进位到父结点中（父结点一定是索引类型结点），进位到父结点的key左孩子指针向左结点,右孩子指针向右结点。将当前结点的指针指向父结点，然后执行第3步。
     • 针对索引类型结点：若当前结点key的个数小于等于m-1，则插入结束。
     • 否则，将这个索引类型结点分裂成两个索引结点，左索引结点包含前(m-1)/2个key，右结点包含m-(m-1)/2个key，将第m/2个key进位到父结点中，进位到父结点的key左孩子指向左结点, 进位到父结点的key右孩子指向右结点。将当前结点的指针指向父结点，然后重复第3步。

5,6,7,8,9,10,15,16,17,18,19,20,21,22

删除操作

如果叶子结点中没有相应的key，则删除失败。否则执行下面的步骤

1）删除叶子结点中对应的key。删除后若结点的key的个数大于等于Math.ceil(m-1)/2 – 1，删除操作结束,否则执行第2步。

2）若兄弟结点key有富余（大于Math.ceil(m-1)/2 – 1），向兄弟结点借一个记录，同时用借到的key替换父结（指当前结点和兄弟结点共同的父结点）点中的key，删除结束。否则执行第3步。

3）若兄弟结点中没有富余的key,则当前结点和兄弟结点合并成一个新的叶子结点，并删除父结点中的key（父结点中的这个key两边的孩子指针就变成了一个指针，正好指向这个新的叶子结点），将当前结点指向父结点（必为索引结点），执行第4步（第4步以后的操作和B树就完全一样了，主要是为了更新索引结点）。

4）若索引结点的key的个数大于等于Math.ceil(m-1)/2 – 1，则删除操作结束。否则执行第5步

5）若兄弟结点有富余，父结点key下移，兄弟结点key上移，删除结束。否则执行第6步

6）当前结点和兄弟结点及父结点下移key合并成一个新的结点。将当前结点指向父结点，重复第4步。

注意，通过B+树的删除操作后，索引结点中存在的key，不一定在叶子结点中存在对应的记录。

下面是一颗5阶B树的删除过程，5阶B数的结点最少2个key，最多4个key。

参考链接

B树和B+树的插入、删除图文详解 - nullzx - 博客园 (cnblogs.com)

• Dijkstra算法
• Floyd算法