数据科学 Top10 清单

先说一下磁盘IO，磁盘读取数据靠的是机械运动，每一次读取数据需要寻道、寻点、拷贝到内存三步操作。

寻道时间是磁臂移动到指定磁道所需要的时间，一般在5ms以下;

寻点是从磁道中找到数据存在的那个点，平均时间是半圈时间，如果是一个7200转/min的磁盘，寻点时间平均是600000/7200/2=4.17ms;

拷贝到内存的时间很快，和前面两个时间比起来可以忽略不计，所以一次IO的时间平均是在9ms左右。听起来很快，但数据库百万级别的数据过一遍就达到了9000s，显然就是灾难级别的了

 

背景

我相信大家在数据库优化的时候都会说到索引，我也不例外，大家也基本上能对数据结构的优化回答个一二三，以及页缓存之类的都能扯上几句，但是有一次阿里P9的一个面试问我：你能从计算机层面开始说一下一个索引数据加载的流程么?(就是想让我聊IO)

我当场就去世了....因为计算机网络和操作系统的基础知识真的是我的盲区，不过后面我恶补了，废话不多说，我们就从计算机加载数据聊起，讲一下换个角度聊索引。

正文

MySQL的索引本质上是一种数据结构

让我们先来了解一下计算机的数据加载。

磁盘IO和预读：

 

图中，评估标准后面自带的箭头，表示数据更低（↓）或数据更高（↑）表示图像质量更好。

为了更好地对比，结果分别采用了HiFiC算法（图中红点连线）、不带GANs的对比算法（图中橙方连线）、目前较为前沿的M&S算法（图中蓝方连线）和BPG算法（图中蓝点连线）。

从结果来看，HiFiC算法在FID、KID、NIQE、LPIPS几种评估标准均为最优，而在MS-SSIM和PSNR标准中表现一般。

由评估标准间的差异可见，各项图像质量标准不一定是判断压缩技术的最好办法。

用户评测对比

毕竟，图像是用来看的，最终的判断权还得交回用户手里。

图像究竟是否「清晰」，某种程度上得通过人眼的判断来决定。

出于这个考虑，团队采取了调研模式，让一部分志愿者参与算法的比较。

他们先展示一张测试图片的随机裁切图样，当志愿者对其中某张裁切图样感兴趣时，便用这一部分来进行所有算法的对比。

志愿者将原图与经过算法处理后的图像对比后，选出他们认为「视觉上」更接近于原图的压缩算法。

在所有算法经过选取后，将会出现一个排名，以衡量HiFiC的实际效果。（其中，HiFiC的角标Hi、Mi和Lo分别为设置由高至低3种不同码率阈值时的算法）

（编辑：衡水站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!