颜色分割算法

❶ 图像分割的分割方法

灰度阈值分割 法是一种最常用的并行区域技术，它是图像分割中应用数量最多的一类。阈值分割方法实际上是输入图像f到输出图像g的如下变换：
其中，T为阈值，对于物体的图像元素g(i,j)=1，对于背景的图像元素g(i,j)=0。
由此可见，阈值分割算法的关键是确定阈值，如果能确定一个合适的阈值就可准确地将图像分割开来。阈值确定后，将阈值与像素点的灰度值逐个进行比较，而且像素分割可对各像素并行地进行，分割的结果直接给出图像区域。
阈值分割的优点是计算简单、运算效率较高、速度快。在重视运算效率的应用场合(如用于硬件实现)，它得到了广泛应用。
人们发展了各种各样的阈值处理技术，包括全局阈值、自适应阈值、最佳阈值等等。
全局阈值是指整幅图像使用同一个阈值做分割处理，适用于背景和前景有明显对比的图像。它是根据整幅图像确定的：T=T(f)。但是这种方法只考虑像素本身的灰度值，一般不考虑空间特征，因而对噪声很敏感。常用的全局阈值选取方法有利用图像灰度直方图的峰谷法、最小误差法、最大类间方差法、最大熵自动阈值法以及其它一些方法。
在许多情况下，物体和背景的对比度在图像中的各处不是一样的，这时很难用一个统一的阈值将物体与背景分开。这时可以根据图像的局部特征分别采用不同的阈值进行分割。实际处理时，需要按照具体问题将图像分成若干子区域分别选择阈值，或者动态地根据一定的邻域范围选择每点处的阈值，进行图像分割。这时的阈值为自适应阈值。
阈值的选择需要根据具体问题来确定，一般通过实验来确定。对于给定的图像，可以通过分析直方图的方法确定最佳的阈值，例如当直方图明显呈现双峰情况时，可以选择两个峰值的中点作为最佳阈值。
图1(a)和(b)分别为用全局阈值和自适应阈值对经典的Lena图像进行分割的结果。
区域生长和分裂合并法是两种典型的串行区域技术，其分割过程后续步骤的处理要根据前面步骤的结果进行判断而确定。 区域生长 区域生长的基本思想是将具有相似性质的像素集合起来构成区域。具体先对每个需要分割的区域找一个种子像素作为生长的起点，然后将种子像素周围邻域中与种子像素有相同或相似性质的像素(根据某种事先确定的生长或相似准则来判定)合并到种子像素所在的区域中。将这些新像素当作新的种子像素继续进行上面的过程，直到再没有满足条件的像素可被包括进来。这样一个区域就长成了。
区域生长需要选择一组能正确代表所需区域的种子像素，确定在生长过程中的相似性准则，制定让生长停止的条件或准则。相似性准则可以是灰度级、彩色、纹理、梯度等特性。选取的种子像素可以是单个像素，也可以是包含若干个像素的小区域。大部分区域生长准则使用图像的局部性质。生长准则可根据不同原则制定，而使用不同的生长准则会影响区域生长的过程。区域生长法的优点是计算简单，对于较均匀的连通目标有较好的分割效果。它的缺点是需要人为确定种子点，对噪声敏感，可能导致区域内有空洞。另外，它是一种串行算法，当目标较大时，分割速度较慢，因此在设计算法时，要尽量提高效率。
区域分裂合并
区域生长是从某个或者某些像素点出发，最后得到整个区域，进而实现目标提取。分裂合并差不多是区域生长的逆过程：从整个图像出发，不断分裂得到各个子区域，然后再把前景区域合并，实现目标提取。分裂合并的假设是对于一幅图像，前景区域由一些相互连通的像素组成的，因此，如果把一幅图像分裂到像素级，那么就可以判定该像素是否为前景像素。当所有像素点或者子区域完成判断以后，把前景区域或者像素合并就可得到前景目标。
在这类方法中，最常用的方法是四叉树分解法(如图3所示)。设R代表整个正方形图像区域，P代表逻辑谓词。基本分裂合并算法步骤如下：(1)对任一个区域，如果H(Ri)=FALSE就将其分裂成不重叠的四等份；
(2)对相邻的两个区域Ri和Rj，它们也可以大小不同（即不在同一层），如果条件H(Ri∪Rj)=TRUE满足，就将它们合并起来。
(3)如果进一步的分裂或合并都不可能，则结束。
分裂合并法的关键是分裂合并准则的设计。这种方法对复杂图像的分割效果较好，但算法较复杂，计算量大，分裂还可能破坏区域的边界。 图像分割的一种重要途径是通过边缘检测，即检测灰度级或者结构具有突变的地方，表明一个区域的终结，也是另一个区域开始的地方。这种不连续性称为边缘。不同的图像灰度不同，边界处一般有明显的边缘，利用此特征可以分割图像。
图像中边缘处像素的灰度值不连续，这种不连续性可通过求导数来检测到。对于阶跃状边缘，其位置对应一阶导数的极值点，对应二阶导数的过零点(零交叉点)。因此常用微分算子进行边缘检测。常用的一阶微分算子有Roberts算子、Prewitt算子和Sobel算子，二阶微分算子有Laplace算子和Kirsh算子等。在实际中各种微分算子常用小区域模板来表示，微分运算是利用模板和图像卷积来实现。这些算子对噪声敏感，只适合于噪声较小不太复杂的图像。
由于边缘和噪声都是灰度不连续点，在频域均为高频分量，直接采用微分运算难以克服噪声的影响。因此用微分算子检测边缘前要对图像进行平滑滤波。LoG算子和Canny算子是具有平滑功能的二阶和一阶微分算子，边缘检测效果较好，如图4所示。其中loG算子是采用Laplacian算子求高斯函数的二阶导数，Canny算子是高斯函数的一阶导数，它在噪声抑制和边缘检测之间取得了较好的平衡。关于微分算子的边缘检测的详细内容可参考文献 。 与其他图像分割方法相比，基于直方图的方法是非常有效的图像分割方法，因为他们通常只需要一个通过像素。在这种方法中，直方图是从图像中的像素的计算，并在直方图的波峰和波谷是用于定位图像中的簇。颜色和强度可以作为衡量。
这种技术的一种改进是递归应用直方图求法的集群中的形象以分成更小的簇。重复此操作，使用更小的簇直到没有更多的集群的形成。
基于直方图的方法也能很快适应于多个帧，同时保持他们的单通效率。直方图可以在多个帧被考虑的时候采取多种方式。同样的方法是采取一个框架可以应用到多个，和之后的结果合并，山峰和山谷在以前很难识别，但现在更容易区分。直方图也可以应用于每一个像素的基础上，将得到的信息被用来确定的像素点的位置最常见的颜色。这种方法部分基于主动对象和一个静态的环境，导致在不同类型的视频分割提供跟踪。

❷ 图像分割算法分为几类

从学术角度讲图像分割主要分成3大类，一是基于边缘的，二是基于区域的，三是基于纹理的。由于基于纹理的也可以看成是基于区域的，所以有些专家也把分割方法分成基于边缘和基于区域两大类。
选择算法的时候主要参考你要分割的图像样本的特点。
如果图像的边界特别分明，比如绿叶和红花，在边界处红绿明显不同，可以精确提取到边界，这时候用基于边缘的方法就可行。但如果是像医学图像一样，轮廓不是特别明显，比如心脏图像，左心房和左心室颜色比较接近，它们之间的隔膜仅仅是颜色比它们深一些，但是色彩上来说很接近，这时候用基于边缘的方法就不合适了，用基于区域的方法更好。再比如带纹理的图像，例如条纹衫，如果用基于边缘的方法很可能就把每一条纹都分割成一个物体，但实际上衣服是一个整体，这时候用基于纹理的方法就能把纹理相同或相似的区域分成一个整体。
不过总体来说，基于区域的方法近些年更热一些，如Meanshift分割方法、测地线活动轮廓模型、JSEG等。

❸ 图像分割算法总结

       图像处理的很多任务都离不开图像分割。因为图像分割在cv中实在太重要(有用)了，就先把图像分割的常用算法做个总结。

        接触机器学习和深度学习时间已经不短了。期间看过各种相关知识但从未总结过。本文过后我会尽可能详细的从工程角度来总结，从传统机器学习算法，传统计算机视觉库算法到深度学习目前常用算法和论文，以及模型在各平台的转化，量化，服务化部署等相关知识总结。

        图像分割常用算法大致分为下面几类。由于图像的能量范函，边缘追踪等方法的效果往往只能解决特定问题，效果并不理想，这里不再阐述。当然二值化本身也可以分割一些简单图像的。但是二值化算法较多，我会专门做一个文章来总结。这里不再赘述。

        1.基于边缘的图像分割算法：

            有利用图像梯度的传统算法算子的sobel，roberts，prewitt,拉普拉斯以及canny等。

            这些算法的基本思想都是采用合适的卷积算子，对图像做卷积。从而求出图像对应的梯度图像。(至于为什么通过如图1这样的算子卷积，即可得到图像的梯度图像，请读者复习下卷积和倒数的概念自行推导)由于图像的边缘处往往是图像像素差异较大，梯度较大地方。因此我们通过合适的卷积核得到图像的梯度图像，即得到了图像的边缘图像。至于二阶算子的推导，与一阶类似。优点：传统算子梯度检测，只需要用合适的卷积核做卷积，即可快速得出对应的边缘图像。缺点：图像边缘不一定准确，复杂图像的梯度不仅仅出现在图像边缘，可以能出现在图像内部的色彩和纹理上。

             也有基于深度学习方法hed，rcf等。由于这类网络都有同一个比较严重的缺陷，这里只举例hed网络。hed是基于FCN和VGG改进，同时引出6个loss进行优化训练，通过多个层输出不同scale的粒度的边缘，然后通过一个训练权重融合各个层的边缘结果。hed网络结构如下：

可以得到一个比较完整的梯度图像，可参考github的hed实现。优点：图像的梯度细节和边缘完整性，相比传统的边缘算子要好很多。但是hed对于边缘的图像内部的边缘并不能很好的区分。当然我们可以自行更改loss来尝试只拟合外部的图像边缘。但最致命的问题在于，基于vgg的hed的网络表达能力有限，对于图像和背景接近，或者图像和背景部分相融的图片，hed似乎就有点无能为力了。

        2.基于区域分割的算法：

            区域分割比较常用的如传统的算法结合遗传算法，区域生长算法，区域分裂合并，分水岭算法等。这里传统算法的思路是比较简单易懂的，如果有无法理解的地方，欢迎大家一起讨论学习。这里不再做过多的分析。

            基于区域和语意的深度学习分割算法，是目前图像分割成果较多和研究的主要方向。例如FCN系列的全卷积网络，以及经典的医学图像分割常用的unet系列，以及rcnn系列发展下的maskrcnn，以及18年底的PAnet。基于语意的图像分割技术，无疑会成为图像分割技术的主流。

            其中，基于深度学习语意的其他相关算法也可以间接或直接的应用到图像分割。如经典的图像matting问题。18年又出现了许多非常优秀的算法和论文。如Deep-Image-Matting，以及效果非常优秀的MIT的 semantic soft segmentation(sss).

            基于语意的图像分割效果明显要好于其他的传统算法。我在解决图像分割的问题时，首先尝试用了hed网络。最后的效果并不理想。虽然也参考github，做了hed的一些fine-tune,但是还是上面提到的原因，在我多次尝试后，最终放弃。转而适用FCN系列的网络。但是fcn也无法解决图像和背景相融的问题。图片相融的分割，感觉即需要大的感受野，又需要未相融部分原图像细节，所以单原FCN的网络，很难做出准确的分割。中间还测试过很多其他相关的网络，但都效果不佳。考虑到感受野和原图像细节，尝试了resnet和densenet作为图像特征提取的底层。最终我测试了unet系列的网络：

                unet的原始模型如图所示。在自己拍照爬虫等手段采集了将近1000张图片。去掉了图片质量太差的，图片内容太过类似的。爬虫最终收集160多张，自己拍照收集200张图片后，又用ps手动p了边缘图像，采用图像增强变换，大约有300*24张图片。原生unet网络的表现比较一般。在将unet普通的卷积层改为resnet后，网络的表达能力明显提升。在将resnet改为resnet101，此时，即使对于部分相融的图像，也能较好的分割了。但是unet的模型体积已经不能接受。

                在最后阶段，看到maskrcnn的实例分割。maskrcnn一路由rcnn,fasterrcnn发展过来。于是用maskrcnn来加入自己的训练数据和label图像进行训练。maskrcnn的结果表现并不令人满意，对于边缘的定位，相比于其他算法，略显粗糙。在产品应用中，明显还不合适。                

        3.基于图的分割算法

            基于深度学习的deepgrab,效果表现并不是十分理想。deepgrab的git作者backbone采用了deeplabv2的网络结构。并没有完全安装原论文来做。

论文原地址参考： https://arxiv.org/pdf/1707.00243.pdf

整体结构类似于encode和decoder。并没有太仔细的研究，因为基于resent101的结构，在模型体积，速度以及deeplab的分割精度上，都不能满足当前的需求。之前大致总结过计算机视觉的相关知识点，既然目前在讨论移动端模型，那后面就分模块总结下移动端模型的应用落地吧。

由于时间实在有限。这里并没有针对每个算法进行详细的讲解。后续我会从基础的机器学习算法开始总结。

❹ 使用 sklearn 库中的 KMeans 实现彩色图像聚类分割

sklearn 库是最为常用且经典的机器学习库，里面封装了许多机器学习算法，此篇文章使用此库中的 KMeans 算法，从而实现图像的聚类分割。

本文不讲理论，只谈应用。

除了 sklearn 库之外，还需要一些图像处理的库，我引入了如下几个库：

我使用了 pylab 库来读入图片：

此时读入的 img 是一个三维 numpy 数组，其形状为 (height, width, 3) ，其中3是指通道数，即 RGB 三个通道。

但是， KMeans 传入的参数必须是二维数组，故，还需要将其打散为二维：

在此构建时，只需要使用最简单的方法即可：

参数有很多，我在构建的时候除了 n_clusters 都使用的默认值：

然后，使用 fit() 进行训练山滚：

聚类之后，有很多参数，比较重要的，以及此处需要用到的主要有俩：

聚类完成之后，需要将每个像素点重新填色，将同一类的像素点均填为此类聚类中心的颜色。

在此之前，首先需要得到图片的高度和宽度：

首先用 image.new() 重新创建一个图片，其语法如下：

然后需要用 putpixel() 方如渗法来填充像素，但是在此之前，还需要处理几个小细渣唯脊节：

RGB图中，每个通道都是 0-255 之间的整数，但是， kmeans.cluster_centers_ 中元素类型却是 float64 ，故在填充之前，还需要小小处理一番，将元素变为 int32 类型的。

直接转变类型不太合适，因为 kmeans.cluster_centers_ 毕竟是类似于一个属性值的东西，而且这个名字太长，换一个简短的也是好的。故重新复制一份再使用 astype 更改数据类型即可。

上面便提到， kmeans.labels_ 是一个一维数组，但是图片是二维的，所以将其恢复过来即可：

然后便可以 填充像素 了：

这里需要注意 putpixel() 方法，其的两个参数：

最后保存图片即可：

我使用了王者荣耀大乔的图片来做测试：