Notes—Dense Vector and Sparse Vector

墨蓝 2022-06-13 08:10 171阅读 0赞

……未完待补充……  
ref：  
1. Spark官方文档  
2. [http://bbs.csdn.net/topics/391002544][http_bbs.csdn.net_topics_391002544]

在spark.ml.linalg里有两种vector——DenseVector 和 Sparse Vector，两者都继承于Vectors

**1.两者区别**  
DenseVector： a value array

def:  
Vectors.dense(values: Array\[Double\])  
(直接把所有的元素都列出来了)

SparseVector : an index and a value array

def:  
Vectors.sparse(size: Int, indices: Array\[Int\], values: Array\[Double\])  
(存储元素的个数、以及非零元素的编号index和值value)

import org.apache.spark.mllib.linalg.{Vector, Vectors}
    
    // Create a dense vector (1.0, 0.0, 3.0).
    val dv: Vector = Vectors.dense(1.0, 0.0, 3.0)
    
    // Create a sparse vector (1.0, 0.0, 3.0) by specifying its indices and values
    corresponding to nonzero entries.
    
    val sv1: Vector = Vectors.sparse(3, Array(0, 2), Array(1.0, 3.0))
    
    // Create a sparse vector (1.0, 0.0, 3.0) by specifying its nonzero entries.
    val sv2: Vector = Vectors.sparse(3, Seq((0, 1.0), (2, 3.0)))

**2.含类标签的点LabeledPoint**

import org.apache.spark.mllib.linalg.Vectors
    import org.apache.spark.mllib.regression.LabeledPoint
    
    // Create a labeled point with a positive label and a dense feature vector.
    // 相当于这组dense特征的标签是1
    val pos = LabeledPoint(1.0, Vectors.dense(1.0, 0.0, 3.0))
    
    // Create a labeled point with a negative label and a sparse feature vector.
    // 相当于这组dense特征的标签是0
    val neg = LabeledPoint(0.0, Vectors.sparse(3, Array(0, 2), Array(1.0, 3.0)))

3.python的Scipy库也有类似的  
[https://docs.scipy.org/doc/scipy/reference/sparse.html][https_docs.scipy.org_doc_scipy_reference_sparse.html]

[http_bbs.csdn.net_topics_391002544]: http://bbs.csdn.net/topics/391002544
[https_docs.scipy.org_doc_scipy_reference_sparse.html]: https://docs.scipy.org/doc/scipy/reference/sparse.html

发表评论取消回复

表情：

评论列表（有 0 条评论，171人围观）

还没有评论，来说两句吧...

相关阅读

相关 C++ vector，STL vector

vector 是顺序容器的一种。vector 是可变长的动态数组，支持随机访问迭代器，所有 STL 算法都能对 vector 进行操作。要使用 vector，需要包含头文件 v

不念不忘少年蓝@/ 2023年07月15日 15:13/ 0 赞/ 27 阅读

相关 vector

C++ vector容器用法 vector容器基本内涵 vector声明（构造函数） vector赋值 vectord容量和大小 ve

青旅半醒/ 2022年11月19日 07:38/ 0 赞/ 138 阅读

相关 vector

Vector 是一种顺序性的容器，按照严格线性存储各种对象。他其实就是一种动态的数组。 Vector 可以方便的做一下：可以通过下标直接访问元素 (常量时间cons

朱雀/ 2022年08月08日 19:49/ 0 赞/ 148 阅读

相关 vector＜vector＞排序

已知：每类奖励下面不止四种，是不确定数量（至少一种）。要求有可领取奖励的块上移到顶，如果有多个可领奖励块，它们的前后顺序和原来一样。这里每个标题栏和可领取块都是一张map里面的

雨点打透心脏的1/2处/ 2022年08月02日 06:23/ 0 赞/ 242 阅读

相关 vector

verctor<int>是声明向量容器；例如 verctor<int> v,就是创建了一个名字叫v的向量容器。 vector<int>::

本是古典何须时尚/ 2022年07月18日 01:29/ 0 赞/ 180 阅读

相关 Notes—Dense Vector and Sparse Vector

……未完待补充…… ref： 1. Spark官方文档 2. [http://bbs.csdn.net/topics/391002544][http_bbs.csd

墨蓝/ 2022年06月13日 08:10/ 0 赞/ 172 阅读

相关 vector<vector >array 理解

在很多时候，类中二维数组的维度往往无法提前知道，因此需要动态地分配空间。使用new运算符是其中的一个解决方案，但是操作不当往往会造成内存溢出/泄漏。使用STL的vect

深藏阁楼爱情的钟/ 2022年06月10日 10:15/ 0 赞/ 198 阅读

相关 vector

写在前面： > STL顺序容器vector。主要内容 > vector 是动态数组是对于c++内建的数组array的升级版本。array是静态空间，vecto

傷城~/ 2022年05月17日 00:55/ 0 赞/ 154 阅读

相关 vector

vector<int>sor; int i =0; while(i<10) { sor.push

╰半夏微凉°/ 2022年04月12日 11:40/ 0 赞/ 241 阅读

相关 vector

1. 空间运用灵活性 vector与数组的唯一差别就在于空间运用的灵活性。vector的空间是可以动态增长的（但是不能减小）。需要空间运用的灵活性，vect

￡神魔★判官ぃ/ 2021年11月11日 15:08/ 0 赞/ 309 阅读