AIGC开发平台AI开发框架

MLlib(ApacheSpark)

MLlib是 Apache Spark 的可扩展机器学习库

标签:
chatglm
chatgpt

使用方便

可用于 Java、Scala、Python 和 R。

MLlib 适合Spark的 API,并与 Python(从 Spark 0.9 开始)和 R 库(从 Spark 1.5 开始)中的NumPy互操作 。您可以使用任何 Hadoop 数据源(例如 HDFS、HBase 或本地文件),从而轻松插入 Hadoop 工作流。

表现

高质量算法,比 MapReduce 快 100 倍。

Spark 擅长迭代计算,使 MLlib 能够快速运行。同时,我们关心算法性能:MLlib 包含利用迭代的高质量算法,并且可以产生比有时在 MapReduce 上使用的单遍近似更好的结果。

无处不在

Spark 在 Hadoop、Apache Mesos、Kubernetes 上独立运行,或在云中针对不同的数据源运行。

您可以使用其独立集群模式EC2Hadoop YARNMesosKubernetes上运行 Spark 。访问HDFS、 Apache Cassandra、 Apache HBase、 Apache Hive和数百个其他数据源 中的数据。

    相关导航