前端开发技术团结互助，让我们共同进步！

当前位置：主页 > 技术资讯 > 开发技术 > 前端开发技术 >

我们的优势： 10年相关行业经验，专业设计师量身定制设计师一对一服务模式，上百家客户案例！企业保证，正规流程，正规合作 7*24小时在线服务，售后无忧

阿里开源通用算法平台Alink！

文章来源：牛创网络围观次数：

分享到:

摘要：最近，阿里云计算部门已在GitHub上发布了其Alink平台的“核心代码”，并上传了一系列支持批处理和流处理的算法库，这对于支持机器学习任务至关重要。Alink是基于Flink的通用算法平台。

Alink是基于Flink的通用算法平台，由阿里巴巴计算平台的PAI团队开发。除了支持阿里自己的平台，它还支持一系列开源数据存储平台，例如Kafka，HDFS和HBase。

阿里云计算和机器智能公司表示，开发人员和数据分析师可以使用开源代码来构建软件功能，例如统计分析，机器学习，实时预测，个性化推荐和异常检测。 Alink提供了一系列算法，可帮助完成机器学习任务，例如AI驱动的客户服务和产品推荐。

阿里巴巴集团副总裁，阿里云智能计算平台事业部总裁贾阳清和高级研究员指出，对于寻求大数据和机器学习工具的开发人员而言，Alink将是一个新的选择。

他认为，由于中国企业是GitHub上十大贡献者之一，因此Ali致力于在软件开发周期中与开源社区建立早期联系。 GitHub上的开源Alink遵循了这一承诺。

阿里巴巴已将Alink部署到其电子商务平台天猫。在今年的“双十一”期间，单日数据处理量达到970PB，每秒处理的峰值数据高达25亿条。 Alink帮助天猫产品推荐点击率提高了4％。

迄今为止，在过去八年中，阿里巴巴开发人员已为整个开源社区贡献了180多个项目，包括云基础架构，机器学习，数据库和网络。阿里巴巴的开源计划包括基于MySQL的AliSQL，容器工具Pouch和JStorm（基于Java的Apache Storm版本）。

有关使用Alink的问题

问：我可以连接到远程Flink群集进行计算吗？

答：您可以连接到已通过以下方法启动的Flink群集：useRemoteEnv（主机，端口，并行性，flinkHome = None，localIp =“ localhost”，shipAlinkAlgoJar = True，config = None）。其中，参数：

host和port代表集群的地址；

并行度表示执行作业时的并行度；

flinkHome是flink的完整路径。默认情况下，使用PyAlink随附的flink-1.9.0路径。

localIp指定实现Flink DataStream的打印预览功能所需的本地IP地址，Flink群集需要访问该本地IP地址。默认值为localhost。

shipAlinkAlgoJar是否将PyAlink提供的Alink算法包传输到远程集群。如果将Alink算法包放置在远程群集中，则可以在此处将其设置为False以减少数据传输。

问：如何停止长时间运行的Flink作业？

答：使用本地执行环境时，只需使用Notebook提供的“停止”按钮。使用远程集群时，需要使用集群提供的作业停止功能。

问：我可以直接使用Python脚本而不是Notebook运行它吗？

答：可以。但是您需要在代码末尾调用resetEnv（），否则脚本不会退出

使用步骤

使用前准备

确保您的环境中装有Python3，版本> = 3.5；

需要根据Python版本下载相应的pyalink软件包（下载链接请参见GitHub）；

使用easy_install easy_install [存储路径] /pyalink-0.0.1-py3安装。 *。蛋。必须知道的是：

如果您以前安装过pyalink，请先使用pip uninstall pyalink卸载以前的版本。

如果您有多个版本的Python，则可能需要使用easy_install的特定版本，例如easy_install-3.7。

如果使用Anaconda，则需要从Anaconda命令行安装它。

开始使用

阿里建议通过Jupyter Notebook使用PyAlink，以获得更好的体验。

使用步骤

1.从以下命令行启动Jupyter：jupyter笔记本，然后创建一个新的Python 3笔记本。

2.导入pyalink包：从pyalink.alink import *。

3.使用该方法创建本地运行时环境：useLocalEnv（并行性，flinkHome = None，config = None）。其中，参数Parallism指示用于执行的并行度； flinkHome是flink的完整路径，并使用PyAlink的默认flink-1.9.0路径； config是Flink接受的配置参数。运行后，将显示以下输出，表明正在运行的环境初始化成功：