pyspark依赖第三方库

问题描述

想在集群中使用第三方库,不知道怎么上传相关的依赖关系。


参考办法

开始找到相关解决方法主要有两种:

  • 一是通过virtualenv为每个程序创建互不干扰的虚拟环境来运行;
  • 二是通过anaconda进行安装包和环境的管理。
相关教程:
但是上面的教程解决的都是driver(master)的环境问题,并没有解决worker(executer,slaver)的问题。而且对于实际情况,并不能保证打包环境和slave端的运行环境一致。

后来参考了Yarn的Pypark如何与Redis交互

实际操作

情况介绍:服务器A中安装了需要依赖的package,服务器B中有相关代码,且通过
sc.addPath(path_to_hdfs)
添加了路径,但是执行后报错,错误描述大概是找不到 dict.txt文件,具体描述见 这里
尝试指定了dict路径后依然出错,后来将代码放到了服务器A上就可以正常运行了,貌似PYSPARK_PYTHON就解决了问题?用zip的方式jieba需要pkg_resources来解决上述出现的那个错误~但服务器B上也没有pkg_resources


就酱。。。
相关文章
相关标签/搜索