spark加载使用第三方动态库.so文件

Question

这边有个任务，通过音频来解析年龄和性别，这个过程中需要用到第三方动态库（.so文件），请教大神在spark中怎样加载和使用第三方库？

Answer 1

spark的每个节点也是一个linux主机，.so文件放到各个节点，工程通过java调用.so试试

Answer 2

这种方法太笨了，我想要的是通过spark代码加载进来，然后发布到各个计算节点，就类似hadoop的DistributedCache.addFileToClassPath()函数。

Answer 3

我用的是python，pyspark.SparkContext 的 addFile(path)可以用来将文件分发至各计算节点供调用（Add a file to be downloaded with this Spark job on every node），so库调用没有问题，我用过

Answer 4

如何解决，
http://blog.csdn.net/ddjj_1980/article/details/74940593