有多个机器，都只有1g内存，可以跑spark么

Question

有多个机器，都只有1g内存，我配好了spark环境，spark启动时正常的，用jps查看进程master和worker都启动了，但是跑spark的例子程序就会出问题，而且都是报的任务序列化失败‘Task serialization failed’。是不是内存太小导致的，求助大神

Answer 1

首先spark就是一个内存计算框架，对内存有比较高的要求。但是单节点1g安装肯定是没问题的，跑些数据量和过程计算量较小的问题肯定是可以的。出现序列化任务失败可能就是内存太小，你可以将被依赖的类中不能序列化的部分使用transient关键字修饰，告诉编译器它不需要序列化。