spark报错：FileSystem closed （已解决）

现象

在spark集群中执行insert 语句时报错，堆栈信息为：FileSystem closed。常常出现在ThriftServer里面。

产生原因

由于hadoop FileSystem.get 获得的FileSystem会从缓存加载，如果多线程一个线程closedFileSystem会导致该BUG

解决方案

hdfs存在不从缓存加载的解决方式，在hdfs-site.xml 配置 fs.hdfs.impl.disable.cache=true即可