spark报错:FileSystem closed (已解决)
现象
在spark集群中执行insert 语句时报错,堆栈信息为:FileSystem closed。常常出现在ThriftServer里面。
产生原因
由于hadoop FileSystem.get 获得的FileSystem会从缓存加载,如果多线程一个线程closedFileSystem会导致该BUG
解决方案
hdfs存在不从缓存加载的解决方式,在hdfs-site.xml 配置 fs.hdfs.impl.disable.cache=true即可