本发明公开了一种基于hadoop远程超大非结构化文本文件解析出入库系统及方法，可将超大文本文件从远程文件系统采用ftp或者sftp的方式读取并解析存入hive库。同时本发明也兼容传统的一般文本文件的读取、解析、入库。对于超大文本文件，本发明应用了ftp、sftp以及一些hadoop大数据组件技术spark、yarn、hive等，采用技术整合的方式，成本更为低廉，且贴合hadoop大数据技术，实现较为简单。读取文件和写入存储文件都利用spark和hadoop的架构优势，spark按照文件设定的大小设置分区(partition)数量进行读取，并存入HDFS，spark读取HDFS文件利用了hadoop的文件块机制。因此不论读取文件和写入HIVE，不会出现OOM的问题。