Pandas读取csv文件某一列并保存到txt文件中
按道理来说挺简单的,但是却查了好久,本来想利用pandas的api获取某一列的数据,然后写入到文件中,但是写入到文件后出现各种问题,要不程序报错,要不不分行。最后还是按照之前的那样,获取的之后一个个的添加到之前创建好的list中。
def save_csv_to_text(filename, csv_name, usecols):'''读取csv的文件,将指定列转换存到txt文件中,usecols=0 摘要,usecols=1 文章'''data = pd.read_csv(os.path.join(DATA_ROOT, csv_name), usecols=[usecols])data_list = data.values.tolist()result = []for item in data_list:result.append(item[0])print("start process {}".format(filename))start_time = time.time()with open(filename, 'w', encoding='utf-8') as f:for item in tqdm(result):f.write(item + '\n')f.close()print("cost time {}".format(time.time() - start_time))print('save {} done!'.format(filename))print("---------------------")
在这里tqdm如果想使用的话,导包的时候需要这样导入:
from tqdm import tqdm