在数据分析中,常用的Excel文件格式有两种,一种是.xlsx格式,另一种是.csv格式,这里以导入.csv格式的文件为例,借助于Python中的pandas库导入Excel数据。
pandas是一个强大的Python数据分析库,其中包含了很多CSV文件数据的读写操作,这里主要介绍pandas读取CSV文件和写入CSV文件,以下是一些需要掌握的操作:
这里推荐使用jupyter notebook,打开jupyter notebook的界面如下,要写代码可以在new中新建一个Python3。
首先导入pandas包,该数据分析包可以做多种数据处理。
学习一个函数最佳的就是学习其参数,只要掌握其参数含义,就能使用其函数的用法了,这里介绍一个使用jupyter notebook的小技巧,当输入pd.read_csv(),却不知道里面包含哪些参数时,可以在括号()里使用电脑快捷键Shift+Tab键,就可以调出其参数。
比如这里pd.read_csv()包含如下一些参数:
pd.read_csv(filepath_or_buffer: Union[str, pathlib.Path, IO[~AnyStr]], sep=',', delimiter=None, header='infer', names=None, index_col=None, usecols=None, squeeze=False, prefix=None, mangle_dupe_cols=True, dtype=None, engine=None, converters=None, true_values=None, false_values=None, skipinitialspace=False, skiprows=None, skipfooter=0, nrows=None, na_values=None, keep_default_na=True, na_filter=True, verbose=False, skip_blank_lines=True, parse_dates=False, infer_datetime_format=False, keep_date_col=False, date_parser=None, dayfirst=False, cache_dates=True, iterator=False, chunksize=None, compression='infer', thousands=None, decimal: str = '.', lineterminator=None, quotechar='"', quoting=0, doublequote=True, escapechar=None, comment=None, encoding=None, dialect=None, error_bad_lines=True, warn_bad_lines=True, delim_whitespace=False, low_memory=True, memory_map=False, float_precision=None)
1. 读取 CSV 文件:
使用 Pandas 的 read_csv() 方法可以轻松地读取 CSV 文件。需要提供以下参数:
filepath_or_buffer: 文件路径,或者是有 read 方法的流对象。
sep: 分隔符,默认是逗号。
header: 指定哪行作为列的名称,如果没有行作为列名,那么应该设置 header=None,并且设置 names 参数。
names: 在 CSV 文件中没有一行来存储列名,可以使用 names 自己指定,并且设置 header=None。
index_col: 使用哪一列作为行索引,可以是列的位置,也可以是列的名称。如果没有指定,那么默认会自动生成一个顺序索引。
usecols: 加载哪几列。只加载某几列可以使用此参数。
2. 写入 CSV 文件:
Pandas 的 to_csv() 方法可以轻松地将数据写入 CSV 文件,pd.read_csv()包含如下一些参数:
df.to_csv(path_or_buf: Union[str, pathlib.Path, IO[~AnyStr], NoneType] = None, sep: str = ',', na_rep: str = '', float_format: Union[str, NoneType] = None, columns: Union[Sequence[Union[Hashable, NoneType]], NoneType] = None, header: Union[bool, List[str]] = True, index: bool = True, index_label: Union[bool, str, Sequence[Union[Hashable, NoneType]], NoneType] = None, mode: str = 'w', encoding: Union[str, NoneType] = None, compression: Union[str, Mapping[str, str], NoneType] = 'infer', quoting: Union[int, NoneType] = None, quotechar: str = '"', line_terminator: Union[str, NoneType] = None, chunksize: Union[int, NoneType] = None, date_format: Union[str, NoneType] = None, doublequote: bool = True, escapechar: Union[str, NoneType] = None, decimal: Union[str, NoneType] = '.', errors: str = 'strict') -> Union[str, NoneType]
data: 要写入的数据。
sep: 分隔符,默认是逗号。
header: 指定哪行作为列的名称,如果没有行作为列名,那么应该设置 header=None,并且设置 names 参数。
names: 在 CSV 文件中没有一行来存储列名,可以使用 names 自己指定,并且设置 header=None。
index_col: 使用哪一列作为行索引,可以是列的位置,也可以是列的名称。如果没有指定,那么默认会自动生成一个顺序索引。