一、数据加载
项目源数据请见 kaggle。
1.对于csv中的数据，pandas库提供两种方法来读取，分别为：read_csv()和read_table()。二者的区别为：read_table()以制表符 \t 作为数据的标志，也就是以行为单位进行存储；而read_csv()则是按csv file 中的每一格为单位进行存储。
读取数据时最好使用绝对地址。如果要用相对地址却又不知道当前工作目录，则可以用下面的方法获得：
import os
print(os.getcwd());
2.有时源数据较大，则可以通过逐块读取的方法将数据分类。主要方法有以下两种：
（1）读取文件中前部分
通过nrows参数，来设置读取文件的前多少行，nrows是一个大于等于0的整数。
data = pd.read_csv("data.csv",nrows=5)
（2）逐块读取文件
#设置chunksize参数，来控制每次迭代数据的大小
chunker = pd.read_csv("data.csv",chunksize=5)
for piece in chunker:
print(type(piece))
#<class 'pandas.core.frame.DataFrame'>
print(len(piece))
#5
3.初步观察数据。常用的函数有以下几种：
df.info() #返回每列非空数据的个数以及数据类型
df.head(x) #返回前x行数据，x为正整数
df.tail(x) #返回倒数前x行数据，x为正整数
df.describe() #返回每列数据的数量、均值、方差、最大值、最小值、分位数
二、Pandas基础
最常用的查询方法有loc和iloc。loc通过行索引 “Index” 中的具体值来取行数据；iloc中的i意为integer，它通过行号来取行数据，因此iloc的参数只能是非负整数或者非负区间。
在下面这个例子中，我们创建了一个midage Dataframe，然后从这个表中取出了索引为100的行和绝对位置排在第100位的行。
midage = df[(df["Age"]>10)& (df["Age"]<50)]
print(midage.loc[100])
#######
PassengerId 101
Survived 0
Pclass 3
Name Petranec, Miss. Matilda
Sex female
Age 28
SibSp 0
Parch 0
Ticket 349245
Fare 7.8958
Cabin NaN
Embarked S
#######
print(midage.iloc[100])
#######
PassengerId 150
Survived 0
Pclass 2
Name Byles, Rev. Thomas Roussel Davids
Sex male
Age 42
SibSp 0
Parch 0
Ticket 244310
Fare 13
Cabin NaN
Embarked S
#######
三、探索性数据分析
1、排序
可以使用sort_index()和sort_values() 。
frame = pd.DataFrame(np.random.rand(12).reshape((3, 4)), index=['2', '1','3'], columns=['d', 'a', 'b', 'c'])
print(frame.sort_index(axis=0,ascending=TRUE) #按行索引升序排序
print(frame.sort_index(axis=1,ascending=FALSE) #按列索引降序排序
print(frame.sort_values(by=['a','d'],ascending=TRUE) #按a列和d列的值升序排列。这里先按a列排，遇到a列相同，再按d列排
2、算术运算
两个DataFrame相加后，会返回一个新的DataFrame，对应的行和列的值会相加，没有对应的会变成空值 NaN。
frame1_a = pd.DataFrame(np.arange(9.).reshape(3, 3), columns=['a', 'b', 'c'], index=['one', 'two', 'three'])
frame1_b = pd.DataFrame(np.arange(12.).reshape(4, 3), columns=['a', 'e', 'c'], index=['first', 'one', 'two', 'second'])
print(frame1_a )
print(frame1_b )
print(frame1_a+frame1_b )
###
result:
a b c
one 0.0 1.0 2.0
two 3.0 4.0 5.0
three 6.0 7.0 8.0
a e c
first 0.0 1.0 2.0
one 3.0 4.0 5.0
two 6.0 7.0 8.0
second 9.0 10.0 11.0
a b c e
first NaN NaN NaN NaN
one 3.0 NaN 7.0 NaN
second NaN NaN NaN NaN
three NaN NaN NaN NaN
two 9.0 NaN 13.0 NaN
3、筛选出姓名中含有‘Mr.’的数据
#使用str.contains()
print(df[df['Name'].str.contains(r'Mr\.')]['Name'])
#使用正则表达式
print(df['Name'].str.extract('(\D*)Mr\.(\D*)'))
4、查找age列的缺失值
print(df[df['Age'].isnull().values==True])
5、查看95%分位数
print(df[['Age','Fare']].quantile(0.95))
