describe関数の概要
Pandasのdescribe関数は、データフレームの各列に対して基本的な統計的記述を提供します。これには、平均、中央値、最小値、最大値、標準偏差などが含まれます。この関数は、データ分析の初期段階で、データの分布や傾向を理解するために非常に役立ちます。
具体的には、describe関数は以下の情報を提供します:
count: 非欠損値の数mean: 平均値std: 標準偏差min: 最小値25%: 第一四分位数50%: 中央値または第二四分位数75%: 第三四分位数max: 最大値
これらの統計量は、データの中心傾向、分散、形状を理解するのに役立ちます。ただし、describe関数はデフォルトで数値型の列のみを考慮します。文字列型の列を含めるには、パラメータを調整する必要があります。これについては後述します。
以上がPandasのdescribe関数の概要です。次のセクションでは、この関数の具体的な使用方法について説明します。
describe関数の使用方法
Pandasのdescribe関数の使用は非常に簡単です。まず、Pandasライブラリをインポートし、データフレームを作成または読み込みます。次に、データフレームの列に対してdescribe関数を呼び出します。
以下に、基本的な使用方法を示します。
import pandas as pd
# データフレームの作成
df = pd.DataFrame({
'A': [1, 2, 3, 4, 5],
'B': [2, 3, 4, 5, 6],
'C': [3, 4, 5, 6, 7]
})
# describe関数の呼び出し
df.describe()
このコードを実行すると、各列（’A’, ‘B’, ‘C’）に対する統計的記述が得られます。
デフォルトでは、describe関数は数値型の列のみを考慮します。文字列型の列を含めるには、includeパラメータを使用します。
df.describe(include='all')
このコードは、数値型だけでなく、文字列型の列も考慮した統計的記述を提供します。
以上がPandasのdescribe関数の基本的な使用方法です。次のセクションでは、この関数のパラメータについて詳しく説明します。
describe関数のパラメータ
Pandasのdescribe関数は、以下の主要なパラメータを持っています:
-
percentiles: パーセンタイル値を指定するリスト。デフォルトは [.25, .5, .75] で、それぞれ第一四分位数、中央値、第三四分位数を表します。
python
df.describe(percentiles=[.1, .2, .3, .4, .5, .6, .7, .8, .9])このコードは、10%から90%までのパーセンタイルを計算します。
-
include: 統計的記述を計算するデータ型を指定します。デフォルトは
Noneで、数値型の列のみが考慮されます。他のオプションには ‘all’（全ての列）、[np.number]（数値型の列）、[np.object]（オブジェクト型の列）、[np.datetime64]（日付/時間型の列）などがあります。python
df.describe(include='all')このコードは、全ての列（数値型、オブジェクト型、日付/時間型）の統計的記述を提供します。
-
exclude: 統計的記述から除外するデータ型を指定します。デフォルトは
Noneです。python
df.describe(exclude=[np.number])このコードは、数値型の列を除外し、それ以外の列の統計的記述を提供します。
以上がPandasのdescribe関数の主要なパラメータです。これらのパラメータを適切に使用することで、データ分析の精度と効率を向上させることができます。次のセクションでは、describe関数の出力結果の解釈について説明します。
describe関数の出力結果の解釈
Pandasのdescribe関数から得られる出力は、データフレームの各列の統計的記述を提供します。以下に、各統計量の解釈を示します:
-
count: 非欠損値の数を示します。これは、その列に存在する有効なデータポイントの数を示します。 -
mean: 平均値を示します。これは、その列の全ての数値を合計し、データポイントの数で割ったものです。 -
std: 標準偏差を示します。これは、データポイントが平均からどれだけばらついているかを示す指標です。 -
min: 最小値を示します。これは、その列の最小のデータポイントを示します。 -
25%: 第一四分位数を示します。これは、データを小さい順に並べたときに下から25%の位置にある値を示します。 -
50%: 中央値または第二四分位数を示します。これは、データを小さい順に並べたときに真ん中の位置にある値を示します。 -
75%: 第三四分位数を示します。これは、データを小さい順に並べたときに下から75%の位置にある値を示します。 -
max: 最大値を示します。これは、その列の最大のデータポイントを示します。
これらの統計量は、データの分布、中心傾向、分散、形状を理解するのに役立ちます。また、これらの統計量を用いて、データに異常値や外れ値がないか、データが正規分布に従っているかなど、データの品質を評価することもできます。
以上がPandasのdescribe関数の出力結果の解釈です。次のセクションでは、describe関数を活用したデータ分析の例について説明します。
describe関数を活用したデータ分析の例
Pandasのdescribe関数は、データ分析の初期段階で非常に役立つツールです。以下に、describe関数を活用したデータ分析の基本的な例を示します。
まず、適当なデータセットを読み込みます。ここでは、Iris（アヤメ）のデータセットを使用します。このデータセットは、3種類のアヤメ（setosa、versicolor、virginica）のがく片と花弁の長さと幅を測定したものです。
import pandas as pd
from sklearn.datasets import load_iris
# Irisデータセットの読み込み
iris = load_iris()
df = pd.DataFrame(iris.data, columns=iris.feature_names)
# describe関数の呼び出し
df.describe()
このコードを実行すると、各列（’sepal length (cm)’, ‘sepal width (cm)’, ‘petal length (cm)’, ‘petal width (cm)’）に対する統計的記述が得られます。これにより、各特徴の平均値、標準偏差、最小値、最大値、四分位数などを一目で確認することができます。
また、describe関数の出力を視覚化することで、データの分布をより直感的に理解することができます。以下に、describe関数の出力を箱ひげ図として視覚化する例を示します。
import matplotlib.pyplot as plt
# 箱ひげ図の作成
df.describe().loc[['mean', '25%', '50%', '75%']].T.plot(kind='box')
plt.title('Box plot of the describe function output')
plt.ylabel('cm')
plt.show()
このコードを実行すると、各特徴の平均値、第一四分位数、中央値、第三四分位数を表す箱ひげ図が得られます。これにより、各特徴の分布やばらつきを視覚的に確認することができます。
以上が、Pandasのdescribe関数を活用したデータ分析の例です。この関数を使うことで、データの基本的な特性を素早く把握し、データ分析の方向性を定めることができます。また、describe関数の出力を視覚化することで、データの理解を深めることができます。このように、describe関数はデータ分析において非常に有用なツールです。この記事が、describe関数の理解と活用に役立つことを願っています。それでは、Happy Data Analyzing!