欠損値とは
欠損値とは、データセット内の特定のデータポイントが存在しない、または測定されていない場合を指します。これは、データ収集中のエラー、システムの故障、または単にその情報が利用できない場合など、さまざまな理由で発生する可能性があります。
データ分析において、欠損値は重要な問題となります。欠損値を無視すると、分析結果が歪んだり、誤った結論を導く可能性があります。そのため、欠損値の取り扱いは、データクレンジングと前処理の重要なステップとなります。
Pandasでは、欠損値は通常 NaN（Not a Number）として表現されます。これは特殊な浮動小数点値で、数値データにおける欠損値を表すために使用されます。Pandasの isnull() 関数や notnull() 関数を使用して、データフレーム内の欠損値を検出することができます。
次に、Pandasで欠損値をどのように置き換えるかについて詳しく見ていきましょう。欠損値の置き換えは、データの品質を保つための重要な手段です。これには、固定値で置き換える方法、平均値や中央値などの統計的な指標で置き換える方法、前後の値で置き換える方法などがあります。具体的な方法については、次のセクションで詳しく説明します。
PandasにおけるNaN扱いになる要素
Pandasでは、欠損値は通常 NaN（Not a Number）として表現されます。これは特殊な浮動小数点値で、数値データにおける欠損値を表すために使用されます。しかし、数値データだけでなく、他のデータタイプにおいても NaN は欠損値を表すことがあります。
以下に、Pandasで NaN として扱われる主な要素を示します：
-
None: Pythonの
Noneオブジェクトは、PandasではNaNとして扱われます。 -
空文字列: 文字列データにおいて、空文字列はしばしば欠損値を表すために使用されます。Pandasでは、空文字列は
NaNとして扱われることがあります。 -
特殊な浮動小数点値: IEEE浮動小数点標準に従って、特定の浮動小数点値は
NaNとして扱われます。これには、無限大 (inf) や負の無限大 (-inf) などが含まれます。 -
特殊な文字列: 一部の特殊な文字列（例えば、”NA”、”NULL”、”None”など）は、Pandasの
read_csv関数などでデータを読み込む際にNaNとして解釈されます。
これらの要素がデータセットに存在する場合、それらは欠損値として扱われ、データ分析の際に注意が必要です。次のセクションでは、これらの NaN 値をどのように検出し、どのように置き換えるかについて詳しく見ていきましょう。
NaNの判別
Pandasでは、データフレーム内の欠損値（NaN）を判別するために、isnull()関数とnotnull()関数が提供されています。
isnull()関数
isnull()関数は、データフレーム内の各要素がNaNであるかどうかを判定します。NaNである場合はTrueを、そうでない場合はFalseを返します。以下に使用例を示します。
import pandas as pd
import numpy as np
# データフレームの作成
df = pd.DataFrame({
'A': [1, 2, np.nan],
'B': [5, np.nan, np.nan],
'C': [1, 2, 3]
})
print(df.isnull())
このコードは、以下のような結果を出力します。
A B C
0 False False False
1 False True False
2 True True False
notnull()関数
一方、notnull()関数はisnull()関数とは逆の動作をします。つまり、各要素がNaNでない場合にTrueを、NaNである場合にFalseを返します。
これらの関数を使用することで、データフレーム内の欠損値を効率的に検出し、適切な処理を行うことができます。次のセクションでは、欠損値の置き換えについて詳しく見ていきましょう。
df.fillnaでNaNを置換
Pandasのfillna()関数は、データフレーム内のNaN値を指定した値や方法で置き換えるための便利なツールです。以下に基本的な使用方法を示します。
import pandas as pd
import numpy as np
# データフレームの作成
df = pd.DataFrame({
'A': [1, 2, np.nan],
'B': [5, np.nan, np.nan],
'C': [1, 2, 3]
})
# NaNを0で置換
df.fillna(0)
このコードは、NaN値を0で置き換えた新しいデータフレームを出力します。
また、fillna()関数は、methodパラメータを使用して、前後の値でNaNを置き換えることも可能です。methodパラメータには'ffill'または'bfill'を指定します。'ffill'は前方の値（前の行または列の値）でNaNを置き換え、'bfill'は後方の値（次の行または列の値）でNaNを置き換えます。
# 前の値でNaNを置換
df.fillna(method='ffill')
# 次の値でNaNを置換
df.fillna(method='bfill')
ただし、これらの方法は、データの性質によります。適切な置換方法を選択するためには、データの理解と分析が必要です。次のセクションでは、さまざまな置換方法について詳しく見ていきましょう。
すべての値を同じ値に置換する
Pandasのfillna()関数を使用すると、データフレーム内のすべてのNaN値を一定の値で置き換えることができます。以下にその使用例を示します。
import pandas as pd
import numpy as np
# データフレームの作成
df = pd.DataFrame({
'A': [1, 2, np.nan],
'B': [5, np.nan, np.nan],
'C': [1, 2, 3]
})
# NaNを0で置換
df.fillna(0)
このコードは、NaN値を0で置き換えた新しいデータフレームを出力します。
A B C
0 1.0 5.0 1
1 2.0 0.0 2
2 0.0 0.0 3
このように、fillna()関数に一定の値を指定すると、データフレーム内のすべてのNaN値がその値で置き換えられます。ただし、この方法はすべての欠損値が同じ理由で発生し、それらを同じ値で置き換えることが適切な場合にのみ使用するべきです。次のセクションでは、列ごとに代表値を計算して置き換える方法について詳しく見ていきましょう。
列ごとに代表値を計算して置換する
Pandasのfillna()関数を使用すると、データフレーム内のNaN値を列ごとの代表値（平均値、中央値など）で置き換えることができます。以下にその使用例を示します。
import pandas as pd
import numpy as np
# データフレームの作成
df = pd.DataFrame({
'A': [1, 2, np.nan],
'B': [5, np.nan, np.nan],
'C': [1, 2, 3]
})
# NaNを列の平均値で置換
df.fillna(df.mean())
このコードは、各列のNaN値をその列の平均値で置き換えた新しいデータフレームを出力します。
A B C
0 1.0 5.0 1
1 2.0 5.0 2
2 1.5 5.0 3
このように、fillna()関数にデータフレームのメソッド（mean(), median(), mode()など）を指定すると、各列のNaN値がその列の代表値で置き換えられます。ただし、この方法は各列の欠損値が同じ理由で発生し、それらを列の代表値で置き換えることが適切な場合にのみ使用するべきです。次のセクションでは、特定の要素で特定の値に置き換える方法について詳しく見ていきましょう。
特定の要素で特定の値に置換する
Pandasのreplace()関数を使用すると、データフレーム内の特定の要素を別の値で置き換えることができます。以下にその使用例を示します。
import pandas as pd
import numpy as np
# データフレームの作成
df = pd.DataFrame({
'A': [1, 2, np.nan],
'B': [5, np.nan, np.nan],
'C': [1, 2, 3]
})
# NaNを-1で置換
df.replace(np.nan, -1)
このコードは、NaN値を-1で置き換えた新しいデータフレームを出力します。
A B C
0 1.0 5.0 1
1 2.0 -1.0 2
2 -1.0 -1.0 3
また、replace()関数は、複数の異なる要素をそれぞれ異なる値で置き換えることも可能です。そのためには、置き換える要素とその新しい値のペアを辞書として関数に渡します。
# 1を-1で、NaNを0で置換
df.replace({1: -1, np.nan: 0})
このように、replace()関数は、データフレーム内の特定の要素を特定の値で置き換えるための強力なツールです。ただし、この方法は、特定の要素が特定の理由で発生し、それらを特定の値で置き換えることが適切な場合にのみ使用するべきです。以上で、Pandasで欠損値を置き換える方法についての説明を終わります。データ分析における欠損値の取り扱いは重要なスキルであり、これらのテクニックを理解し活用することで、より高品質なデータ分析を行うことができます。それでは、次のトピックに進みましょう。どんな質問でもお気軽にどうぞ。よろしくお願いします！