Pandas DataFrame을 다루다 보면 특정 조건에 해당하는 데이터를 선택하여 값을 변경해야 하는 경우가 자주 발생합니다. 하지만 이때 종종 예상치 못한 동작이나 SettingWithCopyWarning 경고를 마주하게 됩니다. 특히 체인 인덱싱(Chained Indexing)을 사용할 때 이러한 문제가 발생할 수 있으며, 이는 데이터가 올바르게 수정되지 않는 치명적인 결과를 초래할 수 있습니다.
문제 상황 시나리오
센서에서 시간별로 측정 데이터를 수집하고 있다고 가정해 봅시다. 이 데이터에는 측정값(measured_value)과 센서의 작동 모드(operating_mode, 예를 들어 0은 대기, 1은 측정 중)가 포함됩니다. 특정 시간 구간 동안 센서가 측정 중일 때, 지정된 임계값을 초과하는 측정값에 특별한 플래그(예: 999)를 표시하고 싶습니다.
다음과 같은 DataFrame이 있다고 가정합니다:
import pandas as pd
import numpy as np
# 가상의 센서 측정 데이터 생성
sensor_readings = pd.DataFrame({
'timestamp': pd.to_datetime(pd.date_range('2023-01-01 09:00', periods=10, freq='30min')),
'measured_value': [85, 110, 92, 125, 78, 103, 130, 88, 118, 70],
'operating_mode': [0, 1, 1, 1, 0, 1, 1, 0, 1, 0]
})
print("원본 데이터:")
print(sensor_readings)
이제 operating_mode가 1인 (측정 중) 기간 중 measured_value가 100을 초과하는 모든 값을 999로 변경하려고 합니다. 처음에는 다음과 같이 체인 인덱싱을 사용할 수 있다고 생각할 수 있습니다:
# 잘못된 데이터 할당 시도 (체인 인덱싱)
# operating_mode가 1이고 measured_value가 100 초과하는 경우, measured_value를 999로 변경
sensor_readings[sensor_readings['operating_mode'] == 1][sensor_readings['measured_value'] > 100]['measured_value'] = 999
print("\n잘못된 할당 시도 후 데이터:")
print(sensor_readings)
이 코드를 실행하면, SettingWithCopyWarning 경고가 발생할 수 있으며, 더 중요한 것은 sensor_readings DataFrame의 measured_value 열이 전혀 변경되지 않은 것을 확인할 수 있습니다. 데이터는 여전히 원본 값을 유지하고 있습니다.
문제의 원인: 뷰(View)와 복사본(Copy)
이러한 현상은 Pandas의 인덱싱 동작 방식과 관련이 있습니다. 체인 인덱싱(예: df[condition1][condition2]['column'] = value)은 여러 단계로 나뉘어 실행됩니다.
- 첫 번째
df[condition1]은 원본 DataFrame의 특정 부분에 대한 복사본(Copy)을 반환할 수 있습니다. - 두 번째
[condition2]는 이 복사본에 대해 또 다른 인덱싱을 수행합니다. - 마지막으로
['column'] = value는 이 임시 복사본의 특정 열에 값을 할당하려고 시도합니다.
문제는 이 변경 사항이 원본 DataFrame이 아닌 임시 복사본에만 적용되기 때문에, 변경된 임시 복사본은 가비지 컬렉션의 대상이 되어 사라지고, 원본 DataFrame은 아무런 영향을 받지 않게 됩니다. SettingWithCopyWarning은 이러한 잠재적인 문제를 사용자에게 알려주는 경고입니다.
이를 간단한 예제로 확인해 봅시다.
sample_df = pd.DataFrame({'id': range(6), 'value_col': [10, 20, 30, 40, 50, 60]})
backup_df = sample_df.copy()
# 체인 인덱싱을 통해 값 할당 시도
# id가 2 초과하는 행의 value_col을 99로 변경
sample_df[sample_df['id'] > 2]['value_col'] = 99
print("\n체인 인덱싱 할당 후 sample_df:")
print(sample_df)
# 원본과 비교 - 변화 없음
print(f"원본 DataFrame과 동일한가? {np.array_equal(sample_df.values, backup_df.values)}")
결과는 sample_df가 전혀 변하지 않았음을 보여줄 것입니다.
해결책: .loc 인덱서 활용
Pandas는 이러한 문제를 해결하기 위해 .loc, .iloc, .at, .iat와 같은 명시적인 인덱서를 제공합니다. 특히 .loc는 라벨 기반의 인덱싱을 통해 행과 열을 동시에 지정하여 데이터를 조회하거나 할당할 때 사용됩니다. .loc를 사용하면 Pandas는 하나의 통합된 작업으로 데이터를 처리하므로, 복사본이 아닌 원본 DataFrame에 직접 변경 사항을 적용할 수 있습니다.
.loc의 기본 사용법은 df.loc[row_indexer, column_indexer] = value 형태입니다. 여기서 row_indexer에는 불리언 마스크(조건)나 라벨 리스트를 사용할 수 있으며, column_indexer에는 열 이름이나 열 이름 리스트를 사용할 수 있습니다.
앞서 제시된 문제 시나리오를 .loc를 사용하여 올바르게 수정해 봅시다.
# .loc를 사용한 올바른 데이터 할당
# operating_mode가 1이고 measured_value가 100 초과하는 경우, measured_value를 999로 변경
target_condition = (sensor_readings['operating_mode'] == 1) & (sensor_readings['measured_value'] > 100)
sensor_readings.loc[target_condition, 'measured_value'] = 999
print("\n.loc 할당 후 데이터:")
print(sensor_readings)
이제 출력된 sensor_readings를 확인하면 operating_mode가 1이면서 measured_value가 100을 초과했던 모든 값이 999로 올바르게 변경된 것을 볼 수 있습니다. SettingWithCopyWarning도 발생하지 않습니다.
이와 같이 Pandas DataFrame에서 조건부로 데이터를 수정할 때는 .loc 인덱서를 사용하여 명확하고 안전하게 작업을 수행하는 것이 중요합니다. 이는 코드의 예측 가능성을 높이고 잠재적인 버그를 방지하는 가장 좋은 방법입니다.