SQL Server Integration Services(SSIS)의 'Import Column' 변환은 로컬 또는 네트워크 경로에 존재하는 물리적 파일을 읽어 데이터베이스의 테이블 컬럼(BLOB 등)으로 저장하는 데 사용됩니다. 이는 'Export Column' 변환과 반대되는 개념으로, 파일 시스템의 데이터를 정형화된 테이블 데이터로 변환하는 핵심적인 ETL 도구입니다.
Import Column 변환의 핵심 메커니즘
이 변환의 핵심은 입력 소스에 데이터베이스로 로드할 파일의 전체 경로(Full Path)가 포함되어 있어야 한다는 점입니다. Import Column 변환은 고급 편집기(Advanced Editor)를 통해 설정하며, 경로 문자열을 실제 바이너리 데이터로 변환하여 출력 컬럼으로 내보내는 역할을 수행합니다.
기본적인 파일 로드 예제
로컬 디렉터리에 있는 이미지 파일들을 데이터베이스 테이블의 IMAGE 또는 VARBINARY(MAX) 타입 컬럼에 저장하는 프로세스를 구성해 보겠습니다.
1. 대상 테이블 생성
먼저 파일 경로와 파일의 바이너리 내용을 저장할 테이블을 SQL Server에 생성합니다.
CREATE TABLE FileStorage (
FilePathID INT IDENTITY(1,1) PRIMARY KEY,
OriginPath NVARCHAR(260) NOT NULL,
FileContent VARBINARY(MAX)
);
2. 데이터 흐름(Data Flow) 구성
- Flat File Source: 로드할 파일의 경로 목록이 적힌 텍스트 파일(예:
file_list.csv)을 소스로 사용합니다. - Import Column Transformation: 파일 경로 데이터를 받아 실제 파일을 읽어들입니다.
- OLE DB Destination: 최종적으로
FileStorage테이블에 데이터를 저장합니다.
3. Import Column 고급 편집기 설정
Import Column은 일반적인 변환 작업과 달리 인터페이스가 직관적이지 않으므로 다음 단계를 정확히 따라야 합니다.
- Input Columns 탭: 입력 스트림에서 파일 경로가 포함된 컬럼(예:
FilePath)을 선택합니다. - Input and Output Properties 탭:
- 'Import Column Output' 아래의 'Output Columns' 폴더를 선택하고 'Add Column'을 클릭하여 새로운 출력 컬럼을 생성합니다(예:
BinaryData). - 새로 생성한 컬럼의
DataType을image [DT_IMAGE]또는 적절한 바이너리 타입으로 설정합니다. 이때 생성된 컬럼의 ID 값을 기억합니다. - 'Import Column Input' 아래의 'Input Columns'에서 경로 컬럼을 선택합니다.
- 해당 입력 컬럼의 속성 중
FileDataColumnID항목에 방금 확인한 출력 컬럼의 ID를 입력합니다. 이 설정이 경로와 바이너리 출력을 연결하는 핵심입니다.
- 'Import Column Output' 아래의 'Output Columns' 폴더를 선택하고 'Add Column'을 클릭하여 새로운 출력 컬럼을 생성합니다(예:
반복문을 이용한 동적 파일 로드
고정된 파일 리스트 대신 특정 폴더 내의 모든 파일을 자동으로 읽어오려면 Foreach Loop Container를 활용해야 합니다.
동적 프로세스 설계
- Foreach Loop Container: 제어 흐름(Control Flow)에서 지정된 폴더의 파일들을 순회하도록 설정합니다. 파일 이름과 경로를 SSIS 변수(
User::CurrentPath)에 저장합니다. - Execute SQL Task: 루프 내부에서 현재 파일 경로를 임시 테이블(Staging Table)에 삽입하거나, 데이터 흐름 내에서 변수를 직접 활용할 수 있도록 구성합니다.
임시 경로 저장을 위한 SQL 예시
-- 임시 경로 저장용 테이블
CREATE TABLE StagingPaths (
RawPath NVARCHAR(260)
);
-- Execute SQL Task 내 SQLStatementSource 구성 (Expression 활용)
-- "INSERT INTO StagingPaths (RawPath) VALUES ('" + @[User::CurrentPath] + "')"
주의사항 및 팁
- 경로 병합: 만약 데이터 소스에서 폴더 경로와 파일명이 분리되어 있다면, 'Derived Column' 변환을 사용하여 하나의 전체 경로 문자열로 합친 후 Import Column에 전달해야 합니다.
- 오류 처리: 파일이 존재하지 않거나 권한 문제로 읽을 수 없는 경우 패키지가 실패할 수 있습니다. 에러 출력을 구성하여 실패한 파일 경로를 별도로 로깅하는 것이 권장됩니다.
- 데이터 타입 매핑: SQL Server의
VARBINARY(MAX)는 SSIS에서DT_IMAGE또는DT_BYTES와 호환됩니다. 대용량 파일의 경우 메모리 사용량을 고려하여 버퍼 크기를 조정해야 할 수도 있습니다.