9월 24일 오전 9시 30분 경, 회사 서버에 접속이 불가능한 현상 발생. 데이터센터 측에 재시작 요청했으나 반응 없으며, 최종적으로는 네트워크 카드 상태등이 꺼져 있음을 확인. 이로 인해 메일 서버, SVN 서버, 테스트 환경 등 여러 시스템이 동시에 중단되며 업무에 큰 차질이 발생.
오전 10시부터 본격적인 복구 작업 시작. 주요 과제는 다른 서버에서 메일 시스템을 재구성하는 것이었으나, 초기 설정에서 수신만 가능하고 발신이 되지 않는 문제가 발생. 기존에 관련 설정 경험 부족으로 인해 인증 모듈 구성이 지연됨. 하루 종일 12시간 가량 작업 후에도 완전한 정상화를 이루지 못함. 퇴근 전에는 북경으로 물리적 서버 이동을 지시받고, 경로 정보를 요청했으나 제공된 링크는 단순히 **백도맵**의 위치 표시였음.
9월 25일 오전 6시 일찍 일어나 준비를 시작. 7시 출발 예정이었으나, 기차가 지연되며 약 1시간 3분의 시간이 소요됨. 이동 중 기술 책임자로부터 새 서버의 사양 설계를 고민하라는 지시를 받음. 사실상 모든 예산 관련 의사소통은 직접 상사에게 보고해야 하는 구조라, 이번 기회에 커뮤니케이션 능력을 다지는 계기로 삼음. 베이징역에서 2호선을 이용해 6호선으로 환승, 도착 후 버스로 이동. 그런데 기술 책임자가 준 교통카드 잔액은 겨우 40원. 지하철 이용 후 즉시 결제 오류 발생.
도착한 장소는 팔리교(팔리교) 기반 데이터센터. 현장에서 ‘백도’ 검색 기능의 신비로움을 실감함. 실제로는 방향 감각을 잃고 올바른 위치에서 멀어진 상태였으며, 결국 현장 관리자의 전화 안내를 통해 ‘남침북행’의 현실을 체감. 결국 기술적 문제보다 위치 파악이 더 어려웠던 순간.
현장에서 관찰한 결과, 데이터센터 내부 관리 체계가 생각보다 느슨한 편. 입실 시 반드시 정전 처리 및 스태틱 방지를 요구하는 절차가 없었으며, 서버를 분해할 때 손에 묻은 먼지가 기름처럼 보임. 그러나 세척은 간편하게 가능함. 이후 서버 본체를 분해하여 메인보드, 전원공급장치, 하드디스크 등을 백팩에 담아 운반. 점심은 오후 3시 이후에 섭취. 식사 전 기술 책임자로부터 진행 상황 확인 전화. "괜찮다"라고 답하자, 바로 저녁 열차 표를 예약하라고 지시. 놀랍게도 일반 열차가 아닌 고속철도 티켓을 발권해 줌 (공식 규정상 직원 여행 비용은 1등석/2등석 중 하나만 지원되므로, 이 역시 특별한 경우). 기차 탑승 전 맥도날드 세트를 구입해 저녁 식사로 활용.
복구 과정에서 사용한 서버 설정 파일들 중, SVN 서버 재구축 시 적용한 Apache HTTPS 및 MySQL 기반 인증 설정 내용을 아래에 기재함.
<!-- /etc/httpd/conf.d/ssl.conf -->
LoadModule dav_svn_module modules/mod_dav_svn.so
LoadModule authz_svn_module modules/mod_authz_svn.so
<Location />
DAV svn
SVNParentPath /data/svn
<LimitExcept GET PROPFIND OPTIONS REPORT>
SSLRequireSSL
AuthType Basic
AuthName "MySQL Auth"
Require valid-user
AuthMySQLEnable on
AuthMySQLPwEncryption md5
AuthMySQLAuthoritative off
AuthMySQLHost 127.0.0.1
AuthMySQLUser svn_db
AuthMySQLPassword svn_passwd
AuthMySQLDB svn_db
AuthMySQLUserTable user
AuthMySQLNameField name
AuthMySQLPasswordField passwd
AuthMySQLGroupTable group
AuthMySQLGroupField user_group
AuthzSVNAccessFile /etc/subversion/authz
</LimitExcept>
</Location>
설정 완료 후, 실제 서비스 복귀를 위한 마지막 과제는 수십 기가바이트에 달하는 저장 데이터의 전송. 원래는 두 서버 간 고속망을 통한 복제가 가능했으나, 현재는 백업 시스템이 존재하지 않아 수동 전송 필요. 기존 회사 네트워크의 업로드 속도는 40KB/s 수준으로, 이는 수십 기가바이트를 전송하기엔 현실적으로 불가능. 업무 시간 내 완료 불가능하다 판단되어, 퇴근 후 개인 공간에서 추가 작업 수행. 하지만 귀가 후에도 메일 서버 문제 해결이 남아 있어, 새로운 서버에 Postfix를 설치하여 메일 서비스 구축 계획 수립.
그러나 집에 도착하기 전 기술 책임자로부터 전화: "당일 밤 안에 SVN 서버 복구 완료해야 한다"는 명령. 이후 확인 결과, 기술 책임자가 직접 상사에게 제출한 보고서에서는 "당일 밤까지 복구 완료"를 강조하며, 자신이 이미 ‘계약’을 체결했다는 듯한 분위기. 결국 하루 종일의 여유는 사라지고, 밤새 작업에 매달림.
데이터 전송 방법으로는 `rsync`를 주로 활용. 다음 형식으로 사용:
rsync -avz --exclude=do_not_sync_file /source/path USER@target-server:/destination/path
필요 시 `--progress` 옵션을 추가해 전송 진척률, 속도, 남은 파일 수 등을 실시간 확인 가능.