[IBK기업은행] VLM 기반 보이스피싱 피해구제 서류 자동화 실증(PoC)

IBK기업은행은 보이스피싱 피해구제 팩스서류 7종을 온프레미스 VLM이 분류·추출하는 PoC를 진행했습니다. 정보추출 정확도 97.1~100%, 처리시간은 25~40분에서 3~5분으로 줄었습니다.
[IBK기업은행] VLM 기반 보이스피싱 피해구제 서류 자동화 실증(PoC)

IBK기업은행 AI 피해구제 – 저화질 팩스 7종을 읽어 지급정지 골든타임을 되찾다

“보이스피싱 피해신고 서류를 읽는 데 30분이 걸린다면, 그 사이 돈은 어디까지 이동할까요?”

보이스피싱 피해구제는 속도가 중요합니다.

피해금이 계좌에 남아 있을 때 신속히 지급정지를 신청해야 환급 가능성을 높일 수 있습니다. 자료에서는 사고 후 30분 이내에는 전액 회수 가능성이 있지만, 30분에서 2시간 사이에는 일부 회수만 가능하고 2시간이 지나면 회수가 사실상 어려워질 수 있다고 설명합니다.

하지만 은행 담당자는 경찰과 다른 금융기관에서 팩스로 보내온 여러 서류를 확인해야 합니다.

화질이 낮고 손글씨와 도장, 체크박스가 섞인 문서에서 필요한 정보를 찾아 다시 시스템에 입력하는 데 25~40분이 걸렸습니다. 피해구제의 골든타임과 문서처리 시간이 충돌한 것입니다.

IBK기업은행은 이 시간을 줄이기 위해 보이스피싱 피해구제 프로세스 자동화 PoC를 추진했습니다.


Challenge – 7종 서류와 150여 개 항목을 사람이 다시 입력했어요

피해구제 업무에는 동의서, 지급정지 요청서, 전화신고서, 피해구제 신청서 등 서로 다른 서류가 사용됩니다.

한 사건에 최대 6개 문서와 약 150개 확인항목이 포함될 수 있고, 기관마다 양식과 작성방식이 조금씩 다릅니다. 팩스 전송 과정에서 글자가 흐려지거나 기울어지고, 손글씨와 도장 때문에 일반 OCR만으로는 정확하게 읽기 어렵습니다.

담당자가 해야 하는 일은 단순 전사가 아닙니다.

  • 필요한 서류가 모두 도착했는지 확인합니다.

  • 문서마다 핵심정보를 찾아 시스템 항목과 연결합니다.

  • 여러 장에서 같은 정보가 다르면 다시 비교합니다.

  • 서술형 사고경위를 읽고 피해내용을 정리합니다.

  • 자금이 이동한 계좌 순서를 재구성합니다.

문서를 빨리 처리하면서도 개인정보와 금융정보를 외부로 보내지 않아야 했습니다. 정확도와 보안, 설명가능성을 동시에 충족해야 하는 과제였습니다.


Solution – 외부 API 없이 은행 내부 VLM이 문서를 이해해요

IBK기업은행은 폐쇄된 내부환경에서 동작하는 온프레미스 비전언어모델, VLM을 적용했습니다.

일반 OCR이 이미지에서 글자를 추출하는 데 초점을 둔다면, VLM은 문서의 표와 체크박스, 서명·도장, 문맥을 함께 이해합니다.

① 7종 문서를 분류하고 누락 여부부터 확인해요

AI는 팩스로 받은 문서를 7개 유형으로 자동 분류합니다. 사건처리에 필요한 서류가 빠지지 않았는지 먼저 확인하고, 각 유형에 맞는 항목을 읽습니다.

서류가 여러 장이면 페이지별 정보를 연결하고, 같은 값이 서로 다를 때는 교차검증합니다. 신뢰도가 기준보다 낮은 항목은 담당자가 직접 확인하도록 표시합니다.


② 손글씨·체크박스·도장까지 구조화해요

AI는 이름과 계좌번호 같은 글자뿐 아니라 체크여부, 서명·도장 존재 여부, 표 안의 값을 구조화합니다.

서술형으로 적힌 사고경위에서는 피해발생 시점과 수법, 금액 등 필요한 내용을 추론하고, 여러 계좌로 이동한 자금흐름을 시간순으로 정리합니다.

문서수신 → 유형분류 → 누락검사 → 정보추출 → 사건·자금흐름 정리 → 담당자 승인의 흐름입니다.


③ AI가 초안을 만들고 담당자가 최종 승인해요

금융사고 피해구제는 AI가 단독으로 결정할 수 있는 업무가 아닙니다.

모델은 서류를 읽고 입력초안을 만들지만, 신뢰도가 낮거나 문서 간 값이 다른 항목은 사람이 확인합니다. 지급정지와 피해구제의 최종 처리는 담당자가 승인합니다.

외부 생성형 AI 서비스에 금융정보를 보내지 않고 은행 내부에서 처리하도록 설계한 점도 핵심입니다.


PoC 결과 – 처리시간을 약 88% 줄였어요

PoC는 실제로 처리가 완료된 피해구제 사례 50세트와 7종 문서를 이용해 검증했습니다.

주요 결과는 다음과 같습니다.

검증항목

PoC 결과

피해자 동의서 정보추출

100%

지급정지 통지서 정보추출

100%

피해구제 신청서 정보추출

98.4%

전화신고서 정보추출

97.1%

지급정지 요청서 정보추출

98.8%

서술형 사고내용 추론

100%

자금이동 순서 추론

100%

항목 유형별 정확도는 텍스트 98.4%, 체크박스 99.7%, 서명·도장 100%로 나타났습니다.

문서처리 시간은 기존 25~40분에서 AI 활용 후 3~5분으로 줄었습니다. 자료가 제시한 절감률은 약 88%입니다.

이 수치는 50개 실제 완료사례를 활용한 PoC 검증성과입니다. 모든 피해구제 업무에 이미 전면 적용돼 같은 시간이 항상 보장된다는 의미는 아닙니다.


예상 효과와 실제 성과를 구분해야 해요

자료는 전면 운영 시 예상되는 효과로 연간 업무시간 6,190시간 절감, 인건비 환산 2억6,600만 원, 처리역량 13배 확대, 투자회수기간 5개월을 제시했습니다.

이 수치들은 PoC 성능과 현재 업무량을 바탕으로 계산한 예상·환산 효과입니다. 전면 적용 후 실제 회계·운영실적으로 확정된 절감액은 아닙니다.

구분

내용

성과 성격

문서처리 시간

25~40분 → 3~5분

PoC 실제 측정

처리시간 절감률

약 88%

PoC 실제 측정

연간 업무시간 절감

6,190시간

전면 적용 추정

인건비 환산효과

2억6,600만 원

전면 적용 추정

처리역량

13배

전면 적용 추정

투자회수기간

5개월

사업성 추정


다음 단계 – 팩스수신부터 시스템 보고까지 연결해요

후속 단계에서는 전자팩스 수신, 은행 핵심시스템 입력, 보고서 생성까지 자동 연결하는 방안이 제시됐습니다. 이후 다른 금융문서와 외부기관 협업으로 적용범위를 넓힐 수 있습니다.

다만 전면 자동화에는 예외문서 처리와 개인정보 보호, 오인식 검토, 감사기록, 장애 시 수동전환 절차가 필요합니다. 특히 지급정지처럼 고객재산에 직접 영향을 주는 업무는 AI의 신뢰도 점수와 사람의 최종승인을 유지해야 합니다.


마무리 – 문서 자동화의 목적은 골든타임을 되찾는 일이에요

보이스피싱 피해구제에서 서류처리는 행정업무이면서 동시에 피해금 회수 가능성을 좌우하는 시간경쟁입니다.

IBK기업은행의 PoC는 저화질 팩스와 손글씨, 체크박스가 섞인 7종 문서를 VLM이 이해하고, 담당자가 확인할 입력초안을 몇 분 안에 만드는 가능성을 보여줬습니다.

핵심은 사람을 빼는 것이 아닙니다.

AI가 읽고 정리하는 시간을 줄여, 담당자가 피해자 보호와 최종판단에 더 빨리 집중하도록 만드는 것입니다.

Share article