포스텍
전자전기공학과 김용준 교수 연구팀이 개발한 ‘CGF-softmax’가
구글의 오픈소스 동형암호 컴파일러 프로젝트 HEIR(https://heir.dev/)에서 기존
softmax 연산을 CGF-softmax 방식으로 변환하는 컴파일러 기능으로 구현돼, 2026년 8월 배포 버전에 포함됐다.
CGF-softmax는
데이터를 암호화된 상태로 인공지능 연산을 수행할 때,
신경망에서
널리 사용되는 softmax를
효율적으로 계산하는 기술이다. 동형암호는
덧셈과 곱셈을 기본 연산으로 사용하므로, softmax
계산에 필요한 나눗셈과 수치 안정화를 위한 최댓값 연산을 구현하는 데 큰 비용이 발생한다. 연구팀은 데이터의 통계적 특성을 활용해 이 두 연산
없이 softmax를
근사하는 방법을 개발했으며, 대규모 언어모델(LLM)과
비전
트랜스포머(vision
transformer)에서
높은 추론 정확도를 유지하면서 계산 효율을 높였다. HEIR에
포함된 기능은 프로그램의 기존 softmax
연산을 CGF-softmax 계산으로 자동 변환해
준다.
이번
구현은 연구팀의 알고리즘이 논문과 실험을 넘어, 다른
연구자와 개발자가 재사용할 수 있는 글로벌 오픈소스 컴파일러의 변환 기능으로 채택됐다는 점에서 의미가 있다.
본
연구에는 박한준·민병서·우지헌
학생이 저자로 참여했으며, 김용준
교수가 교신저자를 맡았다.
본 연구는
LG전자의
지원을 받아 수행됐다.
