국립한밭대 이상금 교수 연구팀, KAIST 공동연구 논문 ‘NeurIPS 2026’ 발표 채택
- 작성자 산학연구처 연구진흥실
- 작성일 2026-10-23
- 조회수 9회
- 오는 12월 10일 호주 시드니에서 포스터 발표 예정...TMLR 게재·J2C 인증
- 추가 학습 없이 거대 시각-언어 AI의 이미지 이해 능력 활용
□ 이상금 교수 마이크로사이트: https://lab.hanbat.ac.kr/ecoai
□ 국립한밭대학교(총장 오용준) 컴퓨터공학과 이상금 교수 연구팀이 KAIST 하동수 교수 연구팀과 공동으로 수행한 거대 시각-언어 모델(LVLM) 연구가 오는 12월 열리는 세계 최고 권위의 인공지능 학회인 ‘NeurIPS 2026’(신경정보처리시스템학회)에서 발표된다.
□ 이상금 교수 연구팀은 KAIST 하동수 교수 연구팀과의 공동연구 논문이 국제 저명 학술지 ‘TMLR(Transactions on Machine Learning Research)’ 2026년 8월호에 게재되고, 우수 논문에 부여되는 ‘J2C(Journal-to-Conference) 인증’을 받아 오는 12월 10일 호주 시드니에서 열리는 ‘NeurIPS 2026’에서 포스터 발표 예정이라고 밝혔다.
○ J2C 인증은 TMLR에 게재된 논문 가운데 일부를 선정해 NeurIPS․ICML․ICLR 등 세계 3대 인공지능 학회에서 발표할 수 있도록 하는 제도로, 학술지 심사와 학회 발표 기회를 함께 인정받는다는 의미가 있다.
□ 이번 연구 논문은 ‘Few Contrastive Attention Heads Enable Visual Grounding in Large Vision-Language Models(소수의 대조 어텐션 헤드로 구현하는 거대 시각-언어 모델의 시각적 위치 찾기)’로, KAIST 네하 셍가르(Neha Sengar) 학생이 제1저자, 이상금 교수가 교신저자로 참여했다.
○ 본 연구는 이미지 속에서 문장이 가리키는 대상을 찾아내는 시각적 위치 찾기(Visual Grounding) 기술을 다뤘다.
○ 기존에는 거대 시각-언어 모델로 이 작업을 하려면 별도의 정답 데이터로 추가 학습(파인튜닝)을 하거나 모델 구조를 바꿔야 했다.
○ 연구팀은 찾고자 하는 대상을 설명하는 문장과 이와 대비되는 문장을 함께 입력해 모델 내부의 반응 차이를 분석하는 방법으로, 위치 정보를 담고 있는 어텐션 헤드(모델 내부의 정보 처리 단위)를 자동으로 찾아냈다.
○ 이러한 방법은 위치 정답이 표시된 학습 데이터나 모델 구조 변경 없이 동작한다.
○ 상위 10개 어텐션 헤드의 신호만으로 대표적인 평가 데이터셋인 RefCOCO에서 기존 학습 없는(Training-free) 방법보다 최대 27.95%, RefCOCO+에서 최대 21.93%, RefCOCOg에서 최대 8.40% 높은 성능을 보였다.
□ 해당 기술은 추가 학습 비용 없이 기존 거대 AI 모델의 능력을 끌어낼 수 있어, 로봇․자율주행․스마트 제조 현장의 영상 이해, 시각장애인 보조 기술 등 다양한 분야에 활용될 수 있을 것으로 기대된다.
□ 이상금 교수는 “거대 AI 모델 안에 이미 들어 있는 능력을 추가 학습 없이 찾아 쓰는 방법을 제시했다는 데 의미가 있다”며, “앞으로 에너지․제조 등 산업 현장에서 비용 부담 없이 쓸 수 있는 AI 기술로 발전시키겠다”고 말했다.
□ A research project on large-scale vision-language models (LVLM) conducted jointly by Professor Lee Sang-geum's team in the Department of Computer Engineering at Hanbat National University (President Oh Yong-jun) and Professor Ha Dong-soo's team at KAIST will be presented at NeurIPS 2026, the world's most prestigious artificial intelligence conference, this December.
□ Professor Lee’s research team announced that their joint paper with Professor Ha’s team at KAIST was published in the August 2026 issue of the internationally renowned journal TMLR (Transactions on Machine Learning Research) and received the J2C (Journal-to-Conference) certification for outstanding papers, with plans to present a poster at NeurIPS 2026 in Sydney, Australia, on December 10.
○ The J2C certification is a program that selects a portion of papers published in TMLR to present at the world’s three major AI conferences—NeurIPS, ICML, and ICLR—acknowledging both the journal’s peer review process and the conference presentation opportunities.
□ This research paper, titled 'Few Contrastive Attention Heads Enable Visual Grounding in Large Vision-Language Models,' had KAIST student Neha Sengar as the first author and Professor Lee Sang-geum as the corresponding author.
○ This study addressed the technique of visual grounding, which identifies the object pointed to by sentences within images.
○ Previously, to work with large visual-language models, you had to either fine-tune the model using additional training data or change its architecture.
○ The research team automatically identified attention heads (the model's internal units of information) by analyzing differences in internal model responses when combining sentences describing the target with contrasting sentences.
○ These methods work without modifying the training data or the model architecture, even if the correct location is labeled.
○ Using only the signals from the top 10 attention heads, it achieved up to 27.95% higher performance than training-free methods, 21.93% higher on RefCOCO, and 8.40% higher on RefCOCOg, a representative evaluation dataset.
□ This technology can enhance the capabilities of existing large AI models without additional training costs, making it promising for applications in various fields such as video understanding in robotics, autonomous driving, smart manufacturing, and assistive technology for the visually impaired.
□ Professor Lee Sang-geum said, "The significance lies in proposing a method to identify and use capabilities already embedded in large AI models without additional training," adding, "We aim to develop this into AI technology that can be used cost-effectively in industries such as energy and manufacturing."