Embedding Atlas는 대규모 데이터셋 및 모델을 시각화하는 데 널리 사용되는 임베딩 프로젝션이지만, 사용자들은 종종 임베딩 시각화 도구를 사용할 때 “저항”을 겪는다. 이 논문에서는 대규모 임베딩과 상호 작용하는 데 쉽게 접근할 수 있도록 설계된 확장 가능한 대화형 시각화 도구인 Embedding Atlas를 제시한다.

다중 이해관계자 환경에서의 추천 시스템은 공급업자와 소비자 요구를 동시에 최적화해야 합니다. SEMORec는 다중 목적을 효율적으로 조합하여 각 이해관계자의 기대를 충족시키는 추천을 제공합니다. 가중치를 사용한 스칼라화 기능을 통해 이러한 환경에서 추천을 제공하는 것은 실제 문제가 됩니다. 최근 연구는 RL을 사용하여 응용 프로그램별 요구에 따라 이러한 가중치를 적응적으로 조정하는 알고리즘을 개발했습니다.

Apple이 중국 수주에서 11월 4일부터 9일까지 개최되는 EMNLP 학회에서 새로운 연구를 발표할 예정이다.

현재 음성 번역 시스템은 높은 정확도를 보유하고 있지만 인간 통역사처럼 실제 상황에 적응하거나 동적으로 작동하지 못하는 한계가 있다. 인간 통역의 본질을 정확히 이해하여 음성 번역 시스템의 발전을 위한 함의를 찾아야 한다. 이를 위해 기계 번역 분야에서 인간 통역 문헌을 살펴보고 운영 및 질적 측면을 모두 고려한다.

추론은 대형 언어 모델에서 정확도를 지속적으로 향상시키지만, 정밀도에 민감한 작업에서의 적합성은 명확하지 않았다. 저거짓 양성율(FPR) 조건 하에서 분류 작업에 대한 추론의 체계적인 연구를 제시하며, 안전 탐지와 환각 탐지 두 가지 작업을 다루었고 결과는 추론을 포함한 생성이 정확도를 향상시키지만 재현율을 희생시키는 교환이 있음을 보여줌.

부분 전문가 데모를 통한 강화 학습은 복잡한 시퀀스 생성 작업을 해결하는 유망한 프레임워크로 제안된다. 주어진 밀도 높은 라벨에 의존하는 감독된 미세 조정(SFT)은 시퀀스 길이가 늘어날수록 점점 비용이 증가하는 반면, 강화 학습은 희소한 보상과 조합적으로 큰 출력 공간으로 인해 어려움을 겪는다. 우리는 이를 Adaptive Backtracking(AdaBack)이라는 샘플별 커리큘럼 학습 알고리즘을 소개함으로써 해결한다. 이 알고리즘은 훈련 중에 목표 출력의 부분 접두사만을 공개함으로써 이를 다룬다.

사용자 설명이나 페르소나로 유도된 언어 모델은 사용자의 선호 및 의견을 예측하는 데 사용됩니다. 기존 방법은 사용자의 인구 특성 또는 이전 판단에 의존하지만 판단의 근본적인 이유에는 의존하지 않습니다. PB&J(행동 및 판단의 심리학)을 소개하는데, 이는 사용자가 특정 판단을 내릴 수 있는 이유를 명확히 추론하기 위해 언어 모델에 의해 생성된 이유를 통합하여 LM 페르소나를 개선합니다.

ODKE+는 웹 소스에서 수백만 개의 오픈 도메인 사실을 고정밀로 자동 추출하고 흡수하는 프로덕션 급 시스템이다. 이는 지식 그래프가 많은 AI 응용 프로그램의 기반이 되지만 신선성과 완전성을 유지하는 것이 비용이 많이 든다는 문제를 해결한다. ODKE+는 모듈식 구성 요소를 활용하여 확장 가능한 파이프라인으로 결합된다.

최근 몇-shot 방법은 대규모 언어 모델을 활용하여 훈련 요구를 줄이기 위해 prompting을 통해 Entity Linking을 수행해왔으나, 비효율성을 겪었다. ARTER는 후보 생성, 문맥 기반 점수 매기기, 적응적 라우팅, 선택적 추론을 전략적으로 결합하여 깊은 세부 튜닝 없이 높은 성능을 달성하는 구조화된 파이프라인을 제시한다.

시뮬레이션 기반 추론(SBI)은 우도가 복잡하지만 시뮬레이션이 가능한 물리 시스템의 잠재적 매개 변수를 추정하는 통계적 추론 방법이다. 모형 불일치로 실제 관측치와 시뮬레이션 간 불일치가 발생하는데, RoPE는 이에 대응하기 위해 반지도 보정과 최적 수송을 결합한 두 단계의 도메인 전이 과정을 사용한다.

대규모 언어 모델을 역전파로 미세 조정할 때 메모리를 많이 사용하는 문제를 해결하기 위해 모바일 기기에 메모리 효율적인 구현을 제안함. Zeroth-order optimization 대신 더 나은 메모리 사용과 계산량의 균형을 제공함.

논문이 NeurIPS 2025의 Evaluating the Evolving LLM Lifecycle Workshop에서 받아들여졌다. 기존 비디오 이해 벤치마크는 모델의 시간적 추론 능력을 명확하게 분리하는 대신, 지식 기반 및 순수 이미지 기반 질문을 혼동시키는 경향이 있음을 파악했다. 더 높은 점수가 동영상의 동적 콘텐츠에 대한 더 강한 이해를 진정으로 나타내는지 알아보기 어렵게 만드는 두 가지 주요 제한 사항을 식별했다.

PrimeX는 858명의 미국 주민을 대상으로 한 공개 의견 조사 데이터셋으로, 의견을 지지하는 이유에 대한 설명과 응답자의 세계관을 평가하는 Primal World Belief 조사를 포함하고 있습니다.

환각은 언어 모델의 신뢰성과 보급에 큰 장애물이지만 정확한 측정은 여전히 과제다. 본 논문에서는 4개 데이터셋, 5가지 모델 패밀리의 37개 언어 모델 및 5가지 디코딩 방법을 통해 6가지 다양한 환각 탐지 메트릭 세트를 대규모로 검증했다. 광범위한 조사 결과, 이러한 메트릭의 강건성과 일반화가 아직 테스트되지 않았음을 보여준다.

Pico-Banana-400K는 텍스트로 이끌어지는 이미지 편집 능력을 향상시키기 위해 만들어진 대규모 데이터셋이다. 이미지 편집에 대한 지침을 기반으로 400,000장의 이미지로 이루어져 있으며, 실제 이미지에서 생성된 다양한 수정 쌍을 포함하고 있다.

대화형 언어 모델에서의 편향 전이 가설(BTH)에 대한 이전 연구로부터 나온 위험한 가정은, 사전 훈련된 대형 언어 모델(LLM)에서 편향이 적응된 모델로 전이되지 않는다는 것이다. 우리는 실제 응용 프로그램에서 사용되는 매우 인기 있는 적응 전략인 프롬프트를 통해 BTH를 연구함으로써 이 가정을 무효화한다. 이전 연구와는 달리, 우리는 편향이 프롬프트를 통해 전이될 수 있으며, 인기 있는 프롬프트 기반의 완화 방법이 편향이 전이되는 것을 일관되게 방지하지 못하는 것을 발견했다.

“Rooms from Motion (RfM)”은 실내 3D 물체 감지를 위치추정과 매핑의 결과물로 삼는 객체 중심 프레임워크를 재방문한 것이다. 기존의 3D 물체 감지 방법은 전역적으로 운영되며 메트릭 카메라 포즈의 사전 존재를 내재적으로 가정한다. RfM은 포즈되지 않은 이미지 모음에 작용하며, 구조-동작으로부터 파생된 3D 상자를 기반으로 한 객체 중심 매처로 기존의 2D 키포인트 기반 매처를 대체함으로써 메트릭 카메라 포즈, 객체 트랙, 및…

대화식 음성 데이터셋의 세밀한 감정 인식 레이블링은 실제 응용 프로그램에서 음성 감정 인식(SER) 모델의 잠재력을 평가하는 데 중요하다. 대부분의 훈련 및 평가 데이터셋에는 감정 표현이 과장되거나 의도적으로 수정된 경우가 있는데, 이는 모델의 성능을 이해하고 개선이 필요한 부분을 파악하기 어렵게 만든다.

이 논문은 NeurIPS 2025의 Foundation Models for the Brain and Body Workshop에서 받아들여졌다. 고화질의 구조화된 데이터를 사용한 손 제스처 분류는 컴퓨터 비전에서 잘 연구된 문제이다. 낮은 전력과 비용 효율적인 생체 신호인 표면 근전도(sEMG)를 활용하면 웨어러블 기기에서 연속적인 제스처 예측이 가능해진다. 본 논문에서는 약한 모달리티 데이터로부터 표준화된 고화질 데이터와 일치하는 표현을 학습함으로써 표현 품질을 향상시키고 제로샷 학습을 가능하게 한다는 것을 입증한다.

SWE-Gym은 실제 소프트웨어 엔지니어링(SWE) 에이전트를 훈련하기 위한 환경으로, 2,438개의 실제 Python 작업 인스턴스를 포함하고 있습니다. SWE-Gym을 활용하여 언어 모델 기반 SWE 에이전트를 훈련시켜 인기 있는 SWE-Bench Verified 및 Lite 테스트 세트에서 최대 19%의 절대 성과 향상을 달성했습니다.

소프트웨어 테스팅 자동화를 위한 에이전틱 검색-증강 생성(RAG) 시스템을 활용한 접근 방식을 소개합니다. 자율형 AI 에이전트와 하이브리드 벡터-그래프 지식 시스템을 결합하여 테스트 계획, 케이스, QE 메트릭 생성을 자동화합니다. Gemini와 Mistral과 같은 LLMs, 멀티 에이전트 조작, 향상된 문맥화를 활용하여 전통적인 소프트웨어 테스팅 한계를 극복하며 65%에서 94.8%로 높은 정확도 향상을 달성합니다.

AI-ML을 활용한 품질 엔지니어링 접근 방식은 결함을 예측하여 소프트웨어 품질 평가를 향상시킵니다. 새로운 모델인 ADE-QVAET는 고차원 잠재 특성을 얻고 순차적 의존성을 유지하여 결함 예측 정확도를 향상시킵니다.

ARMs은 강력한 가능성을 제공하지만, 시리얼로 동작하여 장거리 시퀀스의 처리량을 제한하고 지연을 증가시킨다. DLMs는 위치별 병렬화를 통해 언어 생성에 유망하나 품질 향상을 위해 많은 모델 평가가 필요하다. FS-DFM은 속도를 희생시키지 않고 설계된 소수 단계의 이산 흐름 일치 모델을 소개한다.

애플이 하와이에서 개최되는 국제 컴퓨터 비전 학회 ICCV 2025에서 새로운 연구를 발표합니다.

시각-언어 모델의 성능은 차트 이해 벤치마크에서 계속 발전하고 있지만, 시각적 추론 능력을 완전히 포착하지 못함. EncQA는 시각화 문헌을 기반으로한 새로운 벤치마크로, 차트 이해에 중요한 시각 인코딩과 분석 작업을 체계적으로 다루도록 설계됨. 2,076개의 합성 질문-답변 쌍을 제공하여 시각 인코딩 채널(위치, 길이, 면적, 색상 등)을 균형 있게 다루게 함.

조건부 확산 모델은 합성 일반화, 즉 조건부의 분포와 관련 없는 조합에 대해 설득력 있는 샘플을 생성할 수 있는 것으로 보이지만, 이 능력의 메커니즘이 여전히 불분명하다. 길이 일반화를 연구하여 모델이 때때로 기초 합성 구조를 학습하는 것을 발견한다.

이 연구는 대형 언어 모델이 현대 자연어 처리에서 널리 사용되고 있지만, 소수 영어 방언에 대한 성능이 저하되는 문제를 분석합니다. 특히, “표준” 미국 영어 언어 질문을 “표준이 아닌” 방언적 변형으로 분류할 때 객관식 질문 응답 작업에서 최대 20%의 정확도 감소가 나타났습니다. 또한, “표준이 아닌” 영어 질문의 성능 저하에 대한 문법적 근거를 조사했습니다.

V-JEPA는 동결된 선생님과 함께 마스킹된 영역을 예측하여 범용적 비디오 표현을 학습하는데, 학생과 선생님의 구조를 복잡하게 하는 EMA를 사용하지 않고도 마스킹된 잠재 공간에서 일반화 가능한 영상 표현을 학습하는 방법에 대해 재고했다.

대규모 분산 시스템에서 이상을 감지하는 것은 여러 어려움이 있습니다. 데이터 양의 증가와 시계열 데이터셋의 다양성으로 인한 도전이 있습니다. 이상을 탐지하기 위해 알고리즘과 시스템 설계를 신중히 고려해야 합니다. 이상 감지 시스템은 한 가지 용도에 대해 드물게 배포되며 여러 도메인에서 종종 여러 지표를 모니터링해야 합니다.

최근 컴퓨터 비전 작업에 대한 초기 결과가 매우 유망한 언어 모델(LLM)이 적용된 내 콘텍스트 학습(ICL)의 잠재력을 입증했다. 본 연구에서는 일반적으로 사용되는 안정적 확산 모델을 시각 내 콘텍스트 학습에 재활용할 수 있다는 것을 보여준다.

TASER는 대규모 추론 모델을 활용하여 자동 번역 품질 평가를 위한 메트릭으로, 명시적 추론 능력을 활용하여 번역 품질을 체계적으로 평가합니다. WMT24 Metrics Shared Task에서 TASER를 평가하고, 최신 기술을 보여주며 최고의 성능을 달성합니다.

이 연구는 변동성 있는 환경에서 심층 학습 모델이 미래 학습 능력을 저하시키는 가중치 손실(LoP) 현상으로 어려움을 겪는 것을 다루고 있다. 다이내믹 시스템 이론에 기반을 둔 이 연구는 경사 하강 학습에서의 LoP에 대한 원리주의적 탐구를 제시한다. LoP를 공식적으로 정의함으로써 안정된 매개 변수 공간 내에서 경사도 궤적을 가두는 안정 매니폴드를 식별한다. 이 분석은 활성화 포화로 인한 동결 단위와 표현적 복제 단위 매니폴드로부터 이러한 함정을 만드는 두 가지 주요 메카니즘을 밝혀냈다.

대형 언어 모델(Large Language Models, LLMs)은 수학적 추론 능력을 보여주지만 자동으로 확인할 수 없는 오류를 포함한다. Lean 4와 같은 형식적 정리 증명 시스템은 자동 검증을 제공하여 최근에는 형식 언어로 검증 가능한 증명을 생성하는 전문 프로버 LLMs 구축에 노력하고 있다. 그러나 현재 프로버 LLMs는 일반적인 자연 언어에서 작동하는 범용 LLMs보다 훨씬 적은 문제를 해결한다. Hilbert는 이 간극을 메우는 에이전트 프레임워크를 소개한다.

양자화 인식 훈련(QAT)은 양자화된 신경망의 정확도를 향상시키는 주요 기술이다. 최적의 컴퓨팅 할당 방법을 밝히는 연구를 실시했으며, QAT 기간이 최종 성능에 미치는 영향을 조사한다.

그래프의 자기지도 학습은 노드 및 그래프 표현(임베딩)을 생성하여 레이블이 제한적이거나 없는 경우에 노드 분류, 노드 클러스터링 및 링크 예측과 같은 하위 작업에 사용될 수 있다. 이 논문에서는 대조적 또는 생성적 패러다임을 따르는 기존의 그래프 자기지도 학습 방법을 통합하는 새로운 아키텍처를 제안한다.

대규모 기초 모델은 일반적으로 여러 도메인의 데이터로 학습되는데, 데이터 혼합은 각 도메인의 비율이 모델 성능에 중요한 역할을 한다. 우리는 스케일링 법칙을 사용하여 어떤 대상 도메인에 대한 최적 데이터 혼합을 결정하기 위한 체계적인 방법을 제안한다. 이 방법은 모델의 손실을 정확하게 예측하며 이러한 스케일링 법칙의 보편성을 확인하였다.

AI 모델이 가지는 잠재적 위험을 효과적으로 발견할 수 있는 red-teaming 방법론이 필요한데, 이 논문은 PersonaTeaming이라는 새로운 방법을 제안한다. 이 방법은 red-teamer의 신원과 배경이 red-teaming 전략과 발견 가능한 위험의 종류를 형성하는 데 어떤 영향을 미치는지 탐구하고 있다. 자동화된 red-teaming 접근 방식이 인간 red-teaming을 보완할 수 있는 가능성을 제시하고 있으나 현재의 방법론은 역할을 고려하지 않는다.

자가 교육 학습은 음성 표현 학습에서 상당한 발전을 이루었습니다. 그러나 다국어 환경에서는 단일 언어에 비해 성능이 떨어지는 경향이 있습니다. 이 연구에서는 이러한 성능 간격을 줄이기 위해 이중 언어 음성 자가 교육 모델에 제한된 비주얼 기반을 도입하는 새로운 접근 방식을 탐구합니다.

알파폴드2의 도입 이후 단백질 접힘 모델은 도메인 전문 지식을 통합하고 트랜스포머 레이어만 사용하는 SimpleFold 모델을 소개하며, 성공적인 생성 모델의 영향을 조사한다.

예측된 확률이 어떻게 해석되어야 하는지에 대한 고전적인 개념인 보정은 어떻게 측정되고 해석되는지에 대한 연구에 대한 최근 관심이 증가하고 있다. 이 연구는 보정 오차를 정의하고 측정하는 방법 및 이러한 측정치가 의미하는 바에 대한 최근 연구에 대해 설명한다.

노이즈, 편향, 불필요한 정보를 포함하는 대규모 웹 크롤링 데이터셋에서 다중 모달 모델을 훈련시키는데 데이터 선택 기술의 중요성. 모델 무관한 방법과 모델 기반 방법을 비교하며, 후자는 계산적으로 부담스러울 수 있음. 이 연구에서는 모델 가중치를 모방하여 데이터 선택 방법을 제안한다.

대규모 언어 모델의 발전으로 대화형 어시스턴트가 긴 이력을 유지하며 일관된 맞춤형 응답을 제공할 수 있게 되었지만, 이는 KV 캐싱에 의존하고 있음. EpiCache는 이러한 한계를 극복하기 위한 새로운 방법론으로, 캐시 크기를 줄이면서도 정확성을 유지하는 것을 목표로 함. 기존 방법들의 한계를 극복하기 위해 연구가 진행 중.

AToken은 이미지, 비디오, 3D 자산에 대해 고신뢰 재구성과 의미 이해를 달성하는 최초의 통합 시각 토크나이저이다. 기존의 특정 단일 모달리티에 대한 재구성 또는 이해에 특화된 토크나이저와는 달리, AToken은 이러한 다양한 시각 입력을 공유된 4D 잠재 공간으로 인코딩하여 단일 프레임워크에서 두 작업과 모달리티를 통합한다.

다중 모달 대형 언어 모델(MLLMs)은 2D 시각적 이해에서 뛰어나지만 3D 공간 추론능력에 제한이 있습니다. 이 연구에서는 대규모 고품질 3D 장면 데이터를 활용하여 1) 새로운 지도형 데이터셋을 소개하고 2) 실내 장면에 중점을 둔 새로운 평가 기준을 도입합니다. Cubify Anything VQA (CA-VQA) 데이터는 공간 관계 예측, 측정 크기 및 거리 추정, 3D 기준을 포함한 다양한 공간 작업을 다룹니다. CA-VQA를 사용하여 MM-Spatial을 학습시키면 강력한 종합 MLLM인 MM-Spatial을 훈련시킬 수 있음을 보여줍니다.

이 논문은 불평등의 잘 알려진 측정 방법인 첫 번째 정규화 불완전 모멘트를 재검토합니다. 기존의 통계적 추론이 현대 분석 요구에 미달한다는 점을 고려하여 직관적이고 계산 효율적인 대안 솔루션을 제안합니다. 제안된 방법론의 이론적 및 실용적 이점이 증명됩니다.

자연어 처리(NLP)는 AI 분야에서 가장 빠르게 발전하는 분야 중 하나로, 대형 언어 모델(LLM), 음성 인식 및 생성 시스템, 언어 에이전트 등이 급속히 발전하고 있다. 이 기술은 애플 인텔리전스와 시리를 포함한 많은 AI 경험에 필수적이며, NLP의 기본 연구는 미래 AI에 기초가 될 것이다.

로컬-글로벌 어텐션 모델은 표준 트랜스포머에 대안으로 최근 등장했는데, 훈련 및 추론 효율성을 모두 향상시킬 것으로 약속되고 있다. 그러나 창 크기 선택은 핵심적인 문제이며, 이 연구는 최소한의 슬라이딩 윈도우 크기에 대해 조사한다.

다중뷰 구조 방정식 모델에서 선형 인과 발견에 대한 새로운 접근 방식을 제안한다. 가우시안 왜곡 가정을 완화시키고 대신 다양한 분산을 가정함으로써 더 넓은 적용 범위를 갖게 한다. SEM의 구조에 대해 사이클이 없다는 것 외 추가 가정 없이 모델의 모든 매개변수의 식별 가능성을 증명한다. 또한 최근 다중뷰 독립 성분 분석(IAC)의 발전에 기반한 추정 알고리즘을 제안한다.

이 연구에서는 이미지넷512에서 비교 FID에 대해 현재 최신 기술 솔버보다 최대 186% 빠른 새로운 샘플링 방법을 소개합니다. 이 새로운 샘플링 방법은 훈련 불필요하며 상평면 상미분 방정식(ODE) 솔버를 사용합니다. 높은 차원의 초기 잡음을 사용함으로써 빠른 샘플링을 가능하게 합니다.

최근 연구에서 UNet 기반의 노이즈 제거기를 사용한 확산 모델의 일반화를 연구한 결과, 기하적 적응적 고조파 베이스를 통해 표현 가능한 추론 편향이 발견되었다. 그러나 최근의 더 많은 노이즈 제거 네트워크는 트랜스포머를 기반으로 하고 있는데, 이는 트랜스포머 기반의 노이즈 제거 네트워크도 기하적 적응적 고조파 베이스를 통해 표현 가능한 추론 편향을 나타내는가에 대한 의문을 제기한다. 우리는 이에 대한 탐색을 통해 좋은 결과를 이끌어낼 수 있는 추론 편향을 찾고자 한다.

MobileCLIP은 저지연 및 가벼운 아키텍처를 가지고 있으며, 새로운 다중 모달 강화 학습을 활용하여 지식 전달을 효율적으로 만들어내는 이미지-텍스트 모델이다.

DNFS는 이산 샘플링을 위한 훈련 가능하고 효율적인 프레임워크로, 연속 시간 마르코프 체인의 비율 행렬을 학습하여 결과적인 역학이 콜모고로프 방정식을 만족하도록 합니다. 이 목표는 추정 불가능한 파티션 함수를 포함하므로, 이에 대한 분산을 줄이기 위해 제어 변수를 사용합니다.

이 연구는 언어 모델링의 설계 공간을 탐색하여 새로운 모델링 유연성을 제안하는데, 연속 잠재 공간에서의 언어 모델링에 대한 새로운 프레임워크인 TarFlowLM을 제안한다. 이 프레임워크는 트랜스포머 기반 자기회귀 정규화 플로우를 사용하여 연속 표현을 모델링한다.

데이터 필터링은 모델 성능을 향상시키고 계산 비용을 줄이는 강력한 도구가 되었지만, 대규모 언어 모델의 계산 예산이 계속 증가함에 따라 심각하게 필터링된 데이터셋에서 제공되는 제한된 데이터 양이 실제 제약 요인이 될 것으로 예상된다. 이에 대한 더 나은 이해를 위해, 우리는 데이터 필터링과 중복 제거를 통해 생성된 다양한 사전 훈련 데이터셋에서 모델 성능을 연구한다. 적절한 훈련 레시피 수정을 고려할 때, 기존에 강력하게 필터링된 것을 반복할 때 모델 성능이 어떻게 변하는지 및 다양한 계산 예산에서 모델 성능을 연구한다.

UniGen은 이미지 이해와 생성이 가능한 통합된 다중 모달 대형 언어 모델이다. 새로운 Chain-of-Thought Verification (CoT-V) 전략을 제안하여 테스트 시 스케일링을 수행하고 이미지 생성 품질을 현저히 향상시킨다.

미지의 이산 분포를 추정하는 기본 문제를 다루며, 실제 분포와 알고리즘의 추정치 사이의 KL 발산을 최소화하려고 함. 개인 최적 추정기를 구축하고 개별 인스턴스에서의 알고리즘 성능을 조사함.

고차원 공간에 있는 두 데이터 포인트 사이의 가장 짧은 경로는 무엇인가? 유클리드 기하학에서는 답이 간단하지만, 데이터가 곡률 다양체에 있는 경우에는 리만 거리측정이 필요하다. 이 연구에서는 사전 훈련된 에너지 기반 모델로부터 리만 거리측정을 직접 유도하는 방법을 제안한다. 이러한 메트릭은 공간적으로 정의된다.

CLIP의 놀라운 능력에도 불구하고, 여전히 특징 공간에서 상당한 모달 갭이 존재합니다. 최근의 MLLM 기반 리트리버는 이 갭을 일부 완화하지만, 미세 모달리티 정렬 메커니즘에 의존하는 한 그들의 잠재력을 근본적으로 제한합니다. 본 연구에서는 임베딩을 위한 모달리티-정렬 우선 학습인 MAPLE을 소개합니다.

SF-LLaVA-1.5는 비디오 이해를 위한 효율적인 모델로, 작은 규모의 Video LLMs도 최첨단 성능을 달성할 수 있다는 것을 보여줌.

언어 모델은 사용자 지시를 이해하고 따라야 합니다. 저자들은 보상 모델 대신 유연한, 지시별 기준을 제안하며, “체크리스트 피드백에서 강화 학습”을 제안합니다. 이를 통해 강화 학습이 지시 따르기에 미치는 영향을 확대할 수 있습니다.

Apple 연구원들의 논문에 따르면, 대형 언어 모델에서 매우 작은 파라미터 하위 집합이 (경우에 따라 단일 파라미터) 전체 기능에 지나치게 큰 영향을 미칠 수 있다. 이 연구는 이러한 “슈퍼 가중치”와 이에 상응하는 “슈퍼 활성화”의 중요성을 강조하며, 효율적인 모델 압축을 위한 새로운 통찰을 제공한다.

대용량 언어 모델은 인상적인 성능을 달성했지만, 사회적 편견을 반영하고 악화시킬 수 있다는 과학적 합의가 있음. 이 연구에서는 확신 격차를 사용하여 LLMs의 교차적 편향을 조사함.

이 논문은 IEEE 음향 및 음향 신호 처리 응용 워크샵 (WASPAA) 2025에서 수락되었습니다. 비음수 행렬 인수분해(NMF)는 정기적으로 샘플링된 데이터를 분석하는 강력한 기술이지만, 불규칙하게 샘플링된 TF 표현에도 확장하기 어려웠습니다.

세미-지도 음성 표현을 이용하는 자동 음성 인식(ASR) 시스템의 성능을 향상시키기 위해 ASR 및 Pitch Accent 감지 모델을 소개한다. 모델의 Pitch Accent 감지 구성 요소는 과제의 최신 기술에 대해 F1 점수 갭을 41%로 줄이는 중요한 개선을 달성한다. 또한, ASR 성능이 한정된 자원 미세 조정 하에 LibriSpeech에서 WER을 28.3% 감소시킨다. 이러한 결과로 사전 훈련을 확장하는 중요성을 입증한다.

말뭉치 인식 훈련(CAT)은 매우 효과적이며, CAT 모델은 데이터로부터 직접 말뭉치의 품질, 도메인 및 뉴안스를 학습하며 추론 동작을 쉽게 전환할 수 있다. 본 논문에서는 최적 말뭉치 인식 훈련 방법을 제안한다.

Misty는 UI 프로토타이핑을 위해 새로운 개념적 혼합 기술을 소개하는데, 이는 디자인 예시에서 다양한 측면을 빠르게 통합할 수 있는 혁신적인 UI 워크플로우를 제공한다. 14명의 프론트엔드 개발자를 대상으로 한 탐색적 사용 연구를 통해 Misty의 효과를 평가하고 이에 대한 피드백을 수집했으며, 결과는 Misty가 효과적임을 시사한다.

지난 10년 동안 자동 음성 인식(ASR) 시스템에서 큰 발전이 있었지만, 언어 장애를 가진 사람들을 위한 시스템의 성능은 부족한데에 공개된 훈련 데이터의 부족이 일부 원인이다. 이 갭을 메우기 위해 2025 Interspeech Speech Accessibility Project (SAP) Challenge가 시작되었고, 500명 이상의 다양한 언어 장애를 가진 사람들로부터 수집된 400시간 이상의 SAP 데이터를 활용한다. EvalAI에서 진행되며, 원격 평가 파이프라인을 활용하여 제출물을 단어 오류율에 따라 평가한다.

기기 지향적 음성 감지(DDSD)는 사용자의 음성 어시스턴트(VA)에 대한 쿼리를 배경 음성이나 부수적인 대화와 분리하는 이진 분류 작업이다. 이를 위해, ASR 대규모 사전 훈련된 음향 인코더(교사)의 일반적인 표현으로부터 지식을 전달하는 새로운 적응형 KD 방법을 제안한다. 이를 통해 DDSD 정확도를 향상시키고 효율적인 배포를 보장한다.

DiceHuBERT는 HuBERT를 압축하기 위한 지식 증류 프레임워크로, 기존의 층별 및 특징별 매핑을 사용하는 방법과 달리 HuBERT의 자체 증류 메커니즘을 활용하여 원래 모델을 학생 모델로 직접 대체함으로써 학생이 HuBERT 사전 훈련시 사용된 동일한 자가 지도 학습 목표를 사용하여 학습되도록 함.

한글

비디오 생성 분야는 놀라운 발전을 이루었지만, 강력하고 확장 가능한 모델의 개발을 지도할 명확하고 체계적인 레시피에 대한 긴급한 필요성이 여전히 존재합니다. 본 연구에서는 모델 아키텍처, 훈련 레시피 및 데이터 정리 전략의 상호 작용을 체계적으로 탐구하는 포괄적인 연구를 제시하며, STIV라는 간단하고 확장 가능한 텍스트-이미지-조건부 비디오 생성 방법을 완성했습니다. 우리의 프레임워크는 이미지 조건을 DiT(Diffusion Transformer)에 프레임 교체를 통해 통합하면서 텍스트 조건을 통합합니다.

특이 발화의 음향 특성이 파악모델의 성능에 영향을 줄 수 있다. 특이 발화 데이터셋을 사용해 음성으로부터 감정을 인식하는 모델의 성능을 평가했으며, 전형적인 발화 데이터셋과 비교했다. 인텔리지빌리티, 모노피치, 가혹함 세 가지 발화 특징을 조사했다.

다국어 대규모 언어 모델(mLLMs)에서 언어 간 정렬된 표현은 교차언어 작업의 성능을 향상시킬 수 있습니다. 보통 정렬은 모델을 세밀하게 조정하는 것을 필요로 하는데, 이는 계산적으로 비싸며 종종 충분한 언어 데이터가 없을 수 있습니다. 모델 개입은 세부 조정에 대안이 될 수 있습니다. 우리는 인기있는 개입 방법(전문가 찾기)이 교차언어 표현의 정렬에 미치는 영향을 분석합니다.

딥러닝 모델의 매개변수 수가 증가함에 따라 자원 제한된 장치에 배포하기 위한 효과적인 압축 기술이 필요하다. 이 논문은 정보 기하학을 적용하여 모델 압축 영역에서 기존 방법을 분석하고, 주로 연산자 인수분해에 초점을 맞춘다. 이 관점을 채택함으로써 핵심 과제를 강조하는데, 최적의 저연산 하위다양체(또는 부분집합)를 정의하고 그 위에 투영하는 것이다. 많은 성공적인 모델 압축 접근법이 이해될 수 있다고 주장한다.

이 논문은 2025년 Large Language Model Memorization (L2M2) 워크샵에서 받았다. 대형 언어 모델(Large Language Models, LLMs)은 다양한 작업에 귀중한 도우미가 되었지만, 사용자 대화를 기억하고 맞춤 응답하는 능력이 제한된다. 이 논문에서는 이전 대화의 지식을 LLM에 주입하여 개인화 작업을 더 나아가게 하는 방법을 탐구한다.

이 연구는 대규모 언어 모델이 복잡한 작업 실행이 가능한 디지털 어시스턴트를 구동하는 잠재력을 평가한다. ASPERA는 어시스턴트 라이브러리 시뮬레이션과 인간 지원 LLM 데이터 생성 엔진으로 구성된 프레임워크로, 개발자들이 LLM이 고품질의 작업을 생성하도록 안내할 수 있도록 한다.

대규모 언어 모델(LLM)을 평가하고 피드백하기 위해 모델 응답에 대한 쌍별 선호도가 널리 수집됩니다. 이 데이터는 전통적인 하드 코딩된 지표를 얻기 어려운 도메인에서 모델 진행 상황을 측정하거나 모델 세부 조정을 돕는 데 도움이 될 수 있습니다. 그러나 일부 도메인에서는 이러한 쌍별 비교를 얻는 것이 까다로울 수 있습니다.

mRAKL은 저자원 언어를 위한 다국어 검색 보강 지식 그래프 구축을 위한 시스템으로, 다국어 지식 그래프 구축 작업을 질문 응답(QA) 작업으로 재정의하고, RAG 기반 시스템을 도입하여 수행합니다. 실험은 헤드 엔티티와 링크 관계를 활용하여 모델이 꼬리 엔티티를 예측하도록 합니다.

최근 대형 언어 모델의 발전으로 인해 인간과 유사한 에이전트 능력을 평가하기 위한 종합적인 벤치마크의 수요가 증가했다. 기존의 벤치마크는 특정 응용 시나리오에 초점을 맞추고 작업 완료를 강조하지만 결과를 이끌어내는 기본적인 기술을 분석하지 못하는 경우가 많다. 이러한 세부성의 부족으로 인해 실패의 원인을 심층적으로 이해하기 어렵다. 또한, 이러한 환경을 설정하는 데 상당한 노력이 필요하며 대화형 작업에서는 신뢰성과 재현성 문제가 발생할 수 있다.

다중 정확도와 다중 캘리브레이션은 학습과 계산 복잡성에서 다양한 응용을 찾은 예측의 다중 그룹 공정 개념이다. 이는 약한 어고노틱 학습이라는 하나의 학습 기본 원리로부터 이루어질 수 있다. 이 연구에서는 다중 정확도를 학습 기본 원리로서의 힘을 조사했으며, 캘리브레이션의 추가 가정 없이도 다중 정확도의 역량이 상당히 약하다는 것을 발견했다. 그러나 글로벌 캘리브레이션을 추가하면(이 개념을 캘리브레이션된 다중 정확도라고 함) 그 역량이 크게 향상되어, 이전에 파악되지 않았던 시사점을 복구할 수 있음을 발견했다.

Apple은 오스트리아 비엔나에서 7월 27일부터 8월 1일까지 진행되는 연례 컴퓨터언어학 협회(Association for Computational Linguistics, ACL) 대회에서 새로운 연구를 발표할 예정이다. ACL은 자연어에 대한 컴퓨터 접근 방식에 관심 있는 다양한 연구 분야를 다루는 컴퓨터언어학 분야의 학회이다.

2024년 애플이 인간중심 머신러닝 워크샵을 개최한다. 이 접근 방식은 ML 및 AI 기술을 사용하는 사람들의 필요와 가치를 우선시하여 인간 능력을 보완하고 향상시키는 AI를 만들어낸다. HCML 영역의 연구는 투명하고 해석 가능한 머신러닝 시스템 개발로 사용자들이 AI를 더 안전하게 사용하도록 돕고 부정적인 사회적 영향을 예측하고 예방하는 전략을 다룬다.

Vision Language Models은 시각적 이해를 텍스트 입력과 함께 가능케 합니다. FastVLM은 사전 훈련된 시각 인코더에서 시각 토큰을 대규모 언어 모델로 전달하여 구축됩니다. VLM은 시각 인코더의 풍부한 시각적 표현과 LLM의 세계 지식 및 추론 능력을 활용하여 접근성 보조기, UI 탐색, 로봇 공학, 게임 등 다양한 응용 분야에 유용할 수 있습니다.

Boolformer는 불리언 함수들의 심볼릭 회귀를 수행하는 Transformer 기반 모델로, 훈련 중이 아닌 복잡한 함수에 대한 간결한 공식을 예측할 수 있음을 보여줌. 불완전하거나 잡음이 있는 관측에서도 좋은 근사 표현을 찾을 수 있음을 입증하며, 실제 이진 분류 데이터셋에서 Boolformer를 평가하여 해석 가능한 대안으로의 잠재력을 보여줌.

데이터 선택 방법은 대상을 가지고 있으며, 이를 명시적으로 최적화할 때 어떤 일이 벌어지는지를 탐구하기 위해 벤치마크 대상 순위(BETR) 방법을 제안하고 있다. 이 방법은 벤치마크 학습 예제와 유사성에 기반한 사전 학습 문서를 선택하는 간단한 방법으로, 모델의 성능을 향상시킬 수 있다.

Apple은 Apple 디바이스와 서비스 전반에 걸쳐 사용되는 두 개의 다국어, 다모달 Foundation 언어 모델을 소개합니다. 이 모델들은 Apple 실리콘에 최적화된 약 30억 파라미터의 온디바이스 모델과 Apple의 Private Cloud Compute에서 경쟁력 있는 비용으로 높은 품질을 제공하는 새로운 병렬 트랙 MoE(Mixture-of-Experts) 트랜스포머를 기반으로 합니다.

이 연구는 두 서버 시스템에서 높은 차원 벡터의 안전한 집계 문제를 재방문하며, 개인 연합 학습에서 그래디언트와 같은 벡터를 집계하는 데 사용되는 Prio와 같은 시스템을 다룬다. 기존 방법은 차원과 통신량을 필요로 하지만, 우리는 차원에 비례하지 않는 효율적인 처리가 가능한 PREAMBLE를 제안한다.

AXLearn은 대규모 심층 학습 모델의 확장 가능하고 고성능의 훈련을 용이하게 하는 제품 심층 학습 시스템이다. 다른 최신 심층 학습 시스템과 비교했을 때, AXLearn은 모듈화와 이질적 하드웨어 인프라 지원에 중점을 둔다. AXLearn의 내부 인터페이스는 엄격한 캡슐화를 따라 소프트웨어 구성 요소 간의 다양한 조합을 용이하게 하여 빠른 모델 개발 및 실험을 가능케 한다.

다중 입력 데이터를 활용하는 기계 학습 시스템의 능력 향상을 위해 LLMs의 발전이 중요하다. 그러나 기존의 다중 모달 모델은 대부분 사전 훈련된 LLMs 위에 구축되어 다른 모달 간의 시간적 의존성을 정확하게 모델링하는 것을 제한할 수 있다. 이에 LLM 스타일의 다중 모달 디코더 모델에서 텍스트, 비디오, 음성 모달의 정렬을 조사한다.

이 논문에서는 Multimodal Vision-Language Models (VLMs)을 사용하여 UI 작업에 대한 훈련 데이터 부족 문제를 해결하는 방법을 제시한다. 이를 위해 기존의 이미지-언어 쌍 데이터 생성 방법을 UI 도메인에 적용하여 대화형 예제와 UI를 결합한 데이터셋을 생성한다.

대규모 트랜스포머 모델을 훈련하는 것에 대한 어려움으로 인해 차별적 개인정보 보호 및 페더레이티드 러닝(FL)이 음성 인식에 적용되는 것은 쉽지 않았다. 이를 해결하기 위해 새로운 벤치마크, 적응형 옵티마이저, 그리고 그래디언트 클리핑을 제안하였다. 이전 연구들은 표준 최적화 기술로 수렴하기 어렵다는 문제에 직면해왔다.

언어 모델에 어휘 없는 인코더를 추가하여, 텍스트를 픽셀로 렌더링하여 입력 임베딩을 생성하는 방법을 제안함. 영어 중심 언어 모델 실험 결과, 기존의 서브워드 토큰화 방식을 능가하며 기계 번역 성능을 획기적으로 향상시키고 효과적인 다국어 전이를 가능하게 함.

딥 생성 모델링의 지속적인 발전에 이끌리는 시뮬레이션 기반 추론(SBI)은 확률적 시뮬레이터의 매개변수를 추론하는 데 사용되고 있습니다. 하지만 최근 연구에서 모델 부정확성이 SBI의 신뢰성을 훼손할 수 있다는 것을 보여주었습니다. 이 연구는 소량의 실제 세계 보정 데이터를 사용하여 모델 부정확성을 극복하는 Robust Posterior Estimation~(RoPE) 프레임워크를 소개합니다.

CommVQ는 Commutative Vector Quantization을 제안하여, 긴 문맥을 필요로 하는 대형 언어 모델에서 메모리 사용량을 현저히 줄이는 방법을 제시합니다. 가벡터 양자화를 활용하여 가벡터 캐시를 압축하고, 간단한 행렬 곱셈으로 디코딩할 수 있도록 설계되었습니다.

이 연구는 생성 모델이 동일한 프롬프트로 반복해서 이미지를 생성할 때 종종 비슷한 변형을 얻는 문제를 다루며, 기존 이미지와의 다양성을 유지하면서 새로운 이미지를 생성하는 방법을 제안한다. 데이터 기반의 방법을 활용하여 생성된 이미지를 기존 이미지 집합으로부터 멀어지도록 격리시키는 효과적인 방법을 제시한다.

본 연구에서는 이산 데이터를 모델링하고 생성하기 위한 유망한 프레임 워크인 이산 확산을 제시한다. 대상 콘크리트 점수 매칭(TCSM)은 이산 확산 모델의 교육과 세부 조정을 위한 혁신적이고 다재다능한 목적을 제시한다. TCSM은 넓은 적용 가능성을 갖는 일반적인 프레임 워크를 제공하며, 다양한 기존 이산 확산 접근 방식을 자연스럽게 다룰 수 있다. 또한, 동일한 TCSM 목적은 이산 확산 모델의 사후 교육까지 확장된다.

대형 언어 모델의 성공으로 영감을 받아 음성 모델링에 적용되고 있지만, 음성은 연속적이고 복잡하여 자동 회귀 모델링을 위해 이산화되곤 한다. 자기 지도 모델에서 파생된 음성 토큰은 음성의 언어적 측면에 중점을 두지만 억양 정보를 무시하는 경우가 많다. 이에 따라 이러한 토큰으로 훈련된 모델은 자연함이 감소한 음성을 생성할 수 있다. 기존 접근 방식은 이를 해결하기 위해 음성 토큰에 음높이 특성을 추가하는 것이지만, 음높이만으로는 범위를 완전히 표현할 수 없다.

이 논문은 대규모 언어 모델(LLMs)이 답변에 대해 확신이 없을 때 그것을 나타내야 한다는 불확실성 양자화의 역할을 탐구한다. LLMs의 다양한 출력 공간을 활용하여 불확실성을 설명하는 문자열을 제안한다.

점점 더 많은 edge 장치에서 대규모 언어 모델이 장기 문맥 설정에 배포되고 있어서, 빠르고 효율적인 장기 문맥 추론이 점점 더 필요해지고 있다. 이 연구에서는 기존 방법들이 효율적인 KV 캐시 최적화 전략을 통해 중요한 속도 향상을 달성하는 데 어려움을 겪고 낮은 수락률을 유발하는 반면, 자가-추론 디코딩을 사용하여 이러한 쟁점을 해결하는 방법을 제시한다.

3D 장면을 효과적으로 나타내는 것은 중요하지만 어렵다. 이 연구는 비디오 및 포인트 기반 표현을 비교하고 시각적 토큰을 3D 포인트 클라우드 기능으로 보강하는 새로운 방법을 제안한다. 실험 결과는 명시적인 3D 정보를 통합하는 것이 3D 장면 이해에 도움이 된다는 것을 보여준다.