
어텐션 기반 융합(Attention-based Fusion)과 트랜스포머 인코더(Transformer Encoder)는관련성이 깊지만, 동일한 개념은 아니다. 트랜스포머 인코더를 사용하여 임베딩을 병합하는 것은 어텐션 기반 융합의 한 종류이자, 기존의 단순한 융합 방식과는 확실히 다른 시도이자 더 발전된 실험이 될 수 있다. 1. 어텐션 기반 융합 (Attention-based Fusion) 어텐션 메커니즘은 입력 데이터의 여러 부분 중 어떤 부분이 현재 작업에 더 중요한지 모델이 '주목'하게 하는 메커니즘이다.어텐션 기반 융합은 이 어텐션 메커니즘을 사용하여 여러 모달리티의 정보를 결합하는 방식이다.작동 방식:각 모달리티의 임베딩이 주어진다.모델은 이 임베딩들 각각에 대해 중요도 점수(어텐션 가중치)..