다양한 이야기들🍃

어텐션 기반 융합 (Attention-based Fusion)

어텐션 기반 융합(Attention-based Fusion)과 트랜스포머 인코더(Transformer Encoder)는관련성이 깊지만, 동일한 개념은 아니다. 트랜스포머 인코더를 사용하여 임베딩을 병합하는 것은 어텐션 기반 융합의 한 종류이자, 기존의 단순한 융합 방식과는 확실히 다른 시도이자 더 발전된 실험이 될 수 있다. 1. 어텐션 기반 융합 (Attention-based Fusion) 어텐션 메커니즘은 입력 데이터의 여러 부분 중 어떤 부분이 현재 작업에 더 중요한지 모델이 '주목'하게 하는 메커니즘이다.어텐션 기반 융합은 이 어텐션 메커니즘을 사용하여 여러 모달리티의 정보를 결합하는 방식이다.작동 방식:각 모달리티의 임베딩이 주어진다.모델은 이 임베딩들 각각에 대해 중요도 점수(어텐션 가중치)..

비전 트랜스포머(Vision Transformer, ViT)는 이미지 처리 분야에 트랜스포머(Transformer) 아키텍처를 적용한 딥러닝 모델이다. 일반적으로 이미지 처리에는 합성곱 신경망(Convolutional Neural Network, CNN)이 주로 사용되는데,ViT는 CNN 없이도 이미지 분류와 같은 작업에서 뛰어난 성능을 보여주면서 주목받기 시작했다. ViT는 이미지를 처리하는 방식이 기존 CNN과 다르다.어떤 부분이 다르냐 하면, 1) 이미지 패치화: 먼저 이미지를 여러 개의 작은 패치(patch)로 분할한다. 이 때 각 패치는 마치 텍스트의 단어처럼 취급된다. 2) 선형 임베딩: 분할된 각 이미지 패치를 선형 임베딩(linear embedding)을 통해 벡터로 변환한다. 이 과정에서..

2025.07.17 - [💻 본업(컴공생) 이야기] - 에너지맵, ELF와 ESP 에너지맵, ELF와 ESP에너지맵(Energy Map)은 말 그대로 에너지 흐름과 상태를 시각적으로 보여주는 지도이다. 다양한 에너지 맵 중!원자와 분자, 그리고 물질 속에서 전자가 어떻게 분포하고 상호작용하는지를 이해하real-st-ory.tistory.com 모델에 ELF와 ESP에너지 맵의 특징을 더효과적으로 학습시키기 위해서는 특정 특징을 살리고 죽(?)여야할지 정하는 것이 중요할 수 있다.따라서 각 이미지 별 어떤 특징들이 있는지 먼저 분석해보려고 한다. ELF (전자 국소화 함수) 색상 스케일이 일반적으로 빨간색이 높은 국소화(전자가 강하게 집중된 곳), 파란색이 낮은 국소화(전자가 분산된 곳)를 나타낸다.시..

에너지맵(Energy Map)은 말 그대로 에너지 흐름과 상태를 시각적으로 보여주는 지도이다. 다양한 에너지 맵 중!원자와 분자, 그리고 물질 속에서 전자가 어떻게 분포하고 상호작용하는지를 이해하는 데 필수적인 두 가지 강력한 도구,바로 정전기 전위 지도(Electrostatic Potential, ESP)와 ,전자 국지화 함수(Electron Localization Function, ELF)에 대해 공부해보았다. 우리가 사는 세상의 모든 것은 원자로 이루어져 있고, 이 원자 속에는 전자라는 아주 작고 중요한 알갱이들이 들어있다.이 전자들은 원자와 원자를 이어 붙여 분자를 만들고, 이 분자들이 모여 다양한 물질을 만든다.그런데 사실, 전자는 너무 작아서 눈에 보이지 않는다. 그러나, 연구자들이나 과학자..

https://moleculenet.org/datasets-1Quantum Mechanics 데이터셋이란? Datasets moleculenet.org Quantum Mechanics 데이터셋은 슈뢰딩거 방정식을 (DFT 같은 기법으로 근사적으로) 해결하여 계산되는 특성들을 나타내는 데이터셋 Generalizable, Fast, and Accurate DeepQSPR with fastprop으로, 분자의 양자역학적 성질을 머신러닝으로 예측하기 위한 벤치마크 데이터셋입니다.주요 QM 데이터셋들1. QM7 데이터셋구성: 7,165개 분자, 최대 23개 원자 (7개 헤비원자 C, N, O, S 포함) Spectroscopic (FT-IR, FT-Raman) investigation, topology (ESP..

ELF, ESP, HOMO-LUMO 이 세 가지 방법론은 모두 분자의 전자 밀도 또는 전자 구조와 관련된 정보를 바탕으로 분자의 특정 물리화학적 특성이나 반응성을 공간적으로 시각화하는 데 사용됩니다. 주로 양자화학 계산을 통해 얻어지는 데이터에 기반합니다.1. ELF (Electron Localization Function)무엇일까?ELF는 전자들이 특정 공간에 얼마나 강하게 국소화(localized)되어 있는지를 나타내는 함수입니다. 간단히 말해, 전자가 원자 주위나 화학 결합 내에 얼마나 밀집되어 있는지를 보여주는 지표입니다.원리 및 시각화전자 밀도가 높은 곳(예: 원자핵 주변, 공유 결합 내)에서는 ELF 값이 높아집니다. 이는 전자들이 해당 영역에 강하게 묶여 있음을 의미합니다.ELF 값은 0과 ..

https://arxiv.org/abs/2209.01712 ChemBERTa-2: Towards Chemical Foundation ModelsLarge pretrained models such as GPT-3 have had tremendous impact on modern natural language processing by leveraging self-supervised learning to learn salient representations that can be used to readily finetune on a wide variety of downstream tasks. We inarxiv.org 논문 개요이 논문은 자연어 처리(NLP) 분야에서 성공을 거둔 대규모 사전학습 언어 모델(GP..

pre-training의 필요성현대의 딥러닝 모델은 대규모 파라미터와 복잡한 구조를 가지고 있다.따라서, 이를 효과적으로 학습시키기 위해서는 방대한 양의 데이터와 안정된 학습 전략이 필요하다. 그러나 현실에서는 충분한 라벨된 데이터를 확보하기 어렵고, 특히 약물, 단백질, 의료 등의 분야에서는 라벨링 비용도 높다.쉽게 말하면, 지도학습(supervised learning)은 정답(label)이 붙은 데이터가 있어야 하지만, 현실에서 라벨 데이터를 수집하는 일은 매우 어렵고 비용이 많이 든다.반면, 라벨 없는 데이터(예를 들어, 분자 구조, 단백질 서열, 자연어 문장)는 무한에 가깝게 존재한다. 프리트레이닝은 이 데이터들을 이용하여 모델이 일반적인 ‘감’을 익히게 만든다고 생각하면 쉽다. 이러한 한계를 극..

https://arxiv.org/abs/2010.09885 ChemBERTa: Large-Scale Self-Supervised Pretraining for Molecular Property PredictionGNNs and chemical fingerprints are the predominant approaches to representing molecules for property prediction. However, in NLP, transformers have become the de-facto standard for representation learning thanks to their strong downstream task transfer. Inarxiv.org 더보기논문 정보제목: Che..

– 분자를 숫자로 바꿔서 쓸 수 있다고요?! –분자와 머신러닝이 만나는 지점이 바로 fingerprint 이다.!사전적으로 분자 핑거 프린트란, 분자의 구조적 특징을 추상화하여 고정된 길이의 벡터로 표현한 것이다. 우리가 약물을 설계하거나 분자의 특성을 예측할 때, 분자는 보통 그림(2D 화학 구조)이나 문자열 (예: SMILES = CCO)로 표현된다.그러나, 기계는 숫자만 이해할 수 있기 때문에, 컴퓨터는 위와 같은 그림이나 문자열을 바로 이해하지 못한다. 따라서 분자의 구조를 숫자로 표현해야 하는 필요성에 따라 fingrtprint로 표현됐다. 왜 ‘핑거프린트(fingerprint)’라고 부를까?본래 finger print 라고 하면 그 의미는 지문(사람의 손가락 무늬)을 말한다.지문은 사람마다 ..