전체 글 680

초등학교 블록코딩 마인크래프트 수업 (에이전트를 이용한 tp, 블록쌓기, 슬롯 활성화)

1. 에이전트 텔레포트 2. 에이전트 방향배꼽이 바라보는 방향 : 앞 3. 에이전트 이동 4. 에이전트 블록1) 소지품 2)코드 5. 반복 개념 반복의 개념을 이용하여 코드를 효율적으로 만들어 봅니다. 6. 슬롯 활성화슬롯을 활성화하지 않으면 기본적으로 1번 슬롯으로 블록이 놓입니다. 따라서 여러 블록을 이용할 때는 슬롯 활성화를 이용하도록 합니다.

실전 LLM 파인튜닝 6차시 멀티헤드 어텐션과 피드포워드

목차 1. 멀티헤드 어텐션어텐션은 지금 단어가 문장 속 다른 단어를 얼마나 참고해야 하는가를 계싼하는 장치이다. 멀티헤드 어텐션은 이 어텐션을 여러 개(multi head)로 나눠서 동시에(병렬로) 보게 만드는 방식이다. 멀티헤드 어텐션을 이용하면, 여러 관점을 동시에 볼 수 있다.관심사별로 분리되어 더 선명하게 학습이 된다. 1head : 문법 관계(주어, 동사)2head: 의미 관계(동의, 반의어)3head: 거리(단어 간 의미 거리) class MultiHeadAttention(nn.Module): def __init__(self, num_heads, head_size): super().__init__() # _ : 이 값을 쓰지 않겠다는 의미의 관용적 변수명 self.heads ..

머신러닝/LLM 2025.08.19

실전 LLM 파인튜닝 5차시 셀프 어텐션

목차 셀프어텐션- 문자나 단어 사이의 관계를 파악하고, 특정 정보의 중요성을 인식하는 메커니즘- 단어 사이의 관계를 파악하는 방법은? --평균 등으로 계산하여 정보 요약 전달- 특정 정보의 중요성을 모델에 전달할 수 있는 방법은? --마스킹하여 중요 정보만 남기기 1. 단어 사이의 관계를 파악하는 방법. import torchtorch.manual_seed(1441)num_batches, sequence_length, embedding_dim = 2, 4, 6embedding_tensor = torch.randn(num_batches, sequence_length, embedding_dim)print(embedding_tensor.shape)embedding_tensor//torch.Size([2, 4..

머신러닝/LLM 2025.08.18