실전 LLM 파인튜닝 5차시 셀프 어텐션
목차 셀프어텐션- 문자나 단어 사이의 관계를 파악하고, 특정 정보의 중요성을 인식하는 메커니즘- 단어 사이의 관계를 파악하는 방법은? --평균 등으로 계산하여 정보 요약 전달- 특정 정보의 중요성을 모델에 전달할 수 있는 방법은? --마스킹하여 중요 정보만 남기기 1. 단어 사이의 관계를 파악하는 방법. import torchtorch.manual_seed(1441)num_batches, sequence_length, embedding_dim = 2, 4, 6embedding_tensor = torch.randn(num_batches, sequence_length, embedding_dim)print(embedding_tensor.shape)embedding_tensor//torch.Size([2, 4..