DopeorNope 개발일지

이놈의 Multi-GPU 훈련은 진짜 사람을 돌게 만든다. 도대체 어디서 문제가 나는지 감도 안오는 경우가 많기 때문이다. 하지만 결국 사람은 그렇게 찾아낸다. 이 에러가 나는 근본적인 이유를 알아보자. 깃허브 이슈에 나와있던 글이다. 내용인 즉슨, 보통 llm full-finetuning시 레이어 얼리는데 있어서, 옵티마이저 최적화 할만한 레이어가 없다는 것이라는것과 같다는 것이다. 근데 솔직히 이것보다 더 근본적인 문제가 있는게, 지금 내가 fine_tuning하려는 하이퍼 파라미터들(트레이닝 옵션 혹은 모델 dtype)과 deepspeed의 config가 호환이 되지 않아서 그런거다. 그러면 어떻게 해결할 것인가? 방법은 은근히 간단하다. 우선 불러오는 모델 type이 bfloat16이라면, dee..

Axolotl에서 Pre-train 과정에서 다음과 같은 에러가 발생함 RuntimeError: expected scalar type Half but found Float FP16으로 내가 불러와서 지금 Half(원래는 32비트 이기때문에, FP16은 Half임)로 불러왔지만, 데이터가 지금 float이기 때문에 문제가 발생함 이럴경우 이와 같이 문제를 해결하면 됨. train.py에서 아래와 같이 trainer.train 하는 곳에서 'cuda'알아서 오토캐스트 해주면 데이터에 맞게 알아서 해결됨. if cfg.flash_optimum: with torch.backends.cuda.sdp_kernel( enable_flash=True, enable_math=True, enable_mem_efficien..