Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 |
Tags
- 러닝레이트
- 대학원준비
- 포항공대인공지능
- Torch
- Axotl
- torch.distributed
- trainer
- 사전학습
- 에러
- postech 인공지능대학원
- RuntimeError
- llm파인튜닝
- 포항공대인공지능대학원
- fine_tuning
- github
- 포스텍인공지능
- DeepSpeed
- loss
- postech인공지능
- torch_size
- llm
- 포스텍 ai
- learning_rate
- timeout
- 대학원합격
- 파인튜닝
- 포스텍 인공지능 대학원
- 파이썬
- 에러노트
- postech
Archives
- Today
- Total
목록trainer (1)
DopeorNope 개발일지
RuntimeError: expected scalar type Half but found Float 에러 해결방법
Axolotl에서 Pre-train 과정에서 다음과 같은 에러가 발생함 RuntimeError: expected scalar type Half but found Float FP16으로 내가 불러와서 지금 Half(원래는 32비트 이기때문에, FP16은 Half임)로 불러왔지만, 데이터가 지금 float이기 때문에 문제가 발생함 이럴경우 이와 같이 문제를 해결하면 됨. train.py에서 아래와 같이 trainer.train 하는 곳에서 'cuda'알아서 오토캐스트 해주면 데이터에 맞게 알아서 해결됨. if cfg.flash_optimum: with torch.backends.cuda.sdp_kernel( enable_flash=True, enable_math=True, enable_mem_efficien..
에러 노트
2024. 1. 2. 03:11