DopeorNope 개발일지

이번에 포항공대, 인공지능 대학원 서류 및 필기 합격 수기를 작성하려고 한다. 우선 필자의 학력은, 입결기준 건동홍 라인으로 입학했으며, 전공은 산업공학계열 1전공, 경영 2전공으로 하여서 대학교를 다녔다. 2전공이 경영이라 너무 쫄렸다. 다만, 나는 혼자 수학공부를 많이 했고, 선대수, 이산수학, 미분방정식, Calculus, 공학수학, 통계, 확률론, 최적화를 다루는 경제수학, 게임이론, 그래프이론 등 수학관련 수업을 일부러 찾아들으며, 여러 학생들의 두뇌에 저사람 뭐지(?)라는 인상을 많이 남기며 학교를 다녔었다. 전공 GPA는 4.37, 전체 GPA는 4.24정도 된다. 학부 연구원 및 여러 연구 경험이 3년정도 있었고, 인공지능 경진대회 관련 상장은 한 3개정도 보유하고 있으며, 논문은 3개정도..

우선 영어로 훈련된 모델들에 대해서, 새로운 언어에 대해 new adaption을 시키는건 많이 시도되었지만, 명확한 방법이 나오지 않아, 이렇게 시도 해보며 남겨본다. 우선 기존의 Upstage의 solar나, 다른 technical report를 보면, mistral base의 모델의 파라미터를 증가 시켜서 훈련시키는 것은 성능향상을 보여주었다. 물론 SOLAR같은 경우는, 너무 리더보드용으로 최적화 되어 있다. 그래서 나는 그렇게 달갑지는 않은데, 나는 좀더 실제적으로 활용도가 높은 모델을 개발하고 싶은 마음이 정말 크다. 그래서 Makr AI의 새로운 한국어 모델을 처음부터 끝까지 빌딩하는 개발일지를 남겨본다. 우선 나는 Mistral AI의 모델인 Mistral instruct v1 7B (32..