DopeorNope 개발일지

POSTECH 인공지능대학원 합격수기1

DopeorNope — Wed, 8 May 2024 15:33:00 +0900

이번에 포항공대, 인공지능 대학원 서류 및 필기 합격 수기를 작성하려고 한다.

우선 필자의 학력은, 입결기준 건동홍 라인으로 입학했으며,

전공은 산업공학계열 1전공, 경영 2전공으로 하여서 대학교를 다녔다.

2전공이 경영이라 너무 쫄렸다. 다만, 나는 혼자 수학공부를 많이 했고, 선대수, 이산수학, 미분방정식, Calculus, 공학수학, 통계, 확률론, 최적화를 다루는 경제수학, 게임이론, 그래프이론 등 수학관련 수업을 일부러 찾아들으며, 여러 학생들의 두뇌에 저사람 뭐지(?)라는 인상을 많이 남기며 학교를 다녔었다.

전공 GPA는 4.37, 전체 GPA는 4.24정도 된다.

학부 연구원 및 여러 연구 경험이 3년정도 있었고, 인공지능 경진대회 관련 상장은 한 3개정도 보유하고 있으며, 논문은 3개정도 주저자2개 공저자 1개 있다(SCI 2개, 국내 컨퍼런스 1개).

추가적으로 유명 라이브러리의 공헌자로 등록되어 있다.

포스텍 인공지능의 경우, 미디어 AI 및 AI 이론에 관련해서 국내에서 견줄곳이 없는 수준이다 보니, 좀 걱정이 많이 되었다.

그러다 보니 서류 준비를 정말 열심히 했는데, 서류 관련해서 아래와 같이 정리 할 수 있다.

<자기소개서 및 연구 계획서>

자기소개서와 연구 계획서의 경우는, 매우 컴팩트 하게 작성했다.

최대한 미사여구를 제외하고, 내가 어떻게 연구를 시작하고, 어떤 연구를 했는지, 그러면서 여기서 왜 포스텍에 가고 싶었는지를 적었다.

특히 나는 포스텍과 공동 연구경험이 좀 있어서, 이를 활용하여서 내가 솔직하게 느끼는 것들을 잘 담았다.

또한, 기존 내 연구들을 잘 녹이고, 내 실적들을 최대한 미사여구를 제외하고 적었다.

연구계획서의 경우는 내가 막연히 뭐가 하고싶다가 아닌, 왜 이걸 하고 싶은지 작성하는 걸 시작으로 작성하였다.

연구 경험이 많아서, 나는 이걸 꽤 진솔하고 명확하게 작성할 수 있었고, 최근 논문 동향들을 파악하고 있어서 작성하면서 동시에 한계점을 말하고 이런걸 극복하고 싶다는 방향으로 작성했다.

이게 왜 중요 하나면, 결국 내가 무얼 연구할것이고 어떤 문제를 어떻게 해결할지를 명확하게 보여주는데에 포커스를 두어야 하기 때문이다.

여기서 연구의 깊이가 나오기 때문에, 나는 이를 로지컬하게 작성하는데 집중했다.

<우수성 입증 자료>

솔직히 나는 우수성 입증자료가 180페이지 정도 되었다.

과거 내 연구 포트폴리오, 상장, 나온 보도자료, 논문, 보고서, 연구 참여 확인서, 추천서 등을 다 합치니 180페이지 정도 나와서,

이걸 효율적이고 효과적으로 정리하여 제출하였다.

내가 두서없이 업로드 하는것 보다는, 누가 보는지가 중요한 영역이기에, 이를 신경써서 준비했던것 같다.

이후 오탈자 다 검증하고, 문법 교정하고, 제출 완료.

보통 6시 발표라는걸 알고 있었는데, 교수님 회의이후 결과가 발표가 나다보니, 한 6:40분쯤 메일이 날라왔다.

~~호올리... 솔직히 많이 걱정이 되었다.~~

다만, 내가 보여주었던 퍼포먼스들을 믿었기에.. 이제 2차 필기 시험을 준비하기로 결심했다.

두가지 교재를 가지고 시험을 보는데 교재와 시험범위는 다음과 같다.

1. 알고리즘

- 교재: “Algorithms”, Sanjoy Dasgupta, Christos Papadimitriou, Umesh Vazirani, McGraw-Hill, 2008.

- 시험범위: Chapter 2,3,4,5,6

2. 기초수학

- 교재: "Mathematics for Machine learning", Marc Peter Deisenroth, A.Aldo Faisal, Cheng Soon Ong

- 시험범위: Part1

두가지를 간략하게 요약하면, 알고리즘은 수도코드 분석 및 관련한 것들을 증명하는 내용 위주로

기초수학은, 그냥 기본적으로 알아야 하는것들이 나온다.

필기 준비의 자세한 것은 다음 포스트에서 한번 나눌 수 있도록 하겠다...

어우 힘들었다...

추가적으로 연구 참여 확인서나, 연구참여서는 경력사항으로 넣어도 되니 거기다가 넣어도 됨...

llama.cpp로 양자화 하기 GGUF

DopeorNope — Wed, 3 Apr 2024 18:17:02 +0900

120b짜리 모델을 굽고 있는 와중, 아 도저히 내 서버로는 감당이 안되는 크기라 양자화를 시도해야 하겠다는 생각이들었다.

(현재 사용하고 있는 서버는 A100 40GB * 8)

그래서 어떻게 llama.cpp로 양자화를 하는지 에러 수정 및 구현 방법을 기술하도록 하겠다.

우선 llama.cpp에서 제공하는 양자화 지원 범위는 다음과 같다.

(출처: https://github.com/ggerganov/llama.cpp?tab=readme-ov-file#quantization)

우선 나는 4bit 양자화에 대해선 약간의 불안감이 있다.

그 이유는, 우선 8bit까지는 어느정도 성능이 괜찮은데, 4bit로 가니 외계어를 밷는 경험을 좀 했기 때문에.. 성능 위주면 8bit를 추천..합네다.

그럼 llama.cpp를 빌드하는 법을 알려줄 수 있도록 하겠다.

필자는 리눅스 기반의 공용서버를 활용하고 있기 때문에, 리눅스 기반으로 설명하겠다.

1. lamma.cpp 깃허브 레포 다운

# 레포 다운
git clone https://github.com/ggerganov/llama.cpp.git
# 다운 폴더로 이동
cd llama.cpp

Tip 만약 본인의 서버에서 git이 없다면

다음과 같이 하면 됨 (거의 초기 설정이라 가정하고 하겠습니당).

# 루트권한 실행하기 위해서
su

# 패키지 다운위해 업데이트
apt-get update

# sudo 패키지 다운
apt-get install sudo

# git 패키지 설치
sudo apt-get install git

2. llama.cpp 빌드하기

여기서는 조금 할 말이 많다. 우선 첫번째, 리눅스 기반은 두가지로 접근할 수 있는게 있는데, 첫번째는 make와 Open Blas로 빌드하는 방법이고 두번째는 cmake로 빌드하는 방법이다.

우선 make로 빌드하는 법을 알려주도록 하겠다.

진짜 간단하다.

make LLAMA_OPENBLAS=1

그런데 여기서 만약 다음과 같은 에러가 발생하는가?

위의 에러는 open blas로 빌드하려는데 관련 패키지가 없기 때문에 생기는 에러고 만약 이 에러면 다음과 같이 실행하면 된다.

sudo apt-get install libopenblas-dev

이렇게 하면 아마 위 에러는 해결 될 수 있다.

그러면 아주 안정적인 빌드가 가능하다.

다만 이후에 또 다른 에러가 발생한다면?

내가 경험한 에러는 다음과 같다.

open-blas의 문제이긴 한데, 직접 패키지 코드를 수정해주면 되는데, 이건 너무 귀찮다.

(왜냐 커맨드 라인으로 하나하나 수정하기는 매우 귀찮고 삑나면 스트레스가 많기 때문에)

그러면, 이럴때는 cmake로 빌드하면 된다.

# build용 디렉토리 생성
mkdir build
# 디렉토리 이동
cd build

# cmake로 빌딩
cmake ..
cmake --build . --config Release

그러면 아마 llama.cpp가 빌딩이 완료 되었다고 뜰 것이다.

사용

이제 양자화를 하기 위해서는 다음과 같이 실행하면 된다.

# 예시용 모델 로컬로 다운
huggingface-cli download upstage/SOLAR-10.7B-v1.0 --local-dir=./SOLAR-10.7B-v1.0

# 모델 변환후 models에 저장
python3 convert.py models/SOLAR-10.7B-v1.0/

#양자화 진행
./quantize ./models/SOLAR-10.7B-v1.0/ggml-model-f16.gguf ./models/SOLAR-10.7B-v1.0/ggml-model-q8_0.gguf q8_0

이제 이지하게 한번 해보시길 바랍니다...

한국어 LLM 개발일지1

DopeorNope — Tue, 16 Jan 2024 06:51:55 +0900

우선 영어로 훈련된 모델들에 대해서, 새로운 언어에 대해 new adaption을 시키는건 많이 시도되었지만, 명확한 방법이 나오지 않아, 이렇게 시도 해보며 남겨본다.

우선 기존의 Upstage의 solar나, 다른 technical report를 보면, mistral base의 모델의 파라미터를 증가 시켜서 훈련시키는 것은 성능향상을 보여주었다.

물론 SOLAR같은 경우는, 너무 리더보드용으로 최적화 되어 있다.

그래서 나는 그렇게 달갑지는 않은데, 나는 좀더 실제적으로 활용도가 높은 모델을 개발하고 싶은 마음이 정말 크다.

그래서 Makr AI의 새로운 한국어 모델을 처음부터 끝까지 빌딩하는 개발일지를 남겨본다.

우선 나는 Mistral AI의 모델인 Mistral instruct v1 7B (32k짜리) 모델의 레이어 하나하나를 병합하여 10.7B로 만들었다.

https://arxiv.org/abs/2305.07759

TinyStories: How Small Can Language Models Be and Still Speak Coherent English?

Language models (LMs) are powerful tools for natural language processing, but they often struggle to produce coherent and fluent text when they are small. Models with around 125M parameters such as GPT-Neo (small) or GPT-2 (small) can rarely generate coher

arxiv.org

위 링크는, Tiny Stories라는 논문으로, 여기서 흥미로운 점은, 모델의 앞쪽 레이어는 언어본능에 가까운 능력과 연관이 되어 있고, 중간 레이어는 추론능력, 마지막 레이어는, 구체적 사실에 대한 연관성이 높은걸로 보인다는 점이다.

우선 나는 이런점에서 미스트랄 모델의 추론력은 . 더 키우고, 언어를 받아들이는 것은 새로 해야 하기에, 앞쪽의 레이어들을 초기화 하였으며 동시에 이 레이어들을 하나씩 쌓아 올라 10.7B로 키워주었다. (다 생각을 가지고 근거있이 한 행동임...)

또 다음에 한것이, 바로 토크나이저의 Vocab확장.

https://zenn.dev/tokyotech_lm/articles/d6cb3a8fdfc907

Swallow: LLaMA-2 日本語継続事前学習モデル

藤井一喜 Tokyo Institute of Technology B4 情報理工学院情報工学系横田研究室 High-Performance Computing, 分散並列学習

zenn.dev

위의 글을 테크니컬 리포트중, 일본어 new adaption시키는 것에 대한 글이다.

https://arxiv.org/abs/2401.01055

LLaMA Beyond English: An Empirical Study on Language Capability Transfer

In recent times, substantial advancements have been witnessed in large language models (LLMs), exemplified by ChatGPT, showcasing remarkable proficiency across a range of complex tasks. However, many mainstream LLMs (e.g. LLaMA) are pretrained on English-d

arxiv.org

또 다른 논문으로, 다른 언어에 대한 데이터는 기존의 학습 데이터의 1%만 투자해도 금방올라오고, 엠베딩이 바뀌게 되면, 기존의 능력을 잃는다는 내용이다.

즉 토큰 확장은 필요가 없다 라는 내용이긴 하지만, 나는 이것보다 더 중요한 것이 한국어에 대한 더 효율적인 이해도를 지속적으로 높이기 위해서는, 한국어에 대한 new adaption을 위한 토크나이저의 어휘 확장을 해주어야 한다는 생각 이었다.

물론 논문과 보고서의 내용과는 반대되지만, 한국어에 대한 확장이 되게 함으로써, 학습되는 토큰수를 확줄일 수있고, 이게 점점 누적되면 누적될 수록 더 향상된 모델이 될것이라는 기대치가 있었다.

실질적으로 현재 한국어 리더보드를 보면, 보캡 확장한 모델들이 꽤 상위권을 휩쓸고 있다.

그래서 이렇게 기본이 되는 세팅을 준비해놓고.. 사전학습에 들어가게 된다...

[Deepspeed]assert len(set(t.dtype for t in tensors)) == 1에러 해결

DopeorNope — Mon, 15 Jan 2024 11:58:32 +0900

이놈의 Multi-GPU 훈련은 진짜 사람을 돌게 만든다.

도대체 어디서 문제가 나는지 감도 안오는 경우가 많기 때문이다.

하지만 결국 사람은 그렇게 찾아낸다.

이 에러가 나는 근본적인 이유를 알아보자.

깃허브 이슈에 나와있던 글이다.

내용인 즉슨, 보통 llm full-finetuning시 레이어 얼리는데 있어서, 옵티마이저 최적화 할만한 레이어가 없다는 것이라는것과 같다는 것이다.

근데 솔직히 이것보다 더 근본적인 문제가 있는게, 지금 내가 fine_tuning하려는 하이퍼 파라미터들(트레이닝 옵션 혹은 모델 dtype)과 deepspeed의 config가 호환이 되지 않아서 그런거다.

그러면 어떻게 해결할 것인가?

방법은 은근히 간단하다.

우선 불러오는 모델 type이 bfloat16이라면, deepspeed config를 다음과 같이 설정해주면 된다.

우선 나는 zero3를 사용하기에

{
  "zero_optimization": {
    "stage": 3,
    "overlap_comm": true,
    "contiguous_gradients": true,
    "sub_group_size": 0,
    "reduce_bucket_size": "auto",
    "stage3_prefetch_bucket_size": "auto",
    "stage3_param_persistence_threshold": "auto",
    "stage3_max_live_parameters": 0,
    "stage3_max_reuse_distance": 0,
    "stage3_gather_16bit_weights_on_model_save": true
  },
  "bf16": {
    "enabled": true
  },
  "fp16": {
    "enabled": false,
    "auto_cast": false,
    "loss_scale": 0,
    "initial_scale_power": 32,
    "loss_scale_window": 1000,
    "hysteresis": 2,
    "min_loss_scale": 1
  },
  "optimizer": {
    "type": "AdamW",
    "params": {
      "lr": "auto",
      "betas": [
        0.9,
        0.999
    ],
      "eps": 1e-08,
      "weight_decay": "auto"
    }
  },
  "gradient_accumulation_steps": "auto",
  "train_batch_size": "auto",
  "train_micro_batch_size_per_gpu": "auto",
  "wall_clock_breakdown": false
}

위와 같이 config를 수정해주었다.

여기서 핵심은, fp16옵션을 꺼주는것이다.

안꺼주면 계속 질질 끌린다.

만약에 float32이면 bf16은 꺼주고, fp16 enable을 auto로 세팅해주면 된다.

하 deepspeed는 정말 간편하고 좋으면서도 재앙과도 같다...

Multi-GPU 훈련시 Timeout 문제 해결법

DopeorNope — Mon, 15 Jan 2024 07:56:14 +0900

torch는 분산학습 가지고 훈련하는데 매우 최적화가 잘되어 있다.

특히 보통 이제 torch.distributed를 활용하여 분산학습을 시작하게 되는데, 가끔 훈련시 이러한 문제점을 발생하는 경우가 있다.

 Watchdog caught collective operation timeout: WorkNCCL(OpType=BROADCAST, Timeout(ms)=1800000) ran for 1808499 milliseconds before timing out.

이 에러는 정말 단순하지만 보면 볼 수록 이해가 안가는 에러메세지이다.

왜 에러메세지가 생기는가?

그것은 바로, 기본적으로 분산학습을 활용하는 프레임워크로 accelerate를 활용하는데 여기에서 기본적으로 세팅되어 있는 시간이 30분이다.

즉 한작업을 수행하는데 최대 30분까지 기다려주는것이고 그 이상일때는 바로 에러메세지를 밷어낸다.

그러면 이런 것을 어떻게 해결할 수 있는가?

코드 한줄이면 된다.

import datetime

dist.init_process_group(backend="nccl", timeout=datetime.timedelta(days=2))

여기서 dist는 torch.distributed를 dist라는 이름으로 import 한것이다.

즉 좀더 정확하게 작성해주면 아래와 같다.

import torch.distributed as dist
import datetime

dist.init_process_group(backend="nccl", timeout=datetime.timedelta(days=2))

즉 타임아웃 시간을 2일로 늘려주는데, 보통 긴 작업이 한 최대 1시간에서 2시간정도 걸리긴 하는데, 이건 상황에 맞추어 . 잘 활용하도록 하면 될것 같다.

[LLM,deepspeed, axotl]LLM 파인튜닝시, loss값이 올라가는 현상

DopeorNope — Sat, 13 Jan 2024 17:57:16 +0900

자 오늘 오전에는 이 미친 라이브러리 deepspeed가 axotl에 미치는 영향을 알아보고, 이를 해결하는 방법을 공유하였다.

그런데, 이제 더 미친 문제가 하나 남겨져있었다.

훈련시키는 도중 나는 다음과같은 모습을 볼 수 있었다.

내 wandb프로젝트에 다음과 같은 모습을 발견했는데, 여기서 주의할점이 step이 올라갈수록 loss값이 폭등하는 것이다.

이 문제를 해결하기 위해서 정말 별의별 document를 확인하였다.

그러자 다음과 같이 문서를 찾을 수 있었다.

https://github.com/microsoft/DeepSpeed/issues/2077

우선 나는 lr_scheduler로 learning rate를 조금씩 낮춰가는 형상으로 훈련을 하고 있었는데, 음 비슷한 문제를 가진 내용이, lr와 loss와의 관계가 있다는 것이다. 값자기 exploding을 한다는 글이었고, 물론 나는 처음부터 exploding하였지만, 다른 문서들을 찾아보아도, weighted decay와 관련되었다는 것이다.

근데 내가 직접 허깅페이스 라이브러리로 bfloat16으로 훈련을 시키면, 최적화가 좀 잘된적이 많았지만, deepspeed를 활용하여 병렬처리로 훈련을 시키니, bfloat16을 활용하는 경우 loss값이 deepspeed에서는 이상하게 잘못 계산된다는 의견이 조금 있었다.

그래서 나는 d_type을 float32로 변경하였는데, 변경하니 다음과 같은 양상으로 변한걸 알 수 있었다.

이 미친 라이브러리는 누가 만든것인가....하...

무튼 axotl과 deepspeed를 활용하여 훈련시키는데 loss가 폭등하면 다음과 같이 활용하면된다

d_type을 float32로 변경

오늘도 빡친 하루였다.

Axotl & deepspeed zero3: 모델 레이어 불러올때 torch.Size([0]) 해결법

DopeorNope — Sat, 13 Jan 2024 11:13:08 +0900

진짜 그냥 이걸 해결했긴 했는데, 진짜 머리가 찡하다.

그냥 화가 무척 난다.

왜 화가나느냐?

마이크로 소프트 이놈들은 deepspeed를 윈도우처럼 만들어놨다.

업데이트도 느리고 github 레포에서 세달전에 올라온 버그 리포트도 아직까지 반영이 안되어있다.

자 그럼 이번에 어떤주제냐면, LLM full-finetuning할때, 내가 몇개의 레이어는 얼리고 몇개는 풀고싶고 이렇게 튜닝하고 싶은 경우가 정말 많다.

그럴때 자주 쓰이는 것은 아래와 같다.

param.requires_grad = False 혹은 param.requires_grad = True

위의 두개가 무엇이냐 하면은, 그 가중치에 gradient update를 할지 안할지 결정해주는 것이다.

그런데 이제 Axotl라이브러리 활용하셔 LLM을 full-fine tuning을 multi-GPU로 하고자 하면서 레이어를 얼려주고 풀어주고자 하면 다음과 같은 문제점이 발생한다.

model.embed_tokens.weight
torch.Size([32000, 4096])


model.layers.8.self_attn.q_proj.weight
torch.Size([0])

나는 embed layer와 8번 레이어의 가중치를 업데이트 하고 나머지는 묶어주고자 하였는데 lm_head나 embed_tokens 텐서는 잘 불러와 지는데 나머지 레이어의 텐서는 인스턴스화 되지 않고 그냥 불러와 지지 않는 문제가 발생한다.

자 여기서 나는 수많은 깃허브 이슈들을 읽으면서 내린 결론은 다음과 같다.

"Deepseed의 zero3 문제"

Deepseed는 분산학습에서 매우 메모리를 효율적으로 설계하여 훈련시킬 수 있는 툴이다. 다만, 몇가지 그리고 많은 문제점들이 있지만...

그래도 해결되면 매우 간편하고 효율적이다.

그런데, 여기서 zero initialize를 하면서 명시적으로 인스턴스화 해주지 않고 불러오기 때문에, 모델 내부 레이어는 명시적으로 인스턴스화 되지 않는다.

그렇기에 내가 인스턴스화 되지 않는 레이어를 풀어주고자 해도 절대로 안풀어지는 법...

그럼 어떻게 해결해야 하는가?

Axotl의 freeze.py를 보면 다음과 같이 코드가 작성되어 있다.

for param in model.parameters():

    param.requires_grad = False



for name, param in model.named_parameters():

    if any(pattern.match(name) for pattern in compiled_patterns):

        if is_main_process():

               LOG.debug(f"unfreezing {name}")

        param.requires_grad = True

즉 모든 레이어를 얼리고, 내가 풀고자 하는 레이어만 쓱 푸는것이다.

근데, 애초에 모델을 불러오는데에 있어서 모든 레이어는 required_grad가 True로 되어 있다.

그러면, 굳이 얼리고 풀면서 생기는 저런 이슈를 마주쳐야 하는가?

전혀 아니다.

인스턴스화 되지 않은것에 대해서 required_grad=True가 문제가 되지 사실 required_grad=False는 문제가 되지 않는다.

그러면 어떻게 해결해야 하는가?

# for param in model.parameters():
  # param.requires_grad = False

for name, param in model.named_parameters():
  if any(pattern.match(name) for pattern in compiled_patterns):
    if is_main_process():
        LOG.debug(f"unfreezing {name}")
   # param.requires_grad = True
    
    pass
    
  else:
    param.requires_grad = False

방법은 발상의 거꾸로 전환이다.

그냥 처음부터 얼리지말고, 내가 선택하고 싶은건 pass하고 내가 선택하지 않은 레이어만 얼려주는 것이다.

하... Axotl도 답답하다..... 하... 내 13시간.....

RuntimeError: expected scalar type Half but found Float 에러 해결방법

DopeorNope — Tue, 2 Jan 2024 03:11:36 +0900

Axolotl에서 Pre-train 과정에서 다음과 같은 에러가 발생함

RuntimeError: expected scalar type Half but found Float

FP16으로 내가 불러와서 지금 Half(원래는 32비트 이기때문에, FP16은 Half임)로 불러왔지만,

데이터가 지금 float이기 때문에 문제가 발생함

이럴경우 이와 같이 문제를 해결하면 됨.

train.py에서 아래와 같이 trainer.train 하는 곳에서 'cuda'알아서 오토캐스트 해주면 데이터에 맞게 알아서 해결됨.

  if cfg.flash_optimum:
        with torch.backends.cuda.sdp_kernel(
            enable_flash=True, enable_math=True, enable_mem_efficient=True
        ):
            trainer.train(resume_from_checkpoint=resume_from_checkpoint)
    else:
        with torch.autocast("cuda"): # 추가함
            trainer.train(resume_from_checkpoint=resume_from_checkpoint)

0. 시작에 앞서

DopeorNope — Thu, 18 May 2023 20:30:59 +0900

이 블로그를 쓰는 이유는, 기존에는 많은 코드들과 많은 지식들을 통해서 모델들의 구조와 핵심 코어등을 다 이해하고 있었으나...

오랜 연구와 문서작업이 갈 수록 많아지면서, 점점 희미해져가는 내 기억을 다시 부여잡기 위해 이렇게 작성한다...

연구를 하면서, 참 획기적인 생각들이구나 라는 생각이 들정도로 좋은 아이디어들이 많다고 생각한다.

그런데 어느순간 "왜?" 라는 생각이 들지 않기 시작했다.

당연히 이러한 것들을 이해해야하는데, 점점 수동적인 학습과 지식이 쌓여져만 가는 것이다. 더 깊은 이해를 쌓기 위해 다시 한번 시작한다...

왜? 무슨 이유에서? 어떻게? 그래서 어떻게 구현해? 라는 질문들이 점점 사라지고, 어서 결과만 만들어내야지 하는 나의 썩은 정신을 뿌리채 뽑으려고 한다.

전국 어디에서나 열심히 노력하는 사람들에게 힘이 될 수 있으며, 나에게도 큰 도움이 될 수 있도록 기대하며 이렇게 작성을 시작한다.

나의 메이져 영역은 컴퓨터 비전쪽이며 앞으로 관련한 것들을 포스팅 하도록 하겠다.