Doit

valid set, test set은 각각 20만 20만 개로 매우 많아 1000으로 줄여서 BLEU를 측정하였습니다. valid : head -n 1000 ./corpus.shuf.valid.tok.bpe.en > ./corpus.shuf.valid.tok.bpe.head-1000.en head -n 1000 ./corpus.shuf.valid.tok.bpe.ko > ./corpus.shuf.valid.tok.bpe.head-1000.ko test : head -n 1000 ./corpus.shuf.test.tok.bpe.en > ./corpus.shuf.test.tok.bpe.head-1000.en head -n 1000 ./corpus.shuf.test.tok.bpe.ko > ./corpus.shu..

안녕하세요. 이번에 기록할 포스팅은 기계 번역기 모델 알고리즘을 간략하게 기록하려 합니다. 흔히들 알고 있는 Seq2Seq모델을 활용하였고 sequence to sequence의 내부 구성 모델은 LSTM으로 구성하였습니다. encoder부분에서는 bidirectional LSTM, decoder부분에서는 unidirectional LSTM을 사용하였습니다. inference과정과 training과정의 괴리를 줄이고자 input feeding기법을 사용하였습니다. google colab pro를 사용하여 GPU 환경을 구성하였고, 하이퍼 파라미터는 다음과 같습니다. batch_size = 256 epochs = 20 max_length = 64 dropout = 0.2 word_vector_size = ..

이 자료는 패스트캠퍼스 김기현강사의 딥러닝을 활용한 자연어생성 올인원 패키지online 수업을 복습하고 내 맛대로 변경하면서 작성하는 글입니다. 1. AI-Hub에서 160만개의 데이터 수집 엑셀 형태임 —> txt파일로 추출하기 내부는 tab으로 나뉘어져있음(한국어 tab 영어) 형태는 다음과 같다. 총 1602419개의 text, 한국어 tab 영어로 이루어져있음 2. txt파일을 tsv파일로 변환 cat ./해당 폴더/*.txt > corpus.tsv 3. shuffle하기 폴더내에 파일순으로 합쳐졌기 때문에 shuffling을 진행한다. 셔플하기전 모습 셔플후 모습 ※ 명령어 : gshuf ./corpus.tsv > ./corpus.shuf.tsv 오류없이 해결 4. train,valid,test..