[PAPER REVIEW] KLUE: Korean Language Understanding Evaluation

Paper | https://arxiv.org/pdf/2105.09680.pdf

Github | https://klue-benchmark.com/

Homepage | https://klue-benchmark.com/

 

Notion (Task별 정리 ver.)

KLUE: Korean Language Understanding Evaluation

 

0. Abstract

1. 8개의 한국어 자연어 이해 태스크
   • Topic Classification
   • Semantic Textual Similarity
   • Natural Language Inference
   • Named Entity Recognition
   •  Relation Extraction
   • Dependency Parsing
   • Machine Reading Comprehension
   • Dialogue State Tracking
2. 모델 배포 : PLM, KLUE-BERT, KLUE-RoBERTa
3. 발전된 점
   • KLUE-RoBERTa large : 다중언어 PLM이나 기존 한국어 PLM 오픈소스를 포함한 다른 베이스라인보다 좋음
   • pretrained corpus에서 PII 교체하더라도 성능 저하 최소화 == 개인정보보호와 NLU 기능 상충 X
   • 형태소 pre-tokenization + BPE tokenization, 형태소 단위 태깅/감지/생성에 효과적

---

1. Introduction

1. NLU에서 효과성 평가 위한 잘 맞는 벤치마크를 통해 BERT나 GPT 성공 가능
2. 한국어 NLU 평가 위한 벤치마크 데이터셋 구축

1.1. Summary

[Design Principles]

1. 다양한 태스크와 코퍼스 종합 : 다양한 측면에서의 언어 이해 > 8가지 태스크에서 다양한 도메인 커버해야
2. 누구나 제한 없이 접근 가능
3. 정확하고 명확한 주석
4.  AI 윤리적 문제 완화

[Diverse Task Selection]

다음 두 가지 목적을 가지고 태스크 선택

1. 한국어 NLU의 다양한 측면 커버 가능
2. 테스크 중복성 최소화 : Topic Modeling, Semantic Textual Similarity, Naturl Language Inference 등

[source Corpra Collection]

1. derivative / 재가공 / 상업적 이용 가능한 저작권 문제없는 10가지 데이터 소스 사용
   • 야후 뉴스 헤드라인, 위키피디아, 위키뉴스, 정책뉴스, ParaKQC, Airbnb 리뷰, 네이버 Sentiment Movie Corpus, 한국 경제뉴스, Acrofan 뉴스
2. Annotation 진행 전에 노이즈 / 유해 컨텐츠 / 사회적 편향 컨텐츠 / 개인식별정보(PII)는 제거 
   • 사전 정의된 룰과 ML 을 통해 자동화

[Consideration in Annotation]

1. 각 태스크별로 원천 코퍼스 Annotation
2. 진행 시 고려사항
   • 한국어 언어적 특성을 더 잘 반영해야 할 것
   • 정확한 annotation이 진행될 것
   • 유해한 사회적 편견 완화 및 PII 제거

[Evaluation Metrics]

KLUE 내 다양한 태스크를 위해 적절한 평가지표를 각각 선택해야 함.

1. KLUE-TC (연합뉴스 토픽 분류 YNAT)
   • 7가지 클래스로의 다중분류 문제로 정의
   • 7만 개의 헤드라인 주석처리
   • macro F1 score
2. KLUE-STS
   • 문장 쌍 간 유사성 등급 (0~5)
   • 실제-예측 사이의 피어슨 상관 계수
   • Parapharase detection : F1 score
3. KLUE-NLI
   • SNLI과 MNLI과 같은 NLI 데이터셋과 유사하게 분류 정확도 사용
     • SNLI (Standford Natural Language Inference) : entailment, contradiction, neutral 라벨링 된 570k의 문장쌍
     • MNLI (Multi-Genre Natural Language Inference) : entailment 라벨링된 433k의 문장쌍
   • 균형 있는 클래스 분포 갖도록 KLUE-NLI dev/test set 제작
4. KLUE-NER
   • BIO 태그 출력
   • 6타입 (사람, 위치, 조직, 날자, 시간, 수량)으로 카테고라이징
   • entity-level & character-level : F1 score
5. KLUE-RE
   • 문장 분류 태스크
   • 두 개의 엔터티 있는 한 문장 -> 30 타입의 관계로 출력
   • 의미 있는 유형(관계없음 제외)만 고려한 macro F1 : 한쌍의 엔터티에서 세분화된 관계 식별하는 NLU 시스템 능력 평가
   • AUPRC : 관계 추출 모델 품질에 대한 시각화
6. KLUE-DP
   • 종속성 구문 분석 표준 관행에 따라 UAS&LAS 사용
     • Unlabeled Attachment Score (UAS)
     • Labeled Attechment Score (LAS)
   • 공식(뉴스)&비공식(구어체 리뷰) 텍스트에 주석 달아 여러 도메인에 걸쳐 세분화 분석
7. KLUE-MRC
   • KLUE-NER과 유사하게 span prediction problem
   • 기존 데이터셋과 비교 위한 EM
   • ROUGE-W : LCCS 기반 F1 score 사용
8. KLUE-DST (Wizard of Seoul)
   • multiple-sentence slot-value prediction
   • Joint goal accuracy : 모든 슬롯이 바르게 예측되었는지 평가
   • 평균 F1 score
   • 세분화된 분석의 용이성을 위해 여러 도메인 사용하여 구축

[Baselines]

Model	Task
KLUE-BERT	KLUE-TC (YNAT)
	KLUE-DST (Wos)
KLUE-RoBERTa	KLUE-RE
	KLUE_MRC
KoELECTRA BASE	KLUE-STS
	KLUE-NLI
KLUE-RoBERTa LARGE	KLUE-NER

1. PII 제거, 성능 저하에 미치는 영향 낮음
2. 형태소 기반 하위 단어 토큰화, 형태소 레벨에서 태깅/감지/생성 관련 작업에 효과적

---

2. Sourc Corpora

기존 데이터셋 사용 없이 처음부터 구축

 

2.1. Coprpora Selection Criteria

1. 접근성 : 최대한 제한 X, 자유롭게 사용 가능
2. 다양성 : 낮은 품질의 텍스트는 제거하며 일정 수준의 품질 가지도록 공식(문어)&비공식(구어) 텍스트 간 균형

[Accessibility]

1. 사용 제한 없음 : 상업&비상업 모두 허용
2. 파생 : 사용자는 자유롭게 재가공하여 단점(윤리적 문제, 주석 오류 등) 해결
3. 재배포 가능

[Quality and Diversity]

1. 접근성 고려한 20개 Corpora Dataset 중 다음 기준 고려하여 10개 선정
   • 다양성 : 좁은 영역 특정 X
   • 품질 : 현대 한국어로 작성 / 사생활이나 유독성 우려 콘텐츠 X
   • 8가지 태스크 중 적어도 하나에 주석 달 수 있어야 함
   • 공식&구어체 모두 다룰 수 있는 부분 집합 선택
2. 수집된 Corpora 자료
   • 볼드체 : 최종 선정된 Corpora Dataset
   • 용량 : Small (~1k) / Medium (1k~50k) / Large (50k~)

수집된 Corpora 자료

 

2.2. Selected Corpora

각각의 수집 메커니즘, 기간, 도메인, 스타일, 라이센스, 배경

Dataset	설명	저작권	수집기간(기준)
New Headline (YNA)	연합뉴스 헤드라인, 단일 문장 분류에 사용	-	2016~2020
Wikipeida	공식 문체 가진 공개 백과사전	CC BY-SA 3.0	2020.12.01
Wikinew	집단 저널리즘, 무료 제공 뉴스 기사 약 500개	CC BY 2.5
Wikitree	Wikitree 제공 뉴스 기사 데이터셋, 2010년에 시작된 한국 소셜 미디어 기반 뉴스 플랫폼, 광고나 클릭 미끼용 헤드라인 통한 부적절한 편견 표현되기도 하지만 광범위한 주제를 커버하고 있어 포함 *2.2.1에 언급되는 추가적 조치 진행	CC BY-SA 2.0	2016~2020
Policy News	한국 국가 부처, 공공기관 발행 문서, 정부기관의 발언/공지/언론참고사항	KOGL Type 1	~ 2020 말
ParaKQC	스마트홈 기기 위한 10,000개의 데이터셋, 10개의 유사 질문에 대해 1,000개 의도로 구성, 스마트홈 기기와 대화 시 가능한 다양한 주제	CC BY-SA 4.0	-
Airbnb Reviews	Airbnb 홈페이지 리뷰 데이터셋, Airbnb에서 수집/사전처리된 기존 다국어 리뷰 사용, 한국어 작성 리뷰 일부를 정규 표현으로 식별	CC0 1.0	-
NAVER Sentiment Movie Corpus (NSMC)	NAVER Movies 스크랩한 영화 리뷰 데이터셋, 온라인 유저가 작성한 리뷰로 텍스트 내용과 2가지 감정 라벨 제공, 총 20만개의 긍정/부정 균형적인 데이터셋	CC0 1.0	-
Acrofan News (ACROFAN)	보도자료와 유사한 기업 신제품/이벤트 소개 뉴스 기사, 유사 스타일/형식 갖춘 다양한 범주 커버	CC BY-SA 4.0 for KLUE-MRC by Contract	2020.12~2021.01
The Korea Economics Daily News	한경 신문 기사집, 경제/정치/문화/IT 등의 주제	CC BY-SA 4.0 for KLUE-MRC by Contract	2013.01~2015.12

 

2.2.1. Potential Concerns

데이터 품질 및 사회적/윤리적 문제에 대한 고려사항

 

[Toxic Contect]

1. 뉴스 기사에 반영될 수 있는 기자나 편집자들의 편견
   • 특히, Wikitree는 소셜 미디어 기반이라는 특성상 다른 뉴스 기사보다 잠재적 문제 요소 패턴 포함하고 있는 경우 많음
     • TC 구성 시, Wikitree의 헤드라인 사용 X
     • MRC에 Wikitree 기사 내용 사용 X
     • 문장이 완전하고 형식이 좋아 다른 작업에 사용
2. 주석처리 시 문제 있는 문장 폐기
   1. 온라인 리뷰, 유해 내용 포함 가능성 높음
      • Airbnb : 안전 점검 시스템으로 인한 유해성 포함 리뷰 거의 X
      • NSMC : 영화/배역/감독에 대한 모욕적 발언 포함
      • 한국어 혐오 발언 데이터셋 사용한 검출기 사용하여 유해 컨텐츠 필터링
   2. 필터링 진행 이후 주석처리 과정에서 문제 있는 문장 폐기

[Personally Identifiable Information (PII)]

1. 공인으로 간주되지 않는 개인 식별 가능한 모든 정보 (ex. 이름, 사회 보안 번호, 전화번호, 계좌번호 등)

2.3. Preprocessing

1. Korean Sentence Splitter(KSS) v2.2.0.2.14 사용하여 문장 분할 후 사전 처리 진행
2. KLUE 주석 처리 단계 내 수동 검사 및 필터링 시 진행

[Noise Filtering]

노이즈 텍스트나 한국어 이외의 텍스트 제거

1. 해시태그, HTML태그, 잘못된 문자, 빈 괄호, 연속 공백 등 제거
2. 한자나 일본어 10자 이상의 문장 필터링
3. 뉴스 기사 Corpora : 리포터/언론/이미지/소스/저작권 태그 정보 제거

[Toxic Content Removal]

원치 않는 내용/성향 회피 및 부적절한 문장 제거 목적

1. 한국어 혐오 언어 데이터셋 사용
   • 성별 성향, 혐오 음성 감지기 훈련
     • 0.5 이상의 예측 점수로 성별 성향 보이는 문장 폐기
     • 0.9 이상의 예측 점수로 혐오 발언 보이는 문장 폐기 
   • 임계값은 각 corpus에 대해 수동으로 결정
   • 온라인 리뷰 사용하여 구성된 데이터셋
     • 온라인 텍스트에 적합
     • 공식적 텍스트에는 적합 X -> YNA / ACROFAN / 한경 데이터셋에 사용 X

[PII Removal]

1. 개인정보 포함 문장 제거
2. 이메일 주소, URL, 사용자 언급 키워드와 일치하는 정규식 사용하여 문장 감지 후 제거

2.4. Task Assignment

DST 제외한 7가지 태스크에 대해 위의 데이터셋 사용

* DST, 크라우드워커의 가상 대화로 구축되어져 위 데이터셋 필요 X

 

Task	Dataset	해당 Dataset 선택 이유
Topic Classification (TC)	YNA	단일 문장 주제 분류
Semantic Textual Similarity (STS)	AIRBNB, POLICY, PARAKQC	다양한 의미론적 문맥 포함 * PARAKQC의 의도 쿼리와 주제 정보, 의미론적 유사 문장 쌍 생성 시 유용
Natural Language Inference (NLI)	WIKITREE, POLICY, WIKINEWS, WIKIPEDIA, NSMC, AIRBNB	MNLI과 같이 여러 소스
Named Entity Recognition (NER)	WIKITREE, NSMC	명명된 엔터티가 자주 등장 공식/비공식 작성 스타일 포함
Relation Extraction (RE)	WIKIPEDIA, WIKITREE, POLICY	공인 이름과 다양한 조직 간 관계가 적힌 길고 완전한 문장
Dependency Parsing (DP)	WIKITREE, AIRBNB	공식/구어 작성 스타일 균형잡힌 잘 작성된 문장 * NSMC보다 AIRBNB의 문장이 더 잘 형성되어있음
Machine Reading Comprehension (MRC)	WIKIPEDIA, ACROFAN, The Korea Economy Daily	유용한 정보 구절 제공

---

3. KLUE Benchmark

1. KLUE 목적
   • 시스템의 한국어 이해 능력 테스트 위한 고품질 평가 데이터셋 및 적합한 자동 메트릭 제공
2. Benchmark 구성 방안 설명
   • 소스 Corpus 선택 배경
   • 주석 프로토콜
   • 주석 프로세스 (* 1.1. Summary 내 잠재적 윤리 문제 정의 참고)
   • 데이터셋 분할 전략
   • 메트릭 설계 프로세스

3.1. Topic Classification (TC) ~ 3.8. Dialogue State Tracking (DST)

* Task Overview에 나오지 않은 주요 특징 정리

Task	주요 특징	평가지표
KLUE-TC	ㅇ 발행일자 기준으로 Train / Dev. / Test 분리    - Train set : 2020년 이전 발행    - Test set : 2020년 이후 발행	ㅇ Macro F1 score    - 각 주제에 동일한 중요도가 부여된 topic-wise F1 score의 평균
KLUE-STS	ㅇ 문장 유사 쌍 매칭 시 동일 의미 다른 표현의 문장 얻기 위해 NAVER Papago 사용한 RTT(Round-Trip Translation) 전략 사용 ㅇ Greedy sentence matching 알고리즘 사용    - 랜덤으로 문장 하나를 골라 해당 문장과 ROUGE 가장 높은 문장 매칭    - 쌍 이뤄진 문장 제외한 corpus 내에서 해당 과정 반복	ㅇ STS-b 평가 체계에 따른 피어슨 상관계수     - 수동 라벨링한 유사성 점수와 모델 예측 점수 간의 선형 상관관계 측정 ㅇ F1 score    - 패러프레이즈 여부 측정값 3을 임계값으로 두 클래스로 나눈 후 이진화된 결과에 대한 측정
KLUE-NLI	ㅇ Train / Dev. / Test 분리 시 KLUE-RoBERTa 이용    - 가설 문장만 사용하여 훈련시킨 후 라벨 예측값이 3가지에 동일(유사)한 확률로 나오도록 테스트 셋 분류	-
KLUE-NER	ㅇ 한국어 특성에 맞도록 character level tagging	ㅇ 엔터티 수준 macro F1 score (Entitty F1)    - 엔터티 수준에서의 예측값과 실제값 비교    - 성능 향상 위해 토큰화 신경써야함 ㅇ 문자 수준 macro F1 score (Char F1)    - 예측값과 실제값의 부분 중첩 측정    - 클래스별 F1 점수의 평균
KLUE-RE	ㅇ 문장 내 엔터티&관계 쌍 도출 (e_subj, r, e_obj) ㅇ 관계(30) : 인간관계(18), 조직관계(11), 관계X(1)    - 자주 사용하지 않거나 한국 지역적 특징에 맞지 않는 관계 클래스 제거 및 통합	ㅇ 관계 X 제외한 macro F1 score    - 각 표본에 동일 가중치 부여하여 다수 클래스에 더 많은 가중치가 부여되도록 설정 ㅇ 모든 관계 클래스에 대한 AUPRC    - 중요 positive 값이 거의 없는 불균형 데이터에서 유용
KLUE-DP	ㅇ 기존 TTA DP 가이드라인 수정하여 주석처리    - TTA DP 가이드라인, 문어체만 포함    - 사용한 데이터는 구어체와 웹 데이터도 포함하기 때문에 한국어 기준에 맞춰 수정해서 사용함	ㅇ Unlabeled Attachment score (UAS)    - HEAD 예측만 카운트    - HEAD 예측에 대한 macro F1 score 계산 ㅇ Labeled Attachment score (LAS)   - HEAD와 DEPREL 모두 카운트    - HEAD 예측이 올바른 DEPREL에 대한 macro F1 score 계산    - DEPREL 분포가 비대칭하기 때문에 누적 빈도 1%인 라벨의 예측을 하나의 라벨(OTHER)로 결합 후 F1 score 계산
KLUE-MRC	ㅇ 다양한 도메인으로의 확장 위한 뉴스 기사 데이터 활용	ㅇ EM (Exact Match) ㅇ 문자 수준의 ROUGE-W (= LCCS 기반 F1)
KLUE-DST (WoS)	ㅇ 5가지 도메인에 해당되는 주고 받는 대화 데이터셋    - 서울 관광객과 여행사 간의 대화 시뮬레이션    - 도메인 : 호텔, 식당, 관광지, 택시, 지하철	ㅇ JGA (Joint Goal Accuracy)    - 총 대화턴 수에서 슬롯-값 쌍과 실제값이 일치하는 비율 ㅇ Slot micro F1 score    - 예측된 슬롯-값 쌍과 그라운드-실제값 쌍 측정    - 실제값 None인 경우 slot micro F1 score 무시됨

---

4. Pretrained Language Models

1. KLUE 사용한 연구의 용이성을 위해 모든 벤치마크 태스크에 대한 기준 제공
2. BERT와 RoBERTa 포함한 언어 모델 pretrained 하여 제공함

4.1. Language Models

훈련 구성 변경 통한 여러 한국어 모델 사전 훈련 진행

1. KLUE-BERT, KLUE-RoBERTa 훈련
2. 사전 훈련 말뭉치, 전처리 과정, 토큰화 전략 등의 구성 변경

[Pretraining Corpora]

한국어 말뭉치 데이터셋 5가지를 결합하여 약 62GB의 최종 pretrained 말뭉치 구축

1. MODU
   • 국립국어원에서 배포하는 한국어 말뭉치 모음
   • 공식 기사와 구어체 텍스트 모두 포함
2. CC-100-Kor
   • 다국어 웹크롤링 말뭉치로 이 중 한국어 말뭉치만 사용
   • XLM-R 학습에 사용
3. NAMUWIKI
   • 한국어 웹 기반 백과사전
   • WIKIPEDIA와 유사하지만 덜 형식적
4. NEWSCRAWL
   • 뉴스 집계 플랫폼에서 수집된 2011~2020에 발행된 뉴스 기사
5. PETITION
   • 2017.08~2019.3에 발행된 사회 문제에 대한 청와대 국민청원 모음

[Preprocessing]

1. 2.3. 에서 언급한 방법을 통해 데이터 노이즈 필터링
2. CC-100-Kor 와 NEWSCRAWL
   • 잘 형성된 문장 유지 위해 휴리스틱한 방법으로 200자 이상 길이 문장 유지
   • 유사성 검사를 통해 KLUE 벤치마크 데이터셋에 포한된 문장 제거

[Ethical Considerations]

1. 사회 편향 또는 혐오 발언 제거 X
   • 대규모 pretrained 말뭉치에 대해서 수동 검사 불가능
   • 추후 사회 편향 콘텐츠나 혐오 발언 자동 탐지 위한 해당 데이터 유지
2. PII, KISA의 지침에 따라 정규 표현 사용하여 16가지 데이터 유형 탐지 후 가명화 처리

[Tokenization]

1. 새로운 토큰화 방법 morpheme-based subword tokenization 사용
   1. 형태소 분석기(Mecab-ko) 사용하여 형태소 단위로 원시 텍스트 사전 토큰화
   2. 최종적으로 BPE(wordpiece) 적용
2. 32k 사이즈의 Vocabulary 구축
3. 이후에는 사용성과 속도 향상을 위해 BPE 모델만 사용

[Training Configurations]

1. 토큰 시퀀스 : 최대 512개
2. 정적/동적 마스킹을 통해 pretraining 진행 (마스킹 WWM)
   • 정적 마스킹 : BERT에서 전처리 진행 시 랜덤하게 마스킹 토큰 적용하는 방식
   • 동적 마스킹 : RoBERTa에서 모델에 입력 시 마스킹 토큰 적용하는 방식
3. BERT, NSP 수행

4.2. Existing Language Models

벤치마크 평가를 위한 기존 언어 모델 (다중 언어 모델 2 + 한국어 언어 모델 2)

1. mBERT : 한국어 포함 104개 언어로 MLM과 NSP 사용하여 학습한 다중언어 BERT
2. XLM-R : MLM 사용하여 대량 다중 언어로 RoBERTa 학습
3. KR-BERT
   • BERT 기반 음절(character) 단위 한국어 언어 모델 오픈소스
   • KLUE : KR-BERT character WordPiece 사용 (16,424 토큰)
4. KoELECTRA
   1. MLM과 RTD로 학습된 한국어 언어 모델 오픈소스
   2. 학습 데이터 : 뉴스 크롤링 데이터, MODU corpus

---

5. Fine-tuning Language Models

5.1. Task-Specific Architectures

8가지의 KLUE 벤치마크, fine-tuning 전략 4가지로 분류 가능

Task-Specific Architecture	Task	설명
Single Sentence Classification	KLUE-TC	ㅇ 마지막 은닉층, 레이블 수에 따라 선형 매핑 ㅇCross-Entropy 최소화하도록 훈련	ㅇ 단일 문장 분류 작업으로 입력에 대한 처리 필요 X
	KLUE-RE		ㅇ 문장 엔터티 나타내기 위한 주제와 객체 엔터티 시작과 끝에 임베딩을 통해 토큰 추가    - <subj> 주제 엔터티 </subj>    - <obj> 객체 엔터티 </obj>
Sentence Pair Classification / Regression	KLUE-STS	ㅇ [SEP] 과 같은 토큰으로 연결된 입력된 두 문장 사이의 관계 결정	ㅇ 각 문장 쌍은 유사도 실제값 [0,5]로 라벨링 ㅇ [CLS] 토큰의 은닉층에서 실수로 매핑하여 MSE 최소화되도록 훈련
	KULE-NLI		ㅇ 전제-가설 쌍으로 3가지 클래스로 라벨링 ㅇ [CLS] 토큰의 은닉층에서 3차원 벡터값에 매핑하여 Cross-Entropy 최소화하도록 훈련
Multiple-Sentence Slot-Value Prediction	KLUE-DST (WoS)	ㅇ 주어진 대화 맥락에 대한 slot-value 예측 테스크    - 단일 발화 아닌 여러번(맥락)에 걸쳐 예측되어야함 ㅇ 발화 인코더, 상태 생성기, 슬롯 게이트 로 구성된 인코더-디코더 모델 사용    - 발화 인코더 : GRU에서 PLM으로 변경    - 상태 생성기 : [CLS] 토큰을 첫번째 디코더 입력으로 받음    - 슬롯 게이트 : WoS에 MultiWOZ보다 Boolean 타입이 많아 두개의 슬롯 라벨로 예측 (Y/N)    - 상태 생성기와 슬롯 게이트의 Cross-Entropy 최소화하도록 훈련
Sequence Tagging	KLUE-NER	ㅇ Cross-Entropy 최소화하도록 훈련	ㅇ 토큰 수준의 태깅 : 각 문자에 라벨 할당되며 토큰화 사용에 신경써야함 ㅇ 상태 각각을 12차원 벡터값(12개의 엔터티 범주)에 매핑
	KLUE-MRC		ㅇ 주어진 질문에 대해 단락 내에서 답변에 대한 시작과 끝 토큰 태깅 ㅇ 각 토큰은 시작 토큰인지 끝 토큰인지에 대한 2차원 벡터에 매핑    - 질문에 대답할 수 없는 경우, [CLS]가 시작&끝 토큰으로 간주
	KLUE-DP		ㅇ 시퀀스 태깅 문제    - 입력 문장 내 각 토큰, 태그 2번(HEAD, ARC) 지정    - 토큰화 사용에 신경써야함 ㅇ PLM을 사용하여 하위 단어 표현 추출 후 각 단어의 첫 번째 및 마지막 하위 단어 토큰 표현 연결하여 단어 벡터 표현 형성 ㅇ 사용 모델    - HEAD 예측 위한 biaffine attention    - DEPREL 예측 위한 bilinear attention

5.1.1. Single Sentence Classification

1. 단일 문장 분류에서는 미리 정의된 레이블 세트로 분류
   • 마지막 은닉층은 레이블 수에 따라 선형으로 매핑
   • Cross-Entropy 최소화하도록 훈련
2. KLUE-TC : 단일 문장 분류 작업으로 입력에 대한 처리 필요 X
3. KLUE-RE
   • 문장 엔터티 나타내기 위한 주제와 객체 엔터티 시작과 끝에 임베딩을 통해 토큰 추가
   • <subj> 주제 엔터티 </subj>
   • <obj> 객체 엔터티 </obj>

5.1.2. Sentence Pair Classification / Regression

1. 두 문장 사이의 관계 결정
   • 입력 문장 쌍 중간에 [SEP]과 같은 토큰으로 연결됨
2. KLUE-STS
   • 각 문장 쌍은 유사도 실제값 [0,5]로 라벨링
   • [CLS] 토큰의 은닉층에서 실수로 매핑하여 MSE 최소화되도록 훈련
3. KLUE-NLI
   • 전제-가설 쌍으로 3가지 클래스로 라벨링
   • [CLS] 토큰의 은닉층에서 3차원 벡터값에 매핑하여 Cross-Entropy 최소화하도록 훈련

5.1.3. Multiple-Sentence Slot-Value Prediction

1. DST(WoS)
   • 주어진 대화 맥락에 대한 slot-value 예측 테스크
   • 단일 발화 아닌 여러번(맥락)에 걸쳐 예측되어야함
2. 발화 인코더, 상태 생성기, 슬롯 게이트 로 구성된 인코더-디코더 모델 사용
   • 발화 인코더 : GRU에서 PLM으로 변경
   • 상태 생성기 : [CLS] 토큰을 첫번째 디코더 입력으로 받음
   • 슬롯 게이트 : WoS에 MultiWOZ보다 Boolean 타입이 많아 두개의 슬롯 라벨로 예측 (Y/N)
   • 상태 생성기와 슬롯 게이트의 Cross-Entropy 최소화하도록 훈련

5.1.4. Sequence Tagging

1. KLUE-NER
   • 토큰 수준의 태깅 : 각 문자에 라벨 할당되며 토큰화 사용에 신경써야함
   • 상태 각각을 12차원 벡터값(12개의 엔터티 범주)에 매핑하여 Cross-Entropy 최소화하도록 훈련
2. KLUE-MRC
   • 주어진 질문에 대해 단락 내에서 답변에 대한 시작과 끝 토큰 태깅
   • 각 토큰은 시작 토큰인지 끝 토큰인지에 대한 2차원 벡터에 매핑하여 Cross-Entropy 최소화하도록 훈련
     • 질문에 대답할 수 없는 경우, [CLS]가 시작&끝 토큰으로 간주
3. KLUE-DP 
   • 시퀀스 태깅 문제
     
     • 입력 문장 내 각 토큰, 태그 2번(HEAD, ARC) 지정
     • 토큰화 사용에 신경써야함
   • PLM을 사용하여 하위 단어 표현 추출 후 각 단어의 첫 번째 및 마지막 하위 단어 토큰 표현 연결하여 단어 벡터 표현 형성
   • 사용 모델
     • HEAD 예측 위한 *biaffine attention
       • * 인코딩한 토큰에 대하여 Header와 Modifier 각각 따로 추상화하고 Header : Modifier 조합에 대한 Attention Scoring
     • DEPREL 예측 위한 bilinear attention
     • Cross-Entropy 최소화하도록 훈련

5.2. Fine-Tuning Configurations

1. Huggingface Transformer와 PyTorch-Lightning 사용
2. Hyperparameter
   • AdamW optimizer : 학습률 {10−5 , 2 × 10−5 , 3 × 10−5 , 5 × 10−5}
     • AdamW : 가중치 증가 제한을 둔 Adam Opitimizer
   • warm-up ratio : {0., 0.1, 0.2, 0.6}
     • warm-up ratio : 파라미터 초기화 과정에서의 랜덤값 부여로 인한 학습 진행 영향 최소화 위한 조치로 초기에 작은 학습률 적용한 후 안정된 후 초기 학습률로 전환하는 방법
   • weight decay coefficient : {0.0, 0.01}
   • batch size : {8, 16, 32}
   • epochs : {3, 4, 5, 10}
3. Dev. 데이터셋 성능 기반 최적 파라미터값 작성

5.3. Evaluation Results

다른 NLU 벤치마크와 다르게 모든 태스크의 성능 평균값 X

KLUE 벤치마크에 대하여 KLUE-PLM들과 기존 PLM 평가 결과

1. KLUE-BERT BASE : YNAT, WoS
2. KLUE-RoBERTa BASE : KLUE-RE, KLUE-MRC
3. KoELECTRA BASE : KLUE-STS, KLUE-NLI
4. 주목할 만한 점
   • KLUE-BERT LARGE
     • 테스트한 모델 중 가장 큰 모델
     • KLUE-NER에서 좋은 효과를 보임
     • 모델 사이즈가 성능과 관계 있다는 것으로 추후 더 많은 학습 시키면 더 좋은 효과 있을 것으로 기대됨
   • 단일 언어 모델이 유사 크기의 다국어 모델과 비교했을 때 성능 뛰어남

5.4. Analysis of Models

pretraining 위한 말뭉치와 데이터 전처리에서 사용한 방법에 대한 영향

 

[Corpus Pseudonymization]

1. 가명화 과정에서 발생한 노이즈, 약간의 성능 감소를 보이지만 크지 않음
2. 최소한의 가명화 작업 = 업무 수행과 개인 정보 유출 위험 균형 맞출 수 있는 좋은 방법

 

[Tokenization Strategy]

1. 형태소 기반 하위 단어 토큰화와 BPE 비교
   • 하위 단어 생식력 : 단어 당 생성되는 평균 하위 단어 수 측정
   • 연속 단어 비율
   • [UNK] 비율 
2. 토큰화 비교 결과
   • BPE보다 높지만 연속 단어 비율과 함께 고려했을 때 반비례 함
   • >> 가능한 원래 단어를 유지하며 필요할 때는 각 단어가 잠재적으로 더 많은 하위 단어를 생성한다는 의미
   • >> 어휘 크기 지정(32k) 시, BPE보다 [UNK] 토큰 더 적게 생성하여 성능에 영향

---

* 위와 동일한 내용 재정리 수준으로 [6. Ethical Considerations ~ 9. Conclusion] 생략