“Using Transformers for Natural Language Processing (Hugging Face 개발팀이 알려주는 자연어 애플리케이션 구축)“ ChatGPT에 관심이 있는 사람, AI가 어떻게 반응하고 대화를 이어가는 원리가 궁금한 사람에게 이 책은 실용서라고 할 수 있다.
2년전 국내 기업에서는 취업을 희망하는 신입사원과 경력사원의 이력서가 자연어 처리 및 데이터 분석 도구 개발로 컨설팅을 하고 싶은 기업에 R&D 강의를 한다.
회사의 연구원들이 해결하고 싶은 내용과 궁금한 내용을 해외 논문과 책을 통해 강의 기획서로 제작하여 함빛미디어에서 발간합니다.
“Trendformers를 사용한 자연어 처리“ 나는 책이 모든 문제를 해결할 수 있다고 생각한다.
앞으로 더 많은 기업들이 AI와 ChatGPT를 사용하여 다양한 애플리케이션을 구축하고 서비스를 활용할 것입니다.
그때까지는 연구원이 먼저 읽을 책을 추천하면 추천합니다.
책 소개
ChatGPT와 같은 자연어를 완벽하게 이해하는 변환기에 대한 완벽한 분석
변압기는 우리 주변에 있습니다!
Transformer 아키텍처는 빠르게 자연어 처리를 지배했고 ChatGPT는 전 세계적으로 인기를 얻었습니다.
이 책은 데이터 과학자와 프로그래머가 Hugging Face의 Transformers 라이브러리를 실제로 사용하여 Transformer 모델을 훈련하고 확장하도록 안내합니다.
트랜스포머 라이브러리를 개발한 엔지니어들이 직접 코드를 설명하고 트랜스포머의 동작 원리와 문제 해결 방법, 어플리케이션 소개 방법 등을 단계별로 소개했다.
나만의 Transformers를 훈련하고 자연어 처리를 정복하는 방법을 알아보세요.
저자에 대해
작가
루이스 턴스톨
저는 Hugging Face의 기계 학습 엔지니어입니다.
스타트업과 기업을 위한 NLP, 토폴로지 데이터 분석, 시계열 분야에서 기계 학습 애플리케이션을 만들었습니다.
그는 이론 물리학 박사 학위를 가지고 있으며 호주, 미국 및 스위스에서 연구를 수행했습니다.
그는 현재 NLP 커뮤니티를 위한 도구를 개발하고 도구를 효과적으로 사용하는 방법을 가르치는 데 주력하고 있습니다.
리안드로 폰 베라
그는 Hugging Face 오픈 소스 팀의 기계 학습 엔지니어입니다.
그는 머신 러닝 스택에서 수년간 산업용 NLP 프로젝트를 생산한 경험이 있으며 트랜스포머와 강화 학습을 결합한 인기 있는 Python 라이브러리 TRL을 만들었습니다.
토마스 울프
Hugging Face의 최고 과학 책임자 겸 공동 설립자. 그는 NLP 연구를 발전시키고 민주화하는 임무를 수행하는 팀을 이끌고 있습니다.
Hugging Face를 공동 창립하기 전에 그는 물리학 박사 학위를 취득했고 나중에는 법학 학위를 받았습니다.
전 물리학 연구원 및 유럽 변리사.
통역사
박해선
제 전공은 기계공학이었지만 졸업 후에는 항상 코드를 읽고 쓰고 있었습니다.
현재 그는 기계 학습과 딥 러닝에 관한 책을 집필하고 번역하면서 소프트웨어와 과학의 경계를 열정적으로 탐구하고 있습니다.
“머신러닝 + 딥러닝 혼자 배워요”(한빛미디어, 2020)와 “두 해!
그는 “Introduction to Deep Learning”(Easy Publishing, 2019), “Deep Learning from the Founder of Keras(Revised 2nd Edition)”(Gilbot, 2022), “Machine Learning in Practice(2nd Edition)”(2판)의 저자입니다.
Chinese Bit Media, 2020) 포함된 여러 기계 학습 서적이 한국어로 번역되었습니다.
색인
1장 변압기 소개
_1.1 인코더-디코더 프레임워크
_1.2 주의 메커니즘
_1.3 NLP의 마이그레이션 학습
_1.4 얼굴을 껴안는 트랜스포머
_1.5 변압기 애플리케이션 둘러보기
1.5.1 텍스트 분류
__1.5.2 엔티티 이름 인식
__1.5.3 질문 및 답변
__1.5.4 요약
__1.5.5 번역
__1.5.6 텍스트 생성
_1.6 얼굴 포옹 생태계
__1.6.1 얼굴 포옹 센터
1.6.2 페이스 허깅 토크나이저
__1.6.3 얼굴 포옹 데이터셋
__1.6.4 얼굴을 껴안는 가속
_1.7 변압기의 주요 과제
_1.8 결론
2장 텍스트 분류
_2.1 데이터세트
__2.1.1 얼굴 포옹 데이터 세트의 첫 사용
__2.1.2 데이터세트에서 데이터프레임으로
__2.1.3 클래스 분포 확인
__2.1.4 트윗 길이 확인
_2.2 텍스트를 토큰으로
__2.2.1 문자 토큰화
__2.2.2 단어 분할
2.2.3 부분 단어 분할
2.2.4 전체 데이터 세트에 레이블 지정
_2.3 학습 텍스트 분류 모델
2.3.1 특징 추출기로 Transformer 사용
__2.3.2 트리머 변압기
_2.4 결론
3장. 트랜스포머 이해하기
_3.1 트랜스포머 아키텍처
_3.2 인코더
__3.2.1 셀프 어텐션
__3.2.2 피드포워드 계층
3.2.3 계층 정규화 추가
__3.2.4 위치 임베딩
__3.2.5 정렬 헤드 추가
_3.3 디코더
_3.4 트랜스포머 유니버스
__3.4.1 변압기 가계도
__3.4.2 인코더 유형
__3.4.3 디코더 유형
__3.4.4 인코더-디코더 유형
_3.5 결론
4장 다국어 엔터티 인식
_4.1 데이터세트
_4.2 다국어 변환기
_4.3 XLM-R 토큰화
4.3.1 토큰화 파이프라인
__4.3.2 SentencePiece 토크나이저
_4.4 엔티티 이름 인식을 위한 변환기
_4.5 트랜스포머 모델 클래스
__4.5.1 몸과 머리
__4.5.2 토큰 분류를 위한 사용자 정의 모델 생성
__4.5.3 사용자 정의 모델 불러오기
_4.6 NER 작업을 위한 텍스트 토큰화
_4.7 성능 측정
_4.8 XLM-RoBERTa 미세 조정
_4.9 오류 분석
_4.10 교차 언어 변환
4.10.1 Zero Shot Conversion이 유용한 경우
__4.10.2 다국어 동기화 미세 조정
_4.11 모델 구성 요소 사용
_4.12 결론
5장 텍스트 생성
_5.1 일관된 텍스트 생성의 어려움
_5.2 탐욕스러운 탐색 디코딩
_5.3 빔 서치 디코딩
_5.4 샘플링 방법
_5.5 Top-k 및 커널 샘플링
_5.6 어떤 디코딩 방법이 가장 좋습니까?
_5.7 결론
6장 요약
_6.1 CNN/DailyMail 데이터 세트
_6.2 텍스트 요약 파이프라인
__6.2.1 표준 모델 요약
__6.2.2 GPT-2
__6.2.3 T5
__6.2.4 바트
__6.2.5 페가수스
_6.3 요약 결과 비교
_6.4 생성된 텍스트의 품질 평가
__6.4.1 파란색
__6.4.2 루즈
_6.5 CNN/DailyMail 데이터 세트에서 PEGASUS 평가
_6.6 훈련 요약 모델
__6.6.1 SAMSum에서 PEGASUS 평가
__6.6.2 PEGASUS 미세 조정
6.6.3 대화 요약 생성
_6.7 결론
7장 질문과 답변
_7.1 검토 기반 품질 보증 시스템 구축
__7.1.1 데이터 세트
7.1.2 텍스트에서 답변 추출
7.1.3 Haystack으로 QA 파이프라인 구축
_7.2 QA 파이프라인 개선
7.2.1 사냥개 평가
7.2.2 리더 평가
__7.2.3 도메인 적응
7.2.4 전체 QA 파이프라인 평가
_7.3 추출 QA를 넘어
_7.4 결론
8장 효율적인 변압기 구축
_8.1 의도 감지의 예
_8.2 벤치마크 클래스 만들기
_8.3 지식 정제를 통한 모델 크기 축소
8.3.1 미세 조정에서 지식 추출
__8.3.2 이전 교육에서 얻은 지식 추출
8.3.3 지식 추출 트레이너 만들기
__8.3.4 학생 선택
8.3.5 Optuna로 좋은 하이퍼파라미터 찾기
8.3.6 최적화된 모델 벤치마크 실행
8.4 양자화를 통한 모델 속도 향상
8.5 정량화 모델 벤치마킹
8.6 ONNX 및 ONNX 런타임으로 추론 최적화
8.7 가중치 정리를 사용하여 희소 모델 구축
8.7.1 심층 신경망의 희소성
8.7.2 가중치 가지치기
_8.8 결론
9장 라벨 부족 처리
_9.1 GitHub 이슈 토크나이저 만들기
__9.1.1 데이터 다운로드
9.1.2 데이터 준비
9.1.3 트레이닝 세트 만들기
9.1.4 트레이닝 슬라이스 만들기
_9.2 나이브 베이지안 모델 만들기
_9.3 레이블이 지정된 데이터가 없는 경우
_9.4 라벨 데이터가 적은 경우
__9.4.1 데이터 보급
9.4.2 조회 테이블로 임베딩 사용
9.4.3 기본 변압기 트리밍
9.4.4 힌트를 사용한 컨텍스트 및 퓨샷 학습
_9.5 레이블이 지정되지 않은 데이터 사용
9.5.1 언어 모델 미세 조정
9.5.2 분류기 미세 조정
9.5.3 고급 방법
_9.6 결론
10장 대규모 데이터 세트 수집
_10.1 대용량 데이터 세트 수집
10.1.1 대규모 말뭉치 구축의 어려움
__10.1.2 사용자 정의 코드 데이터 세트 생성
10.1.3 대규모 데이터 세트 작업
__10.1.4 Hugging Face Hub에 데이터 세트 추가
_10.2 토크나이저 구축
10.2.1 토크나이저 모델
10.2.2 토크나이저 성능 측정
__10.2.3 Python 코드용 토크나이저
10.2.4 훈련 토크나이저
10.2.5 허브에 사용자 지정 토크나이저 저장
_10.3 처음부터 모델 훈련
__10.3.1 사전 훈련 대상
__10.3.2 모델 초기화
10.3.3 데이터 로더 구축
10.3.4 훈련 루프 정의
__10.3.5 교육 실행
_10.4 결과 및 분석
_10.5 결론
제11장 향후 방향
_11.1 변압기 확장
__11.1.1 비례 법칙
__11.1.2 난이도 조정
__11.1.3 주의!
__11.1.4 스파스 어텐션
__11.1.5 선형 주의
_11.2 단어 너머
__11.2.1 비전
__11.2.2 테이블
_11.3 다중 모드 변압기
__11.3.1 음성을 텍스트로
__11.3.2 시각적 및 서면
_11.4 다음 목적지는 어디입니까?
“함빛미디어입니다.
<我是书评人>이벤트에서 제공되는 도서에 대한 서평입니다.
“
