Fundamental of Reinforcement Learning

Author : Woong won, Lee

• (주)제이마플 연구원
• RLCode(Reinforcement Learning Code)
• DCULab(Drone Control and Utiliaztion Laboratory), 모두의연구소
• Mechanical Engineering, Yonsei University

How to start

2016년 초부터 모두의 연구소의 자율주행 드론 연구실 DCULab의 연구실장을 맡아서 드론을 연구을 해오고 있었습니다. 그러던 중에 "드론의 제어에 사용되는 PID 계수를 자동으로 맞춰주는 방법이 없을까?"라는 생각이 들었고 찾다보니 Reinforcement learning을 접하게 되었습니다. 마침 모두의 연구소에서 강화학습 스터디가 시작되었고 그 때부터 David Silver교수님의 강의를 듣기 시작했습니다

Reinforcement Learning Book

정말 감사하게도 많은 분들이 이 깃북을 봐주셨고 그로인해 강화학습을 공부하고자 하는 분들에게 도움을 드릴 수 있음을 알게 되었습니다. 하지만 이론만 설명하는 한계가 있어서 코드로 구현하는 것까지는 알려주지 못했습니다.

따라서 이론과 코드를 알려줄 수 있는 강화학습 책을 집필하였고 출판하게 되었습니다. 고전 강화학습 알고리즘부터 A3C까지 설명했습니다. 책 링크는 다음과 같습니다. http://wikibook.co.kr/reinforcement-learning/

책에 들어가는 코드 링크는 다음과 같습니다. https://github.com/rlcode/reinforcement-learning-kr

이 책이 여러 연구자들이나 개발자, 학생들의 시간을 아껴줄 수 있으면 좋을 것 같습니다.

Reinforcement Learning

환경과의 상호작용을 통한 학습 방법 중에서 computational하게 접근하는 것이 machine learning입니다. 강화학습은 machine learning의 범주 안에 있는 학습 방법 중의 하나입니다. 그 방법 중에서 아이가 걷는 것을 배우는 것처럼 어떻게 행동할 줄 모르지만 환경과 상호작용하면서 걷는 법을 알아가는 것과 같은 학습 방법을 강화학습이라고 합니다.

Purpose of book

강화학습 스터디를 하면서 "혼자 공부하기는 정말 어렵겠다"라는 생각을 많이 했습니다. 또한 강화학습과 관련된 전문 자료들을 꽤 있지만 입문하는 사람들을 위한 쉬운 강의나 자료가 잘 없고 한국어로는 거의 전무한 상황입니다. 따라서 전공자가 아니면 쉽게 처음 시작을 하지 못하는 어려움이 있습니다. 따라서 저 스스로는 공부했던 내용들을 정리하면서도 처음 시작하는 분들에게 도움이 되고자 이 책을 쓰게 되었습니다.

Lectures about RL

모두의연구소 강화학습 스터디는 DeepMind의 David Silver의 강의를 듣는 것으로 진행했었는데 강화학습을 처음 시작할 때 듣기에 좋은 강의입니다. 교재는 Sutton의 Introduction to Reinforcement Learning이라는 책을 사용였고 책과 강의의 링크는 다음과 같습니다.
https://www.youtube.com/watch?v=2pWv7GOvuf0 http://www0.cs.ucl.ac.uk/staff/d.silver/web/Teaching.html

Silver 교수님 강의 말고도 Udacity 강의도 있습니다. 저희 스터디도 처음에는 유다시티 강의로 시작했지만 대부분 많은 사람들이 Sutton교수님을 강화학습의 아버지로 생각하고 있기 때문에 그 책을 바탕으로 한 David Silver 교수님의 강의를 듣기로 정했습니다. 이 강의는 David Silver가 UCL의 교수일 때 Computer Science 학생들을 대상으로 한 강의입니다. 개인적으로는 Silver 강의가 학문적인 바탕을 탄탄히 깔아주는 것 같습니다. 다만 정식 녹화와 녹음이 아니고 노트북을 사용했기 때문에 자료가 잘 안 보이고 소리가 잘 안 들리는 단점이 있습니다. Udacity 강화학습 강의 링크는 다음과 같습니다. https://classroom.udacity.com/courses/ud600/lessons/4676850295/concepts/46733448110923

UC Berkeley의 intro to AI 강의에서도 강화학습에 관련된 내용이 나옵니다.
http://ai.berkeley.edu/lecture_slides.html

How to contact

오타나 틀린 내용, 잘 이해가 안 가는 부분, 추가 설명이 필요한 부분, 또는 궁금한 것들을 discussion에 올려주셔도 되고 제 메일로 보내주셔도 좋습니다!

Email : [email protected]