Our Projects

MAS tutorials

2021.06.15 | Opensource

Preface 이 튜토리얼은 Multi-agent 문제를 Deep Reinforcement Learning (DRL) 의 관점으로 바라보며 Snake Leaderboard를 사용함에 있어 multi-agent문제의 접근법을 더욱 확장시키고 싶은 분들을 위한 정보를 제공합니다. 특히나 강화학습의 측면에서의 multi-agent 문제를 다루기 위해서는 아주 많은 이론적 배경지식을 요구하지만 이 튜토리얼에서는 최대한 힘을 빼고 조금 더 개념적으로 접근하려합니다. 만약 튜토리얼 전체를 하나의 개념으로 요약한다면 free-for-all 한 상황에서의 Multi-agent Deep Reinforcement Learning (MDRL)으로 요약할 수 있을텐데 본론으로 들어가기에 앞서 이 MDRL을 한 단어씩 떼어서 살펴보는 것으로 시작하겠습니다. 우선 MDRL은 크게 3가지의 개념으로 나눌 ...

Team ML2

TVM: An Automated End-to-End Optimizing Compiler for Deep Learning

2021.02.21 | Research, KAIST EE Co-op, Internship

0. Disclaimer Apache TVM은 현재도 꾸준히 개발중인 프로젝트이기에 홈페이지, 코드 등이 빠르게 바뀌고 있습니다. 본 포스트는 2020/08 ~ 2021/01에 작성된 글입니다. 최신의 내용과 링크/내용 등이 달라질 수 있음을 미리 밝힙니다. 본 포스트는 TVM을 처음 접하는 사람들에게 주안점 등을 제시하는 역할을 하는 것이 목표입니다. TVM을 처음 보시는 분들도 이 글을 통해 어느 정도 큰 그림을 그릴 수 있었으면 좋겠습니다. 자료의 일부는 논문에서, 일부는 홈페이지에서, 일부는 컨퍼런스 자료에서 발췌하였고, 이들을 바탕으로 한 번역+가이드라인 정도라고 보면 될 것 같습니다. TVM echosystem에 작은 도움이 될 수 있다면 행복할 것 같습니다. 최근 딥러닝에 관련된 새로운 기술들이 무서운 속도로 등장하고, 또 발전하고 있습니다.

Woojin LEE

ML2 multiagent RL mini-game environments

2020.04.28 | Research, Internship

1. Introduction This post is an introduction to a simple multi-agent reinforcement learning environment, ML2-MARL-ENV, that can be used to train multi-agent RL algorithms. It aims to explain the use cases of the environment to help future RL researchers in training a multi-agent RL. Another purpose of this blog is to share my personal experiences that I have come across in the development stage, which will hopefully help others better understand the nature of the project. The API of the environment follows that of the convention of OpenAI gym environment. 2. Recent research and motivations 2.1 Backgrounds Deep ...

Taemin HA

LLVM-Block

2020.04.17 | Research, KAIST EE Co-op, Internship

1. About LLVM IR (Intermediate Representation) LLVM 은 SSA-based 컴파일러입니다. SSA(Static Single Assignment)는 변수가 한번만 할당되도록 하여 변수의 복잡성을 줄이는 것입니다. LLVM의 큰 장점은 원하는 기능을 새로 추가하기 쉬운 것입니다. 오픈소스이면서 API가 잘 문서화 되어있고, 기능이 라이브러리로 분리되어 동작하기 때문입니다. LLVM의 코어 라이브러리는 Optimizer이고 Optimizer의 소스와 타겟에 독립적인 중간 표현인 intermediate representation(IR)을 받아 최적화하여 새로운 IR을 도출합니다. 현실의 CPU는 레지스터가 한정되어 있지만, IR은 타겟의 레지스터 수와 관계가 없어야 하기 때문에 가상 레지스터의 수를 계속 늘리면서 작성됩니다. LLVM에서의 SSA는 레지스터에 ...

Sooyeon LEE

Reinforcement learning library (RL2)

2020.10.28 | Opensource

Reinforcement Learning Library for deep RL algorithms A opensource library built to provide a RL algorithm development framework. RL2 is built on the philosophy to unify different RL algorithm under a generalized core, to recycle codes across algorithms and make modifications to algorithms easy. Structure Simplified layout of components that consists the RL2 structure. Worker : Governs the env-agent interaction loop Env : Environment object Agent : Algorithm specific agent that governs information from/to the environment Model : Takes care of everything related to inferring and updating the neural network ...

Team ML2

Value Function Geometry

2020.09.28 | Research, Internship

1. Introduction Recently, research on the geometric properties of value functions and attempts to apply these properties to various fields of Reinforcement Learning (RL) have been actively conducted. This post is an introduction to Value Function Geometry including an introduction of the paper 'The Value Function Polytope in Reinforcement Learning' by Dadashi et al. This post aims to explain the basic concepts of value function linear approximation and representation learning. Also, the paper 1 establishes the geometric shape of value function space in finite state-action Markov decision processes: a general polytope. By reimplementing the paper myself,

Bongsoo YI

GraphDB and Graph Neural Network

2021.05.20 | Research

1. Introduction This post aims to introduce the integration of graph database (GraphDB) and deep model based Machine Learning (ML) on a graph. While this has not caught a wide audience yet, we believe this can be one of the successful applications of Machine Learning. Like improvement in ML opened the promising field of optimizing Relational Database System (RDBS) using ML, we expect the improvement of Machine Learning on a graph can shed a new light on the optimization of GraphDB. 📌 Integration of database and machine learning in RDBS Here we show the example how ML can be helpful in enhancing

Jiyoung PARK