[Robot RL][IsaacLab][window][0] 초보 – IsaacSim, IsaacLab 설치하기, 예제 돌려보기, Miniconda 가상 환경 구성 {강화 학습, reinforcement learning project, simulator}

0. Miniconda 설치 link 1. IsaacSim 설치 위에서 conda 를 설치했다면 시작에서 anaconda prompt 가 있을 것이다 1.1. anaconda terminal 에서 GLIBC 2.34+ 버전 호환성 확인 1.2. conda 가상환경 생성 및 isaacsim 설치 yes 를 입력한다 isaacsim 이 실행되는 것을 확인 할 수 있다. 2. IsaacLab 설치 이후 본인이 원하는 Read more…

[Robot RL][Gymnasium][1] 초보 – DQN 이론, python, OpenAi Gym, Frozen Lake, Q learning, Q network, Q table

1. Frozen Lake 환경 frozen lake 1.1. Q-learning decaying E-greedy 위에 코드를 실행하면 아래와 같은 결과를 얻을 수 있다. discount factor 는 0.99 이고 2000번의 episode 를 돌게 된다.noise 를 추가 하는 방법으로 exploration 을 하게 된다. noise e 는 episode 가 진행됨에 따라 감소한다. 점차 학습이 진행되면서 탐험을 줄이는 Read more…

[Robot RL][Isaac, IsaacGym][2] 초보 – URDF 로 나만의 Custom 로봇 만들어서 불러오기 {강화학습, reinforcement learning project, 시뮬레이터}

1. URDF 파일 생성 사진과 같이 이 위치에서 urdf 파일을 만들어준다. cartpole.urdf 파일을 복사해서 이름바꾸기를 이용하였다. 2. URDF 로봇 불러오기 먼저 isaacgym/python/examples 에서 joint_monkey.py 코드를 다음과 같이 수정한다. 위에서 보이는 AssetDesc(“urdf/custom.urdf”, False), 코드를 추가 함으로써 우리는 joint_monkey.py 예제를 실행시킬 때 우리의 로봇을 불러와서 관절 범위등을 확인해 볼 수 있다. examples Read more…

[논문 리뷰][ROBOT RL][1] – PPO 구현, Proximal Policy Optimization, 강화학습, python, gym, gymnasium, Cartpole, Webots 시뮬레이터, inverted pendulum robot, 전체 코드

강화학습에서 유명한 PPO 논문과 이론을 공부하고 -> gym 을 이용하여 2d 환경에서 실험해보고 -> 이 후 물리엔진이 포함된 3차원 환경의 webots 시뮬레이터를 이용해 실제로 로봇에 적용 해보겠습니다. 1. 이론 : Proximal Policy Optimization Algorithms 작성중.. 저자: John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, Oleg Klimov Abstract 환경과의 상호작용을 통해 Read more…

[Robot RL][Isaac, IsaacGym][1] 초보 – anaconda 가상환경 설정, isaac gym 설치하기, 예제 돌려보기 {강화학습, reinforcement learning project, 시뮬레이터}

2.1. 우분투 설치 2.1.1 만약 우분투를 설치 했었다면.. 하드 디스크 파티션 만들기 및 포맷 에서 우분투가 설치되어있던 파티션 삭제 bootice 프로그램 프로그램에서 UEFI -> UEFI 부팅 항목 에 들어가면 ubuntu 항목이 있을 텐데 이를 삭제한다. 2.1.2. 부팅 usb 만들기 ubuntu 20.04 iso 파일을 다운받는다. rufus 프로그램을 킨다. GPT 로 해서 Read more…

[Robot RL][Isaac sim 2023][1] 초보 – 프로그램 설치하기, 예제 돌려보기 {강화학습, reinforcement learning project, 시뮬레이터}

rtx4080, ubuntu 22.04.4 LTSnvidia driver = 535.171.04 1. 설치 구글에 검색해서 먼저 Omniverse 를 설치한다. 확장자가 AppImage 로 다운로드 되는데 터미널에서 파일을 다운받을 경로로 가서 위에 과정을 진행하면 omniverse 가 실행된 것을 볼 수 있다.로그인을 진행한다 exchange 메뉴에서 isaac sim install 진행한다. 2023.1.1 8.91GB 를 설치하였다. 이후 omniverse 에서 NUCLEUS Read more…