1. Frozen Lake 환경 frozen lake 1.1. Q-learning decaying E-greedy 위에 코드를 실행하면 아래와 같은 결과를 얻을 수 있다. discount factor 는 0.99 이고 2000번의 episode 를 돌게 된다.noise 를 추가 하는 방법으로 exploration 을 하게 된다. noise e 는 episode 가 진행됨에 따라 감소한다. 점차 학습이 진행되면서 탐험을 줄이는 Read more…
1. URDF 파일 생성 사진과 같이 이 위치에서 urdf 파일을 만들어준다. cartpole.urdf 파일을 복사해서 이름바꾸기를 이용하였다. 2. URDF 로봇 불러오기 먼저 isaacgym/python/examples 에서 joint_monkey.py 코드를 다음과 같이 수정한다. 위에서 보이는 AssetDesc(“urdf/custom.urdf”, False), 코드를 추가 함으로써 우리는 joint_monkey.py 예제를 실행시킬 때 우리의 로봇을 불러와서 관절 범위등을 확인해 볼 수 있다. examples Read more…
강화학습에서 유명한 PPO 논문과 이론을 공부하고 -> gym 을 이용하여 2d 환경에서 실험해보고 -> 이 후 물리엔진이 포함된 3차원 환경의 webots 시뮬레이터를 이용해 실제로 로봇에 적용 해보겠습니다. 1. 이론 : Proximal Policy Optimization Algorithms 작성중.. 저자: John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, Oleg Klimov Abstract 환경과의 상호작용을 통해 Read more…
2.1. 우분투 설치 2.1.1 만약 우분투를 설치 했었다면.. 하드 디스크 파티션 만들기 및 포맷 에서 우분투가 설치되어있던 파티션 삭제 bootice 프로그램 프로그램에서 UEFI -> UEFI 부팅 항목 에 들어가면 ubuntu 항목이 있을 텐데 이를 삭제한다. 2.1.2. 부팅 usb 만들기 ubuntu 20.04 iso 파일을 다운받는다. rufus 프로그램을 킨다. GPT 로 해서 Read more…
rtx4080, ubuntu 22.04.4 LTSnvidia driver = 535.171.04 1. 설치 구글에 검색해서 먼저 Omniverse 를 설치한다. 확장자가 AppImage 로 다운로드 되는데 터미널에서 파일을 다운받을 경로로 가서 위에 과정을 진행하면 omniverse 가 실행된 것을 볼 수 있다.로그인을 진행한다 exchange 메뉴에서 isaac sim install 진행한다. 2023.1.1 8.91GB 를 설치하였다. 이후 omniverse 에서 NUCLEUS Read more…
이 논문은 이족 보행 로봇의 보행제어에 관한 논문인데요 이족 보행 로봇의 보행제어는 이족 보행 로봇이 가지는 높은 자유도, 비선형 동역학, 지면 충격 등이 정확하게 모델링 하기 어렵다는 문제를 가지고 있고 기존의 전통적인 model-based 방법들은 조심스러운 모델링 과정이 필요하고 대부분 환경 변화에 적응하기 힘들다는 문제가 있습니다. 이에 대해 저자는 다양한 동작 Read more…
multi agent reinforcement learning 을 하려고 한다. 현재 시점에서 내 환경과 설치사항은 다음과 같다. ubuntu 환경은 새롭게 구성할 때가 많은데 이 때마다 위 항목들을 기본적으로 설치하고 공부를 시작하는 편이다. gazebo install $ sudo apt install ros-humble-gazebo-ros-pkgs ros2 sourcing $ source /opt/ros/humble/setup.bash check core tools install $ sudo apt install ros-humble-ros-core Read more…
1편 – 논문 리뷰 [1][1] – DreamWaQ, 카이스트 사족 보행 로봇, 강화학습 보행 제어 실제 실험한 결과입니다. 제가 이족 보행 로봇을 연구하고 있기도 하고 다른 영역에서 적용 할 때 더 재미있는 결과를 볼 수 있을 것 같아 환경을 이렇게 구성하였습니다. 이 로봇은 4개 관절에 대한 torque 값을 action 으로 하고 Read more…
실제 실험한 결과. 다른 영역에서 적용 할 때 더 재미있는 결과를 볼 수 있을 것 같아 환경을 이렇게 구성하였습니다. 더 환경 구성하기 쉬워서. 이 로봇은 4개 관절에 대한 torque 값을 action 으로 하고 몸체의 위치 속도 각 관절에 대한 정보 그리고 다리가 땅에 닿았는지에 flag 그리고 10개의 lidar 가 observation Read more…