컴퓨터 사용 에이전트는 현재 화면 이미지를 모델에 전달하고 모델이 제안한 클릭·입력 동작을 실행기에 적용합니다. 실행 뒤 새 화면을 다시 전달해 결과를 확인하는 반복 루프입니다.
데모는 가상의 설정 화면을 관찰하고 토글을 누른 뒤 바뀐 화면을 확인합니다. 화면 좌표 오류와 예상 밖 상태가 생길 수 있으므로 실행 환경을 격리하고 민감한 동작은 별도 승인해야 합니다.
언제 쓰나
적절한 API가 없는 화면 작업을 자동화하고 결과를 다시 화면에서 확인해야 할 때 사용합니다.