AI가 내 컴퓨터 앱 직접 다루게 하기 — 컴퓨터 동시 조작툴 사용 가이드

agent-desktop은 AI 에이전트가 브라우저 밖 내 컴퓨터 앱(메모, 미리알림, 캘린더, Finder 등)을 직접 열고 누르고 입력하게 해 주는 무료 도구입니다. 버셀(Vercel) 연구팀이 공개했고, 클로드 데스크탑 앱의 Code 탭처럼 컴퓨터에서 명령을 실행하는 코딩 AI에 붙여서 씁니다.

어떻게 움직이나요

AI가 화면을 사진으로 찍어 짐작하지 않습니다. 운영체제가 앱마다 갖고 있는 버튼·입력칸 목록을 읽고, 누를 곳을 그 목록에서 골라 동작합니다.

기본 모드에서는 내 마우스 포인터를 움직이지 않고, 지금 보고 있는 창도 앞으로 끌어가지 않습니다. 그래서 내가 다른 일을 하는 동안 뒤에서 앱 일을 처리합니다.

준비물

• 맥(macOS 13 이상). 윈도우 10, 리눅스도 지원합니다.
• 클로드 데스크탑 앱(Code 탭 사용)
• Node.js: nodejs.org에서 LTS 버전을 받아 설치합니다. 설치 명령어(npm)가 여기에 들어 있습니다.

STEP 1. Code 탭에 주소 붙여 넣고 설치 부탁하기

클로드 데스크탑 앱 → 위쪽 Code 탭 → 입력창에 아래 문장을 그대로 붙여 넣습니다.

https://github.com/vercel-labs/agent-desktop
이 도구를 내 컴퓨터에 설치하고 스킬도 추가해 줘.
설치는 npm install -g agent-desktop
스킬은 npx skills add https://github.com/vercel-labs/agent-desktop --skill agent-desktop
끝나면 agent-desktop version으로 설치됐는지 확인해서 알려 줘.

클로드가 명령어 실행 허락을 물으면 허용을 누릅니다. 끝나면 버전 번호가 보입니다.

STEP 2. 맥 손쉬운 사용 권한 켜기

AI가 앱 버튼을 읽으려면 권한이 필요합니다.

시스템 설정 → 개인정보 보호 및 보안 → 손쉬운 사용 → 클로드 앱(또는 명령을 실행하는 터미널 앱)을 켭니다. 권한을 켠 뒤에는 그 앱을 껐다 켭니다.

어디를 켜야 할지 모르겠으면 Code 탭에 "agent-desktop 손쉬운 사용 권한 켜는 법 알려 줘"라고 보내면 안내가 나옵니다.

STEP 3. 말로 시키기

요청 앞에 "agent-desktop으로"를 붙이면 AI가 이 도구를 꺼내 씁니다. 반복해서 하던 일부터 맡겨 보세요.

agent-desktop으로 메모 앱에 '11월 회의록' 메모를 만들고, 방금 정리한 회의 내용을 적어 줘.

agent-desktop으로 미리알림에 이번 주 할 일 다섯 개를 넣고 마감일도 붙여 줘.

agent-desktop으로 캘린더 앱에 다음 주 화요일 오후 3시 '거래처 미팅' 일정을 넣어 줘.

agent-desktop으로 Finder 다운로드 폴더에서 PDF만 골라 '영수증' 폴더로 옮겨 줘.

agent-desktop으로 메모 앱의 '아이디어' 메모를 열어 내용을 읽고, 블로그 글 제목 다섯 개로 정리해 줘.

꼭 알아둘 것

• 아직 초기 버전입니다. 결제·송금·파일 삭제처럼 되돌리기 어려운 일은 맡기지 말고, 결과는 직접 확인하세요.
• AI가 읽은 화면 내용에는 개인 정보가 섞일 수 있습니다. 실행 기록이나 캡처를 다른 곳에 올리지 마세요.

출처: github.com/vercel-labs/agent-desktop (Apache-2.0 무료)