🖥️ Computer Use — 매일 반복하는 클릭 작업, 오늘부터 대화 한 줄로

하루를 돌아보면 의외로 많은 시간이 "화면을 보고, 찾아서, 클릭하고, 입력하는" 일에 쓰입니다. 음악 앱을 열어 지금 곡을 확인하고, 메신저 채널을 훑어 놓친 메시지를 정리하고, 브라우저에서 같은 폼을 또 채우고, 설정 화면을 뒤져 버튼 하나를 누르는 일. 하나하나는 몇 초지만, 매일 쌓이면 꽤 큰 시간이고 무엇보다 흐름이 끊깁니다.

Computer Use는 이 반복을 대신하는 Agent입니다. 여러분의 Mac에서 실행 중인 데스크톱 앱을 접근성 트리(accessibility tree)와 스크린샷으로 직접 읽고, 버튼 클릭·텍스트 입력·키 입력·스크롤·드래그 같은 동작을 직접 수행하며, 동작이 끝나면 화면을 다시 읽어 결과를 스스로 검증합니다. 여러분은 하던 일을 계속하면서 말 한마디만 건네면 됩니다.

좌표를 하드코딩하는 매크로와 달리, 이 Agent는 화면의 의미 구조를 읽습니다. 버튼이 어디에 있든 "설정 버튼"을 찾아 누르기 때문에, 창 크기가 바뀌거나 레이아웃이 조금 달라져도 같은 지시가 그대로 동작합니다.

✨ 할 수 있는 것

브라우저 창과 웹뷰도 동일한 방식으로 다룹니다. 주소창 입력, 웹 폼 작성, 페이지 내 버튼 클릭까지 데스크톱 앱과 같은 인터페이스로 처리합니다.

💬 실전 사용 예시

1. 음악 확인 — 작업 흐름을 끊지 않고

"Spotify 지금 곡 알려줘"

Spotify 창의 UI를 읽어 곡 제목과 아티스트를 알려줍니다. 앱으로 전환할 필요 없이, 코딩이나 문서 작업 중에도 흐름이 유지됩니다.

2. 메신저 훑어보기 — 회의 사이 5분에

"Slack의 #general 채널에 보이는 메시지 읽고 요약해줘"

해당 채널 창의 보이는 메시지를 읽고 핵심만 정리해 전달합니다. 스크롤이 필요하면 스크롤하며 이어 읽습니다.

3. 폼 입력 — 같은 내용을 또 타이핑하지 않도록

"브라우저에 열린 신청 폼에 이 정보로 채워줘: 이름 김민우, 이메일 …"

필드를 하나씩 찾아 값을 입력하고, 입력 후 화면을 다시 읽어 값이 제대로 들어갔는지 확인합니다. 제출 버튼은 여러분이 눌러 달라고 말하기 전까지 누르지 않습니다.

4. 설정 변경 — 메뉴를 뒤지는 대신

"이 앱 환경설정 열고 다크 모드 켜줘"

설정 화면을 열고 해당 항목을 찾아 값을 변경한 뒤, 변경된 상태를 확인해 결과를 보고합니다.

🔒 안전 설계

자동화 도구에서 가장 중요한 것은 "시키지 않은 일을 하지 않는 것"입니다. Computer Use는 다음 원칙으로 동작합니다.

• 파괴적 동작은 명시 요청 시에만 — 폼 제출, 메시지 전송, 구매, 삭제, 계정 설정 변경처럼 되돌리기 어려운 동작은 여러분이 명시적으로 요청한 경우에만 수행합니다. "폼 채워줘"는 입력까지만, 제출은 별도 지시가 있어야 합니다.
• 동작 전 읽기, 동작 후 검증 — 매 동작 전에 화면 상태를 읽어 올바른 요소인지 확인하고, 동작 후 다시 읽어 의도한 결과인지 검증합니다. 화면이 예상과 다르면 진행을 멈추고 알려드립니다.
• 요청한 범위만 읽기 — 민감한 내용이 표시된 앱에서는 요청한 범위의 정보만 읽습니다.
• 로컬에서 동작 — Orca 데스크톱 앱의 CLI를 통해 여러분의 Mac에서 직접 실행됩니다.

📦 필요한 준비물

솔직하게 말씀드립니다. 이 Agent는 아래 환경이 준비되어야 동작합니다.

1. Orca 데스크톱 앱 — 이 Agent는 Orca 앱이 제공하는 computer-use CLI를 사용합니다. Orca 앱이 설치되어 실행 중이어야 합니다.
2. macOS 접근성(Accessibility) 권한 — UI 요소를 읽고 조작하기 위해 필요합니다.
3. macOS 화면 기록(Screen Recording) 권한 — 스크린샷으로 결과를 검증하기 위해 필요합니다.

권한이 없으면 최초 실행 시 시스템 설정에서 어떤 항목을 켜야 하는지 안내해 드립니다. 권한 설정은 1~2분이면 끝납니다.

🎯 이런 분께 추천합니다

• 매일 같은 앱에서 같은 확인·입력·클릭을 반복하고 계신 분
• 작업 중 앱 전환 없이 다른 앱의 상태를 확인하고 싶은 분
• 웹 폼, 설정 화면 등 GUI 작업을 대화로 위임하고 싶은 분
• API가 없는 데스크톱 앱을 자동화하고 싶은 분

🙅 이런 경우에는 맞지 않습니다

• Windows·Linux 전용 환경이신 분 (macOS + Orca 앱 기준으로 동작합니다)
• Orca 앱 없이 단독으로 쓰고 싶으신 분
• 무인 서버에서 사람 확인 없이 대량 반복 실행할 자동화를 찾으시는 분 — 이 Agent는 대화 기반으로, 중요한 동작마다 사용자의 지시를 전제로 설계되었습니다
• 게임 매크로처럼 밀리초 단위 정밀 타이밍이 필요한 작업

❓ 자주 묻는 질문

Q1. 화면 좌표를 기억하는 매크로와 무엇이 다른가요?
좌표가 아니라 접근성 트리의 요소 단위로 동작합니다. "저장 버튼"을 의미로 찾아 클릭하므로 창 크기·위치·해상도가 달라져도 같은 지시가 동작하고, 동작 후 화면을 다시 읽어 성공 여부까지 확인합니다.

Q2. 어떤 앱에서 쓸 수 있나요?
macOS 접근성 트리를 노출하는 일반 데스크톱 앱, 브라우저 창, 웹뷰에서 동작합니다. 대부분의 macOS 앱이 해당하지만, 접근성 정보를 제공하지 않는 일부 앱(예: 자체 렌더링 게임 화면)에서는 읽을 수 있는 정보가 제한될 수 있습니다.

Q3. 실수로 메시지를 보내거나 무언가를 삭제하지 않나요?
전송·삭제·구매·제출 같은 되돌리기 어려운 동작은 여러분이 명시적으로 요청한 경우에만 수행하도록 설계되어 있습니다. 그 전 단계(입력, 화면 이동)까지만 진행하고 멈춥니다.

Q4. Orca 앱이 꼭 필요한가요?
네, 필요합니다. 화면 읽기와 UI 조작은 Orca 데스크톱 앱의 CLI를 통해 이루어집니다. Orca 없이 이 Agent만으로는 동작하지 않습니다. 구매 전에 이 점을 꼭 확인해 주세요.

Q5. 화면 기록 권한을 주면 계속 녹화되는 건가요?
아닙니다. 화면 기록 권한은 동작 검증에 필요한 시점에 스크린샷을 찍기 위한 것으로, 요청한 작업을 수행할 때만 사용됩니다.

🛒 구매 안내

• 가격: $3 (1회 다운로드)
• 구성: Computer Use Agent 스킬 패키지
• 요구 환경: macOS + Orca 데스크톱 앱 + 접근성·화면 기록 권한
• 시작 방법: 다운로드 후 Orca 앱이 실행 중인 상태에서 "Spotify 지금 곡 알려줘"처럼 자연어로 말을 걸어 보세요. 필요한 권한이 없다면 설정 방법을 먼저 안내해 드립니다.

매일 반복하던 클릭과 입력을 대화 한 줄로 바꾸는 데 커피 한 잔보다 적은 비용이면 충분합니다. 준비물(Orca 앱, macOS 권한)만 확인하셨다면, 오늘부터 바로 쓰실 수 있습니다.