[Databricks] cli

 

관련 문서 : https://docs.databricks.com/aws/en/dev-tools/cli/

What is the Databricks CLI? | Databricks on AWS

 

1. 환경 구축

wsl 환경에서의 실습을 진행한다.

sudo apt update

https://docs.databricks.com/aws/en/dev-tools/cli/install#curl-install

Install or update the Databricks CLI | Databricks on AWS

a. 해당 문서대로 오류 발생 (usr/local/bin)

user@DESKTOP-BI9EQ98:~$ curl -fsSL https://raw.githubusercontent.com/databricks/setup-cli/main/install.sh | sh
Target directory /usr/local/bin is not writable.
Please run this script through 'sudo' to allow writing to /usr/local/bin.

If you're running this script from a terminal, you can do so using
  curl -fsSL https://raw.githubusercontent.com/databricks/setup-cli/v0.267.0/install.sh | sudo sh

sh 명령어는 여전히 일반 사용자 권한으로 실행되어 발생한 오류로, sh 앞에 sudo를 붙여주라고 친절하게 커맨드를 알려준다.

 

b. sh: 86: unzip: not found

sudo apt install unzip

unzip 이 설치되어 있지 않으면 해당 오류가 발생한다.

 

c. 설치 완료

curl -fsSL https://raw.githubusercontent.com/databricks/setup-cli/main/install.sh | sudo sh

databricks -v

 

2. 가상환경에서의 cli 설치

위의 방법으로 설치가 완료되었으나, 가상환경을 활성화하여 databricks cli를 설치해본다.

• wsl에 설치된 파이썬 버전에 맞는 가상환경 모듈 설치

sudo apt install python3.12-venv

• 가상환경 만들기

python3 -m venv venv_databricks

• 가상환경 활성화

source venv_databricks/bin/activate

• databricks-cli 설치

pip install databricks-cli

• 가상환경 비활성화

deactivate

 

위의 방법 1번으로 설치가 완료되었다면, 해당 경고가 발생함.

이 경고는 심각한 오류가 아니며, 대부분의 경우 무시해도 된다.

이미 자동으로 최신 버전을 실행해주기 때문이다.

하지만 만약 이 경고가 거슬리거나, 특정 이유로 이전 버전을 실행하고 싶다면 환경 변수 설정을 해야한다.

 

3. 워크스페이스 연결

• databricks 워크스페이스에 대한 연결을 구성

databricks configure --token

워크스페이스로 이동하여 워크스페이스 url을 복사 하여 cmd 창에 붙여넣는다.

access token이 필요한 것을 볼 수 있다.

 

a. access token 생성

• 상단 나의 이름을 눌러 Settings로 진입

• Developer > Access tokens > Mange

• Generate new token

• Comment 작성 후 Generate

• 복사하여 메모장이나 내가 알 수 있는 공간에 옮겨 놓는다. > Done

b. 구성 설정 완료

 

• databrickscfg 파일 생성된 것을 확인할 수 있다.

user@DESKTOP-BI9EQ98:~$ cat .databrickscfg
[DEFAULT]
host  = https://{asdfasdfasdf}.cloud.databricks.com
token = asdfasdfasdf

위와 같이 설정 파일을 볼 수 있다.

 

4. databricks command

a. help command

databricks -h

커맨드에 대한 간략한 설명을 볼 수 있다.

 

b. cluster 리스트 확인

databricks clusters list

다목적 클러스터와 잡 클러스터 모두 출력됨을 알 수 있다

 

c. cluster 끄기 

databricks clusters delete <list로 확인한 하이픈(-)으로 이루어진 id>

json으로 이루어진 구성들이 뜨면서, 실제 databricks 홈페이지 내 클러스터가 종료된것을 확인할 수 있었다.