Introducing DEEPLABCUT

강력한 markless pose estimation을 지원하는 lib. DEEPLABCUT을 소개한다.

 

ANIMAL POSE ESTIMATION TASK를 수행하던 중, landmark 수정이 필요했고 손쉽게 이용한 도구로써 활용했다. 대부분의 해당 TASK은 인간기준으로 많이 발전했지만, 동물은 미비하다는 점. 그리고 있어도 오픈소스로 공개되지 않아 사용할 수 없다는 점에서 DEEPLABCUT은 매우 매력적이다. CODE뿐 아니라 GUI를 제공하여 이용 허들을 낮췄다는 점이 인상깊어 소개하고자 한다. 

DeepLabCut이란?

DeepLabCut은 동물의 마커 없는 자세 추정(markerless pose estimation)을 위한 소프트웨어 패키지다.

동물의 움직임을 추적하며 분석할 수 있게 도와주며 기능은 DEEPLABCUT YOUTUBE 채널 영상에서 접할 수 있다.

 

 

https://www.youtube.com/@deeplabcut7702

DeepLabCut

 

DeepLabCut(MARKLESS)이 필요한 이유

MARKER, SENSOR를 일반인이 구비하고 이용하기에는 무리가 있다. 카메라를 활용해서 MARKER 없이 자세를 추정할 수 있는 것은 해당 기술을 활용한 서비스에 일반인이 접근성을 향상시킨다는 이점이 있다.

 

* 다만 정확도가 비교적 낮을 수 있고, 영상에 표현되는 자세로 인해 가려진 부위는 잘 추출되지 않습니다.

 

주요 기능 및 특징

- 프레임 기반 특징점 추적: 영상의 각 프레임에서 지정된 특징점(keypoints)의 움직임을 정밀하게 추적

- 적은 학습 데이터로 효율적 학습: 최소 50~200 프레임의 적은 학습 데이터로도 효과적인 모델을 훈련

- 다중 개체 추적: 단일 동물뿐만 아니라 여러 동물의 동시 추적도 지원

- 사용자 친화적 인터페이스: GUI를 제공하여 사용자가 쉽게 프로젝트를 설정하고 관리

- 유연한 데이터 처리: 다양한 형식의 데이터를 처리하고 분석할 수 있는 기능을 제공

 

사용 용도

과학 연구: 동물 행동 연구, 신경과학, 생태학 등 다양한 분야의 과학 연구에 활용

운동 분석: 동물의 움직임을 정밀하게 분석하여 운동 패턴을 연구

행동 실험: 조작 조건화 실험 등 다양한 행동 실험에서 동물의 반응을 추적하고 분석하는 데 사용

다양한 종에 적용 가능: 쥐, 개, 고양이, 원숭이, 인간 등 다양한 종의 움직임 추적에 활용

 

Few Shot learning based

또한 few shot learning을 기반으로, 적은 데이터로도 비교적 높은 성능을 보인다. 이 때, 유의할 점은 few shot learning의 특징을 잘 파악하는 것이다. "few한 데이터도 잘 분류할 수 있다."이며, 데이터는 많고 다양할 수록 좋다는 것.

학습을 했음에도 성능이 아쉽다면 데이터의 양을 고려해봐도 좋습니다. 

 

https://minsunstudio.tistory.com/24

[CV] Few-shot learning 이란?

 

Continue ...

다음은 사용법과 함께, 제가 어떻게 활용했는지 보여드리겠습니다.

 

PAPER :

https://www.nature.com/articles/s41593-018-0209-y

 

INTRO : 

https://www.mackenziemathislab.org/deeplabcut

DeepLabCut — The Mathis Lab of Adaptive Intelligence