[Paper Review] AnomalyDINO: Boosting Patch-based Few-shot Anomaly Detection with DINOv2

네. 안녕하세요. 서울대학교

산업공학과 DSB의 연구실에서 박사

과정을 밟고 있는 이문입니다. 제가

오늘 준비한 논문 ECCV

2024에서 발표된 논문으로 어멀리

디노라는 제목의 어 이름의 방법론을

제한한 논문입니다. 해석 논문은이

디노 V2 비 버전의이 비전 백본을

활용한 퓨샷 이상 탐지 방법론을

제한을 하고 있고 어 기존의

방법론들이 복잡한 VLM 모델을

사용하거나 혹은 알고리즘을 복잡한

프로세스를 하는 방식을 통해서 높은

성능을 달성한 것과 달리 해당 논문은

디노 V2만을 이용해서 상당히 간단한

방식으로 높은 성능을 달성한 어

대단한 방법론이라고 할 수

있겠습니다. 하나씩 말씀드리도록

하겠습니다.

발표는 크게 다섯 파트로 구성이

됩니다. 먼저 논문의 전체적인 계율을

살펴보고 이상탐지 분야의 배경 지식을

정리하고자 합니다. 그다음으로

언어멀리 디노의 핵심 방법론을 상세히

분석하고 실험 결과를 함께 살펴본 후

마지막으로 결론과 함께 어 한계점을

논의하도록 하겠습니다.이

이 도문의 핵심 문장을 한 문 핵심을

한 문장으로 요약하면 디노 V2의

강력한 패치 수준 표 특징 표현을

활용하여 소수의 정상 이미지만으로

높은 정확도에 이상 탐지를

수행한다라고 할 수 있겠습니다.

기존의 접근법들이 클립과 같은

멀티모델 모델을 의존했다라고 하면

어노멀리 디노는 비전 모델만으로 일을

능가하고 있습니다.

특히 트레이닝 프리라는 방식이라

별도의 학습 과정 없이 바로

적용하다는 것이 굉장히 실용적이라고

할 수 있고 MV텍이와 비자 벤치마크

모두에서 새로운 소타를 기록하고

있습니다.

논문의 주요 기어를 정리하면 다음과

같습니다. 먼저 첫 번째로 어느멀리

디노 프레임워크 자체입니다. 기

V2의 어 고품질 패치기 특징 기반을

퓨샷 AD 프로파 프로 어

파이프라인으로

PCA 기반 제로시 마스킹으로 배경

노이즈를 제거하고 어 회전

어그멘테이션을 통해서 적은 참조

이미지에 다 어를 통해서 높은 성능을

보여주고 있습니다. 그리고 둘째로

디노 V2를 이상 탐재 적용할 때

다양한 설계 선택들 예를 들어 어

백본의 크기 입력 해상도 어그리게이션

통계량 Q 등이 성능에 미치는 영향을

체계적으로 분석을 하고 있습니다.

그리고 어 앞에서 말씀드렸지만 MVT

AD와 비자에서 원샷과 어

16샷까지의 퓨샷 전에서 새로운

소타를 달성했다라는 것이 주유

컨트리뷰션이라고 할 수 있겠습니다.

배경 지식으로 이제 하나씩 어 짚어

넘어가 보도록 하겠습니다. 먼저 첫

번째로이 산업 검사, 그러니까

인더스트리얼 인스펙션에서의 어린

디텍션에 대해서 살펴보도록

하겠습니다. 이상탐재의 기본 전제는

정상 데이터의 분포를 학습한 뒤이

분포에서 벗어나는 샘플을 결함으로

판별한다는 것입니다. 이제 산업

현장에서는 주로 이제 센서월리 즉

시각적으로 관찰 가능한 결함을 다루기

때문에 스크래치, 균열, 변색 등

다양한 유형이 있습니다. 하지만 이런

것들을 미리 사전에 선별할 수 없기

때문에 수집할 수 없기 때문에 정상

데이터만을 이용해서 먼저 학습을 하고

그것을 기반으로 이상 탐지를 수행하게

됩니다. 그래서 이상 탐지는 크게 두

가지 수준으로 유형으로 나눌 수

있다라고 볼 수 있겠습니다. 이미지

리벨 이미지 레벨 디텍션과 그리고

픽셀 레벨 세그먼테이션 혹은

로컬라이션 말 그대로 이미지 레벨은

이미지 자체에 대해서 정상이냐

비정상이냐라고 탐지를 할 수 있고

반대로

로컬라이제이션 같은 경우에는

어느 픽셀 어느 영역이 이제

이상이 있냐라고 탐지를 하는 것이 어

테스크라고 어 특징이라고 볼 수

있겠습니다. 이제 풀샷 환경 같은

경우에서는 MVT AD가 굉장히 높은

성능으로 상당히 어 높 이제

세츄레이션 되었다라고 볼 수

있겠습니다. 하지만 퓨샤스에서는 아직

여전히 어 성능 향상 여지가 남아

있다라는 것이 이제 도전적인 과제라고

볼 수 있겠습니다.

그렇다면 왜 퓨샷 이상 탐지가

필요할까라고 했을 때 어찌 보면

당연합니다. 어, 모든 상황에서,

모든 환경에서 어, 굉장히 많은

데이터의 데이터를 수집하는 것이 어,

보통이라고 볼 수는 없습니다. 그래서

데이터를 수집하

풀샷뿐만이 아니라 필샷에서도 가능한

방법문이 필요한 것입니다. 또한

새로운 제품 라인이 도입되거나 기존

데이터를 재활용할 수 없고 동일

제품이라도 변화가 생기는 등 이런

시프트가 발생을 했을 때 데이터를

또다시 수집을 해야 하기 때문에 이런

경우 비용이 상당하게 되기 때문에

이러한 퓨샷 AD가 실질적으로 매우

중요하다라고 볼 수 있겠습니다.

그래서 기존의 방법론들 같은 경우에는

이제 오른쪽 테이블을 보시면 이제

모델을 비전 랭기지 모델들을 활용하는

것이 최근의 트렌드였다라고 볼 수

있겠습니다.

그래서 필샷 AD의 관래는 크게 두

가지로 날릴 수 있다라고 볼 수

있겠습니다. 먼저 왼쪽 같은 경우는

금방 제가 말씀드린

비전과 랭귀지 모델을가 그니까 비전

랭귀지 모델을 활용한 클립 기반의

방법론이다라고 볼 수 있겠습니다.

그래서 윈클립이나 에이프릴 겐멀리

클립 등이 이제 대표적이다라고 볼 수

있겠는데 장점으로는 제로샷이

가능하다라고 볼 수 있겠습니다.

하지만 이런 방문들은이 텍스트

인베딩을 활용하기 때문에 이러한

텍스트 프들을 프롬프트들을 설계

의존하고 도메인트 특인 튜닝이 필요할

수 있습니다. 그래서 오른쪽에 있는

이제 비전 원리 같은 경우에는 디노

V2와 같은 순수한 비전 모델만을

사용을 하고 있습니다. 패치코어가

대표적이라고 볼 수 있는데 언어멀리

디노 또한 여기에 포함되고 있습니다.

그래서 텍스트 없이 이미지의

특징만으로 동작하기 때문에 프롬프트

엔지니어이 불필요하고 그리고 디노

V2의 범형적인 특징이 산업

이미지에도 잘 전의된다라는 특징이

있습니다. 그래서 본 논문에서

제한하는이 어노멀리 디노에서는 이러한

특징 특점을 살려 가지고 비전

모델만을 이용해서 퓨에서 높은 성능을

보여주고 있는 것입니다.

그래서 어노멀리 디노의 발전

과정이라고 볼 수 있는이 세 단계를

한번 정리를 해 봤습니다. 먼저 패치

코어는이 이미지네플레인 CNN의 패치

특징을 메모리 뱅크에 저장하고 니스트

네이버 검색을 통해서 이상을 탐지하는

방법입니다. 이제 기존의 대세라고 볼

수 있겠습니다. 하지만이 방법론 같은

경우에는 풀샷에서는 굉장히 강력했지만

퓨샷에서는 한계가 있었습니다. 그래서

이것이

디노 V2를 통해서 필샷에서도 굉장히

강건한 성능을 보여주는 어느 멀리

디노로 이제 발전하게 되는 것입니다.

그래서 디노 V2 같은 경우에는이

기존에 있는 CNN 대비 더 범형쪽에

풍부한 패치 수준의 특징을

제공한다라는 것이 특장점이 있습니다.

이것을 활용해서 어느벌리 디노는 어

제로샵 마스킹과 회전 어그먼테이션을

통해서 최종적으로 퓨샤 시나리오에

특화된 완성된 파이프라인을

구축했다라고 보시면 되겠습니다.

이제 본격적으로 어노멀리 디노의 전체

파이프라인을 살펴보도록 하겠습니다.

전반적으로 크게 세 단계로 구성이

되어 있습니다. 먼저 첫 번째로

전처리 단기로 제로션 마스킹을 통해서

배경을 제거하고 회전 어그먼테이션을

통해서 참조 이미지의 다양성을

확보하게 됩니다. 이때이 참조

이미지가 학습 데이터의 그 학습지라고

보시면 되겠습니다. 그다음으로 이제

디노 V2 인코더를 통해서 이미지를

패치단위 특징 벡터로 변원하고 정상

이미지의 패치 특징들을 메모리 뱅크에

저장하게 됩니다. 테스트 시에는이

테스트 이미지와 각 테스트 이미지의

각 패치와 메모리 뱅크 내에 저장되어

있는 가장 가까운 정상 패치간의

거리를 계산해서 최종적인 인상 점수를

산출을 하게 됩니다.이 구조에서

핵심은이 전 처리와 어그리게이션

통계량 설계에 있으며 이들에 대해서는

다음에 다음 페이지에서 상세히

설명하도록 하겠습니다.

첫 번째로 전처리 기법인 제로

마스킹을 설명하도록 하겠습니다. 산업

이미지에서 배경은 이상 탐지에

불필요한 노이즈를 유발을 합니다.

특히 이제 퓨셔 환경 같은 경우 이제

참조 이미지가 굉장히 적은 상태에서는

이러한 배경 패턴이 메모리 뱅크에

충분히 커버되지 않기 때문에

first스포스티브를 유발할 수 있게

있습니다. 그래서 노멀리 디노 같은

경우에는이 디노 V2의 특징 그러니까

최종적으로 추출된 패치 인베딩들을

PCA 제1 주속물 그니까 PCA를

통해서 차원 축소를 해서이를 활용한

전경과 배경을 분리하는 방식을 채택을

하고 있습니다. 그래서이는 디노

계열의 모델이 모델의 어텐션이 전경

객체에 집중하는 그러니까 오브젝트

객체 오브젝트에 대해서 집중하는

특성을 이용한 것으로 별도의 학습이나

라벨 없이 적용 가능하다는 것이

특징이라고 볼 수 있겠습니다.

그러니까 패치 미딩들을 PCA를

통해서

차원 축소를 하게 되고 그 차원

축소된 값들에 대해서 스트레스 홀딩을

하게 되면 오브젝트와 백그라운드를

분리할 수 있다라고 하는 것입니다.이

이 방법을 통해서 배경 패치를 제거

제거하게 되면 메모리 뱅크의 품질은

향상이 되고 출론시에서도 배경 영역에

대한 거짓 양성스포티브를

줄일 수 있게 되는 것입니다.

두 번째 전처리 기법으로 로테이션

어그먼테ation이션입니다.이

퓨셔 환경에서는 참조 이미지가 한

장에서 16장에 불과하기 때문에 정상

패턴의 다양성이 부족하다라고 볼 수

있겠습니다.이를 이를 보완하기 위해

참조 이미지의 회전 변환을 적용해서

메모리의 메모리 뱅크의 크기를

인위적으로 늘린다라고 보시면

되겠습니다. 그러니까 똑같은 하나

이미지라고 하더라도 다양한 각도로

회전을 시켜서 어 데이터를 증강시키고

그 증강시킨 데이터들에 대해서 패치

미딩들을 추출하고 그걸 메모리 뱅크에

저장한다라고 보시면 되겠습니다.

그래서 여기서 우리이 중간에 있는

이제 피규어를 보시면이 스프류가

굉장히 큰 성능 편차를 보여주고

있음을 확인할 수 있는데이는

이런 회전 불변성 혹은 회전성에

따라서이

모양이 달라 보이거나 혹은 다르게

피처가 축출되는 이러한 스크루 같은

클래스의 데이터에 대해서는 굉장히

효과적이었다라고 볼 수 있겠습니다.

그래서 다만이 어그먼테이션 같은

경우에는이 필샷 풀샷 환경과 달리

메모리 뱅크의 크기를 늘리는 것이

유리한 필샷 환경에서 특히

효과적이었다라고 이야기를 하고

있습니다. 잠시 잠깐 제 개인적인 어

의견을 말씀을 드리면 조금 [콧방귀]

지적인 어 사실 스크류의 성능을 끌어

올리기 위한 지업적인 테크닉이지

않았나라는 생각이 듭니다. 왜냐하면

저도 개인적인 실험을 했을 때

스큐리가 유독, 성능이 안 나오는

경향이 보였는데 그걸 좀 타겟해서

성능을 끌어 올린게 아닌가라는 생각이

들었습니다.

다시 이제 돌아와서 말씀을 드리면

그다음부턴 이제 패치 레벨에 패치

레벨의 특징을 추출하고 그 특징에

대해서 어떻게 어 디스턴스를

계산하는지에 대한 패치 레벨 딥니스트

네이버 방법을 설명을 하고 있습니다.

그래서 디노 V2 인코더 F를 통해서

이미지를 패치 단위 특징 벡터로

변환을 하게 됩니다. 그래서 각

파이는 해당 위치의 패치 인베딩이라고

볼 수 있겠는데

그래서 정상 참조 이미지들의 모든

패치 특징을 메모리 뱅크에 저장을

하게 됩니다. 그리고 출론시에는

테스트 이미지의 각 패치에 대해서

메모리 뱅크 내에 있는 가장 가까운

정상 패치를 찾고 그 정상 패치와의

거리를 계산하고 그 거리를 그 해당

위치 해당 패치 베딩의 이상 점수로

어물리스코로 사용하게 되는 것입니다.

사실이 방식 같은 경우에는 패치코어와

똑같은 방식을 사용하고 있기 때문에

이런 방식에 익숙한 분들은 어 크게

어렵지 않게 넘어갈 수 있을 거라

생각이 됩니다. 그래서 다만 여기서

특징이라고 볼 수 있는 부분은이 상위

1%의 패치 거리의 평균을

사용한다라는 것입니다. 사실이

패치코어나 혹은 그러한 어

패치코어로부터 파생된 다양한

방법론에서는이

최종적인 어노멀리 스코어를 어떤

것으로 산출하냐에 따라서 굉장히

다양한 방법들이 존재를 했습니다. 뭐

패치코어 같은 경우에는 맥스스코를

사용을 하긴 했지만이 방법론에서는

그렇게 하는 경우 퍼스트 네거티브나

혹은 퍼스트 포지티브 어쨌든이

오탐지의 위험성이 있기 때문에 그것을

선택하는 것은 위험하고 반대로 전체

에버리지를 사용하는 경우에 대해서는

정상 패치에 대한 어 희석 문제가

존재를 하기 때문에 해당 방법론에서는

상위 1%의 패치의 평균을

사용한다라고 이야기를 하고 습니다.

어이어서이 페이지에서 그 지금 금방

말씀드린 부분에 대해서 말씀드리는

건데 어 중간에 있는 테이블이 조금

그 사실 그거를 명확히 보여주고

있습니다. 노멀리 디노는 상위 1%의

평균에 대해서 계산을 하고 그걸

최종적인 어멀리스코어를 사용을 하고

있는 반면 패치코어는 맥스만을 사용을

하고 있습니다. 그래서이를 통해서

어노멀리 디노는 카테고리에 대한 사전

지식이 없이 다양한 클래스에 대해서

굉장히 로버스트한 성능을 보여주고

있음을 이제 주장을 하고 있는

바입니다.

그다음으로는 이제 픽셀 레벨 어느

세그먼테이션 어 과정에 대해서

말씀드리도록 하겠습니다.

예를 들어 14의 패치 인베딩이

있다라고 하면이 각 패치에 대해서

패치 거리를 모두 계산을 하게

됩니다. 그러면 이것이 곧 이제 각

패치에 대해서 스칼라 형태의

스코어값들이 만들어지게 되고 그것을

14바 14 일종에 매트릭스 형태로

해 가지고 스코어 맵을 만들게

됩니다. 그렇지만 우리가 이제 비교를

해야 되는 대상 혹은 이제

탐지를 해야 되는 대상이었던 이미지

같은 경우에는 더 큰 해상도의

이미지이기 때문에 그 원본 해상도에로

업셈플링을 해 주게 됩니다. 그리고

최종적으로 이제 처음에 산출했던이

스칼라들은 패치 메딩대로 굉장히

디스크리트하기 때문에 조금 더

스무싱하게 조금 더 컨티뉴어스하게

만들기 위해서 어 가오시안 스무을

통해서 최종적인 어노멀리 스코어 맵을

만들게 되는 것입니다. 그래서 이미지

레벨 디텍션 같은 경우에는 그 이미지

전체에 대해서 최종적인 하나의

언노멀리 스콜에 산출하게 되는 것이고

픽셀 레벨 세그먼테이션 같은 경우에는

그 1지에서 어디가 이상이냐라고

특정 영역에 대해서 어멀리 스코어를

산출하고 판별하는 데스크라고 보시면

되겠습니다.

네. 이번 페이지에서 보여 드릴

부분은 카테고리별 전처리 의사

결정입니다. 그러니까 앞에서 보여

드렸던 이런 마스킹 회전 증강을 어

어그노스틱하게 모두가 다 동일하게

적용할 수 있는 것이 어 디폴트이지만

해당 논문에서 하지만 조금 더 개선

방향으로서 어 카테고리별 전 처리를

다르게 했을 때 어떤 결과를 보여주고

그를 위한 의사 결정을 어떻게

하는지에 대해서 보여주는 부분입니다.

그래서 어멀리 디노 같은 경우에는

카테고리의 특성에 따라서 마스킹과

회전 어그먼테이션의 적용을 결정할 수

있습니다.이를 나중에 실험에서는

인폼드 모드라고 명령을 하고

있습니다. 객체 카테고리 같은

경우에는 이제 배경이 있으므로

마스킹이 효과적일 것이며 텍스처는

전체가 전경이므로 그러니까 전체가

백그라운드이면서 오브젝트임이므로

마스킹이 불필요하다라고 보고

있습니다. 어, 회전 어그먼테이션

또한 회전 불변인, 그러니까 회전인

어, 회전에 따라서 어, 특성이

나타나는 부분들에 대해서

카테고리에서만 적용을 하게 됩니다.

다만 실제로는 사전 지식이 없이

적용하는 어그노스틱 모드, 그러니깐

마스킹과 회정 증강을 클래스에 따라서

다르게 하지 않고 일관되게 하는

부분을 이제 실험에서는 어그스틱

모드로서 명령을 하고 이것을 기본으로

사용을 하고 있습니다.이 이 경우에

또한 높은 성능을 유지하고 인포드

모드에서는 카테고리 정보가 있을 때

추가적인 성능 향상을 가져온다라고

이야기를 하고 있습니다.

어, 다음 테이블 같은 경우에는 이제

기존의 방법론들과 그리고 자신들의

방법론인 어멀리 디노를 비교한

테이블이라고 보시면 되겠습니다. 각

방법의 백본, 모달리티, 트레이닝

필요 여부, 필샷 지원 여부 등을

정리를 하고 있습니다. 주목할 점은

이제 클립 기반들인 민클립 플러스

그리고 에이프 겐

같은 경우는 모두 멀티모델 어 모델을

사용을 하고 있으며 일부는 추가

학습을 필요로 하고 있습니다. 반면

어멀리 디노 같은 경우에는 디노

V2라는 비교적 작은 모델을

사용하면서도

트레이닝 프리로 동작을 하면서 가장

빠른 출론 속도를 보여주고

있습니다.이는 이는 얼로멀리 디노가

다른 방법론 대비 어 실용적인

관점에서도 매우 유리하다라는 것을

보여주고 있습니다.

그래서이 다음부터는 이제 실험에

대해서 말씀드리도록 하겠습니다.

평가에는 대표적인 이미지

언월리텍션에서의 데이터셋 MV텍 비자

두 가지 벤치마크를 사용을 하고

있습니다. MVT AD는 이제 15개

카테고리를 포함하고 있고 비자는

12개 카테고리를 포함을 하고

있습니다.

그래서 모델 및 설정으로는 어노멀리

디노의 디폴트 설정으로는 디노 V2와

디노 V2로 학습된 VIS 모델을

사용하게 되고요. 입력 해상도

그러니까 이미지 사이즈는 448과

672를 사용을 하고 있습니다.

앞에서 전처리 의사 결정에서 말씀드린

그 전처리 모드에 대해서는 어그스틱

모드 그러니까 특정 클래스에 대한

정보에 따라서이 전처리를 선택하는

것이 아니라 모두 다 일관되게

적용하는 어그로스틱 모드를 사용을

하고 있습니다. 그래서 비교

방법론으로는 스페이드, 패치 코어,

윙클립 플러스 ATP, 에이프겐트,

그래프 코어, 패딩 similar,

어느 클립 등 어 대표적인 이제

퓨샷, 제로샷 혹은 어 일반적인

이미지 이상 탐지 방법론들을 선택을

하고 있고 이때 스페이드, 패치코어

같은 경우에는 어 기존에 와이드레스넷

위주로 개발된 방법론이기 때문에 조금

더 페어한 비교를 위해서 디노 V2를

사용을 하고 있습니다. 평가 지표로는

대표적인 매트릭들이 사용이

되었습니다. 디텍션. 그러니까 이미지

레벨로 탐지를 했을 때는 Auroc,

F1AX, AP를 사용을 하고

있고요. 여기서 F1맥스 같은

경우에는 어 기본적으로 이상탐지 같은

경우에는 스트레스 홀딩 값이 주어지지

않습니다. 1년에 어느멀리 스코어

값들이 나타나게 되는데 그중에서

특정값을 스트레스 홀드로 했을 때

가장 나타나는 F1 값에 대해서 가장

큰 값을 대표로 사용을 하고 있는

것입니다. 세그먼테이션도

마찬가지입니다.

그래서 제일 첫 번째로 메인

테이블로서 MVT AD에 대한 실험

결과를 보여주고 있습니다. 모든 K에

대해서 소를 달성했다라고 주장을 하고

있습니다. 원샷 디텍션 AURc가

96.6%로 6%로 나오고 있고 다른

멀티모델 방법 그러니까 클립 기반의

방법론 대비 모든 설정에서

우수하다라고 이야기를 하고 있습니다.

어 세그먼테이션에서 또한 어 굉장히

높은 성능을 보여주고 있다라고

이야기를 하고 있습니다.

비자에서도 마찬가지로 비슷한 경향을

보여주고 있습니다. 다만 에이플 겐이

K 그니까 원샷 투샷에서 가장 강한

성능을 보여주고 있으 있지만 어느

디노 역시 거의 뒤 바로 뒤를 입고

있다라고 결과를 통해서 보여주고

있습니다. 그래서 또한 트레이닝 프리

방법 중에선 모두 최고 성능을

보여주고 있고 세그먼테이션에서는 모든

지표에서 가장 강력한 로컬라이데이션

달 성능을 보여주고 있습니다.

그래서 성능과 다음으로는 성능과 추른

시간을 관계를 보여주는 스케터

플러스에 대해서 보도록 하겠습니다.

앞에서는 그냥 단순하게 해당 모델들의

성능을 봤다라고 하면 해당 부분에서는

성능 대비 출론 시간이 어떤지

그러니까 얼마나 실용적인지에 대해서

보여 주는 부분입니다. X축 같은

경우에는 이미지랑 출론 시간, y축은

A디텍션 AR입니다.

그래서 어노멀리 디노의 위치를

본다라고 하면 어노멀리 디노 같은

경우에는 가장 좌측 상단에

위치한 것으로 확인할 수 있습니다.

어 주목할 점은 이제 언월디노가 이제

VIS 모델에 사용을 하고 있기

때문에 어 16ms에 굉장히 빠른

출론 속도를 보여주면서 또한 어 클립

기반 봉법들 대비 성능 우수하다라고

볼 수 있겠습니다. 더 큰 모델을

사용하는 이제 VAT 라지나 Vit

같은 모델을 사용하게 된다라고 하면

어 성능이 추가 향상이 되긴 하겠지만

출연 시간도 같이 증가를 할

것입니다.

그래서 실시간 산업 검사에서는

VATS 기반의 어머니 디노 어 좀

더 정밀한 검사가 필요할 때는 VI

라지를 사용한다라고 하면 좀 더

적합할 것이라고 이야기를 하고

있습니다.

다음으로는 이제 전처리 효과에 따른

어블레이션 스터디를 보여 주고

있습니다. 그래서 베이스라인 같은

경우에는 전 처리 없이 디노 V2만

사용한 경우라고 보시면 되겠고 이것이

해당 이제 파플라스에서 파란색에

해당하는 노프리프로세싱 어 부분이라고

보시면 되겠습니다. 여기에 마스킹과

회전 어그먼테이션을 순차적으로 어

추가한 것들을 어 결과를 비교합니다.

여기서 마스킹 원리, 로테이션

원리이고 인폼드 같은 경우에는

클래스별로 나눠서 선택한 경우

어그노스틱은 모두 일관되게 사용한

경우라고 보시면 되겠습니다. 사실

인폼드 같은 경우에는

이제 클래스벨 편차보다는 전반적인

추세를 보시면 되겠고요. 그래서 각

클래스에 대해서는 어 로테이션 홀리와

마스킹 홀리 그리고 어그노스틱을 어

보고 비교를 해 주시면 되겠습니다.

그래서 마스킹만 추가한 경우 객체

카테고리에서 굉장히 큰 성능이 성능

향상이 관찰된다라고 하 보여주고

있고이는 배경 노이즈가 제거되면서

first스포스티브가 감소하기

때문이라고 이야기를 하고 있습니다.

그리고 회전 어그먼테이션을 추가하게

되면 회전 불변 카테고리에서 추가

향상이 있습니다. 특히 이제 눈여겨

볼 부분이이 스크류인데 스크류에다가

이제 로테이션 프로세스를 더 했을 때

굉장히 큰 성능 편차를 나타내고 있는

것을 볼 수 있습니다.이를 통해서

이러한 나사나 금속노트처럼 회전

대칭인 물체에서 효과가 극대화야

된다라고 보여주고 있습니다. 그래서

두 기법을 결합한 최종적인 어그노스틱

방법론인 어그어몰 어그노스틱 세팅을

사용한 어멀리 디노가 가장 높은

성능을 보여주고 있고 또 전처리가

상보적 역할을 한다는 것을 확인할 수

있습니다.

그래서 MVT AD에 대한 정상적인

결과를 확인해 보도록 하겠습니다.

그래서 왼쪽에서 원본 이미지 그라운드

트루스 그다음에 어노멀리 디노의

어노멀리 맵을 확인을 했을 때 어

원샷 그리고 샷에서 성공적으로로

로컬라이제이션을 했음을 확인할 수

있었습니다.

다음으로 이제 제로샷과 풀샷에 대한

어 성능 비교입니다. 제로샷에서는

참조 이미지 테스트만을 수행합니다.이

이 설정에서 어멀리 디노는 PCA

마스킹 기반의 언어리 맨만으로 일정

수준에 탐지가 가능하다라고 이야기를

하고 있습니다. 물론 이제 클립

기반의 제로샷 성능에 이제 미치지는

못하지만 비전 전용 모델로서의 기본

성능을 확인할 수 있다라고 이야기를

하고 있습니다. 그래서 풀리샷에서는

전체 학습 데이터를 사용하게 되는데

어우멀리 디노는이 세팅에서 패치코어와

유사하거나 더 높은 성능을 어

보여줌으로서 디노 V2가 백본으로서

굉장히 우수함을 보여주고 있습니다.

다음으로는 비자의 정성적인 결과인데

MVT AD와 마찬가지로 어

성공적으로 로컬라이제이션을 했음을

확인할 수 있습니다.

이제 출론 시간을 구성 요소별로

상세히 분석한 결과입니다. 어멀리

디노 같은 경우에는 출론 시간이 크게

세 부분으로 나뉘게 됩니다. 디노

V2 인코더의 포더 패스 그리고

메모리 뱅크에서의 니어니스트 네이버

검색 마지막으로 어노멀리맵의 어노멀리

맵의 업스케일링입니다.

Vit 기준으로 전체 출연 시간은 약

16m로 어 실시간 처리가 가능한

수준이고 흥미로운 점은 여기서

마스킹과 어그먼테이션은 출론 시간에

거의 영향을 미치지 않다는 점입니다.

그래서 마스킹은 메모리 뱅크

구축시에만 적용이 되고 어그먼테이션

역시 학습 단계에서만 어 수행되기

때문에 실질적인 인퍼런스에 크게

영향을 주지 않는다라고 이야기를 하고

있습니다.

다음으로는 아키텍처 사이즈에 대한

영향입니다. 그러니까 디노 V2

모델이를 Vit로 쓸지 B로 쓸지

L로 쓸지 G로 쓸지에 따라서 성능과

그다음에

성능에 따라서 어떻게 차이가

나타나는지를 확인하는 실험입니다.

전반적으로 당연하게도 모델 크기가

커질수록 디텍션과 세그먼테이션의

성능이 향상이 되고 그러나 VIT

L에서 G의 향상폭은 S에서 B로의

향상폭보다 작습니다. 그러니깐 실용적

관점에서는 S가 가장 성능 대비 추론

속도가 효율적이다라고 볼 수 있고

반대로 정밀도가 중요한 경우에는

VIT L이 가장 좋은 대안이 될 수

있다라고 이야기를 하고 있습니다. 어

G로 키웠을 때 커지는 어 포기를

하게 되는 어 성 추른 속도 대비

성능이

적기 때문이다. 그렇기 때문에

VATL이 가장 성능편 면에서는

효율적이다라고 이야기를 하고

있습니다.

그리고 어그리게이션 스태스틱 Q

그러니까 어떻게 최종적인 스코어로

어그리게이션 할지에 따른 방법에다

대한 어레이션 스터디입니다. 맥스 민

다양한 퍼센타이 값들을 비교를

했습니다. 그러니까 최종적인 이미지멀

디텍션

어 스코어를 디텍션을 위한 스코어를

계산을 할 때 각 패치들의 스코어들을

어떻게 하나의 스칼라 값으로 모으냐에

대한 방법론인데 어 평균을 냈을 때

그냥 최댓값을 사용을 했을 때 아니면

퍼센타일을 한 다음에 1%들 값에

대한 평균을 계산했을 때에 대한

비교이고

실용적으로 보았을 때 사전 지식 없이

적용 가능한 어 특정 퍼센타이 값을

기본으로 사용하며 카테고리 정보가

있을 때는 최적화할 수 있다라고

이야기를 하고 있습니다. 어쨌든

결과적으로이 퍼센타일 그러니깐 1%

값들에 대한 어 평균을 냈을 때 가장

좋은 결과를

보여주고 있음을 확인할 수

있었습니다.

네. 실험 결과에 대한 내용은

여기까지 말씀을 드리고 이제 결론에서

해당 논문에 대해서 한번 정리를 해

보도록 하겠습니다. 이제노멀리 디노

같은 경우에는 디노 V2를 백번으로

사용하는 비전리 퓨노멀리 디텍션

프레임워크입니다. 핵심 기어로서 볼

수 있는 것은 크게 세 가지입니다.

첫 번째로 PCA 기반 제로션

마스킹과 회전 어그먼테이션이라는 두

가지 효과적인 전처리 기법을 도입을

했습니다. 그리고 둘째 디노 V2

기반 이상의 다양한 설계 선택에 따른

체계적인 분석을 진행을 했고

최종적으로 MVT에 AD와 비자에서

모든 피샷 설정의 소타를 달성을

했습니다.

그래서 기준 방법론들 대비 그러니까

멀티모델을 사용하는 기존 방법론들

그리고 옥셀러리 데이터셋을 이용해서

트레이닝을 하는 기존 방법론들 대비

해당 방법론 같은 경우에는 어 비전

모델만을 사용을 하고 있고 그리고

트레이닝 없이 트레이닝 프리 방식으로

굉장히 높은 성능과 실용성을

달성했다라는 부분에서 의가 있다라고

생각이 듭니다.

다만 조금 아쉬운 부분이라고 할 수

있는 부분은 먼저 메모리 뱅크 기반

접근 방법에 근본적인 한계라고 볼 수

있습니다. 카테고리가 수가 늘어났을

때 굉장히 큰 이제 메모리 뱅크가 어

생기게 되게 되고 그런 결과적으로

검색 속도 또한 느려질 수 있습니다.

그리고 통계량 Q의 카테고리 의존성이

존재를 하게 되고 그리고 해당

방법론에서 제한했던 그런 마스킹 전략

그리고 회전 어그먼테이션 전략이 어

결과적으로는 굉장히 높은 성능을

달성했다라고 볼 수는 있으나 다소 좀

데이터셋이나 특정 클래스의 지업적으로

조금 치팅처럼 사용된 것이 아닌가라는

생각이 들면서 해당 방법론에 대해서

어 발표를 마무리해 보도록

하겠습니다. 습니다.