[Review] A Lightweight CNN andJoint Shape-Joint Space (JS2) Descriptor for Radiological Osteoarthritis Detection

프로젝트를 수행하면서 선행 논문으로 읽은 논문에 대해 간략하게 정리를 해보려고 한다.

 

A Lightweight CNN and Joint Shape-Joint Space (JS2) Descriptor for Radiological Osteoarthritis Detection

 -  MIUA 2020 -

 

◼ 논문 링크 :  A Lightweight CNN and Joint Shape-Joint Space (JS2) Descriptor for Radiological Osteoarthritis Detection

 

 

무릎 골관절염은 전 세계적으로 흔한 근골격계 질환이다. 이 논문에서는 관절의 모양과 CNN기반 뼈 질감 특징을 활용한 자동화된 방법을 제안하고, 골관절염이 있는 사진과 없는 사진을 구별해준다.

 

논문에서 사용한 데이터 셋으로 OAI(Osteoarthritis Initiative) 및 MOST(Multicenter Osteoarthritis) 연구의 무릎 방사선 사진이 실험에 사용되었다.  연구에 사용된 모델은 OAI의 8953개의 데이터가 학습에 사용되었고, MOST의 3445개의 데이터로 평가를 진행하였다. 

 

 

Introduction

골관절염(OA)은 전 세계적으로 장애의 원인 중 하나로, 통증, 경직, 움직임의 제한을 유발한다.

고령화로 인해 골관절염의 발병률이 급격히 증가하고 있다. 선진국에서 골관절염은 치료비와 휴직으로 인해 삶의 질이 저하된 환자와 사회에 큰 부담을 준다. OA에 대한 치료법은 없지만 위험 요소를 수정하고 다른 조치를 통해 증상을 조절할 수 있다. 따라서 골관절염의 조기 발견과 치료는 만성 통증을 줄이고 관절 기능을 개선하는데 중요할 수 있다.

OA는 현재 임상 검사와 필요한 경우 방사선 촬영(X-ray) 및 MRI 및 관절경과 같은 영상 기법으로 진단된다. 기존의 방사선 촬영(X-선 영상)은 몇 가지 제한 사항이 있지만, 다른 영상 촬영 방식보다 저렴하고 접근이 용이하기 때문에 OA에서 여전히 가장 널리 사용되는 영상 촬영 방식이다. X선 영상은 골극 형성, 관절 공간 협착, 연골하 경화증 및 낭종 형성을 포함한 OA의 특징적인 특징을 탐지할 수 있다.

 

그림1. 정상과 중증 OA 무릎의 예

 

그림2. KL 등급에 따른 골관절염 중증도 단계를 보여주는 사진

 

 

임상 실험에서 무릎 방사선 사진에서 골관절염 중증도를 평가하는 등급 시스템이 여러 개 존재한다. 그중에서 Kellgren and Lawrence(KL) 등급 시스템이 가장 많이 사용된다. 

 

KL 등급 시스템에서 등급은 OA의 중증도에 따라 0~4등급까지 다양하게 나눠진다. 

그림 2는 KL 등급 시스템에 따라 질병 단계를 보여준다. KL 등급 0은 골극의 방사선학적 특징이 없고 정상임을 의미하며,  KL 등급 1은 모호한 골극이 있음을 나타낸다. KL 2등급은 골극이 뚜렷하고 관절 공간이 좁아질 수 있음을 나타낸다(JSN). KL 등급 3은 관절 공간 협착, 다발성 골극 및 경화증의 존재를 나타내며, KL 등급 4는 관절 공간의 완전한 상실, 큰 골극, 심각한 경화증 및 확실한 골 기형을 나타낸다. 방사선학적 골관절염에 대한 국제 진단 기준은 KL 등급 2이다. 0,1등급은 비 골관절염이고, 2,3,4등급은 골관절염으로 분류된다.

뼈 모양 분석은 OA 감지를 위한 인기 있는 방식이지만, 자동 OA 감지 및 채점을 위한 현재의 최첨단(SOTA) 접근 방식은 딥 러닝(DL)과 같은 기계 학습 기술을 기반으로 한다. 특히 CNN기반 딥러닝 기술을 기반으로 한다.

 

하지만 딥러닝 모델은 큰 단점을 가지고 있다. 첫 번째로 골관절염과 관련된 해부학적 특징은 고려되지 않는다. 예를 들어, 무릎 골관절염 평가를 위한 대퇴골 원위부와 근위 경골 사이의 분리, 관절 공간 너비(JSW)의 직접적인 측정은 포함되지 않는다. 심층 기능은 해부학적인 특징의 일부를 다룰 수 있지만, 모델의 포함 부가가치에 대한 것은 알려지지 않았다. 또한 CNN은 텍스처에 의존적이고, 객체 텍스처가 없는 모양 인식에서 제대로 수행이 안된다. 따라서 뼈의 형태 표현이 명시적으로 포함 될 때의 결과를 연구하는 것도 중요하다. 두 번째로 기존 모델은 많은 매개변수의 수와 중복 기능을 계산한다. 그러나 골관절염은 경골 내측에서 판단할 수 있는 중요한 내용을 담고 있다. 이 관심 영역(ROI)은 뼈 질감 분석에 중요한 영향을 미친다. 일반적으로 잘 알려진 CNN 아키텍처(VGG, ResNet 계열 등)를 사용하기 위해 전체 무릎 관절 이미지의 크기를 조정하고 전이 학습 또는 미세 조정을 활용한다. 마지막으로, 입력 데이터의 어떤 정보가 결정을 내리도록 만드는지 불분명하다. 

 

그림3. OA를 감지하기위한 tiny CNN모델

이 연구에서는 OA를 감지하기 위해 tiny CNN 모델을 사용하여 뼈 모양과 뼈 질감을 결합하는 모델을 제안한다. 

ROI를 사용하면 현재 SOTA 모델보다 적은 매개변수와 계산 복잡도에서 효율적인 tiny CNN을 사용할 수 있다.

 

 

Method

1. Joint Shape and Joint Space (JS2) Descriptor

경골 대퇴 관절의 전체적인 모양이 골관절염의 구조적 중증도와 관련이 있는 것으로 나타났다. 통계적 모양 모델링을 기반으로 하는 관절 모양 descriptor도 방사선학적 OA 검출에 성공적으로 사용되었다. 전체적인 모양 descriptor 외에도 슬관절의 인접한 뼈(대퇴골 및 경골) 사이에서 측정된 JSW 손실, 즉 JSN(Joint Space Narrowing)은 질병 진행의 종단적 측정에 적용되었다. KL 등급 시스템은 골극 외에 관절 공간 협착에 대한 평가도 통합하고 있다. JSW의 변화는 연골 부피와 두께의 좋은 척도로 여겨져 왔다. 따라서 예상된 대퇴골과 경골 가장자리 사이의 최소 관절 공간 너비(minJSW)는 OA 중증도를 평가하기 위해 허용되는 척도이다. 그러나 종단 OA 연구에서 방사선학적 관절 공간 측정의 재현성은 문제가 있고 일관성이 없다. 이전 연구에서는 JSW(fJSW)의 위치별 측정을 활용하여 minJSW의 재현성을 개선했지만 JSW 측정이 반드시 OA의 방사선 사진 등급 변경으로 해석되는 것은 아니다.

 

그림4.

 

알고리즘1. JS2 Descriptor

 

본 연구에서는 무릎 관절의 형태와 경골 대퇴 관절의 간격을 모두 표현할 수 있는 descriptor를 제안했다. 그림 4와 알고리즘 1은 제안된 JS2 descriptor를 나타낸다. 여기에서 원위 대퇴골과 근위 경골의 윤곽을 따라 랜드마크 포인트를 찾기 위해 BoneFinder® 소프트웨어를 활용한다(그림 5). 제한된 로컬 모델 접근 방식으로 무작위 포리스트 회귀 투표를 사용한다. BoneFinder® 도구는 자동으로 74개 지점을 찾지만 JS2 descriptor는 총 30개 지점(대퇴골 윤곽선에서 13개 지점, 경골 윤곽선에서 17개 지점)을 사용하여 길이가 221(13×17)인 벡터를 생성한다. 이전에 채택된 minJSW 및 fJSW 측정은 JSN을 평가하는 데 사용되지만 JS2 descriptor는 관절 모양, 대퇴골-경골 구성 및 여러 JSW 측정을 함께 compact descriptor로 변환한다. 따라서 방사선학적 OA를 감지하는 데 직접 활용할 수 있다.

 

2. Bone Texture Characterization

최근 연구에서는 골관절염을 전체 기관 질환으로 간주하고 연골 기반 연구에서 연골과 함께 뼈 및 기타 연조직으로 다시 초점을 맞출 것을 제안한다. 연골하 뼈의 구조적 변화는 관절 연골 두께의 변화(관절 공간 협소화)보다 수개월 전에 발생하기 때문에 뼈의 조직 분석으로 골관절염을 검출하는 것에 대한 관심이 크다. 이전 연구에서는 OA가 있는 대조군과 개인 간의 연골하 뼈 질감에 상당한 차이가 있다고 보고했다. 골관절염은 관절연골에 가장 가까운 뼈가 가장 큰 손상을 받는다. 따라서 연골하 뼈 조직의 변화는 해당 부위, 특히 경골 내측 구획에서 가장 잘 관찰되며, 뼈의 나머지 부분은 방사선 사진의 질감 차이를 그렇게 자세하게 나타내지 않는다. 전체 관절 방사선 사진을 사용하는 대신 연구의 필요한 영역만 사용한다. 내측 경골 마진에서 ROI를 찾기 위해 랜드마크 포인트를 활용한다. 이전에는 방사선 사진의 연골하 뼈 질감이 대부분 프랙탈 방법과 Local Binary Patterns와 같은 기타 기존 질감 descriptor에 의해 정량화되었다. CNN 모델을 사용하여 OA 텍스처를 평가한 첫 번째 연구이다. 간단한 3계층 CNN 모델을 사용하여 텍스처 특징을 추출했다(표 1 참조). VGG 또는 ResNets 모델을 백본으로 자주 사용하는 OA 연구의 현재 CNN 기반 방법의 무거운 매개변수를 고려할 때 제한된 훈련 샘플로 처음부터 훈련하는 것은 상당히 어려운 일이다. CNN 모델의 경량 아키텍처 덕분에 처음부터 좋은 성능의 훈련할 수 있다.

 

표1. CNN 모델 레이어 설명 / 표2. 데이터 설명

 

Experiments

이 연구에서는 OAI, MOST의 데이터를 사용했다. 

양쪽 무릎에 대한 KL등급 기준선에 맞는 데이터를 선택하였고, 결측 항목은 삭제하였다. 

연구에 사용된 OAI 및 MOST 데이터 세트에 대한 세부 정보는 표2에 나와 있다.

 

이 연구의 장점으로는 학습 데이터와 다른 독립적인 테스트 데이터를 사용하여 모델을 검정했다는 것이다.

 

먼저 개방형 소프트웨어 BoneFinder®를 사용하여 무릎 방사선 사진의 랜드마크 포인트(keypoint)를 추출했다. 전처리 파이프라인에서 16비트 DICOM 이미지는 먼저 전역 대비 정규화 및 5번째와 99번째 백분위수 사이의 히스토그램 절단을 사용하여 정규화한 다음 8비트 이미지로 변환한다. 초기에 표준화되지 않은 해상도도 0.2mm로 표준화한다. 마지막으로 랜드마크 포인트를 사용하여 수평 경골 고원이 정렬되도록 각 무릎을 회전하고, 텍스처 특성화를 위해 측면 길이가 무릎 경골 너비의 1/7인 정사각형 패치를 자른다. 이 텍스처 ROI를 작은 CNN에 제공하기 전에 56x56 픽셀로 크기를 조정한 다음 임의의 48x48 픽셀 크롭을 사용했다. 

 

 

 

1. Reference Methods

텍스처 분석을 위해 LBP, Fractal Dimension(FD), Bilinear CNN(B-CNN) 및 anti-alised CNN을 사용했다. 최신 CNN은 shift

invariant가 아니며 입력 이미지의 1픽셀 이동으로 인해 네트워크 출력에서 ​​급격한 변화가 관찰될 수 있다. 한 가지 가능한 솔루션은 신호 처리 기술(다운샘플링 전 저역 통과 필터링)을 사용하여 이 문제를 해결하는 antialiased 네트워크를 사용하는 것입니다. 또한 feature 채널 간의 pairwise 상관 관계를 포착하고, 세분화된(텍스처) 인식 문제에서 유망한 결과를 보여주는 B-CNN을 테스트했다. 형상 기반 분석을 위해 OA 연구에서 일반적으로 사용되는 minJSW와 fJSW를 비교했다. fJSW 측정의 위치는 무릎 관절이 대퇴골에 대해 먼저 정렬되며, 그림 4에 나와 있다(x축은 두 구획에서 femoral condyle과 정렬된다). 좌표계의 y축은 femoral condyle의 주변 가장자리로 정의된다. 그 후, 고정 위치는 문헌에 따라 x=0.225(medialfJSW) 및 x=0.8(lateralfJSW)에서 선택된다. 이러한 측정은 경골 너비에 따라 조정되며,  LBP, FD, minJSW 및 fJSW를 기반으로 하는 참조 모델은 scikit-learn 패키지를 사용하는 'L2' 정규화와 함께 로지스틱 회귀(LR)를 사용하여 평가되었다.

 

2. Model, Training and Parameter Settings

CNN 모델은 텍스처 특징 추출을 위한 3개의 컨볼루션 레이어로 구성되었다. 각 컨볼루션 레이어(stride=1, padding=1) 다음에는 배치 정규화(BN), 최대 풀링(2×2) 및 ReLU가 사용된다. CNN 기반 실험에서 두 개의 fully connected layers 를 사용하여 예측을 수행했다. 0.5의 드롭아웃이 첫 번째 fully connected layers 다음에 사용된다. 모양과 질감 기능을 연결한 결합 모델의 경우 더 나은 성능을 제공하기 위해 드롭아웃 0.3을 채택하여 사용했다.
무작위 가중치 초기화를 사용하여 모델을 처음부터(end-to-end) 훈련했다. GPU에서 확률적 경사하강법 훈련을 채택했다. 64개 이미지의 미니 배치를 사용했으며 0.9의 momentum을 사용하여 가중치 감소 없이 훈련했다. 0.01의 시작 학습률을 사용하고 8 Epoch마다 10씩 감소시켰으며, 모델은 100 에포크 동안 훈련되었다. 연구에서 rotation, 감마 및 밝기 보정을 사용한 데이터 증가방법으로 tiny CNN 모델을 훈련했다. 그러나 점수가 향상되지는 않았다. 이는 ROI 추출 전에 수행한 무릎 정렬 및 사전 처리 때문일 수 있다고 한다.
JS2 descriptor를 평가하기 위해 우리는 tiny CNN 모델의 마지막 완전 연결 계층과 유사한 LR과 2계층 신경망(NN)을 모두 사용했다.

 

 

3. Results

표 3에서는 분류기 성능을 효과적으로 측정하기 위해 ROC AUC 아래 영역을 제시한다.

 

표3. 모댈의 성능 비교

 

Texture characterization.

기존 방법과 비교하여 CNN 기반 텍스처 툴이 OA를 감지하는데 더 나은 성능을 보인 것을 확인했다.

그러나 B-CNN과 anti-alised CNN 모델은 성능을 더 향상시키지 못했다. tiny CNN 모델은 best reference 방법보다 6% 더 성능이 우수했다.

 

Joint Space - Joint Shape.

OA 탐지를 위해 minJSW를 평가했다. 그다음 고정 위치(fJSW)에서 minJSW 측정과 JSW 측정을 결합하여 성능을 약 11% 개선했다. JS2 방법으로 달성한 ROC AUC 값은 93.52%로 다른 접근 방식보다 훨씬 성능이 좋았다. 특징 중요도는 scikit-learn 패키지를 사용하여 forests of trees classifier를 기반으로 계산되었다. 그림 5a는 각 기능이 모델의 전체 예측 성능에 얼마나 기여하는지 보여준다. 대부분의 기능은 동일한 정보를 제공하므로 무시할 수 없다. 그림 5b는 JS2의 처음 네 가지 가장 중요한 요소를 보여준다. 흥미롭게도 네 번째는 무릎 정렬과 관련이 있을 수 있다. 가장 중요한 JS2 기능의 분포를 평가했다. 그림 6은 OA 및 비 OA 사례에 대한 가장 중요한 기능의 밀도 plot을 보여준다. JS2의 평균(std) 값은 OA의 경우 3.98mm(std1.57mm), 5.17mm(std0.96mm)이다. 마지막으로 JSW 측정 오류 및 변동성에 대한 descriptor의 견고성을 평가했다. 오차 및 변동성의 원인은 임상 무릎 엑스레이 획득의 위치 정확도와 랜드마크 추출 방법 때문일 수 있으므로. 이를 시뮬레이션하기 위해 JS2 descriptor에 가우스 분포 노이즈를 추가했으며 학습 데이터와 테스트 데이터 모두에 평균이 0이고 표준 편차가 1mm, 3mm, 5mm이다.. 표 4는 모델이 잡음이 있는 JSW 측정에 민감하지 않음을 보여준다.결합 모델에서 JS2 descriptor의 가산 값을 평가하기 위해 LR과 NN 모두를 사용하여 descriptor의 예측 능력을 평가했다(표 3).

 

 

Combined model

앞서 언급했듯이 CNN 기반 텍스처 기능과 JS2 descriptor를 결합하여 단일 벡터를 형성하고 분류기를 융합 기능에 대해 훈련했다. 이 모델은 질감 및 모양 기반 모델보다 더 나은 성능을 보였다(ROC AUC = 95.21%). 뼈의 질감과 관절의 모양이 방사선학적 골관절염의 자동 탐지를 위한 상호 보완적인 정보를 전달한다는 것을 알 수 있다. 텍스처 descriptor로 직접 픽셀 비율을 사용하고 통계적 형상 모델링에서 얻은 형상 매개변수 벡터를 사용하여 85% ROC AUC를 보고했으며, 연구 모델은 SOTA DL 기반 OA 탐지 모델보다 낫지는 않더라도 비슷한 분류 성능을 달성했다.

 

표4. 성능 분석

 

DISCUSSIONS AND CONCLUSIONS

이 연구에서는 일반 방사선 사진에서 골관절염을 검출하기 위한 간단한 무릎 관절 모양 desciptor JS2를 제안한다.

또한, 관절 모양-관절 공간 descriptor와 함께 뼈 질감 특징을 추출하기 위한 tiny CNN이 방사선 OA 검출에서 SOTA 성능을 달성했다. 또한 OA 존재에 기여하는 가장 중요한 JS2 기능을 평가했다. 기존 블랙박스 심층 CNN 기반 모델과 달리 descriptor는 OA에 기여할 수 있는 관절 해부학의 중요한 구조적 변화로 해석해 보다 설명 가능한 결과를 제공한다. 또한 제안된 JS2 descriptor가 잡음이 있는 관절 공간 폭 측정에 대해 강함을 보여주었다. Tiny CNN 모델에서 ROI(경골 내측 가장자리 작은 이미지 패치)를 활용하여 더 적은 수의 매개변수로 네트워크를 구축했다. 전체 관절 이미지를 사용하는 무거운 심층 CNN 모델과 비교할 때, 작은 모델은 여전히 ​​높은 정확도로 OA를 인식할 수 있었다. 이 연구에도 몇 가지 제한점이 있다. 첫 번째, 연구에서 제안한 descriptor는 사전에 추출해야 하는 랜드마크를 기반으로 하므로 전처리 오버헤드가 발생한다. 그러나 전체 방사선 사진에서 관절 ROI를 감지하기 위한 SOTA DL 접근 방식에도 유사한 오버헤드가 존재한다. 두 번째, 내측 골관절염이 더 흔하지만 골관절염의 새로운/보완적인 정보를 보유할 수 있는 다른 골 구획(예: 외측 및 대퇴골 변연)은 본 연구에서 평가되지 않았다. 그것들을 포함하면 성능을 더욱 향상시킬 수 있으며 추가 조사가 가능하다. 전체 관절 방사선 사진을 활용하는 모델은 일반적으로 이러한 기능을 활용할 가능성이 있다. 따라서 세분화된 KL 분류에 더 적합할 수 있다.