← документы задачи · данные задачи · mind map ТЗ · роудмап

Каталог нарушений

Всё, что знает система: определение по ТЗ, как сервис это проверяет и насколько точно. У каждого нарушения — снимки обучающего набора, где его отметили эксперты, с разбивкой: сервис нашёл, пропустил или поднял ложную тревогу. Нажмите на снимок — откроется его карточка с атласом. Снимки показываются только на стенде.

11видов нарушений, состояний и отказов
5проверяются сервисом
0пока не проверяются
76снимков с нарушением у экспертов

Поясничный отдел

1.Неполный охват

coverage частично ↑ оглавление
По ТЗ
Снимок поясничного отдела должен захватывать позвоночник от гребней подвздошных костей до середины тела Th12.
Как проверяет сервис
Сервис ищет гребни подвздошных костей у нижнего края кадра и проверяет запас по краям. Уровень Th12 пока не определяется — поэтому статус «частично». что дальше →

Против экспертов на уровне исследования: F1 0,77 · нашёл 5 из 6 · ложных тревог 2 · точность хорошая

Сервис нашёл · 5

Эксперты отметили, сервис тоже.

Сервис пропустил · 1

Эксперты отметили, сервис — нет. Именно здесь видно, чего сервису не хватает.

Ложная тревога · 2

Сервис отметил, эксперты — нет.

2.Наклон оси позвоночника

axis_tilt проверяется ↑ оглавление
По ТЗ
Ось позвоночника отклоняется от вертикали больше допуска — 5°.
Как проверяет сервис
Центральная линия столба по яркости, угол прямой к вертикали кадра. Слабое место — сколиоз: изгиб столба сервис принимает за наклон. что дальше →

Против экспертов на уровне исследования: F1 0,33 · нашёл 4 из 10 · ложных тревог 10 · точность слабая

Сервис нашёл · 4

Эксперты отметили, сервис тоже.

Сервис пропустил · 6

Эксперты отметили, сервис — нет. Именно здесь видно, чего сервису не хватает.

Ложная тревога · 10

Сервис отметил, эксперты — нет.

ещё 2

3.Посторонние предметы и артефакты

artifact проверяется ↑ оглавление
По ТЗ
В зоне исследования нет посторонних предметов: металла, пуговиц, застёжек, пирсинга, имплантов вне зоны интереса.
Как проверяет сервис
Поиск ярких пятен с резкими краями на фоне позвонков. Большую часть случаев экспертов сервис пока пропускает. что дальше →

Против экспертов на уровне исследования: F1 0,62 · нашёл 14 из 17 · ложных тревог 14 · точность средняя

Сервис нашёл · 14

Эксперты отметили, сервис тоже.

ещё 6
Сервис пропустил · 3

Эксперты отметили, сервис — нет. Именно здесь видно, чего сервису не хватает.

Ложная тревога · 14

Сервис отметил, эксперты — нет.

ещё 6

Бедро

4.Укладка и ротация бедра

hip_positioning проверяется ↑ оглавление
По ТЗ
В кадре большой вертел, шейка бедра и седалищная кость; ротация оценивается по малому вертелу.
Как проверяет сервис
С версии 0.5.4 — обученная модель ExtraTrees по 47 признакам: форма бедра и таза, края кадра, ориентиры атласа (большой и малый вертел, шейка, диафиз). Обучена на 150 снимках с оценкой экспертов; по кросс-валидации ROC-AUC брака бедра около 0,66, укладки — 0,62. Пока это подсказка для проверки, а не окончательный вывод. что дальше →

Примеры ниже — снимки обучающего набора, на которых модель училась, поэтому находок здесь больше, чем будет на новых снимках. Честная оценка — кросс-валидация: ROC-AUC 0,62, F1 0,37 для укладки и ROC-AUC 0,66, F1 0,47 для брака бедра в целом.

Сервис нашёл · 36

Эксперты отметили, сервис тоже.

ещё 28
Сервис пропустил · 0

Эксперты отметили, сервис — нет. Именно здесь видно, чего сервису не хватает.

нет

Ложная тревога · 10

Сервис отметил, эксперты — нет.

ещё 2

5.Поля вокруг зоны интереса

hip_roi частично ↑ оглавление
По ТЗ
Вокруг зоны интереса бедра должны оставаться поля 3 см и 2 см.
Как проверяет сервис
Та же модель по признакам краёв кадра: ROC-AUC около 0,80 по кросс-валидации, но примеров всего 7. Сантиметры не считаются — в DICOM организатора нет масштаба (PixelSpacing), поэтому статус «частично». что дальше →

Примеры ниже — снимки обучающего набора, на которых модель училась, поэтому находок здесь больше, чем будет на новых снимках. Честная оценка — кросс-валидация: ROC-AUC 0,80, F1 0,49 на 7 примерах.

Сервис нашёл · 7

Эксперты отметили, сервис тоже.

Сервис пропустил · 0

Эксперты отметили, сервис — нет. Именно здесь видно, чего сервису не хватает.

нет

Ложная тревога · 1

Сервис отметил, эксперты — нет.

Состояния снимка

6.Бедро не оценено

hip_not_evaluated_v0 состояние ↑ оглавление
По ТЗ
Не нарушение, а состояние: вердикт по бедру не вынесен. До версии 0.5.4 так помечались все бёдра.
Как проверяет сервис
С 0.5.4 бывает, только если в сборке нет весов модели бедра. Такие снимки не попадают ни в «качественные», ни в «с нарушением» — в таблице результатов класс качества пустой. что дальше →

7.Отмечено вручную

manual состояние ↑ оглавление
По ТЗ
Нарушение поставил человек в пульте анализа поверх автоматического вердикта.
Как проверяет сервис
Правка вердикта в карточке снимка; автоматический результат сохраняется рядом, правка идёт в журнал.

8.Другое нарушение

other состояние ↑ оглавление
По ТЗ
Нарушение вне перечня ТЗ, отмеченное вручную.
Как проверяет сервис
Только ручная отметка.

Требует внимания

Не отдельные нарушения ТЗ, а темы из комментариев экспертов: на такие снимки стоит посмотреть человеку. Сколиоз — главный источник ложных тревог по наклону оси: изгиб столба сервис принимает за наклон.

9.«требует внимание»

2 исследования ↑ оглавление

Комментарий эксперт написал на исследование целиком: к какому именно снимку он относится, в разметке не указано. Поэтому снимки показаны по исследованиям.

10.«сколиоз»

14 исследований ↑ оглавление

Комментарий эксперт написал на исследование целиком: к какому именно снимку он относится, в разметке не указано. Поэтому снимки показаны по исследованиям.

ещё 6

Другие формулировки: «Сколиоз, не верня разметка»

11.«перелом»

1 исследование ↑ оглавление

Комментарий эксперт написал на исследование целиком: к какому именно снимку он относится, в разметке не указано. Поэтому снимки показаны по исследованиям.

12.«нет малых вертелов»

1 исследование ↑ оглавление

Комментарий эксперт написал на исследование целиком: к какому именно снимку он относится, в разметке не указано. Поэтому снимки показаны по исследованиям.

Исследование 1 · 3 снимка · комментарий: «Отклонение оси, нет малых вертелов»

Норма для сравнения

Поясничный отдел без нарушений

Бедро без нарушений

Отказы: файлы, которые сервис не берёт

13.Не DICOMnot_dicom

Картинка (JPG, PNG и т. п.) вместо DICOM. Можно запросить принудительный анализ — результат не гарантирован.

14.DICOM, но не денситометрияnot_dxa

Например, КТ или обычный рентген. Тоже можно проверить принудительно по запросу.

15.Файл не читаетсяunreadable

Повреждённый или неполный файл — анализ невозможен.