Segmentació d’instàncies amb màscara R-CNN

Bloc

Segmentació d’instàncies amb màscara R-CNN

Els models de detecció d’objectes, com ara YOLO, R-CNN, ens ajuden a dibuixar una caixa delimitadora que envolta els objectes i la segmentació d’instàncies ens proporciona les màscares de píxels per a cada objecte de la imatge. Pot sorgir una pregunta per què necessitem la ubicació píxel per píxel?

Si només fem servir la detecció d’objectes als cotxes que condueixen automàticament, hi ha la possibilitat que les caixes delimitadores de diversos cotxes que es superposin, el cotxe que condueix automàticament es confongui en aquesta situació. La segmentació d’instàncies pot evitar aquest defecte. La detecció de danys i el diagnòstic mèdic són algunes altres aplicacions que em vénen al cap, ja que conèixer l’abast del dany o la mida del tumor cerebral pot ser important que no només detectar la presència.

Imatge per publicar

Intersecció de caixes límit i màscares que no es superposen

css-trucs de frontera

A la imatge anterior, podem veure que les caixes delimitadores dels cotxes s’entrecreuen i les màscares amb el nom de la classe ‘cotxe’ no s’entrecreuen ni se superposen.

fantàstic tutorial per a principiants

Per tant, veurem com fer la segmentació d’instàncies mitjançant la màscara R-CNN (Mask Regional-CNN), seguint que mitjançant l’ús de la màscara R-CNN podem obtenir tant les ubicacions de píxel per píxel com les coordenades de la caixa delimitadora de cada objecte a la imatge.

Màscara R-CNN

La màscara R-CNN combina R-CNN més ràpida i FCN (xarxa completament connectada) per obtenir una sortida de màscara addicional que no sigui la sortida de classe i de caixa. D’aquesta manera, Mask R-CNN adopta el mateix procediment en dues etapes, amb una primera etapa idèntica (que és RPN: Xarxa de Propostes de Regió). Els extractes de la segona etapa inclouen RoIPool de cada quadre candidat i realitzen la classificació i la regressió de la caixa delimitadora. Llegiu aquest article per obtenir una idea més detallada de la màscara R-CNN

Imatge per publicar

aplicació d'autenticador ultimàtix per a iphone

Model de màscara R-CNN

He utilitzat Mask R-CNN basat en FPN i ResNet101 per matterport, per exemple, per a la segmentació. Aquest model està entrenat prèviament MS COCO que és un conjunt de dades de detecció, segmentació i subtitulació d'objectes a gran escala amb 80 classes d'objectes.

Abans de revisar el codi, assegureu-vos d'instal·lar tots els paquets necessaris i la màscara R-CNN.

Instal·leu Keras i altres dependències:

$ pip install numpy scipy keras h5py tensorflow $ pip install pillow scikit-image matplotlib imutils $ pip install 'IPython[all]'

Cloneu el dipòsit de GitHub i instal·leu la implementació de matterplot de Mask R-CNN

com comprar octans
$git clone https://github.com/matterport/Mask_RCNN.git $cd Mask_RCNN $python setup.py install

Nota: Si heu instal·lat o utilitzeu tensorflow v2.0 llavors és possible que tingueu alguns errors de Traceback mentre executeu l'script des que utilitza la màscara R-CNN tensorflow v1.3.0

# ciència de dades # aprenentatge profund # intel·ligència artificial # visió per computador # aprenentatge automàtic # aprenentatge profund

towardsdatascience.com

Segmentació d’instàncies amb màscara R-CNN

Una breu guia per detectar objectes juntament amb màscares. Els models de detecció d’objectes com YOLO i R-CNN ens ajuden a dibuixar una caixa delimitadora que envolta els objectes.