Research
TRAVAUX SUR LA COULEUR 1999 – 2003
de l’équipe J. Serra au C.M.M.
Cette note est
destinée à préparer la réunion du CMM du mardi 22 Avril prochain sur la
couleur.
On trouvera en
annexe la liste des vingt six études auxquelles j'ai participé depuis quatre
ans, ou ayant fait l'objet de thèses placées sous ma direction.
Pour simplifier la lecture de la
bibliographie, sept des textes sont indiqués "M": ce jeu
renferme l'essentiel de l'apport méthodologique
des vingt six documents sous une forme rapidement lisible (ce qui ne
veut pas dire qu'ils soient les documents initiaux, ni les plus détaillés). Le
deuxième critère distinctif est noté "A", il signifie que
l’idée présentée a été suffisamment testée et que par conséquent elle possède
une réelle valeur opératoire. Six des sept textes "M" sont de
ce type (la confirmation expérimentale de {HAN02c} se trouve {ANG03f}).
La liste
bibliographique se subdivise en deux périodes allant jusqu'à 2001, et
depuis ; je les présente en
commençant par la seconde.
TRAVAUX DEPUIS
2001
Cette période, qui
va depuis le moment où j'ai cessé d'être directeur du CMM jusqu'à aujourd'hui,
est la plus féconde. Elle regroupe vingt deux notes, articles et thèses qui
s'orientent tous autour d'une même idée. A l'homogénéité thématique s'ajoute
celle des auteurs, puisqu'il n'y en a que trois, dont les textes se répondent
souvent (J. Angulo, A. Hanbury, et moi-même).
Lorsqu'on s'élève
un tout petit peu dans le processus de la vision humaine, les cônes rétiniens
sont relayés par ce que nous exprimons quand nous décrivons une image. A la
représentation en rouge, vert et bleu, de type Maxwell, succède une
interprétation de type Munsell de la scène vue, où apparaissent des termes
d'intensité, de teinte et de saturation. Nous sommes d'ailleurs incapables de
nous exprimer autrement : personne ne peut formuler l'impression due à la
vision par ses seuls cônes "verts". Le mot "vert" du
langage courant exprime une teinte, nous aurions sinon conscience de trois
réponses rétiniennes pour chaque point vu.
Nous nous sommes
penchés sur la représentation Munsellienne et nous nous sommes demandés
comment, et jusqu'à quel point, nous pouvions la doter d'un statut quantitatif.
Au centre des vingt deux textes référencés se trouve l'hypothèse que la saturation
ne se situe pas sur le même plan que les deux autres variables, et se comporte
plutôt comme un aiguillage entre elles deux.
Cette idée n'est
pas nouvelle. Pour nous en tenir à l'antériorité interne au CMM, le LEP avait
testé lors du programme MORPHECO, l'intérêt d'une image barycentrique entre
luminance et teinte, pondérées par la saturation. Je l'avais proposée tout en
sachant qu'elle n'avait guère de sens mathématique (que signifie le barycentre
d'un cercle et d'une droite ?). Plus récemment (1999-2000), C.H. Demarty a
repris la question en la plaçant sous une perspective originale. Remarquant
que, dans beaucoup d'images, l'histogramme des saturations passe par un
minimum, elle divise ses images en une zone grise et une zone colorée, qu'elle
traite séparément.
Résumons brièvement
les cinq extraits principaux de la bibliographie
{HAN02c} est l'expression aboutie d'une critique implicite, ou partiellement
décrite dans plusieurs études, sur les incohérences des deux représentations
Munselliennes courantes HLS et HSV. Si l'on vise des traitements quantitatifs
de l'information, il semble indispensable que les grandeurs énergétiques
(brillance, saturation) soient des normes, et qu'elles soient indépendantes.
On en déduit trois représentations, en normes L1, L2 et max-min.
{ANG03f} prend directement le relais de l'analyse précédente, et l'illustre en
comparant les histogrammes bi-dimensionnels selon les trois normes, plus la
représentation HLS. Il apparaît que la norme L1 est la
mieux adaptée à la détection de reflets, d'ombres et de dégradés de lumière.
Une explication physique fondée sur le modèle de la réflexion di-chromatique
interprète le fait.
Dans {HAN01a},
c'est la composante teinte qui est isolée et étudiée en soi, en tant que
variable définie sur le cercle unité. Pour répondre à l'objection selon
laquelle le cercle unité est tout ce qu'on veut sauf un treillis, quatre
démarches sont proposées, dont deux solidement étayées par des applications
pratiques sur de larges bases de données. L'une consiste à étendre au cercle
unité tous les opérateurs sur la droite qui ne mettent en jeu que des
accroissements; l'autre utilise les points dont la teinte se situe dans un
secteur angulaire donné, disons (α, α + ω), pour marquer l'espace de l'image.
L’ensemble marqué A (α,ω) peut servir à bien des choses, et en particulier être
étudié par des opérateurs stables pour le sup ou pour l'inf. Si γ est une
ouverture sur P(E), on peut par exemple construire γ [A
(α,ω)], puis la réunion 
qui sélectionne les
zones d'une certaine stabilité de teinte.
Les démarches établies pour les teintes
restent évidemment valables pour tous les types de données qui se distribuent
sur le cercle unité, dont les directions et les phases.
Avec {HAN01c},
ce sont toutes les composantes de la couleur que l'on cherche à ordonner pour
en faire des treillis convenables. On se place dans l'espace Lab, dont les
bonnes propriétés colorimétriques et psycho-visuelles sont bien connues, pour y
construire une représentation de type Munsell. L'ayant obtenue, on classe les
points selon leur potentiel newtonien entre les deux extrêmes du gris et de la
couleur saturée. Enfin, des treillis totalement ordonnés sont construits sur
cette base.
La cinquième étude {ANG03e},
aborde d'une toute autre manière le problème de la saturation vue comme un
aiguillage. Il s'agit ici de segmenter au mieux des images couleur, ce qui
nécessite moins de construire des treillis multivariables que de bons
opérateurs de gradients. Plusieurs gradients sont comparés sous le critère de
la qualité des segmentations produites par l'algorithme des chutes d'eau, ainsi
que par deux connections (par sauts et quasi plate). Puis, on utilise une
partition de la saturation pour définir deux zones de l'espace où, soit la
partition teinte, soit celle de la luminance, sera retenue.
PERIODE 1999 –
2000
Les travaux de la
période 1999 – 2000 ne portent pas sur les représentations de Munsell. D’autre
part, ni A. Hanbury, ni J. Angulo n'y ont pris part.
La référence {IWA99}
relate une des étapes du travail de thèse de M. Iwanowski, travail qui pour
l'essentiel n'est pas consacré à la couleur mais à l'interpolation. Les
algorithmes d'interpolation, affine ou non, établis pour les images numériques,
sont étendus ici au cas de la couleur grâce à un treillis totalement ordonné
par L, G, R, où la luminance L est à peu de choses près celle du standard de la
télévision européenne. Ce travail montre que les espaces construits sur une
luminance et deux chrominances (LGR, YUV, Lab, etc ...) sont suffisants pour la
plupart des opérations qui ne mettent pas en jeu de segmentation.
La référence {SER00}
correspond à une étude en soi, très spécifique et dont la généralité ne se
trouve pas là où on l'attendrait. On veut segmenter des silicates vus en
microscopie optique sous quinze orientations de polarisation différentes (les mêmes
pour chacun des quatre silicates étudiés). La couleur de chaque image est codée
sur une palette. Il s'agit donc en fait d'imagerie multispectrale sur quinze
canaux. La méthode de segmentation consiste à associer à chaque image une
partition correspondant grossièrement à ses contours, puis à prendre un infimum
des quinze partitions, et enfin à le pondérer pour en faire une fonction qu'on
segmente par ligne de partage des eaux. L'intérêt de la démarche est double. Il
montre qu'on peut traiter quantitativement des images de couleurs par palettes,
et conduit à une méthodologie générale aux images multi-dimensionnelles, et
située aux antipodes de la démarche par analyse factorielle (celle-ci commence
par produire une image moyenne, l'autre finit par là).
CONCLUSION
En creusant l'idée
que la saturation départage entre gris et couleur, nous avons été amenés à
proposer des classifications polaires cohérentes, des treillis conduisant à des
filtrages plus fins et des segmentations plus exactes qu’auparavant.
Mais, au moins en
ce qui me concerne, ce travail pose plus de questions qu’il n’amène de
réponses.
Annexe : liste des travaux sur la couleur 1999-2003,
Equipe J. Serra, CMM
Notations :
+ signifie que la couleur est le thème
principal du texte;
A :
parmi les articles à dominante couleur, ce sont ceux qui ont été testés
sur une base de données suffisante ou donné lieu à une application réelle.
M : le groupe des sept articles marqués M
forme un noyau suffisant pour se faire une idée de l’apport méthodologique sur
la couleur de l’ensemble des textes (cela ne veut pas dire qu’ils sont les
seuls. Ainsi, je n’ai pas inclus les thèses, car il est moins facile d’en
extraire les idées essentielles que dans le cas d’un article).
{ANG01a} J. Angulo, J. Serra,
G. Flandrin . Quantitative descriptors of the lymphocytes. Analytical Cellular
Pathology, 2001. 22(1/2): 69-70.
A + {ANG02a} J. Angulo J. Serra Morphological
colour size distribution for image classification and retrieval"
Proc. ACVIS 2002, Ghent,
Belgium, September 9-11, 2002.
{ANG03a} J. Angulo J. Serra Automatic analysis of DNA microarray images using mathematical
morphology , Bioinformatics
vol. 19 n0 5, 2003 pp. 553-562
A + {ANG03b} J. Angulo: Leukocyte
classification by color-texture analysis. Bivariate histograms in improved HLS
colour space and color granulometries (rapport technique Ecole des Mines
N-/03/MM), february 2003
A+ {ANG03c} J. Angulo, F. Torres
and F. Ortiz : Colour segmentation using
bivariate histograms in 3D-polar colour spaces, 8 p. january 2003
A + {ANG03d} J. Angulo, J. Serra
"Morphological
coding of color images by vector connected
filters" Pre-print ISSPA03
AM + {ANG03e} J. Angulo, J. Serra Colour Segmentation by ordered mergings ICIP 03 Barcelona Sept.
2003.
AM + {ANG03f} J. Angulo J. Serra Histogrammes luminance/saturation pour les images couleur en représentation par norme L1 Ecole des Mines, N-01/03/MM, mars 2003, 25p.
AM + {HAN01a}
A.Hanbury et J. Serra. Morphological operators on the unit circle. IEEE Transactions on
Image Processing 10 (12) pp. 1842-1850, 2001.
+ {HAN01b}
A. Hanbury, J. Serra. Mathematical morphology in the HLS colour space, in
Tim Cootes and Chris Taylor, Eds, Proceedings of British Machine
Vision Conference, , p. 451-460 BMVA
Manchester, Sept. 2001
M + {HAN01c} A. Hanbury, J. Serra Mathematical Morphology in the L*a*b* space. 8th ECS and Image
Analysis. Image Anal. Stereol., 2001. 20(Supplt.1): 48-53.
A+ {HAN ora} A.
Hanbury Morphologie mathématique sur le cercle unité, avec
application aux teintes et aux textures orientées. Thèse Ecole des Mines de
Paris, Mars 2002.
+
{HAN02a} A. Hanbury The taming of the hue, saturation and brightness colour space. In H. Wildenauer and W.G. Kropatsch (eds.) CVWW'02, Computer Vision Winter Workshop, Bad Aussee, Autriche, february 2002, pp. 234-243.
+ {HAN02b} A. Hanbury The taming of the Hue, Saturation and
Brightness Colour Space, rapport technique Ecole des Mines N-18/02/MM,
juin 2002
M + {HAN02c} A. Hanbury J. Serra A 3D-polar Coordinate Colour Representation Suitable for Image
Analysis, Ecole des Mines, N-37/ 02/MM, nov. 2002, 39p (soumis à JVCIR)
+ {HAN03a} A. Hanbury, J. Serra "Colour Image
Analysis in 3-D Polar coordinates" to be presented at DAGM congress,
8p. mars 2003 .
{IWA00} M.
Iwanowski, Application de la morphologie mathématique pour
l'interpolation d'images numériques. Thèse de Doctorat en
Morphologie Mathématique, ENSMP // Ecole Polytechnique de Varsovie, 15 Novembre
2000. 137 p.
+
{ORT02} F.Ortiz, F.Torres, J.Angulo. Segmentación de imágenes aéreas mediante
morfología matemática en color y geodesia cromática // Aerial image
segmentation using morphological color geodesy. In XXIII Jornadas de Automática. La Laguna, Santa
Cruz de Tenerife, Spain, September 2002.
7 p.
AM + {SER99}
M. Iwanowski, J. Serra, Morphological interpolation and color images, in ICIAP'99. Venice, Italy, September 27-29, 1999.
{SER00a} M. Iwanowski , J. Serra The Morphological-affine object deformation, Mathematical Morphology
and its Applications to Image and Signal Processing, J. Goutsias, L.
Vincent, D.S. Bloomberg (Eds.) Kluwer Ac. Publ. 2000, pp.81-90.
AM + {SER00b}
J. Serra, M.Mlynarczuk Morphological
merging of multidimensional data. in STERMAT'2000, 6th Int. Conf. on
Stereology and Image Analysis in Materials Science. Cracow, 20 Sept. 2000.
p. 385-390.
+ {SER02c} J.
Serra Espaces couleur et traitement d’images, rap. tech. EMP N-34/02/MM
Octobre 2002 13p
A {SER02d} J.Serra, J.
Angulo
Aplicación de la morfología matemática a la telemedicina y la biotecnología :
caracterización morfológica de células de la sangre y análisis de cDNA
microarrays. In J.L Diaz de Leon Santiago y C. Yàñes Marquez (Eds),
Reconocimiento de patrones CIARP’02, México, nov. 2002. pp. 39-50.
{SER02e} J. Serra. Connection, image segmentation and filtering. in J.H. Sossa Azuela,
et al., Eds. Avances en Ciencias de la computacion e Ingenieria
de Computo, CIC’02 Invited lecture, México, nov. 2002. pp. 37-50.
{SER03a} J.
Serra Segmentation, rap. tech. EMP N-06/03/MM
mars 03, 25p.
A+ {SER03b} J. Serra Espaces couleur adaptés au traitement d'image Ecole de printemps Images numériques couleur Univ. de Bourgogne (18-21 mars 2003, Dijon) 18p.
