A hybrid Graph-Based Framwork for Skin Cancer recognition

Abstract

Skin cancer ranks among the most prevalent malignancies worldwide, with cutaneous melanoma accounting for the majority of dermatology-related mortality. Early and accurate dermoscopic assessment substantially improves patient survival, yet visual inspection remains operator-dependent and is hindered by the morphological ambiguity between malignant melanoma and benign melanocytic nevi. Convolutional neural networks (CNNs) have achieved competitive performance on dermoscopic benchmarks but remain limited by their local receptive fields, their inability to reason globally about the structural organisation of lesion sub-components, and their susceptibility to majority-class bias under severe class imbalance. This thesis proposes HybridENet-GATv2, an end-to-end hybrid deep learning framework coupling an EfficientNet-B4 convolutional backbone with a two-layer Graph Attention Network v2 (GATv2) encoder operating over a dynamically constructed intra-image patch graph. A content-adaptive graph of 49 spatial nodes is built from the backbone feature map via top-k cosine similarity thresholding, capturing long-range semantic dependencies inaccessible to convolutional receptive fields. The two representational streams are fused through a novel Region-Adaptive Attention (RAA) module combining bidirectional sigmoid gating with channel-wise self-attention. Training employs a protocol explicitly tailored to the severe class imbalance (ratio ρ ≈ 58:1) of HAM10000, combining square-root-inverse class weighting, label smoothing, and a delayed MixUp/CutMix activation schedule. Evaluated on HAM10000 (10,015 images, 7 classes) under 5-fold stratified cross-validation, the framework achieves a mean accuracy of 89.66%, a balanced accuracy of 87.95%, a macro F1-score of 85.64%, and a macro-average AUC of 96.04%, with Cohen’s κ = 0.810 and MCC = 0.813 confirming genuinely balanced multi-class discrimination. A systematic ablation study, statistically validated by paired Wilcoxon signed-rank tests across all five folds (p < 0.05), quantifies the individual contribution of each component, with the graph reasoning module contributing +7.7 macro-F1 points over the CNN-only baseline. The trained model is deployed within SkinGuard AI, a prototype web application coupling the classifier with a Large Lan-guage Model explanation layer to provide colour-coded risk stratification, and patient-facing textual guidance with a mandatory medical disclaimer. --------------------------------------------------------------------------------------- يُعَدُّ سَرَطَانُ الْجِلْدِ مِنْ بَيْنِ الْأَوْرَامِ الْخَبِيثَةِ الْأَكْثَرِ انْتِشَارًا عَلَى مُسْتَوَى الْعَالَمِ، حَيْثُ يُمَثِّلُ الْوَرَمُ الْمِيلَانُومِيُّ الْجِلْدِيُّ (الميلانوما) السَّبَبَ الرَّئِيسِيَّ لِلْوَفَيَاتِ الْمُرْتَبِطَةِ بِالْأَمْرَاضِ الْجِلْدِيَّةِ. يُؤَدِّي التَّقْيِيمُ التَّنْظِيرِيُّ الْمُبَكِّرُ وَالدَّقِيقُ إِلَى تَحْسِينِ مُعَدَّلَاتِ بَقَاءِ الْمَرْضَى عَلَى قَيْدِ الْحَيَاةِ بِشَكْلٍ كَبِيرٍ، إِلَّا أَنَّ الْفَحْصَ الْبَصَرِيَّ يَبْقَى مُعْتَمِدًا عَلَى خِبْرَةِ الْفَاحِصِ وَيُعَاقُ بِسَبَبِ التَّشَابُهِ الشَّكْلِيِّ بَيْنَ الْمِيلَانُومَا الْخَبِيثَةِ وَالشَّامَاتِ الْمِيلَانِينِيَّةِ الْحَمِيدَةِ. حَقَّقَتِ الشَّبَكَاتُ الْعَصَبِيَّةُ الْالْتِفَافِيَّةُ (CNNs) أَدَاءً تَنَافُسِيًّا فِي الْمَعَايِيرِ التَّقْيِيمِيَّةِ لِصُوَرِ تَنْظِيرِ الْجِلْدِ، لَكِنَّهَا تَبْقَى مَحْدُودَةً بِحُقُولِ اسْتِقْبَالِهَا الْمَحَلِّيَّةِ، وَعَدَمِ قُدْرَتِهَا عَلَى الْاسْتِدْلَالِ الشُّمُولِيِّ حَوْلَ التَّنْظِيمِ الْهَيْكَلِيِّ لِلْمُكَوِّنَاتِ الْفَرْعِيَّةِ اللَّافِتَةِ، وَقَابِلِيَّتِهَا لِلتَّأَثُّرِ بِانْحِيَازِ الْفِئَةِ الْأَغْلَبِيَّةِ فِي ظِلِّ وُجُودِ عَدَمِ تَوَازُنٍ شَدِيدٍ بَيْنَ الْفِئَاتِ. تَقْتَرِحُ هَذِهِ الْمُذَكِّرَةُ HybridENetGATv2 ، وَهُوَ إِطَارُ عَمَلٍ هَجِينٍ شَامِلٍ لِلتَّعَلُّمِ الْعَمِيقِ يَدْمَجُ بَيْنَ هَيْكَلٍ الْتِفَافِيٍّ أَسَاسِيٍّ مِنْ نَوْعِ EfficientNet-B4 وَمُشَفِّرِ شَبَكَةِ انْتِبَاهِ الرَّسْمِ الْبَيَانِيِّ مِنَ الْإِصْدَارِ الثَّانِي (GATv2) مُكَوَّنٍ مِنْ طَبَقَتَيْنِ، يَعْمَلُ عَلَى رَسْمٍ بَيَانِيٍّ لِقُصَاصَاتِ الصُّورَةِ يُبْنَى دِينَامِيكِيًّا. يِتِمُّ بِنَاءُ رَسْمٍ بَيَانِيٍّ مُتَكَيِّفٍ مَعَ الْمُحْتَوَى مُكَوَّنٍ مِنْ 49 عُقْدَةً مَكَانِيَّةً مِنْ خَرِيطَةِ السِّمَاتِ لِلْهَيْكَلِ الْأَسَاسِيِّ عَبْرَ تَحْدِيدِ عَتَبَةِ تَشَابُهِ جَيْبِ التَّمَامِ لِأَعْلَى k (أَوْ top-k)، مِمَّا يَسْمَحُ بِالْتِقَاطِ التَّبِعَاتِ الدَّلَالِيَّةِ طَوِيلَةِ الْمَدَى الَّتِي لَا يُمْكِنُ لِحُقُولِ الِاسْتِقْبَالِ الْالْتِفَافِيَّةِ الْوُصُولُ إِلَيْهَا. يِتِمُّ دَمْجُ مَسَارَيِ التَّمْثِيلِ مِنْ خِلَالِ وَحْدَةِ انْتِبَاهِ الْمَنَاطِقِ الْمُتَكَيِّفِ (RAA) مُبْتَكَرَةٍ تَجْمَعُ بَيْنَ الْبَوَّابَاتِ السِّيجْمُويْدِيَّةِ ثُنَائِيَّةِ الْاتِّجَاهِ وَالِانْتِبَاهِ الذَّاتِيِّ عَلَى مُسْتَوَى الْقَنَوَاتِ. يَسْتَخْدِمُ التَّدْرِيبُ بُرُوتُوكُولًا مُصَمَّمًا خِصِّيصًا لِمُعَالَجَةِ عَدَمِ التَّوَازُنِ الشَّدِيدِ فِي الْفِئَاتِ (بِنِسْبَةِ 58:1 ) فِي مَجْمُوعَةِ بَيَانَاتِ HAM10000، حَيْثُ يَجْمَعُ بَيْنَ وَزْنِ الْفِئَةِ بِالْجِذْرِ التَّرْبِيعِيِّ الْعَكْسِيِّ، وَتَمْهِيدِ التَّسْمِيَاتِ (label smoothing)، وَجَدْوَلِ تَنْشِيطٍ مُؤَجَّلٍ لِتِقْنِيَّتَيِ MixUp/CutMix. عِنْدَ تَقْيِيمِهِ عَلَى مَجْمُوعَةِ بَيَانَاتِ HAM10000 تَحْتَ نِظَامِ التَّحَقُّقِ الْمُتَقَاطِعِ الطَّبَقِيِّ الْخُمَاسِيِّ الطَّيَّاتِ (5-fold stratified cross-validation)، يُحَقِّقُ الْإِطَارُ مُتَوَسِّطَ دِقَّةٍ يَبْلُغُ %89.66، وَدِقَّةً مُتَوَازِنَةً تَبْلُغُ %87.95، وَمِقْيَاسَ F1 كُلِّيًّا (macro F1-score) يَبْلُغُ %85.64، وَمُتَوَسِّطَ مِسَاحَةٍ تَحْتَ الْمُنْحَنَى كُلِّيًّا (macro-average AUC) يَبْلُغُ %96.04، مَعَ مُعَامِلِ كُوهِين كَابَّا kappa = 0.81 وَمُعَامِلِ ارْتِبَاطِ مَاتْيُوز MCC = 0.813، مِمَّا يُؤَكِّدُ وُجُودَ تَمْيِيزٍ مُتَوَازِنٍ حَقِيقِيٍّ مُتَعَدِّدِ الْفِئَاتِ. تَقُدُّمُ دِرَاسَةُ اسْتِئْصَالٍ (ablation study) مَنْهَجِيَّةٍ، تَمَّ التَّحَقُّقُ مِنْ صِحَّتِهَا إِحْصَائِيًّا بِوَاسِطَةِ اخْتِبَارَاتِ وِيلْكُوكْسُون لِلرُّتَبِ ذَاتِ الْإِشَارَةِ لِلْعَيِّنَاتِ الْمُزْدَوَجَةِ عَبْرَ جَمِيعِ الطَّيَّاتِ الْخَمْسِ ($p < 0.05$)، الْمُسَاهَمَةَ الْفَرْدِيَّةَ لِكُلِّ مُكَوِّنٍ، حَيْثُ سَاهَمَتْ وَحْدَةُ الِاسْتِدْلَالِ الْبَيَانِيِّ بِـ +7.7 نِقَاطٍ فِي مِقْيَاسِ F1 الْكُلِّيِّ مُقَارَنَةً بِالنَّمُوذَجِ الْأَسَاسِيِّ الْمُعْتَمِدِ عَلَى شَبَكَاتِ CNN فَقَطْ. يِتِمُّ نَشْرُ النَّمُوذَجِ الْمُدَرَّبِ ضِمْنُ SkinGuard AI، وَهُوَ نَمُوذَجٌ أَوَّلِيٌّ لِتَطْبِيقِ وِيبْ يَدْمَجُ الْمُصَنِّفَ مَعَ طَبَقَةِ تَفْسِيرٍ تَعْتَمِدُ عَلَى نَمُوذَجٍ لُغَوِيٍّ كَبِيرٍ لِتَوْفِيرِ تَصْنِيفٍ طَبَقِيٍّ لِلْمَخَاطِرِ مُرَمَّزٍ لَوْنِيًّا، وَتَوْجِيهٍ نَصِّيٍّ مُوَجَّهٍ لِلْمَرِيضِ مَعَ إِخْلَاءِ مَسْؤُولِيَّةٍ طِبِّيٍّ إِلْزَامِيٍّ. --------------------------------------------------------------------------------- Le cancer de la peau figure parmi les pathologies malignes les plus répandues à l’échelle mondi-ale, le mélanome cutané concentrant l’essentiel de la mortalité dermatologique. Un diagnostic dermoscopique précoce et précis améliore substantiellement la survie des patients ; toutefois, l’inspection visuelle demeure tributaire de l’expertise de l’opérateur et se heurte à l’ambiguïté morphologique entre mélanomes malins et nævi mélanocytaires bénins. Bien que les réseaux de neurones convolutifs (CNN) aient démontré des performances compétitives sur les bench-marks dermoscopiques, ils restent limités par leurs champs récepteurs locaux, leur incapacité à raisonner globalement sur l’organisation structurelle des sous-composantes lésionnelles, et leur vulnérabilité au biais de classe majoritaire en présence d’un déséquilibre sévère. Cette thèse propose HybridENet-GATv2, un cadre hybride d’apprentissage profond entraîn-able de bout en bout, couplant un backbone convolutif EfficientNet-B4 à un encodeur Graph Attention Network v2 (GATv2) à deux couches opérant sur un graphe de patches intra-image construit dynamiquement. Un graphe adaptatif de 49 nœuds spatiaux est construit à partir de la carte de caractéristiques du backbone par filtrage de similarité cosinus top-k, perme-ttant de capturer des dépendances sémantiques à longue portée hors d’atteinte des champs récepteurs convolutifs. Les deux flux de représentation sont fusionnés par un nouveau module d’Attention Régionale Adaptative (RAA) combinant une modulation sigmoïde bidirectionnelle et une auto-attention par canal. L’entraînement repose sur un protocole spécifiquement conçu pour le déséquilibre sévère (ratio ρ ≈ 58:1) de HAM10000, combinant une pondération en racine carrée inverse de la fréquence, un label smoothing, et une activation différée des augmentations MixUp/CutMix. Évalué sur HAM10000 (10 015 images, 7 classes) sous validation croisée stratifiée à 5 plis, le cadre atteint une exactitude moyenne de 89,66 %, une exactitude équilibrée de 87,95 %, un score F1 macro de 85,64 %, et une AUC macro-moyenne de 96,04 %, avec un κ de Cohen = 0,810 et un MCC = 0,813 attestant d’une discrimination multi-classes véritablement équilibrée. Une étude d’ablation systématique, validée statistiquement par test apparié de Wilcoxon signed-rank sur les cinq plis (p < 0,05), quantifie la contribution de chaque composante, le module de raisonnement par graphe contribuant à un gain de +7,7 points de F1 macro par rapport à la ligne de base CNN seule. Le modèle entraîné est déployé au sein de SkinGuard AI, une application web prototype couplant le classifieur à une couche d’explication assurée par un grand modèle de langage, restituant une stratification du risque codée par couleur, les plus probables et une explication textuelle adaptée au patient accompagnée d’un avertissement médical obligatoire.