Virtuelle histologische Färbung des Etiketts - Nantong Histology Consumables Co., Ltd

Wissenschaftliche Berichte Band 12, Artikelnummer: 10296 (2022) Diesen Artikel zitieren

2406 Zugriffe

4 Zitate

2 Altmetrisch

Details zu den Metriken

Histopathologische Visualisierungen sind ein Grundpfeiler der modernen Medizin und biologischen Forschung. Die chirurgische Onkologie stützt sich ausschließlich auf die postoperative Histologie, um den endgültigen chirurgischen Erfolg zu bestimmen und adjuvante Behandlungen zu steuern. Der aktuelle Histologie-Workflow basiert auf der hellfeldmikroskopischen Beurteilung histochemisch gefärbter Gewebe und weist einige erhebliche Einschränkungen auf. Beispielsweise erfordert die Vorbereitung gefärbter Proben für die Hellfeldbeurteilung eine langwierige Probenverarbeitung, wodurch sich Eingriffe um Tage oder sogar Wochen verzögern. Daher besteht ein dringender Bedarf an verbesserten histopathologischen Methoden. In diesem Artikel stellen wir einen Deep-Learning-basierten Ansatz für die virtuelle, markierungsfreie histochemische Färbung von Totalabsorptions-Photoakustik-Fernerkundungsbildern (TA-PARS) von ungefärbtem Gewebe vor. TA-PARS bietet eine Reihe direkt gemessener markierungsfreier Kontraste wie Streuung und Gesamtabsorption (strahlend und nichtstrahlend), ideal für die Entwicklung von H&E-Färbungen, ohne dass auf beliebige Gewebestrukturen geschlossen werden muss. Wir verwenden ein generatives kontradiktorisches Pix2Pix-Netzwerk, um Visualisierungen analog zur H&E-Färbung aus markierungsfreien TA-PARS-Bildern zu entwickeln. Dünne Schnitte menschlichen Hautgewebes wurden zunächst virtuell mit TA-PARS gefärbt und dann chemisch mit H&E gefärbt, wodurch ein Eins-zu-eins-Vergleich zwischen der virtuellen und der chemischen Färbung entstand. Die eins zu eins abgeglichenen virtuell und chemisch gefärbten Bilder weisen eine hohe Übereinstimmung auf, was die digitale Kolorierung der TA-PARS-Bilder im Vergleich zum Goldstandard H&E validiert. TA-PARS-Bilder wurden von vier dermatologischen Pathologen überprüft und bestätigten, dass sie von diagnostischer Qualität sind und dass Auflösung, Kontrast und Farbe eine Interpretation ermöglichen, als ob es sich um H&E handelte. Der vorgestellte Ansatz ebnet den Weg für die Entwicklung der TA-PARS-Objektträger-freien histologischen Bildgebung, die eine drastische Verkürzung der Zeit von der Probenresektion bis zur histologischen Bildgebung verspricht.

Die Histopathologie ist das grundlegende mikroskopische Untersuchungsinstrument in vielen Bereichen, einschließlich der Krebsdiagnose und -prognose, der chirurgischen Onkologie sowie der Entdeckung und Entwicklung von Arzneimitteln1. Die Gewebefärbung für die mikroskopische Bildgebung ermöglichte die Histopathologie, indem sie dabei half, die Zusammensetzung von Gewebeproben zu unterscheiden. Der Goldstandard der histologischen Bildgebung ist die Hellfeldmikroskopie gefärbter formalinfixierter, in Paraffin eingebetteter (FFPE) dünner Gewebepräparate, wobei Hämatoxylin und Eosin (H&E) der häufigste Färbesatz ist. Hämatoxylin färbt Zellkerne tiefblau-violett, während Eosin Zytoplasma und extrazelluläre Matrix mit rosa Farbtönen färbt2.

Die Entwicklung dieser gefärbten FFPE-Proben für die hellfeldmikroskopische Beurteilung erfordert einen mühsamen Prozess der Fixierung, Einbettung, Schnittbildung und Färbung3, ein Verfahren, das mehrere Tage in Anspruch nimmt4. Dieser langwierige Prozess hat zur Einführung der Gefrierschnitthistologie (FS) geführt, einer Technik, die häufig zur schnellen intraoperativen Beurteilung eingesetzt wird. FS ermöglicht Durchlaufzeiten von etwa 20 Minuten5. Die Probenahme von Proben für FS ist jedoch begrenzt und erfordert schwierige technische Prozesse. Durch schnelles Einfrieren entstehen Artefakte, die die Zellmorphologie verschlechtern, was sich wiederum auf die pathologische Diagnose von Gewebeproben durch Pathologen auswirkt5. Aufgrund dieser Einschränkungen bleiben histochemische FFPE-Verfahren die unersetzliche Goldstandardmethode.

Die histochemische Färbung verzögert nicht nur die Probenbeurteilung, sondern die Probenvorbereitungsschritte verändern auch dauerhaft die Gewebezusammensetzung mit mehreren chemischen Substanzen, was bedeutet, dass Gewebe nur einmal pro Abschnitt gefärbt werden dürfen2. Für jeden gewünschten Färbekontrast muss ein unabhängiger Objektträger vorbereitet werden. Diese intensive FFPE-Gewebepräparation kann die Krebsdiagnose und die Randbeurteilung um mehr als eine Woche verzögern, was wiederum die Zusatzbehandlung und ergänzende Verfahren verzögert. Dies motiviert zu einer klinisch akzeptablen Technik, um genaue, schnelle und reproduzierbare histologieähnliche Bilder ohne Beschriftung bereitzustellen.

Da Pathologen in erster Linie dazu ausgebildet sind, Diagnosen an histochemisch gefärbten Gewebeproben zu stellen, besteht ein vielversprechender Ansatz in der Entwicklung von Algorithmen, die virtuelle H&E-ähnliche Visualisierungen von unbeschriftetem Gewebe erzeugen und so die chemischen Färbeeffekte simulieren. Dies wird die Einführung kennzeichnungsfreier Tools erleichtern. Darüber hinaus schont die virtuelle Färbung das Gewebe und ermöglicht so die Weiterverarbeitung derselben Gewebeabschnitte. Im klinischen Umfeld würde dies den diagnostischen Nutzen kleiner Gewebeproben verbessern. Darüber hinaus sollten virtuelle Färbungen durch die Eliminierung präanalytischer Variabilität die durch geringfügige Prozessschwankungen verursachte Färbungsvariabilität zwischen und innerhalb des Labors verringern und so eine große Herausforderung in der klinischen Pathologie angehen. Schließlich ermöglicht die direkte Replikation der aktuellen Färbung eine Eins-zu-eins-Validierung anhand echter H&E, ein notwendiger Schritt bei der Einführung.

Mehrere optische Mikroskope wurden entwickelt, um H&E-ähnliche Bildgebungsmöglichkeiten bereitzustellen, wie z. B. quantitative Phasenbildgebung6, konfokale Reflexionsmikroskopie (RCM)7, Mikroskopie mit ultravioletter Oberflächenanregung (MUSE)8,9, optische Kohärenztomographie (OCT)10,11, 12, Autofluoreszenzmikroskopie13 und photoakustische Mikroskopie (PAM)14,15,16,17. Diese Methoden werden normalerweise mit Deep-Learning-basierten virtuellen Färbemodellen gekoppelt, insbesondere mit generativen kontradiktorischen Netzwerken (GANs)18. Mikroskopische Bilder werden erfasst und dann verwendet, um ein Netzwerk für die Durchführung virtueller H&E-Färbungen zu trainieren. Daher wird die Qualität der resultierenden virtuellen H&E-Färbung direkt durch die Eigenschaften des optischen Mikroskops bestimmt, das zur Aufnahme der Bilder verwendet wird. Im Idealfall würde die Mikroskopietechnik (1) im Reflexionsmodus arbeiten, was die Abbildung dicker Gewebeproben ermöglicht, und (2) einen analogen Kontrast zur aktuellen histochemischen Färbung bieten und die Qualität der künstlichen Färbung verbessern, indem Rückschlüsse auf wesentliche diagnostische Merkmale vermieden werden. Andere optische Mikroskope, die deutliche Fortschritte bei der H&E-ähnlichen Bildgebung erzielt haben, sind die Lichtblattmikroskopie (LSM)19 und die stimulierte Raman-Streuungsmikroskopie (SRS)20,21.

Von den aufgeführten Techniken haben MUSE und LSM eine akzeptable Übereinstimmung mit der H&E-gefärbten Histologie gezeigt und die standardmäßige H&E-Färbungsspezifität nachgeahmt. Allerdings verlassen sich sowohl MUSE als auch LSM auf Fluoreszenzfärbungen, um H&E-Kontrast zu liefern. Diese Farbstoffe können möglicherweise mutagen, krebserregend oder toxisch sein und die In-situ-Anwendbarkeit dieser fluoreszenzbasierten Techniken behindern9. Darüber hinaus erfordert LSM relativ klare Proben für die volumetrische 3D-Bildgebung von frischem Gewebe, was zusätzliche Ausrüstung und lange Vorverarbeitungszeiten erfordert, was die Technik in einer intraoperativen Umgebung unpraktisch macht19. Dementsprechend sind markierungsfreie Techniken sinnvoll.

Eine beliebte markierungsfreie Modalität, SRS, nutzt die Schwingungsresonanz molekularer Bindungen, um Kontrast zu erzeugen22. SRS hat im Vergleich zu H&E-Färbungen sowohl in dünnen als auch in dicken Gewebeproben vielversprechende Ergebnisse gezeigt. Allerdings arbeitet SRS normalerweise im Übertragungsmodus21,22,23. Dickes Gewebe wird typischerweise auf eine übertragbare Dicke komprimiert, um Bilder aufzunehmen20, was die Gewebemorphologie erheblich verändert. Dies beeinträchtigt nicht nur die Beurteilung durch den Pathologen, sondern macht SRS auch für die In-situ-Bildgebung unpraktisch.

Im Gegensatz dazu arbeitet die OCT meist im Reflexionsmodus und eignet sich gut für die Darstellung dicker Gewebeproben. Die OCT hat Potenzial für die markierungsfreie Bildgebung von Gewebeblöcken11,24, die Beurteilung des chirurgischen Randes25,26 und die Biopsieuntersuchung27,28. Allerdings nutzt die OCT optischen Streukontrast, der vorwiegend morphologische Informationen hervorhebt. Diesem Kontrast fehlt die ausreichende Spezifität, um Biomoleküle wie Zellkerne und Zytoplasma zu unterscheiden, was für die histologische Analyse unerlässlich ist. Anschließend müssen künstliche Kolorierungsmethoden auf die Strukturen dieser wesentlichen diagnostischen Merkmale schließen, was die diagnostische Sicherheit erheblich verringert. Dies motiviert die Einführung einer markierungsfreien Mikroskopiemodalität mit höherer Chromophorspezifität, die das Vertrauen in die Kolorierung verbessern kann.

In jüngster Zeit hat sich die Autofluoreszenzmikroskopie zu einem beliebten Kandidaten für die virtuelle Histologie entwickelt. Autofluoreszenz bietet markierungsfreie Visualisierung von Biomolekülen wie Elastin, Kollagen, Aminosäuren, NADPH und anderen Zellorganellen bei Anregungswellenlängen von UV bis ~ 500 nm29. Zuvor hatten Rivenson et al.13 Erfolg bei der Entwicklung einer virtuellen H&E-Färbung aus Autofluoreszenzbildern. In dieser Arbeit wurde ein tiefes neuronales Netzwerk auf Paaren von Autofluoreszenz- und H&E-gefärbten Bildern mit dem Ziel der Kolorierung trainiert. Diese Methode wurde erfolgreich auf Autofluoreszenzbilder angewendet, wobei der H&E-Färbeprozess umgangen wurde. Die breite Verwirklichung dieser Technik in Massengeweben wurde jedoch durch den Autofluoreszenzkontrast begrenzt. Obwohl die Autofluoreszenz eine Reihe von Biomolekülen hervorhebt, die einer Eosin-Färbung ähneln, zeigen die DNA und die Kerne30 keine messbare Autofluoreszenz31. Obwohl viele diagnostische Elemente vorhanden sind, muss das Kolorierungsnetzwerk daher die Kernmerkmale schätzen, da diese nicht gemessen werden können. Die Ableitung nuklearer Strukturen (ein entscheidender Faktor für die Krebsdiagnose) stellt die klinische Einführung und die behördliche Zulassung vor Herausforderungen.

Eine Modalität, PAM, hat sich als leistungsstarke markierungsfreie Mikroskopiemodalität entwickelt und bietet einen selektiven Biomolekülkontrast einer breiten Palette von Chromophoren. PAM ermöglicht eine präzise Unterscheidung durch die Verwendung spezifischer Anregungswellenlängen, um auf die optischen Absorptionseigenschaften einzelner Chromophore abzuzielen. Zuvor wurde gezeigt, dass PAM-Systeme sowohl Kerndarstellungen analog zur Hämatoxylin-Färbung32,33 als auch Bindegewebsdarstellungen analog zur Eosin-Färbung15 wiederherstellen. Allerdings weisen herkömmliche PAM-Systeme einen großen Nachteil auf. PAM ist eine hybride optoakustische Bildgebungsmodalität, bei der durch optische Absorption induzierte photoakustische Drücke als Ultraschallsignale erfasst werden. Für die Messung dieser akustischen Druckwellen ist ein akustisch gekoppelter Ultraschallwandler erforderlich. Die Notwendigkeit einer effektiven akustischen Kopplung bedeutet, dass der Wandler in Kontakt mit der Probe stehen oder in ein Kopplungsmedium wie einen Wassertank eingetaucht sein muss14,15,16. Diese Anordnung behindert die Eignung von PAM für mehrere klinische Anwendungen.

Eine neu entwickelte Modalität, die photoakustische Fernerkundung (PARS)34,35,36, überwindet die Nachteile von PAM. Bei PARS wird der akustisch gekoppelte Ultraschallwandler durch einen sekundären, kofokussierten Detektionslaser ersetzt, der eine robuste, volloptische, berührungslose, markierungsfreie photoakustische Bildgebung ermöglicht37. In den letzten Jahren hat sich PARS zu einem starken Konkurrenten im Bereich der markierungsfreien histologischen Bildgebung entwickelt34,35,36,38. PARS kann die aktuelle histochemische Färbung nachahmen, indem es auf die UV-Absorption von DNA abzielt (analog zur Hämatoxylin-Färbung)34,35 und indem es auf die 420-nm-Absorption von Cytochromen abzielt (analog zur Hämatoxylin-Färbung)34. Jüngste Arbeiten haben gezeigt, dass PARS in frisch reseziertem Gewebe, formalinfixiertem Gewebe und FFPE-Gewebeschnitten einen hohen Kontrast und eine hohe räumliche Auflösung bieten kann35,36. In resezierten Geweben ermöglicht PARS sogar eine 3D-Bildgebung von Kernen unter der Oberfläche35.

In diesem Artikel verwenden wir eine PARS-Architektur der zweiten Generation, die photoakustische Fernerkundung mit Totalabsorption (TA-PARS)36, um markierungsfreie, histologieähnliche Bilder zu liefern. Wie von Ecclestone et al.36 dargelegt, beinhaltet die TA-PARS-Architektur eine Reihe von Fortschritten, die eine verbesserte Empfindlichkeit und einen besseren Kontrast bei der Bildgebung in Gewebeproben ermöglichen. Bei Anwendung auf reseziertem Gewebe misst TA-PARS direkt den analogen Kontrast zur H&E-Färbung und erfasst unabhängig voneinander Kerne und Zytoplasma. Da das vorgeschlagene Framework H&E-Informationen direkt misst, ermöglicht es eine zuverlässige Farbmodellierung. Darüber hinaus bietet dies die Möglichkeit eines direkten Vergleichs mit der Ground-Truth-H&E-Färbung und liefert gleichzeitig für klinische Anwendungen akzeptable Ergebnisse.

Der TA-PARS funktioniert, indem er einem Chromophor einen gezielten Anregungslichtimpuls zuführt und dann die Relaxationsprozesse erfasst, während der Chromophor die absorbierte optische Energie abgibt. Es gibt zwei Hauptpfade für diese Entspannung: strahlend und nicht strahlend. Bei der strahlungslosen Entspannung wird absorbierte optische Energie als Wärme abgegeben. Dies erzeugt eine lokale thermoelastische Ausdehnung und photoakustische Drücke, wenn der Anregungsprozess schnell genug ist37. Die strahlungslose Relaxation induziert Modulationen in den lokalen optischen Eigenschaften, die als rückreflektierte Intensitätsschwankungen in einem cofokussierten TA-PARS-Detektionslaser erfasst werden. Bei Verwendung einer 266-nm-Anregung zeigt die strahlungslose Absorption überwiegend Kernstrukturen, die typischerweise durch die „H“-Färbung sichtbar gemacht werden. Umgekehrt wird bei der Strahlungsentspannung absorbierte Energie in Form von Photonen emittiert. Die Strahlungsrelaxation wird als diese durch Absorption induzierten optischen Emissionen erfasst, derselbe Mechanismus wie bei der Fluoreszenzbildgebung. Bei Verwendung einer 266-nm-Anregung zeigt der Strahlungsabsorptionskontrast typischerweise extranukleäre Merkmale, die üblicherweise durch die „E“-Färbung erkennbar sind. Zusätzlich zu den optischen Absorptionsanteilen wird auch die lokale Streuung mit dem TA-PARS-Detektionslaser erfasst. Die optische Streuung offenbart die morphologischen Strukturen in dünnen Gewebeschnitten38.

Insgesamt ermöglicht die TA-PARS-Mikroskopie gleichzeitig eine markierungsfreie, berührungslose Abbildung von Strahlungsabsorptions-, Nichtstrahlungsabsorptions- und optischen Streukontrasten. Nach unserem Kenntnisstand ist TA-PARS die einzige Modalität, die alle drei Kontrastmechanismen in einer einzigen Aufnahme bereitstellen kann. Diese reichhaltige Auswahl an Eingabedaten ermöglicht die gleichzeitige Wiederherstellung von Strukturen wie Zellkernen, Fibrin, Bindegewebe, Adipozyten und Neuronen36 in einem einzigen Anregungsereignis. Die diagnostische Sicherheit der auf Deep Learning basierenden virtuellen histologischen Färbung kann durch die Verwendung dieses informativeren Datensatzes für Netzwerktraining und Kolorierung verbessert werden.

Hier verwenden wir ein allgemeines Bild-zu-Bild-Übersetzungsmodell, nämlich Pix2Pix39, um vom TA-PARS-System erfasste histologische Bilder einzufärben. Das Pix2Pix-Modell basiert auf Generative Adversarial Networks (GANs)18, einer Art generativem Modell, das neue Datensätze basierend auf bestimmten Eingabedaten (Trainingsdaten) erstellt. Die Architektur besteht aus einem Generator-Subnetzwerk zur Erstellung neuer realisierbarer Daten und einem Diskriminator-Subnetzwerk, das versucht, zwischen den neu generierten (synthetischen) Daten und den Ground-Truth-Daten (realen Daten) zu unterscheiden. Die beiden Teilnetze werden gleichzeitig in einem kontradiktorischen Prozess trainiert, wobei das Generatormodell darauf abzielt, die Fehlerrate des Diskriminatormodells zu maximieren, während das Diskriminatormodell versucht, den Klassifizierungsfehler zu minimieren. Für die Trainingsaufgabe wurden dem Netzwerk Multikontrastbilder der TA-PARS-Kanäle zugeführt, die zusammen mit H&E-Bildern registriert wurden, die mit herkömmlichen Dia-Bildgebungsverfahren aufgenommen wurden.

Durch die von TA-PARS bereitgestellten Kontraste erfassen wir die H&E-Informationen direkt. Die direkte Messung des gewünschten H&E-Kontrasts in einem Datensatz ermöglicht ein starkes Deep-Learning-Modell und vermeidet Annahmen oder unbegründete Schlussfolgerungen über das Vorhandensein von Merkmalen wie Zellkernen. Die vorgeschlagene Arbeit liefert H&E-ähnliche TA-PARS von Gewebeschnitten, was zu Bildern führt, die mit dem Goldstandard vergleichbar sind. Die virtuellen Histologiebilder von TA-PARS wurden von vier dermatologischen Pathologen überprüft und bestätigten, dass sie von diagnostischer Qualität sind und dass Auflösung, Kontrast und Farbe eine Interpretation ermöglichen, als ob es sich um H&E handelte. Dies ist ein wesentlicher Schritt zur Entwicklung eines alternativen histopathologischen Arbeitsablaufs mit objektträgerfreier virtueller Färbung frischer Gewebeproben. Letztendlich würde die Erzielung einer histologieähnlichen In-situ-Bildgebung eine intraoperative Randbeurteilung nahezu in Echtzeit ermöglichen.

Der in dieser Studie verwendete Datensatz wurde aus dünnen Schnitten formalinfixierter, in Paraffin eingebetteter (FFPE) menschlicher Hautgewebe gesammelt. Anonyme Gewebeproben wurden von klinischen Mitarbeitern des Cross-Cancer Institute (Edmonton, Alberta, Kanada) bereitgestellt. Diese Proben wurden gemäß den vom Research Ethics Board of Alberta (Protokoll-ID: HREBA.CC-18-0277) und dem University of Waterloo Health Research Ethics Committee (Photoacoustic Remote Sensing (PARS) Microscopy of Surgical Resection, Needle Biopsy, und pathologische Proben; Protokoll-ID: 40275). Die Ethikkommission verzichtete auf die Zustimmung des Patienten, da es sich bei den Proben um Archivgewebe handelt, das für die Patientendiagnostik nicht mehr benötigt wird, und den Forschern keine Informationen über die Identität des Patienten zur Verfügung gestellt wurden. Alle Experimente mit menschlichem Gewebe wurden in Übereinstimmung mit den Richtlinien und Vorschriften der kanadischen Regierung durchgeführt, beispielsweise „Ethical Conduct for Research Involving Humans (TCPS 2)“.

Der für das virtuelle Färbeverfahren erforderliche Datensatz der gemeinsam registrierten TA-PARS- und H&E-Paare wurde wie folgt erfasst. Ungefärbte dünne Gewebeschnitte wurden mit dem TA-PARS-System abgebildet. Nach der Abbildung wurden die Proben gefärbt und mit einem Hellfeldmikroskop gescannt, um übereinstimmende TA-PARS- und H&E-Bildpaare genau derselben Proben zu erstellen. Das Verfahren zur Erstellung des Datensatzes ist in Abb. 1 dargestellt.

TA-PARS- und H&E-Datensatzvorbereitungsprozess von Objektträgerbildern von menschlichem Hautgewebe. Maßstabsbalken: 50 µm.

Die ungefärbten Gewebeschnitte wurden wie folgt vorbereitet. Zunächst wurden große resezierte Gewebe bis zu 48 Stunden lang in einer Formalin-Fixierlösung (innerhalb von 20 Minuten nach der Resektion) fixiert. Anschließend wurden die Gewebe dehydriert und für das Eindringen von Paraffinwachs vorbereitet. Während dieses Prozesses wurde das Gewebe von Restfetten befreit. Anschließend wurden Gewebe in das Paraffinsubstrat eingebettet, wodurch FFPE-Gewebeblöcke entstanden. Von der Oberfläche des FFPE-Gewebeblocks wurden dünne Schnitte mit einer Dicke von ca. 5 µm geschnitten. Dünne Schnitte wurden direkt auf Glasobjektträgern fixiert und überschüssiges Paraffin wurde durch 60-minütiges Backen des Objektträgers bei 60 °C entfernt. Am Ende dieses Prozesses waren die Dünnschnitte für die Bildgebung mit dem TA-PARS-System bereit. Die gesamte Bildgebung wurde in den PhotoMedicine Labs der University of Waterloo durchgeführt. Sobald der TA-PARS-Datensatz erfasst war, wurden die dünnen Gewebeschnitte mit H&E gefärbt, mit einem Eindeckmedium und einem Deckglas abgedeckt und dann mit einem Transmissionsmodus-Hellfeldmikroskop abgebildet, wodurch der entsprechende H&E-Datensatz bereitgestellt wurde.

Eine detailliertere Beschreibung der TA-PARS-Systemarchitektur und des Bilderzeugungsprozesses finden Sie in36. Das experimentelle System ist in Abb. 2 kurz dargestellt. Die Anregungsquelle war ein 266-nm-Diodenlaser (Wedge XF 266, RPMC). Die Detektion erfolgte mit einem 405 nm OBIS-LS-Laser (OBIS LS 405, Coherent). Die Bilder wurden mit Anregungsimpulsenergien von etwa 400 pJ und Detektionsleistungen von etwa 0,16 mW aufgenommen36. Die Anregungs- und Detektionsquellen wurden über einen dichroitischen Spiegel (Abb. 2: DM) kombiniert und dann mit einer 0,42 NA UV-Objektivlinse (Abb. 2: OL) auf die Probe fokussiert, was eine maximale räumliche Auflösung von ~ 350 nm36 lieferte. Von der Probe zurückkehrendes Detektionslicht (das die optische Streuung und die nichtstrahlende Entspannung enthält) wurde fasergekoppelt in den Zirkulator (Abb. 2: Zirkel), der das reflektierte Licht dann zu einer Fotodiode (Abb. 2: PD) umleitete, wo Die photoakustischen Intensitätsmodulationen im Nanosekundenbereich wurden erfasst. Gleichzeitig wurde die Strahlungsrelaxation chromatisch isoliert und dann mit einer Fotodiode erfasst.

Vereinfachte TA-PARS-Systemarchitektur und Systemeinrichtung. Die Komponentenbezeichnungen lauten wie folgt: dichroitischer Spiegel (DM), variabler Strahlaufweiter (VBE), Kollimator (Col.), Zirkulator (Circ.), Spektralfilter (SF), Kondensorlinse (Cond.), Fotodiode (PD), 10 :90-Splitter (90:10), Spiegel (M) und Objektivlinse (OL).

Die TA-PARS-Bilderzeugung wird wie folgt durchgeführt. Um ein Bild zu erzeugen, wurden die mechanischen Tische verwendet, um die Probe abzutasten, während die Objektivlinse fixiert blieb. Die Geschwindigkeit der Stufen wurde angepasst, um eine Pixelgröße von 250 nm zu erhalten. Die gepulste 50-kHz-Anregungsquelle wurde zur Anregung des Gewebes verwendet, und die induzierten Signale aufgrund optischer Streuung, Strahlungs- und Nichtstrahlungsrelaxation wurden bei jedem Impuls gesammelt. Jedes Ereignis wurde in dem Kanal platziert, der seinem Signal entspricht. Solche Signale wurden komprimiert, indem ein einzelnes Merkmal extrahiert wurde, das zum Pixelwert wird. Daher werden Bilder Pixel für Pixel erfasst, sodass die Gesamtbildgeschwindigkeit weitgehend von der Wiederholungsrate des Anregungslasers bestimmt wird. Die hier verwendete 50-kHz-Anregung sorgt für eine Bildgeschwindigkeit von ~ 25 s pro Megapixel. Die endgültigen Bilder werden dann für jeden TA-PARS-Kanal rekonstruiert, indem die berechneten Pixelwerte auf der Grundlage ihrer entsprechenden Positionssignale von den Stufen an ein kartesisches Gitter angepasst werden. Anschließend wurden die Bilder entsprechend der jeweiligen Aufgabenstellung bearbeitet. Im nächsten Unterabschnitt wird die Verarbeitung von Bildern für die virtuelle Färbeaufgabe beschrieben.

In dieser Arbeit wurde ein Pix2Pix GAN-Modell39 übernommen. Das Modell erfordert Pixel-zu-Pixel-Korrespondenzen zwischen den Eingabedaten (TA-PARS) und der Grundwahrheit (H&E), wobei das Ziel darin besteht, eine statistische Transformation zwischen den beiden Datendomänen zu lernen. Da TA-PARS- und H&E-Bilder mit unterschiedlichen Techniken aufgenommen wurden, wurden Bilder derselben Probe nicht gemeinsam registriert. Daher war eine Vorverarbeitung, einschließlich Sichtfeldanpassung und Registrierung, erforderlich, um annähernd gleichregistrierte Paare von TA-PARS- und H&E-Bildern zu erzeugen. Das virtuelle Färbegerüst ist in Abb. 3 dargestellt.

Virtuelles Färbe-Framework. Paare von TA-PARS- und H&E-Bildern werden gemeinsam registriert, um den Trainingsdatensatz zu erstellen, der dann zum Trainieren des Pix2Pix39-Modells verwendet wird. Unsichtbare TA-PARS-Bilder werden dann zur virtuellen Färbung in das trainierte Modell eingespeist, wodurch H&E-ähnliche Visualisierungen entstehen. Maßstabsbalken: 50 µm.

Der Registrierungsprozess kann wie folgt beschrieben werden. Zunächst wurden die entsprechenden Sichtfelder (Field-of-Views, FOVs) der beiden Bilddomänen aus den Bildern des gesamten Objektträgers extrahiert und hinsichtlich der Pixelgröße grob angepasst, um den Eins-zu-eins-Registrierungsprozess vorzubereiten. Zur Registrierung wurde das Kontrollpunktregistrierungstool aus der MATLAB Image Processing Toolbox bereitgestellt. Als Referenzbilder wurden die TA-PARS-Bilder und als zu registrierende Bilder H&E ausgewählt. Die Kontrollpunkte wurden manuell ausgewählt und dann in einem zweiten Durchgang feinabgestimmt, um globale und lokale Verzerrungen zu minimieren. Anschließend passt der Algorithmus eine nicht starre geometrische Transformation40 zwischen den beiden Bildern an, die auf die H&E-Bilder angewendet wurde, um gemeinsam registrierte TA-PARS- und H&E-Bilder zu erhalten. Da alle TA-PARS-Kanäle intrinsisch registriert wurden, wurde der gesamte Registrierungsprozess nur unter Verwendung des nichtstrahlenden Kanals durchgeführt.

Sobald der Registrierungsprozess abgeschlossen war, war der Datensatz für das Netzwerktraining zur Kolorierung bereit. In dieser Studie wurden alle drei TA-PARS-Kanäle zum Training des Modells verwendet. Abbildung 4 zeigt die Ein- und Ausgänge des Netzwerks. Nichtstrahlende und strahlende Absorptions- und optische Streukanäle sind in Abb. 4a – c dargestellt. Der Mehrkanaleingang ist in Abb. 4d als Verkettung der drei Kanäle dargestellt. Ein Farbbeispiel ist in Abb. 4e dargestellt und die entsprechende H&E-Grundwahrheit ist in Abb. 4f dargestellt. Es ist klar, dass der nichtstrahlende Absorptionskanal einen starken Kernkontrast aufweist, der den Hämatoxylin-Kontrast darstellt, während der strahlende Absorptionskontrast den Eosin-Kontrast aufweist, der die morphologischen Informationen des Gewebes zeigt. Normalisierte TA-PARS-Bilder unterliegen einer Kontrastdehnung durch Sättigung der oberen 1 % und der unteren 1 % aller Pixelwerte und wurden dann farbumgekehrt, um sie an die Farbkarte und die Histogrammverteilung der Graustufen-Ground-Truth-Bilder anzupassen. Für die Konzeptvalidierung wurden auf die gleiche Weise mehrere Datensätze aufbereitet.

Das Kolorierungsnetzwerk gibt Bilder menschlicher Hautgewebe ein und aus. (a) TA-PARS-Bild des nichtstrahlenden Absorptionskontrasts, aufgenommen mit einem TA-PARS-Mikroskop. (b) TA-PARS-Strahlungsabsorptionskontrast desselben Gewebes unter Verwendung desselben Mikroskops. (c) TA-PARS optischer Streukontrast. (d) TA-PARS-Bild aller drei Kanäle (zu kolorierende Netzwerkeingabe). (e) Koloriertes TA-PARS-Bild mit dem Pix2Pix-Modell. (f) Histologisch gefärbtes Gewebe derselben Region, aufgenommen mit einem Hellfeldmikroskop, die Grundwahrheit für das virtuelle Färbegerüst. Maßstabsbalken: 100 µm.

Dieses Framework soll den histologischen Färbeprozess ersetzen, bei dem das Pix2Pix-Modell unter Verwendung der Mehrkanal-TA-PARS-Bilder als Eingaben und entsprechender H&E-Bilder als Beschriftungen trainiert wurde und das Netzwerk darauf trainiert wurde, die statistische Transformationsfunktion zwischen den beiden Domänen zu lernen . Sobald das Modell trainiert ist, dauert der virtuelle Färbeprozess einige Sekunden, um eine virtuell gefärbte Version eines Bildes mit 4000 × 6500 Pixeln (~ 1,6 mm2) zu erzeugen.

Ein Pix2Pix-Bild-zu-Bild-Übersetzungsmodell39 wurde angewendet, um die markierungsfreien TA-PARS-Bilder in virtuell gefärbte Bilder umzuwandeln, die mit den entsprechenden histochemisch gefärbten H&E-Proben übereinstimmen. Das Modell basiert auf einer GAN-Architektur, genauer gesagt auf einem bedingten GAN (cGAN)41, bei dem das generative Modell weiter auf den Eingabedaten konditioniert wird.

Der Modelltrainingsalgorithmus in Pix2Pix trainiert gleichzeitig zwei separate neuronale Netze, den Generator und den Diskriminator, wie in Abb. 5 dargestellt. Der Trainingsalgorithmus lernt, eine Verlustfunktion zwischen der Netzwerkausgabe und der Grundwahrheit zu minimieren. Das Diskriminatornetzwerk ist darauf trainiert, effektiv zwischen realen und synthetisch erzeugten Bildern zu unterscheiden, während das Generatornetzwerk gleichzeitig darauf trainiert ist, Bilder zu erzeugen, die den Ground-Truth-Daten besser ähneln, was es für den Diskriminator zunehmend schwieriger macht, korrekt zu unterscheiden. Dadurch ist das Modell in der Lage, virtuell gefärbte TA-PARS-Bilder mit einer mit den histologisch gefärbten Bildern vergleichbaren diagnostischen Qualität zu erzeugen.

Eine Illustration des Pix2Pix-Trainingsalgorithmus. Pix2Pix besteht aus zwei Teilnetzwerken: dem Diskriminator und dem Generator. Das Diskriminator-Subnetzwerk ist darauf trainiert, zwischen echtem H&E und synthetisch erzeugtem H&E zu unterscheiden. Gleichzeitig wird das Generator-Subnetzwerk darauf trainiert, den Diskriminator zu verwirren, indem es Bilder erzeugt, die wie echte H&E aussehen.

Das Training für das Standard-Pix2Pix-Modell wurde mit 3-Kanal-RGB-Farbbildern durchgeführt. Im vorgeschlagenen Ansatz wurden die drei Kanäle durch den nichtstrahlenden Absorptionskontrast, den strahlenden Absorptionskontrast bzw. die optische Streuung ersetzt. Auf diese Weise kann das Modell gleichzeitig ergänzende Informationen aus den drei verfügbaren Informationsquellen lernen.

Überlappende Patches mit 256 × 256 Pixeln wurden aus TA-PARS- und H&E-Bildern extrahiert, um die Trainings- und Validierungssätze zu generieren. In den Experimenten wurden etwa 15.000 Trainings-Patches und 6.000 Validierungs-Patches verwendet. Die maximale Anzahl von Epochen wurde auf 500 festgelegt, mit einem Kriterium für den frühen Abbruch, um das Training zu beenden, wenn sich der Generatorverlust nicht mehr verbessert. Das trainierte Modell wurde dann auf die Testbilder angewendet, die ebenfalls in überlappende Patches von 256 × 256 Pixeln unterteilt wurden. Eine Überlappung von etwa 50 % reichte normalerweise aus, um sichtbare Artefakte an den Rändern benachbarter Patches im endgültigen zusammengefügten Bild zu vermeiden. Der Kolorierungsalgorithmus wurde in Python Version 3.8.10 implementiert und das Modelltraining wurde mit PyTorch Version 1.9.1 mit Unterstützung von CUDA Version 11 implementiert.

Neun repräsentative Bilder der mit TA-PARS erzeugten und KI-gefärbten menschlichen Haut wurden zur Auswertung an vier zertifizierte Dermatopathologen verteilt. Keiner der Dermatopathologen hatte Interessenkonflikte oder finanzielle Beziehungen im Zusammenhang mit dieser Technologie. Jeder Pathologe bestätigte, dass alle Bilder von ausreichender Qualität sind, um eine Diagnose zu ermöglichen, und dass Kontrast, Auflösung und Farbqualität hinreichend H&E-ähnlich sind, um klinische Diagnosen zu ermöglichen.

Wir haben unser Framework für maschinelles Lernen auf ungefärbte menschliche Hautgewebeschnitte angewendet, die mit TA-PARS abgebildet wurden. Diese Ergebnisse wurden mit Hellfeld-Mikroskopiebildern verglichen, die nach der Färbung genau derselben Gewebe mit H&E aufgenommen wurden. Daher liefern diese Bilder eine Eins-zu-eins-Kern-zu-Kern-Übereinstimmung zwischen dem TA-PARS und den entsprechenden H&E-Bildern. Angesichts der begrenzten Datensätze bestand unser erster Schritt darin, einen Proof of Concept durchzuführen und die Leistung des Modells durch Überanpassung einzuschränken. Bei der Überanpassung wurden dieselben Daten zum Training und Testen des Modells verwendet. Dies wurde mit einem einzelnen Bild durchgeführt, das in 5000 Patches mit jeweils 256 × 256 Pixeln aufgeteilt wurde. Die Kolorierungsergebnisse dieses Experiments sind optisch kaum von den Ground-Truth-Bildern zu unterscheiden (wie in Abb. 6 dargestellt), was eine Obergrenze für die Modellleistung festlegt. Bei der Verallgemeinerung des Modells können realistischerweise vergleichbare Ergebnisse mit Daten erzielt werden, die nicht im Trainingsdatensatz enthalten sind (unsichtbare Daten), wenn der Trainingssatz die Variabilität der Zieldomäne ausreichend abdeckt.

Virtuelle Färbung von TA-PARS-Bildern menschlicher Hautgewebeschnitte. Hier wurden dieselben Bilder zum Trainieren und Testen des Modells verwendet, wodurch eine Obergrenze für die Modellleistung festgelegt wurde. Maßstabsbalken: 100 µm.

Nach der anfänglichen Konzeptualisierung des Kolorierungsprozesses, der durch die überangepasste Datenverarbeitung untersucht wurde, war der nächste Schritt die Verallgemeinerung. Daher haben wir unsere Experimente erweitert, um die Generalisierungsleistung des Modells zu bewerten. Im Experiment wurden etwa 15.000 Trainings-Patches und 6.000 Validierungs-Patches verwendet. Das Modell wurde ausschließlich anhand nicht sichtbarer TA-PARS-Bilder getestet, die aus denselben markierungsfreien Gewebeschnitten aufgenommen wurden. Auch hier zeigen die Ergebnisse eine starke visuelle Übereinstimmung zwischen der virtuellen TA-PARS-Färbung und der H&E-Grundwahrheit, wobei die Färbung verschiedener Gewebestrukturen dem ähnelt, was normalerweise in H&E-gefärbten Gewebeproben zu sehen ist. Bei den in Abb. 7 gezeigten Geweben sind insbesondere die Zellkerne von Interesse. Bei vielen bösartigen Erkrankungen können die Morphologie und Verteilung einzelner Zellkerne Hinweise auf das Fortschreiten und die Schwere der Erkrankung geben. Daher ist die genaue Darstellung der Kernstrukturen für jede virtuelle Färbetechnik von größter Bedeutung. Wie in Abb. 7 gezeigt, ist die Replikation der Kernform und -größe zwischen den gefärbten TA-PARS und dem echten H&E sehr scharf. Bei der Betrachtung des vergrößerten Abschnitts in Abb. 7a wird die Ähnlichkeit noch deutlicher, da die Kernstrukturen zwischen dem H&E und der virtuellen Färbung sehr ähnlich sind.

Virtuelle Färbeergebnisse verschiedener Teile des menschlichen Hautgewebes anhand unsichtbarer Daten. (a) Vergrößertes Bild des Bindegewebes. Maßstabsbalken 25 µm. (b) Bild von dichtem, unregelmäßigem Bindegewebe. Maßstabsbalken 100 µm. (i) Rohe TA-PARS. (ii) H&E-ähnliche TA-PARS. (iii) Echte H&E. Die Bildsätze (a) und (b) zeigen eine hohe visuelle Übereinstimmung, insbesondere von Kernstrukturen, zwischen dem H&E und der virtuellen Färbung.

Zusätzlich zur visuellen Übereinstimmung wurden zwei statistische Metriken zum Vergleich verwendet, das Strukturähnlichkeitsindexmaß (SSIM)42 und der mittlere quadratische Fehler (RMSE). Die kolorierten und Ground-Truth-Bilder wurden vor den SSIM- und RMSE-Berechnungen in den Lab-Farbraum konvertiert, um die Bilder in einem wahrnehmungskorrelierten Farbraum darzustellen. Der RMSE wurde ausgewählt, um einen direkten Vergleich zwischen den Bildern zu ermöglichen und echte Unterschiede zwischen dem virtuellen Fleck und dem H&E zu erfassen. Der SSIM wurde als Metrik ausgewählt, da er die wahrgenommene Änderung der Strukturinformationen sowie die Kontrast- und Leuchtdichteänderungen und nicht die absoluten Fehler misst und das menschliche visuelle System nachahmt42. Diese Metrik (SSIM) ist aufgrund des subjektiven Bewertungscharakters der Histopathologie von besonderem Interesse43. Die statistischen Metriken wurden auf 1000 Patches mit einer Größe von 256 × 256 Pixeln angewendet. Der durchschnittliche berechnete SSIM betrug 0,91 ± 0,02, während ein durchschnittlicher RMSE von 14,28 ± 1,61 gemessen wurde, was auf eine objektive strukturelle und quantitative Übereinstimmung zwischen dem H&E-ähnlichen TA-PARS und dem echten H&E hinweist.

Durch die Beurteilung zusätzlicher, größerer Hautgewebeschnitte (Abb. 8) kann ein weiterer Vergleich zwischen den diagnostischen Merkmalen des TA-PARS und den H&E-Bildern gezogen werden. Diese Bilder erfassen die Dermis des menschlichen Hautgewebes, das überwiegend aus Bindegewebe und Blutgefäßen besteht. Bei direkter Betrachtung der TA-PARS-Rohdaten (Abb. 8-i) sind die Kernstrukturen im Dunkelblau/Violett erkennbar, während das Bindegewebe in Gelb- und Orangetönen zu sehen ist. Schließlich ist das Mikrogefäßsystem deutlich in Rot zu erkennen. Bestimmte Details wie das Gefäßsystem und die Kerne lassen sich in der rohen TA-PARS-Eingabe (Abb. 8-i) möglicherweise leichter identifizieren und beurteilen als in den H&E-Bildern (Abb. 8-iii) oder den virtuell gefärbten Bildern (Abb. 8-ii). In den TA-PARS-Rohbildern können alle diagnostischen Informationen enthalten sein, die ein Pathologe zur Durchführung der Diagnose und histologischen Analyse benötigt. Allerdings unterscheiden sich die TA-PARS-Manifestationen farblich deutlich von den Goldstandard-H&E-Bildern. Hier werden die drei TA-PARS-Kontraste (nichtstrahlender und strahlender Absorptionskontrast und optische Streuung) direkt als rote, grüne und blaue Farbkanäle dargestellt, die ein kombiniertes Bild bilden (dasselbe Format, das dem GAN-Netzwerk zur Verfügung gestellt wird). Derzeitige Pathologen verfügen über umfangreiche Schulungs- und Mustererkennungsfähigkeiten, die hauptsächlich auf H&E-Bildgebung basieren. Daher wäre für Pathologen eine erhebliche Umschulung erforderlich, um die verschiedenen Farben in den TA-PARS-Rohbildern zu interpretieren. Zuvor wurde gezeigt, dass diese TA-PARS-Visualisierungen farblich zugeordnet werden können, um H&E-ähnliche Visualisierungen zu entwickeln36. Allerdings lässt sich die Technik möglicherweise nicht einfach auf eine Reihe von Geweben übertragen. Dies motiviert die vorgeschlagene KI-Kolorierungstechnik, die durch die Umwandlung der TA-PARS-Bilder in ein klinisch akzeptiertes Format eine klinische Akzeptanz ermöglichen kann.

Ein weiterer Satz virtueller Färbeergebnisse unter Verwendung unsichtbarer Daten von menschlichem Hautgewebe. Die Bildsätze (a) und (b) zeigen verschiedene Teile der Dermis wie Bindegewebe und Blutgefäße. (i) Rohe TA-PARS. (ii) H&E-ähnliche TA-PARS. (iii) Echte H&E. Maßstabsbalken 100 µm.

Mit TA-PARS Virtual H&E werden sowohl das kollagenreiche subkutane Bindegewebe als auch die Kernstrukturen mit hoher Qualität und Kontrast dargestellt, was praktisch mit der Goldstandard-Bildgebung vergleichbar ist. Darüber hinaus haben vier unabhängige Dermatopathologen die Bilder ausgewertet und bestätigt, dass Farbgebung, Kontrast und Auflösung für die klinische Diagnose ausreichend und subjektiv der H&E-Bildgebung gleichwertig sind. Dies ist eine ermutigende Schlussfolgerung, da diese TA-PARS-Bilder direkt aus ungefärbten Gewebeproben erstellt wurden. Darüber hinaus unterstützt dies, dass ein robustes Modell entwickelt wurde, das verallgemeinert werden kann, um verschiedene ganze Hautgewebeschnitte mit H&E-Färbung einzufärben. Es hat sich gezeigt, dass das Modell Schwankungen der Bildgebungsbedingungen zwischen verschiedenen Proben, wie z. B. Unterschiede in der Bildhelligkeit, berücksichtigt.

In Zukunft können mit dem TA-PARS weitere Gewebetypen untersucht werden. Die virtuelle Färbung der verschiedenen Gewebetypen erfordert möglicherweise eine spezifische Abstimmung des GAN-Netzwerks. Jeder Gewebetyp (z. B. Brust, Gehirn, Haut) kann bestimmte einzigartige H&E-Farbtöne aufweisen. Daher ist das aktuelle Modell, das für Hautgewebe optimiert ist, möglicherweise nicht perfekt für andere Gewebe. Obwohl es hervorragende H&E-ähnliche Visualisierungen liefern kann, können einige Farbtöne bei der Anwendung auf andere Gewebearten unterschiedlich sein. Dies steht im Einklang mit der aktuellen klinischen Praxis, da unterschiedliche Gewebetypen in aktuellen histopathologischen Arbeitsabläufen häufig leicht unterschiedlich behandelt werden44. Färbeverfahren werden üblicherweise „on the fly“ je nach Gewebetyp angepasst. Diese Modifikationen tragen wesentlich zur Variabilität der H&E-Färbung bei, die im Manuskript hervorgehoben wird. Um eine optimale Färbung zu gewährleisten, müssen Pathologen daher möglicherweise vor der Färbung den Gewebetyp (z. B. Haut, Gehirn, Brust) angeben. Künftige Arbeiten werden sich auf die Entwicklung mehrerer Kolorierungsmodelle für andere einzelne Gewebetypen wie Gehirn und Brust sowie verschiedene Färbungen konzentrieren.

Obwohl die aktuelle Studie auf Gewebeschnitte beschränkt war, um eine Eins-zu-eins-Übereinstimmung mit H&E aus demselben Gewebe zu haben, liefert die TA-PARS-Mikroskopie auch hochauflösende Bilder von frisch resezierten Geweben36. Die direkte Erfassung von Hämatoxylin- und Eosin-Kontrasten kann möglicherweise eine vergleichbare Färbung von Frischgewebe ermöglichen. In naher Zukunft werden formalisierte klinische Studien durchgeführt, um die virtuelle H&E von TA-PARS zu validieren und mit herkömmlichen Visualisierungen zu vergleichen. Sobald diese Validierung abgeschlossen ist und die Genauigkeit der Färbungen beweist, kann das vorgeschlagene System direkt in großen resezierten Gewebeproben eingesetzt werden. Beim Übergang zu größerem Gewebe bietet die TA-PARS-Bildgebung weitere potenzielle Vorteile gegenüber der Standard-H&E. Zusätzlich zu der deutlich verkürzten Zeit bis zur Diagnose entfernt diese Technik, wenn sie auf frisches Gewebe angewendet wird, zahlreiche präanalytische Variablen wie die Zeit seit der Devitalisierung, die Zeit von der Devitalisierung bis zur Fixierung, den Zeitpunkt der Fixierung und die Variabilität der Fixierung je nach Entfernung vom Gewebe Oberfläche und Färbungsvariabilität.

Dies könnte die Konsistenz der Histologiebewertung verbessern, indem die bedienerabhängige Variabilität bei der Gewebeverarbeitung beseitigt wird. Es sollte jedoch beachtet werden, dass die direkte Validierung des TA-PARS in großen resezierten Geweben weitere Herausforderungen mit sich bringen kann. Es gibt keine allgemein anerkannten Techniken zur Durchführung histologischer Analysen an großen resezierten Geweben. Daher kann es schwierig sein, auf einen direkten Vergleich zur Validierung der TA-PARS-markierungsfreien Bilder zuzugreifen. Der geplante Ansatz besteht darin, große Gewebeproben mit dem TA-PARS abzubilden und diese Proben dann durch den standardmäßigen histopathologischen Arbeitsablauf zu verarbeiten. Dadurch werden im Großen und Ganzen vergleichbare virtuelle und traditionelle H&E-Visualisierungen von TA-PARS bereitgestellt. Die diagnostischen Details der virtuellen H&E-Bilder von TA-PARS und der entsprechenden traditionellen H&E-Bilder werden dann durch verblindete Validierungsstudien verglichen. Obwohl die Visualisierungen zwischen PARS und H&E unterschiedlich sein können, sollte die Diagnose bei jeder Probe identisch sein, da die FFPE-Präparation die Gewebestruktur und -chemie verändert. Daher kann dieser Ansatz einen Eins-zu-Eins-Diagnosevergleich zwischen den TA-PARS-Bildern und der aktuellen Goldstandardmethode erleichtern. Im Idealfall kann diese direkte Validierung anhand von großen, unverarbeiteten, resezierten Gewebeproben den Weg für die klinische Anwendung ebnen.

Zusammenfassend wurde ein Framework für die H&E-ähnliche virtuelle Färbung von markierungsfreien TA-PARS-Bildern entwickelt. Die vorgeschlagene Methode nutzt die direkt von allen drei TA-PARS-Kanälen (Strahlungsabsorption, nichtstrahlende Absorption und Streuung) erfassten Informationen und stellt ein robustes Modell bereit, das erfolgreich H&E-ähnliche Visualisierungen von Gewebeproben generiert. Die Versorgung des Modells mit den multimodalen Daten liefert eine Fülle von Daten, die kein einzelner Modus bietet. Dies kann die Gesamtqualität der Kolorierung deutlich verbessern. Konkret zielt diese Methode darauf ab, Rückschlüsse auf Gewebemerkmale zu vermeiden, um diagnostisch genaue Einfärbungen zu erzielen. Bei Anwendung in dünnen Schnitten menschlichen Hautgewebes erreicht die vorgeschlagene Methode einen hohen Grad an Übereinstimmung zwischen der virtuellen Färbung und der histologischen Goldstandardfärbung. Dermatopathologen, die die TA-PARS-Farbbilder überprüften, bestätigten einstimmig die diagnostische Angemessenheit dieser Ergebnisse. Vier unabhängige Pathologen gaben an, dass die Färbung, Auflösung und der Kontrast als H&E-Ersatz akzeptabel sind. In klinischen Umgebungen angewendet, kann dies die Abbildung ungefärbter Gewebe ermöglichen und direkt H&E-ähnliche Visualisierungen erzeugen. Eine solche Technik könnte die Zeit für die histologische Bildgebung verkürzen und gleichzeitig die Variabilität der Färbung verringern, indem die Bedienerabhängigkeit innerhalb des histochemischen Färbeprozesses beseitigt wird. In Zukunft werden weitere Untersuchungen zu verschiedenen Gewebetypen und verschiedenen Färbearten durchgeführt. Wir gehen davon aus, dass dieser Ansatz den Weg für eine schnelle, markierungsfreie histologische Bildgebung von Geweben ebnen wird, was einen wichtigen Schritt in Richtung intraoperativer Mikroskopie zur Diagnose und Randbeurteilung darstellt.

Die Daten, die die Ergebnisse dieses Manuskripts stützen, sind auf begründete Anfrage beim entsprechenden Autor, PHR, erhältlich.

Baxi, V., Edwards, R., Montalto, M. & Saha, S. Digitale Pathologie und künstliche Intelligenz in der translationalen Medizin und der klinischen Praxis. Mod. Pathol. 35, 23–32 (2022).

Artikel CAS Google Scholar

Fischer, AH, Jacobson, KA, Rose, J. & Zeller, R. Hämatoxylin- und Eosin-Färbung von Gewebe- und Zellschnitten. Kalter Frühling Harb. Protokoll. 2008, pdb.prot4986 (2008).

Histopathologie: Methoden und Protokolle. Bd. 1180 (Springer, 2014).

Kang, L., Li, Photoakustik 25, 100308 (2022).

Artikel Google Scholar

Jaafar, H. Intraoperative Gefrierschnittberatung: Konzepte, Anwendungen und Einschränkungen. Malaien. J. Med. Wissenschaft. MJMS 13, 4–12 (2006).

PubMed Google Scholar

Rivenson, Y. et al. PhaseStain: Die digitale Färbung markierungsfreier Bilder der quantitativen Phasenmikroskopie mithilfe von Deep Learning. Lichtwissenschaft. Appl. 8, 23 (2019).

Artikel ADS Google Scholar

Li, J. et al. Biopsiefreie virtuelle In-vivo-Histologie der Haut mithilfe von Deep Learning. Lichtwissenschaft. Appl. 10, 233 (2021).

Artikel ADS CAS Google Scholar

Fereidouni, F. et al. Mikroskopie mit ultravioletter Oberflächenanregung für eine schnelle, rutschfreie Histologie. Nat. Biomed. Ing. 1, 957–966 (2017).

Artikel CAS Google Scholar

Xie, W. et al. Mikroskopie mit ultravioletter Oberflächenanregung zur großflächigen Pathologie von Brust-Operationsrändern. J. Biomed. Opt. 24, 1 (2019).

Artikel Google Scholar

Nguyen, FT et al. Intraoperative Beurteilung der Brusttumorränder mittels optischer Kohärenztomographie. Krebs Res. 69, 8790–8796 (2009).

Artikel CAS Google Scholar

Fine, JL, Kagemann, L., Wollstein, G., Ishikawa, H. & Schuman, JS Direktes Scannen pathologischer Proben mithilfe der optischen Kohärenztomographie im Spektralbereich: Eine Pilotstudie. Augenchirurg. Lasers Imaging Retina 41, S58–S64 (2010).

Artikel Google Scholar

Jung, W. & Boppart, SA Moderne Trends in der Bildgebung V: Optische Kohärenztomographie für schnelles Gewebescreening und gerichtete histologische Schnitte. Anal. Zelle. Pathol. 35, 129–143 (2012).

Artikel Google Scholar

Rivenson, Y. et al. Virtuelle histologische Färbung unbeschrifteter Gewebe-Autofluoreszenzbilder mittels Deep Learning. Nat. Biomed. Ing. 3, 466–477 (2019).

Artikel CAS Google Scholar

Yao, D.-K., Maslov, K., Shung, KK, Zhou, Q. & Wang, LV In vivo markierungsfreie photoakustische Mikroskopie von Zellkernen durch Anregung von DNA und RNA. Opt. Lette. 35, 4139–4141 (2010).

Artikel ADS CAS Google Scholar

Zhang, C., Zhang, YS, Yao, D.-K., Xia, Y. & Wang, LV Markierungsfreie photoakustische Mikroskopie von Cytochromen. J. Biomed. Opt. 18, 020504 (2013).

Artikel ADS Google Scholar

Wong, TTW et al. Schnelle, markierungsfreie, mehrschichtige, histologieähnliche Bildgebung von menschlichem Brustkrebs durch photoakustische Mikroskopie. Wissenschaft. Adv. 3, e1602168 (2017).

Artikel ADS Google Scholar

Wong, TTW et al. Markierungsfreie automatisierte dreidimensionale Bildgebung ganzer Organe durch Mikrotomie-unterstützte photoakustische Mikroskopie. Nat. Komm. 8, 1386 (2017).

Artikel ADS Google Scholar

Goodfellow, IJ et al. Generative gegnerische Netzwerke. arXiv:1406.2661 Cs Stat (2014).

Glaser, AK et al. Lichtblattmikroskopie für die objektträgerfreie, zerstörungsfreie Pathologie großer klinischer Proben. Nat. Biomed. Ing. 1, 0084 (2017).

Artikel Google Scholar

Orringer, DA et al. Schnelle intraoperative Histologie von unverarbeiteten chirurgischen Proben mittels faserlaserbasierter stimulierter Raman-Streuungsmikroskopie. Nat. Biomed. Ing. 1, 0027 (2017).

Artikel Google Scholar

Sarri, B. et al. Stimulierte Raman-Histologie: Eins-zu-eins-Vergleich mit der Standard-Hämatoxylin- und Eosin-Färbung. Biomed. Opt. Express 10, 5378 (2019).

Artikel CAS Google Scholar

Freudiger, CW et al. Markierungsfreie biomedizinische Bildgebung mit hoher Empfindlichkeit durch stimulierte Raman-Streuungsmikroskopie. Wissenschaft 322, 1857–1861 (2008).

Artikel ADS CAS Google Scholar

Ji, M. et al. Schnelle, markierungsfreie Erkennung von Hirntumoren mit stimulierter Raman-Streuungsmikroskopie. Wissenschaft. Übers. Med. 5, (2013).

Min, E. et al. Serielle optische Kohärenzmikroskopie für die markierungsfreie volumetrische Histopathologie. Wissenschaft. Rep. 10, 6711 (2020).

Artikel ADS CAS Google Scholar

Fabelo, C. et al. Bewertung der optischen Kohärenztomographie zur Beurteilung des chirurgischen Randes von Brusttumoren bei Hunden. Tierarzt. Komp. Oncol. 19, 697–706 (2021).

Artikel Google Scholar

Ha, R. et al. Optische Kohärenztomographie: Eine neuartige bildgebende Methode zur Beurteilung des Brustrandes nach Lumpektomie – Eine Multi-Reader-Studie. Acad. Radiol. 25, 279–287 (2018).

Artikel Google Scholar

Vakoc, BJ, Fukumura, D., Jain, RK & Bouma, BE Krebsbildgebung durch optische Kohärenztomographie: Präklinischer Fortschritt und klinisches Potenzial. Nat. Rev. Cancer 12, 363–368 (2012).

Artikel CAS Google Scholar

Huang, Y. et al. Die optische Kohärenztomographie erkennt nekrotische Regionen und quantifiziert mehrzellige Tumorsphäroide volumetrisch. Krebs Res. 77, 6011–6020 (2017).

Artikel CAS Google Scholar

Croce, AC & Bottiroli, G. Autofluoreszenzspektroskopie und Bildgebung: Ein Werkzeug für biomedizinische Forschung und Diagnose. EUR. J. Histochem. https://doi.org/10.4081/ejh.2014.2461 (2014).

Artikel PubMed PubMed Central Google Scholar

Chen, Y.-C. et al. Laseremissionsbildgebung von nuklearen Biomarkern für die kontrastreiche Krebsvorsorge und Immundiagnose. Nat. Biomed. Ing. 1, 724–735 (2017).

Artikel CAS Google Scholar

Kretschmer, S. et al. Autofluoreszenz-Multiphotonenmikroskopie zur Visualisierung der Gewebemorphologie und Zelldynamik in den Atemwegen von Mäusen und Menschen. Labor. Investieren. 96, 918–931 (2016).

Artikel CAS Google Scholar

Imai, T. et al. Hochdurchsatz-Ultraviolett-Photoakustikmikroskopie mit multifokaler Anregung. J. Biomed. Opt. 23, 1 (2018).

Artikel Google Scholar

Shi, J. et al. Hochauflösende, kontrastreiche Bildgebung frischer biologischer Proben im mittleren Infrarotbereich mit ultraviolettlokaler photoakustischer Mikroskopie. Nat. Photonics 13, 609–615 (2019).

Artikel ADS CAS Google Scholar

Bell, K. et al. Virtuelle Histologie im Reflexionsmodus mittels photoakustischer Fernerkundungsmikroskopie. Wissenschaft. Rep. 10, 19121 (2020).

Artikel ADS CAS Google Scholar

Ecclestone, BR et al. Dreidimensionale virtuelle Histologie in unverarbeitetem reseziertem Gewebe mit photoakustischer Fernerkundungsmikroskopie (PARS) und optischer Kohärenztomographie (OCT). Wissenschaft. Rep. 11, 13723 (2021).

Artikel ADS CAS Google Scholar

Ecclestone, BR et al. Markierungsfreie vollständige Absorptionsmikroskopie mit photoakustischer Fernerkundung der zweiten Generation. Wissenschaft. Rep. 12, 8464 (2022).

Artikel ADS CAS Google Scholar

Hajireza, P., Shi, W., Bell, K., Paproski, RJ & Zemp, RJ Nicht-interferometrische photoakustische Fernerkundungsmikroskopie. Lichtwissenschaft. Appl. 6, e16278–e16278 (2017).

Artikel ADS CAS Google Scholar

Abbasi, S. et al. Mikroskopische Histologie im rein optischen Reflexionsmodus von ungefärbtem menschlichem Gewebe. Wissenschaft. Rep. 9, 13392 (2019).

Artikel ADS Google Scholar

Isola, P., Zhu, J.-Y., Zhou, T. & Efros, AA Bild-zu-Bild-Übersetzung mit bedingten gegnerischen Netzwerken. im Jahr 2017 IEEE-Konferenz zu Computer Vision und Mustererkennung (CVPR) 5967–5976 (IEEE, 2017). https://doi.org/10.1109/CVPR.2017.632.

Goshtasby, A. Bildregistrierung durch lokale Näherungsverfahren. Bild Vis. Berechnen. 6, 255–261 (1988).

Artikel Google Scholar

Mirza, M. & Osindero, S. Bedingte generative gegnerische Netze. arXiv:1411.1784 Cs Stat (2014).

Wang, Z., Bovik, AC, Sheikh, HR & Simoncelli, EP Bildqualitätsbewertung: Von der Fehlersichtbarkeit zur strukturellen Ähnlichkeit. IEEE Trans. Bildprozess. 13, 600–612 (2004).

Artikel ADS Google Scholar

Wolf, JC & Maack, G. Bewertung der Glaubwürdigkeit histopathologischer Daten in Umweltstudien zur endokrinen Toxizität: Glaubwürdigkeit histopathologischer Daten in Umweltstudien. Umgebung. Toxicol. Chem. 36, 601–611 (2017).

Artikel CAS Google Scholar

Chapman, CM Fehlerbehebung im Histologielabor. J. Histotechnol. 42, 137–149 (2019).

Artikel Google Scholar

Referenzen herunterladen

Die Autoren möchten dem Cross-Cancer Institute in Edmonton, Alberta, für die Bereitstellung menschlicher Hautgewebeproben danken. Die Autoren danken außerdem Dr. Gilbert Bigras, Dr. Marie Abi Daoud, Dr. Charlene Hunter und Dr. Karen Naert für ihre fachmännische pathologische Überprüfung der TA-PARS-Bilder. Die Autoren danken den folgenden Quellen für die Finanzierung dieses Projekts. Natural Sciences and Engineering Research Council of Canada (DGECR-2019-00143, RGPIN2019-06134); Kanada-Stiftung für Innovation (JELF #38000); Mitacs Accelerate (IT13594); Startkapital der University of Waterloo; Zentrum für Bioingenieurwesen und Biotechnologie (CBB Seed Fund); illumiSonics Inc (SRA #083181); Neue Grenzen im Forschungsfonds – Exploration (NFRFE-2019-01012).

PhotoMedicine Labs, Systems Design Engineering, University of Waterloo, Waterloo, ON, N2L 3G1, Kanada

Marian Boktor, Benjamin R. Ecclestone, Vlad Pekar und Parsin Haji Reza

illumiSonics, Inc., 22 King Street South, Suite 300, Waterloo, ON, N2J 1N8, Kanada

Benjamin R. Ecclestone und Vlad Pekar

Cross Cancer Institute, Abteilung für Onkologie, University of Alberta, 116 St und 85 Ave, Edmonton, AB, T6G 2V1, Kanada

Deepak Dinakaran & John R. Mackey

Systems Design Engineering, University of Waterloo, Waterloo, ON, N2L 3G1, Kanada

Paul Fieguth

Sie können diesen Autor auch in PubMed Google Scholar suchen

MB implementierte das Framework, führte die Experimente durch, erstellte die Abbildungen und verfasste das Hauptmanuskript. BRE sammelte die TA-PARS-Bilder und half beim Schreiben des Manuskripts. VP half bei der Planung der Experimente und der Aufbereitung der Ergebnisse. DD und JRM arbeiteten an der Vorbereitung und Entnahme von Gewebeproben, gaben klinisches Feedback zu den Ergebnissen und führten die klinische Beratung bei der Bewertung der Ergebnisse durch. PF half bei der Planung der Experimente und beriet beim Verfassen von Manuskripten. PHR leitete und organisierte als Hauptforscher das Projekt und die Erstellung des Manuskripts. Alle Autoren haben das Manuskript überprüft.

Korrespondenz mit Parsin Haji Reza.

Die Autoren BRE, VP, DD, JRM und PHR sind finanziell an IllumiSonics beteiligt, das die PhotoMedicine Labs finanziert hat. Die Autoren MB und PF erklären keine Interessenkonflikte.

Springer Nature bleibt neutral hinsichtlich der Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten.

Open Access Dieser Artikel ist unter einer Creative Commons Attribution 4.0 International License lizenziert, die die Nutzung, Weitergabe, Anpassung, Verbreitung und Reproduktion in jedem Medium oder Format erlaubt, sofern Sie den/die Originalautor(en) und die Quelle angemessen angeben. Geben Sie einen Link zur Creative Commons-Lizenz an und geben Sie an, ob Änderungen vorgenommen wurden. Die Bilder oder anderes Material Dritter in diesem Artikel sind in der Creative Commons-Lizenz des Artikels enthalten, sofern in der Quellenangabe für das Material nichts anderes angegeben ist. Wenn Material nicht in der Creative-Commons-Lizenz des Artikels enthalten ist und Ihre beabsichtigte Nutzung nicht gesetzlich zulässig ist oder über die zulässige Nutzung hinausgeht, müssen Sie die Genehmigung direkt vom Urheberrechtsinhaber einholen. Um eine Kopie dieser Lizenz anzuzeigen, besuchen Sie http://creativecommons.org/licenses/by/4.0/.

Nachdrucke und Genehmigungen

Boktor, M., Ecclestone, BR, Pekar, V. et al. Virtuelle histologische Färbung der markierungsfreien photoakustischen Fernerkundung mit Totalabsorption (TA-PARS). Sci Rep 12, 10296 (2022). https://doi.org/10.1038/s41598-022-14042-y

Zitat herunterladen

Eingegangen: 28. März 2022

Angenommen: 31. Mai 2022

Veröffentlicht: 18. Juni 2022

DOI: https://doi.org/10.1038/s41598-022-14042-y

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein Link zum Teilen verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt

Licht: Wissenschaft und Anwendungen (2023)

Durch das Absenden eines Kommentars erklären Sie sich damit einverstanden, unsere Nutzungsbedingungen und Community-Richtlinien einzuhalten. Wenn Sie etwas als missbräuchlich empfinden oder etwas nicht unseren Bedingungen oder Richtlinien entspricht, kennzeichnen Sie es bitte als unangemessen.