Heutzutage werdeb häufig neuronale Netze verwendet, um Muster in komplexen Daten zu erkennen - zum Beispiel, um Informationen über Krankheiten im Erbgut ausfindig zu machen. Leider bleibt es am Ende im Verborgenen, wie die Netzwerke letztlich die Entscheidung getroffen haben. Forscher am Fraunhofer HHI und der TU Berlin haben eine Software entwickelt, die einen Einblick in diese Blackbox erlaubt. Dadurch werden die Pixel in einer Heatmap fabrlich hervorgehoben, die besonders viel Einfluss auf die Entscheidung hatten.
Das VQA-System ist in der Lage Fragen zu Bildern zu beantworten. Auch hier werden parallel zur Antwort die Pixel im Bild hervorgehoben, die Einfluss auf die Beantwortung der Frage hatten.