Receipt Detection

Aitzetmüller Florian
5BI

Puchberger Mathias
5BI

Grömer Herbert

Die App-Developer Firma “helloagain” stand vor dem Problem, dass die Daten der Rechnungen, die sie von Kunden erhalten, bisher händisch analysiert werden mussten. Die Aufgabe war es, ein Programm zu entwickeln, welches sich auf die Erkennung von Rechnungen, sowie die Analyse der darauf ersichtlichen Daten fokussiert. Darüber hinaus galt es auch Duplikate von Rechnungen zu erkennen. Die eingehende Rechnung wird vom Kunden fotografiert und infolge automatisch auf einen Server geladen. Anschließend wird diese Rechnung durch einen Bildbearbeitungsalgorithmus geschickt. Dieser schneidet das Bild so zu, dass nur mehr die Rechnungsposition zu sehen ist. Zusätzlich wird die Rechnung, wenn sie verdreht ist, vertikal ausgerichtet. gebracht. Hinterher wird dieses Bild zum Dienst Google Cloud geschickt. Mittels der Cloud Vision API und der Funktion OCR (Optical Character Recognition) werden die Positionen der Rechnung mit den dazugehörigen Koordinaten in einer JSON Datei und lokal gespeichert. Als erstes werden BON-ID, Datum sowie Gesamtbetrag mittels „pattern-matching“ herausgefiltert und in einer Textdatei mit entsprechendem Bildnamen abgelegt. Um die Produkte auf der Rechnung zu erkennen, wird die JSON Datei durchsucht. Die erkannten Produkte werden anschließend in einer Textdatei in Tabellenform gespeichert. Zuletzt werden die Textdateien in Excel-Dateien umgewandelt, um im Tabellenanalyseprogramm „tableau“ das Verhalten der Kunden, auf Basis verschiedener Diagramme zu analysieren.