QlikView + Qlik Sense Blog von Heldendaten

Vergangene Woche ist Qlik Sense 2.0 erschienen, und natürlich haben wir unsere Demo-Umgebung demo.heldendaten.net sofort hochgezogen. Einen guten Überblick bekommen Sie in diesem einstündigen Qlik Sense Getting Started Video.Wir wollen uns hier mit einem der herausstechenden neuen Feature beschäftigen: Qlik Sense Smart Data Compression.


Vor einiger Zeit hat der Security-Experte Mark Burnett 10 Millionen Datensätze mit Usernamen und Passwörtern veröffentlicht. Nein, kein neuer Leak irgendeines Netzwerks, sondern eine Benutzerdaten die schon bisher auf verschiedensten Wegen im Internet auffindbar waren. (Trotzdem hatte er wohl ein wenig Angst vor dem FBI). 10 Millionen Datenpunkte in eine einzelne Darstellung zu bekommen ist natürlich eine Herausforderung. Qlik Sense Smart Data Compression ist dabei äußerst dienlich.*

Smart Data Compression

Ich wolle eine schnelle Darstellung die zeigt, welche Passwörter von wievielen Usern benutzt werden. Ein normaler Scatterplot mit so vielen Datenpunkten ist nicht sehr hilfreich, weil die Datenpunkte überlappen würden. Smart Data Compression agiert hier wie eine Art  zoombare "Heatmap":

Smart Data Compression komprimiert die 2.8 Millionen Passwörter in eine Heatmap

Wir sehen durch die dünklere Blaufärbung, dass die meisten Personen ein  achtstelliges Passwort benutzen. Wenn wir mit dem Mausrad hineinzoomen, sehen wir, dass etwa 840.000 achtstellige Passwörter in unseren Daten enthalten sind.

6 bis 10 stellige Passwörter scheinen am gebräuchlichsten zu sein

Die populärsten Passwörter sind immer spannend: Selektiert man die oberen Ausreißer an der Y-Achse, so sieht man jene Passwörter die man besser nicht benutzen sollte: "qwerty", "123456" und Konsorten. Immerhin 62.621 User setzen auf eines dieser sechs Passwörter.

Zoom In jene Passwörter die von mehr als 5.000 Usern benutzt werden.

Aus den 2.8 Millionen Passwörtern die 6 häufigsten gefiltert! Bitte besser nicht benutzen!

An der X-Achse kann man die Länge der Passwörter wählen.  Wir sehen, dass es eine Person mit einem 42-stelligen Passwort gibt. Das scheint eine sichere Wahl zu sein (außer das Passwort wird eben geleakt). Wählen wir alle Passwörter mit 10-stellig bis 42-stellig, sehen wir dass nur 12,82% der 5 Millionen User ein mehr als 9 stelliges Passwort haben. Oder anders ausgedrückt: 87,18% haben ein kurzes Passwort, das man wohl mittels Brute Force innerhalb 6 Stunden knacken könnte.

Die Selektion an der X-Achse wählt die 641.184 User die ein >= 10 stelliges Passwort nützen

Die anderen 4.360.798 Benutzer haben Passwörter mit weniger als 10 Zeichen

Global Search

Sie wollen testen wie gebräuchlich Ihr eigenes Passwort ist? Benutzen Sie die Global Search in Qlik Sense. Wenn Ihr Lieblingspasswort "elvis" ist, teilen Sie sich das Passwort immerhin mit 181 anderen Personen. Das Passwort "beatles" ist zwar um 2 Zeichen länger, hat aber dafür gleich 246 Treffer. Also auch nicht sehr sicher.

Globale Suche nach Passwörtern in denen "elvis" vorkommt

Der King lebt in unseren Passwörtern weiter!

Wobei: die Beatles sind als Passwort noch beliebter!

Die Qlik Sense Applikation gibt es ausnahmsweise nur auf Anfrage; ein wenig Angst vor dem FBI haben wir auch, wenn die ganze Sache so einfach zum Analysieren ist wie mit Qlik Sense ☺.

Unterhalb das Video wie man die oben genannten Analysen mit Qlik Sense AdHoc durchführen kann.




* 10 Mio Datensätze waren für meinen 8GB RAM Laptop dann doch zu viel. Deswegen habe ich mittels dem Sample Load 5.001.982 Datensätze und damit 2.843.213 eindeutigen Passwörtern aus den Daten gezogen.