QlikView + Qlik Sense Blog von Heldendaten

Im Dezember 2014 habe ich im Artikel Happy Holiday mit QlikView - Feiertage aus dem Internet holen beschrieben, wie man mit sich mit dem Qlik Skript die Feiertage aus dem Internet holen kann. In der Zwischenzeit hat die Webseite http://www.feiertage-oesterreich.at/ die Feiertage bis 2025 ergänzt, aber leider auch gleich ihr Layout abgeändert. Zeit das Skript anzupassen!

Im Kern ist das Skript gleich geblieben, nur die HTML-Tabelle hat sich etwas geändert. Die Schleife läuft dafür bis ins Jahr 2025.

let vTable = 'Feiertage:';
for i = 2013 to 2025
       $(vTable)
       load
        BeschreibungFeiertag,
        Feiertag_Tag,
        Feiertag_Monat,
        $(i) as Feiertag_Jahr,
        makedate($(i),Feiertag_Monat,Feiertag_Tag) as DatumFeiertage,
        1 as flagFeiertag;
       load
        BeschreibungFeiertag,
        left(Datum,2) as Feiertag_Tag,
        mid(Datum,4,2) as Feiertag_Monat;
        
        LOAD right(@1,6) as Datum,
        @2 as BeschreibungFeiertag
       FROM
       [http://www.feiertage-oesterreich.at/$(i)]
       (html, utf8, no labels, table is @3) where trim(@3)='§';
       
       let vTable = 'concatenate(Feiertage)';

next

Mit ein wenig Firlefanz rundherhum sieht der Kalender dann so aus!

Feiertage 2016 in QlikView ...

... und Feiertage 2017 in Qlik Sense

Die gesamte Applikation für QlikView und Qlik Sense sowie als .csv und .qvd (falls sich das Webseiten Layout wieder ändert) finden Sie als Download hier.

PS: Achtung: 24. und 31. Dezember sind keine gesetzlichen Feiertage. Aber da sie jedes Jahr am gleichen Tag sind, lasse ich das als kleine Hausübung wenn Sie das Skript einsetzen möchten :-)

QlikView 12 ist Ende 2015 auf der Download-Seite verfügbar gemacht worden. Und endlich (erstmals seit QlikView 9) wurde auch das Entwickler-Team Bild wieder aktualisiert! Schön die alten (und viele neue) Kollegen mal wieder zu Gesicht zu bekommen :-)

In QlikView 12  GA wurde das DevTeam.jpg EasterEgg aktualisiert

Wie man bei unseren altem Blogpost von März 2013 nachlesen kann, war das versteckte Bild jetzt einige QlikView Versionen gleich geblieben. Nutzt man die .qvw Applikation in QlikView 12, sieht man jetzt das aktualisierte Bild. Danke an Johan Asplund, der diese alte Tradition scheinbar wieder zum Leben erweckt hat :-)

Erste Reviews und Änderungen findet man zB bei Rob Wunderlich. Bei einer Serverinstallation bitte momentan noch mit Bedacht vorgehen! Die Publisher Reloads dürften in einigen Fällen langsamer laufen als in QlikView 11.20SR13. Ein Workaround ist bekannt, wir raten unseren Kunden aber vorerst noch auf Version 11 zu bleiben.

Häufig wird bei Hardware Sizing nur über das Qlik Server Service gesprochen. Die harte Arbeit der Datenaufbereitung übernimmt in der Nacht jedoch das Publisher Modul. Viele kleinere bis mittlere Qlik Installationen nutzen für diese (nächtliche) Beladung die gleiche Maschine. Das geht oft gut, doch kämpfen Server und Publisher dann häufig um die gleichen Memory- und CPU-Ressourcen, was über die Zeit bei wachsenden Datenmengen zu unerwünschten Verhalten führt. Um die notwendigen Ressourcen für den Publisher besser monitoren zu können, installiert Qlik - gut versteckt - einige Indikatoren in Microsoft Perfmon.

Das QlikView Server Service ist sehr aggressiv in seiner Memory-Consumption. Ähnlich eines Datenbankservers reserviert es Memory (WorkingSet) vor, da es annimmt, das wichtigste Service am ganzen System zu sein. Auch in der Nacht hält das  QlikView Server Service sein Memory (vor allem wenn es das untere Workingset schon einmal erreicht hat), was dazu führt, dass für die Reloads nur wenig freier Speicher zur Verfügung steht. Laufen dann noch mehrere Reloads gleichzeitig, kann es mit Memory auf einer einzelnen Maschine schnell knapp werden.

Für QMC-Administratoren ist es oft schwierig zu sagen, wann wieviel Tasks gleichzeit laufen und wieviel Last vom Publisher (bzw den qvb.exe des Distribution Services) dabei produziert wird. Seit QlikView 11.20 SR7 kann man sich zwar in jedem TaskLog eine Summary zeigen lassen, das gibt aber kein vollständiges Bild wie sich die Beladungen über einen vollen Nacht-Zyklus inklusive aller Abhängigkeiten verhält.

Um zu verstehen was nächtens bei den Reloads am Server so passiert, gibt es ein gut verstecktes Feature: Das QlikView Distribution Service registriert einige Performance Counter Indikatoren in Microsoft's PerfMon Tool das in jeder Windows Version zur Verfügung steht.

PerfMon - Performance Counter Indikatoren vom QlikView Distribution Service

Nicht alle Indikatoren sind ganz verständlich (und werden wohl nur vom Qlik Support genutzt), aber um sich einen Überblick zu verschaffen, benutze ich gerne

• # of running tasks .. wieviele Tasks (qvb.exe) laufen gerade
• Current QVB CPU Load .. CPU Zeit die von den Reload Tasks verbraucht wird.
• Current QVB memory Usage .. den absoluten Wert kann ich nicht ganz nachvollziehen, aber er zeigt Arbeitsspeicher-Ausreißer bei großen JOINs usw.

Zusätzlich kann man einige Standard Windows-Indikatoren wie Arbeitsspeicher und Prozessorzeit (%) dazuhängen, um das Gesamtsystem zu überwachen.

Die nächsten Sceenhshots zeigen ein Beispiel wie Perfmon den Verlauf über die Zeit mitprotokolliert.



Die hellgrüne Linie zeigt die 4 gerade laufenden Tasks der QMC. Die Dunkelgrüne zeigt die Summe der verbrauchte CPU Zeit dieser Tasks (in Summe vier qvb.exe, in Screenshot sieht man nur eine qvb.exe im Taskmanager, da alle anderen gerade keine CPU verbrauchen). Rot+Blau gestrichelt zeigen den Zustand des gesamten Servers. Die gelbe Linie "Current QVB memory usage" kann ich in absoluten Zahlen nicht deuten, ist aber eine interessante Information um ressourcenfressende Skripte zu entdecken.

Werden die Reloads nach der Reihe fertig abgearbeitet, fallen auch die zwei grünen Linien entsprechend. Siehe unterhalb Screenshot mit nur noch einem laufenden Reloadtask.





Bei größeren Installationen - oder falls Sie viele untertägige Reloads fahren - empfehlen wir immer das Aufteilen der zwei Services "QlikView Server Service" und "QlikView Distribution Service (aka Publisher)".  Im Zeitalter der Virtualisierung und noch immer fallender Memory-Preise ist ein Deployment mit zwei Maschinen vorzuziehen. Beide Services können die vollen Ressourcen Ihrer Maschine nutzen, und kommen sich auch unter hoher Last nicht in die Quere.

Ein exemplarisches Deployment auf  zwei Maschinen für "PRODUKTIV"

 Wo das ManagementService und der Webserver läuft, ist zu vernachlässigen. Manchmal setzt man dafür auch eine dritte Maschine ein.

Es freut mich, dass bei der Qlik Geo-Extension unserer Wahl "NPGeoMap" die Entwicklung so rasant vorangeht. Die Version 2.5 kommt unter anderem mit Touch-Support für das IPAD sowie drei neuen Demos die die Möglichkeiten der Geo-Darstellungen eindrucksvoll zeigen.

Einen ersten Überblick über NPGeoMap können Sie sich auf heldendaten.net verschaffen. Noch besser Sie sehen sich aber gleich die 3 aktuellen Demos der neuen Version 2.5 an. Auf demo.heldendaten.net/qlikview können Sie unter der Kategorie "NPGeoMap" die Livedemos finden.

NPGeoMap 2.5 Demos auf demo.heldendaten.net

NPGeoMap Demo

In dieser Demo sieht man am Beispiel Österreich wie man die unterschiedlichsten Geodarstellungen als Polygone (Heatmaps auf Flächen), Strecken oder Marker auftragen kann.  Besonders die drei neuen Reiter am Ende der Demo möchte ich hervorheben:  über das neue Touchmenü kann man neben rechteckigen Flächen auch ein oder mehrere Kreise anlegen, und über STRG+Klick die selektierten Punkte dann auch auswählen. Siehe Screenshots unterhalb:

Über das Touchmenü rechts oben in der NPGeoExtension einen Kreis setzen

Über STRG+Klick die Punkte innerhalb des Kreises wählen

Am nächsten Reiter mit der Auswahl weiterarbeiten

NPGeoMap Flights

Diese Demo wurde für Qlik Sense dieses Jahr sogar auf der Qlik Partner Konferenz in Orlando vorgestellt. Es zeigt wie man NPGeoMap nutzen kann, um Flugverbindungen darzustellen. Unterhalb ein Screenshot aus der aktuellen Qlik View Demo.

NPGeoMap Flüge ab Wien

NPGeoMap UBahn

Wer nicht Wegfliegen möchte, aber trotzdem Strecken zu verbinden hat, findet vielleicht Gefallen an dieser Demo.  Die "verzerrte" Plandarstellung im UBahn-Wagon kann man sich also zukünftig sparen. Am Screenshot unterhalb sieht man die tatsächlichen Abstände und Verläufe zwischen den Stationen des Wiener UBahn Netzes.

NPGeoMap UBahn Linien in Wien

Ausblick

In einem der nächsten Einträge werde ich mich dann mit der NPGeoMap Version für Qlik Sense beschäftigen. Was ich bisher gesehen habe, gefällt mir das auch schon sehr gut!

Viele Videos und Inhalte zu Qlik Sense finden sich im Internet auf Englisch. Auch wenn man auf der Qlik Community postet, ist es oft zielführender englische Screenshots und Bezeichnungen zu nutzen. Ein deutschsprachiger Laptop zeigt aber Qlik Sense Desktop hartnäckig auf Deutsch an. Hier eine kurze Anleitung wie man das mittels Chrome (und ganz ähnlich in den anderen Browsern) ändern kann.

1) Im Chrome folgende URL eingeben: chrome://settings/languages

(bzw. unter "Einstellungen|Erweiterte Einstellungen anzeigen den Sprachdialog wählen")

Dort "Englisch" als Sprache auswählen und den Button "Google Chrome in dieser Sprache anzeigen" wählen!

Spracheinstellungen Chrome

Chrome schließen, damit die Änderungen übernommen werden.

2) Qlik Sense über das Windows Startmenü normal starten und im Hintergrund geöffnet lassen

3) Chrome wieder starten. http://localhost:4848/hub/ eingeben

 Nun läuft  Qlik Sense Desktop im Browser auf Englisch. Siehe Screenshot.

Qlik Sense Desktop im Browser auf Englisch

Der normale Qlik Sense Desktop im Windows-Startmenü ist weiterhin deutsch (da müsste man scheinbar tatsächlich in der Windows Systemsteuerung die Sprache umstellen)