Meine erste selbst kalibrierte Rasterkarte - Ein sehr langer Erfahrungsbericht

  • Hallo Leute,


    ich hatte vor nicht allzulanger Zeit als Laie mal angefragt, wie man eine Graphikdatei mit Karteninhalt aufbereiten muß, damit ich sie ähnlich wie die TOP50 Karten benutzen kann.


    Es kamen einige gute Hinweise, die mir natürlich nicht die Arbeit abnahmen, mich intensiv selbst mit der Sache zu beschäftigen. Nun habe ich die Lösung und will darüber kurz berichten. (Eher sehr lang, aber vielleicht kann ja jemand daraus lernen und Nutzen ziehen)


    Ausgangsdaten
    Von einem Webserver hatte ich per Saugskript eine angebotene Karte komplett in kleinen Kacheln heruntergeladen. Diese habe ich dann zusammengefügt, so daß ich letztendlich 21 Kacheln von jeweils 10.000 x 10.000 Pixeln hatte.


    Diese Karte gibt es leider, leider nicht auf DVD oder CD zu kaufen, sonst hätte ich mir die Mühen gespart. Das Kartenmaterial deckt eine Fläche von
    ca. 100 x 60 km in Maßstab 1:10.000 ab und ist m. E. ein optisch sehr gelunges Kartenwerk - mehr will ich dazu nicht sagen, der eine oder andere kann sich wahrscheinlich denken, welcher Geoserver geplündert wurde.


    Nun hatte ich die Kacheln und war soweit schon ganz glücklich. Richtig interessant würde es aber erst werden, wenn die Kacheln auch georeferenziert wären und blattschnittfrei gar nicht mehr als Kacheln in Erscheinung treten würden.


    Wahl des Programms und die erste Entäuschung


    Nun stand die Wahl des Navigationsprogramms auf der Agenda: OziExplorer, Fugawi oder TTQV. Alle hatten ihre Vorteile, wobei Fugawi und TTQV die mächtigeren Importmöglichkeiten für meine TOP50/TOP10 und MagicMaps Karten boten. Alle drei besitzen PDA Varianten und da ich ein Gerät demnächst zur straßenungebundenen Navigation anschaffen will, war dieser Punkt nicht unwichtig.


    OziExplore schien mir das am wenigsten komfortable Programm zu sein, aber man hörte aus dunklen Quellen, das irgendjemand die TOP25 für ganz Deutschland ins Netz gestellt hat und für OziExplorer kalibriert hat. Die Karten sollen ebenfalls in 10.000 x 10.000 Pixel Kacheln vorliegen.


    Das hörte sich ja ganz nach meinem Problem an. Ich bschäftigte mich daher mit OziExplorer und meinen Kacheln. Das Ergebnis war enttäuschend. Sicher konnte man auf einer einzelnen Kachel nun navigieren, aber meist war der interessante Teil auf mehreren Kacheln verteilt und eine blattschnittfreie Darstellung, wie ich sie vom GeoGrid Viewer oder MagigMaps gewohnt war, war das automatische Nachladen einer angrenzenden Kachel sicherlich nicht.


    Meine Wahl fiel dann letztendlich auf TTQV / Pathaway.


    Lösungsansatz 1


    Nun denn, dachte ich, fasse mehrere Kacheln zu einer Zusammen. Gesagt, getan, schnell 20.000 x 20.000 Kacheln gebaut. Das war immer noch nicht in Gesamtheit blattschnittfrei, ging aber schon besser. Leider war eine Kachel nun unkomprimiert im Speicher ca. 1.2 GByte groß. Mit 1 GByte Hauptspeicher kommt man da so allmählich an die Grenzen. Das Betrachten der Kachel in einem Bildbetrachter konnte man in Originalgröße vergessen und auch die Naviprogramme wurden nun sehr zäh. Wie der Teufel es so will, war auch nun der interessante Teil wieder auf zwei Kacheln.


    Lösungsansatz 2
    Ein Tipp hier im Forum war, das Format ECW oder SID zu benutzen. Beide kannte ich noch nicht. Nach einiger Suche war ich mir sicher, ECW den besseren Erfolg versprach. Alle drei Navi-Programme beherrschen es, ebenso das zuvor empfohlene Global Mapper. SID ist in etwas das Gleiche, nur von einem anderen Hersteller.


    Eine ECW Datei ist eine Graphik mit einem JPEG2000 verwandten Wavelet Kompressionsalgorithmmus. Das Format ist im GIS Bereich quasi ein etablierter Standard und kann direkt georeferenziert werden. Dutzende von Programme können dieses Format verwenden, es gibt kostenlose und freie Viewer und auch ein kostenloses und freies Plugin für Photoshop.


    Der Vorteil für mich ist dabei weniger die gute Datenkompression bei gleichzeitig hoher Bildqualität ohne Kompressionsartefakte, sondern eher der Umstand, daß nur der Teil entkomprimiert wird, der am Bildschirm angezeigt wird. Die übrige, riesige Graphik muß nicht komplett im Speicher sein, sondern wird bei Änderung des Bildausschnitts nachgeladen - blattschnittfreie Darstellung, wie ich sie haben wollte, nun auch in Fugawi, OziExplorer und TTQV.


    Wie erzeigt man nun die ECW Datei, war die nächste Frage. Es gab das Plugin für Photoshop, mit dem man ECW abspeichern konnte. Dazu mußte aber die gesamte Karte als einzelne Graphik vorliegen. Das wäre dann eine Graphikdatei mit 60.000 x 35.000 Bildpunkte.


    Die etlichen Unzulänglichkeiten
    Das Photoshop, daß ich zunächst nur bei einem befreundeten Graphiker benutzen konnte, war aber noch die Version 7. Diese Version hat eine Beschränkung auf maximal 30.000 x 30.000 Pixel. Erst in neueren Versionen wurde nach meiner Recherche die Beschränkung auf 300.000 x 300.000 Pixel erhöht.


    Also wie nun zusammenbauen und als ECW speichern? Zunächst man die Evaluationversion des Programm ER Mapper 7 heruntergeladen und installiert. Von der Herstellerfirma stammt das Format ECW und das sollte laut Google auch Kacheln automatisch zusammenfügen können.


    Zunächst einmal: ER Mapper macht beim ersten Start nichts her, ist aber ein hammerhartes Profiwerkzeug. Wirklich DIE Lösung für alle GIS Probleme - theoretisch. Praktisch ist die Evaluationsversion unbrauchbar.


    An allen Stellen beschränkt, selbst die Laufzeit am Stück ist für alle möglichen Funktionen beschränkt (z. B. die maximale Dauer, die ein Abspeichern in ECW haben darf). Das automatische Zusammenfügen der Kacheln geht auch nur, wenn alle zuvor georeferenziert wurden. Das ist aber mit ER Mapper gelinde gesagt gewöhnungsbedürftig, so daß ich das schnell leid war.


    Besonders wenn mittendrin gesagt wird: Nu ist Schluß, ich laufe nun lange genug und beende mich jetzt. Nix speichern, nur OK drücken ist erlaubt und tschüss. Aber Neustarten und nochmal anfangen darf man dann - aber nur 48 mal bis zum 10. September.


    Besser, dachte ich, die Kacheln irgendwie zusammenfügen und dann in ER Mapper als ECW Datei abspeichern und dann in OziFugQV kalibrieren. 60.000 x 35.000 Pixel Bilder sind für ER Mapper im Gegensatz zu allen andern Programmen prinzipiell kein Problem - selbst die werden innerhalb von Sekunden im Fenster dargestellt.


    Wie nun die Kacheln zusammenfügen? Einer empfahl Panavue ImageAssembler. Damit hatte ich nun gar keine guten Erfahrungen und außerdem ist bei der Normalversion bei 50.000 x 50.000 Pixeln eh Schluß. Der Profiversion habe ich aufgrund meiner früheren Erfahrungen auch kein gutes Ergebnis zugetraut.


    Da die Kacheln direkt aneinandergefügt werden können, entsann ich mich auf ImageMagick. Das ist eine Sammlung von Kommandozeilenprogrammen für Bildbearbeitung unter Unix, sehr mächtig, aber es gibt nur halt keine graphische Oberfläche dazu. Schnell die Windows Version heruntergeladen und damit im DOS Fenster alle Kacheln zu einer großen Datei zusammengefügen lassen.


    Als Ausgabeformat kam nur TIFF oder JPEG in Frage, da diese als Einzige 65.535 x 65.535 (also mit 16Bit adressierte) große Bilder beinhalten konnten. JPEG wollte ich nicht, da wieder Kompressionsartefakte reinkommen.


    Stunden später lag dann eine große (6,3 GByte) TIFF-Datei auf der Platte. Anschauen ging nicht, Photoshop wollte sie auch nicht, also rein in ER Mapper. Der lud - und brach ab - angeblich fehlerhafte TIFF Datei. Klar, doch, die berühmte 2 GByte Grenze für Dateien (bei AVI ist dort auch Schluß), grrr.


    Stunden später lag dann eine große (1,8 GByte) komprimierte TIFF-Datei auf der Platte. Anschauen ging nicht, Photoshop wollte sie auch nicht, also rein in ER Mapper. Der lud bis zur Hälfte - und brach ab - angeblich fehlerhafte TIFF Datei, grrr.


    Stunden später lag dann eine große (1,7 GByte) JPEG-Datei auf der Platte. Anschauen ging nicht, Photoshop wollte sie auch nicht, also rein in ER Mapper. Der lud bis zum ersten Drittel - und brach ab - angeblich fehlerhafte JPEG Datei, grrr.


    Nun habe ich mal die beiden letzten Dateien bei einem Kollegen mit dessen Photoshop CS2 V9 eingeladen. Siehe da, beide wurden korrekt angezeigt, von wegen Dateifehler. ER Mapper ist ein dummes Programm.


    Nun wollte ich hier das ECW Plugin installieren und damit abspeichern, trallala. Denkste, das Plugin wurde zwar installiert, aber Photoshop läßt bei Graphiken dieses Kalibers in seinem Abspeicherdialog nur drei Formate zu - zwei eigene und TIFF. ECW ist nur für Knödelsgraphiken unter 30.000 x 30.000 Pixel zu haben. An dieser Stelle habe erstmal in ein Kantholz gebissen....


    Die Lösung
    Eine letzte Idee ... Speichern wir die Karte doch nochmal als TIFF ab, vielleicht ist das Photoshop TIFF doch besser als das ImageMagick TIFF (beide waren LZW komprimiert, laut TIFF Spec v6 sollte da kein Unterschied sein). Und so war es auch. Dieses TIFF wollte ER Mapper nun endlich einladen und hat es als ECW Datei gespeichert.


    Der Import in OziFugQV funktionierte und ich sehe nun der einfachen Aufgabe der Kalibrierung entgegen. Endlich die blattschnittfreie Nutzung der großen Karte.

    3 Mal editiert, zuletzt von morty ()

  • Hallo morty,


    :respekt :) :respekt


    da hast du Pionierarbeit geleistet. Ich höre meist bei 10.000x10.000 Pixeln auf. . .


    Mich interessiert dein weiterer Erfahrungsbericht, wenn du die grosse Karte nach Pathaway exportierst. Da bin ich bei meinen Monsterkarten schon an Grenzen gestossen und musste die Karte teilen oder die Skalierung heruntersetzen.


    Grüsse - Anton

  • Ich muss mich dazu nun doch melden.


    @morty


    Du scheinst Dich mit OZI zu wenig beschäftigt zu haben. Da gibt es ein Programm MapMerge, mit dem man viele kleine Karten zu einer großen zusammensetzen kann.


    Meine Vorgehensweise wäre gewesen:


    Entweder jede der Kacheln einzeln georeferenzieren und mit Mapmerge zu einer großen Karte zusammenzufügen.


    Oder eine Gruppe von Kacheln zusammenfügen. Da wäre Photoschop sicher nicht ausgestiegen. Georeferenzieren und wenn Du die Kacheln nach Deinen Wandergwohnheiten zusammengesetzt hast, kannst Du sie sofort benutzen.


    Warum so eine große Monsterkarte?


    Wobei dann noch zu fragen ist, inwieweit TTQV in der Lage ist, das Material sinnvoll zu komprimieren, damit man es auf dem PDA benutzen kann.

    Einmal editiert, zuletzt von fermoll_ps ()

  • Moin!


    Zitat

    Original von morty
    ER Mapper ist ein dummes Programm.


    Stimmt, ich stehe im Moment vor einem ähnlichen Problem, und ER Mapper wird sehr, sehr träge, sobald man ~500 2048x2048 Pixel große Kacheln mit dem Mosaic Wizard zusammenfügt hat. Vielleicht lohnt es, sich in dessen Skriptsprache einzuarbeiten, so muss ich erst einmal in Teilbereichen arbeiten. MapMerge dagegen traue ich in der Hinsicht nicht unbedingt mehr zu (bei mir scheitert es ja nicht an einer Größenbegrenzung, sondern die Datenmenge ist zu groß). Auch diese Daten sind nicht georeferenziert, ich hatte dabei den Weg gewählt, Worldfiles in einer halbautomatisierten Aktion zu erzeugen ;D


    Gruß
    HK2000

  • Wozu braucht Ihr die großen Karten? Habt Ihr alle 2GB CF- oder SD-Cards. Wenn ich wandern will, brauche ich eine Karte mit ca. 30km Kantenlänge. Auf dem Rad suche ich mir die nötigen Kacheln aus und verbinde sie mit MapMerge.

  • Ist bei mir keine Karte, sondern ein höher aufgelöstes Orthofoto. Da sind 2048x2048 Pixel schon etwas wenig. Außerdem kann man so in Global Mapper nur etwa 50 Kacheln am Stück laden, da hat man kaum einen Überblick. ;D


    Als große ECW-Datei ist das um Längen besser zu handhaben, mir geht es dabei mehr um das Betrachten am PC, da in nächster Zeit bei mir kein Urlaub in dieses Gebiet ansteht ;D


    Gruß
    HK2000

  • Zitat

    Original von fermoll_ps
    Wozu braucht Ihr die großen Karten? Habt Ihr alle 2GB CF- oder SD-Cards. Wenn ich wandern will, brauche ich eine Karte mit ca. 30km Kantenlänge. Auf dem Rad suche ich mir die nötigen Kacheln aus und verbinde sie mit MapMerge.

    Hallo fermoll_ps,


    du hast Recht, ich habe GBs an Kartendaten auf meinem PDA :) - doch das ist nicht der Grund für die Monsterkarten.


    Wie HK2000 schon erwähnt hat, gibt es im Netz hoch aufgelöste Ortofotos, topografische Karten und DGKs bis 1:2.500. Da käme ich bei La Palma im Massstab 1:5.000 für 60km x 30km so etwa auf 60.000 x 30.000 Pixel.


    Der einzige Grund für solche Monsterkarten ist, dass die Daten verfügbar sind ;D


    Grüsse - Anton


    PS: jetzt warte ich nur noch darauf, dass GE auch ECW-Dateien lesen kann . . .

  • Zitat

    Original von macnetz
    PS: jetzt warte ich nur noch darauf, dass GE auch ECW-Dateien lesen kann . . .


    DAS wäre ja mal genial :D


    Oder wie in World Wind Einbindung von WMS-Servern. Die Orthofotos von NRW (per OneEarth Addon) sehen dadrin auch schon nett aus, laden nur leider etwas langsam ;D


    Gruß
    HK2000

  • Zitat

    Original von macnetz
    [PS: jetzt warte ich nur noch darauf, dass GE auch ECW-Dateien lesen kann . . .


    Hallo ,


    .... Ich werde den Verdacht nicht los, daß GE ohnedies streaming .ecw kurz: ecwp liest. Da meine protocoll analyzer auf diesem Auge blind sind :D müßt ich mir was besseres einfallen lassen oder weiß jemand konkret, welches Streaming Protokoll GE verwendet. Ich habe dazu nichts erhellendes gefunden.



    @Anton,
    Vielleicht möchtest Du, daß GE zur Abwechslung auch auch lokales .ecw Dateien liest und einbindet?


    Sozusagen: Hybrid-Karten aus GE-Sat-Karten und eigenen .ecw-Karten


    Das wäre schon eine tolle Sache


    HK2000,


    Habe ich Dich richtig verstanden ?
    World Wind erlaubt die Einbindung von eigenen WMS-Servern?



    ciao - Hans

  • Zitat

    Original von Brusi


    HK2000,


    Habe ich Dich richtig verstanden ?
    World Wind erlaubt die Einbindung von eigenen WMS-Servern?


    Moin Hans!


    Ganz genau, und für viele existieren auch schon xml-Dateien mit den passenden Einstellungen, anbei ein Screenshot ;D


    Bei GE findet mein Schnüffler solche Aufrufe http://kh.google.com/flatfile?f1-xxxx-i.xx


    Gruß
    HK2000

  • Hallo Morty,


    Zu Deinem Vorstoß ins Land der 60.000 x 35.000 Pixel Karten-Bilddateien
    gebührt Dir wie jedem "Polarforscher" großes Lob und Anerkennung.


    :respekt Tolle Arbeit - Morty :applaus


    Erstmal völlig unabhängig von diversen Fragen dazu, wozu man so riesige Karten braucht , interessieren mich Deine Erfahrungen mit den Grenzwerten der diversen eingesetzten Programme, wie Du schon angedeutet hast.


    Danach können wir noch immer darüber diskutieren warum Du diesen Weg und nicht einen anderen eingeschlagen hast.
    Natürlich wären auch andere Wege denkbar und zielführend gewesen - aber eben nur bei entsprechend kleineren Karten.


    Da Du von Saug-Scripts sprichst, wären nicht auch Scripts denkbar gewesen, die jede einzelne Kachel anschliessend georeferenziert abspeichert ? Hast Du Dir das mal durch den Kopf gehen lassen ? Oder gab es Gründe, das bleiben zu lassen ? Diese Mosaike zusammenzusetzten ist ja schon einfacher.


    Was ist denn die größte .ecw Datei, die Du abspeichern konntest - und mit welchen Programm - ER Mapper?
    xxxx pixel X ..... pixel - ..... Dateigröße: ... MByte


    Was kannst Du uns zu ImageMagick noch berichten?
    Ich habe es vor 1 Jahr im Zuge eines Systemwechsels von meiner Platte gelöscht / nicht wieder installiert.


    Wir sind sehr an Deinen Erfahrungen inklusive aller Irrwege ( auf denen wir gelegentlich lustvoll wandeln) interessiert


    ciao - Hans

  • Zitat

    Original von HK2000
    Bei GE findet mein Schnüffler solche Aufrufe http://kh.google.com/flatfile?f1-xxxx-i.xx
    HK2000


    Hallo HK2000


    nix http:// ... anderes Protokoll der Ebene 8 ist gesucht.
    ecwp:// ?? oder anderes ?
    Das kennen meine Sniffer nicht :D. Du hast aber sicher hervorragendes Werkzeug dafür?


    Danke für obigen Screenshot


    ciao - Hans

  • Hallo Morty,


    gibt es einen kleinen Tip, welche Karten umd Web site Du gemeint hast.
    Damit ich mal googlen kann
    GRuß


    Sinn42

  • Oje, viele Fragen - ich werde versuchen sie zu beantworten :)


    Warum eine so große Karte?
    Weil mir das Anschauen einer so großen und kompletten Karte einfach Spaß macht. Genau, wie ich auch lange eine Papierkarte ohne konkreten Anlass studieren kann.


    Ich benutze oft die TOP50 oder MagicMaps und scrolle einfach mal hierhin, mal dahin und habe Freude daran neues zu entdecken und altes aus neuen Blickwinkeln zu betrachten.


    Genau das wollte ich mit dieser Karte ein erster Linie auch tun. Alles andere (wie die GPS Navigation) ist zwar ein nettes nice-to-have, aber war nicht das primäre Ziel. Theoretisch hätte es für mich auch nur eine große Graphik getan, wenn sie nicht so riesig groß und damit unhandbar gewesen wäre.


    Warum keine Georeferenzierung beim Saugskript?
    Aus dem gleichen Grund, wie oben. Zunächst war gar keine Navigationsverwendung vorgesehen, erst später kam die Idee, als ich die Daten alle schon hatte.


    Zum zweiten muß man die Kleinkacheln von Server mit Überlappung herunterladen, da ansonsten häßlichen Randstreifen und (C)-Texte beim Zusammensetzen entstanden. Damit wäre eine Automation ungleich schwieriger geworden und hätte gute, von außen steuerbare (z.B. durch VBA) Stitchingrogramme erfordert (ich kenne keines, was mich wirklich überzeugt) oder ER Mapper (das kannte ich damals auch noch nicht).


    Warum nicht OZI Merge Map?
    Zuerst: Ich kannte Ozi's MergeMap gar nicht. Das Georeferenzieren jeder einzelnen Kachel erscheint mir auch mühsam, ich mache das lieber einmal mit der großen Karte.


    Die Kacheln mit Photoshop zusammenfügen, scheiterte an der Datenmenge und der max. Bildgröße in Photoshop. Selbst in der aktuellen Version mit 300.000 x 300.000 Pixeln wäre das Verschieben und Aneinandereihen der 20.000 x 20.000 Kacheln zu einer Großen eine Strafarbeit gewesen, wo jede Mausbewegung mit minutenlanger Auslagerungsdateinutzung bestraft worden wäre.


    Warum eine ECW Datei?
    Die Wahl auf ECW viel vor allen aufgrund der weiten Verbreitung, schließlich will ich kein Format haben, daß in zwei Jahren keiner mehr kennt. Vorsichtshalber habe ich auch noch die originale TIFF Datei archiviert.


    Maximal Größe der ECW Datei?
    Das war mein erster Versuch mit ECW. Die Maximalgrenzen kenne ich nicht, schienen mir aber aufgrung der profesionellen Verwendung im GIS Bereich hinreichend weit zu sein. Die Dateigröße hängt wie bei jedem Wavelet basierenden Verfahren von der gewählten Kompressionsstärke ab.


    Kann die Datei auf PDA überhaupt exportiert werden?
    Keine Ahnung. Das habe ich auch gar nicht vor. Ich würde für Wanderugen auch nur geeignete Auschnitte daraus verwenden. Ich bin zwar gut zu Fuß aber 100 km am Stück wäre doch übertrieben und bei nur 55 km (das hab ich schon am Stück geschafft) würde ich einen anderen Maßstab wählen.


    Was sind das eigentlich für Kartendaten bzw. welcher Geoserver war das?
    Ich bitte um Verständnis, wenn ich da nicht in allzu große Details gehen möchte, da meine Saugaktion für den Privatgebrauch vielleicht grad noch halblegal ist, eine Anleitung wie man das wiederholt dann schon eher nicht.


    Ich gebe aber ein paar Tipps, mit denen sich zumindest der Geoserver finden lassen sollte:


    - Deutscher Server
    - Optisch sehr schöner Stadtplan, kein Vektorformat. Orthofotos, von Landesvermessungsamt stammend, gibt es dort über die Fläche auch.
    - Die Region ist ein großes deutsches Ballungsgebiet (ca. 100 x 60 km) aus dutzenden von eigenständigen Städten und Kreisen, die alle zu einer großen Verwaltungseinheit zusammengeschlossen sind. Die Verwaltungskörperschaft betreibt auch den Geoserver.


    Die Hinweise sollten nun wirklich eindeutig sein :)


    Wer dieses Kartenwerk wie ich auch optisch gelungen finden sollte und mehr davon haben will, dem gebe ich noch den Hinweis, daß einige Kreise und Städte außerhalb der Verwaltungseinheit nahtlos anschließende Karten auf ihren jeweiligen Geoservern anbieten, die auf dem ursprünglichen Geoserver nicht zu finden sind. Somit läßt sich meine Karte sogar noch beträchtlich in mehrere Himmelsrichtungen hin erweitern.

  • Zitat

    Original von macnetz
    PS: jetzt warte ich nur noch darauf, dass GE auch ECW-Dateien lesen kann . . .


    Moin Anton!


    Unser Wunsch wurde anscheinend erhört:


    http://www.earthetc.com/kml/


    Zumindest, wenn man dafür selbst einen IWS aufsetzt, müsste man also auch lokale ECW-Dateien einbinden können ;D


    Gruß
    HK2000