Extreme Edge – Ermöglichung der Astrofotografie mit HCI

Extreme Edge – Ermöglichung der Astrofotografie mit HCI

Spread the love

Kürzlich haben wir einen Artikel geschrieben (und ein Video erstellt), in dem wir die einfache Bereitstellung des winzigen HCI-Clusters von Scale Computing hervorheben. Der Drei-Knoten-Cluster ist sehr einfach einzurichten, was ihn zu einem Favoriten für Edge-Anwendungsfälle wie den Einzelhandel macht. Aber wir müssen darüber nachdenken, was ist mit der Verwendung dieser Knoten an einer Edge, die etwas weiter entfernt ist? Wie tief in der Wüste von Arizona, gepaart mit ein paar tragbaren Kraftwerken und einem leistungsstarken Teleskop, das so aufgebaut ist, dass es den Himmel über sich fotografieren kann. Lesen Sie weiter, um mehr darüber zu erfahren, wie Scale Computing wissenschaftliche Forschung am äußersten Rand ermöglicht.

Kürzlich haben wir einen Artikel geschrieben (und ein Video erstellt), in dem wir die einfache Bereitstellung des winzigen HCI-Clusters von Scale Computing hervorheben. Der Drei-Knoten-Cluster ist sehr einfach einzurichten, was ihn zu einem Favoriten für Edge-Anwendungsfälle wie den Einzelhandel macht. Aber wir müssen darüber nachdenken, was ist mit der Verwendung dieser Knoten an einer Edge, die etwas weiter entfernt ist? Wie tief in der Wüste von Arizona, gepaart mit ein paar tragbaren Kraftwerken und einem leistungsstarken Teleskop, das so aufgebaut ist, dass es den Himmel über sich fotografieren kann. Lesen Sie weiter, um mehr darüber zu erfahren, wie Scale Computing wissenschaftliche Forschung am äußersten Rand ermöglicht.

Astrofotografie in der Wüste

Overkill? Ja, das ist ein bisschen so, als würde man ein Schlachtschiff zu einem Angelwettbewerb bringen und die Wasserbomben verwenden, um die Fische an die Oberfläche zu bringen. Dies ist jedoch eher ein Test, um zu sehen, wie schnell und wie schnell wir große Fotos verarbeiten können, wenn sie eingehen.

storagereview hci astrophotography rig side

Das Teleskop ist extrem schnell, da es eine große Blende von F/1,9 hat, was bedeutet, dass wir nicht viel Zeit mit Zielen verbringen müssen und unsere Belichtungszeiten viel kürzer sein können. Das bedeutet, dass ich in einer ganzen Nacht Astrofotografie mehr Daten erfassen und mehr Ziele anvisieren kann, als ich in Echtzeit auf dem lokalen Controller-Laptop verarbeiten könnte (ein i7, 7820HQ der 7. .

Ich ziehe es auch vor, die Aufgabe der Steuerung in die Führung des Teleskops und die Verarbeitung der Bilder zu unterteilen, um das System nicht zu überlasten oder in irgendwelche IO-Beschränkungen zu geraten. Wir haben es mit 120 MB-150 MB pro Frame zu tun, was bei der Verarbeitung großer Datenmengen sehr schnell aggressiv auf die Festplatten-E/A und den CPU-Verbrauch wirkt.

Vereinfachte Erklärung zur Astrofotografie

Was meine ich mit Verarbeitung? Der erste Schritt ist die Registrierung der Fotos; Dies wendet eine allgemeine Bewertung der Qualität an und erstellt eine Textdatei, die willkürlich auflistet, wo sich alle Sterne in jedem Bild befinden. Da wir immer mehr Fotos desselben Ziels aufnehmen, werden diese Registrierungsdateien verwendet, um alle Bilder im endgültigen Bildstapelprozess auszurichten.

Sobald alle Dateien registriert sind, stapeln wir sie mit verschiedenen Methoden zusammen. Der Einfachheit halber können wir sagen, dass wir die Werte jedes Pixels mitteln, was mit zunehmender Bildgröße umso länger dauert. Danach gehen Sie zur Nachbearbeitung, die so einfach sein kann wie die Photoshop-Bearbeitung. Komplexere Operationen verwenden dedizierte Software, die GPUs und KI nutzen kann, um die Sterne zu entfernen und vieles mehr. In der Nachbearbeitung kommt die Kunst ins Spiel.

Mit diesem Teleskop kann ich 30-Sekunden-Belichtungen machen und unglaubliche Ergebnisse erzielen, daher mache ich im Allgemeinen gerne zwischen 100 und 200 Aufnahmen von jedem Ziel und erreiche so viele Ziele wie möglich an einem Abend.

Die Software, die ich verwende, heißt Deep Sky Stacker und Deep Sky Stacker Live. Deep Sky Stacker Live gibt Ihnen eine (wer hätte das gedacht) unkalibrierte Live-Vorschau Ihres aktuellen Zielbildsatzes und registriert die Bilder, wenn sie von der Kamera kommen, was später Zeit spart.

Bei diesem speziellen Test war ich neugierig, ob wir die Bilder so schnell registrieren, stapeln und verarbeiten könnten, wie wir sie aufnehmen könnten. Das ist ziemlich rechenintensiv, da diese Bilder jeweils 62 Megapixel groß sind und ich zwischen 100 und 200 Frames pro Ziel aufnehme. Das bedeutet, dass pro Stunde zwischen 15 GB und 20 GB an Informationen generiert wurden; der gesamte Abend generierte 178GB an Daten, die ich auf dem Scale Computing HCI Cluster verarbeiten konnte. Oh, und weil wir sehr abgelegen sind, machen wir das alles nur mit Batteriestrom.

Unbearbeitetes Andromeda-Bild

Andromeda, 40 Minuten Integrationszeit.

Die Stacking-Zeit für jedes Ziel unter Verwendung einer Mittelwertmethode, einschließlich eines vollständigen Satzes von Kalibrierungsrahmen, dauerte zwischen 25 und 35 Minuten, bis sie vollständig abgeschlossen war. Dies ist eine überraschend beeindruckende Leistung des Scale Computing Clusters und auf Augenhöhe mit meiner Desktop-Workstation und meinem dedizierten Astro-Server zu Hause.

Endgültiges Andromeda-Bild

Andromeda mit entfernten Sternen.

Ich habe umfangreiche Nachforschungen angestellt, und dies stimmt mit dem überein, was ich herausgefunden habe. Es ist weniger wichtig, riesige Mengen an RAM und CPU zu verwenden, und wichtiger, die absolut besten Festplatten-IOPS und Lese-/Schreibgeschwindigkeiten zu erzielen, die Sie für diesen Prozess erreichen können so schnell wie möglich sein (mehr dazu später in einem anderen Artikel). Die All-Flash-M.2-NVMe-Laufwerke des Scale-Computing-Clusters eignen sich hervorragend, indem sie eine hohe Leistung für diesen speziellen Workflow bei geringem Stromverbrauch bieten.

Astrofotografie-Rig

Das Teleskop, die IT-Infrastruktur und Standortinformationen für den Test:

  • Celestron Nexstar GPS 11″ auf einem HD Wedge und einem HD Tripod
    • Starizona Hyperstar11v4
      • 540 mm Brennweite
      • F/1.9 Blende
  • ZWO ASI6200MC Pro One-Shot-Farbkamera
  • Generisches Dell Laptop der Enterprise-Klasse mit i7 der 7. Generation für Steuerung und Erfassung
  • Computing-Cluster skalieren
  • Nicht verwalteter Netgear 1G-Switch mit acht Ports
  • 2x EcoFlow River Mini-Batterien
  • Starlink V2
  • Picacho Peak State Park, Standort Bortle 2.
  • Software
    • Nina
    • PHD2
    • Deep-Sky-Stapler
    • Sternennetz
    • Photoshop

Extreme Edge HCI

Die allgemeine Einrichtung war ziemlich einfach; Ich habe einen Tisch, einen 8-Port-Switch, den Kontroll-Laptop, den HCI-Cluster von Scale Computing und Starlink für den Internetzugang eingerichtet. Alles wurde über den Switch miteinander vernetzt, der, obwohl er nur ein 1-GbE-Switch war, ebenso wie die Geschwindigkeit des Scale-Clusters, in diesem Workflow dank der eingehenden Datenrate von etwa 300 Megabyte pro Minute kein Problem darstellte.

storagereview hci astrophotography rig ecoflow river mini battery

Der gesamte Strom für das Scale Cluster und den Control Laptop ging an einen Ecoflow River Mini, während das Teleskop und die Kamera vom anderen getrennt wurden. Das Teleskop und die Kamera nehmen 12 V Strom vom Zigarettenanzünderanschluss des Autos auf, einen Eingang für die Teleskophalterung, um die Motoren zum Zeigen und Verfolgen mit Strom zu versorgen, und einen anderen, um das Peltier-Element für den Kühler an der Kamera zu betreiben.

SpeicherÜberblick Astrofotografie Ecoflow

Der Kamerasensor wird auf -5°C gekühlt. Der Cluster und der Laptop (mit Bildschirm und minimaler Helligkeit) erschöpfen den EcoFlow River Mini in knapp 2 Stunden und 30 Minuten, während der für das Teleskop vorgesehene in der Lage war, ihn in den Vortests zwei ganze Nächte lang mit Strom zu versorgen.

Der Steuerungs-Laptop wird über USB 3.0 und einen USB 3.0-Hub mit dem Teleskop und der Kamera verbunden. In meinem Setup möchte ich nur das Nötigste auf dem Steuer-Laptop ausführen, und die Bilder werden dann normalerweise remote gespeichert, entweder auf einem NAS, wenn ich es zur Verfügung habe (was ich in diesem Fall auf dem Scale-Cluster getan habe). oder auf einen externen Flash-Speicher, wenn ich kein Netzwerk habe.

Ich habe für diesen Test drei virtuelle Maschinen auf diesem Cluster eingerichtet, zwei zum Stapeln und eine zum Speichern der Image-Dateien als Netzwerkfreigabe. Der Steuerungs-Laptop für das Teleskop hat seine Dateien direkt von der Kamera über das Netzwerk auf den Cluster übertragen. Dann war jeder Stapler dafür verantwortlich, die Aufgabe der Verarbeitung jedes Ziels abzuwechseln, wenn die Dateien eintrafen. Dank der enormen Menge an Rechenleistung, die mit dem Cluster zur Verfügung steht, konnten wir mit der Arbeitslast mehr als Schritt halten.

LagerungÜberprüfung Astrofotografie Komplettanlage

Bei normalen Ausflügen zu Orten mit dunklem Himmel, nur mit dem Kontroll-Laptop, kann ich aufgrund des reinen Datenvolumens, das hereinkommt, keine Feldverarbeitung durchführen. Ich konnte sie aufgrund der begrenzten Internetverbindung auch nicht direkt auf die Heimserver zur Verarbeitung hochladen, was bedeutet, dass ich die Ergebnisse der am Ziel verbrachten Zeit erst einen Tag oder später kenne. Starlink löst dies bis zu einem gewissen Grad, aber es ist am Rande einer zuverlässigen Lösung, insbesondere wenn Sie mehrere Benutzer / Teleskope haben, da die Upload-Geschwindigkeiten von 5-20 Mbit / s schnell zu einem Engpass werden würden.

Dieser Test war insgesamt ein großartiger Machbarkeitsnachweis, um zu zeigen, dass Sie, wenn Sie zwei, drei oder sogar mehr dedizierte Astrofotografie-Rigs an einem fest installierten entfernten Observatorium aufgestellt hätten, sehr einfach alle Ihre Stapelungen vor Ort erledigen und dann hochladen könnten gestapelte Datei zurück zur Basis für die endgültige Bearbeitung zu Hause.

Ich würde auch vorschlagen, dass Sie einen kleineren Cluster zu einer Starparty mitnehmen und auch im Feld verarbeiten können, da Sie die Möglichkeit hätten, schnell eine VM für jeden Benutzer bereitzustellen, die er für seine eigenen persönlichen Workflows verwenden kann. Um dieses Konzept zu validieren, saß ich auf meinem Laptop auf der anderen Seite des Campingplatzes, der mit meinem Telefon über 5G und dem Remote-Desktop zurück zum Kontroll-Laptop verbunden war, wo ich mit großem Erfolg Bilder auf dem Cluster remote stapeln und verarbeiten konnte.

Abschließende Gedanken

In diesem speziellen Test war der 3-Knoten-Cluster von Scale Computing zweifellos übertrieben. Allerdings hat es auch gezeigt, dass Sie bei einem langen Wochenendausflug, einer größeren Sternenparty oder mit mehreren Teleskopen, die Bilder aufnehmen, schnelle Ergebnisse erzielen, die Bilder vollständig validieren und auf Probleme in den Daten prüfen können. Anstatt zu packen und nach Hause zu fahren, nur um festzustellen, dass Sie einen Fleck auf einem Objektiv oder zu viel Streulicht von irgendwoher hatten oder den falschen Filter ausgewählt haben, können diese Probleme nahezu in Echtzeit vor Ort behoben werden.

Lagerrezension Astrofotografie komplette Rig Nacht

Die Vorteile wurden offensichtlich, nachdem ich mein zweites Ziel gestapelt hatte; Ich stellte fest, dass es zu viel Streulicht von den LEDs auf dem von mir verwendeten USB-Hub gab, was einige seltsame Artefakte in den Bildern erzeugte. Ich konnte zurück zum Teleskop gehen, sie abdecken und das Ziel erneut schießen, dann mit besseren Ergebnissen neu stapeln.

Die Scale Computing-Lösung würde sich dank ihres stromsparenden Designs und ihrer hohen Leistung auch hervorragend in eine fest installierte Fernwarte für mehrere Benutzer einfügen, die zu 100 % netzunabhängig ist. Wenn ich in der Lage wäre, zusätzliche Energiespeicherkapazitäten und eine ausreichend große Solarlösung zu bekommen, gäbe es keine Begrenzung der Laufzeit, und wenn ich die Möglichkeit hätte, überschüssige Knoten tagsüber herunterzufahren, um die Laderate zu maximieren, kann ich viel sehen Potenzial für diese Anwendungen.

Es gab zwei große Nachteile, von denen ich dachte, dass sie leicht behoben werden könnten, einer vielleicht mit einem Software-Update und der andere mit einem einfachen Hardware-Upgrade. Die erste ist die Unfähigkeit, USB-Geräte zu passieren; Wenn dies einen USB-Pass-Through hätte, würde ich meine gesamte aktuelle Ausrüstung zu 100% fallen lassen und diese als primäre für den Workflow einsetzen, selbst wenn ich zu Hause im Hinterhof sitze. Ich muss in der Lage sein, den USB-Hub an ein Gastbetriebssystem zu übergeben, um das Teleskop und die Kamera direkt zu steuern.

Das zweite Problem ist der begrenzte Speicherplatz. Ein Terabyte pro Host ist ziemlich anständig; Ich würde jedoch gerne irgendwo in der Größenordnung von 2 bis 4 TB pro Host sehen, um dies zu einer brauchbaren alltäglichen Option in meinem speziellen Workflow zu machen. Ich nehme mit der Kamera, die ich implementiere, jedoch am oberen Ende der Datenraten auf, sodass dies für diejenigen mit Kameras mit niedrigerer Auflösung möglicherweise weniger problematisch ist. Scale kann diese Systeme mit mehr Speicher konfigurieren, sodass dies eine einfache Lösung ist, wenn Sie die Kapazität benötigen.

Schleier-Nebel

Schleier-Nebel

Der winzige HCI-Cluster von Scale Computing bietet dank der geringen Größe, der benutzerfreundlichen Software und der relativ niedrigen Kosten viele geschäftliche Vorteile. Für Forschungsanwendungsfälle wie die Astrofotografie kann so etwas die wissenschaftliche Entdeckung erheblich beschleunigen. Jeder, der nach einem Low-Power-Cluster sucht, der zudem widerstandsfähig und kostengünstig ist, ist gut beraten, Scale Computing auszuprobieren. Sie haben sogar eine kostenlose Testversion.

Wenn Sie versuchen möchten, die Raw-Stacks zu bearbeiten, finden Sie die TIF-Dateien unter diesem Google Drive-Link

Tag 0 mit Scale Computing

Scale-Computing

Beteiligen Sie sich an StorageReview

Newsletter | Youtube | iTunes/Spotify-Podcasts | Instagram | Twitter | TikTok | RSS-Feed

Leave a Comment

Your email address will not be published.