1. Remarks

This documentation is a part of docu to the OFB concept: ../../fbg/html/Videos_OFB_VishiaDiagrams.html. It should be translate to English, later TODO

It shows the topic of Separation sources and artefacts, symbolic link to build results.

Especially: Commands mkSymbLink and readlink for Windows (and Linux, MinGW/MSYS2 compatible)

1.1. 7.3 Anmerkung und Scripts für build, Artefakte, Speicherort

1.1.1. 7.3.1 Trennung von Sources und erzeugten Files

Der Begriff "Artefakt" = "künstlich erzeugt" wird häufig für generierte Files verwendet, also für Object-Files, aber auch Datenbanken für Code-Navigation, Autocompletion (IntelliJ-Funktionen, (https://en.wikipedia.org/\|wiki/IntelliJ_IDEA).

Die generierten Sources aus OFB sind genau genommen ebenfalls Artefakte.

In den vergangen Jahrzehnten wurden solche Artefakte über eine Session gern beibehalten, da die Build-Zeiten für das Neu-Erstellen recht lang waren und sich eigentlich nichts geändert hat. Ab und an war dann doch der Ruf nach einem {lbdquo}Build all“ lauter geworden.

Das ist heute so nicht mehr zutreffend. Build-Zeiten sind in der Regel schneller geworden. Für die aktuelle Arbeit ist ein {lbdquo}Build all“ dennoch lästig, und eigentlich nicht notwendig, wenn zu Anfang mit einem Clean-Zustand begonnen wird.

Der Clean-Zustand ermöglicht die Nutzung einer RAM-Disk für Artefakte, ohne Datenspeicherung auf der SSD oder HD. Das hat zusätzlich den Vorteil, dass das Schreiben von Files (und teils auch Lesen, obwohl das Caching von Files im RAM hier schon automatisch viel verbessert) schneller geht, und dass zusätzlich die SSD geschont wird. Die Möglichkeit der Einrichtung einer RAM-Disk unter Linux als auch unter Windows ist allgemein bekannt oder nachlesbar. Meine eigenen Erfahrungen seit einigen Jahren haben gezeigt, dass es problemlos möglich ist, im Windows-10 das gesamte %TMP%-Verzeichnis grundsätzlich auf die RAM-Disk umzulegen, beim Neustart mit einem leeren %TMP% zu beginnen.

Der andere Aspekte mit den Artefakten ist, dass man immer die eigentlichen Sources von den Artefakten, die nur eine temporäre Rolle spielen, separieren sollte. Das Endprodukt, eine Executable, enthält auch ohne die ObjectFiles alle Informationen zum Debuggen, wenn sie im Debugmodus übersetzt wurde. Siehe auch 7.6.5 Extension zum Debuggen: kylinIdeteam.cppdebug Seite PDF@14. Das Argument, man bräuche die Objects für ein Nachstellen von Fehlern, ist falsch.

Daher wird bei der gesamten Generierung für den Test mit einem abgetrennten build-Verzeichnis gearbeitet. Das build ist mit symbolischen Links auf den Temporärbereich umgeleitet und damit sauber von den Sources im Arbeitsbereich getrennt. Der Temporärbereich kann und sollte auf einer RAM-Disk liegen. Das betrifft auch wenn möglich Zwichenspeicher für cache-Bereiche für IntelliJ, bei VSCodium möglich, bei VisualStudio für den db-File leider nicht möglich.

Zu diesem Thema eine kurze Historie:

In UNIX waren Symbolic Links bereits in den 1980-ern Gang und Gäbe. Es war schlichtweg Usus, dass man den Zugriff auf Files aus verschiedenen lokalen Verzeichnisbäumen braucht. Das war nicht im Fokus des neu aufkommenden DOS, das zwar von UNIX den Verzeichnisbaum abgeschaut hatte (bei CP/M gab es das auch noch nicht), aber viel mehr nicht. Der Slash wurde zum Backslash, weil der Slash bei CP/M üblicherweise das erste Zeichen für Optionen war. Spätestens seit Windows-NT in den 1995-ern hätte man erwarten können, dass es etwas Vergleichbares wie Symbolic Links unter UNIX gäbe. Es gab aber nur die {lbdquo}Verknüpfungen“, die im Explorer angeboten waren, nicht im Betriebssystem selbst verankert. Unter Vista gab es dann erstmals die {lbdquo}JUNCTION“, die die Explorer-Verknüpfung auf die Ebene des Betriebssystems abhob, also auch für andere Programme in der API (Application Interface) des Betriebssystems zugriffsfähig waren. Jedoch gibt es den Eindruck, es wurde unterstellt, der normale Windows-Anwender damit nicht zurecht kommt. Daher war nicht sehr viel davon zu Lesen und zu Hören. Ich selbst habe die Symbolic Links erst ca. 2020 unter Windows 10 entdeckt und sofort schätzen gelernt.

Mit dieser Historie und im Zusammenhang mit der Umstellung der DOS-lastigen cmd.exe und Batch-Verarbeitung gab es den Umstieg nach der {lbdquo}Powershell“, die natürlich sehr viel mehr konnte als die alte Batch, und auch mehr als Linux, nicht dass das etwa zusammenwachsen könnte (was zusammen gehört). Damit wurden wichtige Dinge im Zusammenhang mit den Symbolic Links im Fokus der cmd.exe nie als Standard realisiert. Die Hälfte der Experten sind sowieso komplett auf eine Linux-Umgebung unter Windows ausgewandert, die andere Hälfte ist von der Powershell überzeugt.

Diese fehlenden Befehle, es sind zwei, wurden von mir in diesem Projekt hinzu gesetzt und sind allgemein verwendbar. Denn: Der Kern des Betriebssystems von Windows unterstützt dies alles, nur die Zugänge für die Batch-Verarbeitung fehlen. Es handelt sich bei den Realisierungen um einfache C-Programme, die intern die Windows-API aufrufen:

  • readlink.exe: Dies entspricht in etwa dem readlink in Linux, gibt den PATH als {lbdquo}canonical“ mit aufgelösten Links aus. Das dient dem Test ob ein Link dorthin zeigt wie erwartet. Im Windows fehlt das für die Batch-Verarbeitung. Man kann es ja mit Augen sehen, wenn man dir aufruft, und das genüge ja dem OttoNormalUser.

  • mkSymbLink.exe: Erstellt in Windows einen symbolische Link als Junction. Im NTFS-Dateisystem in Windows ist das sehr gut nutzbar, auch über Netzwerkgrenzen, auch über Samba von Linux aus sichtbar. Dieser Befehl ist eigentlich unter Windows eben gerade nicht notwendig, weil er mit mklink /J dst src auch in Batch-Scripten ausgeführt werden kann. Aber dieses mklink /J macht Ärger in einem shell-Script unter MinGW. mklink ist ein internes Command der cmd.exe, muss also in einem Shellscript über cmd.exe aufgerufen werden. Das verkompliziert die Scripts, macht eine Unterscheidung zwischen Linux und Windows in diesen Script-Teilen notwendig. Die mkSymbLink.exe auch in Linux bereitgestellt einfach als kleines Shell-Script mkSymbLink in den PATH aufgenommen ruft intern ln -s auf. Das ist im Linux-Filesystem die adäquate Lösung eines normalen symbolischen Links und macht die Shell-Scripts kompatibel.

Leider arbeitet ln -s in einem Shellscript auf einer Windows-NTFS-Partition (über MinGW/MSYS2) nicht mit einer Junction, sondern kopiert teils die Files, abhängig von weiteren Einstellungen, ist also nicht nutzbringend unter Windows/MSYS2 verwendbar.

Diese beiden Executable werden im OFB_Presentation-Download mit einem Batch-Script einschließlich der Sources von der vishia-Webseite mit Prüfcode downgeloaded, und sollten für die Verwendung in ein Verzeichnis kopiert werden, dass im PATH liegt (C:\Programs\Batch). Über den Prüfcode sind sie Virengesichert und können auch selbst neu compiliert werden, sowohl mit Visual Studio (cl.exe) als auch mit dem GNU gcc beispielsweise im hier vorgestelltem MinGW.

1.1.3. 7.3.3 mklink_build.bat Allgemeines Script für build-Link Windows

Das folgende Script baut auf die im Vorkapitel gezeigten zwei Zusatz-Commands für Windows auf. Es richtet Symbolic links speziell für das build-Directory in einer reinen Windows-Umgebung ein. Dieses Script ist folglich auch dann geeignet, wenn jemand nur unter Windows arbeiten möchte, den gcc-Compiler unter MinGW nicht einrichtet, beispielsweise mit Visual Studio für Windows und mit Embedded Control IDEs arbeitet.

include:scripts/WindowsEnv/mklink_build.bat::$::92::[]

Das Script wird aus verschiedenen Verzeichnissen heraus gerufen und steht zentral in src/ scripts/WindowsEnv/. Damit brauchen Änderungen für einen angepassten Speicherort für Build, für die mögliche RAM-Disk, und für den Verzeichnisnamen im temporären Speicherort nur einmalig vorgenommen werden. Das betrifft insbesondere auch die Anpassung an die eigenen OFB-Projekte; der Verzeichnisname OFB_Presentation sollte selbstverständlich an das eigene Projekt angepasst werden. Das gilt dann für alle Komponenten in diesem gemeinsamen Verzeichnisbaum. Hat man beispielsweise einen ähnlichen Verzeichnisbaum, evtl. für die {lbdquo}alte Version“, dann werden diese auch im Temporärbereich des build korrekt unterschieden. Die anzupassenden Zeilen stehen immer am Anfang des Scripts mit dem Hinweis ADAPT.

Als Start-Script auf der Root-Ebene des Verzeichnisbaums wird es wie folgt aufgeufen:

../+mklink_build.bat

Das Script muss aus diesem Verzeichnis heraus gestartet werden, damit das Current Directory dass der Root ist. Mehr ist nicht nötig.

Wir das Script aus einem VSCodium Arbeitsbereich gestartet, dann kann das wie folgt aussehen:

IDE/+StatePosCtrl/VSCodium_Windows/+clean_build.bat

Der Aufruf mit "%~dp0" übergibt das Aufruf-Verzeichnis als das jenige, in dem das verlinkte build eingerichtet wird. Das zeigt mit dem Link auf genau die selben (und nicht nur die gleichen) Artefakt-Files.

Zusätzlich werden in diesem File mit der Bezeichnung clean{…​} vorhandene Files der Zmake-Generierung gelöscht, es wird ein Clean-Anfangszustand eingestellt.

Temporäre Verzeichnisse, ebenfalls möglichst in der RAM-Disk, werden ebenfalls damit beispielsweise beim MS-Visual Studio Compiler eingestellt. Für diesen Zweck gibt es das dritte Argument, den Namen des verlinkten Verzeichnisses. Ohne Angabe ist dieser per default build, mit Angabe eben beispielsweise debug oder release für die

1.1.4. 7.3.4 mklink_build.sh Allgemeines Script build-Link für Linux / MinGW

Die Links für build usw. müssen vor dem build-Vorgang gesetzt sein, sonst wird doch wieder ein build-Verzeichnis auf der SSD angelegt. Dazu ist für jedes Betriebssystemumgebung ein allgemeingültiges Script unter OFB_Presentation/scripts/SYSTEM_Env abgelegt, dass folgend für Linux gezeigt wird:

include:scripts/LinuxEnv/mklink_build.sh::$::92::[]

Dieses Script sollte eigentlich selbstdokumentierend sein, wenn die Shellscript-Statements alle bekannt sind.

Wichtig ist, zu Anfang können die Umgebungsvariable TMP_RAM und DIRNAME_BUILD geändert werden. Bei TMP_RAM im Linux ist vorausgesetzt, dass die RAM-Disk genau dort liegt, sie kann so eingerichtet sein oder werden, könnte aber auch woanders liegen. Ist der Path ungültig, dann wird unter /tmp/ direkt angelegt:

DIRNAME_BUILD ist der Verzeichnisname, wo das allgemeine build im Temporärbereich abgelegt wird. Der Verzeichnisname muss eindeutig sein, wenn man ggf. mit verschiedenen Arbeitsverzeichnissen gleichzeitig arbeitet, und sollte andererseits einheitlich für alle build-Links sein, die teils parallel zu src in OFB_Presentation/build angelegt werden, aber auch in den einzelnen WorkingDir von ggf. verschiedenen VSCodium Projekten. Auch die VisualStudio-Temporärfiles (in Windows) sollten darauf bezogen sein.

Für Windows gibt es in scripts/WindowsEnv/mklink_build_tmpRAM.bat und scripts/MinGW64_Env/mklink_build_tmpRAM.sh das adäquate Script als batch bzw. Shell-script für MinGW mit den selben Einstellungsmöglichkeiten.