Seit Version 6.12 ist sind die Programme ML, LINK und LIB Konsolenanwendungen, und können also nicht unter DOS ausgeführt werden.
TNT8 kenne ich nicht. Aber wenn du mit TNT8 die Objektdateien von C++ (von Microsoft!) bearbeiten kannst, dann ist es auch mit denen vom MASM möglich. Wenn du kein C++ besitzt, dann versuche es doch einfach eine Objektdatei von MASM einzuarbeiten und schau ob es klappt
Zumindest ab Version 6.13 (im aktuellen MASM32-Package ist die Version 6.14 enthalten) unterstützt er MMX, 3D-NOW und SSE. Um MMX verwenden zu können muss .mmx angegeben werden, für SSE .xmm. Einem Beitrag aus einem anderen Forum habe ich entnommen, dass .xmm wahrscheinlich nur die Unterstützung für SSE1 einbindet. Im Fall, dass SSE2 benötigt wird, solle es angeblich im Web Macros geben, welche dies realisieren können.