Die VTF-Datei ist die eigentliche Textur/Bild und kann mit diversen Tools und Plugins erstellt werden. Die VMT ist die sog. "Material" Datei und im Prinzip nur eine reine Textdatei, die beschreibt wie sich die Textur im Spiel verhält (Lichtverhältnisse, Oberflächenart, usw...). Auch dazu gibt es Tools.
Alles weitere (inkl. Links zu den Programmen findest du unter):
http://developer.valvesoftware.com/wiki/VTF
http://developer.valvesoftware.com/wiki/VMT