Ein schwieriger Fall, denn eigentlich:
Enclosing characters in double quotes preserves the literal value of all characters within the quotes, with the exception of $, `, \, and,[…]
Aber ich denke, es liegt an Folgendem:
Enclosing characters in single quotes preserves the literal value of each character within the quotes.
Damit wird "$" nur noch als "literal $" gesehen und nicht mehr als
Words of the form $'string' are treated specially.
Alle Zitate aus "man bash", Kapitel "QUOTING" - gleiche Version wie die von @Lohengrin.