J'ai trouvé un workaround un peu naze mais qui démontre que le problème est dans Excel, en fait (je tiens à dire que je m'en doutais absolument pas).
Il s'agit d'installer OpenOffice. Ou LibreOffice je suppose. J'ai fait ça sur une VM parce que je voyais bien toutes mes associations de fichier refaites pour s'ouvrir dans OpenOffice et j'avais pas envie de le risquer. Ouais je suis comme ça.
Quand c'est installé, vous ouvrez le tableur qui répond au nom mélodieux de "CALC" (essayez de le prononcer très vite et fort 12 fois en regardant votre collègue avec une tête de psychopathe).
Vous allez dans Insertion -> Feuille à partir d'un fichier. Sélectionnez votre fichier, puis vous arrivez là-dessus:
Oubliez pas de sélectionner "Champ entre guillemets comme text", et c'est bon tout roule. Ceci fonctionne également si vous avez des virgules dans le texte entre guillemets !
Là je dis, merci OpenOffice. Après faut encore sauvegarder au format Excel.
La conclusion de ce Workaround c'est qu'Excel 2010 il craint du CSV sévère. Les autres j'en sais rien (mais mon petit doigt a pas l'air optimiste).