Das war eine sehr unterhaltsame Recherche, bei der ich Sepp Hochreiter getroffen habe - ein Pionier des maschinellen Lernens, der mit seiner alten Idee (#lstm) jetzt OpenAi „vom Markt fegen“ will.
Ob dieser alte Algorithmus wirklich das Zeug dazu hat, große Sprachmodelle zu revolutionieren, kann ich schwer einschätzen. Was mir aber immer klarer wurde in letzter Zeit: Transformermodelle sind an ihrer Grenze. Von daher wird sich was bewegen müssen.
Add comment