una de las virtudes del toolkit dojo es que en cada momento cargas sólo la parte que vas a utilizar, con lo que al final su peso depende del uso javascript que hagas en la aplicación.
Además dispones de un potente “compresor” de javascript que te haría la carga mucho más rápida: http://dojotoolkit.org/docs/compressor_system.html

Lo que si te digo es que javascript sigue teniendo uno de los problemas que por mucho tiempo ha impedido su adopció masiva: el uso de cpu. Si abusas de su uso, lo más probable es que necesites máquinas potentes para que la cosa vaya fluida.