Mit einigen Optimierungen (aktivieren Sie JQuery noConflict-Modus, ersetzen Sie den $ Selektor durch etwas wie $ jq) sollten Sie in der Lage sein, beide zu arbeiten.
Sie können jedoch leicht mit einer Frankenstein-App enden, die MooTools und Jquery-Plugins mischt. Auch die Javascript-Belastung ist ziemlich enorm, da Sie Mootools, JQuery UND ihre Top-Level-UI-Toolkits einschließen müssen.
Ich würde empfehlen, dass Sie untersuchen, ob JQuery UI MochaUI (oder umgekehrt) ersetzen könnte. Eine Kombination von JS lib + UI Toolkit ist wesentlich einfacher zu pflegen.
Der Nachteil von MochaUI ist, dass es einige Probleme mit IE8 hat, außerdem ist es nicht sehr aktuell (letzte Ausgabe September 2008).
JQuery UI ist viel modularer (Sie können nur die Teile auswählen, die Sie benötigen), hat einen visuellen CSS Theme Editor (Themeroller) und bietet einen 2-Monats-Release-Zeitplan. Seine Nachteile: Es deckt noch nicht wesentliche UI-Komponenten ab (wie ein Menü, einen "Viewport" -Manager, der UI-Komponenten, Paletten rendert). Diese Funktionen werden jedoch bald erwartet.
Update: Die neueste stabile Version in ihrem Github ist Juni 2010 (https://github.com/mui/mochaui/downloads), und sie sind immer noch Änderungen, wenn auch spärlich (https://github.com/mui/mochaui/commits/entwickeln). jQuery UI hat immer noch kein Grid (http://wiki.jqueryui.com/w/page/34246941/Grid), obwohl sie bald auf Menu (http://wiki.jqueryui.com/w/page/ 12137997/Menü) und Panel (http://wiki.jqueryui.com/w/page/12137759/Panel). –