Mi primo Daniel (http://dcestari.posterous.com/), quien es un crack como dicen por estos lares (en Venezuela diríamos un duro), dió con la solución...
Descargó el fichero con los fuentes de php.net y configuró utilizando las opciones que trae el .deb que descargas desde los repos. A continuación las opciones:
# ./configure --prefix=/usr/local/ --disable-cgi \ --program-suffix=5.3 \ --with-config-file-path=/etc/php5.3/cli \ --with-config-file-scan-dir=/etc/php5.3/cli/conf.d \ --build=$(dpkg-architecture -qDEB_HOST_GNU_TYPE) \ --host=$(dpkg-architecture -qDEB_HOST_GNU_TYPE) \ --sysconfdir=/etc \ --localstatedir=/var \ --disable-debug \ --with-regex=php \ --disable-rpath \ --disable-static \ --with-pic \ --with-layout=GNU \ --enable-calendar \ --enable-sysvsem \ --enable-sysvshm \ --enable-sysvmsg \ --enable-bcmath \ --with-bz2 \ --enable-ctype \ --with-db4 \ --without-gdbm \ --with-iconv \ --enable-exif \ --enable-ftp \ --with-gettext \ --enable-mbstring \ --with-pcre-regex=/usr \ --enable-shmop \ --enable-sockets \ --enable-wddx \ --with-libxml-dir=/usr \ --with-zlib \ --with-kerberos=/usr \ --with-openssl=/usr \ --enable-soap \ --enable-zip \ --with-mhash=yes \ --with-libedit \ --without-mm \ --enable-pdo \ --with-pdo-mysql \ --with-mysql --without-sybase-ct --with-sqlite \ --without-mssql --with-sqlite3 --enable-pcntl \ --without-pear
Luego, compilamos con make y lo novedoso.... en lugar de instalar el compilado con el típico make install, el descubrimiento del año (al menos para mi), utilizamos checkinstall lo que genera un .deb -con el nombre especificado- que después se puede instalar y desinstalar fácilmente con dpkg.