O PS Vita suporta vídeos de resolução até 1280x720 (720p) e também os encodados para PSP. Eu usarei o programa "XviD4PSP 5", que depois de muita pesquisa, concluí que ele é o melhor do ramo, além de fazer o trabalho de "hardsub" em vídeos que contem legendas "softsub".
Passo 1:
Abra algum vídeo e em "Format" coloque "MP4 PS3 or XBOX 360".
Imagem:
SpoilerShow

Clique no botão ao lado "Video enconding". Certifique-se que o AVC Level esteja em 3.1, porque maior que isso não é compatível com o PS Vita. Caso não queira problemas, deixe como está na imagem abaixo.
Imagem:
SpoilerShow

Vá em "Video -> Resolution/Aspect". Caso tenha uma vídeo maior que 720p, marque 1280x720. Se o vídeo tiver resolução inferior, deixe a resolução nativa.
SpoilerShow

Pronto! Agora é só converter o vídeo (encode). Lembrando que caso queira converter uma vídeo menor que 1280x720 o programa não fará upscale, ele mantém a resolução do arquivo original. Exemplo: um vídeo de 640x480 ficará na mesma resolução.
A thumbnail do vídeo é feita automaticamente pelo Vita a partir do FW 1.80.
------------------
É isso aí, simples mesmo. Caso vocês queiram ver como fica o vídeo convertido no programa, eu fiz o upload no mediafire. Tirem as suas conclusões e caso tenham alguma dúvida, podem perguntar à vontade

Exemplo de conversão