Here are what the non-ascii pinyin characters look like, and the character entities that can be used for each:
Untoned u with Dieresis:                      Ü Ü   ü ü
                                              Ü     ü
Tone 1 Vowels:
  Ā Ā   Ē Ē   Ī Ī   Ō Ō   Ū Ū   Ǖ Ǖ
  ā ā   ē ē   ī ī   ō ō   ū ū   ǖ ǖ
Tone 2 Vowels:
  Á Á   É É   Í Í   Ó Ó   Ú Ú   Ǘ Ǘ
  Á   É   Í   Ó   Ú

  á á   é é   í í   ó ó   ú ú   ǘ ǘ
  á   é   í   ó   ú
Tone 3 Vowels:
  Ǎ Ǎ   Ě Ě   Ǐ Ǐ   Ǒ Ǒ   Ǔ Ǔ   Ǚ Ǚ
  ǎ ǎ   ě ě   ǐ ǐ   ǒ ǒ   ǔ ǔ   ǚ ǚ
Tone 4 Vowels:
  À À   È È   Ì Ì   Ò Ò   Ù Ù   Ǜ Ǜ
  À   È   Ì   Ò   Ù

  à à   è è   ì ì   ò ò   ù ù   ǜ ǜ
  à   è   ì   ò   ù
Another popular system of describing Chinese pronounciation is bopomofo, which look more like Chinese character radicals.

See also Using Unicode on E2 if interested in when and when not to use Unicode, and the rationale behind it.