Para Desligar:
Primeiro clique com o botão direito do mouse, e entre em Novo, Atalho.
Aparecerá esta aba.
Aqui adicione o seguinte caminho shutdown.exe -s -t 00. O t(time) é o tempo extra para desligar em segundos, ou seja se você quiser que o computador desligue em uma hora é so dexar shutdown.exe -s -t 3600. Mas como aqui eu quero que ele desligue imediatamente quando o botão for pressionado vou deixar shutdown.exe -s -t 00.
Nessa próxima aba, de um nome ao atalho.
Depois de criado o atalho, entre em Propriedades.
Em Propriedades clique em alterar o ícone, para adicionar um a sua escolha.
Para Reiniciar:
Siga os mesmos passos anteriores, só altere o caminho para shutdown.exe -r -t 00.
Ficará mais ou menos assim o resultado final:
