У вас обязательно должен быть подключен jQuery!

В конце вашего html документа вставьте следущий код:

<script>
jQuery(document).ready(function($){
		jQuery('a[href^="#"]').bind('click.smoothscroll',function (e) {
			e.preventDefault();
			var target = this.hash,
			$target = jQuery(target);
			jQuery('html, body').stop().animate({
				'scrollTop': $target.offset().top
			}, 900, 'swing', function () {
				window.location.hash = target;
			});
		});
	});
</script>

Вот и всё. Создайте элемент с нужный id, а также ссылку на этот id. Напиример:

<a href="#my_top">Ссылка вверх</a>

Получится:

Ссылка вверх