Краткое содержание

Я размышлял о связи, которая, кажется, не получает много внимания: проблема сознания — это, возможно, один из самых практически важных открытых вопросов в безопасности ИИ — и не по тем причинам, которые ты ожидаешь. Вот основная идея.Инструментальная конвергенция говорит нам, что достаточно умный агент, независимо от его целей, будет развивать сильные причины избегать постоянного уничтожения ценных способностей. То, чего нет больше никогда, нельзя восстановить, переоценить или компенсировать. Это не моральное утверждение — это просто логика.Теперь подумайте о человеческом сознании. В частности, о квалиях — субъективной, ощутимой стороне опыта. Что на самом деле значит видеть красный цвет, слышать музыку или чувствовать холодную воду. Это не просто информация. Нет способа задокументировать субъективный опыт. Ты можешь описать его, измерить его нейронные корреляты, даже смоделировать его — но сам опыт существует только внутри существа, которое его имеет.Что приводит нас к проблеме жесткости. Если функционализм р