Se ubica en un extremo de la población, sobre una plataforma de piedra natural que condiciona la forma irregular del edificio.

Está construido con sillares, generalmente de factura tosca, presentando en algunas zonas un arranque en talud, si bien en otras los muros apoyan directamente directamente sobre la roca.

Es de planta pentagonal, con gruesos contrafuertes destacando en el lado sur.

En la fachada que da a la población se sitúa la puerta de ingreso. Es un vano en arco de medio punto con dovelas, presentando la arista del intradós rebajada por una moldura de media caña. En la misma fachada hay otra puerta, de apertura posterior.

La puerta principal da paso a un zaguán, desde el que parte un pasillo, acabado en arco de medio punto, que lleva a un  pequeño patio interior. Todas las dependencias del castillo se disponen alrededor de este patio.

En la esquina sureste se alza una torre rematada por ménsulas, que servirían de apoyo a un cadalso defensivo corrido.

También pudo tener esa función el cuerpo saliente del ángulo, de planta rectangular y perfectamente integrado en el edificio. Está dividido en dos pisos sostenidos por arquerías. Fue convertido en granero según indica una inscripción bajo su saetera ("Se hizo año 1881 / este granero").

En general los muros presentan numerosos vanos, abiertos con posterioridad a la construcción del edificio, producto de su adaptación para viviendas. No obstante se conservan las saeteras originales.

El castillo de Barbués forma parte de un conjunto de castillos-palacio bajomedievales que presentan características unitarias en la comarca de Monegros. Todos ellos coinciden en su ubicación respecto al caserío correspondiente, sus basamentos en talud y el aspecto compacto de la construcción, con torres que no sobresalen en altura del perímetro murado. Con este grupo pueden relacionarse los castillos de Sangarrén (siglos XIV-XV), Albero Bajo (siglo XV) y Venta de Ballerías (siglos XV y XVI).