Die bedeutendsten Vertreter waren Wetzel IV und dessen Sohn Dietmar, die beide das Amt eines Landesrichters im Machland ausübten. Im 15. Jahrhundert waren sie Walchen im Besitz von Arbing. Hanns IV trat 1434 als Verweser der Hauptmannschaft ob der Enns auf.
Größtes Verdienst für Arbing haben die Walchen durch den Neubau der Pfarrkirche erworben. Sie haben die Burg umgebaut und 1483 die Kirche mit seinem Wehrturm im Burgbereich errichtet. An dieses Geschlecht erinnern heute noch in der Pfarrkirche zwei Grabsteine aus rotscheckigem Adneter Marmor aus den Jahren 1520 bzw. 1509. Nach rasche Besitzerwechsel im 16. Jahrhundert erwarb 1602 Freiherr Hanns Jakob Löbl, Besitzer der großen Herrschaft Greinburg, den Adelssitz Arbing. Da dieser ihn seiner Tochter Elisabeth als Heiratsgut schenkte, kam Arbing in den Besitz des Rudolf von Sprinzenstein. 1622 wurde Arbing an den neuen Herren der Greinburg, Leonhard Helfrich Graf Meggau, verkauft. Nach seinem Tod 1644 war Arbing durch die Heirat seiner Töchter in Besitz der Starhemberger, Breuner und Dietrichstein. Auf die Grafen Cavriani folgten 1716 die Salburger und ab 1811 Josef Karl von Dietrichstein, der Arbing 1825 an den Grafen Christoph Clam-Martinic verkaufte. Graf Heinrich sah sich nicht in der Lage, das baufällig gewordene Schloß zu erneuern und verkaufte es daher 1906 an die Familie Schweiger, Arbing 55, in deren Besitz es heute noch ist. Das noch erhaltene Schlossgebäude ist nur ein Teil der ehemaligen Anlage. Ursprünglich war es eine rechteckige, drei- bis viergeschossige Baugruppe mit Vorburg, Graben, hoher Ringmauer, die auch das Wirtschaftsgebäude (heute Friedhof) und die Hoftaverne (heute ehemaliges Gasthaus Froschauer) einschloss, und einem mächtigen Bergfried über quadratischem Grundriß.
In dieser Form ist der Adelssitz Arbing im Schlösserbuch des Fürstbischofs von Passau (dat. 1663) und einem Kupferstich von Georg Matthäus Vischer (1674) verewigt. am Beginn des 18. Jahrhunderts wurde die Anlage neu gestaltet: Der Graben wurde zugeschüttet, die Mauer abgerissen und der einstige Palas – das herrschaftliche Wohngebäude – zu einem feudalen Schloss umgestaltet.
Nach dem Verkauf 1906 wurde es auf Grund der schlechten Bausubstanz im 20. Jahrhundert nur noch als Lagerraum verwendet. Nach einigen Instandsetzungsarbeiten wird das Erdgeschoß des Schlosses in Jüngster Zeit als „Schlosstaverne“ der Familie Schweiger gastgewerblich genützt.
