Was ist mit der Seite los

Schreibt hier bitte eure Probleme mit der Bedienung des Forums herein, falls Ihr Bilder nicht einstellen könnt , euch nicht einloggen könnt etc.
Lest bitte vorher aber immer die FAQ (häufig gestellte Fragen) und benutzt die Suchfunktion.
Wir versuchen mit euch gemeinsam die Probleme zu lösen

Moderatoren: Verwaltung, Redaktion-GG

Benutzeravatar
Stadtgarten
Beiträge: 3256
Registriert: 17.09.2007, 11:14

Was ist mit der Seite los

Beitrag von Stadtgarten »

Woran kann das liegen das ich manchmal die Seite Gelsenkirchener Geschichten nicht aufrufen kann, es kommt eine meldung wo entweder Kritischer Fehler steht, oder die webseite kann nicht angezeigt werden.

Benutzeravatar
Verwaltung
Mitglied der Verwaltung
Beiträge: 10620
Registriert: 02.12.2006, 05:43
Wohnort: Gelsenkirchen

Beitrag von Verwaltung »

Es liegt an einer Beschränkung, die uns unser Server leider macht. Es dürfen nicht mehr als 50 Personen gleichzeitig online sein. Da aber nicht nur echte Leser auf unsere Seite kommen, sondern auch viele Roboter von Suchmaschinen wie Google, wird diese zulässige Höchstzahl immer wieder mal überschritten.

Sei versichert, uns stört das genauso wie dich. Wir arbeiten schon länger an Lösungen, die Roboter auszuschließen. Das klappt aber leider nicht immer. Wir sind mit dem Problem befasst.

Wenn also wieder mal so einen Fehlermeldung kommt, einfach kurz abwarten und noch mal probieren. ;-)
Wir folgen den Ideen der Open-Source / Access- und Common Lizenz Bewegung. Solltest du dein Bildmaterial aus beruflichen oder persönlichen Gründen nicht freigeben können, kennzeichne das bitte durch einen Copyright-Zusatz

Benutzeravatar
Stadtgarten
Beiträge: 3256
Registriert: 17.09.2007, 11:14

Beitrag von Stadtgarten »

Verwaltung hat geschrieben:Es liegt an einer Beschränkung, die uns unser Server leider macht. Es dürfen nicht mehr als 50 Personen gleichzeitig online sein. Da aber nicht nur echte Leser auf unsere Seite kommen, sondern auch viele Roboter von Suchmaschinen wie Google, wird diese zulässige Höchstzahl immer wieder mal überschritten.

Sei versichert, uns stört das genauso wie dich. Wir arbeiten schon länger an Lösungen, die Roboter auszuschließen. Das klappt aber leider nicht immer. Wir sind mit dem Problem befasst.

Wenn also wieder mal so einen Fehlermeldung kommt, einfach kurz abwarten und noch mal probieren. ;-)
Vielen danke für die antwort. Dachte schon das was mit meinem netzwerk nicht in ordnung ist. Wünsch euch viel erfolg bei der behebung des Problems.

trixexpress
Abgemeldet

Beitrag von trixexpress »

Kann man nicht denen bei Google eins oder mehr auf den Deckel hauen :datz: ? Sie können sich doch sowas nicht erlauben, oder haben die ein Privileg dazu, überall einzumischen :weapon6:

Benutzeravatar
Heinz H.
Beiträge: 8643
Registriert: 17.10.2007, 16:54
Wohnort: GE-Buer

Beitrag von Heinz H. »

Ja, ne is klar…
das hat wohl mit der Suchfunktion zu tun.
Wenn man z. B. bei Google "Kommunionkinder Bergmannsglück" eingibt,
dann werden 5 Ergebnisse angezeigt.
Als erstes, der Thread von der ehemaligen Kirchengemeinde Bergmannsglück.
Ist doch eigentlich praktisch oder?

--- :wink:

Benutzeravatar
Verwaltung
Mitglied der Verwaltung
Beiträge: 10620
Registriert: 02.12.2006, 05:43
Wohnort: Gelsenkirchen

Beitrag von Verwaltung »

Heinz H. hat geschrieben:Ist doch eigentlich praktisch oder?
Ist es, keine Frage und das soll auch nicht unterbunden werden. ;-)

Doch wenn Google seine Roboter mehrmals täglich schickt, dann wird das schnell zur Belastung. Und Google ist ja nicht die einzige Suchmaschine. Da kommen täglich ganze Schiffsladungen von Robotern exotischer Absender. Und noch andere Roboter, die nicht freundlich gesinnt sind, sondern die Absicht haben, Spam ins Forum zu schreiben. (Was wir mit den Sicherheitsfragen für Gäste unterbinden können.) Wir versuchen soviele wie möglich von denen rauszukicken, aber es gelingt noch nicht perfekt, deshalb die gelegentlichen Ausfälle.

Unsere Popularität und Bekanntheit wird unser Fluch. :lol:
Wir folgen den Ideen der Open-Source / Access- und Common Lizenz Bewegung. Solltest du dein Bildmaterial aus beruflichen oder persönlichen Gründen nicht freigeben können, kennzeichne das bitte durch einen Copyright-Zusatz

Benutzeravatar
Malte T.
Beiträge: 219
Registriert: 11.04.2008, 23:16
Wohnort: Gelsenkirchen
Kontaktdaten:

Beitrag von Malte T. »

Verwaltung hat geschrieben:
Heinz H. hat geschrieben:Ist doch eigentlich praktisch oder?
Ist es, keine Frage und das soll auch nicht unterbunden werden. ;-)

Doch wenn Google seine Roboter mehrmals täglich schickt, dann wird das schnell zur Belastung. Und Google ist ja nicht die einzige Suchmaschine. Da kommen täglich ganze Schiffsladungen von Robotern exotischer Absender. Und noch andere Roboter, die nicht freundlich gesinnt sind, sondern die Absicht haben, Spam ins Forum zu schreiben. (Was wir mit den Sicherheitsfragen für Gäste unterbinden können.) Wir versuchen soviele wie möglich von denen rauszukicken, aber es gelingt noch nicht perfekt, deshalb die gelegentlichen Ausfälle.

Unsere Popularität und Bekanntheit wird unser Fluch. :lol:
Bei Google Webmaster Tools kannst Du das einstellen (Du musst dich Anmelden) , wie Google mit der Crawling-Geschwindigkeit umgeht.

Als beispiel von einer meiner Seiten:

Bild

Andere könnt ihr doch per robots.txt ausschließen. Außer Google und Yahoo braucht man 'eh kaum was ;-)
Round my hometown
the people I’ve met...
Are the wonders of my world
http://hometown-glory.de

Benutzeravatar
Emscherbruch
Ehemaliges Mitglied der Verwaltung
Beiträge: 7528
Registriert: 30.07.2007, 14:02
Wohnort: GE - Resser Mark

Wenn das alles so einfach wäre ...

Beitrag von Emscherbruch »

Malte T. hat geschrieben: Bei Google Webmaster Tools kannst Du das einstellen (Du musst dich Anmelden) , wie Google mit der Crawling-Geschwindigkeit umgeht.
Andere könnt ihr doch per robots.txt ausschließen. Außer Google und Yahoo braucht man 'eh kaum was ;-)
@Malte T.: Vielen Dank für die Tipps. Aber leider ist keiner dabei, den wir nicht schon angewandt hätten :cry:

Zurzeit durchsucht Google täglich ca. 6500 Seiten bei uns.
Wir verwenden ebenfalls die Webmaster-Tools von Google und haben alle Möglichkeiten ausgeschöpft, die uns derzeit zur Verfügung stehen, um den Hunger von Google so zu mäßigen, dass es verträglich für uns bleibt.
Hätten wir nicht bereits per robots.txt alle anderen uns derzeit bekannten Robots (ca. 120) von unserer Seite verwiesen und fast alle Verzeichnisse von der Suche ausgeschlossen, einige Robots sogar per .htaccess ausgesperrt, die Bildersuche von Google verboten, etc. dann würde hier gar nichts mehr gehen. Die robots.txt ist mittlerweile so lang, dass die Google Webmaster-Tools sie nicht mehr analysieren können :D

Es gab Zeiten, da wurden allein von Google täglich 16.000 Seiten bei uns durchsucht. Yahoo z.B. haben wir ganz gesperrt, der brachte es alleine täglich auf über 20.000 Seitenaufrufe.

Das Problem ist weiterhin, dass alle Seiten dynamisch aus einer Datenbank erzeugt werden. Diese Datenbank kann nur 50 Verbindungen gleichzeitig aufrecht halten. Sind 20 Benutzer online, was keine Seltenheit ist, dann kann bereits eine Suchmaschine gleichzeitig im Forum den Server zum Abschalten zwingen. Die Robots tauchen immer mit 20-30 Seitenaufrufe gleichzeitig auf. Eine Suchmaschinen im Forum, dazu noch ein osteuropäischer Spammer, und schon sehen wir den ungeliebten weißen Bildschirm mit der unsympathischen Fehlermeldung. So wie eben gegen 21.45 wieder...

Wir haben mit dem Forum längst die Größe der "Hobby- und Gelegenheitsseiten" verlassen. Der Schritt zu einem eigenen Managed Server ist nicht mehr weit. Der kostet aber auch entsprechend mehr ...
Stell dir vor, es geht und keiner kriegt's hin.

Benutzeravatar
usch
Beiträge: 248
Registriert: 09.06.2008, 02:00
Wohnort: Gelsenkirchen

Re: Wenn das alles so einfach wäre ...

Beitrag von usch »

Emscherbruch hat geschrieben:Die robots.txt ist mittlerweile so lang, dass die Google Webmaster-Tools sie nicht mehr analysieren können :D
Man kann anstelle von sieben Millionen einzelnen Einträgen auch einfach

Code: Alles auswählen

User-Agent: *
schreiben, das gilt dann für alle, die nicht explizit aufgeführt sind. :roll:

Davon abgesehen glaube ich nicht, daß sich ausgerechnet Bots mit Namen wie "EmailWolf" oder "BackDoorBot" an die robots.txt halten werden. :lol: Habt ihr das mal in den accesslogs verifiziert, wer von denen die robots.txt überhaupt liest?
Wir haben mit dem Forum längst die Größe der "Hobby- und Gelegenheitsseiten" verlassen. Der Schritt zu einem eigenen Managed Server ist nicht mehr weit. Der kostet aber auch entsprechend mehr ...
Das ist leider wahr ... ich hab schon einige Websites gesehen, die an ihrem eigenen Erfolg eingegangen sind. Da kann man leider nur beizeiten Hardware hinterherschmeißen, bevor alles zusammenbricht. Wär schade drum. Wo ich mich doch gerade erst angemeldet habe :wink:

Benutzeravatar
Emscherbruch
Ehemaliges Mitglied der Verwaltung
Beiträge: 7528
Registriert: 30.07.2007, 14:02
Wohnort: GE - Resser Mark

Beitrag von Emscherbruch »

Ich kann mittlerweile die Logdateien auswendig rückwärts singen :D
Dass die robots.txt nur von den seriösen Robots beachtet wird, ist auch uns klar. Yahoo macht das z.B. tatsächlich und belästigt uns nicht mehr.

Es bleibt aber ein Hase-und-Igel-Spiel, denn schon morgen taucht ein anderer Pirat auf und will am besten gleich die komplette Web-Site mitnehmen. Viel Server-Last geht immer wieder dafür drauf, weil irgend jemand einen WebSpider startet (dass hatten wir gerade eben). Da bleibt nur das zwischenzeitliche Sperren der IP-Adresse.
usch hat geschrieben:Man kann anstelle von sieben Millionen einzelnen Einträgen auch einfach Code:
User-Agent: *
schreiben, das gilt dann für alle, die nicht explizit aufgeführt sind.
Was meinst Du, was in unserer Datei steht? :roll:
Stell dir vor, es geht und keiner kriegt's hin.

Benutzeravatar
Malte T.
Beiträge: 219
Registriert: 11.04.2008, 23:16
Wohnort: Gelsenkirchen
Kontaktdaten:

Beitrag von Malte T. »

Emscherbruch hat geschrieben:Ich kann mittlerweile die Logdateien auswendig rückwärts singen :D
Dass die robots.txt nur von den seriösen Robots beachtet wird, ist auch uns klar. Yahoo macht das z.B. tatsächlich und belästigt uns nicht mehr.

Es bleibt aber ein Hase-und-Igel-Spiel, denn schon morgen taucht ein anderer Pirat auf und will am besten gleich die komplette Web-Site mitnehmen. Viel Server-Last geht immer wieder dafür drauf, weil irgend jemand einen WebSpider startet (dass hatten wir gerade eben). Da bleibt nur das zwischenzeitliche Sperren der IP-Adresse.
usch hat geschrieben:Man kann anstelle von sieben Millionen einzelnen Einträgen auch einfach Code:
User-Agent: *
schreiben, das gilt dann für alle, die nicht explizit aufgeführt sind.
Was meinst Du, was in unserer Datei steht? :roll:
Ebend genau das nicht ;-)

Ich denke er meint, wildchar eingeben für alle und nur die reinschreiben, die dürfen. Das ist momentan nicht so.

Andere Idee:
Eine sehr nützliche Erweiterung ist Crawl-delay. Damit weisen Sie einen Bot an, zwischen zwei Abrufen Ihrer Seite eine Pause zu nehmen. Ein Beispiel:

User-agent: Slurp
Crawl-delay: 10

Diese zwei Zeilen bremsen den Suchmaschinen-Bot von Yahoo ein. "Slurp" wartet nach jedem Seitenabruf zehn Sekunden, bevor er wieder zugreift. Genauso geht's mit dem Msnbot.
Geht aber leider nicht mit Google
:roll:

Eventuell könnte mann einige bereiche hier, oder links, noch mit einem nofollow-link ausstatten!?
Round my hometown
the people I’ve met...
Are the wonders of my world
http://hometown-glory.de

Benutzeravatar
usch
Beiträge: 248
Registriert: 09.06.2008, 02:00
Wohnort: Gelsenkirchen

Beitrag von usch »

Ich weiß, was nicht in der Datei gestanden hat, als ich das letzte Mal geschaut habe ;-)
Dann könnt ihr den anderen Krams aber jetzt eigentlich auch wieder rausschmeißen.

Auf meiner eigenen Website fackele ich eine Menge über RBLs ab, bevor überhaupt der erste Datenbankzugriff erfolgt. Mein Gästebuch ist dafür sehr dankbar. Habt ihr an sowas mal gedacht?

Benutzeravatar
Emscherbruch
Ehemaliges Mitglied der Verwaltung
Beiträge: 7528
Registriert: 30.07.2007, 14:02
Wohnort: GE - Resser Mark

Beitrag von Emscherbruch »

usch hat geschrieben:Ich weiß, was nicht in der Datei gestanden hat, als ich das letzte Mal geschaut habe ;-)
Dann könnt ihr den anderen Krams aber jetzt eigentlich auch wieder rausschmeißen.
Die Datei lebt. Damit Du den Stern erkennen kannst, hab ich ihn eben ganz nach oben geschoben. :D
Die anderen Daten dienen mehr der Erinnerung, was es so alles gibt und womit man nichts zu tun haben möchte.
usch hat geschrieben: Auf meiner eigenen Website fackele ich eine Menge über RBLs ab, bevor überhaupt der erste Datenbankzugriff erfolgt. Mein Gästebuch ist dafür sehr dankbar. Habt ihr an sowas mal gedacht?
Spam ist nicht das Problem. Auch nicht bei den Datenbankzugriffen. Die robots sind das Übel.
Stell dir vor, es geht und keiner kriegt's hin.

Benutzeravatar
usch
Beiträge: 248
Registriert: 09.06.2008, 02:00
Wohnort: Gelsenkirchen

Beitrag von usch »

Emscherbruch hat geschrieben:Die Datei lebt. Damit Du den Stern erkennen kannst, hab ich ihn eben ganz nach oben geschoben. :D
Ja nee, is klar :D
Spam ist nicht das Problem. Auch nicht bei den Datenbankzugriffen. Die robots sind das Übel.
Sicher. Aber zumindest die Bots, die nichts Gutes im Schilde führen, kommen halt oft über verwurmte Rechner und offene Proxies. Wenn man die gleich beim ersten Zugriff rauskickt, bekommen sie auch keine Links mehr zu anderen Seiten, denen sie noch folgen könnten. Man kann natürlich auch eine manuell gepflegte Blacklist per .htaccess machen, aber dazu war ich zu faul, deswegen hab ich die RBLs genommen ;-)

Benutzeravatar
Emscherbruch
Ehemaliges Mitglied der Verwaltung
Beiträge: 7528
Registriert: 30.07.2007, 14:02
Wohnort: GE - Resser Mark

Beitrag von Emscherbruch »

@utsch: Haben wir doch auch bereits im Einsatz http://www.cback.de/cback_software/phpbb2mods.php

Mir gehen die Ideen langsam aus, was die Serverlast mindern könnte.

Also noch einmal: Wenn es da noch Ideen gibt, her damit.
Stell dir vor, es geht und keiner kriegt's hin.

Antworten