Seitenbaum und Admin-Javascript als Template-Variablen

rjgamer · 20.11.2017 14:13:13

Hallo,

Pullrequests sind in Absprache mit colinax entstanden.

Vom Prinzip die gleiche Optimierung wie hier, einfach für den Seitenbaum im Adminbereich.

Bitte noch ausgiebig testen. Sollte aber unter Flat und Argos mit den neue platzierten Variablen {PAGE_TREE} und {JS_ADMIN} in den Pullrequests ohne Probleme funktionieren.

Danke für die Freigabe und Gruss
rjgamer

Beitrag geändert von rjgamer (20.11.2017 14:14:11)

colinax

colinax · 20.11.2017 20:38:51

Hab das Ganze zum einfacheren testen mal in einen eigenen Branch gemerged.

Sieht aber soweit gut aus.

rjgamer

rjgamer · 20.11.2017 20:47:07

Okidoki. Danke!

Fraggy 2.0 wird die zwei Changes im Adminbereich voraussetzen. Ist schon bekannt wann der nächste Release von WBCE kommt?

Beitrag geändert von rjgamer (20.11.2017 20:47:27)

colinax · 21.11.2017 16:14:12

Hab die Änderungen in den master Branch gemerged smile

rjgamer · 21.11.2017 17:48:59

thumb_up

Cool. Danke.

florian · 24.01.2018 09:20:39

Es scheint so, als würde die Umstellung zu massiven Performanceeinbußen bis hin zu Timeouts führen, wenn es sich um sehr umfangreiche Auftritte mit mehreren hundert Seiten handelt. (https://forum.wbce.org/viewtopic.php?id=1851)
Issue: https://github.com/WBCE/WBCE_CMS/issues/327

Eine Lösung für dieses Problem wäre wichtig.

rjgamer · 24.01.2018 09:27:56

Mist. Gerade diese Woche bin ich mehrheitlich abwesend.

Ich schau mir die Sache in den nächsten Tagen mal an. Aber weis noch nicht wann.

florian

rjgamer · 24.01.2018 14:25:16

So, ich hatte paar Minuten Zeit und habe mich kurz mit der Problematik auseinandergesetzt.

Komisch ist natürlich, dass die template.inc plötzliche Probleme macht. In meinem damaligen Pullrequest habe ich nichts in der template.inc geändert. Doch der PageTree wird neu via Template Engine eingefügt und somit macht sich bei diesem riesen Haufen an HTML (wenn man viele Seiten hat), der "schlechte" Code der doch schon recht veralteten Template Engine (template.inc) bemerkbar. Das Problem hätte theoretisch wohl auch sonst irgendwo und irgendwann auftreten können.

Sobald ich mehr Zeit habe, werde ich versuchen die betroffene Stelle in der template.inc performanc-technisch zu tweaken. Wird aber wohl erst nächste Woche. Geht dies in Ordnung?

florian

florian · 24.01.2018 14:29:34

Geht dies in Ordnung?

Sehr gern

rjgamer · 24.01.2018 14:31:37

Hier ein erster Tweak-Versuch. Bitte die Zeile 536-538 in der template.inc mit diesem Code ersetzen:

foreach ($this->varvals as $k => $v) {
	 $varvals_quoted[$k] = preg_replace(array('/\\\\/', '/\$/'), array('\\\\\\\\', '\\\\$'), $v);
}

Sollte nun um einiges besser laufen. Bitte testen, am besten dort mit dem >500 Seiten.

Muss nun wieder Arbeiten und die nächsten zwei Tage an einen Workshop. Evt. kann ich am Donnerstagabend oder Freitagabend noch was bewirken. Wäre daher froh um euer Feedback.

florian · 24.01.2018 14:34:12

Setzt der Tweak PHP7 voraus?

rjgamer · 24.01.2018 14:35:44

Nope. PHP 5.x kompatibel.

Hier noch der Beweis warum gerade die Zeile 536 echt alter und performance-technisch schrecklicher Code ist: http://php.net/manual/de/function.each.php#75692

Weiter ist die each() Funktion deprecated gemäss php.net: This function has been DEPRECATED as of PHP 7.2.0. Relying on this function is highly discouraged.

Beitrag geändert von rjgamer (24.01.2018 14:36:59)

florian · 24.01.2018 14:39:01

Ok, danke für die Infos. Ich schau mal, wo ich das testen kann.

florian · 24.01.2018 15:52:04

bringt leider keine Verbesserung.
Test mit 750 Seiten, PHP 7.0.26, WBCE 1.3.1
Rechenzeit sowohl mit als auch ohne Änderung
- ca. 14 Sekunden mit Argos Reloaded,
- ca. 30 Sekunden mit Flat-Theme,
- ca. 40 Sekunden mit Fraggy,
Irritierenderweise läuft der Pagetree in einen Timeout (max_execution_time ist bei 45 Sek.), wenn bei JS Admin alle Optionen deaktiviert sind, d.h. die bremsen den gar nicht aus o_O

rjgamer · 24.01.2018 16:10:30

Ist das Problem nur bei der Installation von willi?

Oder hast du eine eigene Installation mit 750 Seiten verwendet? Wenn ja, wie hast du auf die schnelle 750 Seiten erstellt/generiert?

Gruss

florian · 24.01.2018 16:19:54

Ich habe eine Testinstallation mit einem quick&dirty abgewandelten Uraltmodul gebaut, hängt hier an, das auf einen Schlag 150 Seiten generiert (Seitentitel = microtime, übergeordnete Seite in Zeile 348 der tool.php anpassen).

Beitrag geändert von florian (24.01.2018 16:20:19)

rjgamer · 24.01.2018 16:20:45

Kannst du mal Zeile 537 in der template.inc mit diesem Code ersetzen:

$varvals_quoted[$k] = str_replace(array('\\\\', '\$'), array('\\\\\\\\', '\\\\$'), $v);

Werde es dann auch noch mit dem Testmodul probieren.

florian · 24.01.2018 16:23:56

Aber hallo!!11!

Damit ist der Baum ratzfatz aufgebaut. Wenn das jetzt keine sonstigen Einbußen hinsichtlich Sicherheit bedeutet, wäre das ja genial.

rjgamer · 24.01.2018 16:31:48

Das Problem lag somit beim preg_replace, weil bei sovielen Seiten auch viel HTML in den Variablen war und Regex schlichtweg zu lange brauchte. Bin mir einfach nicht sicher ob es einfach so reicht preg_replace mit str_replace zu ersetzen. Aber irgendwie macht Regex hier wirklich keinen Sinn.

Aber warum hier jetzt Doppel-Backslash und das $-Zeichen mit jeweils Doppel-Backslash "gequotet" werden, ergibt sich mir nicht. Bin offen wenn mich hier einer aufklärt ohne dass ich jetzt selber stundenlang den Code reverse-engineeren muss wink

Hab noch einen Fehler gefunden. Bitte die Zeile 537 mit diesem Code aktualisieren

[== PHP ==]
$varvals_quoted[$k] = str_replace(array('\\\\', '$'), array('\\\\\\\\', '\\\\$'), $v);

florian · 24.01.2018 16:39:52

Hm, komisches Phänomen, leg mal eine Seite mit z.B. "$100 Reward!" als Titel an.... da wird dann "0 Reward!" draus.

rjgamer · 24.01.2018 16:45:26

Jetzt muss es gehen:

$varvals_quoted[$k] = str_replace(array('\\\\', '$'), array('\\\\\\\\', '\$'), $v);

Ich hab jetzt leider keine Zeit mehr. Bitte gib mir nochmals kurz Rückmeldung. Es wäre evt. gut wenn man den Fix in der template.inc dann noch intensiv testet (im ganzen Backend und Frontend).

Beitrag geändert von rjgamer (24.01.2018 16:46:54)

florian

florian · 24.01.2018 16:54:07

yep, sieht gut aus

bernd · 24.01.2018 17:01:42

Ich guck mir das heute Nacht auch nochmal an, habe ja noch die lokale Version eines Projektes mit >500 Seiten da.

florian

florian · 24.01.2018 17:07:58

Also, aktueller Stand, um das zusammenzufassen:
In der /include/phplib/template.inc die Zeilen

    while (list($k, $v) = each($this->varvals)) {
      $varvals_quoted[$k] = preg_replace(array('/\\\\/', '/\$/'), array('\\\\\\\\', '\\\\$'), $v);
    }

ersetzen durch

foreach ($this->varvals as $k => $v) {
	 $varvals_quoted[$k] = str_replace(array('\\\\', '$'), array('\\\\\\\\', '\$'), $v);
}

bringt bei mir einen Riesen-Performancegewinn (Seitenbaum mit 750 Seiten in 6 Sekunden da) und zeigt beim Herumklicken im FE und BE bislang keine Probleme, komische Titel mit $ und <script> und sowas verursachen auch keine Auffälligkeiten.
Dennoch auch von mir die Bitte, das mal zu testen.

Beitrag geändert von florian (24.01.2018 17:17:19)

bernd · 25.01.2018 00:52:13

Sodele,
(alles auf "localhost" mit WBCE1.3.1 und PHP7.0.27 - Durchschnittszeiten aus jeweils 10 Versuchen - Zeitmessung mittels microtime am Anfang und Ende der admin/pages/index.php)

A:)
bei der 540-Seiten Installation macht sich der Zeitunterschied zwar bemerkbar, ist aber bei der Seitenzahl noch nicht so wirklich gravierend: von ø7,9 sec auf ø 1,2 sec (Argos reloaded)

B:)
ich hab dann mal 'ne Testinstallation mit Florians Script auf 1050 Seiten (bis zum erreichen des Standard-Timeout) aufgeblasen (auch tief verschachtelt), da wirds dann doch ziemlich deutlich:
von ø 32,1 sec auf ø 10,7sec (Argos reloaded)
bzw. ø 22,4 sec auf ø 3,9 sec (Flat Theme)

Nebenwirkungen sind mir bis jetzt noch keine aufgefallen, ich kann die Änderung jedoch mit Einverständnis meiner Lieblingskundin auf 4 Seiten in freier Wildbahn testen.

WBCE CMS Forum

#1 20.11.2017 14:13:13

Seitenbaum und Admin-Javascript als Template-Variablen

#2 20.11.2017 20:38:51

Re: Seitenbaum und Admin-Javascript als Template-Variablen

#3 20.11.2017 20:47:07

Re: Seitenbaum und Admin-Javascript als Template-Variablen

#4 21.11.2017 16:14:12

Re: Seitenbaum und Admin-Javascript als Template-Variablen

#5 21.11.2017 17:48:59

Re: Seitenbaum und Admin-Javascript als Template-Variablen

#6 24.01.2018 09:20:39

Re: Seitenbaum und Admin-Javascript als Template-Variablen

#7 24.01.2018 09:27:56

Re: Seitenbaum und Admin-Javascript als Template-Variablen

#8 24.01.2018 14:25:16

Re: Seitenbaum und Admin-Javascript als Template-Variablen

#9 24.01.2018 14:29:34

Re: Seitenbaum und Admin-Javascript als Template-Variablen

#10 24.01.2018 14:31:37

Re: Seitenbaum und Admin-Javascript als Template-Variablen

#11 24.01.2018 14:34:12

Re: Seitenbaum und Admin-Javascript als Template-Variablen

#12 24.01.2018 14:35:44

Re: Seitenbaum und Admin-Javascript als Template-Variablen

#13 24.01.2018 14:39:01

Re: Seitenbaum und Admin-Javascript als Template-Variablen

#14 24.01.2018 15:52:04

Re: Seitenbaum und Admin-Javascript als Template-Variablen

#15 24.01.2018 16:10:30

Re: Seitenbaum und Admin-Javascript als Template-Variablen

#16 24.01.2018 16:19:54

Re: Seitenbaum und Admin-Javascript als Template-Variablen

#17 24.01.2018 16:20:45

Re: Seitenbaum und Admin-Javascript als Template-Variablen

#18 24.01.2018 16:23:56

Re: Seitenbaum und Admin-Javascript als Template-Variablen

#19 24.01.2018 16:31:48

Re: Seitenbaum und Admin-Javascript als Template-Variablen

#20 24.01.2018 16:39:52

Re: Seitenbaum und Admin-Javascript als Template-Variablen

#21 24.01.2018 16:45:26

Re: Seitenbaum und Admin-Javascript als Template-Variablen

#22 24.01.2018 16:54:07

Re: Seitenbaum und Admin-Javascript als Template-Variablen

#23 24.01.2018 17:01:42

Re: Seitenbaum und Admin-Javascript als Template-Variablen

#24 24.01.2018 17:07:58

Re: Seitenbaum und Admin-Javascript als Template-Variablen

#25 25.01.2018 00:52:13

Re: Seitenbaum und Admin-Javascript als Template-Variablen

Fußzeile des Forums