Bot

N!tro*
Hi,

Ich wollte mal wissen wie man so ein Suchmaschinenbot erstellt

Gibts da irgendwo ne Anleitung?^^

Is ne ernstgemeinte Frage Augenzwinkern
lycoos
Wils du einen zu dir lassen oder willst du einen selber erstellen?
N!tro*
Einen selber erstellen oder wie auch immer ^^
Moes
Das würde mich auch intressieren.
Ich denke das man das in PHP proggt.. obwohl ich glaube das es auch in C/C++/C# geht.
N!tro*
Ich kann ja schlecht google fragen..großes Grinsen
Pow3r
N!tro*
2000 € ...*hust*

großes Grinsen

Ich hab was gefunden http://www.htdig.org/

Aber bei ./configure bricht er dort ab

Zitat:
checking for zlib in default path... checking zlib.h usability... no
checking zlib.h presence... no
checking for zlib.h... no
failed
configure: error: Either specify a valid zlib installation with --with-zlib=DIR
or disable zlib usage with --without-zlib.
xundy
zlib und zlib-devel installieren

mfg
N!tro*
Ty

Installation hat geklappt.

Dann heißt es

Zitat:
Installation done.

Before you can start searching, you will need to create a
search database. A sample script to do this has been
installed as /opt/www/bin/rundig


Also soll man /opt/www/bin/rundig eingeben oder?

Wenn ja ..habe ich aber es passiert nichts.

Ich drücke Enter und es blinkt ein Strich..und nichts passiert.
chrime
was bringt die ausgabe von:

[programmname] --help

? die angegebene datei ist nur beispiel konfigurier dir dies anders um. dann kannste kucken wie die angegeben wird, das steht dann bei --help.
N!tro*
Hi,

Er sagt mir folgendes:

Zitat:
R144147:~# /opt/www/bin/rundig --help
/opt/www/bin/htdig: invalid option -- -
usage: htdig [-v][-i][-c configfile][-t][-m minimalfile]
This program is part of ht://Dig 3.2.0b6

Options:
-v Verbose mode. This increases the verbosity of the
program. Using more than 2 is probably only useful
for debugging purposes. The default verbose mode
gives a nice progress report while digging.

-i Initial. Do not use any old databases. This is
accomplished by first erasing the databases.

-c configfile
Use the specified configuration file instead of the
default.

-t Create an ASCII version of the document database.
This database is easy to parse with other programs so
that information can be extracted from it.

-h hopcount
Limit the stored documents to those which are at
most hopcount links away from the start URL.

-s Report statistics after completion.

-u username:password
Tells htdig to send the supplied username and
password with each HTTP request. The credentials
will be encoded using the 'Basic' authentication scheme.
There *HAS* to be a colon (smile between the username
and password.

-a Use alternate work files.
Tells htdig to append .work to database files, causing
a second copy of the database to be built. This allows
the original files to be used by htsearch during the
indexing run.

-m minimalfile (or just a file name at end of arguments)
Tells htdig to read URLs from the supplied file and index
them in place of (or in addition to) the existing URLs in
the database and the start_url. With the -m, only the
URLs specified are added to the database. A file name of
'-' indicates the standard input.

/opt/www/bin/htpurge: invalid option -- -
usage: htpurge [-][-u url][-v][-a][-c configfile]
This program is part of ht://Dig 3.2.0b6

Options:
- URL input. Read in a list of URLs to remove, one per line.

-u URL input. Add this url to the list of URLs to remove.
(can be specified multiple times)

-v Verbose mode. This increases the verbosity of the
program. Using more than 2 is probably only useful
for debugging purposes. The default verbose mode
gives a progress on what it is doing and where it is.

-a Use alternate work files.
Tells htpurge to append .work to the database files
allowing it to operate on a second set of databases.

-c configfile
Use the specified configuration file instead on the
default.

/opt/www/bin/htnotify: invalid option -- -
usage: htnotify [-c configfile][-b db_base]
This program is part of ht://Dig 3.2.0b6

There can be any number or words.
Options:
-c configfile
Use the specified configuration file instead of the default.

-b db_base
Set the base path of the document database.
-v
Increase the verbose level. Use two or three times for
more output.
-n
Don't send any email, just list what has expired.
/opt/www/bin/htfuzzy: invalid option -- -
usage: htfuzzy [-c configfile][-v] algorithm ...
This program is part of ht://Dig 3.2.0b6

Supported algorithms:
soundex
metaphone
accents
endings
synonyms

Options:
-c configfile
Use the specified configuration file instead of the
default.

-v Verbose mode. This increases the verbosity of the
program. Using more than 2 is probably only useful
for debugging purposes.

/opt/www/bin/htfuzzy: invalid option -- -
usage: htfuzzy [-c configfile][-v] algorithm ...
This program is part of ht://Dig 3.2.0b6

Supported algorithms:
soundex
metaphone
accents
endings
synonyms

Options:
-c configfile
Use the specified configuration file instead of the
default.

-v Verbose mode. This increases the verbosity of the
program. Using more than 2 is probably only useful
for debugging purposes.
xundy
Warum schaust du dir die Datei /opt/www/bin/rundig nicht einfach mal an dann wird vielleicht vieles klarer

mfg
N!tro*
Er läuft smile

es war /opt/www/bin/rundig -vvv

So nun is die frage..wie soll er das automatisch hinzufügen?

Das Suchmaschinenscript hat eine Datenbank und jetzt der Bot.

Bloß weiß ich ja nicht wo er die Datenbank hat..

Oder was auch immer.

Auf der Seite habe ich schon geschaut.

Fündig bin ich nicht wirklich geworden.
eichi
und was crawlst du jetzt? Bzw. warum? Machste ne SuMa auf oder was?
N!tro*
"Wenn man keine Ahnung hat einfach mal die Fresse halten"
eichi
Zitat:
Original von $Pimp$
"Wenn man keine Ahnung hat einfach mal die Fresse halten"


dann Frag ich mich doch allen ernstes warum du noch hier bist ...
N!tro*
Es kann doch dir egal sein was ich jetzt hier in dem Thread frag oder machen will.

Deine Kommentare kannst du dir echt sparen!
eichi
Zitat:
Original von $Pimp$
Es kann doch dir egal sein was ich jetzt hier in dem Thread frag oder machen will.

Deine Kommentare kannst du dir echt sparen!


Pass mal auf du Kind. Ich habe DIR eine freundliche Frage gestellt, wenn du nicht gewillt bist mir Auskunft zu geben, kann man das durchaus auch freundlich formulieren, allerdings ist mir ebenso bewusst, das Milchbart Gangster wie du wahrscheinlich einer bist, es nicht mehr für nötig halten sich ordentlich zu Artikulieren.

Wenn ja, dann tun mir deine Eltern leid, wenn ich mir Vorstelle, was Sie sich dann von dir alles anhören müssen ...

Achja, ob ich mir Kommentare sparen kann oder nicht, steht DIR nicht zu, das zu beurteilen, da ich meine Aussagen wenigstens noch treffend und prägnant formuliere.

Ich schreibe keine 2 Wörter und frage mich anschließend weshalb mich wer vollschnautzt weil ich Spammen würde. Lass dir das mal durch deine 5% Resthirn gehen ...
N!tro*
Zitat:
Original von eichi
Zitat:
Original von $Pimp$
Es kann doch dir egal sein was ich jetzt hier in dem Thread frag oder machen will.

Deine Kommentare kannst du dir echt sparen!


Pass mal auf du Kind. Ich habe DIR eine freundliche Frage gestellt, wenn du nicht gewillt bist mir Auskunft zu geben, kann man das durchaus auch freundlich formulieren, allerdings ist mir ebenso bewusst, das Milchbart Gangster wie du wahrscheinlich einer bist, es nicht mehr für nötig halten sich ordentlich zu Artikulieren.

Wenn ja, dann tun mir deine Eltern leid, wenn ich mir Vorstelle, was Sie sich dann von dir alles anhören müssen ...

Achja, ob ich mir Kommentare sparen kann oder nicht, steht DIR nicht zu, das zu beurteilen, da ich meine Aussagen wenigstens noch treffend und prägnant formuliere.

Ich schreibe keine 2 Wörter und frage mich anschließend weshalb mich wer vollschnautzt weil ich Spammen würde. Lass dir das mal durch deine 5% Resthirn gehen ...


Müde Müde

Sonst noch was ?

Nein?

OK..

B2T...
KleenMicha
Lieber $Pimp$ auf deine und Eichis Entgleisungen geh ich nicht ein, da ich annehme ihr wisst wie ihr euch zu verhalten habt, falls nicht gibt es andere Wege euch dass näher zu bringen.

ich möchte dir nur bei all der schönen Arbeit die du dir gerade machst nur mitteilen dass du dir eine Suchmaschine für WebSeiten die sich auf deinem PC /Server befinden einrichtest.
Für eine globale Suche, like google ist dieses System nicht gedacht.
smile