Store Function を設定すると・・・

ちなみに、
Store Function を設定すると、なぜか、
DAVへのコンテンツ保存が行われなくなります。

コンテンツ保存はその指定した Store Function の中でやれよと言うことなのでしょうか。

使わないことにします。

クロールに苦労する

クロール設定画面に下記の項目がありますが、

Store Function   
Extract Function   


ここにプログラムの場所を指定すると、
クロールしたコンテンツからデータの抽出を行うことができます。

プログラムは、Databaseに格納しておきましょう。

このようになっている場合、Extract Function には WS.WS.SITEMAP_BB_PARSE と書けばOKです。

クロールしてみる

クロールするには、Content Imports の画面へ行きます。
主な設定項目はこんなかんじ。

Target URL   
    起点のURL
   
Copy to local DAV collection   
    クロールしたコンテンツの保存先、
    Store documents locallyにチェックを入れるとここに保存される。
   
Number of HTTP redirects to follow   
    許可するリダイレクト回数
   
Crawling depth limit   
    クロール階層の深さ
   
Crawl delay(sec)   
    クロール間隔
   
Store Function   
    項目抽出プログラムを指定するところ
   
Extract Function   
    リンク抽出プログラムを指定するところ
   
Store documents locally   
    クロールしたコンテンツを保存するかどうか


これでクロールすると、
DAVの中にコンテンツがまるっと保存されます。

管理画面に日本語が入力できない

管理画面に日本語を入力して、登録すると・・・
ごちゃごちゃした文字になっちゃいます。

日本語をキーワードとして抽出する場合には致命的です。
困りました。

Shift_JISには弱いビルさん

クロールもできるビルさん、実はShift_JISにめっぽう弱いです。
Shift_JISは全く扱えません。
日本人には残念でなりません。

apacheと連携

ビルさんはアパッチけんと連携できます。
アパッチを通してビルさんにアクセスさせることができます。

アパッチ側でリバースプロキシの設定をするのです。(mod_proxy)
 http://techwiki.openstructs.org/index.php/Proxying_Virtuoso_Via_Apache2

 こうすると、アパッチでアクセス制限などをすることができます。

INSERT SOFT ?

Virtuosoには INSERT SOFT というSQLがあり、
主キーを持つ行がすでに存在する場合はインサートしません。

INSERT INTO だとエラーになるところです、あぶないあぶない。