hadoop集群建立后,启动,然后jps,看不到任何进程

解决方案 »

  1.   

    namenode日志
    [code=2016-09-25 18:39:57,769 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: STARTUP_MSG:
    /************************************************************
    STARTUP_MSG: Starting NameNode
    STARTUP_MSG:   host = backup01/192.168.1.116
    STARTUP_MSG:   args = []
    STARTUP_MSG:   version = 1.2.1
    STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by 'mattf' on Mon Jul 22 15:23:09 PDT 2013
    STARTUP_MSG:   java = 1.8.0_101
    ************************************************************/
    2016-09-25 18:40:00,375 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
    2016-09-25 18:40:00,521 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered.
    2016-09-25 18:40:00,625 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s).
    2016-09-25 18:40:00,625 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system started
    2016-09-25 18:40:00,651 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.IllegalArgumentException: Illegal character in authority at index 7: hdfs://backup01:9000
            at java.net.URI.create(URI.java:852)
            at org.apache.hadoop.fs.FileSystem.getDefaultUri(FileSystem.java:132)
            at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:244)
            at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:280)
            at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:569)
            at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1479)
            at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1488)
    Caused by: java.net.URISyntaxException: Illegal character in authority at index 7: hdfs://backup01:9000
            at java.net.URI$Parser.fail(URI.java:2848)
            at java.net.URI$Parser.parseAuthority(URI.java:3186)
            at java.net.URI$Parser.parseHierarchical(URI.java:3097)
            at java.net.URI$Parser.parse(URI.java:3053)
            at java.net.URI.<init>(URI.java:588)
            at java.net.URI.create(URI.java:850)
            ... 6 more2016-09-25 18:40:00,700 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG:
    /************************************************************
    SHUTDOWN_MSG: Shutting down NameNode at backup01/192.168.1.116][/code]
      

  2.   

    JobTracker日志[code=2016-09-25 18:39:59,642 INFO org.apache.hadoop.mapred.JobTracker: STARTUP_MSG:
    /************************************************************
    STARTUP_MSG: Starting JobTracker
    STARTUP_MSG:   host = backup01/192.168.1.116
    STARTUP_MSG:   args = []
    STARTUP_MSG:   version = 1.2.1
    STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by 'mattf' on Mon Jul 22 15:23:09 PDT 2013
    STARTUP_MSG:   java = 1.8.0_101
    ************************************************************/
    2016-09-25 18:40:00,772 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
    2016-09-25 18:40:00,863 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered.
    2016-09-25 18:40:00,888 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s).
    2016-09-25 18:40:00,888 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: JobTracker metrics system started
    2016-09-25 18:40:01,343 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source QueueMetrics,q=default registered.
    2016-09-25 18:40:03,377 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source ugi registered.
    2016-09-25 18:40:03,378 WARN org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Source name ugi already exists!
    2016-09-25 18:40:03,380 INFO org.apache.hadoop.security.token.delegation.AbstractDelegationTokenSecretManager: Updating the current master key for generating delegation tokens
    2016-09-25 18:40:03,395 INFO org.apache.hadoop.mapred.JobTracker: Scheduler configured with (memSizeForMapSlotOnJT, memSizeForReduceSlotOnJT, limitMaxMemForMapTasks, limitMaxMemForReduceTasks) (-1, -1, -1, -1)
    2016-09-25 18:40:03,397 INFO org.apache.hadoop.util.HostsFileReader: Refreshing hosts (include/exclude) list
    2016-09-25 18:40:03,406 INFO org.apache.hadoop.security.token.delegation.AbstractDelegationTokenSecretManager: Starting expired delegation token remover thread, tokenRemoverScanInterval=60 min(s)
    2016-09-25 18:40:03,407 INFO org.apache.hadoop.security.token.delegation.AbstractDelegationTokenSecretManager: Updating the current master key for generating delegation tokens
    2016-09-25 18:40:03,469 INFO org.apache.hadoop.mapred.JobTracker: Starting jobtracker with owner as hao
    2016-09-25 18:40:03,560 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source RpcDetailedActivityForPort9001 registered.
    2016-09-25 18:40:03,561 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source RpcActivityForPort9001 registered.
    2016-09-25 18:40:03,568 INFO org.apache.hadoop.ipc.Server: Starting SocketReader
    2016-09-25 18:40:03,695 INFO org.mortbay.log: Logging to org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog
    2016-09-25 18:40:03,811 INFO org.apache.hadoop.http.HttpServer: Added global filtersafety (class=org.apache.hadoop.http.HttpServer$QuotingInputFilter)
    2016-09-25 18:40:03,817 INFO org.apache.hadoop.http.HttpServer: Port returned by webServer.getConnectors()[0].getLocalPort() before open() is -1. Opening the listener on 50030
    2016-09-25 18:40:03,853 INFO org.apache.hadoop.http.HttpServer: listener.getLocalPort() returned 50030 webServer.getConnectors()[0].getLocalPort() returned 50030
    2016-09-25 18:40:03,853 INFO org.apache.hadoop.http.HttpServer: Jetty bound to port 50030
    2016-09-25 18:40:03,854 INFO org.mortbay.log: jetty-6.1.26
    2016-09-25 18:40:05,166 INFO org.mortbay.log: Started [email protected]:50030
    2016-09-25 18:40:05,175 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source jvm registered.
    2016-09-25 18:40:05,180 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source JobTrackerMetrics registered.
    2016-09-25 18:40:05,206 FATAL org.apache.hadoop.mapred.JobTracker: java.lang.IllegalArgumentException: Illegal character in authority at index 7: hdfs://backup01:9000
            at java.net.URI.create(URI.java:852)
            at org.apache.hadoop.fs.FileSystem.getDefaultUri(FileSystem.java:132)
            at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:251)
            at org.apache.hadoop.fs.FileSystem.getLocal(FileSystem.java:234)
            at org.apache.hadoop.mapred.JobTracker.<init>(JobTracker.java:2020)
            at org.apache.hadoop.mapred.JobTracker.<init>(JobTracker.java:1689)
    "hadoop-hao-jobtracker-backup01.log" 177L, 16179C[/code]